JP2006085176A - 帯域制限オーディオ信号の帯域拡大 - Google Patents

帯域制限オーディオ信号の帯域拡大 Download PDF

Info

Publication number
JP2006085176A
JP2006085176A JP2005267713A JP2005267713A JP2006085176A JP 2006085176 A JP2006085176 A JP 2006085176A JP 2005267713 A JP2005267713 A JP 2005267713A JP 2005267713 A JP2005267713 A JP 2005267713A JP 2006085176 A JP2006085176 A JP 2006085176A
Authority
JP
Japan
Prior art keywords
band
parameter
audio signal
signal
wideband
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005267713A
Other languages
English (en)
Other versions
JP4764118B2 (ja
Inventor
Bernd Iser
イーザー ベルント
Gerhard Uwe Schmidt
ウーヴェ シュミット ゲルハルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH filed Critical Harman Becker Automotive Systems GmbH
Publication of JP2006085176A publication Critical patent/JP2006085176A/ja
Application granted granted Critical
Publication of JP4764118B2 publication Critical patent/JP4764118B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69Spread spectrum techniques
    • H04B1/7163Spread spectrum techniques using impulse radio
    • H04B1/7176Data mapping, e.g. modulation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Abstract

【課題】 帯域制限オーディオ信号から広帯域オーディオ信号を生成する方法を提供する。
【解決手段】 本発明は帯域制限オーディオ信号を拡大するシステムと方法に関する。本発明のシステムは、転送サイクルレートで帯域制限オーディオ信号を解析し、転送サイクルレートで少なくとも1つの帯域制限パラメータを取得する解析手段(12)と、少なくとも1つの帯域制限パラメータに基づき少なくとも1つの帯域制限パラメータを取得するマッピング手段(14)と、転送サイクルレートでハイバンドおよび/またはローバンドオーディオ信号を生成するオーディオ信号生成手段(16)とを備える。
【選択図】 図1

Description

本発明は帯域制限オーディオ信号の処理に関し、特に、転送サイクルレートで動作する合成オーディオ信号発生器による帯域拡大に関する。より詳しくは、本発明は通話信号(speech signal)の形の帯域制限オーディオ信号の処理に関する。
オーディオ信号は、多少帯域を制限して転送することがよくある。約20Hzから20kHzの周波数範囲をカバーする普通の対面通話と異なり、電話や携帯電話による通信は、帯域が制限されていることに特徴がある。一般的な電話による帯域制限(狭帯域)音響信号、特に通話信号の帯域は300Hzから3.4kHzだけである。低周波数と高周波数を除去すると通話品質が劣化し、特に、判読性の低下が見られので、制限された帯域幅を広い帯域幅に拡大して取得することは利益があるだろう。
電話の帯域幅を拡大する問題の可能なソリューションが、2つ以上の帯域制限通話チャネルの組合せ、または所謂広帯域通話コードの利用である。しかしながら、この方法はサービスの変更だけでなく、望ましくないコストの増大を招いてしまう。
よって、通信の受信側で改善した帯域幅を提供することは非常に望ましい。人間の声の領域が変化するため、帯域制限通話信号と帯域制限のために欠如している元の発音のそれらの周波数部間にある種の相関関係がある。結果として、帯域幅拡大の方法を提供することは、帯域制限通話信号からの広帯域通話信号を合成することを含む。
帯域幅の拡大は、広帯域通話信号を生成するために、何らかの通話信号解析、例えば、広帯域通話信号を生成するために生成された高域除去により得られた入力帯域制限通話信号の直接スペクトル折り畳みにより行うことができる。単純なスペクトル折り畳みの代わりに、非線形処理、例えば、帯域制限通話信号の補完後の波形整形を実施して、広帯域通話信号を得ることができる。上記の直接変換技術は、使用するのが容易であるが、通話信号解析を利用する方法と比較して通常満足のいく結果にならない。
制限された電話通話信号からの広帯域通話信号を生成する通話信号解析を利用する一般的なシステムは、通常少なくとも2つの処理ステップを実行する。第1のステップにおいて、広帯域スペクトルエンベロープは、帯域制限通話信号から抽出された求めた帯域制限エンベロープから推測される。
一般に、通話信号の帯域制限と広帯域スペクトルエンベロープ間の対応関係を規定するルックアップテーブルまたはコードブック(「A New Technique for Wideband Enhancement of Coded Bandlimited Speech」by J.Epps and W.H.Holmes,IEEE Workstop on Speech Coding,Conf.Proc.,p.174,1999参照)は、どちらかと言うとコンピュータ時間とメモリを消費するトレーニングフェーズ時に設定される。受信した通話信号の抽出した帯域制限スペクトルエンベロープ表現の最も近い広帯域スペクトルエンベロープ表現は、コードブックに等しくなければならず、要求された広帯域通話信号の合成に使用すべきである。
コードブックの構成は、例えば、US 5,455,888に記載されたように、線形予測符号化(LPC)解析により実行される。LPC係数は、広帯域トレーニング信号から抽出される。これらの信号は低域除去されており、結果として得られた帯域制限信号のLPC係数も抽出され、帯域制限LPC表現と広帯域信号間の対応関係を確立できるようにする。
第2のステップにおいて、広帯域励起信号が、受信した帯域制限通話信号から生成される。励起信号は全音声範囲、口からの音声放射特徴などによる変形をすることなく、音声コードでただちに検出されるであろう信号を理想的に示す。励起信号は、例えば、非線形曲線(「Spectral Widening of the Excitation Signal for Telephone−Band Speech Enhancement」,IWANEC 2001,Conf.Proc.,p.215,2001参照)、またはUS 5,455,888に記載されピッチと帯域制限励起信号出力に基づいている。電話帯域の帯域幅を拡大するために、予測された広帯域スペクトルエンベロープを帯域制限信号に付加してモデル化した励起信号が整形される。
上述した全ての方法は、所定数の連続した通話サンプルから構成されるフレームまたはブロックに信号処理が基づいているのが普通である。例えば、フォーマット、ピッチ、平均出力、およびスペクトルエンベロープなどの通話解析時に決定された関連する信号パラメータが、通常20msである時間期間にわたり一定であると見なされる。50%まで互いに重複するものとして、フレームが通常選択され、10ms以上の代表的な一時的なオフセットになる。
信号処理の時間遅延は、特に、大きな一時的な変化に関して、振幅および/または周波数および/または位相の不連続性モデル構築などよる迷惑な人工物になりかねない。さらに、ハンズフリー電話通信の場合、従来のシステムにより導入された信号経路の有限遅延は、転送経路の遅延により望ましくなく補われる。
このため、帯域制限電話通信を拡大する際に、最近の開発と改良にもかかわらず、改良されたオーディオ音、特に、効果的な帯域幅拡大を含む通話信号処理に対する要求がなお明らかに存在する。それゆえ、本発明が解決すべき課題は、上記の欠点を克服し、受信側で合成された効果的に拡大された帯域幅を有する帯域制限通話通信を処理する通話処理システムと方法を提供することにある。
上記の課題は、本発明のクレーム1のシステムとクレーム12の方法により解決される。帯域制限オーディオ信号の帯域を拡大する新規なシステムは、転送サイクルレートで帯域制限オーディオ信号を解析し、転送サイクルレートで少なくとも1つの帯域制限パラメータを取得する解析手段と、少なくとも1つの帯域制限パラメータに基づき少なくとも1つのワイドバドパラメータを取得するマッピング手段と、転送サイクルレートで少なくとも1つの広帯域パラメータに基づいて、広帯域および/またはローバンドオーディオ信号を生成するように構成されたオーディオ信号生成手段とを備えている。
従来と異なる本発明によれば、帯域制限オーディオ信号が転送サイクルレートで解析され、広帯域および/またはローバンドオーディオ信号並びに組み合わされたオーディオ信号が、転送サイクルレートに基づいて生成される。広帯域とローバンドにより、周波数スペクトルのそれらの箇所の平均がとられ、受信した制限帯域に加えて合成される。例えば、帯域制限信号の周波数範囲が、300Hzから3.4kHzである場合、ローバンドとハイバンド信号は、50から300Hzおよび最大でサンプリングレートの半分である3,4kHzから所定の上限周波数制限までの周波数範囲でそれぞれあり得る。
帯域幅拡大の通常のシステムは、ブロックまたはフレームベースで動作する。8KHzの代表的なサンプリングレートの場合、広帯域ディオ信号の解析と合成は、160個の連続した音響信号データサンプルを含む通常約20msのフレームに対して実施される。結果的に、従来の全体的な信号処理はある遅延が生じ、一方本発明によれば、遅延なくあるいはほとんど遅延なく信号処理を実行できる。さらに、送信者の発声が大きな一時的な変化を示す場合でも、振幅、周波数、および位相に関する広帯域ディオ信号の連続合成が本発明により提供される。
本発明は、受信した音声の改良された明瞭性と自然さを示す、通話通信の帯域幅拡張において特に役に立つ。
特に、転送サイクルレートの解析手段とオーディオ信号生成手段の動作は、広帯域音響信号、特に通話信号の振幅、周波数、および位相を連続的に合成するほぼまたは理想的に完全な遅延のない音声通信を可能にする。本発明がオーディオ信号処理に有効であると理解されるが、一般に顕著な応用が帯域制限通話信号に見られる。
オーディオつまり通話解析手段は、音声のピッチを望ましく評価し、帯域制限励起信号と帯域制限スペクトルエンベロープをを抽出し、関連する帯域制限パラメータを提供する。一般に、帯域制限パラメータは、例えば、帯域制限スペクトルエンベロープ、ピッチ、短時間出力、および広帯域通過対ローバンド通過出力比と信号対雑音比の決定に対して特徴的である。従って、広帯域パラメータは、例えば、広帯域スペクトルエンベロープ、広帯域スペクトルエンベロープと広帯域励起信号決定の特徴パラメータなどの帯域制御パラメータに対応する広帯域信号パラメータを有している。
補完によるサンプルレートの増加に伴い、解析の前にある種の前処理を実行し得る。プロセッサの負荷を比較的小さく抑えるには、解析手段に帰納(recursive)アルゴリズムをインプリメントするのが好ましい。
例えば、線形予測符号化(LPC)法は、帯域制限スペクトルエンベロープの抽出に使用することができる。この方法によれば、時間信号x(n)のn番目のサンプルは、以下のようにM個の前のサンプルから下記の式で評価することができる。
Figure 2006085176
ここで、係数a(n)は、予測誤差信号e(n)を小さくするように最適化される。例えば、最小二乗平均アルゴリズムにより帰納的に最適化を実行可能である。対応する広帯域スペクトルエンベロープを、例えば、ある非線形マッピング手段(下記参照)により抽出した帯域制限スペクトルエンベロープに割り当てることができる。
帯域制限通話信号の解析に基づき、広帯域励起信号を生成できる。広帯域励起信号を評価された広帯域スペクトルエンベロープによりその後整形して、広帯域通話信号を生成できる。
通話解析手段により幾つかの他の通話解析処理を実行し、送信された帯域制限通話信号に対応するローバンド/広帯域通話信号の後続する合成に使用できる。とりわけ、短時間出力、実際の信号対雑音比、無線SNR,ハイバンド通過対ローバンド通過出力比、および信号ゼロを決定でき、検出された通話信号の発音および発音されない箇所に関する分類を実行できるのが好ましい。
また、転送サイクルレートでオーディオ信号生成手段により生成された帯域制限オーディオ信号とハイバンドおよび/またはローバンドオーディオ信号を受信し、転送サイクルレートで帯域制限オーディオ信号とハイバンドおよび/またはローバンドオーディオ信号と広帯域ディオ信号と組み合わせる組み合わせ手段を好適に備えている。
好適な実施形態において、本発明は少なくとも1つの帯域制限パラメータを受信する制御手段をさらに備え、少なくとも1つの条件が満たされた場合のみ、制御手段がマッピング手段を制御して、転送サイクルレート以下のイベントレートで、少なくとも1つの広帯域パラメータを取得する。
この実施形態によれば、転送サイクルレートベースで動作するリアルタイム処理部とシステムの非同期部を識別し得る。リアルタイム処理部は、帯域制限オーディオ信号の受信解析とハイバンドおよび/またはローバンドオーディオ信号の生成を実行する。制御手段がマッピング手段を制御して、転送サイクルレートでなく、むしろ「イベントレート」と呼ばれる低いレートで少なくとも1つの広帯域パラメータを取得できる。こうすることで、プロセッサ負荷を著しく軽減できる。
また、いずれの場合においても広帯域パラメータを取得する必要はないが、例えば、オーディオ信号の著しい変更が発生した場合にのみ、ハイバンドおよび/またはローバンドオーディオ信号を変更しなければならない。
制御手段がオーディオ信号生成手段を制御して、ハイバンドおよび/またはローバンドオーディオ信号を生成する必要があるパラメータ、特に、周波数、位相、および振幅などの公称値(nominal value)に適合させる必要がある。公称値はイベントレートで少なくとも1つの広帯域パラメータに基づき変更される。
本発明のオーディオつまり通話信号生成手段が、サイクルレートベースで変更、すなわちオーディオつまり通話信号生成手段が、例えば、周波数を振幅の実際の値によりリアルタイムに動作するが、公称値を変更し、特に、最大増加は通話生成の一時的変化に基づいている。
本発明によれば、オーディオ信号生成手段を制御して、転送サイクルごとに制限最大増加で公称値に適合させ、特に、最大増加は通話生成の一時的な変化に基づいていることが非常に望ましい。
信号生成手段、特に、サイン波発生器は連続的に動作するが、例えば、発声者の発音の一時的な変化により得られた所定の適合値の前回の解析により取得した公称値にすぐに適合させないのが好ましい。結果的に、短時間誤り解析データは、合成された通話信号に深刻な影響を与えないため、位相不連続性が回避される。
本発明の一実施形態によれば、制御手段は、第1と第2の制御部を備え、第1の制御部が、少なくとも1つの特定の条件が満たされた場合に、少なくとも1つのイベント信号を生成し、イベント信号が生成された場合のみ、マッピング手段を制御して少なくとも1つの広帯域パラメータを制御する。第2の制御部は、少なくとも1つのイベント信号と少なくとも1つの広帯域パラメータを受信し、少なくとも1つのイベント信号を受信した場合のみ、ハイバンドおよび/またはローバンド音声信号を生成するのに必要なパラメータの公称値を変更する。
第1と第2の制御部を論理的および/または物理的に互いを識別し得る。第2の制御部は、サイクルレートベースでオーディオ信号生成手段を制御できるが、イベント信号ベースでのみ、すなわち第1の制御部によりイベント番号が発生された場合のみ、サイクルレート以下のレート(イベントレート)で、オーディオ信号生成手段の公称値を変更する。
少なくとも1つの帯域制限パラメータが所定の制限を超えるか、イベントレートの2つの後続するパルスの少なくとも1つの帯域制限パラメータが所定の制限を超えるか、または所定数のサイクルレートが超えたときに与えられる。また、例えば、ユークリッド距離、心理音響学的距離測定などのベクタ量の幾何学的距離測定も使用し得る。
またさらに、解析手段および/または制御手段は、オーディオ信号生成手段の制御に使用されるコード番号により信頼性高く生成できる。異なる解析結果に対して信頼性の高いコード番号を解析手段が提供する場合、ハイバンドおよび/またはローバンドオーディオ信号生成に使用されるパラメータに関する組み合わされた信頼性の高い情報を取得できる。
また、制御手段はそれ自身の信頼性の高いコード番号を生成できる。例えば、異なる解析ツールにより評価されたピッチの高い信頼性が示された場合、いかなる平滑化のすることなく、またはほんの少しの追加平滑化をしてオーディオ信号を生成するためには、信号生成手段を制御することを決定する。また、広帯域パラメータの再計算への数々の影響が、各々の信頼性の高い番号により重み付けし得る。
さらに、信頼性の高いコード番号に所定の制限を課すことが望ましいかも知れない。解析プロセス結果の実際の信頼性の高いコード番号が、所定の制限以下になる場合(小さな番号が低い信頼性レベルを意味する場合)、広帯域パラメータの適合と信号処理手段の制御に計算された公称値を変更しないかも知れない。
本発明のシステムの好適な実施形態によれば、マッピング手段は、少なくとも1つの帯域制限パラメータと少なくとも1つの広帯域パラメータ間の相関関係を提供するコードブックおよび/または人工ニューラルネットワークを備えている。
好都合なことに、コードブック対を使用し得る。この対の第1のコードブックは、スペクトルエンベロープの帯域制限サンプルベクタによりトレーニングし、第2のコードブックを広帯域ベクタによりトレーニングしなければならない。トレーニングはベクタ量子化方法に基づいている。実際に解析した通話信号の場合、例えば、LPC係数を有する帯域制限コードブックの最も近い構成要素が決定される。広帯域コードブックの関連ベクタへのマッピングにより、例えば、広帯域スペクトルエンベロープの評価に使用されるパラメータを決定できる。
その代わりに、またはコードブックに加えて、広帯域通話信号への解析された帯域制限通話信号の最も近いサンプルの非線形マッピングは、人工ニューラルネットワークを含んでもよい。
非線形マッピングの前に、例えば、LPC係数などの取得した広帯域パラメータのある変換を実行し得る。非スペクトル周波数またはケプストラル(cepstral)係数への変形は好適なインプリメンテーションを示す。
本発明のシステムのオーディオ信号生成手段は、サイン波発生器またはサイン波発生器とノイズ発生器を備えることができる。
また、ハンズフリーシステム、特に、上述したような新規なシステムを備える車両で使用するハンズフリーシステムを提供する。
またさらに、本発明は、広帯域ディオ信号から広帯域オーディオ信号を生成する方法に関し、転送サイクルレートで帯域制限オーディオ信号を受信解析するステップと、転送サイクルレートで少なくとも1つの帯域制限パラメータを取得するステップと、少なくとも1つの広帯域パラメータを少なくとも1つの帯域制限パラメータに割り当てるステップと、転送サイクルレートで少なくとも1つの広帯域パラメータに基づきハイバンドおよび/またはローバンドオーディオ信号を生成するステップと、オーディオ信号生成手段により生成された帯域制限オーディオ信号とハイバンドおよび/またはローバンドオーディオ信号を転送サイクルレートで広帯域ディオ信号と組み合わせるステップを包含する。
本発明の方法の一実施形態によれば、コードブックおよび/または人工ニューラルネットワークを用いて、少なくとも1つの広帯域パラメータを少なくとも1つの帯域制限パラメータに割り当てる。
少なくとも1つの帯域制限パラメータへの少なくとも1つの広帯域パラメータの割り当ては、少なくとも1つの特定条件が満たされた場合のみ、転送サイクルレート以下のイベントレートで実行される。
本発明の方法の好適な一実施形態によれば、パラメータの公称値、特に、周波数と振幅がハイバンドおよび/またはローバンドオーディオ信号の生成に使用され、これらの公称値は、イベントレートで少なくとも1つの広帯域パラメータに基づいて変更される。また、オーディオ信号生成手段は、転送サイクルごとに制限最大増加の公称値で適合される。
少なくとも1つの特定の条件が満たされた場合、少なくとも1つのイベント信号が生成され、少なくとも1つの広帯域パラメータが、少なくとも1つの帯域制限パラメータに割り当てられ、イベント信号が生成された場合に、広帯域および/またはローバンドオーディオ信号の生成に必要なパラメータの公称値を変更し得る。
少なくとも1つの帯域制限パラメータが所定の制限を超えた場合か、例えば、現在の解析値と最後のイベントで決定された値の間の差異などイベントレートの2つの後続するパルスの少なくとも1つの帯域制限パラメータ間の差異が所定の制限を超えた場合か、または所定数のサイクルレートを超えた場合に、新規な方法で使用される少なくとも1つの特定の条件が満たされる。
本発明の方法の一実施形態は、取得した少なくとも1つの帯域制限パラメータの信頼性の高いコード番号および/または少なくとも1つの帯域制限パラメータの1つ以上の組み合わせおよび/または少なくとも1つの広帯域パラメータおよび/または少なくとも1つの広帯域パラメータの1つ以上の組み合わせ計算するステップを包含し、信頼性の高いコード番号が、オーディオ信号生成手段の制御に使用される。
ハイバンドおよび/またはローバンドオーディオ信号は、サイン波発生器またはサイン波発生器とノイズ発生器によりサイクルレートで生成し得る。
また、本発明は、パルスに基づき動作する合成通話信号発生器により帯域幅を拡大した、帯域制限通話通信の通話処理の新規な方法のステップを実行するコンピュータ実行可能命令を有する1つ以上のコンピュータ読み取り可能記録媒体を備えるコンピュータプログラム製品を提供する。
本発明は、さらに以下の手段を提供する。
(項目1)
帯域制限オーディオ信号の帯域拡大システムであって、
転送サイクルレートで帯域制限オーディオ信号を解析し、該転送サイクルレートで少なくとも1つの帯域制限パラメータを取得する解析手段と、
該少なくとも1つの帯域制限パラメータに基づいて、少なくとも1つの広帯域パラメータを取得するマッピング手段と、
該転送サイクルレートで該少なくとも1つの広帯域パラメータに基づきハイバンドおよび/またはローバンドオーディオ信号を生成するオーディオ信号生成手段と
を具備するシステム。
(項目2)
上記帯域制限パラメータが、帯域制限スペクトルエンベロープおよび/またはピッチおよび/または短時間出力および/またはハイバンド通過対ローバンド通過出力比および/または信号対雑音比決定の特徴パラメータを含み、
上記広帯域パラメータが、広帯域スペクトルエンベロープおよび/または広帯域スペクトルエンベロープのおよび/または広帯域励起信号の決定ための特徴パラメータを含む、項目1に記載のシステム。
(項目3)
上記転送サイクルレートで上記オーディオ信号生成手段により生成された上記帯域制限オーディオ信号とハイバンドおよび/またはローバンドオーディオ信号を受信し、該帯域制限オーディオ信号と該ハイバンドおよび/またはローバンドオーディオ信号を該転送サイクルレートで広帯域ディオ信号と組み合わせる組合せ手段をさらに具備する、項目1または2に記載のシステム。
(項目4)
上記少なくとも1つの帯域制限パラメータを受信し、少なくとも1つの特定の条件が満たされた場合に、上記マッピング手段を制御して上記転送サイクルレート以下のイベントレートで少なくとも1つの広帯域パラメータを取得する制御手段をさらに具備する、項目1から3のいずれか1項に記載のシステム。
(項目5)
上記制御手段が、上記オーディオ信号生成手段を制御して、ハイバンドおよび/またはローバンドオーディオ信号を生成する必要があるパラメータ、特に周波数、位相、および振幅の公称値に適合させ、該公称値が、上記イベントレートで上記少なくとも1つの広帯域パラメータに基づき変更される、項目1から4のいずれか1項に記載のシステム。
(項目6)
上記オーディオ信号制御手段を制御して転送サイクルごとに範囲最大増加量で上記公称値に適合させ、該最大増加量が特に通話生成の一時的変化性に基づいている、項目1から5のいずれか1項に記載のシステム。
(項目7)
上記制御手段が第1と第2の制御部を備え、該第1の制御部が、少なくとも1つの特定の条件が満たされた場合に、少なくとも1つのイベント信号を生成し、イベント信号が生成された場合にのみ、上記マッピング手段を制御して、少なくとも1つの広帯域パラメータを取得し、
該第2の制御部が、該少なくとも1つのイベント信号と該少なくとも1つの広帯域パラメータを受信し、少なくとも1つのイベント信号を受信した場合にのみ、ハイバンドおよび/またはローバンドオーディオ信号を生成する必要があるパラメータの上記公称値を変更する、項目4から6ののいずれか1項に記載のシステム。
(項目8) 上記少なくとも1つの特定の条件が、
上記少なくとも1つの帯域制限パラメータが所定の範囲を超えるか、
上記イベンレートの2つの後続するパルスの少なくとも1つの帯域制限パラメータ値の間の差異が所定の範囲を超えるか、
所定数のサイクルレートを超えたときに与えられる、項目4から7のいずれか1項に記載のシステム。
(項目9)
上記解析手段および/または上記制御手段が、上記オーディオ信号生成手段の制御に必要な信頼性の高いコード番号を生成する、項目1から8のいずれか1項に記載のシステム。
(項目10)
上記マッピング手段が、上記少なくとも1つの帯域制限パラメータと上記少なくとも1つの広帯域パラメータ間の相互関係を提供するコードブックおよび/または人工ニューラルネットワークを備える、上記のいずれか1項に記載のシステム。
(項目11)
上記オーディオ信号生成手段が、サイン波発生器またはサイン波発生器とノイズ発生器を備える、項目1から10のいずれか1項に記載にシステム。
(項目12)
帯域制限オーディオ信号から広帯域ディオ信号を生成する方法であって、
転送サイクルレートで帯域制限オーディオ信号を受信解析し、該転送サイクルレートで少なくとも1つの帯域制限パラメータを取得するステップと、
少なくとも1つの広帯域パラメータに該少なくとも1つの帯域制限パラメータを割り当てるステップと、
該転送サイクルレートで該少なくとも1つの広帯域パラメータに基づきハイバンドおよび/またはローバンドオーディオ信号を生成するステップと、
オーディオ信号生成手段により生成された該帯域制限オーディオ信号とハイバンドおよび/またはローバンドオーディオ信号を該転送サイクルレートで広帯域ディオ信号と組み合わせるステップと
を包含する方法。
(項目13)
上記帯域制限パラメータが、帯域制限スペクトルエンベロープおよび/またはピッチおよび/または短時間出力および/またはハイバンド通過対ローバンド通過出力比および/または信号対雑音比決定の特徴パラメータをを含み、
上記広帯域パラメータが、広帯域スペクトルエンベロープおよび/または広帯域スペクトルエンベロープのおよび/または広帯域励起信号の決定のための特徴パラメータを含む、項目12に記載の方法。
(項目14)
上記少なくとも1つの広帯域パラメータが、コードブックおよび/または人工ニューラルネットワークを使用して上記少なくとも1つの帯域制限パラメータに割り当てられる、項目12または13に記載の方法。
(項目15)
少なくとも1つの特定の条件が満たされた場合にのみ、上記少なくとも1つの帯域制限パラメータへの上記少なくとも1つのワイドパラメータの割り当てが、上記転送サイクルレート以下のイベントレートで実行される、項目12から14のいずれか1項に記載の方法。
(項目16)
パラメータ、特に周波数、振幅の公称値が、ハイバンドおよび/またはローバンドオーディオ信号の生成に使用され、これらの公称値が、上記イベントレートで上記少なくとも1つの広帯域パラメータに基づいて変更される、項目15に記載の方法。
(項目17)
上記オーディオ信号生成手段が、転送サイクルごとに制限最大増加量で上記公称値に適合させ、該最大増加量が特に通話生成の一時的な変化に基づいている、項目16に記載の方法。
(項目18)
少なくとも1つの特定の条件が満たされた場合に、少なくとも1つのイベント信号が生成され、
上記少なくとも1つの広帯域パラメータが、上記少なくとも1つの帯域制限パラメータに割り当てられ、イベント信号が生成された場合、ハイバンドおよび/またはローバンドオーディオ信号の生成に必要なパラメータの上記公称値だけが変更される、項目16または17に記載の方法。
(項目19)
上記イベントレートの2つの後続するパルスの上記少なくとも1つの値の間の差異が、所定の範囲を超える場合か、所定数のサイクルレートの所定数を超えた場合に、上記少なくとも1つの特定の条件が満たされる、項目15から18のいずれか1項に記載の方法。
(項目20)
少なくとも1つの帯域制限パラメータで所得した信頼性の高いコード番号が、該少なくとも1つの帯域制限パラメータの1つ以上の組合せおよび/または少なくとも1つの広帯域パラメータおよび/または該少なくとも1つの広帯域パラメータの1つ以上の組合せを計算し、該信頼性の高いコード番号が、上記オーディオ信号生成手段の制御に使用される、項目12から19のいずれか1項に記載の方法。
(項目21)
上記ハイバンドおよび/またはローバンドオーディオ信号が、サイン波発生器またはサイン波発生器とノイズ発生器とによって上記サイクルレートで生成される、項目12から20のいずれか1項に記載の方法。
(項目22)
項目12から21の1つの方法のステップを実行するコンピュータ実行可能命令を格納した1つ以上のコンピュータ読み取り可能な記録媒体を備える、コンピュータプログラム製品。
本発明の追加特徴と利点を図面を参照して説明する。詳細な説明において、本発明の好適な実施形態を示すことを意図する添付した図について説明する。上記の実施形態は、請求項に規定した発明の全範囲を示していないことを理解するであろう。
図1は、帯域制限オーディオのバンド幅拡張、特に通話信号(speech signal)によって、たとえば帯域制限通話通信を改善する発明システムの基本要素を示す。音声通信に適用するための本発明の以下の実施形態において、システムが記載される。より一般的なオーディオ信号処理のための修正が直接的な方法でなされ得る。
帯域制限通話信号は前処理手段11によって前処理される。この手段は、信号解析手段12および広帯域通話合成手段である結合手段17に、検出した帯域制限通話信号を単純に送り得る。
代替的に、サンプルレートを高めることによって、しかしさらなる周波数範囲を生成することなく、前処理帯域制限通話信号が望ましいバンド幅に変換されることは有利であり得る。たとえば、帯域制限信号が8kHzでサンプルされる場合、前処理のために内挿手段に入力され得て、16kHzのサンプリング周波数で信号を出力する。サンプルレートが上昇する場合、広帯域音声合成または結合手段17のみに受信した帯域制限信号の周波数範囲の伝達を可能にするさらなるバンドパスフィルタを用いることが好ましい。
信号解析手段12は、転送サイクルレートに基づいて作動し、好ましくは、前処理された通話信号から帯域制限スペクトル包絡線(エンベロープ)を抽出する手段を備える。予測的なエラーフィルタを計算するために、線形予測符号化(LPC)の頑強な手段を用いることが好ましくあり得る。予測的なエラーフィルタの係数は、帯域制限スペクトル包絡線のパラメトリック決定に用いられ得る。
代替的に、線スペクトル周波数またはcepstral係数またはmelfrequency cepstral係数に基づくスペクトルエンベロープのためのモデルを用いることがあり得る。
従来技術から周知であるように、予測的エラーの最適化問題は、自動訂正マトリクスを組み入れる線形式のシステムによって定式化され得る。この代数式のシステムの解決のための係数アルゴリズムはLevinson−Durbinアルゴリズムであって、これは本発明にしたがって一実施形態において用いられ得る。Levinson−Durbinアルゴリズムを用いることによってLPC解析を実行するためのプロセッサ負荷は、標準的FFTの負荷よりも小さいが、それでもかなり大きい。
しかし、代わりに反復性アルゴリズムを用いることが好ましいことがあり得て、これはたとえば、プロセッサ負荷を低減するために最小二乗平均方法に基づくことがあり得る。信号処理がフーリエ変換タイムシグナルX(f)を用いて実行される場合、スペクトルエンベロープは、Mサンプルからの第m信号の時間遅延k・tである
Figure 2006085176
の周波数(f)空間の全極(all−pole)伝達関数W(f)に基づいてモデルが作られ得て、この場合、aおよびE(f)はそれぞれ予測的係数およびエラー信号を示す。関連モデルはAuto−Regressive Modelとして周知であり、帯域制限スペクトルエンベロープの計算の非常に効率的な帰納的方法として本発明において用いられ得る。
また、信号解析手段12は、従来技術から周知なように非線形特性ライン手段によってなされ得る広帯域抽出信号を推定する手段を備え得る。この広範囲抽出信号は声コードで直ぐに検出される、つまり、全音声範囲によって変更されることなく、信号を表し、声門信号として一般に周知である。推定される広帯域抽出信号は、合成された広帯域信号を得るために、推定される広帯域スペクトルエンベロープ(以下参照)によってその後成形され得る。
組み込まれ得ているさらなる信号解析手段は、実際のSNRを決定する、抽出信号の短期電力、フォルマント、ピッチ、ハイパス−ローパス電力比のための手段かまたは、検出された発声の発言されたまたは発言されていない部分に基づく分類のための手段である。
音声解析手段のそれぞれの成分はまた信頼度コード番号を出力し得る。これらは一般的に、たとえば0〜1の範囲のスカラー番号であって、たとえばピッチなどの推定パラメーターの信頼レベルを測定する。
信号解析手段12によって得られた結果および信頼度コード番号は、第1の制御ユニット13によって受信される。受信されたデータに基づいて第1の制御ユニット13はイベント信号を生成する。イベント信号はたいてい、ある所定条件が満たされる場合に生成される。妥当な条件は、ユークリッド距離のようなよく定義された距離測定、または、イベント信号(以下参照)の最後の生成時に得られたそれらのパラメータと信号解析手段12によって実際に得られたパラメータとの間の単純な差異を備える。
第1の制御ユニット13は有利にも転送サイクルレートに基づいて働かないが、転送サイクルレートよりも低い可変レートのみに動的である。一方で、一部の制御フリーズを回避するために、毎n>1サイクルにイベント信号の生成を実行することが望ましいことがあり得る。
音声解析手段12の全成分の結果が得られた後に、新しい信頼度コード番号が計算されることが望ましいことがあり得る。制御ユニット13がこれらのすべてのデータを受信するために、解析データの信頼レベルの結合された推定を提供し得る。さらに、信号解析手段12の異なる成分によって得られたそれぞれの信頼度コード番号は、新しい信頼度コード番号を得るために制御ユニット13によって用いられ得る。
第1の制御ユニット13はまた、実際の解析データが広帯域音声合成の修正を要求することを示す少なくとも一つのイベント信号を生成する能力を有し得る。イベント信号が、たとえば帯域制限のスペクトルエンベロープの一時的変化を示す第1の制御ユニット13によって生成される場合、たとえば広帯域LPC係数のような、変化した帯域制限パラメーターに対応する広帯域パラメーターの新しい測定が必要になる。
計算された帯域制限パラメーターに基づく広帯域パラメーターの推定が、ある非線形マッピング手段14によって実行されることが好ましいことがあり得る。一実施形態にしたがって、コードブックの対は、一コードブックに含まれる広帯域パラメーターを別のコードブックに含まれる帯域制限パラメーターに割り当てるために用いられる。一般的に、帯域制限信号は解析され、帯域制限コードブックにおける近似の表示は識別される。対応する広帯域信号表示はそれから決定され、広帯域通話信号を合成するために用いられる。
原則として、全体の広帯域信号を合成すること、または代替的に、帯域制限信号の広帯域外、つまりハイバンドおよびローバンド音声信号の、合成された通話信号部分を、検出され解析された帯域制限信号に加えることは、好ましいことであり得る。
人工ニューラルネットワークが補完的にまたはコードブックの代替に非線形マッピング手段14として用いられ得る。そのようなネットワークの重みは使用前にオフラインでトレーニングされなければならないが、各々の信頼度コード番号に関するある種のオンライントレーニングが認識される。
人工ニューラルネットワークおよびコードブックがトレーニングを必要とするのに対し、実際の適用および実行に依存して、トレーニングを必要としない方法を用いることで十分であり得る。たとえば、Yasukawaアプローチというトレーニングは、アッパーバンドに対する帯域制限スペクトルエンベロープのスペクトル勾配の直線外挿に基づいている。
得られた広帯域パラメータならびにイベント信号は第2の制御ユニット15によって受信される。制御ユニット15は、通話信号合成のために新しい公称値を決定することで、信号生成手段16を制御するために提供される。第2の制御ユニット15は、第1の制御ユニット13から論理的におよび/または物理的に分離され得る。
たとえば、信号解析手段12によって新しいピッチが推定され、したがって、イベント信号が第1の制御ユニット13によって生成される場合、解析された通話信号の新しい広帯域拡張によって第2の制御ユニットが提供され、それによって第2の制御ユニット15は信号生成手段16に対する公称値を調整する。
さらに、第2の制御ユニット15は、推定された広帯域パラメーターの信頼度レベルに関する情報を有する信号生成手段16を提供し、および/または、たとえば生成されたサイン波トーンにおける不連続を回避するために信号合成の改訂の速度を制限する。
たとえば、パラメーターΔi,maxは定義され得て、第iサイン波生成器を制御するために用いられ得て、毎サイクルレート最大Δi,maxによって周波数の実際値を変える。さらに、Δi,min<Δi,maxを定義し、周波数範囲に信頼コード番号0≦c≦1(小さな数字は低い信頼レベルを意味する)を用いることで、第i番目のサイン波生成器の周波数変化に関して改訂の最大速度は、Δi,min=Δi,min+c(Δi,max−Δi,min)によって測定され得る。
信号生成手段16は、イベント信号に基づいて変化し得る第2の制御ユニット15によって制御信号が提供されるのに対して、信号生成手段16は転送サイクルレートで作動することに注意することは重要である。
信号生成手段16は、たとえば、自然速度の物理的生成に基づいて、制限された適応速度を有する前述の解析によって得られた公称値に適応する。
図2は発明システムの一つの有利な実施形態を示す。破線の下部に描かれた手段は転送サイクルレートに基づいて動作するのに対し、破線の上部に描かれた手段はイベント信号に基づいて動作する。
帯域制限通話信号Xlimは、検出され、それからピッチ解析21のために、また帯域制限励起信号22の電力を決定するために、帯域制限スペクトルエンベロープ20を抽出するため構成された成分を備える信号解析手段によって受信される。信号解析手段20、21、22の成分は互いにデータを交換し得る。
サイン波生成器26の制御パラメーターは好ましくはピッチ周波数パラメーターを備える。このパラメーターは、たとえば、スペクトラムの対数において逆のFFTを実行することによって、cepstral信号を生成することで、ピッチ解析手段によって得られる。発声のピッチは、従来技術から周知のある種のピークピッキングアルゴリズムによって検出され得るcepstral信号においてピークとして現れる。サイン波の振幅およびノイズ生成器の周波数応答は、生成されたブロードバンドスペクトルエンベロープから得られる。
第1の制御ユニット23は、解析手段20、21、22によって得られたデータを受信し、広帯域通話信号の合成が修正されるか否かを決定する。異なるパラメーターに第1の制御ユニット23によってイベント信号を生成する異なるレートを有することは有利であり得る。いかなる場合にも、イベント信号を生成するレートは転送サイクルレートよりも有利に低くなければならない。
最後に、所定の制限を超える距離測定を用いてcepstralイベント信号が生成されたと決定されたcepstral係数のセットと比べると、たとえばcepstral係数のために、第1の制御ユニット23がイベント信号を生成する場合、一対のコードブック24は、修正された広帯域通話信号を生成するのに必要な広範囲パラメーターを推定するために用いられ得る。コードブック24を用いて、所定の決定された帯域制限の広帯域スペクトルエンベロープが推定され得る(上記参照)。
第1の制御ユニット23およびコードブック24から受信されたデータに基づいて、第2の制御ユニット25はサイン波生成器26およびノイズ生成器27を制御し、ローバンドおよびハイバンド(受信信号XLimの制限されたバンド幅と比べて)音声信号を生成する。2つの生成器は転送サイクルレートに基づいて作動する。第2の制御ユニット25は、生成器26および27に新しい公称値を決定するだけでなく、信頼度コード番号を出力し、信号合成改訂速度を制限する。
サイン波生成器は30〜300Hz周波数範囲におけるローバンド拡張とまた3,4kHzから所定周波数までの周波数範囲におけるハイバンド拡張とを合成し得て、通話信号生成器は主に、ピッチ周波数とその整数の倍数に基づいていることがあり得る。
広帯域合成手段28は、転送サイクルレートで、帯域制限信号XLimならびにサイン波生成器26およびノイズ生成器27によって生成される信号を受信し、最終的な広帯域通話信号XWBを合成する。一つの好ましい実施形態にしたがって、この手段28は合成的に生成された信号のバンド停止フィルタを備え得て、これらのフィルタ処理された信号を修正されていない帯域制限された信号XLimに加えて、広帯域通話信号XWBを得る。
図3は発明方法の基本的なステップを示す。帯域制限信号は検出され(31)、その後解析される。実行されたアルゴリズムは好ましくは、帰納的方法においておよび転送サイクルレートに基づいて作動する。特に、帯域制限スペクトルエンベロープはたとえばLPC解析を実行することによって決定される(32)。帯域制限スペクトルエンベロープおよび信頼度コード番号のパラメトリック記載のための帯域制限パラメーターは制御ユニットへの出力である。
この制御ユニットは、イベント信号の生成が実施される(n≧n)か否か、またはサイクル時間の所定整数倍数nがイベント信号の最後の発生から経過した時間(サイクル時間のn倍)によって上回られるか否かをチェックする(33)。n>nの場合、帯域制限されたパラメーター、特に帯域制限スペクトルエンベロープにおいて著しい変化が発生したか否かがさらにチェックされる(33)。スペクトルエンベロープのモデルを作るLPC係数などの実際の帯域制限されたパラメーターと、イベントが生成された最後に決定されたかまたは一つのパラメーターが所定のしきい値を超える場合のそれぞれのパラメーターとの間の(ベクトル)差異によって所定の距離測定を上回る場合、著しい変化が発生する。
n<nまたは帯域制限パラメーターの著しい変化が決定されない場合、ローバンドおよびハイバンド音声信号は、公称制御パラメーターへの所定の適応速度で生成される(37)。逆の場合、新しいイベント信号が生成され(34)、帯域制限されたものに対応する広帯域スペクトルエンベロープは推定される(35)。このため、一対のコードブックが用いられ得る。この対の第1のコードブックはスペクトルエンベロープの帯域制限サンプルベクトルを用いてトレーニングされ、第2のコードブックは広帯域ベクトルを用いてトレーニングされた。トレーニングは、たとえば、ユークリッドまたは他の符号語に基づいたLinde−Buzo−Gray設計スキームのようなベクトル量子化方法に基づくことがあり得る。
帯域制限スペクトルエンベロープの帯域制限パラメーターを決定した後(32)、パラメーターベクトルは、このパラメーターベクトルに対して小さな距離をとって帯域制限コードブックのベクトルに割り当てられる。距離測定として、たとえばItakuro−Saito距離測定が用いられ得る。帯域制限コードブックにおいて決定されたベクトルは、最中に広帯域通話信号の合成に用いられる広帯域コードブック35の対応するベクトルにマッピングされる。
他のものの中で、特に広帯域パラメーターがアップデートされるべきということに関するイベント信号の情報および広帯域スペクトルエンベロープのパラメーターを用いることで、信号生成器は制御され(36)、検出された(31)および解析された帯域制限通話信号で見落としたローバンドおよびハイバンドの音声部分を生成する(37)。
サイン波生成器は典型的に制御され、振幅および周波数の公称値に適応し、ノイズ生成器は典型的に制御され、スペクトルエンベロープの電力に適応する。ステップ33〜35とは異なり、ローバンドおよびハイバンドの音声信号の生成は、サイクルレートに基づいて実行される。信号生成器が実際値で連続的に作動するのに対し、公称値はイベント信号に基づいて修正される。つまり、サイクル時間のわずかn>n>n≧1毎倍である。
これまでに考察されたすべての実施形態は限定を意図していないが、本発明の特徴および利点を示す例としての役割を果たす。一部のまたはすべての上記の特徴はまた異なるように結合され得るということが理解されるべきである。記載された実施形態が通話信号処理に関するのに対して、通常、オーディオ信号処理に適用可能な発明の範囲内で容易に修正され得る。
信号前処理手段、2つの制御ユニット、非線形マッピング手段、信号生成手段、広帯域合成手段を備える発明システムの一実施形態の主要構成を示す。 帯域制限信号からスペクトルエンベロープを抽出する手段、ピッチおよび電力解析を実行する手段、2つの制御ユニット、一対のコードブック、サイン波およびノイズ生成器、広帯域合成手段を備える発明システムの一実施形態を示す。 特に、帯域制限スペクトルエンベロープを決定するステップ、イベント信号の生成、広帯域スペクトルエンベロープの推定、ハイバンド/ローバンド通信信号を備える発明システムのフローチャートを示す。
符号の説明
11 前処理手段
12 信号解析手段
13 制御ユニット1
14 非線形マッピング手段
15 制御部ユニット2
16 信号生成手段
17 広帯域通話合成手段

Claims (22)

  1. 帯域制限オーディオ信号の帯域拡大システムであって、
    転送サイクルレートで帯域制限オーディオ信号を解析し、該転送サイクルレートで少なくとも1つの帯域制限パラメータを取得する解析手段と、
    該少なくとも1つの帯域制限パラメータに基づいて、少なくとも1つの広帯域パラメータを取得するマッピング手段と、
    該転送サイクルレートで該少なくとも1つの広帯域パラメータに基づきハイバンドおよび/またはローバンドオーディオ信号を生成するオーディオ信号生成手段と
    を具備するシステム。
  2. 前記帯域制限パラメータが、帯域制限スペクトルエンベロープおよび/またはピッチおよび/または短時間出力および/またはハイバンド通過対ローバンド通過出力比および/または信号対雑音比決定の特徴パラメータを含み、
    前記広帯域パラメータが、広帯域スペクトルエンベロープおよび/または広帯域スペクトルエンベロープのおよび/または広帯域励起信号の決定ための特徴パラメータを含む、請求項1に記載のシステム。
  3. 前記転送サイクルレートで前記オーディオ信号生成手段により生成された前記帯域制限オーディオ信号とハイバンドおよび/またはローバンドオーディオ信号を受信し、該帯域制限オーディオ信号と該ハイバンドおよび/またはローバンドオーディオ信号を該転送サイクルレートで広帯域ディオ信号と組み合わせる組合せ手段をさらに具備する、請求項1または2に記載のシステム。
  4. 前記少なくとも1つの帯域制限パラメータを受信し、少なくとも1つの特定の条件が満たされた場合に、前記マッピング手段を制御して前記転送サイクルレート以下のイベントレートで少なくとも1つの広帯域パラメータを取得する制御手段をさらに具備する、請求項1から3のいずれか1項に記載のシステム。
  5. 前記制御手段が、前記オーディオ信号生成手段を制御して、ハイバンドおよび/またはローバンドオーディオ信号を生成する必要があるパラメータ、特に周波数、位相、および振幅の公称値に適合させ、該公称値が、前記イベントレートで前記少なくとも1つの広帯域パラメータに基づき変更される、請求項1から4のいずれか1項に記載のシステム。
  6. 前記オーディオ信号制御手段を制御して転送サイクルごとに範囲最大増加量で前記公称値に適合させ、該最大増加量が特に通話生成の一時的変化性に基づいている、請求項1から5のいずれか1項に記載のシステム。
  7. 前記制御手段が第1と第2の制御部を備え、該第1の制御部が、少なくとも1つの特定の条件が満たされた場合に、少なくとも1つのイベント信号を生成し、イベント信号が生成された場合にのみ、前記マッピング手段を制御して、少なくとも1つの広帯域パラメータを取得し、
    該第2の制御部が、該少なくとも1つのイベント信号と該少なくとも1つの広帯域パラメータを受信し、少なくとも1つのイベント信号を受信した場合にのみ、ハイバンドおよび/またはローバンドオーディオ信号を生成する必要があるパラメータの前記公称値を変更する、請求項4から6ののいずれか1項に記載のシステム。
  8. 前記少なくとも1つの特定の条件が、
    前記少なくとも1つの帯域制限パラメータが所定の範囲を超えるか、
    前記イベンレートの2つの後続するパルスの少なくとも1つの帯域制限パラメータ値の間の差異が所定の範囲を超えるか、
    所定数のサイクルレートを超えたときに与えられる、請求項4から7のいずれか1項に記載のシステム。
  9. 前記解析手段および/または前記制御手段が、前記オーディオ信号生成手段の制御に必要な信頼性の高いコード番号を生成する、請求項1から8のいずれか1項に記載のシステム。
  10. 前記マッピング手段が、前記少なくとも1つの帯域制限パラメータと前記少なくとも1つの広帯域パラメータ間の相互関係を提供するコードブックおよび/または人工ニューラルネットワークを備える、請求項1から9のいずれか1項に記載のシステム。
  11. 前記オーディオ信号生成手段が、サイン波発生器またはサイン波発生器とノイズ発生器を備える、請求項1から10のいずれか1項に記載にシステム。
  12. 帯域制限オーディオ信号から広帯域ディオ信号を生成する方法であって、
    転送サイクルレートで帯域制限オーディオ信号を受信解析し、該転送サイクルレートで少なくとも1つの帯域制限パラメータを取得するステップと、
    少なくとも1つの広帯域パラメータに該少なくとも1つの帯域制限パラメータを割り当てるステップと、
    該転送サイクルレートで該少なくとも1つの広帯域パラメータに基づきハイバンドおよび/またはローバンドオーディオ信号を生成するステップと、
    オーディオ信号生成手段により生成された該帯域制限オーディオ信号とハイバンドおよび/またはローバンドオーディオ信号を該転送サイクルレートで広帯域ディオ信号と組み合わせるステップと
    を包含する方法。
  13. 前記帯域制限パラメータが、帯域制限スペクトルエンベロープおよび/またはピッチおよび/または短時間出力および/またはハイバンド通過対ローバンド通過出力比および/または信号対雑音比決定の特徴パラメータをを含み、
    前記広帯域パラメータが、広帯域スペクトルエンベロープおよび/または広帯域スペクトルエンベロープのおよび/または広帯域励起信号の決定のための特徴パラメータを含む、請求項12に記載の方法。
  14. 前記少なくとも1つの広帯域パラメータが、コードブックおよび/または人工ニューラルネットワークを使用して前記少なくとも1つの帯域制限パラメータに割り当てられる、請求項12または13に記載の方法。
  15. 少なくとも1つの特定の条件が満たされた場合にのみ、前記少なくとも1つの帯域制限パラメータへの前記少なくとも1つのワイドパラメータの割り当てが、前記転送サイクルレート以下のイベントレートで実行される、請求項12から14のいずれか1項に記載の方法。
  16. パラメータ、特に周波数、振幅の公称値が、ハイバンドおよび/またはローバンドオーディオ信号の生成に使用され、これらの公称値が、前記イベントレートで前記少なくとも1つの広帯域パラメータに基づいて変更される、請求項15に記載の方法。
  17. 前記オーディオ信号生成手段が、転送サイクルごとに制限最大増加量で前記公称値に適合させ、該最大増加量が特に通話生成の一時的な変化に基づいている、請求項16に記載の方法。
  18. 少なくとも1つの特定の条件が満たされた場合に、少なくとも1つのイベント信号が生成され、
    前記少なくとも1つの広帯域パラメータが、前記少なくとも1つの帯域制限パラメータに割り当てられ、イベント信号が生成された場合、ハイバンドおよび/またはローバンドオーディオ信号の生成に必要なパラメータの前記公称値だけが変更される、請求項16または17に記載の方法。
  19. 前記イベントレートの2つの後続するパルスの前記少なくとも1つの値の間の差異が、所定の範囲を超える場合か、所定数のサイクルレートの所定数を超えた場合に、前記少なくとも1つの特定の条件が満たされる、請求項15から18のいずれか1項に記載の方法。
  20. 少なくとも1つの帯域制限パラメータで所得した信頼性の高いコード番号が、該少なくとも1つの帯域制限パラメータの1つ以上の組合せおよび/または少なくとも1つの広帯域パラメータおよび/または該少なくとも1つの広帯域パラメータの1つ以上の組合せを計算し、該信頼性の高いコード番号が、前記オーディオ信号生成手段の制御に使用される、請求項12から19のいずれか1項に記載の方法。
  21. 前記ハイバンドおよび/またはローバンドオーディオ信号が、サイン波発生器またはサイン波発生器とノイズ発生器とによって前記サイクルレートで生成される、請求項12から20のいずれか1項に記載の方法。
  22. 請求項12から21のいずれか1項に記載の方法のステップを実行するコンピュータ実行可能命令を格納した1つ以上のコンピュータ読み取り可能な記録媒体を備える、コンピュータプログラム製品。
JP2005267713A 2004-09-17 2005-09-14 帯域制限オーディオ信号の帯域拡大システム、方法及び媒体 Expired - Fee Related JP4764118B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04022198.8 2004-09-17
EP04022198A EP1638083B1 (en) 2004-09-17 2004-09-17 Bandwidth extension of bandlimited audio signals

Publications (2)

Publication Number Publication Date
JP2006085176A true JP2006085176A (ja) 2006-03-30
JP4764118B2 JP4764118B2 (ja) 2011-08-31

Family

ID=34926584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005267713A Expired - Fee Related JP4764118B2 (ja) 2004-09-17 2005-09-14 帯域制限オーディオ信号の帯域拡大システム、方法及び媒体

Country Status (8)

Country Link
US (1) US7630881B2 (ja)
EP (1) EP1638083B1 (ja)
JP (1) JP4764118B2 (ja)
KR (1) KR101207670B1 (ja)
CN (1) CN1750124B (ja)
AT (1) ATE429698T1 (ja)
CA (1) CA2518332A1 (ja)
DE (1) DE602004020765D1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008052277A (ja) * 2006-08-22 2008-03-06 Harman Becker Automotive Systems Gmbh 拡張された帯域幅を有する音響信号を提供するための方法およびシステム
JP2010176090A (ja) * 2009-02-02 2010-08-12 Toshiba Corp 信号帯域拡張装置
JP2010237288A (ja) * 2009-03-30 2010-10-21 Oki Electric Ind Co Ltd 帯域拡張装置、方法及びプログラム、並びに、電話端末
JP2013041297A (ja) * 2012-10-23 2013-02-28 Oki Electric Ind Co Ltd 帯域拡張装置、方法及びプログラム、並びに、電話端末
JP2014016622A (ja) * 2009-02-04 2014-01-30 Motorola Mobility Llc 修正離散コサイン変換音声符号化器用の帯域幅拡大方法及び装置
JP2017503192A (ja) * 2013-12-11 2017-01-26 クゥアルコム・インコーポレイテッドQualcomm Incorporated 帯域幅拡張モード選択
WO2018062021A1 (ja) * 2016-09-27 2018-04-05 パナソニックIpマネジメント株式会社 音声信号処理装置、音声信号処理方法、および制御プログラム

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7240001B2 (en) 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
US6934677B2 (en) 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US7460990B2 (en) * 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
EP1686564B1 (en) * 2005-01-31 2009-04-15 Harman Becker Automotive Systems GmbH Bandwidth extension of bandlimited acoustic signals
CA2574468C (en) * 2005-04-28 2014-01-14 Siemens Aktiengesellschaft Noise suppression process and device
US20070109977A1 (en) * 2005-11-14 2007-05-17 Udar Mittal Method and apparatus for improving listener differentiation of talkers during a conference call
US7953604B2 (en) * 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US7831434B2 (en) * 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
US8190425B2 (en) * 2006-01-20 2012-05-29 Microsoft Corporation Complex cross-correlation parameters for multi-channel audio
ATE528748T1 (de) * 2006-01-31 2011-10-15 Nuance Communications Inc Verfahren und entsprechendes system zur erweiterung der spektralen bandbreite eines sprachsignals
CN101064634B (zh) * 2006-04-30 2011-08-10 华为技术有限公司 频段重配置系统和方法
EP1947644B1 (en) * 2007-01-18 2019-06-19 Nuance Communications, Inc. Method and apparatus for providing an acoustic signal with extended band-width
CN101227537B (zh) * 2007-01-19 2010-12-01 中兴通讯股份有限公司 一种宽带声学回声消除方法
US7599475B2 (en) * 2007-03-12 2009-10-06 Nice Systems, Ltd. Method and apparatus for generic analytics
EP1970900A1 (en) 2007-03-14 2008-09-17 Harman Becker Automotive Systems GmbH Method and apparatus for providing a codebook for bandwidth extension of an acoustic signal
US8990073B2 (en) * 2007-06-22 2015-03-24 Voiceage Corporation Method and device for sound activity detection and sound signal classification
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
JP5547081B2 (ja) * 2007-11-02 2014-07-09 華為技術有限公司 音声復号化方法及び装置
CN101868821B (zh) * 2007-11-21 2015-09-23 Lg电子株式会社 用于处理信号的方法和装置
KR100970446B1 (ko) 2007-11-21 2010-07-16 한국전자통신연구원 주파수 확장을 위한 가변 잡음레벨 결정 장치 및 그 방법
MY155538A (en) * 2008-07-11 2015-10-30 Fraunhofer Ges Forschung An apparatus and a method for generating bandwidth extension output data
US8463412B2 (en) * 2008-08-21 2013-06-11 Motorola Mobility Llc Method and apparatus to facilitate determining signal bounding frequencies
EP2360687A4 (en) * 2008-12-19 2012-07-11 Fujitsu Ltd VOICE BAND EXTENSION DEVICE AND VOICE BAND EXTENSION METHOD
DK2211339T3 (en) 2009-01-23 2017-08-28 Oticon As listening System
US8484020B2 (en) * 2009-10-23 2013-07-09 Qualcomm Incorporated Determining an upperband signal from a narrowband signal
RU2568278C2 (ru) * 2009-11-19 2015-11-20 Телефонактиеболагет Лм Эрикссон (Пабл) Расширение полосы пропускания звукового сигнала нижней полосы
US20130024191A1 (en) * 2010-04-12 2013-01-24 Freescale Semiconductor, Inc. Audio communication device, method for outputting an audio signal, and communication system
US9031268B2 (en) * 2011-05-09 2015-05-12 Dts, Inc. Room characterization and correction for multi-channel audio
CN103093757B (zh) * 2012-01-17 2014-10-29 大连理工大学 一种窄带码流转换为宽带码流的转换方法
CN102543089B (zh) * 2012-01-17 2013-04-17 大连理工大学 一种窄带码流转换为宽带码流的转换装置
US9258428B2 (en) 2012-12-18 2016-02-09 Cisco Technology, Inc. Audio bandwidth extension for conferencing
EP3008726B1 (en) * 2013-06-10 2017-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio signal envelope encoding, processing and decoding by modelling a cumulative sum representation employing distribution quantization and coding
WO2015133795A1 (ko) * 2014-03-03 2015-09-11 삼성전자 주식회사 대역폭 확장을 위한 고주파 복호화 방법 및 장치
CN111312277B (zh) 2014-03-03 2023-08-15 三星电子株式会社 用于带宽扩展的高频解码的方法及设备
CN106463133B (zh) 2014-03-24 2020-03-24 三星电子株式会社 高频带编码方法和装置,以及高频带解码方法和装置
CN105513590A (zh) * 2015-11-23 2016-04-20 百度在线网络技术(北京)有限公司 语音识别的方法和装置
CN107705801B (zh) * 2016-08-05 2020-10-02 中国科学院自动化研究所 语音带宽扩展模型的训练方法及语音带宽扩展方法
TWI807562B (zh) * 2017-03-23 2023-07-01 瑞典商都比國際公司 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
EP3382703A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and methods for processing an audio signal
US10510358B1 (en) * 2017-09-29 2019-12-17 Amazon Technologies, Inc. Resolution enhancement of speech signals for speech synthesis
EP3585076B1 (en) * 2018-06-18 2023-12-27 FalCom A/S Communication device with spatial source separation, communication system, and related method
GB2593117A (en) * 2018-07-24 2021-09-22 Nokia Technologies Oy Apparatus, methods and computer programs for controlling band limited audio objects
GB2596169B (en) * 2020-02-11 2022-04-27 Tymphany Acoustic Tech Ltd A method and an audio processing unit for detecting a tone
CN112652324A (zh) * 2020-12-28 2021-04-13 深圳万兴软件有限公司 语音增强优化方法及语音增强优化系统、可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0736490A (ja) * 1993-07-23 1995-02-07 Clarion Co Ltd 高調波付加回路
JPH08123495A (ja) * 1994-10-28 1996-05-17 Mitsubishi Electric Corp 広帯域音声復元装置
JPH08278800A (ja) * 1995-04-05 1996-10-22 Fujitsu Ltd 音声通信システム
JPH10124088A (ja) * 1996-10-24 1998-05-15 Sony Corp 音声帯域幅拡張装置及び方法
JP2000122679A (ja) * 1998-10-15 2000-04-28 Sony Corp 音声帯域拡張方法及び装置、音声合成方法及び装置
JP2003044098A (ja) * 2001-07-26 2003-02-14 Nec Corp 音声帯域拡張装置及び音声帯域拡張方法
JP2003526123A (ja) * 2000-03-07 2003-09-02 ノキア コーポレイション 音声復号器及び音声を復号化する方法
JP2004102095A (ja) * 2002-09-12 2004-04-02 Sony Corp 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム
JP2004517368A (ja) * 2001-01-12 2004-06-10 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 音声の帯域拡張
JP2004184472A (ja) * 2002-11-29 2004-07-02 Kenwood Corp 信号補間装置、音響再生装置、信号補間方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2779886B2 (ja) * 1992-10-05 1998-07-23 日本電信電話株式会社 広帯域音声信号復元方法
US5455888A (en) 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
DE69619284T3 (de) * 1995-03-13 2006-04-27 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Erweiterung der Sprachbandbreite
US6704711B2 (en) * 2000-01-28 2004-03-09 Telefonaktiebolaget Lm Ericsson (Publ) System and method for modifying speech signals
US7623496B2 (en) * 2001-04-24 2009-11-24 Intel Corporation Managing bandwidth in network supporting variable bit rate
US6895375B2 (en) * 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
FI116498B (fi) * 2002-09-23 2005-11-30 Nokia Corp Kaistanleveyden mukauttaminen

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0736490A (ja) * 1993-07-23 1995-02-07 Clarion Co Ltd 高調波付加回路
JPH08123495A (ja) * 1994-10-28 1996-05-17 Mitsubishi Electric Corp 広帯域音声復元装置
JPH08278800A (ja) * 1995-04-05 1996-10-22 Fujitsu Ltd 音声通信システム
JPH10124088A (ja) * 1996-10-24 1998-05-15 Sony Corp 音声帯域幅拡張装置及び方法
JP2000122679A (ja) * 1998-10-15 2000-04-28 Sony Corp 音声帯域拡張方法及び装置、音声合成方法及び装置
JP2003526123A (ja) * 2000-03-07 2003-09-02 ノキア コーポレイション 音声復号器及び音声を復号化する方法
JP2004517368A (ja) * 2001-01-12 2004-06-10 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 音声の帯域拡張
JP2003044098A (ja) * 2001-07-26 2003-02-14 Nec Corp 音声帯域拡張装置及び音声帯域拡張方法
JP2004102095A (ja) * 2002-09-12 2004-04-02 Sony Corp 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム
JP2004184472A (ja) * 2002-11-29 2004-07-02 Kenwood Corp 信号補間装置、音響再生装置、信号補間方法及びプログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008052277A (ja) * 2006-08-22 2008-03-06 Harman Becker Automotive Systems Gmbh 拡張された帯域幅を有する音響信号を提供するための方法およびシステム
KR101433833B1 (ko) 2006-08-22 2014-08-27 하만 베커 오토모티브 시스템즈 게엠베하 음향 신호에 확장된 대역폭을 제공하기 위한 방법 및시스템
JP2010176090A (ja) * 2009-02-02 2010-08-12 Toshiba Corp 信号帯域拡張装置
US8930184B2 (en) 2009-02-02 2015-01-06 Kabushiki Kaisha Toshiba Signal bandwidth extending apparatus
JP2014016622A (ja) * 2009-02-04 2014-01-30 Motorola Mobility Llc 修正離散コサイン変換音声符号化器用の帯域幅拡大方法及び装置
JP2010237288A (ja) * 2009-03-30 2010-10-21 Oki Electric Ind Co Ltd 帯域拡張装置、方法及びプログラム、並びに、電話端末
JP2013041297A (ja) * 2012-10-23 2013-02-28 Oki Electric Ind Co Ltd 帯域拡張装置、方法及びプログラム、並びに、電話端末
JP2017503192A (ja) * 2013-12-11 2017-01-26 クゥアルコム・インコーポレイテッドQualcomm Incorporated 帯域幅拡張モード選択
WO2018062021A1 (ja) * 2016-09-27 2018-04-05 パナソニックIpマネジメント株式会社 音声信号処理装置、音声信号処理方法、および制御プログラム
JPWO2018062021A1 (ja) * 2016-09-27 2019-08-08 パナソニックIpマネジメント株式会社 音声信号処理装置、音声信号処理方法、および制御プログラム
JP7126061B2 (ja) 2016-09-27 2022-08-26 パナソニックIpマネジメント株式会社 音声信号処理装置、音声信号処理方法、および制御プログラム

Also Published As

Publication number Publication date
DE602004020765D1 (de) 2009-06-04
JP4764118B2 (ja) 2011-08-31
US20060106619A1 (en) 2006-05-18
EP1638083A1 (en) 2006-03-22
KR101207670B1 (ko) 2012-12-03
US7630881B2 (en) 2009-12-08
CN1750124B (zh) 2010-06-16
CA2518332A1 (en) 2006-03-17
KR20060051298A (ko) 2006-05-19
ATE429698T1 (de) 2009-05-15
CN1750124A (zh) 2006-03-22
EP1638083B1 (en) 2009-04-22

Similar Documents

Publication Publication Date Title
JP4764118B2 (ja) 帯域制限オーディオ信号の帯域拡大システム、方法及び媒体
EP1252621B1 (en) System and method for modifying speech signals
EP1300833B1 (en) A method of bandwidth extension for narrow-band speech
US8069038B2 (en) System for bandwidth extension of narrow-band speech
RU2257556C2 (ru) Квантование коэффициентов усиления для речевого кодера линейного прогнозирования с кодовым возбуждением
JP2021502588A (ja) ニューラルネットワークプロセッサを用いた帯域幅が拡張されたオーディオ信号を生成するための装置、方法またはコンピュータプログラム
US8209188B2 (en) Scalable coding/decoding apparatus and method based on quantization precision in bands
EP1995723B1 (en) Neuroevolution training system
KR101213840B1 (ko) 복호화 장치 및 복호화 방법, 및 복호화 장치를 구비하는 통신 단말 장치 및 기지국 장치
JP4302978B2 (ja) 音声コーデックにおける擬似高帯域信号の推定システム
Kornagel Techniques for artificial bandwidth extension of telephone speech
JP4006770B2 (ja) ノイズ推定装置、ノイズ削減装置、ノイズ推定方法、及びノイズ削減方法
EP3079151A1 (en) Audio encoder and method for encoding an audio signal
JP3183104B2 (ja) ノイズ削減装置
JP4603727B2 (ja) 音響信号分析方法及び装置
JP4287840B2 (ja) 符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100824

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110610

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4764118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees