JP2008116952A - 音声信号のモデルベース強化 - Google Patents

Abstract

【課題】ノイズ低減と、コードブックの利用により再構成された音声信号の生成による音声信号の品質のモデルベース強化とによって、音声信号を処理する方法を提供すること。
【解決手段】音声入力信号を処理する方法であって、該方法は、該音声入力信号の入力信号対ノイズ比または信号対ノイズ比を推定するステップと、該音声入力信号に基づいて、励起信号を生成するステップと、該音声入力信号のスペクトルエンベロープを抽出するステップと、該励起信号と該抽出スペクトルエンベロープとに基づいて、再構成音声信号を生成するステップと、ノイズ低減フィルタリング手段によって、該音声入力信号をフィルタリングして、ノイズ低減信号を得るステップと、該音声入力信号対ノイズ比または該信号対ノイズ比に基づいて、該再構成音声信号と該ノイズ低減信号とを結合して、強化音声出力信号を得るステップとを包含する、方法。
【選択図】図１

Description

（発明の分野）
本発明は、オーディオ信号処理に関し、特に、ノイズ低減と、コードブックの利用によって再構成された音声信号の生成による音声信号の品質のモデルベース強化とに関する。

（発明の背景）
２つのパーティが相互にオーディオ信号、特に、音声信号を送受信する一方向または双方向音声通信は、しばしば、バックグラウンドノイズによるオーディオ信号の品質劣化に悩まされる。ノイズの多い環境におけるバックグラウンドノイズは、ボイス会話の品質および了解度に深刻な影響を及ぼし得、最悪の場合、通信の完全な崩壊を招き得る。

ノイズの多い環境におけるバックグラウンドノイズに悩まされる音声通信の代表的な一つの例は、車両内でのハンズフリーボイス通信である。送信される音声信号の了解度を改善するために、何らかのノイズ低減が使用されなくてはならない。現在の車両通信システムは、車両の外側のはるか遠くにいるリモートな加入者とのハンズフリー電話のみならず、車室内での通信も可能にする。前方座席および後方座席に提供されたマイクおよび拡声器によって、特に、自動車道を高速で移動する間に、バックグラウンドノイズが増加する場合、乗客は、より良い音響的な理解が可能になる。

別の例は、ノイズの多い環境下での音声認識システムおよび音声制御システムによって与えられる。認識結果の信頼性は、検出された音声信号へのバックグラウンドノイズの寄与と、ノイズ抑制手段の効率とに、大きく依存する。

この分野において、信号チャネルノイズ低減方法は、例えば、スペクトル減算を用いる方法など周知である。しかしながら、これらの方法は、通常、（ほとんど）静止しているノイズ摂動と、信号がノイズより大きい場合とに限られている。これらの方法に従うと、摂動は排除されず、むしろ、ノイズによって影響を受けたスペクトル成分が減衰されるので、処理された音声信号は、歪む。したがって、音声信号の了解度は、通常は、十分に改善されない。遠くで話している音声取得において、信号品質を改善する別の方法は、マルチチャネルシステムの利用、すなわち、マイクアレイの利用である。しかしながら、マルチチャネルの解決策は、高価であるのみならず、十分に強化された音声信号を保証し得ない。

一部のさらなる詳細において、ノイズの多い音声信号の強化は、通常、時間および／または周波数の選択的減衰によって、例えば、（修正）Ｗｉｅｎｅｒフィルタの使用によって、特に、スペクトル減算によって実行される。スペクトル減算の方法に従うと、スペクトルの摂動部分は、信号対ノイズ（ＳＮＲ）に依存する特性に従って、抑制される。この特性および関連する減衰係数は、通常、サブバンドまたはスペクトルドメインでの信号処理に使用される。（Ｗｉｅｎｅｒ）フィルタ特性で使用されるパラメータは、原則として、静止であり得るか、あるいは時間依存性であり得る。

強化された出力信号を得るために、このサブバンド信号は、通常、減衰係数で乗算され、合成フィルタバンクによって結合される非摂動サブバンド信号に対する推定を得る。減衰係数は、ノイズ（摂動）の推定パワー密度スペクトルと、強化されるべき摂動オーディオ入力信号とに基づいて決定される。実際の入力信号のパワー密度スペクトルは、通常、サブバンド信号の二乗の大きさから、すなわち、サブバンド信号の短期スペクトログラムから計算される。一部の減衰限界も、適合的に選択され得る。

しかしながら、オーディオ信号、特に音声信号においてノイズを低減する公知の方法は、比較的低い信号対ノイズ比に対しては満足できるものではない。この技術において、１０ｄＢ以下の信号対ノイズ比は、ノイズ低減フィルタリング手段の性能を著しく劣化する結果となる。実際、音声信号の少なくとも一部の部分は、バックグラウンドノイズの中に著しく埋もれることが多い。

したがって、信号処理の分野での最近の進歩にも関わらず、オーディオ信号、特に音声信号の改善された処理で、その結果、強化されたノイズ低減と処理された音声信号の了解度とを結果としてもたらす処理に対するニーズが依然として存在する。

（発明の説明）
上述の問題は、請求項１に記載の音声入力信号を処理する方法によって解決され、該方法は、
該音声入力信号の入力信号対ノイズ比または信号対ノイズ比を推定するステップと、
該音声入力信号に基づく励起信号を生成するステップと、
該音声入力信号のスペクトルエンベロープを抽出するステップと、
該励起信号と該抽出スペクトルエンベロープとに基づいて、再構成音声信号を生成するステップと、
ノイズ低減フィルタリング手段によって、該音声入力信号をフィルタリングして、ノイズ低減信号を得るステップと、
該音声入力信号対ノイズ比または該信号対ノイズ比に基づいて、該再構成音声信号と該ノイズ低減信号とを結合して、強化音声出力信号を得るステップと
を包含する。

入力信号対ノイズ比（ＩＮＲ）は、例えば、（スピーカからの音声信号を検出するマイクによって生成されるマイク信号であり得る）音声入力信号の短期スペクトログラム（短期スペクトルの二乗の大きさ）と、この音声入力信号に存在するノイズの短期パワー密度スペクトルとの比によって計算される。このようなスペクトルを推定する方法は、この分野で周知である（例えば、Ｅ．Ｈａｅｎｓｌｅｒ、Ｇ．Ｓｃｈｍｉｄｔによる「Ａｃｏｕｓｔｉｃ Ｅｃｈｏ ａｎｄ Ｎｏｉｓｅ Ｃｏｎｔｒｏｌ」（Ｗｉｌｅｙ、米国ニュージャージー州Ｈｏｂｏｋｅｎ、２００４年）参照）。

代替として、本発明の方法の本明細書に記載される例の全てにおいて、入力信号対ノイズ比（ＩＮＲ）または信号対ノイズ比（ＳＮＲ）が使用される。後者は、例えば、ＳＮＲ（Ω_μ，ｎ）＝ｍａｘ｛０，ＩＮＲ（Ω_μ，ｎ）−１｝のようなＩＮＲから計算され得る。ここで、ｎは、離散時間指数を示し、Ω_μは、解析フィルタバンクによって決定される離散周波数ノード、または音声入力信号を周波数ドメインに変換するために使用される離散フーリエ変換のノードを示す。この関連において、信号処理全体は、時間ドメインまたは周波数ドメインのいずれかで実行され得ることに留意される。以下に記載される実施形態に従うと、音声入力信号は、例えば、解析フィルタバンクによって、サブバンド信号に変換される。

励起信号は、理想的には、発声が検出される話者の声帯で即座に検出される信号を表わす。有声信号部分と無声信号部分との区別は、励起信号を推定するステップに含まれる。励起信号は、ノイズの多い音声入力信号のピッチとパワーとに基づいて、モデル化され得る（さらなる詳細については、以下の記載を参照）。

（短期）スペクトルエンベロープは、音色を表わす音声認識／合成において特に関連する周知の量である。予測エラーフィルタを計算するために、線形予測符号化（ＬＰＣ）のロバストな方法を用いることが、好まれ得る。予測エラーフィルタの係数は、スペクトルエンベロープのパラメトリックな決定に使用され得る。代替として、ラインスペクトル周波数、あるいはケプストラム係数またはメル周波数ケプストラム係数に基づくスペクトルエンベロープ表現に対するモデルを使用し得る（以下の議論も参照）。

本発明に従うと、再構成音声信号は、（短期）スペクトルエンベロープおよび推定励起信号によって生成され、この再構成音声信号は、推定ＩＮＲ（または、代替として、ＳＮＲ）に依存して、音声入力信号のノイズ低減バージョン（使用されるノイズ低減フィルタリング手段は、この分野で周知であり得る）と結合される。特に、かなり低いＩＮＲを示す信号部分は、この分野で公知のようなシンプルなノイズ低減によって十分に強化され得ない。約１０ｄＢ以下のＳＮＲに対して、例えば、従来のノイズフィルタを単に使用するだけでは、ノイズの多い音声入力信号をさらに劣化することさえあり得る。この技術に比べ、ノイズ低減と了解度強化との双方を示す強化音声出力信号を得るために、低いＩＮＲ（ＳＮＲ）を有する信号部分に対しては、再構成音声信号が使用される。

強化音声出力信号を得るために、再構成音声信号とノイズ低減信号との結合は、両信号の重み付き合計の形式で実行される。すなわち、両信号のそれぞれが、異なる重み付け因子によって乗算され、次いで、重み付けされた信号が加算される。重みは、推定ＩＮＲまたはＳＮＲに従って、容易に適合され得る。特定の実施形態に従うと、ノイズ低減信号および再構成音声信号は、それぞれサブバンド信号に変換され、解析フィルタバンクによって決定される離散周波数ノードΩ_μで変動する重みで乗算される。所定の閾値未満のＩＮＲを有する周波数において、重みは、音声出力信号に対する再構成音声信号の寄与が、ノイズ低減信号の寄与を圧するように選択される。

ノイズの多い音声入力信号から強化された品質の音声出力信号を得るために、本明細書で開示される方法で特に重要なことは、ＩＮＲまたはＳＮＲの推定であり、したがって、ノイズの短期パワー密度スペクトル（以下で、しばしば、ノイズパワー密度スペクトルと単に称する）の推定である。なぜなら、再構成音声信号とノイズ低減信号との結合は、ＩＮＲまたはＳＮＲに依存して、したがって、推定ノイズレベルに依存して制御されるからである。

ＩＮＲ（ＳＮＲ）は、音声入力信号に含まれるノイズの短期パワー密度スペクトルを推定するステップと、該音声入力信号の短期スペクトログラムを決定するステップとによって、推定され得るのに対し、
離散時間指数ｎに対する該推定ノイズパワー密度スペクトルを推定するステップは、
該音声入力信号（ｙ（ｎ））の該短期パワー密度スペクトルを時間で平滑化して、第一の平滑化短期パワー密度スペクトルを得るステップと、
正の周波数方向に該第一の平滑化短期パワー密度スペクトルを平滑化して、第二の平滑化短期パワー密度スペクトルを得るステップと、
負の周波数方向に該第二の平滑化短期パワー密度スペクトルを平滑化して、第三の平滑化短期パワー密度スペクトルを得るステップと、
該離散時間指数ｎに対する該第三の平滑化短期パワー密度スペクトルと、離散時間指数ｎ−１に対するノイズの該推定短期パワー密度スペクトルとのうちの最小を決定するステップと
を包含し得る。

離散時間指数ｎ−１に対するノイズの推定短期パワー密度スペクトルは、離散時間指数ｎ−２に対するノイズの推定短期パワー密度スペクトルに基づいて、同様に得られるなどである。

ノイズパワー密度スペクトルを推定するこのような特定の方法によって、アウトライヤの保留が達成され得る。ノイズパワー密度スペクトルを推定する処理がフリーズしないようにするために、上述の最小値と所定の閾値とのうちの最大値として、ノイズパワー密度スペクトルを推定することが、好まれ得る。上述の最小値は、１＋εの因子によって乗算され得、ここで、εは、１より十分に小さい正の実数である。εに対する値を適切に選択することによって、一時的な変動に対する推定の高速反応が、達成され得る（以下も参照）。

上述の例において、励起信号は、励起コードブックによって生成され得る。さらに、再構成音声信号は、推定スペクトルエンベロープに基づいて生成され得、この推定スペクトルエンベロープは、抽出スペクトルエンベロープから、かつスペクトルエンベロープコードブックによって生成される。この場合、スペクトルコードブックは、事前にトレーニングされたプロトタイプスペクトルエンベロープを備える。特に、このプロトタイプスペクトルエンベロープは、特に、かなり音声入力信号のノイズの多い部分を再構成するために使用され得る。

ノイズの多い音声入力信号から、有声信号部分の（ボイス）ピッチは、この分野で公知のように、推定ピッチ周期と、励起信号が生成され得る前に準備された励起コードブックとによって、推定され得る。この励起コードブックは、正弦波振動の重み付き合計を表すエントリを備える。一例に従うと、励起コードブックは、正弦波振動の重み付き合計のようなマトリックスＣ_ｇによって表され得る。ここで、行ｋ＋１の中のエントリは、行ｋの振動の全てを含み、単一の追加振動をさらに含む。励起コードブックを使用することによって、励起信号の有声部分の信頼性のある満足ゆく生成が可能になる（無声部分は、ノイズ生成器によって生成され得る）。

ノイズの多い音声入力信号から直接得られた（そして、例えば、無限インパルス応答平滑化を受け）抽出スペクトルエンベロープは、比較的高いＩＮＲまたはＳＮＲを有する信号部分に対してだけ、話者によって生成された非摂動音声信号のスペクトルエンベロープに対する信頼性ある推定を示す。低いＩＮＲまたはＳＮＲの非摂動音声信号のスペクトルエンベロープに対する信頼性ある推定を達成するために、スペクトルエンベロープコードブックが使用される。スペクトルエンベロープコードブックは、事前にトレーニングされ、例えば、２５６個のトレーニングされたプロトタイプスペクトルエンベロープを含む。抽出スペクトルエンベロープは、比較的高いＩＮＲを有する信号部分に対するコードブックのエントリと比較される。コードブックの最適に合致するプロトタイプスペクトルエンベロープが、決定される。

特定の例に従うと、音声入力信号の抽出スペクトルエンベロープは、高いＩＮＲを有する信号部分に対して再構成音声信号を生成するために使用される。低いＩＮＲを有する信号部分に対しては、スペクトルエンベロープコードブックの最適に合致する対応するプロトタイプスペクトルエンベロープが使用される。好ましくは、再構成音声信号を生成するために使用される結果として得られるスペクトルエンベロープは、正および負の周波数方向に平滑化される。これは、抽出スペクトルエンベロープから最適に合致する抽出エンベロープであるスペクトルエンベロープのエントリへの急激な切り替えは、認識可能なアーチファクトを生じ得るので、これを避けるためである。

上述のスペクトルエンベロープコードブックを用いる本発明の方法の一つの例に従うと、所定の閾値を超える入力信号対ノイズ比を示す上記音声入力信号の部分に対して上記抽出スペクトルエンベロープと最適に合致する上記スペクトルエンベロープコードブックのプロトタイプスペクトルエンベロープが、決定され、上記推定スペクトルエンベロープは、一方で、該所定の閾値を超える入力信号対ノイズ比を示す該音声入力信号の該部分に対して決定された最適に合致するプロトタイプスペクトルエンベロープと、他方で、該信号の他の部分に対する該抽出スペクトルエンベロープとから実質的になる。

この例では、コードブックからルックアップされたスペクトルエンベロープは、音声入力信号の部分に対して使用されるだけである。信憑性（ａｕｔｈｅｎｔｉｃｉｔｙ）と了解度との観点から満足する再構成音声信号ということを考慮すると、この部分については、抽出スペクトルエンベロープは、非摂動音声信号のスペクトルエンベロープに十分似ているということを期待できない。

コードブックの最適に合致するスペクトルエンベロープと、音声入力信号から抽出されたスペクトルエンベロープとの上述の結合を達成する特に効率的な方法は、サブバンドの下で、マスク関数Ｍ（Ω_μ，ｎ）を以下のように

利用することである。ここで、

と

とは、平滑化された抽出スペクトルエンベロープと、スペクトルエンベロープコードブックの最適に合致するスペクトルエンベロープとをそれぞれ表す（平滑化の詳細に関しては、以下の詳細な説明を参照）。マスク関数は、ＩＮＲに依存する。例えば、ＩＮＲが所定の閾値を超える場合、Ｍ（Ω_μ，ｎ）＝１を、ＩＮＲが所定の閾値未満の場合、Ｍ（Ω_μ，ｎ）＝εを適切に選択し得る。ここで、εは、小さな正の実数である。

さらに、音声が実際に存在する（検出される）信号部分に対してだけ（主として）、励起信号（再構成音声信号）が生成されるように励起信号がフィルタリングされることが、むしろ選択されることがあり得る。これを達成し、そして、したがって、最終的に得られる音声出力信号の品質をさらなる強化を得るために、励起信号は、フィルタリングされた励起サブバンド信号

から生成され得、この励起サブバンド信号は、上述のように得られた励起信号を励起サブバンド信号

に変換することによって生成され得る。このフィルタリングされた励起サブバンド信号

は、フィルタリングされていないサブバンド信号

に適用されるスプレッドノイズ低減フィルタリング手段

によって得られ、つまり、

である。

従来のスプレッドノイズ低減フィルタは、フィルタ係数

を用い、低いＩＮＲ（ＳＮＲ）を示す周波数範囲での信号再構成を可能にするように使用され得る。ここで、μ∈｛０，．．，Ｍ−１｝に対して、

である。

従来のように決定された減衰係数は、

によって示され、

は、スプレッド関数を示す。例えば、修正されたＷｉｅｎｅｒ特性が使用され得、

である。

同じフィルタ特性が、上述のノイズ低減フィルタリング手段のために使用され得る。しかしながら、フィルタリングされた励起サブバンド信号を得るという面においては、大きな過大評価因子

と、特に、例えば、［０．０１，０．１］から選択される非常に大きな最大減衰

が、使用されるスプレッドフィルタに対して選択される。

比較的高いＩＮＲ（ＳＮＲ）を有する信号部分に対して、再構成音声信号のサブバンド信号の位相をノイズ低減信号のサブバンド信号の位相に適合させることが、有利であることを実験は示した。

したがって、別の実施例に従うと、上記強化音声出力信号

の生成は、上記再構成音声信号

のサブバンド信号

と、上記ノイズ低減信号

のサブバンド信号

との生成を包含し、該再構成音声信号

の該サブバンド信号

の位相は、上記入力信号対ノイズ比（ＩＮＲ（Ω_μ，ｎ））に依存して、特に、

によって、該ノイズ低減信号

の該サブバンド信号

の位相に適合される。

上述のサブバンド信号

と

とは、ノイズ低減フィルタリング手段によって出力されたノイズ低減フルバンド信号と、再構成フルバンド音声信号とから、解析フィルタバンクによって生成されるか、あるいはこれらのサブバンド信号は、ノイズ低減フィルタリング手段によって、かつ音声信号を再構成する処理とによって、直接出力されるかのいずれかであることは、留意される。

本発明はまた、上述の実施例のうちの一つに従う方法の上記ステップを実行するためのコンピュータ実行可能な命令を有する一つ以上のコンピュータ読み取り可能な媒体を備えているコンピュータプログラム製品も提供する。

この分野での上述の問題はまた、請求項１２に記載の音声入力信号を処理する信号処理手段によって解決され、該信号処理手段は、
該音声入力信号を受信することと、ノイズ低減信号を出力することとを行うように構成されているノイズ低減フィルタリング手段と、
該音声入力信号を受信することと、該音声入力信号からスペクトルエンベロープを抽出することと、該音声入力信号に基づく励起信号を生成することと、該抽出スペクトルエンベロープおよび該励起信号に基づいて、再構成音声信号を生成して、出力することとを行うように構成されている信号再構成手段と、
該ノイズ低減信号および該再構成音声信号を受信することと、該ノイズ低減信号と該再構成音声信号との結合として、強化音声出力信号を出力することとを行うように構成されている信号結合手段と、
該音声入力信号を受信することと、該信号再構成手段および該信号結合手段を制御することとを行うように構成されている制御手段であって、該制御することは、該ノイズ低減フィルタリング手段または該制御手段によって決定される該音声入力信号の入力信号対ノイズ比または信号対ノイズ比に基づく、制御手段と
を備えている。

上記信号処理手段は、上記音声入力信号を音声入力サブバンド信号に変換するように構成されている少なくとも一つの解析フィルタバンクと、上記信号結合手段によって、あるいは上記ノイズ低減フィルタリング手段および上記信号再構成手段によって出力されたサブバンド信号を合成するように構成されている少なくとも一つの合成フィルタリングバンクとをさらに備え得る。

上記信号結合手段は、上記ノイズ低減信号と上記再構成音声信号との重み付き合計を構築することによって、上記音声出力信号を生成し得る。上記入力信号対ノイズ比または上記信号対ノイズ比は、上記ノイズ低減フィルタリング手段の制御手段によって推定され得、この推定は、上記音声入力信号に含まれるノイズの上記短期パワー密度スペクトルを推定することと、該音声入力信号の短期スペクトログラムを決定することとによって行われる。

一実施形態に従うと、上記信号処理手段は、
励起コードブックデータベースと、
スペクトルエンベロープコードブックデータベースと、
該励起コードブックデータベースによって、上記励起信号を生成するように構成されている励起推定器と、
該スペクトルエンベロープコードブックデータベースによって、上記推定スペクトルエンベロープを生成するように構成されているスペクトルエンベロープ推定器と
を備え、
該信号再構成手段は、該推定スペクトルエンベロープおよび該励起信号に基づいて、上記再構成音声信号を生成して、出力するように構成されている。

本発明の方法に関連し、以上に議論されたように、上記励起推定器および上記スペクトルエンベロープ推定器は、上記励起信号および上記推定スペクトルエンベロープをそれぞれ生成するように構成され得る。

上記信号処理手段の上述の実施例の制御手段は、上記音声入力信号の上記入力信号対ノイズ比または上記信号対ノイズ比を決定することと、該音声入力信号の該入力信号対ノイズ比または該信号対ノイズ比が、該音声入力信号全体に対し所定の閾値を超えていることが決定された場合、上記信号再構成手段を不活性化することとを行うように構成され得る。したがって、ノイズ低減フィルタリング手段が音声入力信号の品質を十分に強化し得ないと考えなくてはならないほど、入力音声信号の摂動が深刻ではない場合には、上記音声信号の比較的高価な再構成は、省かれ得る。

本発明はまた、上述の実施例の一つに従う信号処理手段を備えているハンズフリー電話システムを提供する。また、本明細書の中で、上述の実施例の一つに従う信号処理手段を備えている音声認識手段も提供される。

さらに、上述の音声認識手段または上述の実施例の一つに従う信号処理手段を備えている音声対話システムまたはボイス制御システムが提供される。

本発明の信号処理を受けて得られた音声信号の品質、したがって、特に、了解度は、著しく強化され得るので、上述のシステムは、公的な用途の実施例となる。電話での会話および音声の認識は、非常に摂動を受ける音声入力信号の信号部分が、再構成音声信号に置換され得るので、本明細書に開示される音声信号処理から、特に恩恵を享受し得る。

本発明の追加の特徴および利点は、図面を参照して記載される。

本発明は、さらに、以下の手段を提供する。

（項目１）
音声入力信号（ｙ（ｎ））を処理する方法であって、
該音声入力信号（ｙ（ｎ））の入力信号対ノイズ比（ＩＮＲ）または信号対ノイズ比（ＳＮＲ）を推定するステップと、
該音声入力信号（ｙ（ｎ））に基づいて、励起信号を生成するステップと、
該音声入力信号（ｙ（ｎ））のスペクトルエンベロープを抽出するステップと、
該励起信号と該抽出スペクトルエンベロープとに基づいて、再構成音声信号

を生成するステップと、
ノイズ低減フィルタリング手段（１０）によって、該音声入力信号（ｙ（ｎ））をフィルタリングして、ノイズ低減信号

を得るステップと、
該音声入力信号対ノイズ比（ＩＮＲ）または該信号対ノイズ比（ＳＮＲ）に基づいて、該再構成音声信号

と該ノイズ低減信号

とを結合して、強化音声出力信号

を得るステップと
を包含する、方法。

（項目２）
上記音声入力信号対ノイズ比（ＩＮＲ）または上記信号対ノイズ比（ＳＮＲ）に基づいて、上記再構成音声信号

を重み付けして、重み付け再構成音声信号を得るステップと、
該音声入力信号対ノイズ比（ＩＮＲ）または該信号対ノイズ比（ＳＮＲ）に基づいて、上記ノイズ低減信号

を重み付けして、重み付けノイズ低減信号を得るステップと
をさらに包含し、
該再構成音声信号

と該ノイズ低減信号

とを結合する上記ステップは、該重み付け再構成音声信号と該重み付け再ノイズ低減信号とを加算して、上記強化音声出力信号

を得ることからなる、項目１に記載の方法。

（項目３）
上記音声入力信号対ノイズ比（ＩＮＲ）または上記信号対ノイズ比（ＳＮＲ）を推定する上記ステップは、
上記音声入力信号（ｙ（ｎ））に含まれるノイズの短期パワー密度スペクトルを推定するステップと、
該音声入力信号（ｙ（ｎ））の短期スペクトログラムを決定するステップと
を包含する、項目１または項目２に記載の方法。

（項目４）
離散時間指数ｎ−１に対するノイズの短期パワー密度スペクトルから、離散時間指数ｎに対するノイズの上記短期パワー密度スペクトルを推定するステップは、
上記音声入力信号（ｙ（ｎ））の上記短期パワー密度スペクトルを時間で平滑化して、第一の平滑化短期パワー密度スペクトルを得るステップと、
正の周波数方向に該第一の平滑化短期パワー密度スペクトルを平滑化して、第二の平滑化短期パワー密度スペクトルを得るステップと、
負の周波数方向に該第二の平滑化短期パワー密度スペクトルを平滑化して、第三の平滑化短期パワー密度スペクトルを得るステップと、
該離散時間指数ｎに対する該第三の平滑化短期パワー密度スペクトルと、離散時間指数ｎ−１に対するノイズの該推定短期パワー密度スペクトルとのうちの最小を決定するステップと
を包含する、項目３に記載の方法。

（項目５）
上記励起信号は、励起コードブックによって生成される、項目１〜項目４のいずれか１項に記載の方法。

（項目６）
上記再構成音声信号

は、推定スペクトルエンベロープに基づいて生成され、該推定スペクトルエンベロープは、上記抽出スペクトルエンベロープから、かつスペクトルエンベロープコードブックによって生成される、項目１〜項目５のいずれか１項に記載の方法。

（項目７）
所定の閾値を超える入力信号対ノイズ比を示す上記音声入力信号の部分に対して上記抽出スペクトルエンベロープと最適に合致する上記スペクトルエンベロープコードブックのプロトタイプスペクトルエンベロープが、決定され、
上記推定スペクトルエンベロープは、該所定の閾値を超える入力信号対ノイズ比を示す該音声入力信号の該部分に対する該決定された最適に合致するプロトタイプスペクトルエンベロープと、該信号の他の部分に対する該抽出スペクトルエンベロープとから実質的になる、項目６に記載の方法。

（項目８）
上記推定スペクトルエンベロープは、周波数

で平滑化された抽出スペクトルエンベロープと、上記決定された最適に合致するプロトタイプスペクトルエンベロープ

との重み付け合計から、サブバンドの下で

から計算され、ここで、マスク関数Ｍ（Ω_μ，ｎ）は、上記入力信号対ノイズ比に依存する、項目７に記載の方法。

（項目９）
上記励起信号は、フィルタリングされた励起サブバンド信号

から生成され、該フィルタリングされた励起サブバンド信号

は、スプレッドノイズ低減フィルタリング手段によって得られる、項目６〜項目８のいずれか１項に記載の方法。

（項目１０）
上記強化音声出力信号

の生成は、上記再構成音声信号

のサブバンド信号

と、上記ノイズ低減信号

のサブバンド信号

との生成を包含し、該再構成音声信号

の該サブバンド信号

の位相は、上記入力信号対ノイズ比（ＩＮＲ（Ω_μ，ｎ））に依存して、特に、

によって、該ノイズ低減信号

の該サブバンド信号

の位相に適合される、項目１〜項目９のいずれか１項に記載の方法。

（項目１１）
項目１〜項目１０のいずれか１項に記載の方法の上記ステップを実行するためのコンピュータ実行可能な命令を有する一つ以上のコンピュータ読み取り可能な媒体を備えている、コンピュータプログラム製品。

（項目１２）
音声入力信号（ｙ（ｎ））を処理する信号処理手段であって、
該音声入力信号（ｙ（ｎ））を受信することと、ノイズ低減信号

を出力することとを行うように構成されているノイズ低減フィルタリング手段（１０）と、
該音声入力信号（ｙ（ｎ））を受信することと、該音声入力信号（ｙ（ｎ））からスペクトルエンベロープを抽出することと、該音声入力信号（ｙ（ｎ））に基づく励起信号を生成することと、該抽出スペクトルエンベロープおよび該励起信号に基づいて、再構成音声信号

を生成して、出力することとを行うように構成されている信号再構成手段（１１）と、
該ノイズ低減信号

および該再構成音声信号

を受信することと、該ノイズ低減信号

と該再構成音声信号

との結合として、強化音声出力信号

を出力することとを行うように構成されている信号結合手段（１３）と、
該音声入力信号（ｙ（ｎ））を受信することと、該信号再構成手段（１１）および該信号結合手段（１３）を制御することとを行うように構成されている制御手段（１２）であって、該制御することは、該ノイズ低減フィルタリング手段（１０）または該制御手段（１２）によって決定される該音声入力信号（ｙ（ｎ））の入力信号対ノイズ比または信号対ノイズ比に基づく、制御手段（１２）と
を備えている、信号処理手段。

（項目１３）
上記音声入力信号（ｙ（ｎ））を音声入力サブバンド信号

に変換するように構成されている少なくとも一つの解析フィルタバンク（２１）と、
上記信号結合手段（１３）によって、あるいは上記ノイズ低減フィルタリング手段（１０）および上記信号再構成手段（１１）によって出力されたサブバンド信号を合成するように構成されている少なくとも一つの合成フィルタリングバンク（２２）と
をさらに備えている、項目１２に記載の信号処理手段。

（項目１４）
上記信号再構成手段（１１）は
励起コードブックデータベース（２６）と、
スペクトルエンベロープコードブックデータベース（２４）と、
該励起コードブックデータベース（２６）によって、上記励起信号を生成するように構成されている励起推定器（２５）と、
該スペクトルエンベロープコードブックデータベース（２４）によって、上記推定スペクトルエンベロープを生成するように構成されているスペクトルエンベロープ推定器（２３）と
を備え、
該信号再構成手段（１１）は、該推定スペクトルエンベロープおよび該励起信号に基づいて、上記再構成音声信号

を生成して、出力するように構成されている、項目１２または項目１３に記載の信号処理手段。

（項目１５）
上記制御手段（１２）は、上記音声入力信号（ｙ（ｎ））の上記入力信号対ノイズ比または上記信号対ノイズ比を決定することと、該音声入力信号（ｙ（ｎ））の該入力信号対ノイズ比または該信号対ノイズ比が、該音声入力信号（ｙ（ｎ））全体に対し所定の閾値を超えていることが決定された場合、上記信号再構成手段（１１）を不活性化することとを行うように構成されている、項目１２〜項目１４のいずれか１項に記載の信号処理手段。

（項目１６）
項目１２〜項目１５のいずれか１項に記載の信号処理手段を備えている、ハンズフリー電話システム。

（項目１７）
項目１２〜項目１５のいずれか１項に記載の信号処理手段を備えている、音声認識手段。

（項目１８）
項目１７に記載の音声認識手段または項目１２〜項目１５のいずれか１項に記載の信号処理手段を備えている、音声対話システムまたはボイス制御システム。

（摘要）
本発明は、オーディオ入力信号を処理する方法に関し、該方法は、音声入力信号の入力信号対ノイズ比または信号対ノイズ比を推定するステップと、該音声入力信号に基づいて、励起信号を生成するステップと、該音声入力信号のスペクトルエンベロープを抽出するステップと、該励起信号と該抽出スペクトルエンベロープとに基づいて、再構成音声信号を生成するステップと、ノイズ低減フィルタリング手段によって、該音声入力信号をフィルタリングして、ノイズ低減信号を得るステップと、該音声入力信号対ノイズ比または該信号対ノイズ比に基づいて、該再構成音声信号と該ノイズ低減信号とを結合して、強化音声出力信号を得るステップとを包含する。本発明はまた、本明細書に開示される方法を実行するように構成されている信号処理手段にも関する。

本発明の方法の一例の基本的なステップが、図１に示される。ノイズの多い音声信号が、信号処理手段に、例えば、１つ以上のマイクによって入力される１。所定の閾値未満の信号対ノイズ比（ＳＮＲ）を示す音声入力信号の部分が、検出される２。信号のこの部分は、バックグラウンドノイズによって非常に摂動を受け、したがって、従来のノイズ低減は、失敗する。

本例に従うと、スペクトルエンベロープは、音声入力信号から抽出され、非摂動音声信号の対応するスペクトルエンベロープが、ノイズによって非常に摂動を受けていない信号部分から推定される３（詳細は以下に与えられる）。さらに、励起信号が推定される４。励起信号を推定する処理は、音声入力信号を有声部分と無声部分とに励起分類することを包含する。推定スペクトルエンベロープおよび推定励起信号に基づいて、音声入力信号が、この分野で公知のように、再構成される５。

一方、音声入力信号は、何らかの公知のノイズ低減フィルタリング手段によって、シンプルにノイズ低減される６。代替として、バックグラウンドノイズによって大きな影響を受けていない入力信号の部分のみが、ノイズ低減フィルタリング手段によってフィルタリングされる。最後に、ノイズ低減信号（部分）と再構成音声信号とが結合され７、強化された品質を有する音声出力信号を得る。ノイズ低減信号と再構成音声信号との結合は、実際のＳＮＲに依存する重みを用いて、重み付き加重の形式で実行され得る。

図２は、本発明の信号処理手段の一例の基本的なコンポーネントを示す。この信号処理手段は、従来のノイズ低減フィルタリング手段１０を備える。音声入力信号ｙ（ｎ）が、この手段によってフィルタリングされ、ノイズ低減信号

が出力される。引数ｎによって、離散時間指数が示される。

音声入力信号ｙ（ｎ）はまた、信号再構成手段１１および制御手段１２によって受信される。信号再構成手段１１は、音声入力信号ｙ（ｎ）の特徴解析に基づいて、音声信号を再構成するように構成されている。特に、信号再構成手段１１は、音声入力信号ｙ（ｎ）の抽出スペクトルエンベロープに基づいて、かつ事前にトレーニングされたプロトタイプスペクトルエンベロープを備えるスペクトルエンベロープコードブックを利用して、非摂動音声信号のスペクトルエンベロープを推定するように構成される。信号再構成手段１１はまた、励起コードブックによって、非摂動励起信号を推定するようにも構成されている（詳細については、以下の記載参照）。

本例に従う制御手段１２は、ノイズの短期パワー密度スペクトルを推定することと、音声入力信号ｙ（ｎ）の短期スペクトログラムを検出することとを行うように構成されている。このために、入力信号ｙ（ｎ）は、解析フィルタバンクによって、短期フーリエ変換またはフィルタリングを受けなくてはならない。音声入力信号ｙ（ｎ）のＳＮＲまたは入力信号対ノイズ比（ＩＮＲ）もまた、制御手段１２によって推定される。制御手段１２もまた、音声入力信号ｙ（ｎ）の有声−無声分類を実行するように構成されている。信号再構成手段１１の動作は、制御手段１２によって得られた結果によって制御される。

さらに、制御手段１２は、信号再構成手段１１によって出力される再構成音声信号

と、ノイズ低減フィルタリング手段１０によって出力されるノイズ低減信号

とを受信する信号結合手段１３を制御する。制御手段１２は、信号結合手段１３を制御して、再構成音声信号

とノイズ低減信号

とを、あるいは様々な信号部分のノイズレベルに応じて、これらの信号の部分を混合する。ノイズによって非常に摂動を受けている信号部分は、再構成音声信号の対応する部分によって置換される。信号結合手段１３によって出力される信号

は、強化音声信号を表す。

一例に従うと、図２に示される構成は、解析フィルタバンクを含み、解析フィルタバンクは、この分野で公知のように、音声入力信号ｙ（ｎ）を解析して、周波数ノードΩ_μ（μ＝０，１，．．，Ｍ−１）を有するサブバンド信号、すなわち短期スペクトル

にする。この場合、図２のコンポーネント１０、１１、および１２は、サブバンド信号

を受信し、周波数ドメインで動作する。この場合、出力信号

は、合成フィルタバンクによって、結果的に得られる。原則として、信号処理全体は、時間ドメインまたは周波数ドメインのいずれかで実行され得ることに留意される。

以下において、図２に示される信号処理手段のコンポーネントが、実施例によって、より詳細に記載される。

音声入力信号ｙ（ｎ）に存在するノイズの正確な推定は、本発明の動作を成功させるために、極めて重要である。この推定は、ノイズ低減フィルタリング手段１０および／または制御手段１２によって実行され得る。一実施形態に従うと、摂動音声入力信号ｙ（ｎ）に音声ポーズが存在し、その音声ポーズの間に、ノイズが直接測定され得るものと仮定される。したがって、原則として、ｙ（ｎ）の短期スペクトログラム、すなわち、

は、音声ポーズの中に決定され得、バックグラウンドノイズの短期パワー密度スペクトルに対する推定に、単刀直入に使用され得る。

しかしながら、好ましい例に従うと、音声入力信号に存在するノイズの短期パワー密度スペクトルを推定する処理は、時間と周波数とにおいて、音声入力信号の短期パワー密度スペクトルを平滑化することと、最小値を探索することとを包含する。音声入力信号の短期パワー密度スペクトルの時間における平滑化は、

に従う無限インパルス応答（ＩＩＲ）平滑化として実行され得る。ここで、０≦λ_Ｔ＜１である。選択されるλ_Ｔが小さければ小さいほど、推定の反応は速くなる。

周波数におけるＩＩＲ平滑化は、例えば、

として実行され得、これに、

が続く。ここで、０≦λ_Ｆ＜１である。周波数におけるこの平滑化は、処理される信号で感知し得るアーチファクトを結果としてもたらし得るアウトライヤの発生を防ぐ。引き続く信号処理に使用されるノイズの推定短期パワー密度スペクトルは、以下：

のように計算され得る。ここで、０＜ε＜＜１であり、推定短期パワー密度スペクトルを保証する限界閾値Ｓ_{ｎｎ，ｍｉｎ}は、決してゼロではない。パラメータεによって、推定の反応音声が選択され得る。ノイズパワー密度の一時的な増加への反応が可能であることを保証するために、パラメータεは、ゼロより大きい値が選択される。

ノイズの短期パワー密度スペクトル

基づいて、制御ユニット１２は、

によって、入力信号対ノイズ比（ＩＮＲ）を推定し得る。ＩＮＲは、引き続く信号処理の幾つかのステップに対して使用される。特に、再構成音声信号

とノイズ低減信号

との結合は、実際のＩＮＲに依存する。代替として、ＳＮＲ（Ω_μ，ｎ）＝ｍａｘ｛０，ＩＮＲ（Ω_μ，ｎ）−１｝によって与えられる信号対ノイズ比（ＳＮＲ）が、ＩＮＲよりも、むしろ使用され得る。

制御手段１２はまた、音声入力信号ｙ（ｎ）の有声／無声分類を実行する。一例に従うと、分類パラメータｔ_ｃ（ｎ）（０≦ｔ_ｃ（ｎ）≦１）が大きい（小さい）場合、音声入力信号ｙ（ｎ）に存在するサウンド部分が、有声（無声）であると分類される。分類パラメータｔ_ｃ（ｎ）は、ｒ_ＩＮＲ（ｎ）＝ＩＮＲ_ｈｉｇｈ（ｎ）／（ＩＮＲ_ｌｏｗ（ｎ）＋Δ_ＩＮＲ）によって与えられる量ｒ_ＩＮＲ（ｎ）の非線形マッピングから結果として得られる。ここで、Δ_ＩＮＲは、ゼロによる除算を防ぎ、

である。ここで、規格化周波数Ω_μ０、Ω_μ１、Ω_μ２、およびΩ_μ３は、音声信号処理の面で適切であるように、それぞれ実際の周波数３００Ｈｚ、１０５０Ｈｚ、３８００Ｈｚ、および５２００Ｈｚに対応するように選択される。最もシンプルなケースで、バイナリ分類は、ｒ_ＩＮＲ（ｎ）が適切な閾値未満の場合は、ｔ_ｃ（ｎ）＝ｆ（ｒ_ＩＮＲ（ｎ））＝１が得られ、適切な閾値以上の場合は、ゼロが得られ得る。

ここで説明された例は、音声入力信号ｙ（ｎ）の無声部分が高周波数範囲で支配的なパワー密度を示すのに対し、有声部分が低周波数範囲で支配的なパワー密度を示すという事実を利用していることに留意すべきである。

図３は、有利な例に従う図２の信号再構成手段１１を幾分か詳細に示す。解析フィルタバンク２１が、音声入力信号ｙ（ｎ）からサブバンド信号

を得るために使用される。このサブバンド信号

に基づいて、非摂動音声信号（ノイズ寄与の一切ない音声信号）の励起信号スペクトル

およびスペクトルエンベロープ

が、信号再構成手段１１によって推定され、再構成音声信号のスペクトル

を得る。全（ｔｏｔａｌ）バンドの再構成音声信号

は、合成フィルタバンク２２によって、スペクトル

から得られ得る。

代替として、スペクトル

が出力され得、ノイズ低減フィルタリング手段によって出力された対応するスペクトル

と結合され得ることに留意される。換言すれば、特定の実施形態に依存して、図２の信号結合手段１３は、ノイズ低減手段１０と信号再構成手段１１とから受信したサブバンド信号を結合して、その後、この結合されたサブバンド信号を合成するように構成され得るか、あるいはこれらの手段１０および１１からの全バンド信号を受信するように構成され得る。

非摂動音声信号のスペクトルエンベロープの推定は、以下のようにして達成される。最初に、音声入力信号ｙ（ｎ）のスペクトルエンベロープ

が、この分野で公知のような方法を用いて、スペクトルエンベロープ推定器２３によって抽出される。線形予測符号化（ＬＰＣ）またはスペクトル解析が、スペクトルエンベロープを抽出するために使用され得る。一つの例に従うと、スペクトルエンベロープは、

に従う二重ＩＩＲ平滑化方法によって、直接推定される。ここで、

であり、ここで、平滑化定数は、０≦λ_Ｅ＜１から選択される。適切な選択は、例えば、λ_Ｅ＝０．５である。

このようにして抽出されたスペクトルエンベロープは、ノイズによって著しい影響を受けていない信号部分に対してのみ、非摂動音声信号のスペクトルエンベロープを満足する近似である。低いＩＮＲ（ＳＮＲ）を有する信号部分に対してさえ、信頼性あるスペクトルエンベロープを得るために、事前にトレーニングされたスペクトルエンベロープコードブック２４が、用いられ得る。スペクトルエンベロープコードブック２４は、特定のサウンド

までのプロトタイプスペクトルエンベロープの対数表現を含む。適切なコードブックは、Ｎ_ＣＢ，ｅ＝２５６のサイズを有し得る。

スペクトルエンベロープコードブック２４は、高いＩＮＲを有する信号部分に対する抽出スペクトルエンベロープ

と最適に合致するエントリを探索される。このために、抽出スペクトルエンベロープの規格化対数バージョン

が計算され、ここで、

である。ここで、マスク関数Ｍ（Ω_μ，ｎ）は、ＩＮＲに依存し、例えば、Ｍ（Ω_μ，ｎ）＝ｇ（ＩＮＲ（Ω_μ，ｎ））による。ここで、マッピング関数ｇは、ＩＮＲの値をインターバル［０，１］にマッピングする。この結果得られる値が１に近いことは、低いノイズレベル、すなわち、良好なＳＮＲまたはＩＮＲをそれぞれ示す。最もシンプルな場合、バイナリ関数ｇを選択し得、ＩＮＲが所定の閾値を超える場合には、例えば、２または４の場合、１にマッピングし、ＩＮＲが所定の閾値未満の場合には、（上記の式でゼロによる除算を避けるために）ある小さな、しかし、有限な実数値を選択し得る。

スペクトルエンベロープコードブック２４のスペクトルエンベロープは、このようにして規格化され、コードブックの最適に合致するエントリに対する探索は、対数ＩＮＲで重み付けされたマグニチュード距離

に基づいて実行される。ここで、

である。

ａｒｇｍｉｎは、最小関数の引数を意味し、このａｒｇｍｉｎは、

が最小となる値ｍを返す。スペクトルエンベロープコードブック２４のこのようにして得られたスペクトルエンベロープは、線形化され、再規格化されて、

となる。

音声信号の再構成のために、得られたスペクトルエンベロープ

は、低いＩＮＲ（ＳＮＲ）を有する音声入力信号の部分に対して使用され得、抽出スペクトルエンベロープ

は、高いＩＮＲ（ＳＮＲ）を有する部分に対して使用され得る。特定の例に従うと、以下のスペクトルエンベロープ

が、スペクトルエンベロープ推定器２３によって出力される。ここで

である。平滑化定数は、０と１との間で選択され、例えば、λ_ｍｉｘ＝０．３として選択され得る。

信号再構成手段１１はまた、励起信号を推定するための励起コードブック２６を利用する励起推定器２５も備え、励起信号は、再構成音声信号を得るために、スペクトルエンベロープ推定器２３によって出力されたスペクトルエンベロープ

を用いて形作られ得る。

励起信号

を推定するために、最初に、有声信号部分と無声信号部分とが、上述のように決定される。励起信号

の無声部分

は、ノイズ生成器によって生成される。励起信号

の有声部分

を達成するためには、（ボイス）ピッチが決定されなくてはならない。これは、この分野で公知の任意の方法によって行われ得る（例えば、Ｗ．Ｈｅｓｓによる「Ｐｉｔｃｈ Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ Ｓｐｅｅｃｈ Ｓｉｇｎａｌｓ」（Ｓｐｒｉｎｇｅｒ Ｂｅｒｌｉｎ、１９８３年）参照）。決定されたピッチに基づいて、励起信号

の有声部分

は、正弦波振動の重み付き合計を表すエントリを含む励起コードブック２６によって生成される。正弦波振動の重み付き合計は、例えば、

であり、ここで、Ｌは、各コードブックエントリの長さを示す。エントリｃ_ｓ，ｋ（ｌ）は、励起信号

の有声部分

の生成のために、

として読み出されたマトリックスＣ_ａの係数である。ここで、ｌ_ｚ（ｎ）は、係数ｃ_ｓ，ｋ（ｌ）によって形成されたマトリックスＣ_ａの行の指数を示し、ｌ_ｓ（ｎ）は列の指数を示す。

本例に従うと、行の指数は、

として計算される。ここで、ｔ_０は、（一般的に、時間に依存する）ピッチの周期であり、ｒ／ｎは、ピッチの周期のダウンサンプリングされた計算を表す（ピッチは、音声入力信号の各ｒサンプリング瞬間ごとに計算される）。丸め操作は、引数より小さい次の整数か、あるいは引数より大きい次の整数を戻す。

列の指数は、

によって計算される。ここで、

であり、この増分Δ_ｓ（ｎ）＝Ｌ／（ｔ_０（ｒｏｕｎｄ（ｎ／ｒ）））である。上記の式における１．５による減算は、列の指数が関係０≦ｌ_ｓ（ｎ）≦Ｌ−１を満たすようにするために提供される。

励起信号

は、有声部分

と無声部分

との重み付き合計によって計算される。一つの例に従うと、励起信号

は、

によって計算される。

この信号は、解析フィルタバンクに入力され、サブバンド信号

を生成する。これらのサブバンド信号は、引き続き、音声が検出された信号部分のみに対して励起信号を生成するために、フィルタ係数

を有するノイズ低減フィルタによって重み付けされる。従来のスプレッドフィルタは、低いＩＮＲ（ＳＮＲ）を示す周波数範囲における信号再構成を考慮するために、ノイズ低減フィルタに使用される。

一つの例に従うと、μ∈｛０，．．，Ｍ−１｝に対して、フィルタ係数は、

によって決定され、ここで

ある。

従来のように決定された減衰係数（フィルタ係数）は、

によって示され、

は、スプレッド関数を示す。適切な実数値の正のスプレッド関数の周波数応答の例が、図４に示される。減衰係数は、例えば、修正Ｗｉｅｎｅｒ特性に従って決定され得て、使用され得るノイズの短期パワー密度スペクトルおよび音声入力信号ｙ（ｎ）のスペクトログラムを含み、

である。

同じ特性は、図２のノイズ低減フィルタリング手段１０で使用され得る。しかしながら、ここでは、大きな過大評価因子

と、特に、非常に高い最大減衰、例えば、

が、スプレッドフィルタに対して選択される。本例に従う励起推定器２５は、推定励起スペクトル

を出力する。合成フィルタバンク２２は、再構成音声信号のスペクトル

を全バンド再構成音声信号

に変換し、この全バンド再構成音声信号が、信号再構成手段１１（図２も参照）によって出力される。

図２の信号結合手段１３は、再構成音声信号

と、従来のノイズ低減フィルタリング手段１０から受信したノイズ低減信号

とを結合するように構成されている。この結合は、例えば、サブバンドの下で実行される。したがって、本例において、再構成音声信号

とノイズ低減信号

とは、解析フィルタバンクによって、それぞれサブバンド信号

と

とに解析されなくてはならない。代替として、ノイズ低減フィルタリング手段１０は、サブバンド信号

を出力し得、信号再構成手段１１は、サブバンド信号

を出力し得て、次いで、これらのサブバンド信号は、信号結合手段１３によって直接使用され得る。

サブバンド信号

と

とを結合する前に、むしろ、再構成音声信号の位相を、ノイズの多い音声入力信号に対し適合させることが好まれる（あるいは従来のノイズ低減フィルタリング手段１０の出力信号に対し適合させることが好まれる。それは、通常、強化されるべき信号の振幅に影響を与えるのみで、その位相には影響を及ぼさない）。一例に従うと、これは、

によって達成され得る。

修正サブバンド信号

とノイズ低減サブバンド信号

とは、重み付き合計され、その結果、信号

を得る。これらの信号は、強化音声出力信号

を得るために、信号結合手段１３内に備えられた合成フィルタバンクによって変換される。重み

および

は、ＩＮＲに依存し、制御手段１２によって決定される。好ましい例に従うと、重みは、周波数応答

を用いるρメルフィルタ（ρ∈０，１，．．，Ｍ_ｍｅｌ−１）の助けによって得られるＩＮＲの平均値によって決定され得る。１１０２５Ｈｚのサンプリングレートに対して、例えば、Ｍ_ｍｅｌ＝１６が、適切に選択され得る。平均ＩＮＲは、

によって計算され得る。

特定の実施形態に従うと、重み

と

とは、ＩＮＲ_ａｖ（ρ，ｎ）からバイナリ特性によって決定され得、ＩＮＲ_ａｖ（ρ，ｎ）＞何らかの閾値（例えば、インターバル［４，１０］から選択された閾値）の場合、ｆ_ｍｉｘ（ＩＮＲ_ａｖ（ρ，ｎ））＝１であり、その他の場合、ｆ_ｍｉｘ（ＩＮＲ_ａｖ（ρ，ｎ））＝０である。他のバイナリでない特性もまた、適用され得ることは、留意される。上述または任意の他の選択された特性ｆ_ｍｉｘ（ＩＮＲ_ａｖ（ρ，ｎ））によって、修正サブバンド信号

とノイズ低減サブバンド信号

との結合のための重みは、

とによって計算される。

以上で議論された実施形態の全ては、限定するものとして意図されず、本発明の特徴および利点を説明する例として機能する。上述された特徴の一部または全部は、種々の方法で組み合わされ得ることもまた、理解されるべきである。

図１は、本明細書に開示される方法の一例の原理を示す流れ図であり、この方法は、ノイズ低減音声信号と再構成音声信号とを結合するステップを包含する。 図２は、本明細書に開示される信号処理手段の一例の基本的なコンポーネントを示すブロック図であり、この信号処理手段は、信号再構成手段と信号結合手段とを備える。 図３は、図２の信号再構成手段の一例を示し、この信号再構成手段は、再構成音声信号の生成に使用されるスペクトルエンベロープコードブックと励起コードブックとを備える。 図４は、励起信号の生成に使用されるスプレッド関数の一例を示す。

符号の説明

１０ ノイズ低減フィルタリング手段
１１ 信号再構成手段
１２ 制御手段
１３ 信号結合手段
２１ 解析フィルタバンク
２２ 合成フィルタバンク
２３ スペクトルエンベロープ推定器
２４ スペクトルエンベロープコードブック
２５ 励起推定器
２６ 励起コードブック

Claims (18)

1. 音声入力信号（ｙ（ｎ））を処理する方法であって、
   該音声入力信号（ｙ（ｎ））の入力信号対ノイズ比（ＩＮＲ）または信号対ノイズ比（ＳＮＲ）を推定するステップと、
   該音声入力信号（ｙ（ｎ））に基づいて、励起信号を生成するステップと、
   該音声入力信号（ｙ（ｎ））のスペクトルエンベロープを抽出するステップと、
   該励起信号と該抽出スペクトルエンベロープとに基づいて、再構成音声信号
   

   

   を生成するステップと、
   ノイズ低減フィルタリング手段（１０）によって、該音声入力信号（ｙ（ｎ））をフィルタリングして、ノイズ低減信号
   

   

   を得るステップと、
   該音声入力信号対ノイズ比（ＩＮＲ）または該信号対ノイズ比（ＳＮＲ）に基づいて、該再構成音声信号
   

   

   と該ノイズ低減信号
   

   

   とを結合して、強化音声出力信号
   

   

   を得るステップと
   を包含する、方法。
2. 前記音声入力信号対ノイズ比（ＩＮＲ）または前記信号対ノイズ比（ＳＮＲ）に基づいて、前記再構成音声信号
   

   

   を重み付けして、重み付け再構成音声信号を得るステップと、
   該音声入力信号対ノイズ比（ＩＮＲ）または該信号対ノイズ比（ＳＮＲ）に基づいて、前記ノイズ低減信号
   

   

   を重み付けして、重み付けノイズ低減信号を得るステップと
   をさらに包含し、
   該再構成音声信号
   

   

   と該ノイズ低減信号
   

   

   とを結合する前記ステップは、該重み付け再構成音声信号と該重み付け再ノイズ低減信号とを加算して、前記強化音声出力信号
   

   

   を得ることからなる、請求項１に記載の方法。
3. 前記音声入力信号対ノイズ比（ＩＮＲ）または前記信号対ノイズ比（ＳＮＲ）を推定する前記ステップは、
   前記音声入力信号（ｙ（ｎ））に含まれるノイズの短期パワー密度スペクトルを推定するステップと、
   該音声入力信号（ｙ（ｎ））の短期スペクトログラムを決定するステップと
   を包含する、請求項１または請求項２に記載の方法。
4. 離散時間指数ｎ−１に対するノイズの短期パワー密度スペクトルから、離散時間指数ｎに対するノイズの前記短期パワー密度スペクトルを推定するステップは、
   前記音声入力信号（ｙ（ｎ））の前記短期パワー密度スペクトルを時間で平滑化して、第一の平滑化短期パワー密度スペクトルを得るステップと、
   正の周波数方向に該第一の平滑化短期パワー密度スペクトルを平滑化して、第二の平滑化短期パワー密度スペクトルを得るステップと、
   負の周波数方向に該第二の平滑化短期パワー密度スペクトルを平滑化して、第三の平滑化短期パワー密度スペクトルを得るステップと、
   該離散時間指数ｎに対する該第三の平滑化短期パワー密度スペクトルと、離散時間指数ｎ−１に対するノイズの該推定短期パワー密度スペクトルとのうちの最小を決定するステップと
   を包含する、請求項３に記載の方法。
5. 前記励起信号は、励起コードブックによって生成される、請求項１〜請求項４のいずれか１項に記載の方法。
6. 前記再構成音声信号
   

   

   は、推定スペクトルエンベロープに基づいて生成され、該推定スペクトルエンベロープは、前記抽出スペクトルエンベロープから、かつスペクトルエンベロープコードブックによって生成される、請求項１〜請求項５のいずれか１項に記載の方法。
7. 所定の閾値を超える入力信号対ノイズ比を示す前記音声入力信号の部分に対して前記抽出スペクトルエンベロープと最適に合致する前記スペクトルエンベロープコードブックのプロトタイプスペクトルエンベロープが、決定され、
   前記推定スペクトルエンベロープは、該所定の閾値を超える入力信号対ノイズ比を示す該音声入力信号の該部分に対する該決定された最適に合致するプロトタイプスペクトルエンベロープと、該信号の他の部分に対する該抽出スペクトルエンベロープとから実質的になる、請求項６に記載の方法。
8. 前記推定スペクトルエンベロープは、周波数
   

   

   で平滑化された抽出スペクトルエンベロープと、前記決定された最適に合致するプロトタイプスペクトルエンベロープ
   

   

   との重み付け合計から、サブバンドの下で
   

   

   から計算され、ここで、マスク関数Ｍ（Ω_μ，ｎ）は、前記入力信号対ノイズ比に依存する、請求項７に記載の方法。
9. 前記励起信号は、フィルタリングされた励起サブバンド信号
   

   

   から生成され、該フィルタリングされた励起サブバンド信号
   

   

   は、スプレッドノイズ低減フィルタリング手段によって得られる、請求項６〜請求項８のいずれか１項に記載の方法。
10. 前記強化音声出力信号
    

    

    の生成は、前記再構成音声信号
    

    

    のサブバンド信号
    

    

    と、前記ノイズ低減信号
    

    

    のサブバンド信号
    

    

    との生成を包含し、該再構成音声信号
    

    

    の該サブバンド信号
    

    

    の位相は、前記入力信号対ノイズ比（ＩＮＲ（Ω_μ，ｎ））に依存して、特に、
    

    

    によって、該ノイズ低減信号
    

    

    の該サブバンド信号
    

    

    の位相に適合される、請求項１〜請求項９のいずれか１項に記載の方法。
11. 請求項１〜請求項１０のいずれか１項に記載の方法の前記ステップを実行するためのコンピュータ実行可能な命令を有する一つ以上のコンピュータ読み取り可能な媒体を備えている、コンピュータプログラム製品。
12. 音声入力信号（ｙ（ｎ））を処理する信号処理手段であって、
    該音声入力信号（ｙ（ｎ））を受信することと、ノイズ低減信号
    

    

    を出力することとを行うように構成されているノイズ低減フィルタリング手段（１０）と、
    該音声入力信号（ｙ（ｎ））を受信することと、該音声入力信号（ｙ（ｎ））からスペクトルエンベロープを抽出することと、該音声入力信号（ｙ（ｎ））に基づく励起信号を生成することと、該抽出スペクトルエンベロープおよび該励起信号に基づいて、再構成音声信号
    

    

    を生成して、出力することとを行うように構成されている信号再構成手段（１１）と、
    該ノイズ低減信号
    

    

    および該再構成音声信号
    

    

    を受信することと、該ノイズ低減信号
    

    

    と該再構成音声信号
    

    

    との結合として、強化音声出力信号
    

    

    を出力することとを行うように構成されている信号結合手段（１３）と、
    該音声入力信号（ｙ（ｎ））を受信することと、該信号再構成手段（１１）および該信号結合手段（１３）を制御することとを行うように構成されている制御手段（１２）であって、該制御することは、該ノイズ低減フィルタリング手段（１０）または該制御手段（１２）によって決定される該音声入力信号（ｙ（ｎ））の入力信号対ノイズ比または信号対ノイズ比に基づく、制御手段（１２）と
    を備えている、信号処理手段。
13. 前記音声入力信号（ｙ（ｎ））を音声入力サブバンド信号
    

    

    に変換するように構成されている少なくとも一つの解析フィルタバンク（２１）と、
    前記信号結合手段（１３）によって、あるいは前記ノイズ低減フィルタリング手段（１０）および前記信号再構成手段（１１）によって出力されたサブバンド信号を合成するように構成されている少なくとも一つの合成フィルタリングバンク（２２）と
    をさらに備えている、請求項１２に記載の信号処理手段。
14. 前記信号再構成手段（１１）は
    励起コードブックデータベース（２６）と、
    スペクトルエンベロープコードブックデータベース（２４）と、
    該励起コードブックデータベース（２６）によって、前記励起信号を生成するように構成されている励起推定器（２５）と、
    該スペクトルエンベロープコードブックデータベース（２４）によって、前記推定スペクトルエンベロープを生成するように構成されているスペクトルエンベロープ推定器（２３）と
    を備え、
    該信号再構成手段（１１）は、該推定スペクトルエンベロープおよび該励起信号に基づいて、前記再構成音声信号
    

    

    を生成して、出力するように構成されている、請求項１２または請求項１３に記載の信号処理手段。
15. 前記制御手段（１２）は、前記音声入力信号（ｙ（ｎ））の前記入力信号対ノイズ比または前記信号対ノイズ比を決定することと、該音声入力信号（ｙ（ｎ））の該入力信号対ノイズ比または該信号対ノイズ比が、該音声入力信号（ｙ（ｎ））全体に対し所定の閾値を超えていることが決定された場合、前記信号再構成手段（１１）を不活性化することとを行うように構成されている、請求項１２〜請求項１４のいずれか１項に記載の信号処理手段。
16. 請求項１２〜請求項１５のいずれか１項に記載の信号処理手段を備えている、ハンズフリー電話システム。
17. 請求項１２〜請求項１５のいずれか１項に記載の信号処理手段を備えている、音声認識手段。
18. 請求項１７に記載の音声認識手段または請求項１２〜請求項１５のいずれか１項に記載の信号処理手段を備えている、音声対話システムまたはボイス制御システム。

Images