JP2014121033A - エコー消去方法とその装置とプログラムとその記録媒体 - Google Patents

Abstract

【課題】遅延時間の推定が完了しない間でも安定したエコー消去とハウリング防止が行えるエコー消去方法を提供する。
【解決手段】この発明のエコー消去方法は、遅延推定過程と、遅延過程と、適応フィルタ過程と、を備える。遅延推定過程は、受話端に入力される受話信号とマイクロホンで収音された収音信号との間の遅延時間を推定して遅延時間量を出力すると共に、遅延時間の推定前であるか推定済みであるかを表す推定前/推定済信号を出力する。遅延過程は、遅延推定過程が上記遅延時間を推定する前では受話信号を、遅延推定過程が遅延時間量を出力した後では当該遅延時間分の時間、上記受話信号を遅延させた信号を遅延後受話信号として出力する。適応フィルタ過程は、推定前/推定済信号を入力として、当該推定前/推定済信号が推定前の状態を表す時は、適応フィルタの適応動作を停止させる。
【選択図】図２

Description

本発明は、遅延推定を用いたエコー消去方法とその装置とプログラムとその記録媒体に関する。

エコー消去装置は、受話信号をスピーカから音響信号として出力し、マイクロホンで収音した送話信号に回り込んでくるエコー信号成分を推定し、送話信号からエコー信号成分を消去するものである。ディジタルテレビやスマートフォンなどの機器をスピーカ・マイクロホンとして用いた場合、音声を途切れないようにする目的で受話信号と送話信号のそれぞれにバッファ（遅延）が挿入される場合がある。例えば、ディジタルテレビの映像のコーデックで発生する映像と音声のずれを調整するリップシンク機能で用いられるバッファ等が知られている。

この遅延挿入によりエコー消去が出来なくなるのを防止するため、遅延推定を用いたエコー消去方法が従来から考えられている。この方法は、スピーカから発せられた音声がマイクロホンで収音されるまでのエコー経路の遅延時間を推定し、その遅延時間をエコー消去処理に与えることで、長い遅延が有ってもエコーの消去を可能にするものである。

図１６に、特許文献１に開示された遅延推定を用いたエコー消去装置８００の機能構成を示し、その動作を簡単に説明する。エコー消去装置８００は、遅延推定部８１０、遅延器８２０、音響結合量推定部８３０、エコー抑圧部８４０、を具備する。遅延５と６は、例えばバッファ等によって挿入される遅延である。

受話端１には遠端話者が発話した音声が受話信号として入力され、その受話信号はスピーカ２によって音響信号に変換される。スピーカ２から発せられた受話信号とエコー経路に基づくエコーと近端話者の発話した音声とは、マイクロホン３で収音されて収音信号に変換される。

遅延推定部８１０は、受話端１に入力される受話信号と、マイクロホン３で収音した収音信号との相関を求めて遅延時間を推定し、推定した遅延時間を遅延器８２０に設定する。遅延器８２０は、受話信号を、設定された遅延時間分遅延させて音響結合量推定部８３０に出力する。

音響結合量推定部８３０は、遅延させた受話信号と、送話信号のパワー比から音響結合量を求める。エコー抑圧部８４０は、遅延させた受話信号のパワーに音響結合量を乗じて推定エコーパワーを求め、その推定エコーパワーと収音信号のパワーからエコー抑圧ゲインを計算し、収音信号にエコー抑圧ゲインを乗じてエコーを抑圧する。エコーが抑圧された収音信号は送話信号として送話端４を介して、例えばネットワークを通じて遠端話者に伝達される。このエコー消去方法によれば、遅延時間が大きい場合でもエコーを抑圧することができる。

また、エコー消去装置８００の構成に、適応フィルタ部９１０、送話検出部９２０、受話検出部９３０、音声スイッチ制御部９４０、受話側音声スイッチ９５０、送話側音声スイッチ９６０、の機能構成部を加えたエコー消去装置９００（図１７）も、同様の効果を奏することで知られている。

特開２００２−８４２１２号公報

しかし、従来のエコー消去装置８００，９００では、受話信号と送話信号の相関から遅延時間を推定するため、遅延時間の推定に数秒から数十秒間の受話信号の入力が必要である。そのため、遅延時間が推定できるまでの間は効果的にエコーを消去することができない課題がある。例えば、遅延推定前にエコーを増大させてしまうことがある。特に、音響結合量が大きい場合にはハウリング（発振）を起こし、通話ができなくなるおそれがある。

本発明は、この課題に鑑みてなされたものであり、遅延時間の推定が完了しない間でも安定したエコー消去とハウリング防止が行えるエコー消去方法とその装置とプログラムとその記録媒体を提供することを目的とする。

本発明のエコー消去方法は、遅延推定過程と、遅延過程と、適応フィルタ過程と、を備える。遅延推定過程は、受話端に入力される受話信号とマイクロホンで収音された収音信号との間の遅延時間を推定して遅延時間量を出力すると共に、遅延時間の推定前であるか推定済みであるかを表す推定前/推定済信号を出力する。遅延過程は、遅延推定過程が上記遅延時間を推定する前では受話信号を、遅延推定過程が遅延時間量を出力した後では当該遅延時間分の時間、上記受話信号を遅延させた信号を遅延後受話信号として出力する。適応フィルタ過程は、推定前/推定済信号を入力として、当該推定前/推定済信号が推定前の状態を表す時は、適応フィルタの適応動作を停止させる。

本発明のエコー消去方法によれば、遅延推定前の状態では適応フィルタの適応動作を停止させるので、遅延によって収音信号が遅れて適応フィルタに入力されるまでの収音信号の振幅が小さい時間帯での適応フィルタの誤った適応を防止することができる。その結果、遅延推定前に適応フィルタが誤った学習を行いエコーを増大させてしまうことを防止することができる。

この発明のエコー消去装置１００の機能構成例を示す図。 エコー消去装置１００の動作フローを示す図。 適応フィルタ部３０の機能構成例を示す図。 この発明のエコー消去装置２００の機能構成例を示す図。 エコー消去装置２００の動作フローを示す図。 音響結合量推定部５０の機能構成例を示す図。 この発明のエコー消去装置３００の機能構成例を示す図。 エコー消去装置３００の動作フローを示す図。 送話検出部６０の機能構成例を示す図。 この発明のエコー消去装置４００の機能構成例を示す図。 エコー抑圧部７０の機能構成例を示す図。 この発明のエコー消去装置５００の機能構成例を示す図。 音声スイッチ制御部８０の機能構成例を示す図。 状態遷移手段８２の状態遷移を示す図。 この発明のエコー消去装置６００の機能構成例を示す図。 従来のエコー消去装置８００の機能構成を示す図。 従来のエコー消去装置９００の機能構成を示す図。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。

図１に、この発明のエコー消去装置１００の機能構成例を示す。その動作フローを図２に示す。エコー消去装置１００は、遅延推定部１０と、遅延部２０と、適応フィルタ部３０と、を具備する。エコー消去装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。なお、図１においては、例えばリップシンク機能のために挿入される遅延（図１６の５と６）の表記は省略している。

遅延推定部１０は、受話端１に入力される受話信号とマイクロホン３で収音された収音信号との間の遅延時間を推定すると共に、遅延時間の推定前であるか推定済みであるかを表す推定前/推定済信号を出力する（ステップＳ１０）。遅延時間は、受話信号と収音信号のそれぞれの特徴量の相互相関係数を求め、その最大値から推定することができる。この方法は従来技術であり、例えば特許文献１に記載されている。

遅延部２０は、遅延推定部１０が遅延時間を推定する前では上記受話信号を、遅延推定部１０が遅延時間を推定した後では当該遅延時間分の時間、上記受話信号を遅延させた信号を遅延後受話信号として出力する（ステップＳ２０）。

適応フィルタ部３０は、遅延推定部１０が出力する推定前/推定済信号を入力として、当該推定前/推定済信号が推定前の状態を表す時は、適応フィルタの適応動作を停止させる（ステップＳ３０ｂ）。推定前/推定済信号が推定済の状態の場合は、適応動作を開始させる（ステップＳ３０ｃ）。遅延推定過程（ステップＳ１０）〜適応フィルタ過程（ステップＳ３０）の処理は、エコー消去装置１００を構成する例えばコンピュータのＣＰＵの動作が停止されるまで繰り返される（ステップＳ１００のＮｏ）。

この実施例の適応フィルタ部３０は、遅延推定が行われる前までは、適応フィルタの適応動作を停止させるので、適応フィルタ部３０が誤った適応をしてしまうことを防止することができ、誤った学習によるエコーの増大を防止することができる。

図３に、適応フィルタ部３０のより具体的な機能構成例を示して更にその動作を説明する。適応フィルタ部３０は、フィルタ係数更新手段３１と、フィルタ手段３２と、減算手段３３と、適応ＯＮ/ＯＦＦ設定手段３４と、を備える。

フィルタ係数更新手段３１は、遅延後受話信号と収音信号を入力として収音信号に重畳するエコー成分を、遅延後受話信号から生成するフィルタ係数を更新する。フィルタ手段３２は、フィルタ係数更新手段３１で更新されたフィルタ係数で遅延後受話信号をフィルタリングして擬似エコー信号を生成する。減算手段３３は、収音信号から擬似エコー信号を減算してエコー成分を除去した適応フィルタ後収音信号を送話信号として送話端４に出力する。

適応ＯＮ/ＯＦＦ設定手段３４は、遅延推定部１０が出力する推定前/推定済信号と、遅延部２０が出力する遅延後受話信号と、を入力として推定前/推定済信号が推定済を表した状態で且つ遅延後受話信号の振幅が所定値以上ある場合に、フィルタ係数更新手段３１の動作を許可する。

推定前/推定済信号が推定前を表す状態では、フィルタ係数更新手段３１の更新動作は禁止される。一般的なエコー消去装置で用いられる適応フィルタ部のフィルタ長は、演算量や収束速度の制約から、１００ｍｓ程度である。受話信号から収音信号までの遅延がこのフィルタ長よりも長い場合、遅延を推定する前ではフィルタで遅延を実現できないためエコー消去が全くできない状態となる。この状態でフィルタを学習すると、エコーが消去できないばかりでなく、収音信号に含まれる近端話者音声や雑音の影響により、適応フィルタが誤った適応をしてしまいエコーを増大させてしまう。

適応フィルタ部３０は、遅延を推定する前の状態では適応フィルタの適応動作を禁止するので適応フィルタの誤った適応によるエコーの増大を防止することができる。

図４に、この発明のエコー消去装置２００の機能構成例を示す。その動作フローを図５に示す。エコー消去装置２００は、エコー消去装置１００に対して、動作パラメータ変更部４０と、音響結合量推定部５０と、エコー抑圧部８４０と、を更に備える点で異なる。エコー抑圧部８４０は、従来技術で説明したエコー消去装置８００に含まれるものと同じものである。

動作パラメータ変更部４０は、遅延推定部１０が出力する推定前/推定済信号を入力として、当該推定前/推定済信号が推定前か推定済かに応じて異なる平滑化係数を出力する（ステップＳ４０）。音響結合量推定部５０は、動作パラメータ変更部４０が出力する平滑化係数と、遅延部２０が出力する遅延後受話信号と、適応フィルタ部３０が出力する適応フィルタ後収音信号とを入力として、当該平滑化係数で上記遅延後受話信号を平滑化した遅延後受話信号パワーと、適応フィルタ後収音信号を平滑化した収音信号パワーとを求めて音響結合量を推定する（ステップＳ５０）。

エコー抑圧部８４０は、適応フィルタ部３０が出力する遅延後受話信号パワーに音響結合量推定部５０で推定した音響結合量を乗じて推定エコーパワーを求め、適応フィルタ後収音信号に含まれる残留エコーを抑圧する（ステップＳ８４０）。

エコー消去装置２００によれば、音響結合量推定部５０に与える平滑化係数を、遅延推定前か推定済みかに応じて変更する。遅延推定が行われる前までは、動作パラメータ変更部４０において平滑化係数をより長時間の平滑化となるように設定する。例えば、想定される遅延時間量がＸ秒であった場合には、Ｘ秒よりも長い時間の平滑化となるように平滑化係数を設定する。これにより、信号の遅延の影響を少なくし安定した音響結合量の推定を実現することができる。遅延推定後は、平滑化係数を短時間の平滑化となるように変更し、より正確な音響結合量の推定を行えるようにする。

図６に、音響結合量推定部５０のより具体的な機能構成例を示して更にその動作を説明する。音響結合量推定部５０は、受話信号パワー計算手段５１と、収音信号パワー計算手段５２と、除算手段５３と、推定ＯＮ/ＯＦＦ設定手段５４と、ディップホールド手段５５と、を備える。

受話信号パワー計算手段５１は、遅延部２０が出力する遅延後受話信号ｘ（ｔ）を時間平均して遅延後受話信号パワーＲ（ｔ）を求める。この計算は、例えば式（１）を用いて行われる。

ここでｔは、フレームを表すインデックスである。フレームとは、受話信号と収音信号を離散値で扱う場合に処理する単位のことであり、例えば離散値化するサンプリング周波数を１６ｋＨｚとした時にその離散値を２５６個集めた時間（例えば１６ｍｓ）及びその間の信号（データ）のことである。ａは平滑化係数であり、０＜ａ＜１の値を設定する。ａが１に近いほど、より緩やかなパワー変化となる。

この平滑化係数ａは、遅延推定前と推定後で変更され、遅延推定前がａ′遅延推定後がａでありその大きさはａ′＞ａの関係である。つまり、遅延推定前の遅延後受話信号パワーＲ（ｔ）のパワー変化は緩やかなものとされる。

受話信号パワー計算手段５１は、ピークホールド処理を行うようにしても良い。その場合、遅延後受話信号パワーＲ（ｔ）の増加時と減少時で異なる平滑化係数を設定する。遅延後受話信号パワーＲ（ｔ）の増加時Ｒ（ｔ−１）＞（ｘ（ｔ））^２の平滑化係数をｂ、減少時Ｒ（ｔ−１）＜（ｘ（ｔ））^２の平滑化係数をｃとした時にｂ≫ｃとなるように設定することで、ピークホールドの効果が得られる。

受話信号パワー計算手段５１にピークホールドの効果を持たせた場合でも、平滑化係数のｂ，ｃを、遅延推定前がｂ′，ｃ′、遅延推定後がｂ，ｃでありその大きさをｂ′＞ｂ，ｃ′＞ｃの関係にすることで、遅延推定前の遅延後受話信号パワーＲ（ｔ）のパワー変化を緩やかなものにすることができる。

収音信号パワー計算手段５２は、適応フィルタ部３０が出力する適応フィルタ後収音信号に対して受話信号パワー計算手段５１と同様の処理を行い、収音信号パワーＳ（ｔ）を求める。

除算手段５３は、遅延後受話信号パワーＲ（ｔ）と収音信号パワーＳ（ｔ）の比から、推定音響結合量の瞬時値ＡＣ′（ｔ）を求める(式（３）)。

ディップホールド手段５５は、推定音響結合量の瞬時値ＡＣ′（ｔ）の最小値を保持してより正確な推定音響結合量ＡＣ（ｔ）を求める。最小値を保持する処理を行うのは、ダブルトーク時において収音信号に近端話者の音声が混合しているので、推定音響結合量の瞬時値ＡＣ′（ｔ）が真の値よりも大きな値となってしまうことを防止するためである。ディップホールド手段５５は、例えば式（４）により実現される。

ここで、ｄは推定音響結合量増加時の平滑化係数、ｅは推定音響結合量減少時の平滑化係数である。それぞれ０＜ｄ，ｅ＜１の値を予め設定する。ｄ≫ｅとなるように設定すれば、推定音響結合量増加時に音響結合量ＡＣの変化を非常に緩やかな上昇とすることができ、ディップホールドの効果が得られる。

遅延推定前において、遅延後受話信号と適応フィルタ後収音信号との間の遅延が大きい時に音響結合量を推定すると、除算手段５３において時間がずれた信号間でパワー比を求めてしまうので、除算手段５３の出力は大きく変動して不安定になる。また、ディップホールド手段５５は、除算手段５３の出力の最小値を保持するので、音響結合量が実際よりも小さく推定されてしまう。

この実施例では、これを防止する目的で、遅延推定が行われる前までは、動作パラメータ変更部４０において受話信号パワー計算手段５１と収音信号パワー計算手段５２に与える平滑化係数を、より長時間の平滑化となるように設定する。例えば、想定される遅延時間量がＸ秒であった場合には、Ｘ秒よりも長い時間の平滑化となるように平滑化係数を設定する。これにより、信号の遅延の影響を少なくし、受話信号（遅延後受話信号）と収音信号（送話信号）間に遅延があっても安定した音響結合量の推定を実現することができる。遅延推定後は、平滑化係数を短時間の平滑化となるように変更することで、より正確な音響結合量が推定できるようにする。この結果、エコー抑圧部８４０において適応フィルタ後収音信号に含まれる残留エコーを安定的に抑圧することができる。

このように、エコー消去装置２００によれば、遅延推定前に音響結合量を小さく推定してしまうことを防止し、エコー消去装置の動作を安定化することができる。また、遅延推定後は、遅延推定前よりも正確な音響結合量の推定を行うことができる。

図７に、この発明のエコー消去装置３００の機能構成例を示す。その動作フローを図８に示す。エコー消去装置３００は、エコー消去装置１００（図１）に対して、更に、動作パラメータ変更部３４０と、音響結合量推定部５０と、送話検出部６０と、音声スイッチ制御部９４０と、受話検出部９３０と、受話側音声スイッチ９５０と、送話側音声スイッチ９６０と、を備える点で異なる。音響結合量推定部５０は、エコー消去装置２００（図４）と同じものである。また、音声スイッチ制御部９４０と受話検出部９３０と受話側音声スイッチ９５０と送話側音声スイッチ９６０とは、従来技術で説明したエコー消去装置９００（図１７）と同じものである。

動作パラメータ変更部３４０は、遅延推定部１０が出力する推定前/推定済信号を入力として、当該推定前/推定済信号が推定前か推定済かに応じて異なる平滑化係数を、音響結合量推定部５０と送話検出部６０とに出力する（ステップＳ３４０）。音響結合量推定部５０と送話検出部６０とに出力する平滑化係数は、同じでものであっても良いし、それぞれ異なるものであっても良い。

音響結合量推定部５０は、動作パラメータ変更部３４０の出力する平滑化係数と遅延部２０が出力する遅延後受話信号と適応フィルタ部３０が出力する適応フィルタ後収音信号とを入力として、当該平滑化係数で上記遅延後受話信号を平滑化した遅延後受話信号パワーと上記適応フィルタ後収音信号を平滑化した収音信号パワーとを求めて音響結合量を推定する（ステップＳ５０）。

送話検出部６０は、動作パラメータ変更部３４０が出力する平滑化係数と、遅延部２０が出力する遅延後受話信号と、音響結合量推定部５０が出力する音響結合量と、適応フィルタ部３０が出力する適応フィルタ後収音信号とを入力として、推定前/推定済信号が推定前か推定済かに応じて異なる平滑化係数で上記遅延後受話信号を平滑化して遅延後受話信号パワーを求め、遅延後受話信号のパワーに音響結合量を乗じて推定エコーパワーを求める。そして、適応フィルタ後収音信号を平滑化して収音信号パワーと推定ノイズパワーを求め、推定エコーパワー及び収音信号パワー及び推定ノイズパワーの大小から送話状態を検出し、送話状態であることを表す送話状態信号を出力する（ステップＳ６０）。

受話検出部９３０は、受話端１に入力される受話信号の振幅が所定の値以上の時に、受話状態であることを表す受話検出信号を音声スイッチ制御部９４０に出力する（ステップＳ９３０）。

音声スイッチ制御部９４０は、送話検出部６０が出力する送話状態信号と受話検出部９３０が出力する受話状態信号とに応じて、受話端１と遅延部２０との間に挿入される受話端音声スイッチ９５０と、送話端４に送話信号を出力する送話端音声スイッチ９６０の両方のゲイン量を制御する（ステップＳ９４０）。送話側音声スイッチ９６０は、音声スイッチ制御部９４０から与えられるゲイン量で適応フィルタ後収音信号を増幅して送話信号として送話端４に出力する（ステップS９６０）。受話側音声スイッチ９５０は、受話端１に入力される受話信号を音声スイッチ制御部９４０から与えられるゲイン量で増幅して遅延部２０等に出力する（ステップＳ９５０）。

エコー消去装置３００によれば、遅延後受話信号と適応フィルタ後収音信号との間の遅延時間量が大きい場合でも、遅延後受話信号を遅延（平滑化）させるので適応フィルタ後収音信号に含まれる残留エコーを近端話者の音声として誤検出してしまうことを防止できる。

図９に、送話検出部６０のより具体的な機能構成例を示してその動作を説明する。送話検出部６０は、受話信号パワー計算手段６１と、収音信号パワー計算手段６２と、乗算手段６３と、ノイズパワー推定手段６４と、閾値設定手段６５と、パワー比較手段６６と、を備える。

受話信号パワー計算手段６１は、動作パラメータ変更部３４０が出力する平滑化係数を用いて、遅延部２０が出力する遅延後受話信号を平滑化してパワーを求め遅延後受話信号パワーとして出力する。平滑化の方法は、式（１）又は式（２）で示した方法で行なう。

収音信号パワー計算手段６２は、適応フィルタ後収音信号の短時間平均パワーである収音信号パワーを計算する。この収音信号パワーの計算は、予め設定した固定の平滑化係数を用いて、式（１）と同様にして行う。

乗算手段６３は、受話信号パワー計算手段６１が出力する遅延後受話信号パワーに音響結合量推定部５０が出力する音響結合量を乗じて推定エコーパワーＥを求める。推定エコーパワーＥは閾値設定手段６５に出力される。

ノイズパワー推定手段６４は、収音信号パワー計算手段６２が出力する収音信号パワーをディップホールドして推定ノイズパワーＮを求める。推定ノイズパワーＮは閾値設定手段６５に出力される。

閾値設定手段６５は、推定エコーパワーＥと推定ノイズパワーＮから、送話検出の閾値を設定する。閾値は、推定エコーパワーＥに１以上の定数α、推定ノイズパワーＮに１以上の定数β、をそれぞれ乗じた値の大きい方の値を閾値として選択してパワー比較手段６６に出力する。

パワー比較手段６６は、収音信号パワー計算手段６２が出力する収音信号パワーと閾値を比較し、収音信号パワーが閾値を越える場合に送話状態を表す送話検出信号を出力する。

音声スイッチ制御部９４０は、パワー比較手段６６が出力する送話検出信号に応じて、受話端１と遅延部２０との間に挿入される受話端音声スイッチ９５０と、送話端４に送話信号を出力する送話端音声スイッチ９６０と、にゲイン量を出力する。送話検出信号が出力されている状態では送話端音声スイッチ９６０のゲイン量を大きく設定し、受話端音声スイッチ９５０のゲイン量を小さく設定する。

送話検出部６０を構成する受話信号パワー計算手段６１の平滑化係数は、遅延推定前の状態においてはより長期間の平滑化となるように設定される。例えば、想定される遅延量がＸ秒であった場合には、そのＸ秒よりも長い時間の平滑化となるように平滑化係数ａ′（ａ′＞ａ）が設定される。これにより、送話信号に含まれるエコーを近端話者の音声として誤検出してしまうことを防止する。

ただし、動作パラメータ変更部３４０が送話検出部６０に与える平滑化係数を、長時間の平滑化用とすると送話検出の遅れにつながるので、遅延推定後の平滑化係数は短時間の平滑化用の平滑化係数ａとすることで、送話検出の遅れを防止する。

上記したように、この発明は、遅延推定前において受話信号を平滑化する平滑化係数を大きく設定することで、意図的に受話信号を遅延（平均化）させ、受話信号に対して遅れて生ずるエコー成分とのバランスを取る考えである。この考えは、エコー抑圧部８４０に適応することも可能である。

図１０に、上記したエコー消去装置２００のエコー抑圧部８４０にこの発明の考えを適用したエコー消去装置４００の機能構成例を示す。エコー消去装置４００は、エコー消去装置１００（図１）に対して、更に、動作パラメータ変更部４４０と、音響結合量推定部５０と、エコー抑圧部７０と、を備える。音響結合量推定部５０は、エコー消去装置２００と同じものである。

動作パラメータ変更部４４０は、音響結合量推定部５０とエコー抑圧部７０とに、遅延推定前と推定後とで異なる平滑化係数を出力する点で、エコー消去装置２００の動作パラメータ変更部４０と異なる。また、エコー抑圧部７０がその平滑化係数を用いてエコーを抑圧する点で、エコー消去装置２００のエコー抑圧部８４０と異なる。なお、エコー抑圧部７０に与えられる平滑化係数は、音響結合量推定部４０に与えられるものと同じものでも良いし、異なるものでも良い。

エコー抑圧部７０は、動作パラメータ変更部４４０が出力する平滑化係数を入力として、当該平滑化係数で遅延部２０が出力する遅延後受話信号を平滑化した信号から求めた遅延後受話信号のパワーに音響結合量推定部５０で推定した音響結合量を乗じて推定エコーパワーを求めて適応フィルタ部３０が出力する適応フィルタ後収音信号に残存するエコー成分を抑圧する。

図１１に、エコー抑圧部７０のより具体的な機能構成例を示してその動作を説明する。エコー抑圧部７０は、周波数領域変換手段７１と、受話信号パワー計算手段７２と、乗算手段７３と、周波数領域変換手段７４と、送話信号パワー計算手段７５と、エコー抑圧ゲイン計算手段７６と、第２乗算手段７７と、時間領域変換手段７８と、を備える。

周波数領域変換手段７１は、遅延部２０が出力する遅延後受話信号を、周波数領域の信号に変換した周波数領域遅延後受話信号として出力する。受話信号パワー計算手段７２は、周波数領域遅延後受話信号を、動作パラメータ変更部４４０から与えられる平滑化係数で平滑化して周波数毎の遅延後受話信号パワーとして出力する。乗算手段７３は、周波数領域の遅延後受話信号パワーに音響結合量推定部５０で推定した音響結合量を乗じて推定エコーパワーを求める。

周波数領域変換手段７４は、適応フィルタ部３０が出力する適応フィルタ後収音信号を、周波数領域の信号に変換した周波数領域適応フィルタ後収音信号として出力する。収音信号パワー計算手段７５は、周波数領域適応フィルタ後収音信号の周波数毎の短時間平均パワーを、収音信号パワーとして計算する。エコー抑圧ゲイン計算手段７６は、推定エコーパワーと適応フィルタ後収音信号パワーとからエコー抑圧ゲインを求める。第２乗算手段７７は、周波数領域適応フィルタ後収音信号に周波数毎のエコー抑圧ゲインを乗じてエコーを抑圧した送話信号を出力する。送話信号は、時間領域変換手段７８で時間領域の信号に変換されて送話端４から出力される。

受話信号パワー計算手段７２に与える平滑化係数を、遅延推定前では大きな値に設定する。例えば、想定される遅延時間量がＸ秒であった場合には、Ｘ秒よりも長い時間の平滑化となるように平滑化係数を設定する。これにより、受話信号よりも遅れて生ずるエコー成分も適切に抑圧することが可能になる。

ただし、受話信号パワー計算手段７２に与える平滑化係数を、長時間の平滑化とすることは受話信号がある状態から近端話者の発話に切り替わった際に、近端話者音声の話頭をエコーとして抑圧してしまうことになる。これを防止するために、遅延推定後の平滑化係数は短時間の係数として、近端話者音声の話頭の抑圧を防止する。

図１２に、上記したエコー消去装置３００の音声スイッチ制御部９４０にこの発明の考えを適用して、音声スイッチ制御部８０としたエコー消去装置５００の機能構成例を示す。音声スイッチ制御部９４０は、送話状態を表す送話検出信号に応じて、受話側音声スイッチ９５０と送話側音声スイッチ９６０のゲイン量を制御するものである。この送話検出信号が、この発明の送話検出信号でない場合、つまり、従来技術で説明した送話検出部９２０が出力する送話検出信号であると、送話検出においてエコーを近端話者の音声と誤認識してしまうことが考えられる。送話検出を誤検出すると、送話側のゲイン量が１.０に、受話側のゲイン量が１.０以下に、それぞれ設定されることになる。このような状態になるとエコーが抑圧されずに送話端４に出力されてしまう。

この送話状態の誤検出を防止する目的でこの発明のエコー消去装置５００は、エコー消去装置３００の動作パラメータ変更部３４０に代えて動作パラメータ変更部５４０と、音声スイッチ制御部９４０に代えて音声スイッチ制御部８０と、を備える。なお、エコー消去装置５００の送話検出部は、従来技術で説明したエコー消去装置９００の送話検出部９２０として説明する。

動作パラメータ変更部５４０は、推定前/推定済信号を入力として、当該推定前/推定済信号が推定前か推定済かに応じて異なる平滑化係数を出力すると共に、当該推定前/推定済信号に応じて送話状態から受話状態への状態遷移条件と受話状態から送話状態への状態遷移条件をそれぞれ変更して出力する。音声スイッチ制御部８０は、状態遷移条件と送話検出部９２０の出力する送話状態信号とを入力として、当該状態遷移条件に応じて受話側音声スイッチ９５０と送話側音声スイッチ９６０の両方のゲインを制御する。

図１３に、音声スイッチ制御部８０のより具体的な機能構成例を示してその動作を説明する。音声スイッチ制御部８０は、ゲイン決定手段８１と、状態遷移手段８２と、ゲイン割り当て手段８３と、を備える。

ゲイン決定手段８１は、音響結合量推定部５０で推定した音響結合量を入力として、当該音響結合量からハウリングを起こさないゲイン量を算出する。状態遷移手段８２は、受話検出部９３０が出力する受話検出信号と、送話検出部９２０が出力する送話状態信号と、動作パラメータ変更部５４０が出力する状態遷移条件と、を入力として送話状態と受話状態のどちらか一つの状態を決定する。ゲイン割り当て手段８３は、状態遷移手段８２が出力する状態と、ゲイン決定手段８１が出力するゲイン量を入力として、受話側音声スイッチ９５０と送話側音声スイッチ９６０のゲイン量を決定する。

図１４に、状態遷移手段８２が決定する状態の状態遷移を示す。状態遷移手段８２が扱う状態は、送話状態１３０と受話状態１３１の２状態である。送話状態１３０から受話状態１３１への遷移条件は、送話状態信号なしで且つ受話状態信号ありである。受話状態１３１から送話状態１３０への遷移条件は、送話状態信号ありで且つ受話状態信号ありの状態がＭ回継続すること、若しくは送話状態信号ありで且つ受話状態信号なしの状態がＮ回継続することである。

動作パラメータ変更部５４０は、回数の条件Ｎのパラメータを遅延推定前と後で変更する。遅延推定前では、Ｎに、想定される遅延後受話信号と適応フィルタ後収音信号との間の遅延の最大値程度の回数を設定し、遅延推定後には１に近い少ない回数を設定する。つまり、推定前をＮ′、推定後をＮとした時に、Ｎ′＞Ｎの関係にしておくことで遅延推定前の状態では簡単に送話状態に遷移することを防止する。Ｎ′回の回数は、遅延時間量を例えばフレームの時間で割った回数である。例えば、遅延時間量を１００ｓ、１フレームを１６ｍｓと仮定するとＮ′回は７回程度の回数である。遅延推定後は近端話者発話開始時の状態遷移を素早くし、近端話者音声の話頭が抑圧されてしまうことなくゲイン制御を行うことができる。

このようにエコー消去装置５００によれば、遅延推定前であってもハウリングを効果的に抑圧することができる。また、遅延推定後は、近端話者音声の話頭の抑圧がない状態で効果的にハウリングを抑圧することができる。

なお、エコー消去装置５００の説明は、従来技術の送話検出部９２０を用いた例で説明を行ったが、送話検出部９２０はこの発明の送話検出部６０としても良い。同様に、上記した各実施例の機能構成を全て用いてエコー消去装置６００を構成しても良い。図１５に、エコー消去装置６００の機能構成例を示す。エコー消去装置６００は、上記した実施例の全ての機能構成を含むので、各実施例よりも更に安定したエコー消去とハウリング防止を実現することができる。

上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD（Digital Versatile Disc）、DVD-RAM（Random Access Memory）、CD-ROM（Compact Disc Read Only Memory）、CD-R（Recordable）/RW（ReWritable）等を、光磁気記録媒体として、MO（Magneto Optical disc）等を、半導体メモリとしてEEP-ROM（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (12)

1. 受話端に入力される受話信号とマイクロホンで収音された収音信号との間の遅延時間を推定して遅延時間量を出力すると共に、上記遅延時間の推定前であるか推定済みであるかを表す推定前/推定済信号を出力する遅延推定過程と、
   上記遅延推定過程で上記遅延時間を推定する前では上記受話信号を、上記遅延推定過程で上記遅延時間量を出力した後では当該遅延時間量分の時間、上記受話信号を遅延させた信号を、遅延後受話信号として出力する遅延過程と、
   上記推定前/推定済信号を入力として、当該推定前/推定済信号が推定前の状態を表す時は、適応フィルタの適応動作を停止させる適応フィルタ過程と、
   を備えるエコー消去方法。
2. 請求項１に記載したエコー消去方法において、
   更に、
   上記推定前/推定済信号を入力として、当該推定前/推定済信号が推定前か推定済かに応じて異なる平滑化係数を出力する動作パラメータ変更過程と、
   上記平滑化係数と上記遅延後受話信号と上記適応フィルタ部が出力する適応フィルタ後収音信号とを入力として、当該平滑化係数で上記遅延後受話信号を平滑化した遅延後受話信号パワーと上記適応フィルタ後収音信号を平滑化した収音信号パワーとを求めて音響結合量を推定する音響結合量推定過程と、
   上記遅延後受話信号パワーに上記音響結合量を乗じて推定エコーパワーを求め上記適応フィルタ後収音信号に含まれる残留エコーを抑圧するエコー抑圧過程と、
   を備えることを特徴とするエコー消去方法。
3. 請求項１に記載したエコー消去方法において、
   更に、
   上記推定前/推定済信号を入力として、当該推定前/推定済信号が推定前か推定済かに応じて異なる平滑化係数を、音響結合量推定過程と送話検出過程とに出力する動作パラメータ変更過程と、
   上記平滑化係数と上記遅延後受話信号と上記適応フィルタ部が出力する適応フィルタ後収音信号とを入力として、当該平滑化係数で上記遅延後受話信号を平滑化した遅延後受話信号パワーと上記適応フィルタ後収音信号を平滑化した収音信号パワーとを求めて音響結合量を推定する音響結合量推定過程と、
   上記動作パラメータ変更過程が出力する平滑化係数と、上記遅延後受話信号と、上記音響結合量推定過程が出力する音響結合量と、上記適応フィルタ過程が出力する適応フィルタ後収音信号とを入力として、上記推定前/推定済信号が推定前か推定済かに応じて異なる平滑化係数で上記遅延後受話信号を平滑化して遅延後受話信号パワーを求め、遅延後受話信号のパワーに音響結合量を乗じて推定エコーパワーを求め、適応フィルタ後収音信号を平滑化して収音信号パワーと推定ノイズパワーを求め、推定エコーパワー及び収音信号パワー及び推定ノイズパワーの大小から送話状態を検出し、送話状態であることを表す送話状態信号を出力する送話検出過程と、
   上記送話状態に応じて、受話端に接続される受話端音声スイッチと、送話端に接続される送話端音声スイッチの両方のゲイン量を制御する音声スイッチ制御過程と、
   を備えることを特徴とするエコー消去方法。
4. 請求項１に記載したエコー消去方法において、
   更に、
   上記推定前/推定済信号を入力として、当該推定前/推定済信号が推定前か推定済かに応じて異なる平滑化係数を、音響結合量推定過程と送話検出過程とに出力する動作パラメータ変更過程と、
   上記平滑化係数と上記遅延後受話信号と上記適応フィルタ過程が出力する適応フィルタ後収音信号とを入力として、当該平滑化係数で上記遅延後受話信号を平滑化した遅延後受話信号パワーと上記適応フィルタ後収音信号を平滑化した収音信号パワーとを求めて音響結合量を推定する音響結合量推定過程と、
   上記動作パラメータ変更過程が出力する平滑化係数を入力として、当該平滑化係数で上記遅延後受話信号を平滑化した信号から求めた遅延後受話信号のパワーに上記音響結合量を乗じて推定エコーパワーを求め上記適応フィルタ部が出力する送話信号のエコーを抑圧するエコー抑圧過程を、
   備えることを特徴とするエコー消去方法。
5. 請求項３に記載したエコー消去方法において、
   上記動作パラメータ変更過程は、上記推定前/推定済信号を入力として、当該推定前/推定済信号が推定前か推定済かに応じて異なる平滑化係数を出力すると共に、当該推定前/推定済信号に応じて送話状態から受話状態への状態遷移条件と受話状態から送話状態への状態遷移条件をそれぞれ変更して出力する過程であり、
   上記音声スイッチ制御過程は、上記状態遷移条件と上記送話状態信号とを入力として、当該状態遷移条件に応じて上記受話端音声スイッチと上記送話端音声スイッチの両者のゲイン量を制御する過程である、
   ことを特徴とするエコー消去方法。
6. 受話端に入力される受話信号とマイクロホンで収音された収音信号との間の遅延時間を推定して遅延時間量を出力すると共に、上記遅延時間の推定前であるか推定済みであるかを表す推定前/推定済信号を出力する遅延推定部と、
   上記遅延推定部が上記遅延時間を推定する前では上記受話信号を、上記遅延推定部が上記遅延時間量を出力した後では当該遅延時間量分の時間、上記受話信号を遅延させた信号を、遅延後受話信号として出力する遅延部と、
   上記推定前/推定済信号を入力として、当該推定前/推定済信号が推定前の状態を表す時は、適応フィルタの適応動作を停止させる適応フィルタ部と、
   を具備するエコー消去装置。
7. 請求項６に記載したエコー消去装置において、
   更に、
   上記推定前/推定済信号を入力として、当該推定前/推定済信号が推定前か推定済かに応じて異なる平滑化係数を出力する動作パラメータ変更部と、
   上記平滑化係数と上記遅延後受話信号と上記適応フィルタ部が出力する適応フィルタ後収音信号とを入力として、当該平滑化係数で上記遅延後受話信号を平滑化した遅延後受話信号パワーと上記適応フィルタ後収音信号を平滑化した収音信号パワーとを求めて音響結合量を推定する音響結合量推定部と、
   上記遅延後受話信号パワーに上記音響結合量を乗じて推定エコーパワーを求め上記適応フィルタ後収音信号に含まれる残留エコーを抑圧するエコー抑圧部と、
   を備えることを特徴とするエコー消去装置。
8. 請求項６に記載したエコー消去装置において、
   更に、
   上記推定前/推定済信号を入力として、当該推定前/推定済信号が推定前か推定済かに応じて異なる平滑化係数を、音響結合量推定部と送話検出部とに出力する動作パラメータ変更部と、
   上記平滑化係数と上記遅延後受話信号と上記適応フィルタ部が出力する適応フィルタ後収音信号とを入力として、当該平滑化係数で上記遅延後受話信号を平滑化した遅延後受話信号パワーと上記適応フィルタ後収音信号を平滑化した収音信号パワーとを求めて音響結合量を推定する音響結合量推定部と、
   上記動作パラメータ変更部が出力する平滑化係数と、上記遅延後受話信号と、上記音響結合量推定部が出力する音響結合量と、上記適応フィルタ部が出力する適応フィルタ後収音信号とを入力として、上記推定前/推定済信号が推定前か推定済かに応じて異なる平滑化係数で上記遅延後受話信号を平滑化して遅延後受話信号パワーを求め、遅延後受話信号のパワーに音響結合量を乗じて推定エコーパワーを求め、適応フィルタ後収音信号を平滑化して収音信号パワーと推定ノイズパワーを求め、推定エコーパワー及び収音信号パワー及び推定ノイズパワーの大小から送話状態を検出し、送話状態であることを表す送話状態信号を出力する送話検出部と、
   上記送話状態に応じて、受話端と上記遅延部との間に挿入される受話端音声スイッチと、送話端に送話信号を出力する送話端音声スイッチとの両者のゲインを制御する音声スイッチ制御部と、
   を備えることを特徴とするエコー消去装置。
9. 請求項６に記載したエコー消去装置において、
   更に、
   上記推定前/推定済信号を入力として、当該推定前/推定済信号が推定前か推定済かに応じて異なる平滑化係数を、音響結合量推定部と送話検出部とに出力する動作パラメータ変更部と、
   上記平滑化係数と上記遅延後受話信号と上記適応フィルタ部が出力する適応フィルタ後収音信号とを入力として、当該平滑化係数で上記遅延後受話信号を平滑化した遅延後受話信号パワーと上記適応フィルタ後収音信号を平滑化した収音信号パワーとを求めて音響結合量を推定する音響結合量推定部と、
   上記動作パラメータ変更部が出力する平滑化係数を入力として、当該平滑化係数で上記遅延後受話信号を平滑化した信号から求めた遅延後受話信号のパワーに上記音響結合量を乗じて推定エコーパワーを求め上記適応フィルタ部が出力する送話信号のエコーを抑圧するエコー抑圧部を、
   備えることを特徴とするエコー消去装置。
10. 請求項８に記載したエコー消去装置において、
    上記動作パラメータ変更部は、上記推定前/推定済信号を入力として、当該推定前/推定済信号が推定前か推定済かに応じて異なる平滑化係数を出力すると共に、当該推定前/推定済信号に応じて送話状態から受話状態への状態遷移条件と受話状態から送話状態への状態遷移条件をそれぞれ変更して出力するものであり、
    上記音声スイッチ制御部は、上記状態遷移条件と上記送話状態信号とを入力として、当該状態遷移条件に応じて上記受話端音声スイッチと上記送話端音声スイッチの両者のゲイン量を制御するものである、
    ことを特徴とするエコー消去装置。
11. 請求項６乃至１０の何れかに記載したエコー消去装置としてコンピュータを機能させるためのプログラム。
12. 請求項１１に記載した何れかのプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images