JP2010028653A - エコー消去装置、エコー消去方法、そのプログラム、記録媒体 - Google Patents

Abstract

【課題】低計算コストで、適応ビームフォーミング処理により音響指向性の変動が生じたとしても、所望のエコー消去量に達する。
【解決手段】Ｎ個の収音手段で収音された収音信号に含まれるエコー信号を消去し、当該収音信号に含まれる雑音信号を抑圧して、出力信号として出力するものであり、収音手段毎に収音信号の、予め定められた基準値より低い周波数帯域に含まれるエコー信号の成分を消去し、残留エコー信号を出力し、Ｎ個の残留エコー信号から雑音信号を抑圧して、適応ビームフォーミング信号を出力し、適応ビームフォーミング信号から、エコー信号を消去することで出力信号を出力する。
【選択図】図３

Description

この発明は、複数の収音手段で収音された収音信号に含まれるエコー信号を消去し、収音信号に含まれる雑音信号を抑圧して出力信号として出力するエコー消去装置、エコー消去方法、そのプログラム、記録媒体に関する。

従来の電話会議やテレビ会議に加えて、近年ＰＣ（パーソナルコンピュータ）を用いたテレビ電話デスクトップ会議などハンズフリー拡声通話が利用される機会が増加している。ハンズフリー拡声通話においては、受信した相手の声は再生手段（例えば、スピーカ）から放出される一方、受話者の音声は収音手段（例えば、マイクロホン）で収音されることから、通話しながら議事録の筆記やＰＣの操作ができるという大きな利点がある。

しかし、スピーカで放出された相手の声は、受話者に届くだけでなく、マイクロホンにも回り込んで収音され、音響エコーとして通話品質を劣化させるとともに、ハウリングの原因にもなる。そこで、このようなエコー信号の成分を消去し、ハウリングの発生を未然に防ぐために、ハンズフリー拡声通話においてエコー消去技術が導入されている。

また、種々の環境雑音の中から利用者の音声を選択的に受音、追従し、雑音抑圧を行ったあと、高精度に話者の音声を収音する適応ビームフォーミング技術がある。この技術は特許文献１の収音方法及び収音装置「マイクロホンアレイによるエコー抑圧、方向別ＡＧＣマイクロホンアレイ」に記載されている。この技術は、複数のマイクロホンを用いて音響的指向性を制御することにより、雑音源からの雑音信号を抑圧し、高精度に話者の音声を収音するものである。近年、この適応ビームフォーミング技術はエコー消去装置にも備えられている（非特許文献１参照）。

図１に、適応ビームフォーミングを備えた従来のエコー消去装置１００の機能構成例を示す。エコー消去装置１００は、Ｎ（Ｎは１以上の整数）個の収音手段（例えば、マイクロホン）に接続されている。エコー消去装置１００は、Ｎ個のエコー消去部１０２_ｎ（ｎ＝１，．．．，Ｎ）と適応ビームフォーミング部１０４とを有する。また、以下の説明では、再生手段２から放出された再生信号をｘ（ｔ）とし、再生信号ｘ（ｔ）が収音手段４_ｎに回り込んだ信号をエコー信号ａ（ｔ）とし、雑音源よりの雑音信号をｂ（ｔ）とし、話者８からの話者信号をｃ（ｔ）とする。エコー信号ａ（ｔ）、雑音信号ｂ（ｔ）、話者信号ｃ（ｔ）からなる信号を収音信号とし、収音手段４_ｎで収音された信号を収音信号をｙ_ｎ（ｔ）と示し、エコー信号、雑音信号、話者信号をそれぞれａ_ｎ（ｔ）ｂ_ｎ（ｔ）ｃ_ｎ（ｔ）と示す。ｔは離散時刻を示し、連続時間信号を一定のサンプル間隔Ｔでサンプリングしたことにより示されるものである。例えば、サンプリング周波数ｆ_ｓ＝４８ｋＨｚ（１秒間に４８０００回）とする。サンプリング周波数ｆ_ｓ＝１／Ｔである。また、エコー信号、雑音信号、話者信号が収音手段まで到達するまでは離散時刻ではなく、実時刻で表すべきであるが、説明簡略化のために、全て離散時刻ｔで示す。エコー消去装置１００、以下で説明するエコー消去装置２００、３００においても離散時刻ｔで表された信号であるディジタル信号を扱うので、入力されるアナログ信号をＤＡ変換器によりディジタル信号に変換し、出力するディジタル信号をＡＤ変換器によりアナログ信号に変換する必要があるのであるが、このことは当然のことであるので、図１〜図３において、ＡＤ変換器、ＤＡ変換器については図示しない。また、雑音源６、話者８が存在しない場合は、収音信号には雑音信号、話者信号は含まれない。

説明を図１に戻す。収音信号ｙ_ｎ（ｔ）は、エコー消去部１０２_ｎに入力される。エコー消去部１０２_ｎは収音信号ｙ_ｎ（ｔ）からエコー信号ａ_ｎ（ｔ）を抑圧する。そして、エコー信号が消去された信号である残留エコー信号ｅ_ｎ（ｔ）が適応ビームフォーミング部１０４に入力される。

適応ビームフォーミング部１０４はＮ個の残留エコー信号ｅ_ｎ（ｔ）（＝１，．．．，Ｎ）から雑音信号を抑圧し、出力信号ｚ（ｔ）として出力する。エコー消去部１０２_ｎ、適応ビームフォーミング部１０４の詳細な処理については、以下の「発明を実施するための最良の形態」で説明する。

エコー消去装置１００の構成は、Ｎ個のエコー消去部１０２_ｎの後段に適応ビームフォーミング部１０４を設置している。従って、適応ビームフォーミング部１０４の適応ビームフォーミングによる音響的指向性の変動をエコー消去部１０２_ｎのエコー経路モデルに含まないようにできる。

次に、図２に、適応ビームフォーミングを備えた従来のエコー消去装置２００の機能構成例を示す。エコー消去装置２００の構成は、適応ビームフォーミング部２０２が前段に、エコー消去部２０４が後段に設けられる。このように構成することで、適応ビームフォーミング部２０２よりの出力信号が１つである場合には、エコー消去部２０４は、その出力信号に対して１回のエコー消去処理（適応フィルタ処理）を行うだけでよく、低演算・低メモリ量の構成となっている。
特許第４１０４６２６号 Kellermann,W.,"Strategies for combining acoustic echo cancellation and adaptive beamforming microphone arrays,"IEEE International Conference on Acoustics,Speech,and Signal Processing,vol.1,21-24,pp.219-222,Apr.1997.

上記エコー消去装置１００の構成であると、計算コストの高いエコー消去部１０２_ｎを収音手段の数であるＮ個分、備える必要があるため、膨大な計算コストが必要であった。また、上記エコー消去装置２００の構成であると、エコー消去部のエコー経路モデルにおいて、時変ビームフォーミングを考慮しなければならないため、適応ビームフォーミング部２０２によって音響的指向性の変動が生じれば、エコー消去部２０４がエコー経路モデル（適応フィルタ）の再推定を行わなければならず、所望のエコー消去量に達しない場合がある。

この発明の目的は、（１）計算コストを少なくし、（２）エコー消去部の所望エコー消去量に達するまでの時間を短くすることで、適応ビームフォーミング処理による音響的指向性の変動に関わらず、所望のエコー消去量に達するエコー消去装置を提供することである。

この発明のエコー消去装置は、Ｎ個の収音手段で収音された収音信号に含まれるエコー信号を消去し、当該収音信号に含まれる雑音信号を抑圧して、出力信号として出力するものである。そして当該エコー消去装置は、Ｎ個の低域エコー消去部と、適応ビームフォーミング部と、エコー消去部と、を有する。低域エコー消去部は、収音信号の、予め定められた基準値より低い周波数帯域に含まれるエコー信号の成分を消去し、残留エコー信号を出力する。適応ビームフォーミング部は、Ｎ個の残留エコー信号から雑音信号を抑圧して、適応ビームフォーミング信号を出力する。エコー消去部は、適応ビームフォーミング信号から、エコー信号を消去することで出力信号を出力する。

この発明では、パワーが低周波数帯域（以下、単に「低域」という。）に集中する話者音声の性質から低周波数帯域の所望エコー消去量が高周波数帯域（以下、単に「高域」という。）の所望エコー消去量より大きいことに着目する。そして、Ｎ個の低域エコー消去部は、入力された収音信号の予め定められた基準値より低い低域についてのみエコーを消去するので、エコー消去装置１００中のＮ個のエコー消去部と比較して計算コストを削減できる。従って、エコー消去装置１００の問題点を解決できる。

また、この発明のエコー消去装置の構成は、前段からＮ個の低域エコー消去部、低域ビームフォーミング部、エコー消去部、の順番で構成されている。従って、低域エコー消去部のエコー経路モデルでは、適応ビームフォーミング部１０４の音響的指向性の変動による再推定を回避できる。また、エコー消去部については、低域エコー消去部によって、低域のエコーを消去したもの、つまり、大半のエコー信号の成分が消去された信号（適応ビームフォーミング信号）についてエコー信号の成分を消去する。従って、エコー消去部内で用いる全域残留エコー信号のパワーを最初から小さくでき、結果として、エコー消去部の所望エコー消去量に達するまでの時間を短くできる。よって、適応ビームフォーミング部による音響指向性変動が生じたとしても、エコー消去部は安定的に所望のエコー消去量を達成できる。また、上記非特許文献１には、エコー消去技術、適応ビームフォーミング技術のそれぞれの処理手順については記載されていない。

以下に、発明を実施するための最良の形態を示す。なお、同じ機能を持つ構成部や同じ処理を行う過程には同じ番号を付し、重複説明を省略する。

図３にエコー消去装置３００の機能構成例を示し、図４に処理フローを示す。エコー消去装置３００はＮ個の低域エコー消去部３０２_ｎ、適応ビームフォーミング部１０４、エコー消去部３０４を有する。図５に低域エコー消去部３０２_ｎの機能構成例を示し、図６に適応ビームフォーミング部１０４の機能構成例を示し、図７にエコー消去部３０４の機能構成例を示す。なお、全ての低域エコー消去部３０２_ｎ（ｎ＝１，．．．，Ｎ）の構成手段は全て同じであるので、図５記載の各構成手段の参照番号については添え字「ｎ」を省略している。また、エコー消去部３０４は、図２記載のエコー消去部２０４と同一である。

図５記載のように、この実施例の低域エコー消去部３０２は、ローパスフィルタ手段３０１４と、ダウンサンプリング手段３０１６と、適応フィルタ手段３０１８と、帯域分割手段３０１２と、減算手段３０２０と、帯域合成手段３０２２と、により構成される。帯域分割手段３０１２は、ローパスフィルタ手段３０１２２、ハイパスフィルタ手段３０１２４、２つのダウンサンプリング手段３０１２６により構成される。また、図６記載のように、この実施例の適応ビームフォーミング部１０４は、周波数領域変換手段１０４２と、適応ビームフォーミング手段１０４４と、時間領域変換手段１０４６と、インパルス応答記憶部１０５０（またはステアリングベクトル記憶部１０４８）と、により構成される。また、図７記載のように、この実施例のエコー消去部３０４は、適応フィルタ手段３０４８、減算手段３０５１、により構成される。

［低域エコー消去部３０２_ｎの処理（ステップＳ１０２）］
まず、収音信号ｙ_ｎ（ｔ）が、低域エコー消去部３０２_ｎに入力される。エコー消去部３０２_ｎは、収音信号ｙ_ｎ（ｔ）の予め定められた基準値αより低い周波数帯域に含まれるエコー信号ａ_ｎ（ｔ）の成分を消去し、残留エコー信号ｅ_ｎ（ｔ）を出力する。まず、基準値αについて説明する。この発明では、パワーが低域に集中する話者音声の性質から、低域の所望エコー消去量が高域の所望エコー消去量より大きいことに着目する。例えば、全周波数帯域を２４ｋＨｚとすると、再生信号の周波数帯域１２ｋＨｚ未満に話者音声は集中する場合が多く、結果として、収音信号の周波数帯域１２ｋＨｚ未満に含まれるエコー信号の成分を消去すれば、大半のエコー信号の成分を消去できることになる。基準値αとは、エコー信号の元となる信号（例えば、話者音声の信号）が集中している帯域の上限の周波数値を示すものである。基準値αは予め定められるものであり、上記の例ではα＝１２ｋＨｚとなる。このように、低域エコー消去部３０２_ｎは、計算コスト削減のために、低域の収音信号ｙ_ｎ（ｔ）についてのみ、エコー消去処理を行う。この周波数帯域の基準値αは事前に設定しておけばよい。以下、低域エコー消去部３０２の処理を図５を用いて具体的に説明する。また、収音信号ｙ_ｎ（ｔ）について、低域エコー消去部３０２に入力される収音信号を説明簡略化のために「ｙ（ｔ）」と示す。

収音手段により収音され、入力された収音信号ｙ（ｔ）は、帯域分割手段３０１２中のローパスフィルタ手段３０１２２およびハイパスフィルタ手段３０１２４に入力される。ローパスフィルタ手段３０１２２は収音信号ｙ（ｔ）に対して、ローパスフィルタ（上記の例では、１２ｋＨｚ未満の信号のみ通過させるもの）の係数を畳み込み、低域の収音信号ｙ_Ｌ（ｔ）を出力する。

一方、ハイパスフィルタ手段３０１２４は収音信号ｙ（ｔ）に対して、ハイパスフィルタ（上記の例では、１２ｋＨｚ以上の信号のみ通過させるもの）の係数を畳み込み、高域の収音信号ｙ_Ｈ（ｔ）を出力する。ローパスフィルタ手段３０１２２、ローパスフィルタ手段３０１４において、通過させる周波数帯域の基準値αを同一にすることが好ましい。

低域収音信号ｙ_Ｌ（ｔ）、高域収音信号ｙ_Ｈ（ｔ）はそれぞれ、ダウンサンプリング手段３０１２６、３０１２８に入力される。そして、ダウンサンプリング手段３０１２６は、低域収音信号ｙ_Ｌ（ｔ）について、例えばＭ−１個、間引くダウンサンプリング処理を行う。間引き数Ｍは１以上の正の実数であり、例えば「２」とする。ダウンサンプリング処理後の信号をｙ_Ｌ（Ｍｔ）と表す。同様に、ダウンサンプリング手段３０１２８は、高域収音信号ｙ_Ｈ（ｔ）について、例えばＭ−１個、間引くダウンサンプリング処理を行う。ダウンサンプリング処理後の信号をｙ_Ｈ（Ｍｔ）と表す。低域収音信号ｙ_Ｌ（Ｍｔ）は減算手段３０２０に入力され、高域収音信号ｙ_Ｈ（Ｍｔ）は帯域合成手段３０２２に入力される。

一方、再生信号ｘ（ｔ）は、再生手段２およびローパスフィルタ手段３０１４に入力される。ローパスフィルタ手段３０１４は、ローパスフィルタ（上記の例では、１２ｋＨｚ未満の信号のみ通過させるもの）の係数を再生信号ｘ（ｔ）に対して畳み込むことで、再生信号ｘ（ｔ）の低域の信号（以下、「低域再生信号ｘ_Ｌ（ｔ）」という。）を出力する。低域再生信号ｘ_Ｌ（ｔ）はダウンサンプリング手段３０１６に入力される。ダウンサンプリング手段３０１６は、低域再生信号ｘ_Ｌ（ｔ）について、Ｍ−１個、間引くダウンサンプリング処理を行う。ダウンサンプリング処理後の信号ｘ_Ｌ（Ｍｔ）は適応フィルタ手段３０１８に入力される。

ここでダウンサンプリング手段３０１６、３０１２６、３０１２８によるダウンサンプリング処理については、元の標本化周波数より低くなればよい。有理数のダウンサンプリングに関しては、例えば、特願２００７−２６２９８６号のアップダウンサンプリング装置とアップダウンサンプリング装置およびそのプログラムに詳細に記載されている。また、ダウンサンプリング手段３０１６、３０１２６、３０１２８は無くても良い。

適応フィルタ手段３０１８は、低域再生信号ｘ_Ｌ（Ｍｔ）に適応フィルタの係数ｈ_Ｌ（Ｍｔ）を畳み込むことで、低域擬似エコー信号ｄ_Ｌ（Ｍｔ）を出力する。当該畳み込みの式は以下のようになる。

ここで、Ｓはタップ数を示す。

減算手段３０２０は、低域収音信号ｙ_Ｌ（Ｍｔ）と、低域擬似エコー信号ｄ_Ｌ（Ｍｔ）との差をとることで、低域残留エコー信号ｅ_Ｌ（Ｍｔ）を出力する。図５の例では、低域収音信号ｙ_Ｌ（Ｍｔ）から低域擬似エコー信号ｄ_Ｌ（Ｍｔ）が差し引かれる。低域残留エコー信号ｅ_Ｌ（Ｍｔ）は帯域合成手段３０２２および適応フィルタ手段３０１８に入力される。適応フィルタ手段３０１８の適応フィルタの係数は、低域再生信号ｘ_Ｌ（Ｍｔ）および過去の低域残留エコー信号ｅ_Ｌ（Ｍｔ）により更新される。この更新については、様々なアルゴリズムが知られており、例えば、学習同定アルゴリズム（ＮＬＭＳ：Normalized Least-Mean-Squares）や指数重みつけアルゴリズムがあるが、念のため学習同定アルゴリズムについて簡単に説明する。学習同定アルゴリズムにより低域再生信号ｘ_Ｌ（Ｍｔ）のベクトルＸ_Ｌ（Ｍｔ）を用いて、以下の式で適応フィルタ係数ベクトルＨ_Ｌ（Ｍｔ）は更新される。

ただし、
Ｘ_Ｌ（Ｍｔ）＝［ｘ_Ｌ（Ｍｔ）、ｘ_Ｌ（Ｍ（ｔ−１））、．．．、ｘ_Ｌ（Ｍ（ｔ−Ｓ＋１））］
Ｈ_Ｌ（Ｍｔ）＝［ｈ_Ｌ、０（Ｍｔ）、ｈ_Ｌ、１（Ｍｔ）、．．．、ｈ_{Ｌ、Ｓ−１}（Ｍｔ）］であり、βはスカラ量のステップサイズであって、取りうる範囲は０＜β＜２である。また、δは分母が０になることを防止するための微小な定数である。＜学習同定アルゴリズムの説明は以上＞

帯域合成手段３０２２は、低域残留エコー信号ｅ_Ｌ（Ｍｔ）と高域収音信号ｙ_Ｈ（Ｍｔ）について、帯域合成を行うことで、残留エコー信号ｅ（ｔ）を出力する。処理の詳細の具体例として、低域残留エコー信号ｅ_Ｌ（Ｍｔ）と高域収音信号ｙ_Ｈ（Ｍｔ）に対して、サンプル間にＭ−１個の零値を挿入し、アップサンプルで生じるイメージング（アップサンプリングする前のサンプリング周波数の折り返しスペクトル）を取り除くフィルタを畳み込んだそれぞれの出力信号を加算することで、残留エコー信号ｅ（ｔ）を出力する。そして、上記の処理が全ての低域エコー消去部３０２_ｎ（ｎ＝１，．．．，Ｎ）で行われ、それぞれの低域エコー消去部３０２_ｎから残留エコー信号ｅ_ｎ（ｔ）が出力される。

［適応ビームフォーミング部１０４の処理（ステップＳ１０４）］
全てのＮ個の残留エコー信号ｅ_ｎ（ｔ）（ｎ＝１，．．．，Ｎ）は、適応ビームフォーミング部１０４に入力される。適応ビームフォーミング部１０４は、Ｎ個の残留エコー信号ｅ_ｎ（ｔ）から雑音信号を抑圧して、適応ビームフォーミング信号ｓ（ｔ）を出力する。以下、図６を用いて具体例を説明する。なお、以下の適応ビームフォーミング部１０４の説明の詳細については、特開２００８−６０６３５号の段落［０００４］〜［００１０］等に記載されている。

入力されたＮ個の残留エコー信号ｅ_ｎ（ｔ）は周波数領域変換手段１０４２に入力される。周波数領域変換手段１０４２は、時間領域の信号である残留エコー信号ｅ_ｎ（ｔ）を周波数領域信号Ｅ_ｎ（ｆ、τ）に変換する。ここで、ｆは周波数を示し、τは任意の時間を示す。周波数領域の変換については、公知の技術であるフーリエ変換などを用いればよい。Ｅ_ｎ（ｆ、τ）（ｎ＝１，．．．，Ｎ）は全て適応ビームフォーミング手段１０４４に入力される。

適応ビームフォーミング手段１０４４は、目的信号である話者信号ｃ（ｔ）を強調し、不要信号である雑音信号ｂ（ｔ）をできるだけ抑圧するフィルタ（Ｗ_１（ｆ）、．．．、Ｗ_Ｎ（ｆ）］^Ｔを推定することで実現される。適応ビームフォーミング手段１０４４を設計する際には、「話者から各収音手段へのインパルス応答ベクトルｇ（ｆ）もしくは、ｇ（ｆ）の近似であるステアリングベクトルａ（ｆ）＝［ｅｘｐ（−ｉ２πｆτ_１），．．．，ｅｘｐ（−ｉ２πｆτ_Ｎ)］^Ｔが既知である」ということを仮定する。ここでτ_ｎは話者８よりの話者信号（目的信号）が収音手段ｎに達する時刻と原点０に達する時間差である。そして、図８に示すように収音手段４_ｎを直線状に配置させることが多い。話者８の方向をθとし、収音ｓ手段４_１を基準（原点）とした場合の収音手段４_ｎの座標ｄ_ｎとすると、上述のτ_ｎは、τ_ｎ＝ｄ_ｎｃｏｓθ／ｃで与えられる。ここでｃは信号の速度である。

図６に説明を戻すと、不要信号を抑圧する適応ビームフォーミング手段１０４４として、以下の式で表される出力パワーＡ（Ｗ（ｆ））を最小にする適応フィルタ群（ベクトル）１０４８_ｎ（ｎ＝１，．．．，Ｎ）であるＷ（ｆ）＝［Ｗ_１（ｆ），．．．，Ｗ_Ｎ（ｆ）］を推定する。
Ａ(Ｗ（ｆ）)＝Ｖ｛｜Ｓ｜^２(ｆ、τ)｝
＝Ｖ｛Ｓ（ｆ、τ）Ｓ^＊（ｆ、τ）｝
＝Ｖ｛Ｗ^Ｔ(ｆ)Ｅ(ｆ、τ）Ｅ^Ｔ（ｆ、τ）Ｗ（ｆ）｝
＝Ｗ^Ｔ（ｆ）Ｒ_Ｅ（ｆ）Ｗ（ｆ） （１）

ここで、Ｖ｛｝は時間τに関する平均操作、Ａ^＊はＡの複素共役、Ｒ_Ｅ（ｆ）＝Ｖ｛Ｅ(ｆ、τ）Ｅ^Ｔ（ｆ、τ）｝は入力信号の相関行列、Ｓ（ｆ、τ）は適応ビームフォーミング手段１０４４の出力であり、以下の式で表すことが出来る。
Ｓ（ｆ、τ）＝Ｗ^Ｔ（ｆ）Ｅ（ｆ、τ） （２）
ここで、意味のない解(Ｗ（ｆ）＝０＝［０、．．．、０］^Ｔ)を回避するために、目的信号が無歪みで得られるという以下の式に示す拘束条件を付与する。
Ｗ^Ｔ（ｆ）ｇ（ｆ）＝１ （３）

これにより、式（３）を満たし、かつ上記式（１）のＡ（Ｗ（ｆ）)の値が最小となるＷ（ｆ）の値を求める問題はＬａｇｕｒａｎｇｅの未定乗数ｐを用いて、以下の式（４）で表すことができる。
Ａ’（Ｗ（ｆ）)＝Ａ（Ｗ（ｆ））＋ｐ（Ｗ^Ｔ（ｆ）ｇ(ｆ)−１)（４）
式（４）を解くことにより、適応フィルタ群（ベクトル）Ｗ（ｆ）は、以下の式（５）で得られる。

適応ビームフォーミング手段１０４４から出力された周波数領域の適応ビームフォーミング信号Ｓ（ｆ、τ）は時間領域変換手段１０４６に入力される。時間領域変換手段１０４６は、例えば公知の技術である逆フーリエ変換などを用いて、周波数領域の信号である適応ビームフォーミング信号Ｓ（ｆ、τ）を時間領域の適応ビームフォーミング信号ｓ（ｔ）に変換して出力する。

［エコー消去部３０４の処理（ステップＳ１０６）］
適応ビームフォーミング信号ｓ（ｔ）は、エコー消去部３０４に入力される。エコー消去部３０４は、適応ビームフォーミング信号ｓ（ｔ）から、エコー信号を消去することで、出力信号ｚ（ｔ）として出力する。エコー消去部３０４の処理内容は公知であるが、図７を用いて念のため説明する。

再生信号ｘ（ｔ）は、適応フィルタ手段３０４８に入力される。適応フィルタ手段３０４８は、以下の式のように、再生信号ｘ（ｔ）に適応フィルタの係数ｈ（ｔ）を畳み込むことで擬似エコー信号のベクトルｄ（ｔ）を出力する。

そして、減算手段３０５１は、適応ビームフォーミング信号ｓ（ｔ）から擬似エコー信号ｄ（ｔ）差し引くことで、残留エコー信号ｅ（ｔ）を出力する。そして、適応フィルタ手段３０４８の適応フィルタのベクトルは、過去の残留エコー信号と再生信号により、上述した学習同定法等を用いて更新される。

ここで、Ｎ個の低域エコー消去部３０２_ｎにより、収音信号の低周波数帯域に含まれるエコー信号の成分は消去されており、つまり、適応ビームフォーミング信号に含まれるエコー信号の成分は大半が消去されているので、残留エコー信号ｅ（ｔ）のパワーはかなり小さくなる。従って、所望エコー消去量に達するまでの時間を短くでき、適応ビームフォーミング部１０４の音響的指向性の変動が生じたとしても、所望のエコー消去量に達することが出来る。

そして、残留エコー信号ｅ（ｔ）は出力信号ｚ（ｔ）として出力される。また、話者信号ｃ（ｔ）が存在する場合には、残留エコー信号ｅ（ｔ）と話者信号ｃ（ｔ）とが出力信号ｚ（ｔ）として出力される。

実施例１のエコー消去部３０４は入力信号の全周波数帯域についてエコー信号の成分を消去した。しかし、Ｎ個の低域エコー消去部３０２_ｎで、低域のエコー信号の成分を消去されているので、エコー消去部では、基準値α（上記の例ではα＝１２ｋＨｚ）より高い周波数帯域の適応ビームフォーミング信号から、エコー信号を消去するようにしてもよい。このようにすることで、エコー消去部の計算コストを大幅に削減できる。この場合のエコー消去部の参照符号を３０６とし、エコー消去部３０６の機能構成例を図９に示す。エコー消去部３０６は低域エコー消去部３０２（図５参照）のハイパスフィルタ手段とローパスフィルタ手段とを入れ替えた構成になっている。エコー消去部３０６の処理内容を簡単に説明する。

まず、適応ビームフォーミング信号ｓ（ｔ）が、帯域分割手段３０６２中のハイパスフィルタ手段３０６２２およびローパスフィルタ手段３０６２４に入力される。ハイパスフィルタ手段３０６２２は適応ビームフォーミングｓ（ｔ）に対して、ハイパスフィルタ（上記の例では、１２ｋＨｚ（＝基準値α）以上の信号のみ通過させるもの）の係数を畳み込み、高域の適応ビームフォーミング信号ｓ_Ｈ（ｔ）を出力する。ローパスフィルタ手段３０６２４は適応ビームフォーミング信号ｓ（ｔ）に対して、ローパスフィルタ（上記の例では、１２ｋＨｚ未満の信号のみ通過させるもの）の係数を畳み込み、低域の適応ビームフォーミング信号ｓ_Ｌ（ｔ）を出力する。

高域適応ビームフォーミング信号ｓ_Ｈ（ｔ）、低域適応ビームフォーミング信号ｓ_Ｌ（ｔ）、はそれぞれ、ダウンサンプリング手段３０６２６、３０６２８に入力される。そして、ダウンサンプリング手段３０６２６、３０６２８はそれぞれ、高域適応ビームフォーミング信号ｓ_Ｈ（ｔ）、低域適応ビームフォーミング信号ｓ_Ｌ（ｔ）について、ダウンサンプリング処理を行う。ダウンサンプリング処理後の高域適応ビームフォーミング信号ｓ_Ｈ（Ｍｔ）は、減算手段３０７０に入力され、ダウンサンプリング処理後の低域適応ビームフォーミング信号ｓ_Ｌ（Ｍｔ）は、帯域合成手段３０７２に入力される。

一方、ハイパスフィルタ手段３０６４は、再生信号ｘ（ｔ）に対して、ハイパスフィルタ（上記の例では、１２ｋＨｚ（＝基準値α）以上の信号のみ通過させるもの）の係数を再生信号ｘ（ｔ）に対して畳み込むことで、高域再生信号ｘ_Ｈ（ｔ）を出力する。高域再生信号ｘ_Ｈ（ｔ）はダウンサンプリング手段３０６６に入力される。ダウンサンプリング手段３０６６は、高域再生信号ｘ_Ｈ（ｔ）について、ダウンサンプリング処理を行う。ダウンサンプリング処理後の信号ｘ_Ｈ（Ｍｔ）は適応フィルタ手段３０６８に入力される。また、ダウンサンプリング手段３０６６、３０６２６、３０６２８は無くても良い。

適応フィルタ手段３０６８は、低域再生信号に適応フィルタを畳み込むことで、高域擬似エコー信号ｄ_Ｈ（Ｍｔ）を出力する。減算手段３０７０は、高域適応ビームフォーミング信号ｓ_Ｈ（Ｍｔ）から高域擬似エコー信号ｄ_Ｈ（Ｍｔ）を差し引くことで、高域残留エコー信号ｅ_Ｈ（Ｍｔ）を出力する。高域残留エコー信号ｅ_Ｈ（Ｍｔ）は帯域合成手段３０７２および適応フィルタ手段３０６８に入力される。適応フィルタ手段３０６８の適応フィルタ係数は、高域再生信号ｘ_Ｈ（Ｍｔ）および過去の高域残留エコー信号ｅ_Ｈ（Ｍｔ）により、上記学習同定アルゴリズム等を用いて、更新される。

帯域合成手段３０７２は、高域残留エコー信号ｅ_Ｈ（Ｍｔ）と低域適応ビームフォーミング信号ｓ_Ｌ（Ｍｔ）について、帯域合成およびアップサンプリング処理を行うことで、残留エコー信号ｅ（ｔ）を出力する。帯域合成手段３０７２の処理の詳細は、帯域合成手段３０２２の処理と同様なので、省略する。そして、帯域合成手段３０７２から残留エコー信号ｅ（ｔ）が、出力信号ｚ（ｔ）として出力される。＜エコー消去部３０６の処理の説明以上＞

上記のエコー消去装置３００は、再生手段２が１つの場合について説明したが、再生手段が２以上の場合であっても、適用できる。
また、低域エコー消去部３０２_ｎ、エコー消去部３０４の処理は時間領域で行い、適応ビームフォーミング部１０４の処理は周波数領域で行った例を説明した。しかし、低域エコー消去部３０２_ｎ、エコー消去部３０４の処理を周波数領域で行い、適応ビームフォーミング部１０４の処理は時間領域で行ってもよい。

この発明では、パワーが低域に集中する話者音声の性質から、低域の所望エコー消去量が高域の所望エコー消去量より大きいことに着目する。そして、本実施例のエコー消去装置は、「低域エコー消去部３０２_ｎによる低域のエコー消去処理」→「適応ビームフォーミング部１０４による適応ビームフォーミング処理」→「エコー消去部３０４によるエコー消去」、の順番で処理を行う。まず、低域エコー消去部３０２_ｎは、収音信号の低周波数帯域のみに含まれるエコー信号の成分を消去する。従って、エコー消去装置１００よりも計算コストを削減できる。また、適応ビームフォーミング処理の前に、低域のエコー消去処理を行う。従って、低域エコー消去部のエコー経路モデルでは、適応ビームフォーミング部１０４の音響的指向性の変動による再推定を回避できる。また、低域のエコー消去処理により収音信号に含まれる大半のエコー信号の成分を消去している。従って、エコー消去部３０４中の減算手段３０５１よりの残留エコー信号ｅ（ｔ）のパワーは小さいものとなり、結果として、エコー消去部の所望エコー消去量に達するまでの時間を短くできる。よって、適応ビームフォーミング部１０４による音響的指向特性の変動が生じたとしても、所望のエコー消去量に達することが出来る。

また、この実施例１のエコー消去装置３００が従来のエコー消去装置１００よりも優れていることを示す実験結果について説明する。マイクロホン数Ｎ＝４とし、全周波数帯域を２４ｋＨｚとし、周波数帯域の基準値α＝１２ｋＨｚ、つまり、低域を１２ｋＨｚ未満、高域を１２〜２４ｋＨｚとした場合に、本実施例のエコー消去装置３００の計算コストは、エコー消去装置１００のエコー消去処理にかかる計算コストより約４０％削減できる。

＜ハードウェア構成＞
本発明は上述の実施の形態に限定されるものではない。また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
また、上述の構成をコンピュータによって実現する場合、エコー消去装置３００が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
また、本実施例で説明したエコー消去装置３００は、ＣＰＵ（Central Processing Unit）、入力部、出力部、補助記憶装置、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）及びバスを有している（何れも図示せず）。
ＣＰＵは、読み込まれた各種プログラムに従って様々な演算処理を実行する。補助記憶装置は、例えば、ハードディスク、ＭＯ（Magneto-Optical disc）、半導体メモリ等であり、ＲＡＭは、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ (Dynamic Random Access Memory)等である。また、バスは、ＣＰＵ、入力部、出力部、補助記憶装置、ＲＡＭ及びＲＯＭを通信可能に接続している。

＜ハードウェアとソフトウェアとの協働＞
本実施例の単語追加装置は、上述のようなハードウェアに所定のプログラムが読み込まれ、ＣＰＵがそれを実行することによって構築される。以下、このように構築される各装置の機能構成を説明する。
エコー消去装置３００の低域エコー消去部３０２_ｎ、適応ビームフォーミング部１０４、エコー消去部３０４は、所定のプログラムがＣＰＵに読み込まれ、実行されることによって構築される演算部である。エコー消去装置３００の記憶部（図示せず）は上記補助記憶装置として機能する。

従来のエコー消去装置の機能構成例を示した図。 従来のエコー消去装置の機能構成例を示した図。 実施例１のエコー消去装置の機能構成例を示した図。 実施例１のエコー消去装置の処理フローを示した図。 実施例１の低域エコー消去部の機能構成例を示した図。 実施例１の適応ビームフォーミング部の機能構成例を示した図。 実施例１のエコー消去部の機能構成例を示した図。 適応ビームフォーミング処理で用いるτを説明するための図。 実施例２のエコー消去部の機能構成例を示した図。

Claims (8)

1. Ｎ個の収音手段で収音された収音信号に含まれるエコー信号を消去し、当該収音信号に含まれる雑音信号を抑圧して、出力信号として出力するエコー消去装置において、
   それぞれが前記収音信号の、予め定められた基準値より低い周波数帯域に含まれるエコー信号の成分を消去し、残留エコー信号を出力するＮ個の低域エコー消去部と、
   Ｎ個の前記残留エコー信号から前記雑音信号を抑圧して、適応ビームフォーミング信号を出力する適応ビームフォーミング部と、
   前記適応ビームフォーミング信号から、エコー信号を消去することで前記出力信号を出力するエコー消去部と、
   を有するエコー消去装置。
2. 請求項１記載のエコー消去装置であって、
   前記低域エコー消去部は、
   前記再生信号の低域周波数帯の信号（以下、「低域再生信号」という。）を出力するローパスフィルタ手段と、
   前記収音信号を帯域分割することで、低域収音信号と高域収音信号に分けて出力する帯域分割手段と、
   前記低域再生信号に適応フィルタを畳み込むことで、低域擬似エコー信号を出力する適応フィルタ手段と、
   前記低域収音信号と前記低域擬似エコー信号との差をとることで、低域残留エコー信号を出力する減算手段と、
   前記低域残留エコー信号と前記高域収音信号について帯域合成を行うことで、前記残留エコー信号を出力する帯域合成手段と、を有し、
   前記適応フィルタは、過去の低域残留エコー信号と前記低域再生信号とを用いて更新されることを特徴とするエコー消去装置。
3. 請求項１または２記載のエコー消去装置であって、
   前記エコー消去部は、
   前記基準値より高い周波数帯域の適応ビームフォーミング信号から、エコー信号を消去するものであることを特徴とするエコー消去装置。
4. Ｎ個の収音手段で収音された収音信号に含まれるエコー信号を消去し、当該収音信号に含まれる雑音信号を抑圧して、出力信号として出力するエコー消去方法において、
   収音手段毎に、前記収音信号の予め定められた基準値より低い周波数帯域に含まれるエコー信号の成分を消去し、残留エコー信号を出力する低域エコー消去過程と、
   Ｎ個の前記残留エコー信号から前記雑音信号を抑圧して、適応ビームフォーミング信号を出力する適応ビームフォーミング過程と、
   前記適応ビームフォーミング信号から、エコー信号を消去することで前記出力信号を出力するエコー消去過程と、
   を有するエコー消去方法。
5. 請求項４記載のエコー消去方法であって、
   前記低域エコー消去過程は、
   前記再生信号の低域周波数帯の信号（以下、「低域再生信号」という。）を出力するローパスフィルタステップと、
   前記収音信号を帯域分割することで、低域収音信号と高域収音信号に分けて出力する帯域分割ステップと、
   前記低域再生信号に適応フィルタを畳み込むことで、低域擬似エコー信号を出力する適応フィルタステップと、
   前記低域収音信号と前記低域擬似エコー信号との差をとることで、低域残留エコー信号を出力する減算ステップと、
   前記低域残留エコー信号と前記高域収音信号について帯域合成を行うことで、前記残留エコー信号を出力する帯域合成ステップと、を有し、
   前記適応フィルタは、過去の低域残留エコー信号と前記低域再生信号とを用いて更新されることを特徴とするエコー消去方法。
6. 請求項４または５記載のエコー消去方法であって、
   前記エコー消去過程は、
   前記基準値より高い周波数帯域の適応ビームフォーミング信号から、エコー信号を消去することを特徴とするエコー消去方法。
7. 請求項１〜３に記載のエコー消去装置としてコンピュータを動作させるプログラム。
8. 請求項７記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
   
   
   
   
   

Images