JP2011205359A - エコーキャンセラおよび音声処理システム - Google Patents

Abstract

【課題】放音側と収音側が同一システム内になくとも、擬似的なエコー成分を生成し、マイクで収音した音声から除去することができるエコーキャンセラを提供する。
【解決手段】放音装置２の変調部２３は、オーディオ信号にタイミング情報（例えば、再生開始からの時間経過を示す情報）と、コンテンツ情報（曲名、歌手名等のコンテンツ毎の固有の情報）とを重畳する。重畳方式は、例えば拡散符号による位相変調を用いる。収音装置１の復調部１１は、オーディオ信号と拡散符号の相関値を算出し、タイミング情報とコンテンツ情報を復調する。コンテンツデータ受信部１３は、復調したコンテンツ情報でコンテンツサーバ４からコンテンツデータを受信し、タイミング情報に基づいてオーディオ信号をエコーキャンセル部１２に出力する。擬似エコー生成部１２１は、入力されたオーディオ信号を参照信号として擬似エコーを生成し、オーディオ信号から除去する。
【選択図】図１

Description

この発明は、擬似的にエコー成分を生成し、収音した信号から除去するエコーキャンセラに関する。

音声通話において発生するエコーは、遠端側の音声だけでなく、通話中にオーディオ機器から放音されているＢＧＭ等も含まれている。エコーを除去するものとして、例えば、特許文献１のようなエコーキャンセラが提案されている。特許文献１のエコーキャンセラは、スピーカに出力される信号を取得し、スピーカからマイクに至る音響空間の伝達関数を推定したフィルタ係数でフィルタ処理を行うことにより、擬似的にエコー成分を生成し、マイクで収音した信号から除去するものである。

特開２００７−９６３８９号公報

しかし、上記のようなエコーキャンセラは、スピーカに出力される信号を取得する必要があるため、放音装置と収音装置が同一システム内に存在しなければならなかった。例えば、収音装置とは別のオーディオ機器でＢＧＭを再生すると、このＢＧＭのエコー成分を除去することができなかった。

そこで、この発明は、放音側と収音側が同一システム内になくとも、擬似的なエコー成分を生成し、マイクで収音した音声から除去することができるエコーキャンセラを提供することを目的とする。

この発明のエコーキャンセラは、入力部、復調部、コンテンツ特定部、音声信号取得部、およびエコー除去部を備えている。復調部は、入力部が入力した音声信号に重畳されている情報を復調する。重畳方式は、例えば拡散符号による位相変調を用いる。変調側においては、重畳する情報をビットデータ（０，１）として拡散符号を位相変調する（ビットデータ０を−１とし、正負反転する。）ことにより、復調側では、入力した音声信号と、変調側と同じ拡散符号と、の相関値を求め、正の相関値ピークをビットデータの１、負の相関値ピークをビットデータの０とすることができ、情報を復調することができる。

コンテンツ特定部は、復調部が復調した情報に基づいてコンテンツを特定する。音声信号取得部は、この特定したコンテンツに対応するオーディオ信号を取得する。例えば、コンテンツデータを蓄積したコンテンツサーバから特定したコンテンツのコンテンツデータを取得し、デコードして音声信号を取得する。そして、エコー除去部は、音声信号取得部が取得したオーディオ信号を参照信号として擬似エコー成分を生成し、入力した音声信号から当該擬似エコー成分を除去する。

以上の構成により、スピーカに出力されるオーディオ信号を取得する必要がなく、放音側と収音側が同一システム内に存在しなくとも、擬似エコー成分を生成することができる。

なお、変調側は、コンテンツサーバからコンテンツデータを取得し、このコンテンツデータをデコードして上記情報を重畳して放音する構成も可能であるし、コンテンツデータそのものに上記情報が重畳された音声信号を含む態様とすることも可能である。コンテンツデータそのものに上記情報が重畳された態様では、放音装置は一般的なオーディオレシーバを用いることが可能である。

この発明によれば、放音側と収音側が同一システム内になくとも、擬似的なエコー成分を生成し、マイクで収音した音声から除去することができる。

音声処理システムの主要構成を示すブロック図である。 変調部の構成を示すブロック図である。 復調部の構成を示すブロック図である。 音声処理システムの他の例に係る構成を示すブロック図である。 拡散符号によるオーディオ信号の同期を説明する図である。

図１は、本発明のエコーキャンセラの実施形態である収音装置１、およびこの収音装置１を備えた音声処理システムの主要構成を示すブロック図である。なお、本実施形態において、特に記載なき場合、各種信号は全てデジタル形式として説明する。

音声処理システムは、上記収音装置１と、放音装置２と、コンテンツサーバ４とを備えている。収音装置１の近傍には話者３が存在する。収音装置１には、マイク１０が接続され、放音装置２には、スピーカ２４が接続されている。ただし、マイク１０は収音装置１に内蔵されていてもよく、スピーカ２４は放音装置２に内蔵されていてもよい。

収音装置１、放音装置２、およびコンテンツサーバ４は、ネットワーク（ＬＡＮ，インターネット等）を介して接続されている。マイク１０とスピーカ２４は、同一空間内（同じ部屋）に設置されているが、収音装置１、放音装置２、およびコンテンツサーバ４は、全て同じ部屋に設置されていても、それぞれ別の部屋や別の地点に設置されていてもよい。

コンテンツサーバ４は、コンテンツデータ蓄積部４１を備え、複数のコンテンツデータを記憶している。コンテンツデータは、楽曲等のオーディオ信号と、楽曲を特定するためのコンテンツ情報（曲名、歌手名等のコンテンツ毎の固有の情報）と、を所定の形式でエンコードしたデータ（例えばＭＰ３データ）である。

放音装置２は、コンテンツデータ受信部２１、デコード部２２、および変調部２３を備えている。コンテンツデータ受信部２１は、コンテンツサーバ４のコンテンツデータ蓄積部４１からコンテンツデータを受信する。なお、コンテンツデータは、ＣＤ等のメディアから取得する態様であってもよい。

受信したコンテンツデータは、デコード部２２に入力され、オーディオ信号とコンテンツ情報がデコードされる。デコード部２２は、デコードしたオーディオ信号およびコンテンツ情報を変調部２３に出力するとともに、出力したオーディオ信号の再生タイミングを示すタイミング情報（例えば、再生開始からの時間経過を示す情報）を出力する。

変調部２３は、デコード部２２から入力されたコンテンツ情報およびタイミング情報を、同じくデコード部２２から入力されたオーディオ信号に重畳する。重畳方式は、重畳された信号が聴取し難いような手法を用いる。例えば、コンテンツ情報およびタイミング情報のビットデータ列をＭ系列拡散符号（ＰＮ符号）のような疑似ノイズでスペクトラム拡散し、可聴外の周波数帯域に微弱なレベルで合成する方式を用いる。

図２は、変調部２３の構成例を示す図である。この例では、コンテンツ情報やタイミング情報を０，１のビットデータ列として、拡散符号発生部２３４が出力するＭ系列の疑似ノイズを乗算器２３３で乗算することにより、スペクトラム拡散する。ただし、０，１のビットデータ列は、それぞれ−１，１として正負反転する。Ｍ系列のような疑似ノイズは、自己相関性が非常に高いため、復調側で収音した信号と、重畳されている疑似ノイズと同じ符号と、の相関値を求めると、位相が一致するタイミングで相関値ピーク（最大で相関値１または−１）を示し、位相がずれた状態で相関値０を示すため、０，１のビットデータ列を復調することができる。

なお、疑似ノイズの符号長は、必要とするビットレートとＳＮ比に応じて適宜設定する。ビットレートを高くする場合、拡散符号の符号長を短くし、ＳＮ比を高くする場合、拡散符号の符号長を長く設定する。ただし、スピーカ２４からマイク１０に至る音響空間におけるインパルス応答の時間長よりも短く設定する。

このようにしてコンテンツ情報やタイミング情報のビットデータ列で位相変調された疑似ノイズは、ＨＰＦ２３５で帯域制限され、ゲイン調整部２３６でレベル調整された後、加算器２３７でオーディオ信号と合成される。オーディオ信号は、ＬＰＦ２３１で疑似ノイズの周波数成分と異なる帯域に制限され、ゲイン調整部２３６でレベル調整されている。

なお、ＨＰＦ２３５の通過帯域は、２０ｋＨｚ以上の非可聴域にすることが望ましいが、例えば１０〜１５ｋＨｚ程度の帯域であっても、聴感上の影響は少なくすることができる。また、この例では、ＬＰＦ２３１でオーディオ信号と疑似ノイズの帯域を完全に分割する態様としているが、オーディオ信号と疑似ノイズの周波数成分が若干重複していたとしても、聴取者に変調信号が聞こえにくく、かつデータ符号列を復号できる程度のＳＮ比を確保することは可能である。

また、以下のような差動符号による重畳方式を用いることも可能である。図２（Ｂ）は、差動符号を用いる場合の変調部２３の構成の一例を示すブロック図である。この例でも、コンテンツ情報やタイミング情報を０，１のビットデータ列として、拡散符号発生部２３４が出力するＭ系列の疑似ノイズと乗算器２３３で乗算する。乗算後の符号列は、ＸＯＲ回路２４１に入力される。ＸＯＲ回路２４１は、乗算器２３３から入力された符号列と遅延器２４２を経て入力された１サンプル前の符号列の排他的論理和を出力する。ただし、差動符号化の信号は、−１，１として２値化する。この様に、−１，１に２値化した差動符号を出力することで、拡散符号の各符号の絶対値が、直前の差動符号との位相変化の有無に置き換えられたことになり、復調側において、連続する２つの符号を比較することにより、拡散符号を復元することができる。

そして、差動符号化した符号列は、ＬＰＦ（ナイキストフィルタ）２４３においてベースバンド内で帯域制限され、乗算器２４４に入力される。乗算器２４４は、キャリア信号発生器２４５が出力するキャリア信号（２０ｋＨｚ程度の高域のキャリア信号）とＬＰＦ２４３の出力信号を乗算し、差動符号化後の符号列をパスバンドに周波数シフトする。なお、差動符号化後の符号列は、アップサンプリングしてから周波数シフトしてもよい。周波数シフトされた後の符号列は、ゲイン調整器２３６でゲイン調整され、加算器２３７でオーディオ信号とミキシングされてスピーカ２４に出力される。

以上のようにして、ビットデータ列（コンテンツ情報やタイミング情報）が重畳されたオーディオ信号がＤ／Ａコンバータ（不図示）でＤ／Ａ変換された後、スピーカ２４から放音される。

次に、収音装置１について説明する。収音装置１は、復調部１１、エコーキャンセル部１２、コンテンツデータ受信部１３、およびデコード部１４を備えている。

マイク１０は、話者３の発話音声（音源成分）や、放音装置２のスピーカ２４から放音されたオーディオ信号のエコー成分を収音し、デジタル変換した収音信号を出力する。なお、この例では、マイク１０は、収音装置１に外付けされているため、収音装置１は、入力部（デジタルまたはアナログオーディオ端子）を介してマイク１０から収音信号を入力する。収音信号は、復調部１１およびエコーキャンセル部１２に入力される。

復調部１１は、入力された収音信号のうち、疑似ノイズ成分が含まれる帯域を分離し、拡散符号発生部２３４において発生する疑似ノイズと同じ疑似ノイズとの相関値を求める。図３は、復調部１１の構成の一例を示すブロック図である。

復調部１１に入力された収音信号は、ＨＰＦ１１１に入力される。ＨＰＦ１１１は、可聴帯域の成分を除去するためのフィルタであり、変調側のＨＰＦ２３５と同じ通過帯域が設定されている。ＨＰＦ１１１の出力信号は、ＦＩＲフィルタ１１２に入力される。

ＦＩＲフィルタ１１２は、いわゆるマッチドフィルタであり、フィルタ係数には、拡散符号発生部２３４で発生する疑似ノイズが設定される。したがって、ＦＩＲフィルタ１１２は、収音信号と疑似ノイズとの相関値を出力する。

上述のように、疑似ノイズは、自己相関性の高いＰＮ符号であるため、ＦＩＲフィルタ１１２が出力する相関値は、ピーク検出部１１３で拡散符号の周期（ビットデータ列の周期）で正負のピーク成分が抽出される。符号判定部１１４は、正のピークをビットデータの１、負のピークをビットデータの０に対応付けることにより、各ピーク成分をコンテンツ情報やタイミング情報のビットデータ（０，１）として復調する。このようにして、オーディオ信号に重畳されているコンテンツ情報やタイミング情報が復調される。

また、図２（Ｂ）で説明した差動符号を用いる場合、復調部１１は、以下のようにしてコンテンツ情報やタイミング情報を復調する。図３（Ｂ）に示すように、入力されたオーディオ信号は、ＨＰＦ１１１に入力され、ＨＰＦ１１１の出力信号は、遅延器１１５および乗算器１１６に入力される。遅延器１１５の遅延量は、上述の差動符号の１サンプル分（１つの符号分）の時間に設定される。差動符号をアップサンプリングしている場合、アップサンプリング後の１サンプル分の時間に設定される。乗算器１１６は、ＨＰＦ１１１から入力される信号と、遅延器１１５から出力される１サンプル前の信号とを乗算し、遅延検波処理を行う。差動符号化された信号は、−１，１に２値化されており、１サンプル前の符号からの位相変化を示したものであるため、１サンプル前の信号と乗算することにより、差動符号化前のテンポ情報（拡散後の符号）が抽出される。

そして、乗算器１１６の出力信号は、ナイキストフィルタであるＬＰＦ１１７を経てベースバンド信号として抽出され、ＦＩＲフィルタ１１２に入力される。このようにして、オーディオ信号に重畳されているコンテンツ情報やタイミング情報が復号される。

復調部１１で復調されたコンテンツ情報およびタイミング情報は、コンテンツデータ受信部１３に入力される。コンテンツデータ受信部１３は、本発明のコンテンツ特定部に相当し、入力されたコンテンツ情報でコンテンツサーバ４のコンテンツデータ蓄積部４１を参照し、収音信号のエコー成分に含まれているオーディオ信号に対応するコンテンツを特定する。そして、コンテンツサーバ４から特定したコンテンツデータを受信し、復調部１１から入力されたタイミング情報とともにデコード部１４に出力する。

デコード部１４は、本発明の音声信号取得部に相当し、入力したコンテンツデータをデコードしてオーディオ信号を取得する。そして、コンテンツデータ受信部１３から入力されたタイミング情報に基づいて収音信号のエコー成分に含まれているオーディオ信号と同じタイミングのオーディオ信号をエコーキャンセル部１２の擬似エコー生成部１２１に出力する。

擬似エコー生成部１２１は、適応型ＦＩＲフィルタを内蔵し、フィルタ係数として、スピーカ２４からマイク１０に至る音響空間の伝達関数を推定したものが設定されている。擬似エコー生成部１２１は、デコード部１４から入力されたオーディオ信号を適応型ＦＩＲフィルタの参照信号としてフィルタ処理することにより、スピーカ２４から放音されたオーディオ信号の擬似エコー成分を生成する。

生成された擬似エコー成分は、加算器１２２で収音信号から除去され、差分信号として外部（遠端側）に出力される。差分信号は、擬似エコー生成部１２１にも入力される。擬似エコー生成部１２１は、差分信号に基づいて、消去しきれなかったエコー成分がゼロ（最小）となるように、すなわち差分信号がゼロ（最小）となるように、フィルタ係数を更新する。フィルタ係数の更新には所定のアルゴリズム（ＬＭＳアルゴリズム等）が用いられる。したがって、時間経過とともに、遠端側には、話者３の発話音声のみが高いＳＮ比で出力されることになる。

以上のようにして、本実施形態のエコーキャンセル部１２では、放音装置２から参照用のオーディオ信号を取得する必要がなくとも、スピーカ２４からマイク１０に回り込んだエコー成分の擬似成分を生成することができる。したがって、放音側と収音側が同一システム内に存在しなくとも、擬似エコー成分を生成することができる。

特に、本実施形態の音声処理システムでは、オーディオ信号もタイミング情報も、拡散符号が重畳された同じ音声としてスピーカ２４からマイク１０に回り込み、同じ遅延時間（同じタイミング）で復調部１１およびエコーキャンセル部１２に入力されるため、音響空間の遅延分は無視することができ、放音側との同期が容易である。例えば、図５に示すように、予め符号長に対応する時間（サンプリングタイム×拡散符号長×データ符号数）を考慮してタイミング情報を規定しておく。最初に復調したタイミング情報に示される時間は、コンテンツデータの再生開始からの経過時間と一致する。この経過時間に、情報を復調してからコンテンツデータを受信してデコードするために必要とする時間を加算したタイミングからオーディオ信号（参照信号）を出力することで、マイク１０で収音した音声信号に含まれているオーディオ信号と同期した参照信号をエコーキャンセル部１２に入力することができる。また、その後も定期的にタイミング情報が復調されるため、タイミング情報に示される時間を考慮して参照信号を出力すれば、最初の同期が若干ずれていたとしても、オーディオ信号と参照信号の同期が補正されるようになる。

なお、コンテンツデータを再生してから最初にタイミング情報を復調し、コンテンツデータを受信するまでに入力されるオーディオ信号についてはエコーとして出力されてしまうおそれもある。しかし、適応型ＦＩＲフィルタのフィルタ係数の更新についてもある程度更新に時間を要するため、拡散符号に起因する冒頭部分のエコーの影響は少ないものと言える。なお、最初にタイミング情報を復調するまでの時間やコンテンツデータを受信するまでの時間分だけ信号を保持するバッファをマイク１０と加算器１２２との間に設け、コンテンツの冒頭部分からのオーディオ信号をエコーキャンセル部１２に参照信号として入力し、冒頭部分からエコーキャンセル処理を行う態様とすることも可能である。

次に、図４は、音声処理システムの他の例に係る構成を示すブロック図である。図１と共通する構成については同一の符号を付し、説明を省略する。

放音装置７は、図１に示した放音装置２において変調部２３が省略された一般的なオーディオ機器（オーディオレシーバ）である。

コンテンツサーバ９は、図１に示したコンテンツサーバ４と同様に、コンテンツデータ蓄積部９１を備えている。ただし、コンテンツデータ蓄積部９１に蓄積されているコンテンツデータは、上記コンテンツ情報およびタイミング情報が予め拡散符号等で重畳されたオーディオ信号からなっている。

この場合、一般的なオーディオレシーバを用いてコンテンツデータを再生したとしても、スピーカ２４から上記拡散符号が含まれたオーディオ信号として放音されることになる。したがって、図１に示した例と同様に、収音装置１でコンテンツ情報およびタイミング情報を復調することができ、エコーキャンセル部１２の参照用信号を取得することができる。

なお、図１および図４に示した本実施形態の音声処理システムでは、コンテンツサーバからネットワークを介してコンテンツデータを受信する態様を示したが、ＣＤ等のメディアからコンテンツデータを取得する態様であってもよい。また、放音装置および収音装置にＨＤＤ等のストレージを内蔵し、当該ストレージにコンテンツデータを記憶しておく態様であってもよい。

なお、変復調の方式は、本実施形態で示した方式に限るものではなく、他の変復調方式を用いてもよい。

１…収音装置
２…放音装置
３…話者
４…コンテンツサーバ
１０…マイク
１１…復調部
１２…エコーキャンセル部
１３…コンテンツデータ受信部
１４…デコード部
２１…コンテンツデータ受信部
２２…デコード部
２３…変調部
２４…スピーカ

Claims (5)

1. 音声信号を入力する入力部と、
   前記入力部が入力した音声信号に重畳されている情報を復調する復調部と、
   前記復調部が復調した情報に基づいて、前記入力部が入力した音声信号に含まれるオーディオ信号のコンテンツを特定するコンテンツ特定部と、
   前記コンテンツ特定部が特定したコンテンツに対応するオーディオ信号を取得する音声信号取得部と、
   前記音声信号取得部が取得したオーディオ信号を参照信号として擬似エコー成分を生成し、前記入力部が入力した音声信号から当該擬似エコー成分を除去するエコー除去部と、
   を備えたエコーキャンセラ。
2. 前記復調部は、前記入力部が入力した音声信号と、所定の拡散符号と、の相関値を算出する請求項１に記載のエコーキャンセラ。
3. 請求項１または２に記載のエコーキャンセラと、
   コンテンツデータを記憶したコンテンツサーバと、を備えた音声処理システムであって、
   前記音声信号取得部は、前記コンテンツサーバから前記コンテンツデータを取得し、当該コンテンツデータに基づいて前記オーディオ信号を取得することを特徴とする音声処理システム。
4. 放音装置をさらに備えた請求項３に記載の音声処理システムであって、
   前記放音装置は、前記コンテンツサーバから前記コンテンツデータを取得し、当該コンテンツデータに基づいて音声を放音する放音部と、
   前記コンテンツを特定する情報を前記放音部が放音する音声に重畳する重畳部と、を備えたことを特徴とする音声処理システム。
5. 放音装置をさらに備えた請求項３に記載の音声処理システムであって、
   前記放音装置は、前記コンテンツサーバから前記コンテンツデータを取得し、当該コンテンツデータに基づいて音声を放音する放音部を備え、
   前記コンテンツデータは、前記コンテンツを特定する情報が重畳された音声信号を含むことを特徴とする音声処理システム。

Images