JP2011066668A - エコー除去装置、エコー除去方法、およびエコー除去装置のプログラム - Google Patents

Abstract

【課題】入力手段や出力手段の配置位置が変化した場合に時間ずれの情報やレベルずれの情報を新たに求め、最新の情報に基づく音響エコー成分の除去を行うことができるエコー除去装置、エコー除去方法、およびエコー除去装置のプログラムを提供する。
【解決手段】移動検出部１２にて音声入力装置６０や音声出力装置７０の配置位置の変化が検出されると、基準信号生成部１４，１６にて基準信号が生成され、加算器２４にて端末装置３、４からの受信音声信号に重畳されて、スピーカ７４から出力される。一方、デジタルフィルタ３４にてマイク６４の拾った音声から基準信号が抽出され、もとの基準信号との比較により求まる時間ずれ・レベルずれの情報に基づき、受信音声信号を遅延、減衰させた音響エコー成分が生成され、減算器４２にて送信音声信号から除去され端末装置３、４に送信されることで、音響エコーが抑制される。
【選択図】図１

Description

本発明は、通信先装置に送信する音声信号から音響エコー成分を除去するエコー除去装置、エコー除去方法、およびエコー除去装置のプログラムに関する。

複数の拠点に設置された端末装置間で音声信号や映像信号などの送受信を行い、利用者間でリアルタイムに音声や映像を交わして会議を進行することができるテレビ会議システムが知られている。こうしたテレビ会議システムの音声面において、利用者の発した音声が、すこし遅れて、遠隔地の利用者がいる拠点のスピーカとマイクを経由し、利用者のいる拠点に戻ってきて、利用者の発した音声が反響する、いわゆる音響エコーが発生することも知られている。例えば、自拠点において利用者の発した音声は、他拠点に送信されスピーカから出力されるが、出力された音声が他拠点のマイクに拾われると、再び自拠点に送信され、自拠点のスピーカから出力されることになる。音響エコーは、利用者の発した音声がこのような経路をたどる間に、もとの音声に対し、遅延（タイミングの遅れ（時間ずれ））や減衰（信号レベルの低下（レベルずれ））を生ずるために、発生する。このような音響エコーの影響を軽減できるように、例えば自拠点において、マイクに入力された音声を音声信号に変換して他拠点に送信する際に、他拠点から受信した音声信号をもとに音響エコー成分を求め、送信する音声信号から音響エコー成分を除去するエコー除去装置が知られている。

もっとも、マイクやスピーカが設置される環境は様々である。例えば、広い会議室において、スピーカから出力された音声が室内の壁による反射を経由してマイクに入力される場合と、狭い会議室における同様の場合とでは、音声がスピーカからマイクに至るまでの経路に差があり、時間ずれやレベルずれの程度が異なる。そこで従来は、エコー除去装置を使用する前に、スピーカから基準となる音（基準音）を出力しつつマイクで拾い、基準音の時間ずれやレベルずれを測定し、測定結果に基づいて設置場所に対応した音響エコー成分を求めていた。

しかし、例えば利用者がマイクを持って自席からホワイトボード前に移動し説明を行う場合など、会議中に、マイクとスピーカの位置関係が変わる場合がある。このような事例に対応するには、時間ずれの情報やレベルずれの情報（以下、「（音響エコー成分の）パラメータ」ともいう。）を、常時あるいは定期的に求めて更新し、音響エコー成分が常に最新のパラメータに基づき求められるようにするとよい（例えば特許文献１参照。）。また、基準音の音声波形の周波数を非可聴領域の周波数とすれば、会議中にパラメータの更新が行われ、基準音が利用者の発した音声と重なったとしても、利用者が、自己の発声や他者の音声の聞き取りを妨げられることがない（例えば特許文献２参照。）。

特開２００８−２６１９２３号公報 特開２００８−２５９０３２号公報

しかしながら、時間ずれの情報やレベルずれの情報を常時あるいは定期的に求めることによって、エコー除去装置には、それらパラメータを計算するための負荷が、継続的に、かかってしまう。また、マイクとスピーカの位置関係に変化がない場合にパラメータを更新しても、更新前パラメータと更新後のパラメータとは同一であるか、あるいはほとんど差がなく、こうした場合にもパラメータの更新を行うことは、エコー除去装置に無駄な負荷がかかるだけであった。

本発明は、上記問題点を解決するためになされたものであり、入力手段や出力手段の配置位置が変化した場合に時間ずれの情報やレベルずれの情報を新たに求め、最新の情報に基づく音響エコー成分の除去を行うことができるエコー除去装置、エコー除去方法、およびエコー除去装置のプログラムを提供することを目的とする。

本発明の第１態様に係るエコー除去装置は、通信先装置から受信する音声信号である受信音声信号を音声に変換して出力する出力手段と、入力される周囲の音声を前記通信先装置に送信する音声信号である送信音声信号に変換する入力手段と、前記出力手段および前記入力手段の少なくとも一方の配置位置に変化が生じたことを検出する位置検出手段と、前記出力手段から出力された音声が再び前記入力手段に入力されて生ずる音響エコー成分を前記送信音声信号から除去するにあたって基準となる基準信号を、前記位置検出手段が前記配置位置の変化を検出した場合に生成する生成手段と、前記受信音声信号に前記基準信号を重畳する重畳手段と、前記入力手段の変換した前記送信音声信号にフィルタリング処理を行い、前記基準信号を抽出する抽出手段と、前記生成手段によって生成された際の前記基準信号である生成基準信号と、前記抽出手段によって抽出された際の前記基準信号である抽出基準信号とを比較して、前記生成基準信号の生成タイミングと前記抽出基準信号の抽出タイミングとの時間ずれの情報と、前記生成タイミングにおける前記生成基準信号の信号レベルと前記抽出タイミングにおける前記抽出基準信号の信号レベルとのレベルずれの情報とを求める演算手段と、前記受信音声信号に対し、前記時間ずれの情報と前記レベルずれの情報とに基づく演算を行って前記音響エコー成分を生成し、前記送信音声信号から差し引いて、前記音響エコー成分を除去した除去音声信号を生成する除去手段と、前記通信先装置に送信する前記送信音声信号として、前記除去音声信号を送信する送信手段とを備えている。

第１態様によれば、音響エコー成分を生成する上で必要な時間ずれの情報とレベルずれの情報を求める際に生成される基準信号を、受信音声信号に重畳して、出力手段から出力することができる。したがって、通信先装置との間で音声信号の送受信がなされている最中（以下、「運用中」という。）においても、基準信号を用いて時間ずれの情報とレベルずれの情報を求め、更新することができる。これにより、運用中に、出力手段や入力手段の配置位置に変化が生じ、それまで用いていた時間ずれの情報とレベルずれの情報では適切な音響エコー成分が生成できなくなる虞を生じても、直ちに、新たな時間ずれの情報とレベルずれの情報を求め、更新することができる。よって、運用中に起こりうる、音響エコー成分の生成精度に影響を及ぼす虞のある状況変化に対応して適切な音響エコー成分を生成することができ、送信音声信号からの音響エコー成分の除去精度を維持することができる。

また、第１態様では、基準信号を、出力手段および入力手段の少なくとも一方の配置位置に変化が生じたことが検出された場合に、生成することができる。換言すると、出力手段や入力手段の配置位置に変化がなければ、基準信号の生成が行われず、時間ずれの情報やレベルずれの情報を求める演算も行われない。つまり、時間ずれの情報とレベルずれの情報の更新は、必要とされる状況が生じた場合（出力手段や入力手段の配置位置に変化があった場合）に適切になされるので、常時あるいは定期的に更新される場合と比べ、エコー除去装置に無駄な負荷がかかることがない。

また、位置検出手段は、出力手段や入力手段の配置位置の変化の検出を行うが、出力手段と入力手段との相対的な位置関係の変化だけでなく、それぞれの絶対的な配置位置の変化を検出している。したがって、音響エコー成分の生成精度に影響を及ぼす虞のある状況変化を確実に検出することができる。

また、第１態様が、前記出力手段および前記入力手段の少なくとも一方が含まれる画像を定位置から撮影する撮影手段と、前記撮影手段の撮影画像内における前記出力手段および前記入力手段の少なくとも一方の位置を解析する解析手段とをさらに備えてもよく、この場合、前記位置検出手段は、前記解析手段の解析結果に基づき、前記配置位置に変化が生じたことを検出してもよい。撮影手段を用い、定位置から出力手段や入力手段を撮影すれば、撮影画像を解析し、撮影画像内における両者の位置を把握するだけで、容易かつ確実に、出力手段および入力手段の少なくとも一方の、絶対的な、配置位置の変化を検出することができる。

また、第１態様が、前記出力手段および前記入力手段の少なくとも一方に加わる加速度を検出する加速度検出手段をさらに備えてもよく、この場合、前記位置検出手段は、前記加速度検出手段の検出結果に基づき、前記配置位置に変化が生じたことを検出してもよい。加速度検出手段であれば出力手段や入力手段に一体に設けることが容易である。出力手段や入力手段の配置位置に変化があれば、加速度検出手段に加速度が加わるので、加速度検出手段の検出結果をもとに、出力手段や入力手段の移動の有無を把握すれば、容易かつ確実に、出力手段および入力手段の少なくとも一方の、絶対的な、配置位置の変化を検出することができる。

また、第１態様において、前記生成手段が、前記基準信号として、音声波形の周波数が非可聴領域の周波数の信号を生成してもよい。基準信号の音声波形の周波数が非可聴領域の周波数であれば、受信音声信号に基準信号を重畳して出力手段から出力したとしても、基準信号に基づく音声を、利用者は聞き取ることができない。この場合に利用者が聞き取ることができるのは、実質的に、受信音声信号に基づく音声のみである。したがって、運用中に基準信号を出力しても、利用者の発声や聞き取りが基準信号によって妨げられることはないので、出力手段や入力手段の配置位置に変化が生じた場合、直ちに、新たな時間ずれの情報とレベルずれの情報を求め、更新することができる。よって、運用中に起こりうる、音響エコー成分の生成精度に影響を及ぼす虞のある状況変化に対応して適切な音響エコー成分を生成することができ、送信音声信号からの音響エコー成分の除去精度を維持することができる。

また、第１態様が、前記受信音声信号が無音状態であるか否かを判定する判定手段をさらに備えてもよく、この場合、前記位置検出手段が前記配置位置の変化を検出し、且つ前記判定手段が、前記受信音声信号が無音状態であると判定した場合に、前記生成手段が、前記基準信号として、音声波形の周波数が可聴領域の周波数の信号を生成してもよい。一般に、音声波形の周波数が可聴領域の周波数の信号は、非可聴領域の周波数の信号と比べ、指向性が広い。また、音響エコー成分も音声波形の周波数が可聴領域の周波数である。ゆえに、指向性が広く、周波数特性が音響エコー成分に近い、音声波形の周波数が可聴領域の周波数の基準信号を用い、時間ずれの情報とレベルずれの情報を求めれば、音響エコー成分の生成精度を、より高めることができる。もっとも、可聴領域の周波数をもった基準信号を受信音声信号に重畳して出力手段から出力すると、利用者は、受信音声信号に基づく音声とともに基準信号に基づく音声を聞き取ることができてしまい、利用者の発声や聞き取りが基準信号によって妨げられてしまう虞がある。ゆえに、可聴領域の周波数をもった基準信号は、受信音声信号が無音状態である場合に生成することが好ましい。

また、本発明の第２態様に係るエコー除去方法は、通信先装置から受信する音声信号である受信音声信号が音声に変換されて出力手段から出力される出力工程と、周囲の音声が入力手段に入力されて、前記通信先装置に送信する音声信号である送信音声信号に変換される入力工程と、前記出力手段および前記入力手段の少なくとも一方の配置位置に変化を生じたことが検出される位置検出工程と、前記出力手段から出力された音声が再び前記入力手段に入力されて生ずる音響エコー成分を前記送信音声信号から除去するにあたって基準となる基準信号が、前記位置検出工程において前記配置位置の変化が検出された場合に生成される生成工程と、前記受信音声信号に前記基準信号が重畳される重畳工程と、前記入力工程において変換された前記送信音声信号にフィルタリング処理が行われ、前記基準信号が抽出される抽出工程と、前記生成工程において生成された際の前記基準信号である生成基準信号と、前記抽出工程において抽出された際の前記基準信号である抽出基準信号とが比較され、前記生成基準信号の生成タイミングと前記抽出基準信号の抽出タイミングとの時間ずれの情報と、前記生成タイミングにおける前記生成基準信号の信号レベルと前記抽出タイミングにおける前記抽出基準信号の信号レベルとのレベルずれの情報とが求められる演算工程と、前記受信音声信号に対し、前記時間ずれの情報と前記レベルずれの情報とに基づく演算が行われて前記音響エコー成分が生成され、前記送信音声信号から差し引かれて、前記音響エコー成分を除去した除去音声信号が生成される除去工程と、前記通信先装置に送信する前記送信音声信号として、前記除去音声信号が送信される送信工程とを備えている。

第２態様によれば、音響エコー成分を生成する上で必要な時間ずれの情報とレベルずれの情報を求める際に生成される基準信号を、受信音声信号に重畳して、出力手段から出力することができる。したがって、通信先装置との間で音声信号の送受信がなされている最中（運用中）においても、基準信号を用いて時間ずれの情報とレベルずれの情報を求め、更新することができる。これにより、運用中に、出力手段や入力手段の配置位置に変化が生じ、それまで用いていた時間ずれの情報とレベルずれの情報では適切な音響エコー成分が生成できなくなる虞を生じても、直ちに、新たな時間ずれの情報とレベルずれの情報を求め、更新することができる。よって、運用中に起こりうる、音響エコー成分の生成精度に影響を及ぼす虞のある状況変化に対応して適切な音響エコー成分を生成することができ、送信音声信号からの音響エコー成分の除去精度を維持することができる。

また、第２態様では、基準信号を、出力手段および入力手段の少なくとも一方の配置位置に変化が生じたことが検出された場合に、生成することができる。換言すると、出力手段や入力手段の配置位置に変化がなければ、基準信号の生成が行われず、時間ずれの情報やレベルずれの情報を求める演算も行われない。つまり、時間ずれの情報とレベルずれの情報の更新は、必要とされる状況が生じた場合（出力手段や入力手段の配置位置に変化があった場合）に適切になされるので、常時あるいは定期的に更新される場合と比べ、エコー除去装置に無駄な負荷がかかることがない。

また、位置検出工程では、出力手段や入力手段の配置位置の変化の検出が行われるが、出力手段と入力手段との相対的な位置関係の変化だけでなく、それぞれの絶対的な配置位置の変化が検出されている。したがって、音響エコー成分の生成精度に影響を及ぼす虞のある状況変化を確実に検出することができる。

また、本発明の第３態様のエコー除去装置のプログラムは、請求項１に記載のエコー除去装置の各種処理手段として、コンピュータを機能させることを特徴とする。エコー除去装置のプログラムをコンピュータに実行させることにより、請求項１に記載の発明の効果を奏することができる。

ハードウェア回路でエコー除去装置の機能を実現する端末装置２の電気的な構成を示すブロック図である。 エコー除去装置において実施される処理の流れを示すフローチャートである。 初期化処理において実行される処理の流れを示すフローチャートである。 基準信号の音声波形の一例を示す図である。 スピーカから音声として出力されマイクに再入力されることによって遅延と減衰を生じた基準信号の音声波形の一例を示す図である。 ソフトウェア制御でエコー除去装置の機能を実現するＰＣ１０２の電気的な構成を示すブロック図である。 変形例としての端末装置２０２の電気的な構成を示すブロック図である。

以下、本発明に係るエコー除去装置の一実施の形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャート等は、特に特定的な記載がない限り、それのみに限定する趣旨ではなく、単なる説明例である。

本実施の形態において、エコー除去装置は、遠隔地（複数拠点）の利用者同士がネットワークを介してリアルタイムに音声や映像を交わし、会議等を進めることができる、テレビ会議システムの端末装置に用いられる装置である。具体的に、本実施の形態では、エコー除去装置が、端末装置において音声に関する処理を司る装置として提供され、ハードウェア回路の一部として組み込まれている。以下では、図１に示すテレビ会議システムの端末装置２において、エコー除去装置の機能をなす部位を、エコー除去部８として説明する。

図１に示すように、本実施の形態において、テレビ会議システムは、ネットワーク１を介して相互に接続された端末装置２〜４間で、音声信号や映像信号の送受信を行うことのできるシステムとして提供されている。端末装置２〜４は、いずれもが、状況に応じてテレビ会議システムにおけるクライアントあるいはホストとしての役割を担う。ＭＣＵ（Multi-point Control Unit）を用いたテレビ会議システムを構築する場合、端末装置２〜４は、クライアントとして使用すればよい。ここでは、端末装置２〜４は、いずれも同一構成のテレビ会議専用端末であるものとし、エコー除去装置の詳細については、端末装置２のエコー除去部８を例に説明することとする。なお、図１ではネットワーク１に３台の端末装置２〜４が接続されているが、テレビ会議システムを構成する端末装置の数を３台に限るものではない。

端末装置２は、端末装置２の全体の制御を司る、公知のＣＰＵ８０を備えている。ＣＰＵ８０には、バス８６を介し、ＲＯＭ８２、ＲＡＭ８４、入出力インターフェイス８８が接続されている。入出力インターフェイス８８には、操作部９２、映像処理部９４、音声処理部１０、通信部４６が接続されている。

ＲＯＭ８２は、端末装置２を動作させるための各種のプログラムやデータを記憶している。ＣＰＵ８０は、ＲＯＭ８２に記憶されたプログラムにしたがって、端末装置２の動作を制御する。ＲＡＭ８４は、各種データを一時的に記憶する。操作部９２は、利用者が端末装置２の操作を行うための入力装置である。通信部４６は、ネットワーク１を介して、自拠点の端末装置２と他拠点の端末装置３、４とを接続し、端末間で、通信用のプロトコルに変換した各種信号（制御信号、音声信号、映像信号など）の送受信を行う。さらに通信部４６は、入出力インターフェイス８８を介し、音声処理部１０や映像処理部９４との間で、音声信号や映像信号の受け渡しを行う。また、図示しないが、端末装置２はコーデックも備えており、送信する信号の圧縮や受信した信号の解凍がなされる。

映像処理部９４には、映像入力装置９６および映像出力装置９８が接続されている。映像処理部９４は、映像入力装置９６（例えばカメラ）に撮影された映像を処理し、端末装置３、４に送信する映像信号を生成する。また、映像処理部９４は、端末装置３、４から受信した映像信号を処理し、映像出力装置９８（例えばモニタ）に映像を表示する。

音声処理部１０には、音声入力装置６０および音声出力装置７０が接続されている。音声処理部１０は、音声入力装置６０のマイク６４に入力された音声を処理し、端末装置３、４に送信する音声信号（以下、「送信音声信号」という。）を生成する。また、音声処理部１０は、端末装置３、４から受信した音声信号（以下、「受信音声信号」という。）を処理し、音声出力装置７０のスピーカ７４から音声を出力する。音声処理部１０の詳細については後述するが、音声処理部１０、音声入力装置６０、音声出力装置７０、通信部４６、そしてこれらの各処理部（各装置）を制御するための各構成（ＣＰＵ８０、ＲＯＭ８２、ＲＡＭ８４等）によって、エコー除去部８が構成されている。

上記の音声入力装置６０は、マイク６４と加速度センサ６２を備え、移動可能な装置として構成されている。マイク６４は、入力される周囲の音声を電気信号（アナログの音声信号）に変換する。加速度センサ６２は、音声入力装置６０に加わる加速度を検出する。音声出力装置７０は、スピーカ７４と加速度センサ７２を備え、音声入力装置６０と同様に移動可能な装置として構成されている。スピーカ７４は、入力される電気信号（アナログの音声信号）を音声に変換して出力する。加速度センサ７２は、音声出力装置７０に加わる加速度を検出する。音声入力装置６０と音声出力装置７０は、設置場所（配置位置）をそれぞれ独立に変更できるように、端末装置２とは別体に設けられている。

次に、音声処理部１０は、移動検出部１２、基準信号生成部１４，１６、スイッチ（ＳＷ）１８、スイッチ制御部２２、加算器２４、Ａ／Ｄコンバータ２６、Ｄ／Ａコンバータ２８、Ａ／Ｄコンバータ３０、デジタルフィルタ３４、信号比較部３６、遅延処理部３８、減衰処理部４０、減算器４２、タイマ４４、分配器２０，３２を備える。移動検出部１２には、Ａ／Ｄコンバータ２６を介し、音声入力装置６０の加速度センサ６２と、音声出力装置７０の加速度センサ７２とが接続されている。移動検出部１２は、加速度センサ６２，７２による加速度の検出結果に基づき、音声入力装置６０および音声出力装置７０の少なくとも一方に、現在位置からの移動が生じたことを検出する。すなわち、移動検出部１２は、音声入力装置６０と音声出力装置７０との相対的な位置関係の変化だけでなく、それぞれの絶対的な配置位置の変化についても、検出することができる。

基準信号生成部１４，１６は、入力が、それぞれ移動検出部１２に接続されている。また、基準信号生成部１４，１６は、出力が、スイッチ１８および分配器２０を介し、加算器２４と信号比較部３６（後述）とのそれぞれに接続されている。基準信号生成部１４は、基準信号として、音声波形の周波数が可聴領域の周波数（本実施の形態では１ＫＨｚ）の信号を生成し、加算器２４と信号比較部３６とに出力する。基準信号生成部１６も同様に、基準信号として、音声波形の周波数が非可聴領域の周波数（本実施の形態では１００ＫＨｚ）の信号を生成し、加算器２４と信号比較部３６とに出力する。

スイッチ１８は、基準信号生成部１４または基準信号生成部１６の一方と、加算器２４および信号比較部３６との接続を、択一的に切り換える。より具体的に、スイッチ１８は、スイッチ制御部２２によって制御され、加算器２４および信号比較部３６に、１ＫＨｚの基準信号が入力されるようにする接続（図１中Ａ側）と、１００ＫＨｚの基準信号が入力されるようにする接続（図１中Ｂ側）とを切り換える。なお、スイッチ１８は、図１では便宜上、有接点型のスイッチとして図示しているが、トランジスタ等を用いた無接点型のものであれば好ましい。

スイッチ制御部２２は、受信音声信号が加算器２４に入力される経路上に設けられている。より具体的には、通信部４６において端末装置３、４から受信する受信音声信号が入出力インターフェイス８８を介して音声処理部１０に入力されるが、スイッチ制御部２２は、入出力インターフェイス８８と加算器２４との間に設けられている。スイッチ制御部２２は、スイッチ制御部２２を通過する受信音声信号が無音状態であるか否かを判別する。なお、無音状態とは、受信音声信号の信号レベル（音声波形の振幅）が０または所定のしきい値未満の状態をいうが、受信音声信号自体が未入力である場合も信号レベルが０であり、無音状態とみなされる。スイッチ制御部２２は、受信音声信号が無音状態の場合には、スイッチ１８をＡ側に切り換え、そうでない場合（有音状態の場合）には、スイッチ１８をＢ側に切り換えるよう、制御する。なお、無音状態の判断は、上記のように、受信音声信号の通過時に行えばよいが、より精度を高めるためには、信号レベルがしきい値未満の状態が所定時間（例えば１秒間）継続したら、無音状態と判断するようにするとよい。また、スイッチ制御部２２は、後述するデジタルフィルタ３４に対しても、受信音声信号の信号レベルに応じて生成される基準信号に対応したフィルタ設定に切り換える指示を伝達する。

加算器２４の入力には、スイッチ１８を介して基準信号生成部１４，１６と、スイッチ制御部２２および入出力インターフェイス８８を介して通信部４６とが接続されている。加算器２４の出力には、Ｄ／Ａコンバータ２８と遅延処理部３８とがそれぞれ接続されている。加算器２４は、通信部４６から入力される受信音声信号に、基準信号生成部１４，１６から入力される基準信号を重畳（すなわち、受信音声信号と基準信号とを合成）し、出力音声信号として、Ｄ／Ａコンバータ２８と遅延処理部３８とに出力する。

なお、後述するが、基準信号は常時生成されるわけではなく、基準信号が生成されない場合、加算器２４は、受信音声信号を、そのまま通過させ、Ｄ／Ａコンバータ２８と遅延処理部３８とに出力する。また、本実施の形態では、受信音声信号が無音状態（未入力も含む）の場合においても基準信号を生成する場合がある。この場合、加算器２４は、基準信号を、そのまま通過させ、Ｄ／Ａコンバータ２８と遅延処理部３８とに出力する。便宜上、加算器２４から出力されるこれらの信号についても、出力音声信号と呼ぶこととする。

Ｄ／Ａコンバータ２８の出力には、図示しない増幅器を介して、音声出力装置７０のスピーカ７４が接続されている。Ｄ／Ａコンバータ２８は、出力音声信号をアナログの音声信号に変換し、スピーカ７４に出力する。スピーカ７４は、入力される音声信号を音声に変換し、出力する。

音声入力装置６０のマイク６４は、Ａ／Ｄコンバータ３０の入力に接続されている。音声入力装置６０の周囲の音声は、マイク６４に入力されてアナログの音声信号に変換され、さらにＡ／Ｄコンバータ３０によって、デジタルの音声信号（以下、「入力音声信号」という。）に変換される。Ａ／Ｄコンバータ３０の出力は、分配器３２を介して、デジタルフィルタ３４と減算器４２とに接続されている。

デジタルフィルタ３４は、Ａ／Ｄコンバータ３０から入力される入力音声信号にフィルタリング処理を行い、入力音声信号に含まれる基準信号を抽出する。本実施の形態では、基準信号として１ＫＨｚまたは１００ＫＨｚの信号が生成されるので、デジタルフィルタ３４として、１ＫＨｚまたは１００ＫＨｚの信号を選択的に抽出するよう設定することのできるバンドパスフィルタ（ＢＰＦ）が採用されている（あるいは２種類のＢＰＦを切り換えて使用）。そして、デジタルフィルタ３４は、スイッチ制御部２２からの指示に従い、抽出する音声波形の周波数の設定を切り換えるように構成されている。より具体的に、スイッチ制御部２２を通過する受信音声信号が無音状態の場合には、１ＫＨｚの基準信号が抽出され、有音状態の場合には、１００ＫＨｚの基準信号が抽出されるよう、デジタルフィルタ３４のフィルタ設定が行われる。

デジタルフィルタ３４の出力は、信号比較部３６に接続されている。つまり、信号比較部３６には、２種類の基準信号が入力される。一方は、基準信号生成部１４，１６にて生成され、そのまま（無劣化で）入力される、基準信号（以下、「生成基準信号」という。）である。他方は、基準信号生成部１４，１６にて生成され、加算器２４、Ｄ／Ａコンバータ２８、スピーカ７４、マイク６４、Ａ／Ｄコンバータ３０を経て、デジタルフィルタ３４で入力音声信号から抽出される（劣化した）基準信号（以下、「抽出基準信号」という。）である。また、信号比較部３６には、生成基準信号の入力タイミング（すなわち基準信号の生成タイミング）と、抽出基準信号の抽出タイミングとの時間ずれの演算に用いるカウント値Ｔを取得するためのタイマ４４が接続されている。信号比較部３６は、生成基準信号の音声波形と、抽出基準信号の音声波形とを比較し、生成基準信号に対する抽出基準信号の時間ずれ（遅延）とレベルずれ（減衰）とを求める。

信号比較部３６の出力は、遅延処理部３８と、減衰処理部４０とに接続されている。遅延処理部３８には、加算器２４から出力される出力音声信号と、上記の信号比較部３６にて求められる時間ずれの情報（Ｐ）とが入力される。遅延処理部３８は、時間ずれの情報に基づき、入力された出力音声信号を遅らせて出力する（遅延させる）処理を行う。減衰処理部４０には、遅延処理部３８から出力される、遅延処理がなされた出力音声信号と、上記同様、信号比較部３６にて求められるレベルずれの情報（Ｌ）とが入力される。減衰処理部４０は、レベルずれの情報に基づき、遅延処理がなされた出力音声信号の信号レベルを下げる（減衰させる）処理を行う。

減算器４２の入力は、減衰処理部４０と、分配器３２、Ａ／Ｄコンバータ３０を介したマイク６４とに接続されている。つまり、減算器４２には、２種類の音声信号が入力される。一方は、加算器２４から出力され、遅延処理部３８、減衰処理部４０を経て、遅延処理ならびに減衰処理が施された出力音声信号（以下、「音響エコー成分」という。）である。他方は、加算器２４から出力され、スピーカ７４で音声に変換されて出力された後、周囲の音声とともにマイク６４に入力されて再び音声信号に変換された、前述の入力音声信号である。減算器４２は、入力音声信号の音声波形に、音響エコー成分の音声波形の逆位相波形を重ね合わせ、入力音声信号から音響エコー成分を除去した音声信号（以下、「除去音声信号」という。）を生成する処理を行う。

減算器４２の出力は、入出力インターフェイス８８を介して通信部４６に接続されている。除去音声信号は、送信音声信号として、通信部４６からネットワーク１を介して端末装置３、４に送信される。

次に、本実施の形態の端末装置２において、マイク６４に入力された音声に基づく入力音声信号から音響エコー成分を除去した除去音声信号を、送信音声信号として、端末装置３、４に送信する処理の流れについて、図１〜図５を参照して説明する。なお、便宜上、フローチャートにおける各ステップを「Ｓ」と略記する。

図１に示す、端末装置２は、電源投入を契機に、ＣＰＵ８０が、ＲＯＭ８２に記憶されたプログラムに従い、各処理部の駆動開始時のシーケンスを実行させ、各処理部（装置）間における信号の送受信を制御することによって、駆動される。例えば通信部４６では、ネットワーク１を介して端末装置３、４とのネゴシエーションが図られ、通信が確立される。

エコー除去部８においては、図２に示す、初期化処理（Ｓ９）が実施され、音響エコー成分の除去に必要なパラメータ（時間ずれの情報（Ｐ）およびレベルずれの情報（Ｌ））が設定される。初期化処理の詳細は、図３に示す、処理の流れに従って行われる。まず、タイマ４４が起動され（Ｓ６１）、内部タイマのカウント値Ｔが一定時間ごとにインクリメントされる。

次に、基準信号が生成される（Ｓ６３）。初期化処理は、端末装置３、４からの受信音声信号の入力がない状態（通信が確立されてない状態あるいは通信が遮断されている状態）で行われる。よって図１に示すスイッチ制御部２２では、受信音声信号が無音状態にあると判断され、スイッチ１８の接続がＡ側に切り換えられる。これに伴いＳ６３では基準信号生成部１４が駆動され、音声波形の周波数が可聴領域の周波数（１ＫＨｚ）の基準信号が生成される。基準信号は、図４に示すように、周波数１ＫＨｚの信号が一定間隔で間欠的に繰り返されてなる信号として生成される（基準信号（生成基準信号）の音声波形を図４において実線で示す。）。生成された基準信号は、図１に示すように、分配器２０を介し、生成基準信号として、信号比較部３６に入力される。信号比較部３６は、生成基準信号の入力を契機にタイマ４４のカウント値Ｔを取得し、このタイミングを基準信号の遅延を求める基準とすべく、基準信号の生成タイミングＴ０（図４参照）として保持する。さらに、信号比較部３６は、生成基準信号の信号レベルを求め、生成レベルＬ０（図４参照）として保持する。

また、生成された基準信号は、分配器２０、加算器２４、Ｄ／Ａコンバータ２８を介し、音声出力装置７０のスピーカ７４から音声として出力される（Ｓ６５）。受信音声信号が無音状態であるので、基準信号は加算器２４をそのまま通過し出力音声信号として出力され、スピーカ７４からは、１ＫＨｚの基準信号に基づく可聴音が出力される。

一方、音声入力装置６０のマイク６４は、音声の入力待ち状態にある（Ｓ６７：ＮＯ）。このマイク６４に、スピーカ７４から出力された１ＫＨｚの音声が入力されると（Ｓ６７：ＹＥＳ）、入力音声信号に変換され、Ａ／Ｄコンバータ３０および分配器３２を介し、デジタルフィルタ３４に入力される。デジタルフィルタ３４は、スイッチ制御部２２によって、受信音声信号が無音状態にある場合の設定、すなわち、１ＫＨｚの信号を選択的に抽出する設定がなされている。したがって入力音声信号に、基準信号だけでなく、マイク６４の周囲の音声に基づく信号が含まれていても、１ＫＨｚの基準信号が入力音声信号から抽出され、抽出基準信号として信号比較部３６に入力される（Ｓ６９）。信号比較部３６は、抽出基準信号の入力を契機にタイマ４４のカウント値Ｔを取得し、図５に示すように、基準信号の抽出タイミングＴ１として保持する。なお、図５では、抽出基準信号の音声波形を実線で示し、生成基準信号の音声波形を点線で示している。さらに、信号比較部３６は、抽出基準信号の信号レベルを求め、抽出レベルＬ１として保持する。

そして、図３に示すように、信号比較部３６において、Ｔ１−Ｔ０の演算がなされ、時間ずれＰが求められる（Ｓ７１）。この時間ずれの情報（Ｐ）は、遅延処理部３８に伝達され、遅延処理のパラメータとして設定される。同様に、信号比較部３６において、Ｌ１／Ｌ０の演算がなされ、レベルずれＬが求められる（Ｓ７３）。このレベルずれの情報（Ｌ）は、減衰処理部４０に伝達され、減衰処理のパラメータとして設定される。以上で初期化処理（Ｓ９）は終了する。

図２に示すように、初期化処理が終わると、設定されたパラメータ（Ｐ，Ｌ）を用いて音響エコーを除去する一連の処理（Ｓ１１，Ｓ１３，Ｓ１５〜Ｓ２３）が行われる。通信部４６においては、ネットワーク１を介した端末装置３、４との通信によって、音声信号の受送信（受信音声信号の受信および送信音声信号の送信）が行われる。音声処理部１０においては、上記したように、音声入力装置６０（マイク６４）や音声出力装置７０（スピーカ７４）の配置位置に変化（移動）があれば、移動検出部１２が検知し、基準信号生成部１４，１６に基準信号を生成させる。すなわち、音声入力装置６０や音声出力装置７０の配置位置に変化がなければ（Ｓ１３：ＮＯ）、基準信号は生成されない。この場合、端末装置３、４から受信した受信音声信号は、加算器２４をそのまま通過し出力音声信号として出力され、Ｄ／Ａコンバータ２８を介し、音声出力装置７０のスピーカ７４から音声として出力される（Ｓ１５）。

一方、音声の入力待ち状態にあるマイク６４に（Ｓ１７：ＮＯ）、スピーカ７４から出力された音声が入力されると（Ｓ１７：ＹＥＳ）、入力音声信号に変換され、Ａ／Ｄコンバータ３０を介し、減算器４２に入力される。入力音声信号は、分配器３２を介してデジタルフィルタ３４にも入力されるが、基準信号が生成されていないため、デジタルフィルタ３４の通過後に入力される信号比較部３６において、何の処理も施されない。もっとも、基準信号が生成されない場合には、分配器３２からデジタルフィルタ３４への入力経路が遮断されるようにしてもよい。

ところで、加算器２４から出力された出力音声信号（ここでは基準信号が重畳されていない受信音声信号）は、遅延処理部３８にも入力される。遅延処理部３８は、信号比較部３６から伝達された時間ずれの情報（Ｐ）を保持しており、加算器２４から入力された出力音声信号を、Ｐ時間遅らせて、減衰処理部４０に出力する（Ｓ１９）。減衰処理部４０は、信号比較部３６から伝達されたレベルずれの情報（Ｌ）を保持しており、遅延処理部３８から入力された出力音声信号をＬ倍して減衰させて音響エコー成分を生成し、減算器４２に出力する（Ｓ２１）。

そして、減算器４２には、上記のマイク６４から入力される入力音声信号と、出力音声信号に遅延処理および減算処理を施し生成した音響エコー成分とが入力される。減算器４２は、入力音声信号の音声波形に音響エコー成分の音声波形の逆位相波形を重ね合わせることによって、入力音声信号に含まれる音響エコー成分を相殺し、音響エコーを除去した除去音声信号を生成する（Ｓ２３）。Ｓ２３の後はＳ１１に戻り、生成された除去音声信号が、送信音声信号として、通信部４６からネットワーク１を介し、端末装置３、４に送信される（Ｓ１１）。この送信音声信号は、端末装置３、４側で、マイク６４に入力される、端末装置２の周囲の音声のうち、端末装置３、４からの受信音声信号に基づきスピーカ７４から出力された音声を含まず、端末装置２側で新たに発せられた音声のみに基づくものとなる。したがって、この送信音声信号に基づく音声が端末装置３、４側のスピーカで出力されても、音響エコーを生ずることはない。以降も、音声入力装置６０や音声出力装置７０の配置位置に変化がなければ（Ｓ１３：ＮＯ）、Ｓ１１，Ｓ１３，Ｓ１５〜Ｓ２３が繰り返され、初期化処理で求められたパラメータ（Ｐ，Ｌ）を用いた音響エコーの除去がなされる。

次に、Ｓ１１，Ｓ１３，Ｓ１５〜Ｓ２３が繰り返されるうち、音声入力装置６０および音声出力装置７０の少なくとも一方の配置位置の変化が検出された場合（Ｓ１３：ＹＥＳ）、新たなパラメータを設定して音響エコーを除去する一連の処理（Ｓ３１〜Ｓ５３）が行われる。上記したように、スイッチ制御部２２において受信音声信号が無音状態であると判定された場合には（Ｓ３１：ＹＥＳ）、上記同様、音声波形の周波数が可聴領域（１ＫＨｚ）の基準信号が生成される（Ｓ３３）。生成された基準信号は、分配器２０を介して信号比較部３６と加算器２４とに入力される。信号比較部３６は、上記同様、生成基準信号の入力を契機にタイマ４４のカウント値Ｔを取得し、基準信号の生成タイミングＴ０として保持する。さらに、信号比較部３６は、生成基準信号の信号レベルを求め、生成レベルＬ０として保持する。

また、加算器２４は、入力された基準信号をそのまま通過させ、この基準信号を出力音声信号として、Ｄ／Ａコンバータ２８と遅延処理部３８とに出力する。出力音声信号はＤ／Ａコンバータ２８を介してアナログの音声信号に変換され、音声出力装置７０のスピーカ７４から、１ＫＨｚの基準信号に基づく可聴音として出力される（Ｓ３９）。

一方、スイッチ制御部２２において受信音声信号が無音状態でないと判定された場合には（Ｓ３１：ＮＯ）、上記したように、音声波形の周波数が非可聴領域（１００ＫＨｚ）の基準信号が生成される（Ｓ３５）。上記同様、信号比較部３６は、タイマ４４のカウント値Ｔを基準信号の生成タイミングＴ０として保持し、信号レベルを生成レベルＬ０として保持する。また、加算器２４は、入力される受信音声信号に基準信号を重畳させ、出力音声信号として、Ｄ／Ａコンバータ２８と遅延処理部３８とに出力する（Ｓ３７）。Ｄ／Ａコンバータ２８を介してアナログの音声信号に変換された出力音声信号は、音声出力装置７０のスピーカ７４から、受信音声信号に基づく音声が、基準信号に基づく非可聴音とともに出力される（Ｓ３９）。

音声入力装置６０のマイク６４は、音声の入力待ち状態にあり（Ｓ４１：ＮＯ）、このマイク６４に、スピーカ７４から出力された音声が入力されると（Ｓ４１：ＹＥＳ）、入力音声信号に変換される。入力音声信号は、Ａ／Ｄコンバータ３０および分配器３２を介し、デジタルフィルタ３４に入力される。デジタルフィルタ３４は、スイッチ制御部２２によって、受信音声信号が無音状態の場合には、１ＫＨｚの信号を選択的に抽出し、無音状態でない場合には、１００ＫＨｚの信号を選択的に抽出する設定がなされている。よって、入力音声信号に含まれる基準信号が非可聴領域の周波数のものであっても、あるいは可聴領域の周波数のものであっても、デジタルフィルタ３４を通過することによって、フィルタ設定通りの基準信号が抽出される（Ｓ４３）。

抽出された基準信号（抽出基準信号）は信号比較部３６に入力される。そして信号比較部３６において、抽出基準信号の抽出タイミングＴ１と抽出レベルＬ１とが求められ、生成基準信号から得たＴ０、Ｌ０に基づき、時間ずれＰとレベルずれＬとが求められることは（Ｓ４５、Ｓ４７）、上記したＳ７１、Ｓ７３の処理と同様である。新たに求められたパラメータ（Ｐ，Ｌ）は、それぞれ、遅延処理部３８および減衰処理部４０に伝達され、すでに保持されているパラメータ（初期化処理など、以前の処理で求められたパラメータ）が更新される。更新されたパラメータを用い、遅延処理部３８において加算器２４から入力される出力音声信号をＰ時間遅らせる処理（Ｓ４９）が行われ、減衰処理部４０において、遅延処理部３８から入力される出力音声信号をＬ倍して減衰させて音響エコー成分を生成する処理（Ｓ５１）が行われることについて、上記したＳ１９、Ｓ２１の処理と同様である。さらに、減算器４２において、入力音声信号の音声波形に音響エコー成分の音声波形の逆位相波形を重ね合わせて除去音声信号を生成する処理（Ｓ５３）が行われることについても、上記したＳ２３の処理と同様である。Ｓ５３の後はＳ１１に戻り、新たなパラメータを用いて生成された除去音声信号が、送信音声信号として、通信部４６からネットワーク１を介し、端末装置３、４に送信される（Ｓ１１）。

音声入力装置６０や音声出力装置７０の配置位置に変化が生ずると、スピーカ７４から出力される音声が、マイク６４に入力されるまでの経路が変化し、音響エコー成分を生成する際のパラメータも変化する。したがって、音声入力装置６０および音声出力装置７０の少なくとも一方の配置位置の変化を検出したら、パラメータを更新することで、配置位置変化後の（現在の）環境にあわせた音響エコー成分の除去を、確実に、行うことができる。よって、新たなパラメータを用いて生成された除去音声信号を送信音声信号として端末装置３、４に送信すれば、この送信音声信号に基づく音声が端末装置３、４側のスピーカで出力されても、音響エコーを生ずることはない。

以降は、音声入力装置６０や音声出力装置７０の配置位置に変化がなければ（Ｓ１３：ＮＯ）、既存のパラメータを用いて音響エコーの除去が行われ、変化があれば（Ｓ１３：ＹＥＳ）、再度パラメータを更新しつつ、音響エコーの除去が行われる。

以上説明したように、本実施の形態では、音響エコー成分を生成する上で必要なパラメータ（時間ずれの情報（Ｐ）とレベルずれの情報（Ｌ））を求める上で生成される基準信号を、受信音声信号に重畳して、スピーカ７４から出力することができる。したがって、テレビ会議システムが運用され、端末装置２と端末装置３、４との間で音声信号の送受信が行われている最中（運用中）であっても、基準信号を用いてパラメータを求め、更新することができる。これにより、運用中に、音声入力装置６０（マイク６４）や音声出力装置７０（スピーカ７４）の配置位置に変化が生じ、それまで用いていたパラメータでは適切な音響エコー成分を生成できなくなっても、直ちに、新たなパラメータを求め、更新することができる。よって、運用中に起こりうる、音響エコー成分の生成精度に影響を及ぼす虞のある状況変化に対応して適切な音響エコー成分を生成でき、送信音声信号からの音響エコー成分の除去精度を維持することができる。

また、本実施の形態では、基準信号を、音声入力装置６０および音声出力装置７０の少なくとも一方の配置位置に変化が生じたことが検出された場合に、生成することができる。換言すると、音声入力装置６０や音声出力装置７０の配置位置に変化がなければ、基準信号の生成が行われず、パラメータ（時間ずれの情報とレベルずれの情報）を求める演算も行われない。つまり、パラメータの更新は、必要とされる状況が生じた場合（音声入力装置６０や音声出力装置７０の配置位置に変化があった場合）に適切になされるので、常時あるいは定期的に更新される場合と比べ、エコー除去部８に無駄な負荷がかかることがない。

また、移動検出部１２は、音声入力装置６０や音声出力装置７０の配置位置の変化の検出を行うが、音声入力装置６０と音声出力装置７０との相対的な位置関係の変化だけでなく、それぞれの絶対的な配置位置の変化を検出している。したがって、音響エコー成分の生成精度に影響を及ぼす虞のある状況変化を確実に検出することができる。

また、加速度センサ６２，７２であれば、マイク６４やスピーカ７４と一体に設けることが容易である。加速度センサ６２とマイク６４を一体にした音声入力装置６０や、加速度センサ７２とスピーカ７４を一体にした音声出力装置７０の配置位置に変化があれば、加速度センサ６２，７２に加速度が加わる。よって、加速度センサ６２，７２の検出結果をもとに、音声入力装置６０や音声出力装置７０の移動の有無を把握すれば、容易かつ確実に、音声入力装置６０および音声出力装置７０の少なくとも一方の、絶対的な、配置位置の変化を検出することができる。

また、基準信号の音声波形の周波数が非可聴領域の周波数であれば、受信音声信号に基準信号を重畳してスピーカ７４から出力したとしても、基準信号に基づく音声（基準音）を、利用者は聞き取ることができない。この場合に利用者が聞き取ることができるのは、実質的に、受信音声信号に基づく音声のみである。したがって、運用中に基準信号を出力しても、利用者の発声や聞き取りが基準信号によって妨げられることはないので、音声入力装置６０や音声出力装置７０の配置位置に変化が生じた場合、直ちに、新たなパラメータを求め、更新することができる。よって、運用中に起こりうる、音響エコー成分の生成精度に影響を及ぼす虞のある状況変化に対応して適切な音響エコー成分を生成でき、送信音声信号からの音響エコー成分の除去精度を維持することができる。

一般に、音声波形の周波数が可聴領域の周波数の信号は、非可聴領域の周波数の信号と比べ、指向性が広い。また、音響エコー成分も音声波形の周波数が可聴領域の周波数である。ゆえに、指向性が広く、周波数特性が音響エコー成分に近い、音声波形の周波数が可聴領域の周波数の基準信号を用い、パラメータ（時間ずれの情報とレベルずれの情報）を求めれば、音響エコー成分の生成精度を、より高めることができる。もっとも、可聴領域の周波数をもった基準信号を受信音声信号に重畳してスピーカ７４から出力すると、利用者は、受信音声信号に基づく音声とともに基準信号に基づく音声を聞き取ることができてしまい、利用者の発声や聞き取りが、基準信号によって妨げられてしまう虞がある。ゆえに、可聴領域の周波数をもった基準信号は、受信音声信号が無音状態である場合に生成することが好ましい。

なお、可聴領域の周波数の音声のうち、特に低音側（周波数の小さい側）の領域の周波数をもった音声は、信号レベルがある程度大きくても、人は聞き取りにくいことが知られている。ゆえに、可聴領域であってもこうした低音側の領域の周波数をもった基準信号を用いれば、運用中に、受信音声信号が無音状態であるとはしても、利用者に不快感を与えにくく、より好ましい。

上記実施の形態において、スピーカ７４が、第１態様の「出力手段」に相当し、マイク６４が「入力手段」に相当する。移動検出部１２が「位置検出手段」に相当し、基準信号生成部１４，１６が「生成手段」に相当する。加算器２４が「重畳手段」に相当し、デジタルフィルタ３４が「抽出手段」に相当する。信号比較部３６が「演算手段」に相当し、遅延処理部３８、減衰処理部４０、減算器４２が、「除去手段」に相当する。通信部４６が「送信手段」に相当する。加速度センサ６２，７２が「加速度検出手段」に相当し、スイッチ制御部２２が「判定手段」に相当する。

なお、上記の実施形態に示されるエコー除去装置の構成は一例であり、本発明は各種の変形が可能なことはいうまでもない。例えば、エコー除去装置の音声処理部の機能を、ハードウェア回路ではなく、ＣＰＵがプログラムを実行することにより実現されるソフトウェア制御により提供してもよい。図６に、端末装置２としてパーソナルコンピュータ（ＰＣ）１０２用いた場合のエコー除去装置の構成例を示す。なお、本変形例のＰＣ１０２において、エコー除去装置の機能をなす部位を、エコー除去部１０８とする。以下の説明において、端末装置２と同等の構成をなす部分は同一の符号で示し、その部分の説明については省略または簡略化する。

ＰＣ１０２は、公知のＣＰＵ１８０を備え、ＣＰＵ１８０には、バス８６を介し、ＲＯＭ８２、ＲＡＭ８４、入出力インターフェイス８８が接続されている。入出力インターフェイス８８には、マウスやキーボード等の操作入力装置１９２、ハーディスクドライブ（ＨＤＤ）やフラッシュメモリドライブ（ＳＳＤ）、ＤＶＤ−ＲＯＭドライブ等の外部記憶装置１９０、映像処理部９４、通信部４６が接続されている。映像処理部９４には、Ｗｅｂカメラ等の映像入力装置９６およびモニタ等の映像出力装置９８が接続されている。また、マイク６４や加速度センサ６２を備えた音声入力装置６０、スピーカ７４や加速度センサ７２を備えた音声出力装置７０も、入出力インターフェイス８８に接続されている。詳細には、入出力インターフェイス８８に、Ｄ／Ａコンバータ１２８を介してスピーカ７４が接続され、Ａ／Ｄコンバータ１３０を介してマイク６４が接続され、Ａ／Ｄコンバータ１２６を介して加速度センサ６２，７２が接続されている。音声入力装置６０、音声出力装置７０、操作入力装置１９２、映像入力装置９６、映像出力装置９８は、ＰＣ１０２の外付け装置として設けられる。エコー除去部１０８は、音声入力装置６０、音声出力装置７０、通信部４６、外部記憶装置１９０、そしてこれらの各処理部（各装置）を制御するための各構成（ＣＰＵ１８０、ＲＯＭ８２、ＲＡＭ８４等）によって構成される。また、ＰＣ１０２は通信部４６を介してネットワーク１に接続されており、ネットワーク１を通じて接続される端末装置３、４とともにテレビ会議システムを構築することは、本実施の形態と同様である。

このような構成のＰＣ１０２では、外部記憶装置１９０にインストールされるプログラムをＣＰＵ１８０が実行することによって、ＣＰＵ１８０が、本実施の形態の音声処理部１０と同等の処理を行うことが可能である。つまり、図２，図３のフローチャートの各処理を実現する公知のモジュールを組み合わせ、フローチャートに示される処理の流れに従って音声信号を処理することができる音声処理部１１０を、プログラムとして設計すればよい。なお、音声処理部１１０を構成する各処理部はＣＰＵ１８０によって実現される機能であり、図６では、本実施の形態のもの（図１参照）と対比できるように仮想的な処理部として示したに過ぎず、同一の符号を括弧書きで付している。

上記変形例において、Ｓ３９の処理を行うＣＰＵ１８０が、第２，第３態様の「出力工程」として機能し、Ｓ４１の処理を行うＣＰＵ１８０が「入力工程」として機能する。Ｓ１３の処理を行うＣＰＵ１８０が「位置検出工程」に機能し、Ｓ３３またはＳ３５の処理を行うＣＰＵ１８０が「生成工程」に機能する。Ｓ３７の処理を行うＣＰＵ１８０が「重畳工程」に機能し、Ｓ４３の処理を行うＣＰＵ１８０が「抽出工程」に機能する。Ｓ４５，Ｓ４７の処理を行うＣＰＵ１８０が「演算工程」に機能し、Ｓ４９，Ｓ５１，Ｓ５３の処理を行うＣＰＵ１８０が「除去工程」に機能する。Ｓ１１の処理を行うＣＰＵ１８０が「送信工程」に機能する。

また、音声入力装置６０や音声出力装置７０を定位置から撮影し、撮影画像を解析することによって、音声入力装置６０や音声出力装置７０の配置位置の変化を検出してもよい。例えば図７に示す端末装置２０２において、音声入力装置２６０や音声出力装置２７０は、加速度センサを備えず、それぞれマイク６４、スピーカ７４を備えた移動可能な装置として構成する。音声入力装置６０や音声出力装置７０を撮影するカメラ２５０の出力は、入出力インターフェイス８８に入力する。また、公知の画像解析処理を行う画像解析部２５２を設け、カメラ２５０に撮影された画像内における、音声入力装置６０や音声出力装置７０の位置（例えば座標）を特定する。画像解析部２５２は、例えばＣＰＵ２８０がプログラムを実行して公知の画像解析処理を行うことで、実現されればよい。画像解析部２５２の解析結果（例えば音声入力装置６０や音声出力装置７０の座標情報）は、移動検出部１２に入力されるようにする。なお、本変形例の端末装置２０２において、エコー除去装置の機能をなす部位は、エコー除去部２０８として示す。エコー除去部２０８は、音声処理部２１０（Ａ／Ｄコンバータ２６を除き、本実施の形態の音声処理部１０と同等の構成であればよい。）、音声入力装置２６０、音声出力装置２７０、通信部４６、カメラ２５０、そしてこれらの各処理部（各装置）を制御するための各構成（ＣＰＵ２８０、ＲＯＭ８２、ＲＡＭ８４等）によって構成される。

端末装置２０２をこのように構成し、カメラ２５０を、音声入力装置６０および音声出力装置７０の移動しうる範囲を見渡せる適切な定位置に設置する。そして、カメラ２５０で撮影した画像を画像解析部２５２で解析して撮影画像内における音声入力装置６０や音声出力装置７０の位置を特定する。解析結果に基づき、移動検出部１２で、音声入力装置６０または音声出力装置７０の配置位置に変化が生じたか否かを判断する。このように、カメラ２５０を用い、定位置から音声入力装置６０や音声出力装置７０を撮影すれば、撮影画像を解析し、撮影画像内における両者の位置を把握するだけで、容易かつ確実に、音声入力装置６０および音声出力装置７０の少なくとも一方の、絶対的な、配置位置の変化を検出することができる。

上記変形例において、カメラ２５０が、第１態様の「撮影手段」に相当する。また、公知の画像解析処理を行う画像解析部２５２を実現し、カメラ２５０の撮影画像内における音声入力装置６０や音声出力装置７０の位置を特定することができるＣＰＵ２８０が、「解析手段」として機能する。

また、例えば音声入力装置２６０と音声出力装置２７０とに識別用のマーカーを記し、定位置に固定したカメラ２５０の撮影画像内でマーカーの位置（座標）を特定するようにしてもよい。このようにすれば、音声入力装置６０や音声出力装置７０の形状認識を行わなくとも撮影画像内における両者の配置位置を特定可能であり、画像解析処理を簡易化することができる。また、図示しないが、電波や赤外線、レーザ光等を２点あるいは３点以上の定点から発し、音声入力装置や音声出力装置で受信した際の位相ずれや、反射波の位相ずれなどによる、音声入力装置や音声出力装置の配置位置の変化の検出を行ってもよい。

また、スピーカ７４やマイク６４、加速度センサ６２，７２には、デジタル出力のものを用いてもよい。あるいは、Ａ／ＤコンバータやＤ／Ａコンバータを、音声入力装置６０や音声出力装置７０に設けてもよい。また、タイマ４４の代わりにＣＰＵ８０のインターバルタイマ等を用い、カウント値ＴをＣＰＵ８０から取得してもよい。また、デジタルフィルタ３４にはバンドパスフィルタを用いたが、ハイパスフィルタ（ＨＰＦ）やローパスフィルタ（ＬＰＦ）、あるいはこれら各種のフィルタの組み合わせを用いてもよい。

２〜４，２０２ 端末装置
８，１０８，２０８ エコー除去部
１２ 移動検出部
１４，１６ 基準信号生成部
２２ スイッチ制御部
２４ 加算器
３４ デジタルフィルタ
３６ 信号比較部
３８ 遅延処理部
４０ 減衰処理部
４２ 減算器
４６ 通信部
６２，７２ 加速度センサ
６４ マイク
７４ スピーカ
１０２ ＰＣ
１８０ ＣＰＵ
２５０ カメラ
２５２ 画像解析部

Claims (7)

1. 通信先装置から受信する音声信号である受信音声信号を音声に変換して出力する出力手段と、
   入力される周囲の音声を前記通信先装置に送信する音声信号である送信音声信号に変換する入力手段と、
   前記出力手段および前記入力手段の少なくとも一方の配置位置に変化が生じたことを検出する位置検出手段と、
   前記出力手段から出力された音声が再び前記入力手段に入力されて生ずる音響エコー成分を前記送信音声信号から除去するにあたって基準となる基準信号を、前記位置検出手段が前記配置位置の変化を検出した場合に生成する生成手段と、
   前記受信音声信号に前記基準信号を重畳する重畳手段と、
   前記入力手段の変換した前記送信音声信号にフィルタリング処理を行い、前記基準信号を抽出する抽出手段と、
   前記生成手段によって生成された際の前記基準信号である生成基準信号と、前記抽出手段によって抽出された際の前記基準信号である抽出基準信号とを比較して、前記生成基準信号の生成タイミングと前記抽出基準信号の抽出タイミングとの時間ずれの情報と、前記生成タイミングにおける前記生成基準信号の信号レベルと前記抽出タイミングにおける前記抽出基準信号の信号レベルとのレベルずれの情報とを求める演算手段と、
   前記受信音声信号に対し、前記時間ずれの情報と前記レベルずれの情報とに基づく演算を行って前記音響エコー成分を生成し、前記送信音声信号から差し引いて、前記音響エコー成分を除去した除去音声信号を生成する除去手段と、
   前記通信先装置に送信する前記送信音声信号として、前記除去音声信号を送信する送信手段と
   を備えたことを特徴とするエコー除去装置。
2. 前記出力手段および前記入力手段の少なくとも一方が含まれる画像を定位置から撮影する撮影手段と、
   前記撮影手段の撮影画像内における前記出力手段および前記入力手段の少なくとも一方の位置を解析する解析手段と
   をさらに備え、
   前記位置検出手段は、前記解析手段の解析結果に基づき、前記配置位置に変化が生じたことを検出することを特徴とする請求項１に記載のエコー除去装置。
3. 前記出力手段および前記入力手段の少なくとも一方に加わる加速度を検出する加速度検出手段をさらに備え、
   前記位置検出手段は、前記加速度検出手段の検出結果に基づき、前記配置位置に変化が生じたことを検出することを特徴とする請求項１に記載のエコー除去装置。
4. 前記生成手段は、前記基準信号として、音声波形の周波数が非可聴領域の周波数の信号を生成することを特徴とする請求項１から３のいずれかに記載のエコー除去装置。
5. 前記受信音声信号が無音状態であるか否かを判定する判定手段をさらに備え、
   前記生成手段は、前記位置検出手段が前記配置位置の変化を検出し、且つ前記判定手段が、前記受信音声信号が無音状態であると判定した場合に、前記基準信号として、音声波形の周波数が可聴領域の周波数の信号を生成することを特徴とする請求項１から４のいずれかに記載のエコー除去装置。
6. 通信先装置から受信する音声信号である受信音声信号が音声に変換されて出力手段から出力される出力工程と、
   周囲の音声が入力手段に入力されて、前記通信先装置に送信する音声信号である送信音声信号に変換される入力工程と、
   前記出力手段および前記入力手段の少なくとも一方の配置位置に変化を生じたことが検出される位置検出工程と、
   前記出力手段から出力された音声が再び前記入力手段に入力されて生ずる音響エコー成分を前記送信音声信号から除去するにあたって基準となる基準信号が、前記位置検出工程において前記配置位置の変化が検出された場合に生成される生成工程と、
   前記受信音声信号に前記基準信号が重畳される重畳工程と、
   前記入力工程において変換された前記送信音声信号にフィルタリング処理が行われ、前記基準信号が抽出される抽出工程と、
   前記生成工程において生成された際の前記基準信号である生成基準信号と、前記抽出工程において抽出された際の前記基準信号である抽出基準信号とが比較され、前記生成基準信号の生成タイミングと前記抽出基準信号の抽出タイミングとの時間ずれの情報と、前記生成タイミングにおける前記生成基準信号の信号レベルと前記抽出タイミングにおける前記抽出基準信号の信号レベルとのレベルずれの情報とが求められる演算工程と、
   前記受信音声信号に対し、前記時間ずれの情報と前記レベルずれの情報とに基づく演算が行われて前記音響エコー成分が生成され、前記送信音声信号から差し引かれて、前記音響エコー成分を除去した除去音声信号が生成される除去工程と、
   前記通信先装置に送信する前記送信音声信号として、前記除去音声信号が送信される送信工程と
   を備えたことを特徴とするエコー除去方法。
7. 請求項１に記載のエコー除去装置の各種処理手段として、コンピュータを機能させることを特徴とするエコー除去装置のプログラム。

Images