JP2008033307A - マルチチャンネルエコーキャンセラ - Google Patents

Abstract

【課題】マルチチャンネル再生時において音質劣化が生じることなく常に安定したエコーキャンセルを行い、ダブルトーク時やシングルトーク時に関係なく安定したエコーキャンセルを行う。
【解決手段】本発明に係るマルチチャンネルエコーキャンセラは、第１の場所に設けられた複数のスピーカ（１０、２０）それぞれに入力されるべき第２の音響信号を含むスピーカ入力信号（ｓｐ１、ｓｐ２）と、第１の場所に設けられた複数のマイクロホン（１１、２１）の検出信号（ｍ１、ｍ２）とを入力とし、独立成分分析に基づく信号処理を施して各検出信号（ｍ１、ｍ２）に含まれる第１の音響信号と第２の音響信号とを分離し、当該分離した第１の音響信号のみを第２の場所に設けられた複数のスピーカ（３０、４０）へ出力することによって、各検出信号（ｍ１、ｍ２）に含まれる第２の音響信号をエコーとしてキャンセルするエコーキャンセル部を備える。
【選択図】図１

Description

本発明は、マルチチャンネルエコーキャンセラに関し、より特定的には、会議システムやハンズフリー電話などに用いられるマルチチャンネルエコーキャンセラに関するものである。

近年、離れた場所に存在する話者同士の音声である音響信号を相互伝送する会議システムやハンズフリー電話などのマルチチャンネルの音響システムが実現されている。この音響システムを例えば第１および第２の場所間で実現する場合、第１および第２の場所それぞれに、話者自身の音声を検出するための複数のマイクロホンと、離れた場所に存在する話者の音声を聞くための複数のスピーカとが設けられる。第１の場所の各スピーカは第２の場所の各マイクロホンと接続され、第１の場所の各マイクロホンは第２の場所の各スピーカと接続される。これにより、例えば第１の場所に存在する話者Ｓ１は、第１の場所の各スピーカを通して第２の場所に存在する話者Ｓ２の音声を聞くことができる。また、第１の場所の各マイクロホンを通して話者Ｓ１の音声を話者Ｓ２に聞かすことができる。

しかしながら、このような音響システムでは、エコーをキャンセルしなければならないという課題がある。例えば話者Ｓ２が音声を発したとき、その音声は第２の場所の各マイクロホンを通して第１の場所の各スピーカで拡声される。ここで、第１の場所には各マイクロホンが設けられている。このため、第１の場所の各スピーカで拡声された話者Ｓ２の音声は、第１の場所の各マイクロホンで検出されることになる。その結果、話者Ｓ２は、話者Ｓ１の音声以外に、自分自身が発した音声を第２の場所の各スピーカを通して聞くことになる。このように、離れた場所に存在する話者の音声を聞くためのスピーカで拡声される自分自身の音声は、話者にとって不要なエコーとなる。

そこで従来において、このようなエコーをキャンセルするマルチチャンネルエコーキャンセラとして、適応フィルタを用いたマルチチャンネルエコーキャンセラが提案されている。図８は、音響システムに用いられる従来の適応フィルタを用いたマルチチャンネルエコーキャンセラ９の構成を示す図である。図８に示す音響システムでは、チャンネルが２つの場合を示している。また図８に示す音響システムでは、近端側には、話者Ｓ１が音源（近端音源）として存在しており、遠端側には、話者Ｓ２が音源（遠端音源）として存在しているとする。近端側には、遠端側の話者Ｓ２の音声からなる遠端音響信号をステレオで拡声するためのスピーカ１０および２０と、近端側の話者Ｓ１の音声からなる近端音響信号を検出するためのマイクロホン１１および２１とが設けられている。遠端側には、近端音響信号をステレオで拡声するためのスピーカ３０および４０と、遠端音響信号を検出するためのマイクロホン３１および４１とが設けられている。また図８に示す音響システムでは、一例として、マルチチャンネルエコーキャンセラ９が近端側にのみ設けられているとする。

図８において、マルチチャンネルエコーキャンセラ９は、適応フィルタ９１〜９４、加算器９５および９７、減算器９６および９８により構成される。適応フィルタ９１は、減算器９６からの出力信号に基づいて、スピーカ１０からマイクロホン１１への伝達特性ｈ１１（ω）を推定する。ωは周波数である。適応フィルタ９１は、スピーカ１０に入力されるべきスピーカ入力信号ｓｐ１に推定結果ｅｈ１１（ω）を畳み込んで出力する。適応フィルタ９２は、減算器９６からの出力信号に基づいて、スピーカ２０からマイクロホン１１への伝達特性ｈ２１（ω）を推定する。適応フィルタ９２は、スピーカ２０に入力されるべきスピーカ入力信号ｓｐ２に推定結果ｅｈ２１（ω）を畳み込んで出力する。適応フィルタ９３は、減算器９８からの出力信号に基づいて、スピーカ１０からマイクロホン２１への伝達特性ｈ１２（ω）を推定する。適応フィルタ９３は、スピーカ１０に入力されるべきスピーカ入力信号ｓｐ１に推定結果ｅｈ１２（ω）を畳み込んで出力する。適応フィルタ９４は、減算器９８からの出力信号に基づいて、スピーカ２０からマイクロホン２１への伝達特性ｈ２２（ω）を推定する。適応フィルタ９４は、スピーカ２０に入力されるべきスピーカ入力信号ｓｐ２に推定結果ｅｈ２２（ω）を畳み込んで出力する。

加算器９５は、適応フィルタ９１からの出力信号と適応フィルタ９２からの出力信号とを入力とし、これらの出力信号を加算する。減算器９６は、マイクロホン１１で検出された検出信号ｍ１と加算器９５からの出力信号とを入力とし、検出信号ｍ１から加算器９５からの出力信号を減算する。これにより、減算器９６からの出力信号ｙ１は、エコーである遠端側の話者Ｓ２の音声がキャンセルされた信号となる。減算器９６からの出力信号ｙ１は、遠端側に伝送され、遠端側のスピーカ３０で拡声される。加算器９７は、適応フィルタ９３からの出力信号と適応フィルタ９４からの出力信号とを入力とし、これらの出力信号を加算する。減算器９８は、マイクロホン２１で検出された検出信号ｍ２と加算器９７からの出力信号とを入力とし、検出信号ｍ２から加算器９７からの出力信号を減算する。これにより、減算器９８からの出力信号ｙ２は、エコーである遠端側の話者Ｓ２の音声がキャンセルされた信号となる。減算器９８からの出力信号ｙ２は、遠端側に伝送され、遠端側のスピーカ４０で拡声される。

ここで、適応フィルタ９１〜９４で行われる伝達特性の推定には、適応フィルタの学習方法として一般に用いられる学習同定法（ＬＭＳ）などが利用される。具体的には、適応フィルタ９１および９２は、減算器９６からの出力信号ｙ１のパワーが最小となるように、伝達特性を推定する。適応フィルタ９３および９４は、減算器９８からの出力信号ｙ２のパワーが最小となるように、伝達特性を推定する。

以下、従来のマルチチャンネルエコーキャンセラ９の問題点について説明する。図８においてエコーキャンセル効果を得るには、適応フィルタ９１〜９４それぞれにおいて正しい伝達特性が推定されなければならない。例えば適応フィルタ９１で言えば、推定結果ｅｈ１１（ω）が伝達特性ｈ１１（ω）と一致する必要がある。しかしながら、従来のマルチチャンネルエコーキャンセラ９では、スピーカ入力信号ｓｐ１またはスピーカ入力信号ｓｐ２のいずれか一方の信号のみが拡声されている状態でなければ、正しい伝達特性を推定することができない。つまり、スピーカ１０またはスピーカ２０のいずれか一方のみが動作しているモノラル再生の状態でなければ、正しい伝達特性を推定することができない。

マルチチャンネル再生時（ここではステレオ再生時）、大抵はスピーカ１０またはスピーカ２０の両方が動作し、スピーカ１０および２０には相関をもつ信号が入力される。例えば図８に示す遠端側のマイクロホン３１および４１において、話者Ｓ２の音声がステレオ検出されるとする。また、話者Ｓ２の音声をｓ２（ω）とし、話者Ｓ２からマイクロホン３１への伝達特性をａ２１（ω）、話者Ｓ２からマイクロホン４１への伝達特性をａ２２（ω）とする。このとき、スピーカ１０に入力されるスピーカ入力信号ｓｐ１はｓ２（ω）・ａ２１（ω）となり、スピーカ２０に入力されるスピーカ入力信号ｓｐ２はｓ２（ω）・ａ２２（ω）となる。スピーカ入力信号ｓｐ１およびｓｐ２は、ともにｓ２（ω）を含むので、相関をもつことになる。また、マイクロホン１１で検出される検出信号ｍ１（ω）は、式（１）のようになる。

式（１）で表されたｓ２（ω）成分は、エコーである。よって、適応フィルタ９１および９２は、擬似エコーである加算器９５からの出力信号が式（１）で表されたｓ２（ω）成分と同じになるように、伝達特性を推定すればよい。加算器９５からの出力信号が式（１）で表されたｓ２（ω）成分と同じになれば、出力信号ｙ１のパワーが最小となり（つまり、ｓ１（ω）成分のみとなり）、エコーがキャンセルされる。

しかしながら、式（１）で表されたｍ１（ω）は、ｓ２（ω）に対して所定の伝達特性が乗算されたものを含んでおり、スピーカ入力信号ｓｐ１およびｓｐ２もｓ２（ω）に対して所定の伝達特性が乗算されたものを含んでいる。これは、スピーカ入力信号ｓｐ１またはスピーカ入力信号ｓｐ２のいずれか一方を用いることにより、式（１）で表されたｓ２（ω）成分を再現できることを意味するものである。したがって、適応フィルタ９１で推定される伝達特性ｅｈ１１（ω）と、適応フィルタ９２で推定される伝達特性ｅｈ２１（ω）とに複数の解（例えば、式（２）または式（３））が存在することになる。

このように、従来のマルチチャンネルエコーキャンセラ９では、マルチチャンネル再生時、解の不定性によって正しい伝達特性を推定することができず、エコーキャンセル効果が安定して得られないという問題があった。

そこで従来では、各チャンネルの信号レベルの大小を判定して推定処理を行うチャンネルを１つ選択する技術（例えば特許文献１など）が提案されている。また、スピーカ入力信号ｓｐ１およびスピーカ入力信号ｓｐ２に付加信号を加えることによって正しい伝達特性を推定する技術（例えば特許文献２など）も提案されている。従来では、これらの技術を採用することにより、従来のマルチチャンネルエコーキャンセラ９における解の不定性への対策が行われている。
特許第３４０７３９２号公報 特許第３０７３９７６号公報

しかしながら、特許文献１に開示された技術では、チャンネル間の信号レベル差が小さい場合、各チャンネルの信号レベルの大小を正しく判定することができず、正しい伝達特性を推定することはできない。このため、特許文献１に開示された技術では、エコーキャンセルを常に安定して行うことはできなかった。また、特許文献２に開示された技術では、正しい伝達特性を推定するために付加信号をスピーカ入力信号ｓｐ１およびスピーカ入力信号ｓｐ２に加えていた。このため、スピーカでは話者の音声以外に付加信号も拡声されてしまい、付加信号による音質劣化が生じるという問題があった。このように、解の不定性への対策として提案された特許文献１および２に開示された技術では、常に安定したエコーキャンセルを行うことができなかったり、音質劣化が生じたりしていた。

それ故、本発明は、マルチチャンネル再生時において音質劣化が生じることなく常に安定したエコーキャンセルを行うことができ、ダブルトーク時やシングルトーク時に関係なく安定したエコーキャンセルを行うことが可能なマルチチャンネルエコーキャンセラを提供することを目的とする。

本発明に係るマルチチャンネルエコーキャンセラは、上記課題を解決するものであり、本発明に係るマルチチャンネルエコーキャンセラは、第１の場所に設けられた複数のマイクロホンで検出される当該第１の場所に存在する１つ以上の音源からの第１の音響信号と、第２の場所に設けられた複数のマイクロホンで検出される当該第２の場所に存在する１つ以上の音源からの第２の音響信号とを、第１および第２の場所それぞれに設けられた複数のスピーカを用いることによって、第１および第２の場所間で相互伝送する音響システムに用いられるマルチチャンネルエコーキャンセラであって、第１の場所に設けられた複数のマイクロホンは、第１の音響信号に加えてさらに、第１の場所に設けられた複数のスピーカで拡声された第２の音響信号を検出しており、マルチチャンネルエコーキャンセラは、第１の場所に設けられた複数のスピーカそれぞれに入力されるべき第２の音響信号を含むスピーカ入力信号と、第１の場所に設けられた複数のマイクロホンの検出信号とを入力とし、独立成分分析に基づく信号処理を施して各検出信号に含まれる第１の音響信号と第２の音響信号とを分離し、当該分離した第１の音響信号のみを第２の場所に設けられた複数のスピーカへ出力することによって、各検出信号に含まれる第２の音響信号をエコーとしてキャンセルするエコーキャンセル部を備える。

独立成分分析に基づく信号処理が施されることにより、各スピーカ入力信号に相関をもつ第２の音響信号が含まれていても、各検出信号に含まれる第１の音響信号と第２の音響信号とを分離することができる。これにより、マルチチャンネル再生時における解の不定性の問題を解消しつつ、音質劣化が生じることなく常に安定したエコーキャンセルを行うことができる。さらに、ダブルトーク時やシングルトーク時に関係なく安定したエコーキャンセルを行うことができる。

なお、上記第１の場所は、例えば、後述する実施形態における、近端側の場所に相当するものである。また、上記第１の音響信号は、後述する実施形態における、近端音響信号に相当するものである。また、上記第２の場所は、例えば、後述する実施形態における、遠端側の場所に相当するものである。また、上記第２の音響信号は、後述する実施形態における、遠端音響信号に相当するものである。

より好ましくは、エコーキャンセル部は、各スピーカ入力信号および各検出信号を入力とし、独立成分分析に基づく信号処理を施して、各検出信号に含まれる第１の音響信号と第２の音響信号とを分離するとともに当該第１の音響信号に含まれる互いに相関の低い信号を検出信号の数の分だけ分離し、当該分離した互いに相関の低い信号のみを第２の場所に設けられた複数のスピーカへ出力する音源分離部を有するとよい。

より好ましくは、エコーキャンセル部は、第１の場所に設けられた複数のマイクロホンそれぞれに対応して設けられ、対応するマイクロホンの検出信号および各スピーカ入力信号を入力とし、独立成分分析に基づく信号処理を施して対応するマイクロホンの検出信号に含まれる第１の音響信号と第２の音響信号とを分離し、当該分離した第１の音響信号のみを第２の場所に設けられたいずれか１つのスピーカへ出力する複数の音源分離部を有するとよい。

より好ましくは、エコーキャンセル部には、各検出信号に含まれる第１の音響信号と第２の音響信号とを分離するための分離行列が予め設定されており、分離行列は、第１の場所に設けられた複数のスピーカから当該第１の場所に設けられた複数のマイクロホンまでの各伝達特性に関する複数の第１の行列要素であって、独立成分分析に従って学習された複数の第１の行列要素を含み、エコーキャンセル部は、各スピーカ入力信号および各検出信号により構成される入力ベクトルを分離行列に対して乗算して各検出信号に含まれる第２の音響信号を各検出信号から減算することにより、各検出信号に含まれる第１の音響信号と第２の音響信号とを分離するとよい。

より好ましくは、分離行列は、第２の場所に存在する１以上の音源から当該第２の場所に設けられた複数のマイクロホンまでの各伝達特性に関する複数の第２の行列要素をさらに含み、各第２の行列要素のうち、分離行列の対角以外を構成する行列要素が０であるとよい。

より好ましくは、分離行列は、各検出信号を用いて、各スピーカ入力信号における第２の音響信号に含まれる互いに相関の低い信号をスピーカ入力信号の数の分だけ分離するための複数の第２の行列要素をさらに含み、各第２の行列要素は、全て０であるとよい。

より好ましくは、分離行列は、第２の場所に存在する１以上の音源から当該第２の場所に設けられた複数のマイクロホンまでの各伝達特性に関する複数の第２の行列要素と、各検出信号を用いて、各スピーカ入力信号における第２の音響信号に含まれる互いに相関の低い信号をスピーカ入力信号の数の分だけ分離するための複数の第３の行列要素とをさらに含み、各第２の行列要素のうち、分離行列の対角以外を構成する行列要素が０であり、各第３の行列要素が全て０であるとよい。

より好ましくは、分離行列は、第１の場所に存在する１以上の音源から当該第１の場所に設けられた複数のマイクロホンまでの各伝達特性に関する複数の第２の行列要素をさらに含み、各第２の行列要素のうち、分離行列の対角以外を構成する行列要素が０であるとよい。

また本発明は、マルチチャンネルエコーキャンセル方法にも向けられており、本発明に係るマルチチャンネルエコーキャンセル方法は、第１の場所に設けられた複数のマイクロホンで検出される当該第１の場所に存在する１つ以上の音源からの第１の音響信号と、第２の場所に設けられた複数のマイクロホンで検出される当該第２の場所に存在する１つ以上の音源からの第２の音響信号とを、第１および第２の場所それぞれに設けられた複数のスピーカを用いることによって、第１および第２の場所間で相互伝送する音響システムに用いられるマルチチャンネルエコーキャンセル方法であって、第１の場所に設けられた複数のマイクロホンは、第１の音響信号に加えてさらに、第１の場所に設けられた複数のスピーカで拡声された第２の音響信号を検出しており、マルチチャンネルエコーキャンセル方法は、第１の場所に設けられた複数のスピーカそれぞれに入力されるべき第２の音響信号を含むスピーカ入力信号と、第１の場所に設けられた複数のマイクロホンの検出信号とを入力する入力ステップと、入力ステップにおいて入力された各スピーカ入力信号および各検出信号に対して独立成分分析に基づく信号処理を施すことによって、各検出信号に含まれる第１の音響信号と第２の音響信号とを分離する分離ステップと、分離ステップにおいて分離された第１の音響信号のみを第２の場所に設けられた複数のスピーカへ出力することによって、各検出信号に含まれる第２の音響信号をエコーとしてキャンセルするキャンセルステップとを有する。

より好ましくは、分離ステップは、入力ステップにおいて入力された各スピーカ入力信号および各検出信号で構成される入力ベクトルに対して、各検出信号に含まれる第１の音響信号と第２の音響信号とを分離するための分離行列であって、第１の場所に設けられた複数のスピーカから当該第１の場所に設けられた複数のマイクロホンまでの各伝達特性に関する複数の行列要素を含む分離行列を乗算することにより、当該乗算した結果である出力ベクトルを構成する複数の出力信号を算出する第１の信号算出ステップと、第１の信号算出ステップにおいて算出された出力信号間についての高次の相関を行列要素にもつ相関行列を算出する行列算出ステップと、行列算出ステップにおいて算出された相関行列を用いて、更新すべき分離行列に含まれる各行列要素を学習する学習ステップと、第１の信号算出ステップにおいて用いられた分離行列に含まれる各行列要素を、学習ステップにおいて学習された各行列要素に更新する更新ステップと、入力ステップにおいて入力された各スピーカ入力信号および各検出信号で構成される入力ベクトルに対して、更新ステップにおいて各行列要素が更新された分離行列を乗算することにより、各検出信号に含まれる第１の音響信号と第２の音響信号とが分離した出力ベクトルを構成する複数の出力信号を算出する第２の信号算出ステップとを有し、キャンセルステップは、第２の信号算出ステップにおいて算出された各出力信号のうち、第１の音響信号のみを含む出力信号を第２の場所に設けられた複数のスピーカへ出力するとよい。

また本発明は、プログラムにも向けられており、本発明に係るプログラムは、第１の場所に設けられた複数のマイクロホンで検出される当該第１の場所に存在する１つ以上の音源からの第１の音響信号と、第２の場所に設けられた複数のマイクロホンで検出される当該第２の場所に存在する１つ以上の音源からの第２の音響信号とを、第１および第２の場所それぞれに設けられた複数のスピーカを用いることによって、第１および第２の場所間で相互伝送する音響システムに用いられるコンピュータに実行させるプログラムであって、第１の場所に設けられた複数のマイクロホンは、第１の音響信号に加えてさらに、第１の場所に設けられた複数のスピーカで拡声された第２の音響信号を検出しており、コンピュータに、第１の場所に設けられた複数のスピーカそれぞれに入力されるべき第２の音響信号を含むスピーカ入力信号と、第１の場所に設けられた複数のマイクロホンの検出信号とを入力する入力ステップと、入力ステップにおいて入力された各スピーカ入力信号および各検出信号に対して独立成分分析に基づく信号処理を施すことによって、各検出信号に含まれる第１の音響信号と第２の音響信号とを分離する分離ステップと、分離ステップにおいて分離された第１の音響信号のみを第２の場所に設けられた複数のスピーカへ出力することによって、各検出信号に含まれる第２の音響信号をエコーとしてキャンセルするキャンセルステップとを実行させるプログラムである。

また本発明は、集積回路にも向けられており、本発明に係る集積回路は、第１の場所に設けられた複数のマイクロホンで検出される当該第１の場所に存在する１つ以上の音源からの第１の音響信号と、第２の場所に設けられた複数のマイクロホンで検出される当該第２の場所に存在する１つ以上の音源からの第２の音響信号とを、第１および第２の場所それぞれに設けられた複数のスピーカを用いることによって、第１および第２の場所間で相互伝送する音響システムに用いられる集積回路であって、第１の場所に設けられた複数のマイクロホンは、第１の音響信号に加えてさらに、第１の場所に設けられた複数のスピーカで拡声された第２の音響信号を検出しており、集積回路は、第１の場所に設けられた複数のスピーカそれぞれに入力されるべき第２の音響信号を含むスピーカ入力信号と、第１の場所に設けられた複数のマイクロホンの検出信号とを入力とし、独立成分分析に基づく信号処理を施して各検出信号に含まれる第１の音響信号と第２の音響信号とを分離し、当該分離した第１の音響信号のみを第２の場所に設けられた複数のスピーカへ出力することによって、各検出信号に含まれる第２の音響信号をエコーとしてキャンセルするエコーキャンセル部を備える。

また、本発明に係るマルチチャンネルエコーキャンセラは、検出すべき近端音源の音響信号に加えてさらに、複数のスピーカで拡声された音響信号が含まれる１つ以上のマイクロホンの検出信号に対して、当該複数のスピーカで拡声された音響信号をエコーとしてキャンセルして近端音源の音響信号のみを出力するマルチチャンネルエコーキャンセラであって、近端音源の音響信号と各スピーカで拡声された音響信号とを含む１つ以上のマイクロホンの検出信号と、音の方向感を有する各スピーカに入力されるべきスピーカ入力信号とを入力とし、近端音源の音響信号と各スピーカで拡声された音響信号とが同時に発生する所定時間において、出力すべき信号が近端音源の音響信号の音質を保持した信号となるように、かつ、出力すべき信号が各スピーカから拡声された音響信号をキャンセルした信号となるように適応動作することによって、１つ以上のマイクロホンの検出信号に含まれる近端音源の音響信号と各スピーカで拡声された音響信号とを分離し、分離した近端音源の音響信号のみを出力する音源分離部を備える。

なお、近端音源の音響信号は、１つ以上のマイクロホンが設けられた場所に存在する１つ以上の音源から発生した音や、当該音の特徴を有する統計量などを示す信号であり、１つ以上のマイクロホンの検出信号に対して複数のスピーカで拡声された音響信号をキャンセルした信号である。また、音の方向感を有するスピーカ入力信号とは、例えば遠端側のマイクロホンで検出される音響信号の複数の特性（レベル比や時間遅延など）を、近端側の複数のスピーカを用いて再現することができる信号を意味する。また、音質を保持した信号とは、音源分離部に入力される近端音源の音響信号がもつ周波数特性（振幅周波数特性や振幅位相周波数特性など）を保持した信号を意味する。

より好ましくは、音源分離部は、各スピーカから１つ以上のマイクロホンまでの各伝達特性を推定し、各スピーカで拡声されて１つ以上のマイクロホンで検出された音響信号を推定した各伝達特性を用いて算出し、算出した音響信号を１つ以上のマイクロホンの検出信号から減算するように適応動作するとよい。

本発明によれば、マルチチャンネル再生時において音質劣化が生じることなく常に安定したエコーキャンセルを行うことができ、ダブルトーク時やシングルトーク時に関係なく安定したエコーキャンセルを行うことが可能なマルチチャンネルエコーキャンセラを提供することができる。

以下、本発明の実施形態について、図面を参照しながら説明する。

（第１の実施形態）
図１を参照して、本発明の第１の実施形態に係るマルチチャンネルエコーキャンセラの構成について説明する。図１は、音響システムに用いられる第１の実施形態に係るマルチチャンネルエコーキャンセラの構成例を示す図である。音響システムは、近端側および遠端側の場所間で音響信号を相互伝送するシステムである。図１に示す音響システムでは、近端側には、話者Ｓ１およびＳ２が互いに異なる複数の音源（近端音源）として存在しており、遠端側には、話者Ｓ３およびＳ４が互いに異なる複数の音源（遠端音源）として存在しているとする。近端側には、遠端側の話者Ｓ３およびＳ４の音声からなる遠端音響信号を拡声するためのスピーカ１０および２０と、近端側の話者Ｓ１およびＳ２の音声からなる近端音響信号を検出するためのマイクロホン１１および２１とが設けられている。遠端側には、近端音響信号を拡声するためのスピーカ３０および４０と、遠端音響信号を検出するためのマイクロホン３１および４１とが設けられている。スピーカ（１０、２０、３０、４０）とマイクロホン（１１、２１、３１、４１）は、図８で説明したそれらと同様であり、同じ符号を付している。また図１に示す音響システムでは、一例として、本実施形態に係るマルチチャンネルエコーキャンセラが近端側にのみ設けられているとする。また図１に示す音響システムでは、一例として、近端側の話者Ｓ１およびＳ２と、遠端側の話者Ｓ３およびＳ４とが同時に会話をしている、いわゆるダブルトークが行われている状態であるとする。

図１において、本実施形態に係るマルチチャンネルエコーキャンセラは、エコーキャンセル部１により構成される。エコーキャンセル部１は、音源分離部１００、変換部１１０〜１１３、逆変換部１２０および１２１により構成される。

変換部１１０は、スピーカ２０に入力されるべき遠端音響信号を含むスピーカ入力信号ｓｐ２（ｔ）を入力とし、時間領域（ｔ）の信号から周波数領域（ω）の信号に変換する。変換部１１０において変換されたスピーカ入力信号ｓｐ２（ω）は、音源分離部１００へ出力される。変換部１１１は、スピーカ１０に入力されるべき遠端音響信号を含むスピーカ入力信号ｓｐ１（ｔ）を入力とし、時間領域の信号（ｔ）から周波数領域の信号（ω）に変換する。変換部１１１において変換されたスピーカ入力信号ｓｐ１（ω）は、音源分離部１００へ出力される。変換部１１２は、マイクロホン２１で検出された、近端音響信号とスピーカ１０および２０で拡声された遠端音響信号とを含む検出信号ｍ２（ｔ）を入力とし、時間領域の信号（ｔ）から周波数領域の信号（ω）に変換する。変換部１１２において変換された検出信号ｍ２（ω）は、音源分離部１００へ出力される。変換部１１３は、マイクロホン１１で検出された、近端音響信号とスピーカ１０および２０で拡声された遠端音響信号とを含む検出信号ｍ１（ｔ）を入力とし、時間領域の信号（ｔ）から周波数領域の信号（ω）に変換する。変換部１１３において変換された検出信号ｍ１（ω）は、音源分離部１００へ出力される。

音源分離部１００は、検出信号（ｍ１（ω）、ｍ２（ω））とスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））とを入力とする。音源分離部１００は、入力された信号に対し、独立成分分析に基づく音源分離処理を施す。この音源分離処理により、検出信号（ｍ１（ω）、ｍ２（ω））に含まれる近端音響信号と遠端音響信号とが分離される。独立成分分析に基づく音源分離処理については後述にて詳細に説明する。音源分離部１００は、分離した近端音響信号のみを出力信号ｙ１（ω）およびｙ２（ω）として出力する。ここで、遠端側の話者Ｓ３およびＳ４の音声からなる遠端音響信号は、話者Ｓ３およびＳ４にとって不要な信号、つまりエコーに相当する。したがって、音源分離部１００から近端音響信号のみが出力されることで、検出信号（ｍ１（ω）、ｍ２（ω））に含まれる遠端音響信号をエコーとしてキャンセルすることができる。

逆変換部１２０は、音源分離部１００からの出力信号ｙ１（ω）を入力とし、周波数領域（ω）の信号から時間領域（ｔ）の信号に変換する。逆変換部１２０において変換された音響信号ｙ１（ｔ）は、スピーカ３０へ出力され、スピーカ３０で拡声される。逆変換部１２１は、音源分離部１００からの出力信号ｙ２（ω）を入力とし、周波数領域（ω）の信号から時間領域（ｔ）の信号に変換する。逆変換部１２１において変換された出力信号ｙ２（ｔ）は、スピーカ４０へ出力され、スピーカ４０で拡声される。

以下、音源分離部１００で行われる独立成分分析に基づく音源分離処理について詳細に説明する。まず、音源分離部１００に入力される検出信号（ｍ１（ω）、ｍ２（ω））とスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））について詳細に説明する。検出信号（ｍ１（ω）、ｍ２（ω））とスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））は、式（４）のように表される。

式（４）において、話者Ｓ１の音声をｓ１（ω）、話者Ｓ２の音声をｓ２（ω）、話者Ｓ３の音声をｓ３（ω）、話者Ｓ４の音声をｓ４（ω）とする。また、話者Ｓ１からマイクロホン１１までの伝達特性をａ１１（ω）、話者Ｓ１からマイクロホン２１までの伝達特性をａ１２（ω）、話者Ｓ２からマイクロホン１１までの伝達特性をａ２１（ω）、話者Ｓ２からマイクロホン２１までの伝達特性をａ２２（ω）、話者Ｓ３からマイクロホン３１までの伝達特性をａ３１（ω）、話者Ｓ３からマイクロホン４１までの伝達特性をａ３２（ω）、話者Ｓ４からマイクロホン３１までの伝達特性をａ４１（ω）、話者Ｓ４からマイクロホン４１までの伝達特性をａ４２（ω）とする。

次に、図２を参照して、音源分離部１００の詳細な構成について説明する。図２は、音源分離部１００の詳細な構成を示す図である。図２において、音源分離部１００は、分離部１０１および学習部１０２により構成される。

分離部１０１には、行列要素ｗｉｊ（行数ｉ、列数ｊは１〜４の整数）で構成される分離行列Ｗ（４、４）が設定されている。初期状態では、例えば単位行列が分離行列Ｗ（４、４）として設定されているとする。分離部１０１には、検出信号（ｍ１（ω）、ｍ２（ω））とスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））が入力される。分離部１０１は、設定された分離行列Ｗ（４、４）に基づく式（５）に従って、出力信号ｙ１〜ｙ４をそれぞれ算出し、算出した出力信号ｙ１〜ｙ４をそれぞれ出力する。具体的には、分離部１０１は、式（５）に示すように、検出信号（ｍ１（ω）、ｍ２（ω））およびスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））で構成される入力ベクトルと、設定された分離行列Ｗ（４、４）とを乗算することにより、出力信号ｙ１（ω）〜ｙ４（ω）で構成される出力ベクトルを算出する。

学習部１０２は、出力信号ｙ１（ω）〜ｙ４（ω）を入力とし、独立成分分析に従って分離行列Ｗ（４、４）を学習する。具体的には、学習部１０２は、出力信号ｙ１（ω）〜ｙ４（ω）が互いに独立した信号となるように、分離行列Ｗ（４、４）を学習する。ここで独立とは、相関がないこと、つまり相関が０（ゼロ）であることを意味する。学習部１０２は、分離部１０１に設定された分離行列Ｗ（４、４）を、学習した分離行列Ｗ（４、４）に更新する。

以下、学習部１０２の学習方法についてより具体的に説明する。勾配法を用いた周波数領域の独立成分分析に一般的に用いられる学習式は、式（６）のようになる。なお、独立成分分析に用いられる学習式は、式（６）に限定されるものではなく、他の学習式であってもよい。

式（６）において、出力信号ｙ１（ω）〜ｙ４（ω）の要素は、周波数領域の複素信号になっており、分離行列Ｗ（４、４）ｉ、Ｗ（４、４）ｉ―１を構成する各行列要素は、複素数の係数になっている。Ｉは４×４の単位行列を示し、ε｛・｝は時間平均を示し、＊は複素共役信号を示す。φ（・）は非線形関数を示す。非線形関数としては、信号の確率密度関数の対数部分を微分したものに対応したものを用いるのがよく、一般的にはｔａｎｈ（・）を用いる。αは学習速度を制御するためのステップサイズパラメータを示す。ｉは学習回数を示し、右辺のＷ（４、４）ｉを左辺のＷ（４、４）ｉ―１に代入することで学習が行われる。εの括弧内に示される行列は、高次の相関行列である。

ここで、話者Ｓ１〜Ｓ４はすべて異なる話者であり、互いに独立した音源である。よって、式（４）中のｓ１（ω）〜ｓ４（ω）は互い独立しており、互いに相関のない音声になるといえる。また、検出信号（ｍ１（ω）、ｍ２（ω））は２つ入力され、この検出信号の数は近端側の話者（Ｓ１およびＳ２）の数と一致する。また、スピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））は２つ入力され、このスピーカ入力信号の数は遠端側の話者（Ｓ３およびＳ４）の数と一致する。したがって、これらの条件で学習部１０２が分離行列Ｗ（４、４）を学習し、当該学習が収束した場合、分離行列Ｗ（４、４）は、検出信号（ｍ１（ω）、ｍ２（ω））とスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））から、ｓ１（ω）〜ｓ４（ω）それぞれを分離することができる行列となる。つまり、学習が収束した分離行列Ｗ（４、４）に基づいて分離部１０１が算出した出力信号ｙ１には、検出信号（ｍ１（ω）、ｍ２（ω））に含まれていたｓ１（ω）のみが含まれ、出力信号ｙ２には、検出信号（ｍ１（ω）、ｍ２（ω））に含まれていたｓ２（ω）のみが含まれることになる。同様に、出力信号ｙ３には、スピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））に含まれていたｓ３（ω）のみが含まれ、出力信号ｙ４には、スピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））に含まれていたｓ４（ω）のみが含まれることになる。

なお、実際には、近端側において話者Ｓ１およびＳ２以外の独立した音源からの音として、近端側の環境ノイズなどがある。遠端側についても、同様である。しかしながら、これらの環境ノイズは、一般的に話者の音声に比べてガウス分布に近い信号である。このため、式（６）による学習、つまり独立成分分析による学習では、非ガウス性の大きい話者の音声を優先的に処理することになる。つまり、学習部１０２では、ｓ１（ω）〜ｓ４（ω）を優先的な処理対象とするので、検出信号（ｍ１（ω）、ｍ２（ω））とスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））から、ｓ１（ω）〜ｓ４（ω）それぞれを分離することができる分離行列が学習されることになる。

このように、学習部１０２が独立成分分析に従って分離行列Ｗ（４、４）を学習することで、分離部１０１は、検出信号（ｍ１（ω）、ｍ２（ω））から近端音響信号を出力信号ｙ１およびｙ２として分離することができるとともに、スピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））から遠端音響信号を出力信号ｙ３およびｙ４として分離することができる。なお、遠端音響信号である出力信号ｙ３およびｙ４は、音源分離部１００からは出力されず、学習部１０２の学習にのみ用いられる。

以下、出力信号ｙ１〜ｙ４がどのような信号になるかについて、式（７）を用いながら説明する。式（７）は、式（５）に式（４）を代入し、さらに、分離部１０１に入力される信号をより詳細に表したものである。なお、式（７）では、式（４）に示された（ω）の記載を省略している。

分離行列Ｗ（４、４）の学習が収束した状態では、分離部１０１から出力される出力信号ｙ１において、検出信号ｍ１に含まれる話者Ｓ３およびＳ４の音声（ｓ３・ａ３１、ｓ３・ａ３２、ｓ４・ａ４１、ｓ４・ａ４２）がエコーとしてキャンセルされ、検出信号ｍ１に含まれる話者Ｓ２の音声（ｓ２・ａ２１）がキャンセルされ、検出信号ｍ２に含まれる話者Ｓ１の音声（ｓ１・ａ１２）が加算されることとなる。そして最終的には、出力信号ｙ１は、ｓ１のみを含む信号となり、話者Ｓ１の音声しか含まない信号となる。同様に、出力信号ｙ２は、ｓ２のみを含む信号となり、話者Ｓ２の音声しか含まない信号となる。また、出力信号ｙ３は、ｓ３のみを含む信号となり、話者Ｓ３の音声しか含まない信号となる。また、出力信号ｙ４は、ｓ４のみを含む信号となり、話者Ｓ４の音声しか含まない信号となる。

ここで、例えば出力信号ｙ１において、検出信号ｍ１に含まれる話者Ｓ３およびＳ４の音声がエコーとしてキャンセルされるには、ｗ１３がスピーカ１０からマイクロホン１１までの伝達特性ｈ１１にマイナスを乗じたもの（−ｈ１１）となる必要がある。また、ｗ１４がスピーカ２０からマイクロホン１１までの伝達特性ｈ２１にマイナスを乗じたもの（−ｈ２１）となる必要がある。したがって、分離行列Ｗ（４、４）の学習が収束した状態では、スピーカ入力信号（ｓｐ１、ｓｐ２）に相関のある音声（ｓ３、ｓ４）が含まれていても、スピーカ１０およびスピーカ２０からマイクロホン１１までの伝達特性ｈ１１およびｈ２１が正しく推定できているといえる。

なお、分離行列Ｗ（４、４）を構成する各行列要素のうち、（ｗ１１、ｗ１２、ｗ２１、ｗ２２）は、近端側の話者Ｓ１およびＳ２からマイクロホン１１および２１までの各伝達特性に関するものである。（ｗ１１、ｗ１２、ｗ２１、ｗ２２）は、検出信号（ｍ１、ｍ２）に含まれる話者Ｓ１の音声と話者Ｓ２の音声とを、出力信号ｙ１およびｙ２として分離するために用いられる。また、（ｗ１３、ｗ１４、ｗ２３、ｗ２４）は、近端側のスピーカ１０および２０からマイクロホン１１および２１までの各伝達特性に関するものである。（ｗ１３、ｗ１４、ｗ２３、ｗ２４）は、検出信号（ｍ１、ｍ２）からエコー成分である話者Ｓ３およびＳ４の音声をキャンセルするために用いられる。また、（ｗ３３、ｗ３４、ｗ４３、ｗ４４）は、遠端側の話者Ｓ３およびＳ４からマイクロホン３１および４１までの各伝達特性に関するものである。（ｗ３３、ｗ３４、ｗ４３、ｗ４４）は、スピーカ入力信号（ｓｐ１、ｓｐ２）に含まれる話者Ｓ３の音声と話者Ｓ４の音声とを、出力信号ｙ３およびｙ４として分離するために用いられる。（ｗ３１、ｗ３２、ｗ４１、ｗ４２）は、検出信号（ｍ１、ｍ２）を用いて、スピーカ入力信号（ｓｐ１、ｓｐ２）に含まれる話者Ｓ３の音声と話者Ｓ４の音声とを、出力信号ｙ３およびｙ４として分離するために用いられる。

以上のように、本実施形態では、音源分離部１００は、検出信号（ｍ１、ｍ２）に含まれる遠端音響信号をキャンセルすることによって、検出信号（ｍ１、ｍ２）に含まれる近端音響信号と遠端音響信号とを分離する。そして、音源分離部１００は、分離した近端音響信号のみを出力信号ｙ１およびｙ２として出力する。これにより、スピーカ入力信号（ｓｐ１、ｓｐ２）に相関のある音声が含まれているか否かに関係なく、検出信号（ｍ１、ｍ２）に含まれる遠端音響信号をエコーとしてキャンセルすることができる。その結果、本実施形態では、マルチチャンネル再生時において、解の不定性を解決しつつ、音質劣化を生じさせることなく常に安定したエコーキャンセルを行うことができる。

また、本実施形態では、従来のような適応フィルタを用いていないので、ダブルトーク時やシングルトーク時に関係なく正しい伝達特性を推定することができる。

なお、上述では、音源分離部１００からの出力信号ｙ１およびｙ２には、近端音響信号として、話者Ｓ１およびＳ２の音声そのものが含まれるとしたが、これに限定されない。出力信号ｙ１およびｙ２には、近端音響信号として、話者Ｓ１およびＳ２の音声の特徴を示す統計量が含まれてもよい。つまり、近端音響信号は、話者Ｓ１およびＳ２の音声ではなく、話者Ｓ１およびＳ２の音声の特徴を示す統計量で構成される音響信号であってもよい。

また、上述では、ダブルトーク時の処理について説明したが、シングルトーク時（話者Ｓ３およびＳ４のみが会話している時）においてもダブルトーク時と同様の処理を行うことによって、エコーがキャンセルされることは言うまでもない。但し、シングルトーク時においては、検出信号（ｍ１、ｍ２）には話者Ｓ１およびＳ２の音声が含まれないので、音源分離部１００は、出力信号ｙ１およびｙ２を無音信号として出力することになる。実際には、話者Ｓ３およびＳ４に対して独立した音源からの音である近端側の環境ノイズなどが無音信号として出力される。

また、上述では、近端側に話者Ｓ１およびＳ２の２名が存在するとしたが、これに限定されない。近端側に存在する話者は１名であってもよいし、３名以上であってもよい。

まず、近端側に存在する話者が１名である場合として例えば話者Ｓ１だけが存在する場合について説明する。音源分離部１００は、近端音響信号に関しては、入力されるマイクロホンの検出信号の数分だけ分離する。本実施形態では、音源分離部１００に入力されるマイクロホンの検出信号の数は、ｍ１およびｍ２の２つである。よって、この場合、音源分離部１００は、出力信号ｙ１を話者Ｓ１の音声のみを含む信号として出力し、出力信号ｙ２を近端側の環境ノイズのみを含む無音信号として出力することになる。なお、この場合、話者Ｓ１の音声と環境ノイズは互いに独立であるため、話者Ｓ１の音声のみを含む出力信号ｙ１と、環境ノイズのみを含む出力信号ｙ２との間は独立となる。また、出力信号ｙ１およびｙ２と、出力信号ｙ３およびｙ４との間も独立となる。したがって、この場合であっても、音源分離部１００は、入力される信号から互いに独立な出力信号ｙ１〜ｙ４を分離することができ、検出信号（ｍ１、ｍ２）に含まれる近端音響信号と遠端音響信号とを分離することができる。

次に、近端側に存在する話者が３名である場合として例えば話者Ｓ５がさらに存在する場合について説明する。この場合において例えば話者Ｓ５が話者Ｓ１に近い位置に存在するとすると、音源分離部１００は、出力信号ｙ１を話者Ｓ１およびＳ５の音声のみを含む信号として出力し、出力信号ｙ２を話者Ｓ２の音声のみを含む信号として出力することになる。話者Ｓ５が話者Ｓ１に近い位置に存在する場合、話者Ｓ１からマイクロホン１１までの伝達特性と、話者Ｓ５からマイクロホン１１までの伝達特性とが近似し、話者Ｓ１からマイクロホン２１までの伝達特性と、話者Ｓ５からマイクロホン２１までの伝達特性とが近似する。このため、話者Ｓ５の音声は、伝達特性が近似する話者Ｓ１の音声を含む出力信号ｙ１に含まれることになる。なお、この場合、話者Ｓ１、Ｓ２、Ｓ５の音声は互いに独立であるため、話者Ｓ１およびＳ５の音声のみを含む出力信号ｙ１と、話者Ｓ２の音声のみを含む出力信号ｙ２との間は独立となる。また、出力信号ｙ１およびｙ２と、出力信号ｙ３およびｙ４との間も独立となる。したがって、音源分離部１００は、入力される信号から互いに独立な出力信号ｙ１〜ｙ４を分離することができ、検出信号（ｍ１、ｍ２）に含まれる近端音響信号と遠端音響信号とを分離することができる。

また、上述では、遠端側に話者Ｓ３およびＳ４の２名が存在するとしたが、これに限定されない。遠端側に存在する話者は１名であってもよいし、３名以上であってもよい。

まず、遠端側に存在する話者が１名である場合として例えば話者Ｓ３だけが存在する場合について説明する。音源分離部１００は、遠端音響信号に関しては、入力されるスピーカ入力信号の数分だけ分離する。本実施形態では、音源分離部１００に入力されるスピーカ入力信号の数は、ｓｐ１およびｓｐ２の２つである。よって、この場合、音源分離部１００は、出力信号ｙ３を話者Ｓ３の音声のみを含む信号として出力し、出力信号ｙ４を近端側の環境ノイズのみを含む無音信号として出力することになる。なお、この場合、話者Ｓ３の音声と環境ノイズは互いに独立であるため、話者Ｓ３の音声のみを含む出力信号ｙ３と、環境ノイズのみを含む出力信号ｙ４との間は独立となる。また、出力信号ｙ１およびｙ２と、出力信号ｙ３およびｙ４との間も独立となる。したがって、この場合であっても、音源分離部１００は、入力される信号から互いに独立な出力信号ｙ１〜ｙ４を分離することができ、検出信号（ｍ１、ｍ２）に含まれる近端音響信号と遠端音響信号とを分離することができる。

次に、遠端側に存在する話者が３名である場合として例えば話者Ｓ６がさらに存在する場合について説明する。この場合において例えば話者Ｓ６が話者Ｓ３に近い位置に存在するとすると、音源分離部１００は、出力信号ｙ３を話者Ｓ３およびＳ６の音声のみを含む信号として出力し、出力信号ｙ４を話者Ｓ４の音声のみを含む信号として出力することになる。話者Ｓ６が話者Ｓ３に近い位置に存在する場合、話者Ｓ３からマイクロホン３１までの伝達特性と、話者Ｓ６からマイクロホン３１までの伝達特性とが近似し、話者Ｓ３からマイクロホン４１までの伝達特性と、話者Ｓ６からマイクロホン４１までの伝達特性とが近似する。このため、話者Ｓ６の音声は、伝達特性が近似する話者Ｓ３の音声を含む出力信号ｙ３に含まれることになる。なお、この場合、話者Ｓ３、Ｓ４、Ｓ６の音声は互いに独立であるため、話者Ｓ３およびＳ６の音声のみを含む出力信号ｙ３と、話者Ｓ４の音声のみを含む音響信号ｙ４との間は独立となる。また、出力信号ｙ１およびｙ２と、出力信号ｙ３およびｙ４との間も独立となる。したがって、音源分離部１００は、入力される信号から互いに独立な出力信号ｙ１〜ｙ４を分離することができ、検出信号（ｍ１、ｍ２）に含まれる近端音響信号と遠端音響信号とを分離することができる。

また、図１に示す音響システムでは、一例として、本実施形態に係るマルチチャンネルエコーキャンセラが近端側にのみ設けられているとしたが、遠端側にも設置してよいことは言うまでもない。

（第２の実施形態）
図３を参照して、本発明の第２の実施形態に係るマルチチャンネルエコーキャンセラの構成について説明する。図３は、音響システムに用いられる第１の実施形態に係るマルチチャンネルエコーキャンセラの構成例を示す図である。図３に示す音響システムでは、近端側には、話者Ｓ１が音源（近端音源）として存在しており、遠端側には、話者Ｓ３およびＳ４が互いに異なる複数の音源（遠端音源）として存在しているとする。近端側には、遠端側の話者Ｓ３およびＳ４の音声からなる遠端音響信号を拡声するためのスピーカ１０および２０と、近端側の話者Ｓ１の音声からなる近端音響信号を検出するためのマイクロホン１１および２１とが設けられている。遠端側には、近端音響信号を拡声するためのスピーカ３０および４０と、遠端音響信号を検出するためのマイクロホン３１および４１とが設けられている。スピーカ（１０、２０、３０、４０）とマイクロホン（１１、２１、３１、４１）は、図８で説明したそれらと同様であり、同じ符号を付している。また図３に示す音響システムでは、一例として、本実施形態に係るマルチチャンネルエコーキャンセラが近端側にのみ設けられているとする。また図３に示す音響システムでは、一例として、近端側の話者Ｓ１と、遠端側の話者Ｓ３およびＳ４とが同時に会話をしている、いわゆるダブルトークが行われている状態であるとする。

図３において、本実施形態に係るマルチチャンネルエコーキャンセラは、エコーキャンセル部２により構成される。エコーキャンセル部２は、第１の音源分離部２１０、第２の音源分離部２２０、変換部２３０〜２３５、逆変換部２４０および２４１により構成される。

上述した第１の実施形態に係るエコーキャンセル部１では、マイクロホン１１および２１に対して１つの音源分離部１００が設けられていた。これに対し、本実施形態に係るエコーキャンセル部２では、マイクロホン１１および２１それぞれに対応するように、第１の音源分離部２１０および第２の音源分離部２２０が設けられている。つまり、本実施形態では、近端側の１つのマイクロホンに対して１つの音源分離部を設けた構成となっている。なお、変換部２３０〜２３５は、エコーキャンセル部１の変換部１１０〜１１３と同じ動作を行うが、図３では便宜上、参照符号を変えている。また逆変換部２４０および２４１についても、エコーキャンセル部１の逆変換部１２０および１２１と同じ動作を行うが、便宜上、参照符号を変えている。以下、第１の実施形態と異なる点を中心に説明する。

第１の音源分離部２１０は、変換部２３０において周波数領域（ω）に変換されたスピーカ入力信号ｓｐ２（ω）と、変換部２３１において周波数領域（ω）に変換されたスピーカ入力信号ｓｐ１（ω）と、変換部２３２において周波数領域（ω）に変換された検出信号ｍ１（ω）とを入力とする。第１の音源分離部２１０は、入力された信号に対し、独立成分分析に基づく音源分離処理を施す。この音源分離処理により、検出信号ｍ１（ω）に含まれる近端音響信号と遠端音響信号とが分離される。独立成分分析に基づく音源分離処理は、第１の実施形態の処理とほぼ同様の処理となるが、後述にて詳細に説明する。第１の音源分離部２１０は、分離した近端音響信号のみを出力信号ｙ１ａ（ω）として出力する。ここで、遠端音響信号は、エコーに相当する。したがって、第１の音源分離部２１０から近端音響信号のみが出力されることで、検出信号ｍ１（ω）に含まれる遠端音響信号をエコーとしてキャンセルすることができる。第１の音源分離部２１０から出力された出力信号ｙ１ａ（ω）は、逆変換部２４０において時間領域（ｔ）の信号に変換される。時間領域（ｔ）に変換された出力信号ｙ１ａ（ｔ）は、スピーカ３０へ出力され、スピーカ３０で拡声される。

第２の音源分離部２２０は、変換部２３３において周波数領域（ω）に変換されたスピーカ入力信号ｓｐ２（ω）と、変換部２３４において周波数領域（ω）に変換されたスピーカ入力信号ｓｐ１（ω）と、変換部２３５において周波数領域（ω）に変換された検出信号ｍ２（ω）とを入力とする。第２の音源分離部２２０は、入力された信号に対し、独立成分分析に基づく音源分離処理を施す。この音源分離処理により、検出信号ｍ２（ω）に含まれる近端音響信号と遠端音響信号とが分離される。独立成分分析に基づく音源分離処理は、第１の音源分離部２１０と同様の処理となる。第２の音源分離部２２０は、分離した近端音響信号のみを出力信号ｙ１ｂ（ω）として出力する。ここで、遠端音響信号は、エコーに相当する。したがって、第２の音源分離部２２０から近端音響信号のみが出力されることで、検出信号ｍ２（ω）に含まれる遠端音響信号をエコーとしてキャンセルすることができる。第２の音源分離部２２０から出力された出力信号ｙ１ｂ（ω）は、逆変換部２４１において時間領域（ｔ）の信号に変換される。時間領域（ｔ）に変換された出力信号ｙ１ｂ（ｔ）は、スピーカ４０へ出力され、スピーカ４０で拡声される。

以下、第１および第２の音源分離部２１０および２２０で行われる独立成分分析に基づく音源分離処理について詳細に説明する。ここでは、一例として第１の音源分離部２１０を用いて説明する。まず、第１の音源分離部２１０に入力される検出信号ｍ１（ω）とスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））について詳細に説明する。検出信号ｍ１（ω）とスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））は、式（８）のように表される。

式（８）において、話者Ｓ１の音声をｓ１（ω）、話者Ｓ３の音声をｓ３（ω）、話者Ｓ４の音声をｓ４（ω）とする。また、話者Ｓ１からマイクロホン１１までの伝達特性をａ１１（ω）、話者Ｓ１からマイクロホン２１までの伝達特性をａ１２（ω）、話者Ｓ３からマイクロホン３１までの伝達特性をａ３１（ω）、話者Ｓ３からマイクロホン４１までの伝達特性をａ３２（ω）、話者Ｓ４からマイクロホン３１までの伝達特性をａ４１（ω）、話者Ｓ４からマイクロホン４１までの伝達特性をａ４２（ω）とする。

次に、図４を参照して、第１の音源分離部２１０の詳細な構成について説明する。図４は、第１の音源分離部２１０の詳細な構成を示す図である。図４において、第１の音源分離部２１０は、分離部２１１および学習部２１２により構成される。

分離部２１１には、行列要素ｗｉｊ（行数ｉ、列数ｊは１〜３の整数）で構成される分離行列Ｗ（３、３）が設定されている。初期状態では、例えば単位行列が分離行列Ｗ（３、３）として設定されているとする。分離部２１１には、検出信号ｍ１（ω）とスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））とが入力される。分離部２１１は、設定された分離行列Ｗ（３、３）に基づく式（９）に従って、出力信号ｙ１ａ〜ｙ３ａをそれぞれ算出し、算出した出力信号ｙ１ａ〜ｙ３ａをそれぞれ出力する。具体的には、分離部２１１は、式（９）に示すように、検出信号ｍ１（ω）およびスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））で構成される入力ベクトルと、設定された分離行列Ｗ（３、３）とを乗算することにより、出力信号ｙ１ａ（ω）〜ｙ３ａ（ω）で構成される出力ベクトルを算出する。

学習部２１２は、出力信号ｙ１ａ（ω）〜ｙ３ａ（ω）を入力とし、独立成分分析に従って分離行列Ｗ（３、３）を学習する。具体的には、学習部２１２は、出力信号ｙ１ａ（ω）〜ｙ３ａ（ω）が互いに独立した信号となるように、分離行列Ｗ（３、３）を学習する。学習部２１２は、分離部２１１に設定された分離行列Ｗ（３、３）を、学習した分離行列Ｗ（３、３）に更新する。

以下、学習部２１２の学習方法についてより具体的に説明する。勾配法を用いた周波数領域の独立成分分析に一般的に用いられる学習式は、式（１０）のようになる。なお、独立成分分析に用いられる学習式は、第１の実施形態と同様、式（１０）に限定されるものではなく、他の学習式であってもよい。

式（１０）において、出力信号ｙ１ａ（ω）〜ｙ３ａ（ω）の要素は、周波数領域の複素信号になっており、分離行列Ｗ（３、３）ｉ、Ｗ（３、３）ｉ―１を構成する各行列要素は、複素数の係数になっている。Ｉは３×３の単位行列を示し、ε｛・｝は時間平均を示し、＊は複素共役信号を示す。φ（・）は非線形関数を示す。非線形関数としては、信号の確率密度関数の対数部分を微分したものに対応したものを用いるのがよく、一般的にはｔａｎｈ（・）を用いる。αは学習速度を制御するためのステップサイズパラメータを示す。ｉは学習回数を示し、右辺のＷ（３、３）ｉを左辺のＷ（３、３）ｉ―１に代入することで学習が行われる。εの括弧内に示される行列は、高次の相関行列である。

ここで、話者Ｓ１、Ｓ３、Ｓ４はすべて異なる話者であり、互いに独立した音源である。よって、式（８）中のｓ１（ω）、ｓ３（ω）、ｓ４（ω）は互い独立しており、互いに相関のない音声になるといえる。また、検出信号ｍ１（ω）は１つ入力され、この検出信号の数は近端側の話者Ｓ１の数と一致する。また、スピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））は２つ入力され、このスピーカ入力信号の数は遠端側の話者（Ｓ３およびＳ４）の数と一致する。したがって、これらの条件で学習部２１２が分離行列Ｗ（３、３）を学習し、当該学習が収束した場合、分離行列Ｗ（３、３）は、検出信号ｍ１（ω）とスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））から、ｓ１（ω）、ｓ３（ω）、ｓ４（ω）それぞれを分離することができる行列となる。つまり、学習が収束した分離行列Ｗ（３、３）に基づいて分離部１０１が算出した出力信号ｙ１ａには、検出信号ｍ１（ω）に含まれていたｓ１（ω）のみが含まれることになる。同様に、出力信号ｙ２ａには、スピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））に含まれていたｓ３（ω）のみが含まれ、出力信号ｙ３ａには、スピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））に含まれていたｓ４（ω）のみが含まれることになる。

このように、学習部２１２が独立成分分析に従って分離行列Ｗ（３、３）を学習することで、分離部２１１は、検出信号ｍ１（ω）から近端音響信号を出力信号ｙ１ａとして分離することができるとともに、スピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））から遠端音響信号を出力信号ｙ２ａおよびｙ３ａとして分離することができる。なお、遠端音響信号である出力信号ｙ２ａおよびｙ３ａは、第１の音源分離部２１０からは出力されず、学習部２１２の学習にのみ用いられる。

なお、第２の音源分離部２２０においても、第１の音源分離部２１０と同様の音源分離処理が施される。これにより、第２の音源分離部２２０からは、検出信号ｍ２（ω）に含まれていたｓ１（ω）のみを含む出力信号ｙ１ｂが出力される。

以下、出力信号ｙ１ａ〜ｙ３ａがどのような信号になるかについて、式（１１）を用いながら説明する。式（１１）は、式（９）に式（８）を代入し、さらに、分離部２１１に入力される信号をより詳細に表わしたものである。なお、式（１１）では、式（８）に示された（ω）の記載を省略している。

分離行列Ｗ（３、３）の学習が収束した状態では、ｗ１１＝γ（任意の実数）、ｗ１２＝−ｈ１１γ、ｗ１３＝−ｈ２１γとなり、最終的には出力信号ｙ１ａはｙ１ａ＝ｓ１・ａ１１となる。つまり、出力信号ｙ１ａにおいて、検出信号ｍ１に含まれる話者Ｓ３およびＳ４の音声（ｓ３・ａ３１、ｓ３・ａ３２、ｓ４・ａ４１、ｓ４・ａ４２）がエコーとしてキャンセルされることになる。また分離行列Ｗ（３、３）の学習が収束した状態では、ｗ２１およびｗ３１はｗ２１＝ｗ３１＝０となり、行列要素（ｗ２２、ｗ２３、ｗ３２、ｗ３３）は、ｓ３（ω）とｓ４（ω）とを分離することが可能な伝達特性となる。これにより、出力信号ｙ２ａは、最終的にはｓ３のみを含む信号となり、出力信号ｙ３ａは、ｓ４のみを含む信号となる。このように分離行列Ｗ（３、３）が収束した状態では、スピーカ入力信号（ｓｐ１、ｓｐ２）に相関のある音声（ｓ３、ｓ４）が含まれていても、スピーカ１０およびスピーカ２０からマイクロホン１１までの伝達特性ｈ１１およびｈ２１が正しく推定できているといえる。

なお、収束した分離行列Ｗ（３、３）を構成する各行列要素のうち、（ｗ１１）は、近端側の話者Ｓ１からマイクロホン１１までの各伝達特性に関するものである。（ｗ１１）は、ｓ１・ａ１１の信号レベルを規定するために用いられる。（ｗ１２、ｗ１３）は、近端側のスピーカ１０および２０からマイクロホン１１までの各伝達特性に関するものである。（ｗ１２、ｗ１３）は、検出信号ｍ１からエコー成分である話者Ｓ３およびＳ４の音声をキャンセルするために用いられる。（ｗ２２、ｗ２３、ｗ３２、ｗ３３）は、遠端側の話者Ｓ３およびＳ４からマイクロホン３１および４１までの各伝達特性に関するものである。（ｗ２２、ｗ２３、ｗ３２、ｗ３３）は、スピーカ入力信号（ｓｐ１、ｓｐ２）に含まれる話者Ｓ３の音声と話者Ｓ４の音声とを、出力信号ｙ２ａおよびｙ３ａとして分離するために用いられる。（ｗ２１、ｗ３１）は、検出信号ｍ１を用いて、スピーカ入力信号（ｓｐ１、ｓｐ２）に含まれる話者Ｓ３の音声と話者Ｓ４の音声とを、出力信号ｙ２ａおよびｙ３ａとして分離するために用いられる。

以上のように、本実施形態では、第１の音源分離部２１０は、検出信号ｍ１に含まれる近端音響信号と遠端音響信号とを分離し、分離した近端音響信号のみを出力信号ｙ１ａとして出力する。また、第２の音源分離部２２０は、検出信号ｍ２に含まれる近端音響信号と遠端音響信号とを分離し、分離した近端音響信号のみを出力信号ｙ１ｂとして出力する。これにより、スピーカ入力信号（ｓｐ１、ｓｐ２）に相関のある音声が含まれているか否かに関係なく、検出信号（ｍ１、ｍ２）に含まれる遠端音響信号をエコーとしてキャンセルすることができる。その結果、本実施形態では、マルチチャンネル再生時において、解の不定性を解決しつつ、音質劣化を生じさせることなく常に安定したエコーキャンセルを行うことができる。

また、本実施形態では、従来のような適応フィルタを用いていないので、ダブルトーク時やシングルトーク時に関係なく正しい伝達特性を推定することができる。

また、本実施形態では、マイクロホン１１および２１それぞれに対応するように、第１の音源分離部２１０および第２の音源分離部２２０が設けられている。このため、第１の音源分離部２１０からは、検出信号ｍ１に含まれていた話者Ｓ１の音声ｓ１のみを含む出力信号ｙ１ａが出力され、第２の音源分離部２２０からは、検出信号ｍ２に含まれていた話者Ｓ１の音声ｓ１のみを含む出力信号ｙ１ｂが出力されることになる。出力信号ｙ１ａは、検出信号ｍ１に含まれていた話者Ｓ１の音声ｓ１のみを含むので、話者Ｓ１からマイクロホン１１へ向かう方向感を有する信号となる。同様に、出力信号ｙ１ｂは、検出信号ｍ２に含まれていた話者Ｓ１の音声ｓ１のみを含むので、話者Ｓ１からマイクロホン２１へ向かう方向感を有する信号となる。したがって、これらの出力信号ｙ１ａおよびｙ１ｂが遠端側のスピーカ３０および４０で拡声されると、話者Ｓ３およびＳ４は、拡声される話者Ｓ１の音声に対して方向感を感じることができる。

なお、上述では、ダブルトーク時の処理について説明したが、シングルトーク時（話者Ｓ３およびＳ４のみが会話している時）においてもダブルトーク時と同様の処理を行うことによって、エコーがキャンセルされることは言うまでもない。但し、シングルトーク時においては、検出信号ｍ１には話者Ｓ１の音声が含まれないので、第１の音源分離部２１０は、出力信号ｙ１ａを無音信号として出力することになる。実際には、話者Ｓ３およびＳ４に対して独立した音源からの音である近端側の環境ノイズなどが無音信号として出力される。

また、上述では、近端側に話者Ｓ１の１名が存在するとしたが、これに限定されない。近端側に存在する話者は２名以上であってもよい。

近端側に存在する話者が２名である場合として例えば話者Ｓ２がさらに存在する場合について説明する。第１の音源分離部２１０および第２の音源分離部２２０は、近端音響信号に関しては、入力されるマイクロホンの検出信号の数分だけ分離する。本実施形態では、第１の音源分離部２１０に入力されるマイクロホンの検出信号の数は、ｍ１の１つであり、第２の音源分離部２２０に入力されるマイクロホンの検出信号の数は、ｍ２の１つである。よって、この場合、第１の音源分離部２１０からは、検出信号ｍ１に含まれていた話者Ｓ１およびＳ２の音声のみを含む出力信号ｙ１ａが出力され、第２の音源分離部２２０からは、検出信号ｍ２に含まれていた話者Ｓ１およびＳ２の音声のみを含む出力信号ｙ１ｂが出力されることになる。なお、この場合、話者Ｓ１〜Ｓ４の音声は互いに独立であるため、話者Ｓ１およびＳ２の音声のみを含む出力信号ｙ１ａと、話者Ｓ３の音声のみを含む出力信号ｙ２ａと、話者Ｓ４の音声のみを含む出力信号ｙ３ａとの間も独立となる。したがって、第１の音源分離部２１０は、入力される信号から互いに独立な出力信号ｙ１ａ〜ｙ３ａを分離することができ、検出信号ｍ１に含まれる近端音響信号と遠端音響信号とを分離することができる。このことは、第２の音源分離部２２０についても同様である。

また、上述では、遠端側に話者Ｓ３およびＳ４の２名が存在するとしたが、これに限定されない。遠端側に存在する話者は１名であってもよいし、３名以上であってもよい。この場合については、上述した第１の実施形態と同様であるので、説明を省略する。

また、上述では、変換部２３０〜２３５は、第１の音源分離部２１０および第２の音源分離部２２０に入力される信号それぞれに対して１つずつ設けられていた。しかしながら、図５に示すように、一部の変換部を共用してもよい。図５は、一部の変換部を共用した場合を示す図である。図５において、変換部２３３は、スピーカ入力信号ｓｐ２を周波数領域（ω）に変換し、第１の音源分離部２１０および第２の音源分離部２２０それぞれに出力する。変換部２３４は、スピーカ入力信号ｓｐ１を周波数領域（ω）に変換し、第１の音源分離部２１０および第２の音源分離部２２０それぞれに出力する。このように、図５では、第１の音源分離部２１０および第２の音源分離部２２０に対して、変換部２３３と２３４とを共用している。このように、変換部２３３と２３４を共用することで、マルチチャンネルエコーキャンセラ全体の処理量を削減することができる。

また、図３に示す音響システムでは、一例として、本実施形態に係るマルチチャンネルエコーキャンセラが近端側にのみ設けられているとしたが、遠端側にも設置してよいことは言うまでもない。

（第３の実施形態）
上述した第１の音源分離部２１０および第２の音源分離部２２０では、分離行列を構成する全ての行列要素を更新する構成であった。これに対し、分離行列を構成する各行列要素のうち、一部の行列要素を拘束する（一部の行列要素を０にする）ようにしてもよい。以下、図６を参照して、第１の音源分離部２１０および第２の音源分離部２２０分離行列の一部の行列要素を拘束する場合を第３の実施形態として説明する。図６は、第１の音源分離部２１０に設定された分離行列の一部を拘束した第１の音源分離部２１０ａの構成を示す図である。

図６において、第１の音源分離部２１０ａは、拘束型分離部２１１ａおよび拘束型学習部２１２ａにより構成される。拘束型分離部２１１ａには、行列要素ｗｉｊ（行数ｉ、列数ｊは１〜３の整数）で構成される分離行列Ｗａ（３、３）が設定されている。初期状態では、例えば単位行列が分離行列Ｗａ（３、３）として設定されているとする。拘束型分離部２１１ａには、検出信号ｍ１（ω）とスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））とが入力される。拘束型分離部２１１ａは、設定された分離行列Ｗａ（３、３）に基づく式（１２）に従って、出力信号ｙ１ａ〜ｙ３ａをそれぞれ算出し、算出した出力信号ｙ１ａ〜ｙ３ａをそれぞれ出力する。具体的には、拘束型分離部２１１ａは、式（１２）に示すように、検出信号ｍ１（ω）およびスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））で構成される入力ベクトルと、設定された分離行列Ｗａ（３、３）とを乗算することにより、出力信号ｙ１ａ（ω）〜ｙ３ａ（ω）で構成される出力ベクトルを算出する。

式（１２）に示された分離行列Ｗａ（３、３）において、行列要素である（ｗ２１、ｗ３１）、（ｗ２３、ｗ３２）は０となり、拘束されている。拘束型分離部２１１ａから出力された出力信号ｙ１ａ（ω）〜ｙ３ａ（ω）のうち、近端音響信号である出力信号ｙ１ａ（ω）のみ、第１の音源分離部２１０ａから出力される。

拘束型学習部２１２ａは、出力信号ｙ１ａ（ω）〜ｙ３ａ（ω）を入力とし、独立成分分析を行って拘束型分離部２１１ａに設定された分離行列Ｗａ（３、３）を学習する。具体的には、拘束型学習部２１２ａは、式（１３）に従って、分離行列Ｗａ（３、３）を学習する。拘束型学習部２１２ａは、拘束型分離部２１１ａに設定された分離行列Ｗａ（３、３）を、学習した分離行列Ｗａ（３、３）に更新する。

式（１３）に従えば、拘束型学習部２１２ａは、分離行列Ｗａ（３、３）を構成する各行列要素のうち、非ゼロとなる行列要素のみを更新することとなる。このような分離行列Ｗａ（３、３）の学習によっても、入力された信号に含まれる近端音響信号と遠端音響信号とを分離することができる。

以下、分離行列の一部の行列要素を拘束する目的、および、行列要素の一部を拘束しても近端音響信号と遠端音響信号とを分離することができる理由について説明する。まず、上述した第２の実施形態では、分離行列が一旦収束した状態において、遠端音源が移動した場合や、遠端音源の数が多い場合などについては、特に言及していなかった。しかしながら、遠端音源が移動した場合や、遠端音源の数が多い場合、実際の伝達特性（ａ３１（ω）やａ３２（ω）など）が変動する。これにより、第２の実施形態のように分離行列の全係数を更新する構成では、エコーをキャンセルするために用いられる行列要素（ｗ１２、ｗ１３）が学習を介して一時的に変動することがある。行列要素（ｗ１２、ｗ１３）が一時的に変動した場合、近端音響信号と遠端音響信号との分離が不完全になり、エコーのキャンセル効果が一時的に劣化する。

また、行列要素（ｗ２１、ｗ３１）は、検出信号ｍ１を用いて、スピーカ入力信号（ｓｐ１、ｓｐ２）に含まれる話者Ｓ３の音声と話者Ｓ４の音声とを、出力信号ｙ２ａおよびｙ３ａとして分離するために用いられる行列要素である。ここで、遠端音響信号である出力信号ｙ２ａおよびｙ３ａは、第１の音源分離部２１０からは出力されず、学習部２１２の学習にのみ用いられる。このため、検出信号ｍ１には、遠端音響信号である出力信号ｙ２ａおよびｙ３ａの分離に寄与する信号は含まれることはない。したがって、分離行列の学習が収束した状態では、ｗ２１＝ｗ３１＝０となるはずである。しかしながら、第２の実施形態のように分離行列の全行列要素を更新する構成では、遠端音源が移動したりして実際の伝達特性（ａ３１（ω）やａ３２（ω）など）が変動すると、学習を介して行列要素（ｗ２１、ｗ３１）も一時的に変動する。行列要素（ｗ２１、ｗ３１）が一時的に変動すると、行列要素（ｗ１１）も次の学習を介して一時的に変動することになる。これにより、近端音響信号と遠端音響信号との分離が不完全になり、エコーのキャンセル効果が一時的に劣化する。

このようなエコーのキャンセル効果の一時的な劣化を防ぐため、本実施形態では、分離行列の一部の行列要素を拘束している。

以下、遠端音源の状態によってエコーのキャンセル効果が一時的に劣化するという現象を、数式上で説明する。式（１４）は、式（１０）の更新式のうち、右辺の第１項を展開したものである。

式（１４）の右辺の第１項は、分離行列Ｗの学習における更新量ΔＷを示している。行列要素ε｛φ（ｙ_i）ｙ_j＊｝_i≠_jは、出力信号ｙｉ、ｙｊが互いに独立になれば、ε｛φ（ｙ_i）ｙ_j＊｝_i≠_j≒０となる。また、分離行列Ｗの学習が収束している状態では、更新量ΔＷは０（ゼロ）近傍を振動する。つまり、更新量ΔＷの全行列要素が０となる。

ここで、分離行列Ｗの学習が収束してエコーキャンセルが良好に行われている状態から遠端側の伝達特性（ａ３１（ω）やａ３２（ω）など）が変動した場合を考える。この場合、収束した分離行列Ｗの行列要素（ｗ２２、ｗ２３、ｗ３２、ｗ３３）の推定値が、実際の伝達特性と一致しなくなる。これにより、遠端音響信号に関する出力信号ｙ２ａとｙ３ａとの分離が不完全になる。すなわち、出力信号ｙ２ａとｙ３ａとの間の独立性が低下し、互いに相関をもつようになる。式（１４）でいえば、ε｛φ（ｙ_2a）ｙ_3a＊｝、ε｛φ（ｙ_3a）ｙ_2a＊｝が値を持つことになる。特に、遠端音源の数が多い場合、遠端側の伝達特性が常に変化するので、ε｛φ（ｙ_2a）ｙ_3a＊｝、ε｛φ（ｙ_3a）ｙ_2a＊｝が常に値を持つことになる。なお、式（１４）の右辺の第１項の２行目と３行目の各行列要素には、ε｛φ（ｙ_2a）ｙ_3a＊｝、ε｛φ（ｙ_3a）ｙ_2a＊｝が含まれている。このため、ε｛φ（ｙ_2a）ｙ_3a＊｝、ε｛φ（ｙ_3a）ｙ_2a＊｝が変動するということは、式（１４）の右辺の第１項の２行目と３行目の各行列要素が変動することを意味する。

式（１４）の右辺の第１項の２行目と３行目の各行列要素が変動すると、その変動に基づいて学習された分離行列Ｗの２行目と３行目の各行列要素（ｗ２１〜ｗ２３、ｗ３１〜ｗ３３）も変動する。このうち、行列要素（ｗ２３、ｗ３２）の変動に基づいて次の学習がなされると、分離行列Ｗの行列要素（ｗ１２、ｗ１３）が変動することになる。また、行列要素（ｗ２１、ｗ３１）の変動に基づいて次の学習がなされると、分離行列Ｗの行列要素（ｗ１１）が変動することになる。このような分離行列Ｗの１行目の各行列要素の変動により、エコーのキャンセル効果が一時的に劣化してしまう。

そこで、本実施形態では、分離行列の行列要素（ｗ３２、ｗ２３）と行列要素（ｗ２１、ｗ３１）をそれぞれ０に拘束する。これにより、遠端側の伝達特性が変動しても、学習を介した分離行列Ｗの１行目の各行列要素の変動を防ぐことができ、エコーのキャンセル効果の一時的な劣化を防ぐことができる。

次に、分離行列Ｗａのように、行列要素（ｗ３２、ｗ２３）と行列要素（ｗ２１、ｗ３１）をそれぞれ０に拘束した場合の学習式を考える。単純に式（１０）の学習式を式（１２）の分離行列Ｗａに適用させると、式（１５）のようになる。

式（１５）の右辺の第１項を一旦展開して再度整理すると、式（１３）と同じ式になる。つまり、式（１３）は、分離行列の一部の行列要素を拘束することによって得られる学習式であるといえる。

式（１３）において、分離行列Ｗａの学習が収束したとき、更新量ΔＷは０行列になる。更新量ΔＷが０行列になるということは、｛φ（ｙ_1a）ｙ_2a＊｝＝｛φ（ｙ_2a）ｙ_1a＊｝＝｛φ（ｙ_1a）ｙ_3a＊｝＝｛φ（ｙ_3a）ｙ_1a＊｝＝０、および、１−ε｛φ（ｙ_1a）ｙ_1a＊｝＝１−ε｛φ（ｙ_2a）ｙ_2a＊｝＝１−ε｛φ（ｙ_3a）ｙ_3a＊｝＝０であることを意味する。このことから、分離行列Ｗａの学習が収束したとき、近端音響信号である出力信号ｙ１ａと遠端音響信号である出力信号ｙ２ａとの間、近端音響信号である出力信号ｙ１ａと遠端音響信号である出力信号ｙ３ａとの間が独立になることがわかる。つまり、式（１３）に基づく学習が収束したとき、近端音響信号と遠端音響信号とが分離されることがわかる。

なお、更新量ΔＷが０行列になることに関し、｛φ（ｙ_2a）ｙ_3a＊｝、｛φ（ｙ_3a）ｙ_2a＊｝の値は関係ない。このため、学習の収束時において、遠端音響信号である出力信号ｙ２ａと出力信号ｙ３ａの間の独立性はあってもなくてもどちらでもよいということになる。つまり、遠端音響信号については、必ずしも、互いに独立した出力信号ｙ２ａと出力信号ｙ３ａとが出力されないことになる。

以上のように、分離行列の一部の行列要素を拘束することにより、遠端側の伝達特性が変動しても、学習を介した分離行列Ｗの１行目の各行列要素の変動を防ぐことができ、エコーのキャンセル効果の一時的な劣化を防ぐことができる。また、分離行列の一部の行列要素を拘束した場合、拘束していない場合と比べて演算量を削減することができる。

なお、本実施形態における学習式として式（１３）を用いるとしたが、式（１６）を用いてもよい。式（１６）を用いても、近端音響信号と遠端音響信号とを分離することができる。

また、本実施形態では、上述した第１の音源分離部２１０および第２の音源分離部２２０に設定された分離行列に関して説明したが、これに限定されない。上述した音源分離部１００に設定された分離行列Ｗ（４、４）の一部の係数を拘束しても、本実施形態と同様の効果が得られる。以下、行数および列数が異なる分離行列に対して共通の拘束条件を式（１７）〜式（１９）に示す。なお、分離行列の行数及び列数は、それぞれ（Ｍ＋Ｋ）であるとする。Ｍは、音源分離部に検出信号を入力する近端側のマイクロホンの数を示し、Ｋは、音源分離部にスピーカ入力信号を入力する近端側のスピーカの数を示している。また、分離行列に乗じられる入力ベクトルは、近端側のマイクロホンの検出信号が分離行列の１行目からＭ行目までに対応するように、スピーカ入力信号が分離行列のＭ＋１行目からＭ＋Ｋ行目までに対応するように構成されるとする。また、式（１７）〜式（１９）において、ｉ（ｉ＝１〜Ｍ＋Ｋ）は行数を示し、ｊ（ｊ＝１〜Ｍ＋Ｋ）は列数を示している。

式（１７）は、遠端側の話者（Ｓ３およびＳ４）から遠端側のマイクロホン（３１および４１）までの各伝達特性に関する行列要素（３×３行列ではｗ２２、ｗ２３、ｗ３２、ｗ３３）についての拘束条件を示す式である。

式（１７）に示す拘束条件は、遠端音響信号について互いに独立な複数の出力信号にさらに分離させる必要がない場合に有効である。この場合であっても、近端音響信号と遠端音響信号とを分離することはできる。

式（１８）は、近端側のマイクロホンの検出信号（ｍ１、ｍ２など）を用いて、スピーカ入力信号（ｓｐ１、ｓｐ２）に含まれる遠端側の話者の音声（Ｓ３およびＳ４）を、各出力信号（ｙ３、ｙ４など）として分離するために用いられる行列要素（３×３行列ではｗ２１、ｗ３１）についての拘束条件を示す式である。

式（１８）に示す拘束条件は、システム処理上、音源分離処理とは関係のない行列要素に関する条件であるため、式（１８）に示す拘束条件を適用しても、近端音響信号と遠端音響信号とを分離することはできる。

式（１９）は、近端側の話者（Ｓ１およびＳ２など）から近端側のマイクロホン（１１および２１）までの各伝達特性に関する行列要素（３×３行列ではｗ１１）についての拘束条件を示す式である。

式（１９）に示す拘束条件は、近端音響信号について互いに独立な複数の出力信号にさらに分離させる必要がない場合に有効である。この場合であっても、近端音響信号と遠端音響信号とを分離することはできる。

（第４の実施形態）
第４の実施形態において、上述した音源分離部１００における音源分離処理をコンピュータプログラムを用いてコンピュータシステム上で実現する場合について説明する。コンピュータシステムは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどで構成される。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、音源分離部１００の音源分離処理が実現される。なお、コンピュータプログラムは、音源分離部１００の音源分離処理を実現するために、コンピュータシステムに対する指令を示す命令コードが複数個組み合わされて構成されたものである。また、第１の音源分離部２１０や第２の音源分離部２２０の音源分離処理を、コンピュータプログラムを用いてコンピュータシステム上で実現するようにしてもよい。

図７を参照して、音源分離部１００の音源分離処理を実現するプログラム処理フローについて説明する。図７は、音源分離部１００の音源分離処理を実現するプログラム処理フローを示す図である。図７において、音源分離部１００の分離部１０１に初期行列として例えば単位行列が設定される（ステップＳ１）。ステップＳ１の次に、分離部１０１は、検出信号（ｍ１（ω）、ｍ２（ω））とスピーカ入力信号（ｓｐ１（ω）、ｓｐ２（ω））とを入力ベクトルとして入力する（ステップＳ２）。ステップＳ２の次に、分離部１０１は、現在設定された分離行列Ｗに基づく式（５）に従って、出力ベクトルである出力信号ｙ１〜ｙ４をそれぞれ算出する（ステップＳ３）。ステップＳ３の次に、学習部１０２は、ステップＳ３で算出された出力信号ｙ１〜ｙ４に基づいて、式（６）に従って分離行列Ｗを学習する（ステップＳ４）。具体的には、学習部１０２は、出力信号ｙ１〜ｙ４間の高次の相関（例えば、｛φ（ｙ₃）ｙ₂＊｝など）をそれぞれ算出することにより、高次の相関行列を算出する。そして、学習部１０２は、算出した高次の相関行列を用いて、更新すべき分離行列を学習する。ステップＳ４の次に、学習部１０２は、分離部１０１に現在設定された分離行列Ｗを、ステップＳ４で学習した分離行列Ｗに更新する（ステップＳ５）。ステップＳ５の次に、学習部１０２は、更新をＮ（１以上の整数）回行ったか否かを判断する（ステップＳ６）。更新がＮ回行われていない場合（ステップＳ６でＮｏ）、処理はステップＳ２に戻る。更新がＮ回行われた場合（ステップＳ６でＹｅｓ）、分離部１０１は、更新された分離行列Ｗに基づく式（５）に従って、出力ベクトルである出力信号ｙ１〜ｙ４をそれぞれ算出する（ステップＳ７）。このステップＳ７により、検出信号（ｍ１（ω）、ｍ２（ω））に含まれる近端音響信号と遠端音響信号とが分離される。ステップＳ７の次に、分離部１０１は、近端音響信号である出力信号ｙ１およびｙ２のみを出力する（ステッＳ８）。このステップＳ８により、検出信号（ｍ１（ω）、ｍ２（ω））に含まれる遠端音響信号がエコーとしてキャンセルされる。

図７に示すプログラム処理を行うことにより、上述した音源分離部１００における音源分離処理をコンピュータシステム上で実現することができる。

なお、行列要素を一部拘束した第１の音源分離部２１０ａなどについても、コンピュータプログラムを用いてコンピュータシステム上で実現することができる。この場合のプログラム処理は、図７に示すプログラム処理に対し、式（１７）〜式（１９）に示した所定の行列要素については、０に拘束しながら処理をする点で異なる。つまり、ステップＳ４およびＳ５において、学習部１０２は、所定の行列要素以外の行列要素のみ処理を行い、所定の行列要素については０で拘束しながら処理を行う。

（その他変形例）
なお、上述した第１〜３の実施形態において本発明に係るマルチチャンネルエコーキャンセラを説明してきたが、本発明に係るエコーキャンセラは、上述した第１〜３の実施形態で説明した内容に限定されない。本発明に係るマルチチャンネルエコーキャンセラは、以下のような形態であってもよい。

（１）上述した第１〜３の実施形態に係るマルチチャンネルエコーキャンセラを構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）で構成されてもよい。なお、システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造され得る超多機能ＬＳＩである。システムＬＳＩにおいて、例えばマイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムを実現することもできる。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、コンピュータシステムとしての機能を実現する。

（２）上述した第１〜３の実施形態に係るマルチチャンネルエコーキャンセラを構成する構成要素の一部または全部は、マルチチャンネルエコーキャンセラに脱着可能なＩＣカード、または単体のモジュールで構成されていてもよい。なお、ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムを実現することもできる。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、コンピュータシステムとしての機能を実現する。また、ＩＣカードまたはモジュールは、上記（１）の超多機能ＬＳＩを含むとしてもよい。また、ＩＣカードまたはモジュールは、耐タンパ性を有するとしてもよい。

（３）本発明は、上述した第１〜第３の実施形態に基づくマルチチャンネルエコーキャンセル方法であってもよい。また、本発明は、マルチチャンネルエコーキャンセル方法をコンピュータ上で実現させるためのコンピュータプログラムであってもよいし、当該コンピュータプログラムからなるデジタル信号であってもよい。また、本発明は、上記コンピュータプログラムまたはデジタル信号を、コンピュータ読み取り可能な記録媒体（例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど）に記録したものとしてもよい。また、本発明は、上記コンピュータプログラムまたはデジタル信号を、電気通信回線（無線通信回線、有線通信回線、インターネットを代表とするネットワーク回線、データ放送回線など）を経由して伝送されるものであってもよい。また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステム上で実現されるものであって、メモリに記憶されたコンピュータプログラムにしたがってマイクロプロセッサが動作することで実現されてもよい。また、本発明は、上記コンピュータプログラムまたはデジタル信号を記録媒体に記録して移送することにより（または、ネットワーク等を経由して移送することにより）、独立した他のコンピュータシステム上で実現されてもよい。

（４）上述した第１〜第３の実施形態と上述した（１）〜（３）の変形例とを適宜組み合わせてもよい。

本発明に係るマルチチャンネルエコーキャンセラは、マルチチャンネル再生時において音質劣化が生じることなく常に安定したエコーキャンセルを行うことができ、ダブルトーク時やシングルトーク時に関係なく安定したエコーキャンセルを行うことを可能にするものであり、会議システムやハンズフリー電話の他、ガイドアナウンス再生時や音楽再生時における音声認識システム等にも適用される。

音響システムに用いられる第１の実施形態に係るマルチチャンネルエコーキャンセラの構成例を示す図 音源分離部１００の詳細な構成を示す図 音響システムに用いられる第１の実施形態に係るマルチチャンネルエコーキャンセラの構成例を示す図 第１の音源分離部２１０の詳細な構成を示す図 一部の変換部を共用した場合を示す図 第１の音源分離部２１０に設定された分離行列の一部を拘束した第１の音源分離部２１０ａの構成を示す図 音源分離部１００の音源分離処理を実現するプログラム処理フローを示す図 従来の適応フィルタを用いたマルチチャンネルエコーキャンセラ９の構成を示す図

符号の説明

１、２ エコーキャンセル部
１０、２０、３０、４０ スピーカ
１１、２１、３１、４１ マイクロホン
１００ 音源分離部
１０１、２１１、２１１ａ 分離部
１０２、２１２、２１２ａ 学習部
１１０〜１１３、２３０〜２３５ 変換部
１２０、１２１、２４０、２４１ 逆変換部
２１０、２１０ａ 第１の音源分離部
２２０ 第２の音源分離部

Claims (14)

1. 第１の場所に設けられた複数のマイクロホンで検出される当該第１の場所に存在する１つ以上の音源からの第１の音響信号と、第２の場所に設けられた複数のマイクロホンで検出される当該第２の場所に存在する１つ以上の音源からの第２の音響信号とを、前記第１および第２の場所それぞれに設けられた複数のスピーカを用いることによって、前記第１および第２の場所間で相互伝送する音響システムに用いられるマルチチャンネルエコーキャンセラであって、
   前記第１の場所に設けられた複数のマイクロホンは、前記第１の音響信号に加えてさらに、前記第１の場所に設けられた複数のスピーカで拡声された前記第２の音響信号を検出しており、
   前記マルチチャンネルエコーキャンセラは、前記第１の場所に設けられた複数のスピーカそれぞれに入力されるべき前記第２の音響信号を含むスピーカ入力信号と、前記第１の場所に設けられた複数のマイクロホンの検出信号とを入力とし、独立成分分析に基づく信号処理を施して各前記検出信号に含まれる第１の音響信号と第２の音響信号とを分離し、当該分離した第１の音響信号のみを前記第２の場所に設けられた複数のスピーカへ出力することによって、各前記検出信号に含まれる第２の音響信号をエコーとしてキャンセルするエコーキャンセル部を備える、マルチチャンネルエコーキャンセラ。
2. 前記エコーキャンセル部は、各前記スピーカ入力信号および各前記検出信号を入力とし、前記独立成分分析に基づく信号処理を施して、各前記検出信号に含まれる第１の音響信号と第２の音響信号とを分離するとともに当該第１の音響信号に含まれる互いに相関の低い信号を前記検出信号の数の分だけ分離し、当該分離した互いに相関の低い信号のみを前記第２の場所に設けられた複数のスピーカへ出力する音源分離部を有することを特徴とする、請求項１に記載のマルチチャンネルエコーキャンセラ。
3. 前記エコーキャンセル部は、前記第１の場所に設けられた複数のマイクロホンそれぞれに対応して設けられ、対応するマイクロホンの検出信号および各前記スピーカ入力信号を入力とし、前記独立成分分析に基づく信号処理を施して前記対応するマイクロホンの検出信号に含まれる第１の音響信号と第２の音響信号とを分離し、当該分離した第１の音響信号のみを前記第２の場所に設けられたいずれか１つのスピーカへ出力する複数の音源分離部を有することを特徴とする、請求項１に記載のマルチチャンネルエコーキャンセラ。
4. 前記エコーキャンセル部には、各前記検出信号に含まれる第１の音響信号と第２の音響信号とを分離するための分離行列が予め設定されており、
   前記分離行列は、前記第１の場所に設けられた複数のスピーカから当該第１の場所に設けられた複数のマイクロホンまでの各伝達特性に関する複数の第１の行列要素であって、前記独立成分分析に従って学習された複数の第１の行列要素を含み、
   前記エコーキャンセル部は、各前記スピーカ入力信号および各前記検出信号により構成される入力ベクトルを前記分離行列に対して乗算して各前記検出信号に含まれる第２の音響信号を各前記検出信号から減算することにより、各前記検出信号に含まれる第１の音響信号と第２の音響信号とを分離することを特徴とする、請求項１に記載のマルチチャンネルエコーキャンセラ。
5. 前記分離行列は、前記第２の場所に存在する１以上の音源から当該第２の場所に設けられた複数のマイクロホンまでの各伝達特性に関する複数の第２の行列要素をさらに含み、
   各前記第２の行列要素のうち、前記分離行列の対角以外を構成する行列要素が０であることを特徴する、請求項４に記載のマルチチャンネルエコーキャンセラ。
6. 前記分離行列は、各前記検出信号を用いて、各前記スピーカ入力信号における前記第２の音響信号に含まれる互いに相関の低い信号を前記スピーカ入力信号の数の分だけ分離するための複数の第２の行列要素をさらに含み、
   各前記第２の行列要素は、全て０であることを特徴する、請求項４に記載のマルチチャンネルエコーキャンセラ。
7. 前記分離行列は、前記第２の場所に存在する１以上の音源から当該第２の場所に設けられた複数のマイクロホンまでの各伝達特性に関する複数の第２の行列要素と、各前記検出信号を用いて、各前記スピーカ入力信号における前記第２の音響信号に含まれる互いに相関の低い信号を前記スピーカ入力信号の数の分だけ分離するための複数の第３の行列要素とをさらに含み、
   各前記第２の行列要素のうち、前記分離行列の対角以外を構成する行列要素が０であり、各前記第３の行列要素が全て０であることを特徴する、請求項４に記載のマルチチャンネルエコーキャンセラ。
8. 前記分離行列は、前記第１の場所に存在する１以上の音源から当該第１の場所に設けられた複数のマイクロホンまでの各伝達特性に関する複数の第２の行列要素をさらに含み、
   各前記第２の行列要素のうち、前記分離行列の対角以外を構成する行列要素が０であることを特徴する、請求項４に記載のマルチチャンネルエコーキャンセラ。
9. 第１の場所に設けられた複数のマイクロホンで検出される当該第１の場所に存在する１つ以上の音源からの第１の音響信号と、第２の場所に設けられた複数のマイクロホンで検出される当該第２の場所に存在する１つ以上の音源からの第２の音響信号とを、前記第１および第２の場所それぞれに設けられた複数のスピーカを用いることによって、前記第１および第２の場所間で相互伝送する音響システムに用いられるマルチチャンネルエコーキャンセル方法であって、
   前記第１の場所に設けられた複数のマイクロホンは、前記第１の音響信号に加えてさらに、前記第１の場所に設けられた複数のスピーカで拡声された前記第２の音響信号を検出しており、
   前記マルチチャンネルエコーキャンセル方法は、
   前記第１の場所に設けられた複数のスピーカそれぞれに入力されるべき前記第２の音響信号を含むスピーカ入力信号と、前記第１の場所に設けられた複数のマイクロホンの検出信号とを入力する入力ステップと、
   前記入力ステップにおいて入力された各前記スピーカ入力信号および各前記検出信号に対して独立成分分析に基づく信号処理を施すことによって、各前記検出信号に含まれる第１の音響信号と第２の音響信号とを分離する分離ステップと、
   前記分離ステップにおいて分離された第１の音響信号のみを前記第２の場所に設けられた複数のスピーカへ出力することによって、各前記検出信号に含まれる第２の音響信号をエコーとしてキャンセルするキャンセルステップとを有する、マルチチャンネルエコーキャンセル方法。
10. 前記分離ステップは、
    前記入力ステップにおいて入力された各前記スピーカ入力信号および各前記検出信号で構成される入力ベクトルに対して、各前記検出信号に含まれる第１の音響信号と第２の音響信号とを分離するための分離行列であって、前記第１の場所に設けられた複数のスピーカから当該第１の場所に設けられた複数のマイクロホンまでの各伝達特性に関する複数の行列要素を含む分離行列を乗算することにより、当該乗算した結果である出力ベクトルを構成する複数の出力信号を算出する第１の信号算出ステップと、
    前記第１の信号算出ステップにおいて算出された出力信号間についての高次の相関を行列要素にもつ相関行列を算出する行列算出ステップと、
    前記行列算出ステップにおいて算出された相関行列を用いて、更新すべき前記分離行列に含まれる各前記行列要素を学習する学習ステップと、
    前記第１の信号算出ステップにおいて用いられた前記分離行列に含まれる各前記行列要素を、前記学習ステップにおいて学習された各前記行列要素に更新する更新ステップと、
    前記入力ステップにおいて入力された各前記スピーカ入力信号および各前記検出信号で構成される入力ベクトルに対して、前記更新ステップにおいて各前記行列要素が更新された分離行列を乗算することにより、各前記検出信号に含まれる第１の音響信号と第２の音響信号とが分離した出力ベクトルを構成する複数の出力信号を算出する第２の信号算出ステップとを有し、
    前記キャンセルステップは、前記第２の信号算出ステップにおいて算出された各前記出力信号のうち、前記第１の音響信号のみを含む出力信号を前記第２の場所に設けられた複数のスピーカへ出力することを特徴とする、請求項９に記載のマルチチャンネルエコーキャンセル方法。
11. 第１の場所に設けられた複数のマイクロホンで検出される当該第１の場所に存在する１つ以上の音源からの第１の音響信号と、第２の場所に設けられた複数のマイクロホンで検出される当該第２の場所に存在する１つ以上の音源からの第２の音響信号とを、前記第１および第２の場所それぞれに設けられた複数のスピーカを用いることによって、前記第１および第２の場所間で相互伝送する音響システムに用いられるコンピュータに実行させるプログラムであって、
    前記第１の場所に設けられた複数のマイクロホンは、前記第１の音響信号に加えてさらに、前記第１の場所に設けられた複数のスピーカで拡声された前記第２の音響信号を検出しており、
    前記コンピュータに、
    前記第１の場所に設けられた複数のスピーカそれぞれに入力されるべき前記第２の音響信号を含むスピーカ入力信号と、前記第１の場所に設けられた複数のマイクロホンの検出信号とを入力する入力ステップと、
    前記入力ステップにおいて入力された各前記スピーカ入力信号および各前記検出信号に対して独立成分分析に基づく信号処理を施すことによって、各前記検出信号に含まれる第１の音響信号と第２の音響信号とを分離する分離ステップと、
    前記分離ステップにおいて分離された第１の音響信号のみを前記第２の場所に設けられた複数のスピーカへ出力することによって、各前記検出信号に含まれる第２の音響信号をエコーとしてキャンセルするキャンセルステップとを実行させるプログラム。
12. 第１の場所に設けられた複数のマイクロホンで検出される当該第１の場所に存在する１つ以上の音源からの第１の音響信号と、第２の場所に設けられた複数のマイクロホンで検出される当該第２の場所に存在する１つ以上の音源からの第２の音響信号とを、前記第１および第２の場所それぞれに設けられた複数のスピーカを用いることによって、前記第１および第２の場所間で相互伝送する音響システムに用いられる集積回路であって、
    前記第１の場所に設けられた複数のマイクロホンは、前記第１の音響信号に加えてさらに、前記第１の場所に設けられた複数のスピーカで拡声された前記第２の音響信号を検出しており、
    前記集積回路は、前記第１の場所に設けられた複数のスピーカそれぞれに入力されるべき前記第２の音響信号を含むスピーカ入力信号と、前記第１の場所に設けられた複数のマイクロホンの検出信号とを入力とし、独立成分分析に基づく信号処理を施して各前記検出信号に含まれる第１の音響信号と第２の音響信号とを分離し、当該分離した第１の音響信号のみを前記第２の場所に設けられた複数のスピーカへ出力することによって、各前記検出信号に含まれる第２の音響信号をエコーとしてキャンセルするエコーキャンセル部を備える、集積回路。
13. 検出すべき近端音源の音響信号に加えてさらに、複数のスピーカで拡声された音響信号が含まれる１つ以上のマイクロホンの検出信号に対して、当該複数のスピーカで拡声された音響信号をエコーとしてキャンセルして前記近端音源の音響信号のみを出力するマルチチャンネルエコーキャンセラであって、
    前記近端音源の音響信号と各前記スピーカで拡声された音響信号とを含む前記１つ以上のマイクロホンの検出信号と、音の方向感を有する各前記スピーカに入力されるべきスピーカ入力信号とを入力とし、前記近端音源の音響信号と各前記スピーカで拡声された音響信号とが前記１つ以上のマイクロホンで同時に検出される所定時間において、出力すべき信号が前記近端音源の音響信号の音質を保持した信号となるように、かつ、出力すべき信号が各前記スピーカから拡声された音響信号をキャンセルした信号となるように適応動作することによって、前記１つ以上のマイクロホンの検出信号に含まれる前記近端音源の音響信号と各前記スピーカで拡声された音響信号とを分離し、分離した前記近端音源の音響信号のみを出力する音源分離部を備える、マルチチャンネルエコーキャンセラ。
14. 前記音源分離部は、各前記スピーカから前記１つ以上のマイクロホンまでの各伝達特性を推定し、各前記スピーカで拡声されて前記１つ以上のマイクロホンで検出された音響信号を前記推定した各伝達特性を用いて算出し、算出した音響信号を前記１つ以上のマイクロホンの検出信号から減算するように適応動作することを特徴とする、請求項１３に記載のマルチチャンネルエコーキャンセラ。

Images