JP2004349806A - Multichannel acoustic echo canceling method, apparatus thereof, program thereof, and recording medium thereof - Google Patents
Multichannel acoustic echo canceling method, apparatus thereof, program thereof, and recording medium thereof Download PDFInfo
- Publication number
- JP2004349806A JP2004349806A JP2003141910A JP2003141910A JP2004349806A JP 2004349806 A JP2004349806 A JP 2004349806A JP 2003141910 A JP2003141910 A JP 2003141910A JP 2003141910 A JP2003141910 A JP 2003141910A JP 2004349806 A JP2004349806 A JP 2004349806A
- Authority
- JP
- Japan
- Prior art keywords
- echo
- signal
- channel
- predicted
- echo path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
この発明は、多チャネル音響再生系を有する通信会議システムに適用され、通話の障害となり、時にはハウリングを引き起こす音響エコーを消去する多チャネル音響エコー消去方法、その装置、そのプログラム及び記録媒体に関するものである。
【0002】
【従来の技術】
近年、音声画像符号化技術の高能率化とデジタルネットワーク技術の進展により、複数の人が容易に参加でき、より自然な通話環境を提供できる多チャネルの拡声通話方式が研究されはじめている。その実現には、複数スピーカからマイクロホンへの音響的回り込みを消去する多チャネル音響エコー消去装置(キャンセラ)が必要となる。
N(≧2)チャネルの再生系とM(≧1)チャネルの収音系とで構成される通信会議システムは、図5に示すような構成により音響エコーの消去を行う(例えば特許文献1、図9参照)。各受話端子11 〜1N からの受話信号は、それぞれ相関変動処理部21 〜2N を経て、各スピーカ31 〜3N で音響信号として再生されて、音響エコー経路341,1 〜34N,M を経て各マイクロホン4m(m=1,…,M)に回り込む。受話側の全Nチャネルの相関変動処理部21 〜2N の各出力側と送話側のMチャネルの送話端子51 〜5M とのそれぞれの間にNチャネルエコー消去部61 〜6M を接続して音響エコーを消去する。
【0003】
実際の通信会議では、1人の話者音声が複数のマイクロホンで収音されて多チャネルで送出される時間が大半を占める。この受話信号のチャネル間相互相関が非常に高いために、相関変動処理を適用しない状態では、エコーが消去されている状態であっても推定されたエコー伝達特性と真のエコー伝達特性が必ずしも一致しなくなる。そのため対地で話者が交代し受話信号のチャネル間相互相関が変化した瞬間に、音響エコーが消去されなくなる。受話信号に相関変動処理を適用することで、伝達特性の推定値が真値に収束することが保証されている。
上記Nチャネルエコー消去部6m は、各収音チャネルについて、再生側の全Nチャネルと収音側の1チャネルとの間のN入力1出力の時系列信号を処理する構成をとる。このNチャネル・エコー消去部6m の構成を相関変動処理部21 〜2N は省略している場合について図6に示す。各受話信号x1(k)…xN(k)は予測エコー経路611 〜61N に入力されてチャネルごとの予測エコー信号が生成され、減算部62により予測エコー信号とマイクロホン4m からの収音信号との誤差信号eが生成される。
【0004】
ここで、エコー経路推定部63内部での処理を説明する。マイクロホン4m から収音された信号をy(k)、第nチャネル(n=1,…,N)のスピーカ3n からマイクロホン4m までの音響エコー経路34n のインパルス応答をhn(k)、その長さをLとする。Nチャネル受話信号x1(k)〜xN(k)と収音信号y(k)との間には次の関係がある。
y(k)=Σi=0 L−1h1(i)x1(k−i)+…+Σi=0 L−1hN(i)xN(k−i)(1)
各チャネルのエコー経路341 〜34N の各インパルス応答と受話信号xn(k)を
h n =[hn(0)…hn(L−1)]T(n=1,…,N)
x n(k)=[xn(k)…xn(k−L+1)]T(n=1,…,N) (2)
[]T はベクトルの転置を表わす。
のようにベクトル化すると、Nチャネル受話信号と収音信号の関係は次のように記述される。
y(k)=h 1 T x 1(k)+…+h N T x N(k) (3)
【0005】
以下では、予測エコー経路61n を構成する適応フィルタの係数修正法としてNLMSアルゴリズム(Normalized Least Mean Squareアルゴリズム)を用いた場合について説明する(例えば特許文献1、3−4頁参照)。
予測エコー経路611 〜61N 中の適応フィルタ係数のベクトルをw 1(k)
…w N(k)とする。実際に収音された信号y(k)と、適応フィルタにより予
測された信号との誤差信号e(k)は、減算部62により
e(k)=y(k)−(w 1 T(k)x 1(k)+…+w N T(k)x N(k)) (4)
で求められる。この誤差信号e(k)に基づき収音信号と予測エコー信号との差が小さくなるようにエコー経路推定部63にてフィルタ係数が逐次修正され、予測エコー経路611 〜61N に転送される。各適応フィルタ係数ベクトルは次式で更新される。
w n(k+1)=w n(k)+μe(k)x n(k)(n=1,…,N)(5)
ただし、μはステップサイズであり、ステップサイズ制御部64において
μ=μ0 /(Σn=1 N x n T(k)x n(k)) (6)
により決定され、μ0 と入力信号のパワーに基づいて制御される。ただしμ0 は推定を安定にするために、あらかじめ0〜1の値に設定されるパラメータである。
【0006】
適応フィルタの推定性能は、フィルタ係数の収束速度、すなわちフィルタ係数の相対誤差(Misalignment)
‖h 1 −w 1(k)‖2 +…+‖h N −w N(k)‖2 /(‖h 1 ‖2 +…+‖h N ‖2) (7)
の減少速度で評価することができる。
【0007】
【特許文献1】
特開平8−181639号公報
【特許文献2】
特開2002−223182号公報 9〜13頁
【0008】
【発明が解決しようとする課題】
通常の拡声通信会議では、スピーカとマイクロホンとの間の音響結合がなるべく小さくなるように、指向性マイクロホンを使用するのが通常である。複数のスピーカが存在する部屋では、スピーカとマイクロホン間の距離が同等であっても、指向性マイクロホンの死角に位置するスピーカとそうでないスピーカとの間には15dB弱程度の音響結合量の差が容易に生じてしまう。
各音響エコー経路のゲインにこのような偏りがあるとき、適応フィルタによるエコー経路推定の精度が大きく影響されることが知られている。各音響エコー経路のゲインがほぼ均等な場合と比較して、ゲインが著しく不均等な場合では、適応フィルタ係数誤差の収束速度が劣化してしまう。
【0009】
図7に、ステレオ音響エコー消去装置でのその例を示す。2つの音響エコー経路のゲイン比がそれぞれ1,3,9の各場合について、適応フィルタ係数の相対誤差が初期状態から減少していく様子を図7にプロットした。ただし、受話信号x1(k),x2(k)の各パワーを同等に設定し、多チャネル周波数領域適応アルゴリズム(例えば特許文献2参照)を適用している。この周波数領域アルゴリズムは、FFT(高速離散的フーリエ変換)を用いて各信号を周波数領域に変換し、周波数ごとにNLMSベースの処理を行っている。射影アルゴリズム(例えば特許文献1、4−6頁参照)などの適応アルゴリズムにおいてもこのグラフと同様に、エコー経路ゲインが不均等になるほど収束速度が劣化する傾向がある。
この劣化の要因は、各チャネルの適応フィルタの推定誤差と更新ベクトルの大小関係から定性的に説明可能である。一例として、ステレオの場合について、エコー経路ゲイン比√(‖h 2 ‖2 /‖h 1 ‖2 )≒9、各チャネル受話信号
パワーがほぼ同等(‖x 1(k)‖≒‖x 2(k)‖)の場合を想定してみる。
適応フィルタはNLMSアルゴリズムにより更新されるとする。NLMSアルゴリズムのフィルタ更新式(5)によれば、第1、2チャネルには同一のステップサイズが適用され、その修正ベクトルはそれぞれμe(k)x 1(k)とμe(
k)x 2(k)で与えられる。ここで‖x 1(k)‖≒‖x 2(k)‖の関係か
ら第1、2チャネルの修正量の大きさはほぼ等しくなる。
【0010】
初期状態でフィルタ係数が0にセットされている場合、エコー経路ゲイン比は約9であるから、推定初期の段階で推定誤差は第1チャネルに対し、第2チャネルは9倍程度となる、しかし、適応フィルタの更新量は両チャネルで同等にとどまる。ステップサイズを大きく設定した場合には、エコー経路ゲインの小さい第1チャネルの推定が乱され易く推定に時間がかかる。またステップサイズを小さく設定した場合には、エコー経路ゲインの大きい第2チャネルの推定に時間がかかる。
また第1、第2チャネルの予測エコー経路の適応フィルタ係数誤差が収束した後に、エコー経路ゲイン比がほとんど変化しない程度にマイクロホンの位置がわずかずれた場合についても、第1、第2チャネルでエコー経路の変化量は、エコー経路ゲインと同等の9倍程度になる。しかし第1、第2チャネルの適応フィルタ更新量は同等にとどまる。ステップサイズを大きく設定した場合には、エコー経路ゲインの小さい第1チャネルの推定が乱され易く、推定に時間がかかる。またステップサイズを小さく設定した場合には、エコー経路ゲインの大きい第2チャネルの推定に時間がかかる。
【0011】
【課題を解決するための手段】
この発明では、適応フィルタのエコー経路推定誤差を推測し、その大きさに応じてステップサイズをチャネルごとに制御する。
しかし本来、予測エコー経路の適応フィルタは未知のエコー経路の特性を推定するために導入されたものである。したがって、適応フィルタの推定誤差の大きさ、すなわち推定途中の予測エコー経路の特性と真のエコー経路の特性との誤差の大きさ、を推測する問題は原理的な困難をはらんでいる。
音響エコーの現在の状態は過去の影響だけを受ける。そこで従来においては、音響エコー経路のインパルス応答が図1Aに示す状態の場合、その立上りからインパルス応答係数が十分小さくなるまでの時間と対応するLタップを適応フィルタの全タップの因果成分タップとして用いていた。因果性とは時間的に、原因が必ず結果に先行することであり、原因(入力信号)を加えるより時間的に前には、その結果(出力信号)は生じない性質であり、どのような物理システムも因果性をもっている。
【0012】
これに対し、この発明では適応フィルタのLタップ中のLp タップを、現在の状態に影響を与えない未来に対し、非因果成分タップとして用い、その残りのL−Lp 個のタップを因果成分に用いる。つまり予測エコー経路のフィルタ係数ベクトルw n(k)は、時刻kを省略して表記すると、以下のようになる。
w n =[wn(−Lp )…wn(−1)wn(0)…wn(L−Lp −1)]T(n=1,…,N)
このベクトルw n(k)中の最初のLp 個の要素wn(−Lp )…wn(−1)が非因果成分になり、後のL−Lp 個の要素wn(0)…wn(L−Lp −1)が因果成分になる。
【0013】
時刻がk−L+1からk−Lp までの入力信号xn(k)…xn(k−Lp )と時刻がk−Lp +1からkまでのxn(k−Lp +1)…xn(k)入力信号とに基づく予測とに分けてこのフィルタ係数ベクトルを用いて、予測エコー信号y^(k−Lp )を生成すると以下のようになる。
【数1】
この予測エコー信号y^(k−Lp )と収音信号との誤差信号が小さくなるよう各予測エコー経路のフィルタ係数ベクトルw 1(k)…w N(k)の推定を行
う。非因果成分wn(k−Lp )…wn(k−1)は、時刻kよりも未来の信号成分から時刻kまでの信号に対する音響エコー経路の伝達係数となっている。
【0014】
適応フィルタによる推定が完了し、各予測エコー経路の特性が真のエコー経路の特性に収束した状態では、予測エコー経路の非因果成分はすべて0に収束し、予測エコー経路の因果成分は真のエコー経路の特性(インパルス応答)に収束する。また推定途中の段階では、予測エコー経路の因果成分と真のエコー経路との差は、予測エコー経路の非因果成分の大きさに連動する。
そこでこの発明では、各予測エコー経路における非因果成分の大きさ、例えばその絶対値総和を、その予測エコー経路における推定誤差の推測値とし、この推測値をもとに、推定誤差の大きいチャネルの適応フィルタが大きく修正され、推定誤差の小さいチャネルの適応フィルタが小さく修正されるように、予測エコー経路ごとにステップサイズを制御する。この制御により、収束速度の向上が期待される。
【0015】
【発明の実施の形態】
実施形態1
はじめに、図2を用いてこの発明の実施形態1を説明する。図2中の図6と対応する部分に同一参照番号を付けてある。
第1〜第Nの予測エコー経路611 〜61N は、現在の状態に影響を与えるはずの過去との関連を与える因果成分部611a〜61Naと現在の状態に影響を与えないはずの未来との関連を与える非因果成分部611b〜61Nbを備え、マイクロホン4m からの収音信号は、非因果成分部61nbのタップ数Lp だけ遅延を与える遅延部65を通じて減算部62へ供給される。更にエコー経路推定部63に推定誤差推測部66が設けられている点、またステップサイズ制御部64における処理が従来のものとは異なる。
【0016】
予測エコー経路611 〜61N 中の適応フィルタ係数w 1(k)…w N(k )について、フィルタ長をLタップとし、そのうち非因果成分用にLp タップを割り当てる。非因果成分用タップLp は1〜L/2、好ましくはL/8〜L/4とする。Lp を大きくすると、予測エコー経路の推定誤差を精度よく推測することができるが、計算量が多くなる。従って推定誤差の精度と計算量との兼合いで決める。時刻kにおける予測エコーy^(k−Lp )を式(8)により生成する。
【数2】
この予測エコーと、遅延部65を経た収音信号との誤差信号e(k−Lp )を減算部62により求める。
e(k−Lp )=y(k−Lp )−y^(k−Lp )
【0017】
エコー経路推定部63内の推定誤差推測部66では、一定期間、例えば0.8秒〜6秒ごとに予測エコー経路61n のフィルタ係数w n(k)の非因果成分の絶対値総和σ[w n ]=|wn(k,−Lp )|+…+|wn(k,−1)|を求める。なお、この絶対値総和σ[w n ]の計算は各時刻kごとに行うのではなく、前述した一定期間ごとに行うため、時刻kの下にカンマ「,」を付けて区別した。この絶対値総和σ[w n ]を予測エコー経路61n のフィルタ係数w n(k)の推定誤差の推測値とする。これら推測値σ[w n ]、受話信号xn(k)(n=1,…,(N))を入力としてステップサイズ制御部64ではステップサイズを
μn =μ0 σq[w n ]/(Σj=1 Nσq [w j ]x j T(k)x j(k)) (9)
により決定する。ただしμ0 は0〜1の値に設定されるパラメータである。σq[w j ]はσ[w n ]のq乗を表わし、qは自然数である。qは計算量の点から1が最も好ましく、次に2がよく、3,4でもかまわない。
ステップサイズ制御部64は各チャネルの受話信号xn(k)のパワーを推測値σ[w n ]で重み付けして加算し、この加算値で、各チャネルの推測値σq [w n ]をμ0 倍した値を割算した結果をチャネルnに対するステップサイズμn とする。
【0018】
エコー経路推定部63は、ステップサイズ制御部64で決定したステップサイズμn を用いて、収音信号と予測エコー信号との誤差信号e(k−Lp )が小さくなるように、各適応フィルタ係数を
w n(k+1)=w n(k)+μne(k)x n(k)(n=1,…,N)
により更新して、予測エコー経路611 〜61N に転送する。
ステップサイズμn は、各チャネル受話信号のパワーも考慮に入れて、次式により決定してもよい。
【数3】
‖x n(k)‖はベクトルx n(k)のノルムである。x n(k)=[xn(k)…xn(k−L+1)]とすると、ノルムは一般的に
【数4】
で定義される。ただしpは自然数であり、計算量の点からは1が最もよいが、これより大きくてもよい。
この式(9)では、式(8)における推定誤差の推測値で重みを付けた受話信号パワーの総和をとる際に各チャネルをそのノルムで正規化し、この総和に各チャネルnの受話信号のノルムを乗算したものでμ0 σq [w n ]を割算してチャネルnに対するステップサイズとする。
【0019】
実施形態2
次にこの発明を、図5のように受話信号xn(k)が相関変動処理を受けるケースに適用した場合について説明する。ただしNチャネルエコーキャンセル部には、受話信号と非線形処理された受話信号が別々に入力されるとする。
予測エコー経路611 〜61N 中の適応フィルタ係数w 1(k)…w N(k)は、フィルタ長がLタップであり、非因果成分用にLp(>1)タップを含むとする。また以下では予測エコーの生成処理を周波数領域で行う場合を例として説明する。図3にチャネルn(n=1,…,N)についての予測エコー生成と、フィルタ係数更新の一部の機能構成例を示す。
【0020】
ステップ1
各チャネルの受話信号zn(k)と相関変動処理のための付加信号gn(zn(k))(n=1,…,N)を、ブロック化部71n ,72n でそれぞれLサンプル毎に長さ2Lの信号ベクトルにブロック化し、その各ブロックごとにFFT変換部73n ,74n で高速離散的フーリエ変換(FFT)を行って周波数領域の信号U n(k),G n(k)を求める。
U n(k)=diag(FFT([un(k−2L+1),…,un(k)]T ))(n=1,…,N)
G n(k)=diag(FFT([g(un(k−2L+1)),…,g(un(k))]T ))(n=1,…,N)
ただし、diag( )はベクトルを入力とし、その各要素を対角成分に持つ行列(対角行列)を出力とする関数であり、これは説明の便宜上使用している。
【0021】
加算部75n でこれら両行列U n(k)とG n(k)を加算して周波数領域で入力信号ベクトルxn(k)の要素を対角成分に持つ行列X n(k)を求める。
X n(k)=U n(k)+G n(k)
また修正ベクトル生成部76n で次式により周波数領域での修正用信号ベクトルの要素を対角成分に持つ行列Z n(k)を生成する。
Z n(k)=βU n(k)+G n(k)
ここでβは、適応フィルタによるエコー経路推定を加速するために用いられており、0〜1の値に設定される。
【0022】
ステップ2
チャネル毎に周波数領域で入力信号X n(k)とフィルタ係数W n(k)を乗算部77n で掛けることで、入力信号ベクトルX n(k)をフィルタ処理する。
計算結果を逆FFT変換部78n で逆高速フーリエ変換処理して時間領域の信号ベクトルに変換し、更にブロック整形部79n でL個の要素の信号ベクトルy^n(k−Lp )に整形する。つまり次式の処理を行う。
y^n(k−Lp )=[0 L I L ]IFFT(X n(k)W n(k))ただし、0 L はL×Lの零行列、I L はL×Lの単位行列である。
ステップ3
時間領域にてチャネル毎に算出された信号ベクトルy^n(k−Lp )を加算して予測エコー信号のベクトルy^(k−Lp )を得る。
y^(k−Lp )=Σn=1 N y^n(k−Lp )
【0023】
ステップ4
マイクロホン4からの収音信号y(k)は遅延部65n でLp サンプル遅延され、この遅延信号がブロック化部81n でLサンプルごとにブロック化され収音信号ベクトルy(k−Lp )とされ、この収音信号ベクトルy(k−Lp )と予測エコーのベクトルy^(k−Lp )との時間領域での誤差信号ベクトルe(k)が減算部62で生成される。この誤差信号ベクトルe(k)がFFT変換部81により周波数領域の信号E(k)に変換される。
E(k)=FFT([0,…,0,y T(k−Lp )−y^T(k−Lp )]T )この変換は誤差ベクトルe(k)の前にL個の0を詰めて行う。また
y(k−Lp )=[y(k−Lp −L+1)…y(k−Lp)]T
とする。
【0024】
ステップ5
修正用信号ベクトルZ n(k)の複素共役Z * n(k)を共役生成部83n で生成し、これと誤差信号ベクトルE(k)とを、周波数領域処理を経由してチャネルごとに乗算部(修正ベクトル生成部)84n で乗算して畳込み、修正ベクトルdW n(k)を生成する。この処理は以下のように行う。
v n(k)=[I L 0 L ]IFFT(Z * n(k)E(k))
dW n(k)=FFT([v n T(k),0,…,0]T )
ただし行列Z * n(k)の各成分は行列Z n(k)各成分の複素共役である。
v n(k)のFFT変換はL個の0を後に詰めて行う。
【0025】
ステップ6
ステップサイズ行列生成部85n で生成した行列形式のステップサイズS n(k)を修正ベクトルdW n(k)に乗算部(修正ベクトル補正部)86n で乗算し、この結果S n(k)dW n(k)でフィルタ更新部87n のフィルタ係数W n(k)を次式で更新する。
W n(k+L)=W n(k)+S n(k)dW n(k)
行列形式のステップサイズS n(k)は次式で表わされる。
S n(k)=μ0 σq[w n]diag([1/d(k,1)…1/d(k,2L
]) (11)
μ0 は推定を安定化するために0〜1の値に設定されるパラメータである。
【0026】
d(k,i)=tc d(k−L,i)+(1−tc)Σn=1 Nσq[w n]|T(X n(k),i)T(Z n(k),i)|(i=1,…,2L) (12)
tc は時定数であり0〜1の値に設定する。関数T(X n(k),i)は行列X n(k)の(i,i)番目の要素を引き出す関数である。つまり行列S(k)のd(k,i)は受話信号Z n(k)と入力信号X n(k)との各周波数成分ごとの積を推定誤差の推測値σq[w n]で重み付けした短時間平均の総和の前回の値と今回の値とをtc で重み付け加算して今回の短時間平均総和としたものである。
【0027】
各予測エコー経路のインパルス応答(フィルタ係数)w n(k)は、フィルタ更新部87n の周波数領域でのフィルタ係数w n(k)から逆FFT部88n で次式による逆FFT処理されブロック整形されて求められる。
w n(k)=[I L 0 L ]FFT−1(W n(k))
このインパルス応答w n(k)中の非因果成分wn(k−Lp )…wn(k−1)の絶対値の総和σ[w n]が推定誤差の推測値として推定誤差推測部89n で計算される。
【0028】
行列形式のステップサイズとして、各チャネルの入力信号パワーも考慮に入れ、下記の行列S′n(k)を用いることもできる。
【数5】
【数6】
【数7】
このrn(k)により各チャネルの入力信号パワーが、ステップサイズ制御に反映されている。ただしbは自然数であり、計算量からはb=1が最も好ましい。|Re[T(Z n(k),i)]|,|Im[T(Z n(k),i)]|は複素数T(Z n(k),i)の実部と虚部の大きさである。
【0029】
実験例
実際に2チャネル再生系と1チャネル収音系に接続された音響エコー消去装置について、数値シミュレーションを行った。シミュレーションでは、サンプリング周波数を8kHzに設定し、音響エコー経路として残響時間200msの部屋で実測した室内伝達関数を700タップに打ち切って音響エコーを生成した。また相互相関の高い2チャネル受話信号u1(k),u2(k)は、2本のマイクで単一話者の音声を収音している状況を模擬することで生成し、信号パワーが同等になるように調整した。
【0030】
従来法として、文献江村、羽田、“付加信号強調型の周波数領域ステレオ適応アルゴリズム”(日本音響学会2001年秋季公演論文集、2001、pp.537−538)で提案されている周波数領域適応アルゴリズムを因果成分に対応する640タップのみを各チャネルに持つ適応フィルタに適用した。またこの発明方法として、実施形態2の適応アルゴリズムを非因果成分に128タップを含む640タップを各チャネルに持つ適応フィルタに適用した。どちらの方法においても適応フィルタは80msごとに更新される。この発明方法ではステップサイズを2.4s間隔で式(11 )及び(12 )により制御した。ただし、μ0 =0.5に設定した。適応フィルタの修正用信号ベクトルZ n(k)において、相関変動成分を強調するためのパラメータについては、β=0.2に設定した。
【0031】
相関変動処理には、文献P.Eneroth、T.Gaensler、S.Gay and J.Benesty、“Studies of a wideband stereophonic acoustic echo canceler、”Proc.1999 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics、pp.207−210(1999)で用いられている半波整流方式
g1(u(k))=α(u(k)+|u(k)|)/2
g2(u(k))=α(u(k)−|u(k)|)/2
を聴感上違和感のほとんどないα=0.3で適用し、スピーカ再生信号x1(k),x2(k)として
x1(k)=u1(k)+g1(u1(k))
x2(k)=u2(k)+g2(u2(k))
を用いた。
【0032】
この発明方法と従来法との推定性能を、音響エコー経路のインパルス応答と適応フィルタのインパルス応答との相対推定誤差(Misalignment)を式(7)により評価した。
この発明方法と従来法について初期状態からの相対推定誤差の挙動を図4A,Bにそれぞれ示す。ここでは、エコー経路ゲイン比が1と9のときに、相対誤差が−15dBに達するまでの時間T′1 とT′9 (この発明方法)およびT1 とT9 (従来法)に注目する。この発明方法によって、エコー経路ゲイン比が9のとき、T9 →T′9 の改善は30%である。一方エコー経路ゲイン比が1のとき、T1 →T′1 の改善は21%になる。このようにこの発明方法によって、エコー経路推定が高速化されると同時に、エコー経路ゲイン比の相違がエコー経路推定に与える影響が小さくなっている。
【0033】
実施形態1を図5に示した相関変動処理を行う場合に適用してもよい。この場合は受話信号un(k)とその相関変動処理を受けた信号gn(un(k))との和をスピーカへ供給する再生信号xn(k)=un(k)+gn(un(k))とし、修正用信号zn(k)=βun(k)+gn(k)とし(0<β<1)、この修正用信号のベクトルz n(k)と誤差信号ベクトルe(k)とから修正ベクトルdw n を生成し、また式(9)又は式(10)中のx j(k)の代りにz j(k)とおきかえて求めた第nチャネルのステップサイズμn をdw n に掛けて、この結果にフィルタ係数w n(k)に加算して更新を行えばよい。
【0034】
実施形態2に示した周波数領域でのエコーの予測及びフィルタ更新処理を、受話信号に対し相関変動処理を行わない場合にも適用することができる。この場合は周波数領域の受話信号X n(k)と誤差信号E(k)とから実施形態2のステップ5と同様な処理により、周波数領域の修正ベクトルdw n(k)を求め、更に式(11)、(12)又は式(13)、(14)、(15)においてZ n(k)の代りにX n(k)を用いて、行列形式のステップサイズS n(k)を求めればよい。
【0035】
更に上述した音響エコー消去装置をM個用いて、図5に示したNチャネル再生系、Mチャネル収音系のシステムにもこの発明を適用できる。
図2、図3にそれぞれ示した多チャネル音響エコー消去装置をコンピュータにより機能させてもよい。この場合は前述したこの発明の多チャネル音響エコー消去方法の各ステップをコンピュータにより実行させるためのプログラムをCD−ROM、磁気ディスクなどの記録媒体から、あるいは通信回線を介してコンピュータにダウンロードして、そのプログラムを実行させればよい。
【0036】
【発明の効果】
この発明によれば、適応フィルタに非因果成分を含ませ、非因果成分量から多チャネル予測エコー経路の各適応フィルタ係数の推定誤差を推測してチャネルごとにステップサイズを制御することで、エコー経路ゲインが不均等な状況でもエコー経路推定の速度を向上させることができる。
【図面の簡単な説明】
【図1】音響エコー経路のインパルス応答と、従来法の予測エコー経路の因果成分タップ及びこの発明方法の非因果成分タップ及び因果成分タップとの関係例を示す図。
【図2】この発明の実施形態1の機能構成例を示す図。
【図3】この発明の実施形態2における第nチャネル部分の機能構成例を示す図。
【図4】この発明方法及び従来法による相対推定誤差の収束の様子を示すシミュレーション結果を示す図。
【図5】従来のNチャネル再生系とMチャネル収音系で構成される通信会議システムの構成例を示す図。
【図6】従来のNチャネル音響エコー消去装置の機能構成例を示す図。
【図7】エコー経路ゲイン比をパラメータとした適応予測フィルタ係数の相対予測誤差の収束の様子を示す図。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention is applied to a communication conference system having a multi-channel sound reproduction system, and relates to a multi-channel sound echo canceling method for canceling an acoustic echo which sometimes causes a howling, which causes a trouble in a call, a device thereof, a program therefor, and a recording medium. is there.
[0002]
[Prior art]
2. Description of the Related Art In recent years, with the increase in the efficiency of audio-video coding technology and the development of digital network technology, a multi-channel loudspeaker communication system that allows a plurality of people to easily participate and provide a more natural communication environment has begun to be studied. To achieve this, a multi-channel acoustic echo canceller (canceller) that eliminates acoustic sneak from a plurality of speakers to the microphone is required.
A communication conference system including a reproduction system of N (≧ 2) channels and a sound collection system of M (≧ 1) channels performs elimination of acoustic echo by a configuration as shown in FIG. (See FIG. 9). Each
[0003]
In an actual communication conference, most of the time when one speaker's voice is picked up by a plurality of microphones and transmitted through multiple channels. Since the cross-correlation between channels of the received signal is very high, in a state where the correlation variation processing is not applied, the estimated echo transfer characteristic and the true echo transfer characteristic are not necessarily the same even when the echo is canceled. I will not do it. Therefore, at the moment when the speaker changes at the ground and the cross-correlation between channels of the received signal changes, the acoustic echo is not canceled. By applying the correlation variation processing to the reception signal, it is guaranteed that the estimated value of the transfer characteristic converges to the true value.
The N-channel
[0004]
Here, the processing inside the echo
y (k) = Σi = 0 L-1h1(I) x1(Ki) + ... + Σi = 0 L-1hN(I) xN(Ki) (1)
h n= [Hn(0) ... hn(L-1)]T(N = 1,..., N)
x n(K) = [xn(K) ... xn(K-L + 1)]T(N = 1,..., N) (2)
[]TRepresents the transposition of a vector.
Then, the relationship between the N-channel received signal and the collected signal is described as follows.
y (k) =h 1 T x 1(K) + ... +h N T x N(K) (3)
[0005]
In the following, the predicted echo path 61nA case where an NLMS algorithm (Normalized Least Mean Square algorithm) is used as a coefficient correction method of the adaptive filter that constitutes is described (for example, see
Predicted
…w N(K). The signal y (k) actually picked up and the adaptive filter
An error signal e (k) from the measured signal is calculated by a
e (k) = y (k)-(w 1 T(K)x 1(K) + ... +w N T(K)x N(K)) (4)
Is required. Based on the error signal e (k), the echo
w n(K + 1) =w n(K) + μe (k)x n(K) (n = 1,..., N) (5)
Here, μ is a step size, and the step
μ = μ0/ (Σn = 1 N x n T(K)x n(K)) (6)
Determined by μ0And the power of the input signal. Where μ0Is a parameter that is previously set to a value of 0 to 1 in order to stabilize the estimation.
[0006]
The estimation performance of the adaptive filter is based on the convergence speed of the filter coefficient, that is, the relative error of the filter coefficient
‖h 1−w 1(K) ‖2+… + ‖h N−w N(K) ‖2/ (‖h 1‖2+ ... + ‖h N‖2) (7)
Can be evaluated by the reduction rate of
[0007]
[Patent Document 1]
JP-A-8-181639
[Patent Document 2]
JP-A-2002-223182, pages 9 to 13
[0008]
[Problems to be solved by the invention]
In a normal loudspeaker conference, a directional microphone is usually used so that acoustic coupling between a speaker and a microphone is as small as possible. In a room where a plurality of speakers are present, even if the distance between the speakers and the microphones is the same, there is a difference of about 15 dB between the speakers located in the blind spot of the directional microphone and the speakers not located there. It easily happens.
It is known that when the gain of each acoustic echo path has such a bias, the accuracy of the echo path estimation by the adaptive filter is greatly affected. When the gains of the acoustic echo paths are substantially equal to each other, the convergence speed of the adaptive filter coefficient error is deteriorated when the gains are significantly uneven compared to the case where the gains are substantially equal.
[0009]
FIG. 7 shows an example of a stereo acoustic echo canceller. FIG. 7 is a graph plotting how the relative error of the adaptive filter coefficient decreases from the initial state when the gain ratio of the two acoustic echo paths is 1, 3, and 9, respectively. However, the reception signal x1(K), x2Each power of (k) is set to be equal, and a multi-channel frequency domain adaptive algorithm (for example, see Patent Document 2) is applied. This frequency domain algorithm converts each signal into a frequency domain using FFT (Fast Discrete Fourier Transform), and performs NLMS-based processing for each frequency. In the case of an adaptive algorithm such as a projection algorithm (for example, see
The cause of this deterioration can be qualitatively explained from the magnitude relationship between the estimation error of the adaptive filter of each channel and the update vector. As an example, for a stereo case, the echo path gain ratio √ (√h 2‖2/ ‖h 1‖2) ≒ 9, Received signal for each channel
Power is almost equal (‖x 1(K) ‖ ≒ ‖x 2(K) Let's assume the case of ①).
Assume that the adaptive filter is updated by the NLMS algorithm. According to the filter update equation (5) of the NLMS algorithm, the same step size is applied to the first and second channels, and their correction vectors are respectively μe (k)x 1(K) and μe (
k)x 2(K). here‖x 1(K) ‖ ≒ ‖x 2(K) Relationship
Therefore, the magnitudes of the correction amounts of the first and second channels are substantially equal.
[0010]
If the filter coefficient is set to 0 in the initial state, the echo path gain ratio is about 9, so that the estimation error in the initial stage of the estimation is about 9 times that of the first channel compared to the first channel. , The update amount of the adaptive filter remains the same in both channels. When the step size is set large, the estimation of the first channel having a small echo path gain is easily disturbed, and it takes a long time to perform the estimation. If the step size is set small, it takes time to estimate the second channel having a large echo path gain.
Also, when the position of the microphone is slightly shifted to such a degree that the echo path gain ratio hardly changes after the adaptive filter coefficient error of the predicted echo path of the first and second channels converges, the echo in the first and second channels is also reduced. The amount of change in the path is about nine times the same as the echo path gain. However, the adaptive filter update amounts of the first and second channels remain equivalent. When the step size is set large, the estimation of the first channel having a small echo path gain is easily disturbed, and it takes time to estimate. If the step size is set small, it takes time to estimate the second channel having a large echo path gain.
[0011]
[Means for Solving the Problems]
According to the present invention, the echo path estimation error of the adaptive filter is estimated, and the step size is controlled for each channel according to the estimated error.
However, the adaptive filter of the predicted echo path is originally introduced to estimate the characteristics of the unknown echo path. Therefore, the problem of estimating the magnitude of the estimation error of the adaptive filter, that is, the magnitude of the error between the characteristics of the predicted echo path during the estimation and the characteristics of the true echo path, involves fundamental difficulty.
The current state of the acoustic echo is only affected by the past. Therefore, conventionally, when the impulse response of the acoustic echo path is in the state shown in FIG. 1A, the L tap corresponding to the time from the rise to the impulse response coefficient being sufficiently small is used as the causal component tap of all taps of the adaptive filter. I was Causality means that the cause always precedes the result in time, and the result (output signal) does not occur before the cause (input signal) is added. Physical systems also have causality.
[0012]
On the other hand, in the present invention, L in the L tap of the adaptive filter ispTaps are used as non-causal component taps for the future that do not affect the current state, and the remaining LLpAre used as the causal component. That is, the filter coefficient vector of the predicted echo pathw n(K) is as follows when the time k is omitted.
w n= [Wn(-Lp) ... wn(-1) wn(0) ... wn(L-Lp -1)]T(N = 1,..., N)
This vectorw nThe first L in (k)p Elements wn(-Lp) ... wn(-1) becomes a non-causal component, and the following LLp Elements wn(0) ... wn(L-Lp -1) is the causal component.
[0013]
Time is k-L + 1 to k-Lp Input signal x up ton(K) ... xn(K-Lp) And time is KLp X from +1 to kn(K-Lp +1) ... xn(K) The prediction echo signal y て (k−Lp ) Is generated as follows.
(Equation 1)
This predicted echo signal y ^ (k−Lp ) And the filter coefficient vector of each predicted echo path so that the error signal betweenw 1(K) ...w NEstimate (k)
U. Non-causal component wn(K-Lp ) ... wn(K-1) is a transfer coefficient of the acoustic echo path for a signal from a signal component in the future from time k to time k.
[0014]
When the estimation by the adaptive filter is completed and the characteristics of each predicted echo path converge to the characteristics of the true echo path, all the non-causal components of the predicted echo path converge to 0, and the causal components of the predicted echo path become true. It converges on the characteristics of the echo path (impulse response). Also, at the stage of estimation, the difference between the causal component of the predicted echo path and the true echo path is linked to the magnitude of the non-causal component of the predicted echo path.
Therefore, in the present invention, the magnitude of the non-causal component in each predicted echo path, for example, the sum of its absolute values is used as an estimated value of the estimation error in the predicted echo path, and based on the estimated value, The step size is controlled for each predicted echo path so that the adaptive filter is largely modified and the adaptive filter of the channel with a small estimation error is modified small. This control is expected to improve the convergence speed.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
First,
1st to Nth predicted
[0016]
(Equation 2)
An error signal e (k−L) between the predicted echo and the picked-up signal passed through the delay unit 65p) Is obtained by the
e (k-Lp) = Y (k−L)p) -Y ^ (kLp)
[0017]
The estimation error estimating unit 66 in the echo
μn= Μ0σq[w n] / (Σj = 1 Nσq[w j]x j T(K)x j(K)) (9)
Determined by Where μ0Is a parameter set to a value of 0 to 1. σq[w j] Is σ [w n] To the q-th power, where q is a natural number. q is most preferably 1 in terms of the amount of calculation, then 2 is good, and 3 or 4 may be used.
The step
[0018]
The echo
w n(K + 1) =w n(K) + μne (k)x n(K) (n = 1,..., N)
To update the predicted
Step size μnMay be determined by the following equation, taking into account the power of each channel reception signal.
(Equation 3)
‖x n(K) ‖ is a vectorx nThis is the norm of (k).x n(K) = [xn(K) ... xn(K−L + 1)], the norm is generally
(Equation 4)
Is defined by However, p is a natural number, and although 1 is the best in terms of the amount of calculation, it may be larger.
In this equation (9), when the sum of the received signal power weighted by the estimated value of the estimation error in the equation (8) is calculated, each channel is normalized by its norm. Μ multiplied by the norm0σq[w n] To obtain the step size for channel n.
[0019]
Next, the present invention is applied to the reception signal x as shown in FIG.nThe case where (k) is applied to the case of undergoing the correlation variation process will be described. However, it is assumed that the received signal and the received signal subjected to the non-linear processing are separately input to the N-channel echo canceling unit.
[0020]
Received signal z of each channeln(K) and additional signal g for correlation variation processingn(Zn(K)) (n = 1,..., N)n, 72nIs divided into signal vectors having a length of 2L for each L sample, and the
U n(K) = diag (FFT ([un(K−2L + 1),..., Un(K)]T)) (N = 1,..., N)
G n(K) = diag (FFT ([g (un(K−2L + 1)),..., G (un(K))]T)) (N = 1,..., N)
Note that diag () is a function that receives a vector as an input and outputs a matrix (diagonal matrix) having each element as a diagonal component, and is used for convenience of description.
[0021]
Adder 75nIn both these matricesU n(K) andG n(K) and add the input signal vector x in the frequency domain.nMatrix with diagonal elements of (k)X nFind (k).
X n(K) =U n(K) +G n(K)
The correction vector generation unit 76nA matrix having diagonal elements of the signal vector for correction in the frequency domain by the following equationZ n(K) is generated.
Z n(K) = βU n(K) +G n(K)
Here, β is used to accelerate the echo path estimation by the adaptive filter, and is set to a value of 0 to 1.
[0022]
Input signal in frequency domain for each channelX n(K) and filter coefficientW nMultiplying unit 77 by (k)nMultiply by the input signal vectorX n(K) is filtered.
Invert the FFT transform unit 78nPerforms an inverse fast Fourier transform to convert the signal vector into a time-domain signal vector.nAnd the signal vector of L elementsy^n(K-Lp). That is, the processing of the following equation is performed.
y^n(K-Lp) = [0 L I L] IFFT (X n(K)W n(K))0 LIs an L × L zero matrix,I LIs an L × L unit matrix.
Step 3
Signal vector calculated for each channel in the time domainy^n(K-Lp) And the vector of the predicted echo signaly^ (k−LpGet)
y^ (k−Lp) = Σn = 1 N y^n(K-Lp)
[0023]
The sound pickup signal y (k) from the
E(K) = FFT ([0, ..., 0,y T(K-Lp)-y^T(K-Lp)]TThis transformation is an error vectoreThis is performed by packing L zeros before (k). Also
y(K-Lp) = [Y (k−Lp−L + 1)... Y (k−Lp)]T
And
[0024]
Correction signal vectorZ nComplex conjugate of (k)Z * n(K) is converted to a
v n(K) = [I L 0 L] IFFT (Z * n(K)E(K))
dW n(K) = FFT ([v n T(K), 0, ..., 0]T)
Where the matrixZ * nEach component of (k) is a matrixZ n(K) Complex conjugate of each component.
v nThe FFT transform of (k) is performed by stuffing L zeros later.
[0025]
Step
W n(K + L) =W n(K) +S n(K) dW n(K)
Step size in matrix formatS n(K) is represented by the following equation.
S n(K) = μ0σq[w n] Diag ([1 / d (k, 1) ... 1 / d (k, 2L
]) (11)
μ0 Is a parameter set to a value between 0 and 1 to stabilize the estimation.
[0026]
d (k, i) = tcd (k-L, i) + (1-tc) Σn = 1 Nσq[w n] | T (X n(K), i) T (Z n(K), i) | (i = 1,..., 2L) (12)
tcIs a time constant and is set to a value from 0 to 1. Function T (X n(K), i) are matricesX nThis is a function for extracting the (i, i) -th element of (k). That is, a matrixSD (k, i) of (k) is the reception signalZ n(K) and input signalX nThe product of (k) and each frequency component is calculated as the estimated value σ of the estimation error.q[w nThe previous value and the current value of the sum of the short-time averages weighted bycThe weighted addition is performed to obtain the short-time average sum of this time.
[0027]
Impulse response (filter coefficient) of each predicted echo pathw n(K) shows the filter updating unit 87nFilter coefficients in the frequency domain ofw nThe
w n(K) = [I L 0 L] FFT-1(W n(K))
This impulse responsew nNon-causal component w in (k)n(K-Lp) ... wnSum of absolute values of (k-1) σ [w n] Is an estimated
[0028]
The step size in matrix format also takes into account the input signal power of each channel, and the following matrixS′n(K) can also be used.
(Equation 5)
(Equation 6)
(Equation 7)
This rnBy (k), the input signal power of each channel is reflected in the step size control. However, b is a natural number, and b = 1 is most preferable from the calculation amount. | Re [T (Z n(K), i)] |, | Im [T (Z n(K), i)] | is a complex number T (Z n(K), The magnitude of the real part and the imaginary part of i).
[0029]
Experimental example
Numerical simulations were actually performed on acoustic echo cancelers connected to a two-channel reproduction system and a one-channel sound collection system. In the simulation, a sampling frequency was set to 8 kHz, and an acoustic echo was generated by truncating an indoor transfer function actually measured in a room having a reverberation time of 200 ms to 700 taps as an acoustic echo path. Also, a two-channel reception signal u having a high cross-correlation1(K), u2(K) is generated by simulating a situation in which the sound of a single speaker is picked up by two microphones, and adjusted so that the signal powers become equal.
[0030]
As a conventional method, the frequency domain adaptation algorithm proposed in the literature Emura and Haneda, "Additional signal emphasis type frequency domain stereo adaptation algorithm" (Journal of the Acoustical Society of Japan 2001 Autumn Performance, 2001, pp. 537-538) is used. Only the 640 taps corresponding to the causal component were applied to the adaptive filter having each channel. As the method of the present invention, the adaptive algorithm of the second embodiment is applied to an adaptive filter having 640 taps including 128 taps in the non-causal component in each channel. In either case, the adaptive filter is updated every 80 ms. In the method of the present invention, the step size is controlled at intervals of 2.4 s according to equations (11) and (12). Where μ0= 0.5 was set. Signal vector for adaptive filter modificationZ nIn (k), the parameter for enhancing the correlation fluctuation component was set to β = 0.2.
[0031]
The correlation fluctuation processing is described in Document P. Energy, T .; Gaensler, S .; Gay and J.M. Benesty, "Studies of a wideband stereophonic acoustic echo canceller," Proc. 1999 IEEE Works on Applications of Signal Processing to Audio and Acoustics, pp. 207-210 (1999) Half-wave rectification method
g1(U (k)) = α (u (k) + | u (k) |) / 2
g2(U (k)) = α (u (k) − | u (k) |) / 2
Is applied at α = 0.3 with almost no sense of incongruity, and the speaker reproduction signal x1(K), x2(K)
x1(K) = u1(K) + g1(U1(K))
x2(K) = u2(K) + g2(U2(K))
Was used.
[0032]
The estimation performance of the method of the present invention and the conventional method was evaluated by the relative estimation error (Misalignment) between the impulse response of the acoustic echo path and the impulse response of the adaptive filter by using the equation (7).
4A and 4B show the behavior of the relative estimation error from the initial state for the method of the present invention and the conventional method, respectively. Here, when the echo path gain ratio is 1 and 9, the time T 'until the relative error reaches -15 dB is obtained.1And T '9(The method of the invention) and T1And T9Attention is paid to (conventional method). According to the method of the present invention, when the echo path gain ratio is 9, T9→ T '9The improvement is 30%. On the other hand, when the echo path gain ratio is 1, T1→ T '1The improvement is 21%. As described above, according to the method of the present invention, the speed of the echo path estimation is increased, and the influence of the difference in the echo path gain ratio on the echo path estimation is reduced.
[0033]
[0034]
The echo prediction and filter update processing in the frequency domain shown in the second embodiment can be applied even when the correlation variation processing is not performed on the received signal. In this case, the received signal in the frequency domainX n(K) and error signalEFrom (k), the correction vector d in the frequency domain is obtained by the same processing as in
[0035]
Further, the present invention can be applied to an N-channel reproduction system and an M-channel sound collection system shown in FIG. 5 using M acoustic echo cancellers.
The multi-channel acoustic echo cancellers shown in FIGS. 2 and 3 may be operated by a computer. In this case, a program for causing a computer to execute each step of the above-described multi-channel acoustic echo cancellation method of the present invention is downloaded from a recording medium such as a CD-ROM or a magnetic disk, or downloaded to a computer via a communication line. What is necessary is just to execute the program.
[0036]
【The invention's effect】
According to the present invention, an adaptive filter includes a non-causal component, an estimation error of each adaptive filter coefficient of the multi-channel predicted echo path is estimated from the amount of the non-causal component, and the step size is controlled for each channel. The speed of echo path estimation can be improved even in a situation where path gains are uneven.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of a relationship between an impulse response of an acoustic echo path and a causal component tap of a predicted echo path according to a conventional method and a non-causal component tap and a causal component tap of the method of the present invention.
FIG. 2 is a diagram showing an example of a functional configuration according to the first embodiment of the present invention.
FIG. 3 is a diagram showing an example of a functional configuration of an n-th channel portion according to a second embodiment of the present invention.
FIG. 4 is a diagram showing a simulation result showing a state of convergence of a relative estimation error by the method of the present invention and the conventional method.
FIG. 5 is a diagram showing a configuration example of a conventional communication conference system including an N-channel reproduction system and an M-channel sound collection system.
FIG. 6 is a diagram showing a functional configuration example of a conventional N-channel acoustic echo canceller.
FIG. 7 is a diagram showing a state of convergence of a relative prediction error of an adaptive prediction filter coefficient using an echo path gain ratio as a parameter.
Claims (7)
収音信号から上記予測エコーを差し引いて音響エコーを消去し、
上記収音信号と上記予測エコーとの誤差信号と、上記Nチャネルの受話信号からN個の修正ベクトルを求め、
そのN個の修正ベクトルを用いて上記N個の予測エコー経路のインパルス応答を逐次修正する多チャネル音響エコー消去方法において、
予測エコー経路に非因果成分を含ませ、
上記N個の予測エコー経路の非因果成分からそのエコー経路の推定誤差を推測し、
各予測エコー経路について、上記エコー経路推定誤差の大きさの推測値に応じて、これが大きい程、インパルス応答修正のステップサイズを大きくすることを特徴とする多チャネル音響エコー消去方法。N channels, where N is an integer equal to or greater than 2, are input to N predicted echo paths to generate predicted echoes,
Subtract the predicted echo from the picked-up signal to eliminate the acoustic echo,
N correction vectors are obtained from the error signal between the picked-up signal and the predicted echo and the N-channel received signal,
A multi-channel acoustic echo cancellation method for sequentially correcting the impulse responses of the N predicted echo paths using the N corrected vectors,
Include non-causal components in the predicted echo path,
Estimating the estimation error of the echo path from the non-causal components of the N predicted echo paths,
A multi-channel acoustic echo canceling method characterized in that, for each predicted echo path, the step size of the impulse response correction is increased as the echo path estimation error is larger, depending on the estimated value of the echo path estimation error.
その加算信号をN個の予測エコー経路に入力して予測エコーを生成し、
収音信号から予測エコーを差し引いて音響エコーを消去し、
収音信号と予測エコーとの誤差信号と、上記Nチャネルの受話信号および付加信号とからN個の修正ベクトルを求め、
そのN個の修正ベクトルを用いて上記N個の予測エコー経路のインパルス応答を逐次修正する多チャネル音響エコー消去方法において、
予測エコー経路に非因果成分を含ませ、
上記N個の予測エコー経路の非因果成分からそのエコー経路の推定誤差を推測し、
各予測エコー経路について、上記エコー経路推定誤差の大きさの推測値に応じて、これが大きい程インパルス応答修正のステップサイズを大きくすることを特徴とする多チャネル音響エコー消去方法。N channels, where N is an integer equal to or greater than 2, generate an additional signal from the received signal and add it to the received signal;
The added signal is input to N predicted echo paths to generate a predicted echo,
The expected echo is subtracted from the collected signal to eliminate the acoustic echo,
N correction vectors are obtained from an error signal between the collected signal and the predicted echo, and the N-channel reception signal and the additional signal,
A multi-channel acoustic echo cancellation method for sequentially correcting the impulse responses of the N predicted echo paths using the N corrected vectors,
Include non-causal components in the predicted echo path,
Estimating the estimation error of the echo path from the non-causal components of the N predicted echo paths,
A multi-channel acoustic echo canceling method characterized in that, for each predicted echo path, the step size of the impulse response correction is increased as the echo path estimation error is larger, depending on the estimated value of the echo path estimation error.
上記N個の予測エコー経路からの予測エコーを収音信号から差し引いて音響エコーを消去する減算部と、
上記音響エコーと上記予測エコーとの誤差信号と上記各チャネルの受話信号とから修正ベクトルを生成するN個の修正ベクトル生成部と、
上記予測エコー経路の非因果成分が入力され、当該予測エコー経路のフィルタ係数推定誤差の推測値を求めるN個の推定誤差推測部と、
上記各チャネルの推測値が入力され、当該チャネルのステップサイズを制御するN個のステップサイズ制御部と、
上記制御されたチャネルのステップサイズに応じて対応するチャネルの修正ベクトルを補正するN個の修正ベクトル補正部と、
上記補正された修正ベクトルで対応する予測エコー経路のフィルタ係数を逐次更新するN個のフィルタ更新部と
を具備することを特徴とする多チャネル音響エコー消去装置。N received echo signals of N channels (N is an integer of 2 or more), each of which includes a non-causal component, and adaptively filters the input received signal to generate a predicted echo path;
A subtraction unit for subtracting the predicted echoes from the N predicted echo paths from the collected sound signal to eliminate acoustic echoes;
N correction vector generation units that generate correction vectors from an error signal between the acoustic echo and the predicted echo and a reception signal of each channel,
A non-causal component of the predicted echo path is input, and N estimation error estimating units for obtaining an estimated value of a filter coefficient estimation error of the predicted echo path;
N step size control units to which the estimated values of the respective channels are input and control the step size of the channel;
N correction vector correction units for correcting the correction vector of the corresponding channel according to the step size of the controlled channel;
A multi-channel acoustic echo canceller, comprising: N filter updating units for sequentially updating filter coefficients of a corresponding predicted echo path with the corrected correction vector.
上記Nチャネルの再生信号がそれぞれ入力され、非因果成分を含み、その入力された再生信号を適応フィルタ処理して予測エコーを生成するN個の予測エコー経路と、
上記N個の予測エコー経路からの予測エコーを収音信号から差し引いて音響エコーを消去する減算部と、
上記音響エコーと上記予測エコーとの誤差信号と上記各チャネルの受話信号及びその付加信号とから修正ベクトルを生成するN個の修正ベクトル生成部と、
上記予測エコー経路の非因果成分が入力され、当該予測エコー経路のフィルタ係数推定誤差の推測値を求めるN個の推定誤差推測部と、
上記各チャネルの推測値が入力され、当該チャネルのステップサイズを制御するN個のステップサイズ制御部と、
上記制御されたチャネルのステップサイズに応じて対応するチャネルの修正ベクトルを補正するN個の修正ベクトル補正部と、
上記補正された修正ベクトルで対応する予測エコー経路のフィルタ係数を逐次更新するN個のフィルタ更新部と
を具備することを特徴とする多チャネル音響エコー消去装置。N correlation variation processing units each of which receives a reception signal of N channels (N is an integer of 2 or more), generates an additional signal from the reception signal, adds the reception signal to the reception signal, and generates a reproduction signal;
N predicted echo paths each receiving the N-channel reproduced signal, including a non-causal component, adaptively filtering the input reproduced signal to generate a predicted echo,
A subtraction unit for subtracting the predicted echoes from the N predicted echo paths from the collected sound signal to eliminate acoustic echoes;
N correction vector generation units that generate correction vectors from the error signal between the acoustic echo and the predicted echo, the reception signal of each channel, and the additional signal thereof,
A non-causal component of the predicted echo path is input, and N estimation error estimating units for obtaining an estimated value of a filter coefficient estimation error of the predicted echo path;
N step size control units to which the estimated values of the respective channels are input and control the step size of the channel;
N correction vector correction units for correcting the correction vector of the corresponding channel according to the step size of the controlled channel;
A multi-channel acoustic echo canceller, comprising: N filter updating units for sequentially updating filter coefficients of a corresponding predicted echo path with the corrected correction vector.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003141910A JP2004349806A (en) | 2003-05-20 | 2003-05-20 | Multichannel acoustic echo canceling method, apparatus thereof, program thereof, and recording medium thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003141910A JP2004349806A (en) | 2003-05-20 | 2003-05-20 | Multichannel acoustic echo canceling method, apparatus thereof, program thereof, and recording medium thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004349806A true JP2004349806A (en) | 2004-12-09 |
Family
ID=33530144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003141910A Pending JP2004349806A (en) | 2003-05-20 | 2003-05-20 | Multichannel acoustic echo canceling method, apparatus thereof, program thereof, and recording medium thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004349806A (en) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008005293A (en) * | 2006-06-23 | 2008-01-10 | Matsushita Electric Ind Co Ltd | Echo suppressing device |
JP2010152021A (en) * | 2008-12-25 | 2010-07-08 | Nec Corp | Signal processing method, signal processing device and signal processing program |
JP2013115681A (en) * | 2011-11-30 | 2013-06-10 | Nippon Telegr & Teleph Corp <Ntt> | Multichannel echo cancellation method, multichannel echo cancellation device, and program |
US10367948B2 (en) | 2017-01-13 | 2019-07-30 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
USD865723S1 (en) | 2015-04-30 | 2019-11-05 | Shure Acquisition Holdings, Inc | Array microphone assembly |
USD944776S1 (en) | 2020-05-05 | 2022-03-01 | Shure Acquisition Holdings, Inc. | Audio device |
US11297423B2 (en) | 2018-06-15 | 2022-04-05 | Shure Acquisition Holdings, Inc. | Endfire linear array microphone |
US11297426B2 (en) | 2019-08-23 | 2022-04-05 | Shure Acquisition Holdings, Inc. | One-dimensional array microphone with improved directivity |
US11302347B2 (en) | 2019-05-31 | 2022-04-12 | Shure Acquisition Holdings, Inc. | Low latency automixer integrated with voice and noise activity detection |
US11303981B2 (en) | 2019-03-21 | 2022-04-12 | Shure Acquisition Holdings, Inc. | Housings and associated design features for ceiling array microphones |
US11310596B2 (en) | 2018-09-20 | 2022-04-19 | Shure Acquisition Holdings, Inc. | Adjustable lobe shape for array microphones |
US11438691B2 (en) | 2019-03-21 | 2022-09-06 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality |
US11445294B2 (en) | 2019-05-23 | 2022-09-13 | Shure Acquisition Holdings, Inc. | Steerable speaker array, system, and method for the same |
US11523212B2 (en) | 2018-06-01 | 2022-12-06 | Shure Acquisition Holdings, Inc. | Pattern-forming microphone array |
US11552611B2 (en) | 2020-02-07 | 2023-01-10 | Shure Acquisition Holdings, Inc. | System and method for automatic adjustment of reference gain |
US11558693B2 (en) | 2019-03-21 | 2023-01-17 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality |
US11678109B2 (en) | 2015-04-30 | 2023-06-13 | Shure Acquisition Holdings, Inc. | Offset cartridge microphones |
US11706562B2 (en) | 2020-05-29 | 2023-07-18 | Shure Acquisition Holdings, Inc. | Transducer steering and configuration systems and methods using a local positioning system |
US11785380B2 (en) | 2021-01-28 | 2023-10-10 | Shure Acquisition Holdings, Inc. | Hybrid audio beamforming system |
US12028678B2 (en) | 2020-10-30 | 2024-07-02 | Shure Acquisition Holdings, Inc. | Proximity microphone |
-
2003
- 2003-05-20 JP JP2003141910A patent/JP2004349806A/en active Pending
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008005293A (en) * | 2006-06-23 | 2008-01-10 | Matsushita Electric Ind Co Ltd | Echo suppressing device |
JP2010152021A (en) * | 2008-12-25 | 2010-07-08 | Nec Corp | Signal processing method, signal processing device and signal processing program |
JP2013115681A (en) * | 2011-11-30 | 2013-06-10 | Nippon Telegr & Teleph Corp <Ntt> | Multichannel echo cancellation method, multichannel echo cancellation device, and program |
US11310592B2 (en) | 2015-04-30 | 2022-04-19 | Shure Acquisition Holdings, Inc. | Array microphone system and method of assembling the same |
USD940116S1 (en) | 2015-04-30 | 2022-01-04 | Shure Acquisition Holdings, Inc. | Array microphone assembly |
US11832053B2 (en) | 2015-04-30 | 2023-11-28 | Shure Acquisition Holdings, Inc. | Array microphone system and method of assembling the same |
USD865723S1 (en) | 2015-04-30 | 2019-11-05 | Shure Acquisition Holdings, Inc | Array microphone assembly |
US11678109B2 (en) | 2015-04-30 | 2023-06-13 | Shure Acquisition Holdings, Inc. | Offset cartridge microphones |
US11477327B2 (en) | 2017-01-13 | 2022-10-18 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
US10367948B2 (en) | 2017-01-13 | 2019-07-30 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
US11800281B2 (en) | 2018-06-01 | 2023-10-24 | Shure Acquisition Holdings, Inc. | Pattern-forming microphone array |
US11523212B2 (en) | 2018-06-01 | 2022-12-06 | Shure Acquisition Holdings, Inc. | Pattern-forming microphone array |
US11297423B2 (en) | 2018-06-15 | 2022-04-05 | Shure Acquisition Holdings, Inc. | Endfire linear array microphone |
US11770650B2 (en) | 2018-06-15 | 2023-09-26 | Shure Acquisition Holdings, Inc. | Endfire linear array microphone |
US11310596B2 (en) | 2018-09-20 | 2022-04-19 | Shure Acquisition Holdings, Inc. | Adjustable lobe shape for array microphones |
US11303981B2 (en) | 2019-03-21 | 2022-04-12 | Shure Acquisition Holdings, Inc. | Housings and associated design features for ceiling array microphones |
US11438691B2 (en) | 2019-03-21 | 2022-09-06 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality |
US11778368B2 (en) | 2019-03-21 | 2023-10-03 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality |
US11558693B2 (en) | 2019-03-21 | 2023-01-17 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality |
US11445294B2 (en) | 2019-05-23 | 2022-09-13 | Shure Acquisition Holdings, Inc. | Steerable speaker array, system, and method for the same |
US11800280B2 (en) | 2019-05-23 | 2023-10-24 | Shure Acquisition Holdings, Inc. | Steerable speaker array, system and method for the same |
US11688418B2 (en) | 2019-05-31 | 2023-06-27 | Shure Acquisition Holdings, Inc. | Low latency automixer integrated with voice and noise activity detection |
US11302347B2 (en) | 2019-05-31 | 2022-04-12 | Shure Acquisition Holdings, Inc. | Low latency automixer integrated with voice and noise activity detection |
US11750972B2 (en) | 2019-08-23 | 2023-09-05 | Shure Acquisition Holdings, Inc. | One-dimensional array microphone with improved directivity |
US11297426B2 (en) | 2019-08-23 | 2022-04-05 | Shure Acquisition Holdings, Inc. | One-dimensional array microphone with improved directivity |
US11552611B2 (en) | 2020-02-07 | 2023-01-10 | Shure Acquisition Holdings, Inc. | System and method for automatic adjustment of reference gain |
USD944776S1 (en) | 2020-05-05 | 2022-03-01 | Shure Acquisition Holdings, Inc. | Audio device |
US11706562B2 (en) | 2020-05-29 | 2023-07-18 | Shure Acquisition Holdings, Inc. | Transducer steering and configuration systems and methods using a local positioning system |
US12028678B2 (en) | 2020-10-30 | 2024-07-02 | Shure Acquisition Holdings, Inc. | Proximity microphone |
US11785380B2 (en) | 2021-01-28 | 2023-10-10 | Shure Acquisition Holdings, Inc. | Hybrid audio beamforming system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9008327B2 (en) | Acoustic multi-channel cancellation | |
EP1803288B1 (en) | Echo cancellation | |
TWI458331B (en) | Apparatus and method for computing control information for an echo suppression filter and apparatus and method for computing a delay value | |
JP2004349806A (en) | Multichannel acoustic echo canceling method, apparatus thereof, program thereof, and recording medium thereof | |
US20080170706A1 (en) | Method And Device For Removing Echo In A Multi-Channel Audio Signal | |
WO2006111369A1 (en) | A method and device for removing echo in an audio signal | |
JP2011166484A (en) | Multi-channel echo cancellation method, multi-channel echo canceler, multi-channel echo cancellation program and recording medium therefor | |
JP5662232B2 (en) | Echo canceling apparatus, method and program | |
JP5469564B2 (en) | Multi-channel echo cancellation method, multi-channel echo cancellation apparatus and program thereof | |
CN115278465A (en) | Howling suppression method and device, sound box and sound amplification system | |
CN115175063A (en) | Howling suppression method and device, sound box and sound amplification system | |
JP3756828B2 (en) | Reverberation elimination method, apparatus for implementing this method, program, and recording medium therefor | |
JP3756839B2 (en) | Reverberation reduction method, Reverberation reduction device, Reverberation reduction program | |
US20120207327A1 (en) | Processing Audio Signals | |
JP2003188776A (en) | Acoustic echo erasing method and device, and acoustic echo erasure program | |
JP3673727B2 (en) | Reverberation elimination method, apparatus thereof, program thereof, and recording medium thereof | |
JP4041770B2 (en) | Acoustic echo cancellation method, apparatus, program, and recording medium | |
JP6143702B2 (en) | Echo canceling apparatus, method and program | |
JP3616341B2 (en) | Multi-channel echo cancellation method, apparatus thereof, program thereof, and recording medium | |
JP3628267B2 (en) | Multi-channel echo cancellation method, apparatus thereof, program thereof and recording medium thereof | |
JP6075783B2 (en) | Echo canceling apparatus, echo canceling method and program | |
JP3073976B2 (en) | Multi-channel acoustic echo canceling method, apparatus thereof, and recording medium recording this method | |
JP4247158B2 (en) | Multi-channel acoustic echo cancellation method, multi-channel acoustic echo cancellation apparatus, multi-channel acoustic echo cancellation program, recording medium | |
JP6356087B2 (en) | Echo canceling apparatus, method and program | |
WO2019244535A1 (en) | Echo cancellation device, echo cancellation method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050721 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070420 |
|
A131 | Notification of reasons for refusal |
Effective date: 20080325 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
A02 | Decision of refusal |
Effective date: 20080715 Free format text: JAPANESE INTERMEDIATE CODE: A02 |