JP2015019183A - エコー消去装置、エコー消去方法、及びそのプログラム - Google Patents
エコー消去装置、エコー消去方法、及びそのプログラム Download PDFInfo
- Publication number
- JP2015019183A JP2015019183A JP2013144098A JP2013144098A JP2015019183A JP 2015019183 A JP2015019183 A JP 2015019183A JP 2013144098 A JP2013144098 A JP 2013144098A JP 2013144098 A JP2013144098 A JP 2013144098A JP 2015019183 A JP2015019183 A JP 2015019183A
- Authority
- JP
- Japan
- Prior art keywords
- domain
- wave number
- echo
- signal
- error signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 claims description 86
- 230000001629 suppression Effects 0.000 claims description 81
- 238000012546 transfer Methods 0.000 claims description 51
- 238000006243 chemical reaction Methods 0.000 claims description 46
- 230000005236 sound signal Effects 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 32
- 230000001131 transforming effect Effects 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 description 28
- 230000004048 modification Effects 0.000 description 28
- 230000000694 effects Effects 0.000 description 25
- 230000005540 biological transmission Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 19
- 230000003044 adaptive effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 16
- 238000012937 correction Methods 0.000 description 14
- 238000009499 grossing Methods 0.000 description 13
- 238000001228 spectrum Methods 0.000 description 13
- 230000008030 elimination Effects 0.000 description 11
- 238000003379 elimination reaction Methods 0.000 description 11
- 230000002829 reductive effect Effects 0.000 description 11
- 230000000670 limiting effect Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 238000002592 echocardiography Methods 0.000 description 5
- 230000002411 adverse Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100406879 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) par-2 gene Proteins 0.000 description 1
- 101100361282 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rpm1 gene Proteins 0.000 description 1
- 238000000540 analysis of variance Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Landscapes
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
Description
(A)再生信号x(n)が所定レベルT1より大きい、
(B)BG誤差信号eBG(n)が、収音信号y(n)より所定レベルT2以上小さい、
(C)BG誤差信号eBG(n)が、FG誤差信号eFG(n)より所定レベルT3以上小さい、
(参考文献1)小山、「音場再現技術における数理問題」、日本音響学会誌、2012年、Vol.68、No.11,pp.584−589
図6は第一実施形態に係るエコー消去装置100の配置例を、図7はその機能ブロック図を、図8はその処理フローを示す。
時空間FFT変換部10は、Pチャネルの時間領域の再生信号x(p,n)を受け取り、波数領域に変換し(s1)、波数領域の再生信号X_f(k,i)を出力する。
(2)チャネル数Pが奇数でP=2K+1のとき、
BG波数領域エコーレプリカ生成部21は、P×(F+1)個の波数領域の再生信号X_f(k,i)と波数領域のフィルタ係数H_BG,f(k,k+dk,i)(詳細は後述する)とを受け取り(ただし、f≦F)、各周波数fの各波数kにおいて、次式のように、波数領域(−K<k≦K)で再生信号X_f(k,i)にフィルタ係数H_BG,f(k,k+dk,i)をかけて、波数領域のエコーレプリカをY^_BG,f(k,i)を生成し(s12)、出力する。
(参考文献2)
M. Schneider, W. Kellermann, "A Wave-domain model for acoustic MIMO systems with reduced complexity", 2011 Joint Workshop on Hands-free Speech Communication and Microphone arrays, 2012, pp. 133-138.
なお、δ=0のとき、式(5)となる。
FG波数領域エコーレプリカ生成部22は、P×(F+1)個の波数領域の再生信号X_f(k,i)と(ただし、f≦F)、後述する転送判定部60で転送を指示された波数領域のフィルタ係数H_BG,f’(k’,k’+dk,i)とを受け取る。なお、フィルタ係数H_BG,f’(k’,k’+dk,i)の個数は、転送を指示された個数によって変化し、フレームi毎に異なる。
<時空間逆FFT変換部31及び32>
時空間逆FFT変換部31は、P×(F+1)個の波数領域のエコーレプリカY^_BG,f(k,i)を受け取り(ただしf≦F)、時間領域に変換し(s13)、時間領域のエコーレプリカy^BG(p,i)を出力する。
減算部41pは、時間領域のエコーレプリカy^BG(p,i)と時間領域の収音信号y(p,n)とを受け取り、収音信号y(p,n)からエコーレプリカy^BG(p,i)を減算し、BG誤差信号eBG(p,i)を求め(s14)、時空間FFT変換部51に出力する。例えば、F個の収音信号y(p,n−F+1),y(p,n−F+2),…,y(p,n)を蓄積し、収音信号y(p,i)=[y(p,n−F+1),y(p,n−F+2),…,y(p,n)]とし、BG誤差信号eBG(p,i)を次式により求める。
時空間FFT変換部51は、P個の時間領域のBG誤差信号eBG(p,i)を受け取り、波数領域に変換し(s15)、波数領域のBG誤差信号E_BG,f(k,i)を転送判定部60に出力する。
エコー経路推定部70は、P×(F+1)個の波数領域の再生信号X_f(k,i)と波数領域のBG誤差信号E_BG,f(k,i)とを受け取り、この値を用いて、BG波数領域エコーレプリカ生成部21内にある適応フィルタのフィルタ係数H_BG,f(k,k+dk,i+1)を求め(s44)、BG波数領域エコーレプリカ生成部21に出力する。
転送判定部60は、P×(F+1)個の波数領域の再生信号X_f(k,i)と波数領域のBG誤差信号E_BG,f(k,i)と波数領域のFG誤差信号E_FG,f(k,i)と波数領域の収音信号X_f(k,i)とを受け取り、各周波数fの各波数kについて、BG誤差信号E_BG,f(k,i)とFG誤差信号E_FG,f(k,i)とを比較し、BG誤差信号E_BG,f(k,i)のほうがFG誤差信号E_FG,f(k,i)よりもエコーが消去されているか否かを判定する(s41)。例えば、周波数f(f≦F+1)、波数k(−K+1≦k≦K)において、「下記(A)(B)(C)の条件を同時に満たすか」否かを判定する(s41)。
(A)再生信号X_f(k,i)が所定レベルT1より大きい、
(B)BG誤差信号E_BG,f(k,i)が収音信号Y_f(k,i)+所定レベルT2より小さい、
(C)BG誤差信号E_BG,f(k,i)がFG誤差信号E_FG,f(k,i)+所定レベルT3より小さい、
この条件の一具体例としては、
(A)再生信号X_f(k,i)が所定レベルT1より大きい、
(B’)BG誤差信号E_BG,f(k,i)が収音信号Y_f(k,i)+所定レベルT12より大きい、
(C’)BG誤差信号E_BG,f(k,i)がFG誤差信号E_FG,f(k,i)+所定レベルT13より大きい、
この条件の一具体例としては、
フレーム合成部80pは、時間領域のFG誤差信号eFG(p,i)を受け取り、時間領域のFG誤差信号eFG(p,i)を合成し(s43)、合成した信号をエコー消去装置100の出力値として出力する。例えば、時空間FFT変換部10において、再生信号x(p,n)をD≧2でフレーム化した場合には、フレーム合成部80pは、フレームiで求めたFG誤差信号eFG(p,i)と一つ前のフレームi−1で求めたFG誤差信号eFG(p,i−1)とに対して窓かけ処理を行った上で、合成し、合成後の誤差信号e(p,i)(要素数はF/D個)の要素e(p,n−F/D+1),e(p,n−F/D+2),…,e(p,n)を逐次、出力値として出力する。ただし、n=iF/Dの関係にある。
このような構成により、波数領域において、FG/BG方式を適用できる。波数領域においてFG適応フィルタとBG適応フィルタを備えるエコー消去法では、再生信号及び誤差信号を波数領域に変換し、波数領域において転送条件を判定する。これにより、波数領域の適応フィルタのように、フィルタ係数と送話チャネルの対応が1対1に対応しない場合でも、FG/BG方式を適用し、ダブルトーク状態に対して安定的にエコー消去を行うことが可能になる。
本実施形態では、Pが偶数の場合について説明しているが、Pが奇数(P=2K+1)であってもよい。
第一実施形態の転送判定部60において、転送条件としてさらに収音信号Yf(k,i)とエコーレプリカY^_f(k,i)の類似性を判定する条件を追加する。それは、
(D)エコーレプリカの大きさが収音信号の大きさと比較して、小さくない、
(E)所定期間のエコーレプリカと収音信号のコヒーレンスが高い、
の2条件からなる。
第一実施形態と異なる部分を中心に説明する。
時空間FFT変換部211は、Pチャネルの時間領域の誤差信号e(p,n)を受け取り、波数領域に変換し(s211)、波数領域の誤差信号E_f(k,i)を出力する。処理内容は入出力を除けば時空間FFT変換部10と同様である。
特定周波数ノイズ抑圧部215fは、波数領域の誤差信号E_f(i)=[E_f(0,i) … E_f(k,i) … E_f(K,i) E_f(−K,i) … E_f(−1,i)]を受け取り(ただし、f≦F)、周波数−波数空間で分割された各成分E_f(k,i)に対してノイズ抑圧処理を施し(s215)、波数領域のノイズ抑圧処理済みの出力信号V_f(k,i)を空間逆FFT変換部213に出力する。特定周波数ノイズ抑圧部215fは、ノイズレベル推定部2157及びノイズ抑圧ゲイン算出適用部2158を含む。
ノイズレベル推定部2157は、P個の波数領域の誤差信号E_f(k,i)を受け取り、そのノイズレベルを推定し(s2157)、その推定値N_f(k,i)を出力する。その推定法としては参考文献3や参考文献4等に記載の方法を用いることができる。
(参考文献3)Rainer Martin, "Noise power spectral density estimation based on optimal smoothing and minimum statistics", IEEE Transactions on Speech and Audio Processing, 2001, Vol. 9, No. 5, pp. 504-512
(参考文献4)Mehrez Souden et al., "A new recursive approach for noise power spectral density tracking", 2012年, 日本音響学会秋季研究発表会講演論文集、pp.-741-742
ノイズ抑圧ゲイン算出適用部2158は、P個の波数領域の誤差信号E_f(k,i)とP個のノイズレベルの推定値N_f(k,i)とを受け取り、これらの値からノイズ抑圧ゲインG_f(k,i)を求める(s2158A)。例えば、ノイズ抑圧ゲインG_f(k,i)として、波数領域の誤差信号E_f(k,i)の振幅|E_f(k,i)|とノイズレベルの推定値N_f(k,i)とから、次式のように直接求められるレベル比を用いてもよい。
(参考文献5)特開2005−348173号公報
G_f(k,i)=Σh,j a(h)×G_j’(k,i)/Σh a(h)
この式は、インデックスjで示されるf番目の周波数帯域に隣接する平滑化前のノイズ抑圧ゲインG_f’(k,i)の平均値を求め、f番目の周波数帯域のノイズ抑圧ゲインG_f(k,i)とする平滑化処理を示す。和をとる際のhとjの総数は同数であり、またその総数は最も多くても周波数分析点数以下である。重み係数a(h)は、平滑化前のノイズ抑圧ゲインをG_f’(k,i)の断続性を緩和する。さらに、平滑化後のノイズ抑圧ゲインG_f(k,i)の強調化を行ってもよい。強調化処理は平滑化後のノイズ抑圧ゲインG_f(k,i)の値の大小によって、それぞれのゲイン係数を0もしくは1に近づける処理である。即ち、平滑化後のノイズ抑圧ゲインG_f(k,i)が大きく1に近い場合は、より1に近づけて対象成分をより通し易くし、平滑化後のノイズ抑圧ゲインG_f(k,i)が小さく0に近い場合は、より0に近づけて雑音成分をより大きく低減する様に平滑化後のノイズ抑圧ゲインG_f(k,i)を強調する。この強調化処理の具体的な1例を以下に式で示す。
G_f(k,i)がth1より大きい場合:
G_f(k,i)=th1×(G_f(k,i)/th1)v1
G_f(k,i)がth2より小さい場合:
G_f(k,i)=1-(1-th2){(1-G_f(k,i))/(1-th2)}v2
ここで、v1及びv2は1以上の整数とする。また、th1とth2は、th1≧th2の関係を満たす0以上1以下の整数である。ノイズ抑圧ゲインG_f(k,i)は0から1の範囲の値を持つので、th1より大きい場合、より1に近づき、th2より小さい場合、より0に近づく処理をこの式は実現する。
時空間逆FFT変換部213は、P×(F+1)個の波数領域のノイズ抑圧処理済みの出力信号V_f(k,i)を受け取り(ただしf≦F)、時間領域に変換し(s213)、時間領域の出力信号v(p,i)を出力する。処理内容は入出力を除けば時空間逆FFT変換部31と同様である。
フレーム合成部216pは、時間領域の出力信号v(p,i)を受け取り、時間領域の出力信号v(p,i)を合成し(s216)、合成した信号を波面再構成フィルタ90に出力する。処理内容は入出力を除けばフレーム合成部80pと同様である。
このような構成により、第一実施形態と同様の効果を得られるとともに、以下の効果を得られる。
第一実施形態では、ノイズ抑圧装置200と波面再構成フィルタ90の間は時間領域の信号になるが、波面再構成フィルタのフィルタ係数を波数領域で適用することで、各処理を波数領域で連結し、演算量を削減してもよい。
また、図16のように、ノイズ抑圧装置200は、波面再構成フィルタ90においてフィルタリングを行った後に、再合成信号w(p,n)に対してノイズ抑圧処理を行ってもよい。
第一実施形態で説明したように、巡回畳み込みの悪影響を避けるために、時空間FFT変換部211において、Pチャネルの信号の両脇にP/2個ずつ0詰めをして、2P(=4K)点FFTを適用してもよい。
第三実施形態では、エコー消去後に、ノイズを抑圧し、フィルタリングを行い、伝送しているが、(1)エコー消去装置100とノイズ抑圧装置200との間、(2)ノイズ抑圧装置200と波面再構成フィルタ90との間において伝送してもよい。
<第四実施形態のポイント>
第三実施形態と異なる部分を中心に説明する。
(参考文献6)T. Ajdler, L. Sbaiz, and M. Vetterli, "Dynamic measurement of room impulse responses using a moving microphone", The Journal of the Acoustical Society of America, 2007, vol. 122, issue 3, p. 1636-1645
p(x,t)=ej(ω0t+φ0xcosα) (41)
になる。ただし、上付き添え字中のω0及びφ0はそれぞれω0及びφ0を表し、ω0及びφ0はそれぞれ周波数f0の角周波数及び波数を表し、音速をvelocとして、φ0は
φ0=ω0/veloc (42)
である。このx−t軸上の音圧を周波数−波数領域に変換すると
図20は第四実施形態に係るノイズ抑圧装置内の特定周波数ノイズ抑圧部215fの機能ブロック図を、図21はその処理フローを示す。第三実施形態と第四実施形態との相違は、特定周波数ノイズ抑圧部215fの内部のみである。
波数限定部2154は、周波数f≦Fにおいて、周波数f毎に波数kの有効範囲を算出し(s2154)、この有効範囲を特定周波数ノイズ抑圧部215f内の各部に出力する(ただし、図中各部への出力を省略する)。例えば、周波数fの一次関数で表す式(47)により波数kの上限max_k(f)を求める。
-max_k(f)≦k≦max_k(f) (49)
で、各処理(s2157,s2158A,s2158B)を行い、ノイズ抑圧を図る。
波数0詰め部2155は、ノイズ抑圧ゲイン算出適用部2158から(P−2・max_k(f))個の波数領域のノイズ抑圧処理済みの出力信号V_f(k,i)を受け取り(ただし、周波数f≦F、−max_k(f)≦k≦max_k(f))、有効範囲外の波数、すなわちk<−max_k(f)及びmax_k(f)<kの範囲で、波数領域の出力信号V_f(k,i)を0とし(s2155)、時空間逆FFT変換部213に出力する。
このような構成により、第三実施形態と同様の効果を得ることができ、さらに、計算量を減らすことができるという効果を奏する。
第一実施形態と異なる部分を中心に説明する。
フレーム合成部580pは、時間領域のFG誤差信号eFG(p,i)を受け取り、時間領域のFG誤差信号eFG(p,i)を合成し(s43)、合成した誤差信号e’(p,i)を出力する。例えば、時空間FFT変換部10において、再生信号x(p,n)をD≧2でフレーム化した場合には、フレーム合成部580pは、フレームiで求めたFG誤差信号eFG(p,i)と一つ前のフレームi−1で求めたFG誤差信号eFG(p,i−1)とに対して窓かけ処理を行った上で、合成し(s543)、合成した誤差信号e’(p,i)をベクトルのまま出力する。
e'(p,i)=[0F/D IF/D]diag(WH)e(p,i-1)+[IF/D0F/D]diag(WH)e(p,i)
ただし、0F/Dは(F/D)×(F/D)のゼロ行列、IF/Dは(F/D)×(F/D)の単位行列、diag(・)は・を対角成分とし、それ以外が零であるような行列である。
残留エコー消去部520は、P×2F個の波数領域の再生信号X_f(k,i)と、合成後のP個の時間領域の誤差信号e’(p,i)とを受け取り、波数領域の誤差信号に含まれる残留エコーを推定し、消去し(s520)、P個の時間領域の送話信号z(p,n)を出力する。
周波数領域変換部521は、合成後のP個の時間領域の誤差信号e’(p,i)(要素数はF/D個)を受け取り、次式のように、チャネルp毎にフレームi、i−1、…、i−2D+1における誤差信号e’(p,i),e’(p,i−1),…,e’(p,i−2D+1)を用いて、周波数領域の誤差信号Uf(p,i)に変換し(s521)、P×2F個の周波数領域の誤差信号Uf(p,i)を波数変換部522に出力する。
U(p,i)=FFT([e'T(p,i-2D+1),e'T(p,i-2D+2),…,e'T(p,i)])
=[U0(p,i) … Uf(p,i) … U2F-1(p,i)] (51)
波数変換部522は、P×2F個の周波数領域の誤差信号Uf(p,i)を受け取り、次式により、周波数f毎に波数領域の誤差信号U_f(k,i)に変換し(s522)、P×2F個の波数領域の誤差信号U_f(k,i)を波数領域残留エコー推定消去部523に出力する。
U_f(i)=FFT([Uf(1,i) Uf(2,i) … Uf(P,i)])
=[U_f(0,i) … U_f(k,i) … U_f(K,i) U_f(-K+1,i) … U_f(-1,i)] (52)
波数領域残留エコー推定消去部523は、P×2F個の波数領域の再生信号X_f(k,i)と、P×2F個の波数領域の誤差信号U_f(k,i)とを受け取り、これらの値を用いて、f≦Fにおいて、誤差信号U_f(k,i)に含まれる残留エコーを推定し、消去し(s523)、P×(F+1)個の波数領域の送話信号Z_f(p,i)を求め、逆波数変換部524に出力する。以下、処理の詳細を説明する。
入出力相関係数算出部5231は、P×2F個の波数領域の再生信号X_f(k,i)とP×2F個の波数領域の誤差信号U_f(k,i)とを受け取り、f≦Fにおいて、波数領域の残留エコー信号を出力とする系の伝達特性を推定するために、時刻n=iF/Dにおける波数領域の再生信号X_f(k,i)と波数領域の誤差信号U_f(k,i)とから
Pf(k,i)=E[X_* f(k,i)X_f(k,i)]
Qf(k,i)=E[X_* f(k,i)U_f(k,i)] (53)
により、再生信号のパワースペクトルPf(k,i)と、再生信号と誤差信号との間のクロススペクトルQf(k,i)とを算出し(s5231)、入出力伝達特性推定部5232に出力する。
入出力伝達特性推定部5232は、P×(F+1)個のパワースペクトルPf(k,i)とP×(F+1)個のクロススペクトルQf(k,i)とを受け取り、f(f≦F)において、パワースペクトルPf(k,i)及びクロススペクトルQf(k,i)から
残留エコー推定部5233は、P×(F+1)個の波数領域の再生信号X_f(k,i)と、P×(F+1)個の推定値Gf(k,i)とを受け取り、f(f≦F)において、次式のように、再生信号X_f(k,i)に推定値Gf(k,i)を乗じて、残留エコーを推定し(s5233)、推定値ΔY_f(k,i)を残留エコー補正部5234に出力する。
ΔY_f(k,i)=Gf(k,i)X_f(k,i) (55)
残留エコー補正部5234は、P×(F+1)個の推定値ΔY_f(k,i)と、P×(F+1)個の波数領域の誤差信号U_f(k,i)とを受け取り、f(f≦F)において、次式で補正し(s5234)、補正後の残留エコーの推定値ΔYII_f(k,i)を減算部5235に出力する。
S_f(k,i)=U_f(k,i)-ΔY_f(k,i)
また、Tは各スペクトルの推定の自由度の数であり、入出力相関係数算出部5231においてパワースペクトルPf(k,i)及びクロススペクトルQf(k,i)を算出するときのフレーム数(つまり、各スペクトル推定に使用するフレーム数)が、これにあたる。
Mは入力変数の数であり、式(54)の場合にはM=1になる。またF2M,T−2M,alphaは、自由度n1=2M、n2=T−2MのF分布の100×alpha百分比点である。
(参考文献7)J.S.ベンダット、A.G.ピアソル、「ランダムデータの統計的処理」、培風館、1976年、p.194〜197
減算部5235は、P×2F個の波数領域の誤差信号U_f(k,i)と、P×(F+1)個の波数領域の補正後の残留エコーの推定値ΔYII_f(k,i)とを受け取り、f(f≦F)において、次式のように波数領域で誤差信号U_f(k,i)から残留エコーの推定値ΔYII_f(k,i)を差し引いて(s5235)、差分を波数領域の送話信号Z_f(k,i)として求め、逆波数変換部524に出力する。
Z_f(k,i)=U_f(k,i)-ΔYII_f(k,i) (58)
逆波数変換部524は、P×(F+1)個の波数領域の送話信号Z_f(k,i)を受け取り(図6参照)、f(f≦F)において、次式のように周波数f毎に周波数領域の送話信号Zf(p,i)に変換する(s524)。
[Zf(1,i) Zf(2,i) … Zf(P,i)]
=IFFT([Z_f(0,i)…Z_f(k,i)…Z_f(K,i) Z_f(-K+1,i)…Z_f(-1,i)]) (59)
なお、周波数f>Fについては、実数信号のFFT結果に関する対称性から、次式で周波数領域の送話信号Zf(p,i)を求める。
Zf(p,i)=conj(Z2F-f(p,i))
このようにして求めた合計P×2F個の周波数領域の送話信号Zf(p,i)を時間領域変換部525に出力する。なお、逆波数変換方法としては、波数変換部522における波数領域変換方法に対応するものを用いればよい。
時間領域変換部525は、P×2F個の周波数領域の送話信号Zf(p,i)を受け取り、次式のように、チャネルp毎に周波数領域の送話信号Zf(p,i)を逆FFTし、時間領域の送話信号z(p,i)(ベクトルであり、要素数は2F個)に変換し(s525)、フレーム合成部526pに出力する。
z(p,i)=IFFT([Z0(p,i)…Zf(p,i)…Z2F-1(p,i)]) (60)
時間領域変換方法としては、周波数領域変換部521における周波数領域変換方法に対応するものを用いればよい。
フレーム合成部526pは、時間領域の送話信号ベクトルz(p,i)を受け取る。再生信号x(p,n)をD≧2でフレーム化した場合には、フレーム合成部526pは、フレームiで求めた送話信号z(p,i)と一つ前のフレームi−1で求めた送話信号z(p,i−1)とに対して窓かけ処理を行った上で、合成し(s526)、合成後の送話信号ベクトルz’(p,i)(要素数はF/D個)の要素z(p,n−F/D+1),z(p,n−F/D+2),…,z(p,n)を逐次、エコー消去装置500の出力値として出力する。ただし、n=iF/Dの関係にある。なお、その処理内容は、フレーム合成部580pの処理と同等である。
このような構成により、波数領域の再生信号X_f(k,i)と波数領域の誤差信号U_f(k,i)とから波数領域で残留エコーを推定し、誤差信号U_f(k,i)から残留エコーの推定値ΔY_f(k,i)を差し引く。これにより、第一実施形態と同様の効果に加え、波数領域の適応フィルタによるエコー経路推定及び消去が十分でない状態であっても、会話状態によらずに迅速に残留エコーを低減することができるという効果を奏する。
第五実施形態と異なる部分についてのみ説明する。波数領域残留エコー推定消去部523の処理(s523)において、残留エコーを補正しない構成としてもよい。この場合、波数領域残留エコー推定消去部523は、残留エコー補正部5234を含まず、減算部5235では、残留エコー推定部5233の出力値である残留エコーの推定値ΔY_f(k,i)を補正せずにそのまま用いる。
第五実施形態またはその第一変形例と異なる部分についてのみ説明する。
波数領域残留エコー推定消去部523は、波数領域の再生信号X_f(k,i)とFG波数領域エコーレプリカ生成部22で生成されたエコーレプリカY^_FG,f(k,i)の線形和として波数領域の残留エコーを推定する。
線形和重み算出部5236は、P×2F個の波数領域の再生信号X_f(k,i)と、P×2F個の波数領域の誤差信号U_f(k,i)と、P×2F個の波数領域のエコーレプリカY^_FG,f(k,i)とを受け取り、f(f≦F)において、以下のように相互スペクトルを係数とする式を解いて線形和重みc’f,1(k,i)及びc’f,2(k,i)を算出する(s5236)。
線形和算出部5237は、P×(F+1)個の線形和重みcf,1(k,i)と、P×(F+1)個の線形和重みcf,2(k,i)と、P×2F個の波数領域の再生信号X_f(k,i)と、P×2F個の波数領域のエコーレプリカY^_FG,f(k,i)とを受け取り、次式のように、f(f≦F)において、再生信号X_f(k,i)とエコーレプリカY^_FG,f(k,i)との線形和Z^_f(k,i)を算出し(s5237)、この線形和Z^_f(k,i)を残留エコーの推定値ΔY_f(k,i)として減算部5235に出力する。
Z^_f(k,i)=X_f(k,i)cf,1(k,i)+Y^_FG,f(k,i)cf,2(k,i) (63)
減算部5235は、P×2F個の波数領域の誤差信号U_f(k,i)と、P×(F+1)個の波数領域の残留エコーの推定値ΔY_f(k,i)とを受け取り、f(f≦F)において、次式のように波数領域で誤差信号U_f(k,i)から波数領域の残留エコーの推定値ΔY_f(k,i)を差し引いて(s5235)、波数領域の送話信号Z_f(k,i)を求め、逆波数変換部524に出力する。
Z_f(k,i)=U_f(k,i)-ΔY_f(k,i)
このような構成により、第五実施形態と同様の効果を得ることができる。本変形例では、第五実施形態に比べ計算量は増えるが、エコーレプリカを残留エコー推定に含めることで、フレーム長が部屋の残響時間と比較して大幅に短い場合でも、残留エコー消去性能の劣化を抑えることができる。
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の実施形態またはその変形例では、全周波数帯域において処理を行っているが、所望の音声処理性能を実現するために、各部、各装置において、対象とする周波数帯域を変更してもよい。例えば、エコー消去装置100の処理は、計算量が大きいが、得られるエコー消去効果も大きい。一方、波数領域残留エコー推定消去部523の処理は、エコー消去装置100と比べると計算量は小さいが、エコーを消去した場合と比べて、音声の明瞭性はそれほど変わらない。そのため、エコー消去装置100の処理対象とする周波数帯域を300〜3400Hz程度に限定し、一方、波数領域残留エコー推定消去部523の処理対象とする周波数帯域を300〜7500Hz程度に限定する。このような構成とすることで、聴覚上大きな影響を与える周波数帯域においては十分にエコーを消去しつつ、広帯域においてエコーを低減することができ、計算量を抑えつつ、音声の明瞭性を効率よく向上させることができる。
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
Claims (6)
- 時間領域の再生信号を波数領域に変換する第一時空間領域変換部と、
波数領域の再生信号に第一フィルタ係数をかけて、波数領域の第一エコーレプリカを生成する第一エコーレプリカ生成部と、
波数領域の第一エコーレプリカを時間領域の第一エコーレプリカに変換する第一時空間領域逆変換部と、
時間領域の収音信号から時間領域の第一エコーレプリカを減算して第一誤差信号を求める第一エコーレプリカ減算部と、
波数領域の再生信号に第二フィルタ係数をかけて、波数領域の第二エコーレプリカを生成する第二エコーレプリカ生成部と、
波数領域の第二エコーレプリカを時間領域の第二エコーレプリカに変換する第二時空間領域逆変換部と、
時間領域の収音信号から時間領域の第二エコーレプリカを減算して第二誤差信号を求める第二エコーレプリカ減算部と、
時間領域の第一誤差信号を波数領域に変換する第二時空間領域変換部と、
波数領域の第一誤差信号と波数領域の再生信号とを用いて、前記第一エコーレプリカ生成部内の前記第一フィルタ係数を更新するエコー経路推定部と、
時間領域の第二誤差信号を波数領域に変換する第四時空間領域変換部と、
各周波数の各波数について、第一誤差信号と第二誤差信号とを比較し、第一誤差信号のほうが第二誤差信号よりもエコーが消去されていると判定したときに、前記第一エコーレプリカ生成部内の前記第一フィルタ係数を前記第二エコーレプリカ生成部に転送する転送判定部とを含む、
エコー消去装置。 - 請求項1記載のエコー消去装置であって、
時間領域の収音信号を波数領域に変換する第三時空間領域変換部をさらに含み、
前記転送判定部は、
各周波数の各波数について、第一誤差信号と第二誤差信号とを比較して第一誤差信号が第二誤差信号と所定レベルとの和より小さく、かつ、第一誤差信号と収音信号とを比較して第一誤差信号が収音信号と所定レベルとの和より小さいときに、第一誤差信号のほうが第二誤差信号よりもエコーが消去されていると判定する、
エコー消去装置。 - 請求項1または請求項2記載のエコー消去装置であって、
さらに、
波数領域の前記再生信号と波数領域の前記第二誤差信号とを用いて、波数領域の前記第二誤差信号に含まれる残留エコーを推定し、消去する波数領域残留エコー推定消去部とを含む、
エコー消去装置。 - 請求項1から請求項3の何れかに記載のエコー消去装置であって、
さらに、
周波数と波数との組合せ毎に、波数領域の収音信号に対応する信号のノイズレベルを推定するノイズレベル推定部と、
周波数と波数との組合せ毎に、波数領域の収音信号に対応する信号と、波数領域のノイズレベルの推定値との比に基づきノイズ抑圧ゲインを求め、波数領域の収音信号に対応する信号にノイズ抑圧ゲインを乗じ、波数領域のノイズ抑圧処理済みの収音信号に対応する信号を求めるノイズ抑圧ゲイン算出適用部とを含む、
エコー消去装置。 - 時間領域の再生信号を波数領域に変換する第一時空間領域変換ステップと、
波数領域の再生信号に第一フィルタ係数をかけて、波数領域の第一エコーレプリカを生成する第一エコーレプリカ生成ステップと、
波数領域の第一エコーレプリカを時間領域の第一エコーレプリカに変換する第一時空間領域逆変換ステップと、
時間領域の収音信号から時間領域の第一エコーレプリカを減算して第一誤差信号を求める第一エコーレプリカ減算ステップと、
波数領域の再生信号に第二フィルタ係数をかけて、波数領域の第二エコーレプリカを生成する第二エコーレプリカ生成ステップと、
波数領域の第二エコーレプリカを時間領域の第二エコーレプリカに変換する第二時空間領域逆変換ステップと、
時間領域の収音信号から時間領域の第二エコーレプリカを減算して第二誤差信号を求める第二エコーレプリカ減算ステップと、
時間領域の第一誤差信号を波数領域に変換する第二時空間領域変換ステップと、
波数領域の第一誤差信号と波数領域の再生信号とを用いて、前記第一フィルタ係数を更新するエコー経路推定ステップと、
時間領域の第二誤差信号を波数領域に変換する第四時空間領域変換ステップと、
各周波数の各波数について、第一誤差信号と第二誤差信号とを比較し、第一誤差信号のほうが第二誤差信号よりもエコーが消去されていると判定したときに、前記第一フィルタ係数を転送する転送判定ステップとを含む、
エコー消去方法。 - 請求項1から請求項4の何れかに記載のエコー消去装置として、コンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013144098A JP5774062B2 (ja) | 2013-07-10 | 2013-07-10 | エコー消去装置、エコー消去方法、及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013144098A JP5774062B2 (ja) | 2013-07-10 | 2013-07-10 | エコー消去装置、エコー消去方法、及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015019183A true JP2015019183A (ja) | 2015-01-29 |
JP5774062B2 JP5774062B2 (ja) | 2015-09-02 |
Family
ID=52439818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013144098A Expired - Fee Related JP5774062B2 (ja) | 2013-07-10 | 2013-07-10 | エコー消去装置、エコー消去方法、及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5774062B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022120085A1 (en) * | 2020-12-03 | 2022-06-09 | Dolby Laboratories Licensing Corporation | Subband domain acoustic echo canceller based acoustic state estimator |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6075783B2 (ja) * | 2013-12-09 | 2017-02-08 | 日本電信電話株式会社 | エコー消去装置、エコー消去方法及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000244372A (ja) * | 1999-02-19 | 2000-09-08 | Matsushita Electric Ind Co Ltd | 係数転送判別器及びそれを用いたエコーキャンセラ |
JP2001016142A (ja) * | 1999-07-01 | 2001-01-19 | Matsushita Electric Ind Co Ltd | エコーキャンセラ方法、装置およびプログラム記録媒体 |
JP2003008480A (ja) * | 2001-06-18 | 2003-01-10 | Matsushita Electric Ind Co Ltd | エコーキャンセル装置およびそのプログラム記録媒体 |
JP2008124914A (ja) * | 2006-11-14 | 2008-05-29 | Nippon Telegr & Teleph Corp <Ntt> | エコーキャンセル装置、その方法、そのプログラム、およびその記録媒体 |
US20090116638A1 (en) * | 2005-06-16 | 2009-05-07 | Trinity Convergence, Inc. | Systems and Methods for Adaptive Echo Cancellation |
-
2013
- 2013-07-10 JP JP2013144098A patent/JP5774062B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000244372A (ja) * | 1999-02-19 | 2000-09-08 | Matsushita Electric Ind Co Ltd | 係数転送判別器及びそれを用いたエコーキャンセラ |
JP2001016142A (ja) * | 1999-07-01 | 2001-01-19 | Matsushita Electric Ind Co Ltd | エコーキャンセラ方法、装置およびプログラム記録媒体 |
JP2003008480A (ja) * | 2001-06-18 | 2003-01-10 | Matsushita Electric Ind Co Ltd | エコーキャンセル装置およびそのプログラム記録媒体 |
US20090116638A1 (en) * | 2005-06-16 | 2009-05-07 | Trinity Convergence, Inc. | Systems and Methods for Adaptive Echo Cancellation |
JP2008124914A (ja) * | 2006-11-14 | 2008-05-29 | Nippon Telegr & Teleph Corp <Ntt> | エコーキャンセル装置、その方法、そのプログラム、およびその記録媒体 |
Non-Patent Citations (1)
Title |
---|
JPN6015016775; Herbert Buchner et al.: 'WAVE-DOMAIN ADAPTIVE FILTERING: ACOUSTIC ECHO CANCELLATION FOR FULL-FUPLEX SYSTEMS BASED ON WAVE-FIE' IEEE International Conference on Acoustics, Speech, and Signal Processing, 2004 (ICASSP '04) Vol. 4, 200405, pp.IV-117〜IV-120 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022120085A1 (en) * | 2020-12-03 | 2022-06-09 | Dolby Laboratories Licensing Corporation | Subband domain acoustic echo canceller based acoustic state estimator |
Also Published As
Publication number | Publication date |
---|---|
JP5774062B2 (ja) | 2015-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109727604B (zh) | 用于语音识别前端的频域回声消除方法及计算机储存介质 | |
KR20130108063A (ko) | 다중 마이크로폰의 견고한 잡음 억제 | |
JP5391103B2 (ja) | 多チャネルエコー消去方法、多チャネルエコー消去装置、多チャネルエコー消去プログラム及びその記録媒体 | |
JP5762479B2 (ja) | 音声スイッチ装置、音声スイッチ方法、及びそのプログラム | |
JP2016048872A (ja) | 収音装置 | |
JP5016581B2 (ja) | エコー抑圧装置、エコー抑圧方法、エコー抑圧プログラム、記録媒体 | |
JP5469564B2 (ja) | 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム | |
Hofmann et al. | Significance-aware filtering for nonlinear acoustic echo cancellation | |
JP5774062B2 (ja) | エコー消去装置、エコー消去方法、及びそのプログラム | |
KR101587844B1 (ko) | 마이크로폰의 신호 보상 장치 및 그 방법 | |
JP3756839B2 (ja) | 反響低減方法、反響低減装置、反響低減プログラム | |
JP5937451B2 (ja) | エコー消去装置、エコー消去方法及びプログラム | |
JP3756828B2 (ja) | 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
JP5889224B2 (ja) | エコー抑圧ゲイン推定方法とそれを用いたエコー消去装置とプログラム | |
JP5524316B2 (ja) | パラメータ推定装置、エコー消去装置、パラメータ推定方法、及びプログラム | |
JP5762478B2 (ja) | ノイズ抑圧装置、ノイズ抑圧方法、及びそのプログラム | |
JP5826712B2 (ja) | マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム | |
JP4504891B2 (ja) | 反響消去方法、反響消去装置、プログラム、記録媒体 | |
JP6075783B2 (ja) | エコー消去装置、エコー消去方法及びプログラム | |
JP5925149B2 (ja) | 音響結合量推定装置、エコー消去装置、その方法及びプログラム | |
JP4504892B2 (ja) | 反響消去方法、反響消去装置、プログラム、記録媒体 | |
JP2012205161A (ja) | 音声通話装置 | |
JP4478045B2 (ja) | エコー消去装置、エコー消去方法、エコー消去プログラムおよびその記録媒体 | |
JP6356087B2 (ja) | エコー消去装置、その方法及びプログラム | |
JP5698110B2 (ja) | マルチチャネルエコー消去方法、マルチチャネルエコー消去装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5774062 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |