JP2014023110A - エコー消去装置、エコー消去方法及びプログラム - Google Patents

エコー消去装置、エコー消去方法及びプログラム Download PDF

Info

Publication number
JP2014023110A
JP2014023110A JP2012162822A JP2012162822A JP2014023110A JP 2014023110 A JP2014023110 A JP 2014023110A JP 2012162822 A JP2012162822 A JP 2012162822A JP 2012162822 A JP2012162822 A JP 2012162822A JP 2014023110 A JP2014023110 A JP 2014023110A
Authority
JP
Japan
Prior art keywords
domain
wave number
echo
signal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012162822A
Other languages
English (en)
Other versions
JP5937451B2 (ja
Inventor
Akira Emura
暁 江村
Yoichi Haneda
陽一 羽田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012162822A priority Critical patent/JP5937451B2/ja
Publication of JP2014023110A publication Critical patent/JP2014023110A/ja
Application granted granted Critical
Publication of JP5937451B2 publication Critical patent/JP5937451B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

【課題】適応フィルタによるエコー経路推定及び消去が十分でない状態において、会話状態によらず迅速に残留エコーを低減するエコー消去技術を提供する。
【解決手段】エコー消去装置は、波数領域の受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成し、マイクロホンで収音される時間領域の収音信号から時間領域のエコーレプリカを差し引き、時間領域の誤差信号を求め、波数領域の受話信号と波数領域の誤差信号とを用いて波数領域のフィルタ係数の修正量を算出し、修正量を用いてフィルタ係数を更新し、波数領域の受話信号と波数領域の誤差信号とを用いて、波数領域の誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める。
【選択図】図6

Description

本発明は、マルチチャネル拡声通話系において音響エコーを消去する技術に関する。
より自然な通話環境を提供できるマルチチャネル拡声型の双方向通信会議システムの開発が、IP通信の高速化・大容量化を背景に、近年進展している。マルチチャネル再生技術は、ステレオ再生から5.1チャネル再生へとチャネル数拡大の方向に進んでいる。しかし、音が高い立体感を持って再生されるリスニングエリアが限られていて、スィートスポット化しており、その外では音の立体感が大幅に低減してしまう。そのため、参加者全員に等しく音の立体感を提供可能な、リスニングエリアの広いマルチチャネル再生技術が求められている。
このようなマルチチャネル再生技術として、近年Wave Field Synthesis(以下「WFS」と略す)の研究が進められている(非特許文献1参照)。WFSは、ある地点での音波面を取得し、別の地点で再合成するために、数十以上のマイクロホン、数十以上のスピーカを必要とする。
WFSを双方向映像音声通信会議に適用しようとする場合、快適な通話環境を実現するためには、数十〜数百のスピーカから数十〜数百のマイクロホンに音響的に回り込む信号成分(以下「エコー」ともいう)をマイクロホンの収音信号から消去する必要がある。この処理を効率的に行う音響エコーキャンセラアルゴリズムとして、波数領域適応アルゴリズムが提案されている(非特許文献2参照)。この波数領域適応アルゴリズムは、適応フィルタのフィルタ係数を波数領域に持つアルゴリズムである。
J. Berkhout, D de Vries, and P. Vogel, "Acoustic Control by wave field synthesis", Journal of Acoustic Society of America, 1993, vol.93, no.5, p.2764-2778 M. Schneider, W. Kellermann, "A Wave-domain model for acoustic MIMO systems with reduced complexity", 2012, 2011 Joint Workshop on Hands-free Speech Communication and Microphone arrays, pp.133-138
しかしながら、非特許文献2は、そのシミュレーション結果の説明に記されているように、スピーカアレーから再生する波面の放射方向が変わったときに、エコー消去量が急激に劣化する。この状況は、双方向通信において遠隔地で話者が交代して、交代後の話者再生音声の放射方向が交代前と異なるケースに対応する。エコー消去量が劣化する理由は、再生波面の放射方向が変化するとエコー消去に波数kの異なる適応フィルタ係数が必要になるが、その適応フィルタ係数がほとんど未学習なためである。
快適な拡声通話を実現するには、適応フィルタによるエコー経路推定及び消去が十分でない状態において、会話状態によらず迅速に残留エコーを低減する必要がある。特にダブルトーク状態では、送話の品質に影響を与えることなく残留エコーを低減する必要がある。
本発明は、適応フィルタによるエコー経路推定及び消去が十分でない状態において、会話状態によらず迅速に残留エコーを低減するエコー消去技術を提供することを目的とする。
上記の課題を解決するために、本発明の第一の態様によれば、エコー消去装置は、Pを2以上の整数とし、P個のスピーカとP個のマイクロホンとが共通の音場に配置され、スピーカから受話信号を再生した際にエコー経路を経てマイクロホンに回り込むエコーを消去する。エコー消去装置は、時間領域の受話信号を周波数領域の信号に変換する第一周波数領域変換部と、周波数領域の受話信号を波数領域の信号に変換する第一波数領域変換部と、波数領域の受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成する乗算部と、波数領域のエコーレプリカを周波数領域のエコーレプリカに変換する逆波数変換部と、周波数領域のエコーレプリカを時間領域のエコーレプリカに変換する時間領域変換部と、マイクロホンで収音される時間領域の収音信号から時間領域のエコーレプリカを差し引き、時間領域の誤差信号を求める第一減算部と、時間領域の誤差信号を周波数領域の信号に変換する第二周波数領域変換部と、周波数領域の誤差信号を波数領域の信号に変換する第二波数領域変換部と、波数領域の受話信号と波数領域の誤差信号とを用いて波数領域のフィルタ係数の修正量を算出する修正量算出部と、修正量を用いてフィルタ係数を更新するフィルタ係数部と、波数領域の受話信号と波数領域の誤差信号とを用いて、波数領域の誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める波数領域残留エコー推定消去部とを含む。
上記の課題を解決するために、本発明の第二の態様によれば、エコー消去方法は、Pを2以上の整数とし、P個のスピーカとP個のマイクロホンとが共通の音場に配置され、スピーカから受話信号を再生した際にエコー経路を経てマイクロホンに回り込むエコーを消去する。エコー消去方法は、時間領域の受話信号を周波数領域の信号に変換する第一周波数領域変換ステップと、周波数領域の受話信号を波数領域の信号に変換する第一波数領域変換ステップと、波数領域の受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成する乗算ステップと、波数領域のエコーレプリカを周波数領域のエコーレプリカに変換する逆波数変換ステップと、周波数領域のエコーレプリカを時間領域のエコーレプリカに変換する時間領域変換ステップと、マイクロホンで収音される時間領域の収音信号から時間領域のエコーレプリカを差し引き、時間領域の誤差信号を求める第一減算ステップと、波数領域の受話信号と波数領域の誤差信号とを用いて波数領域のフィルタ係数の修正量を算出する修正量算出ステップと、修正量を用いてフィルタ係数を更新するフィルタ係数ステップと、時間領域の誤差信号を周波数領域の信号に変換する第二周波数領域変換ステップと、周波数領域の誤差信号を波数領域の信号に変換する第二波数領域変換ステップと、波数領域の受話信号と波数領域の誤差信号とを用いて、波数領域の誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める波数領域残留エコー推定消去ステップとを含む。
本発明は、波数領域で受話信号と誤差信号とから残留エコーを推定し、誤差信号から残留エコーを差し引いて、適応フィルタによるエコー経路推定及び消去が十分でない状態で、会話状態によらず迅速に残留エコーを低減することができるという効果を奏する。
マルチチャネル通信会議システムにおけるエコー消去装置の配置例を示す図。 第一実施形態に係るエコー消去装置の機能ブロック図。 第一実施形態に係るエコー消去装置の処理フローを示す図。 波数領域エコーレプリカ生成部の機能ブロック図。 誤差信号の合成の様子を示す図。 残留エコー消去部の機能ブロック図。 残留エコー消去部の処理フローを示す図。 第一実施形態に係る波数領域残留エコー推定消去部123の機能ブロック図。 第一実施形態に係る波数領域残留エコー推定消去部123の処理フローを示す図。 第二変形例に係る波数領域残留エコー推定消去部123の機能ブロック図。 第二変形例に係る波数領域残留エコー推定消去部123の処理フローを示す図。 単一周波数波の平面波のサンプリングの様子を示す図。 空間エリアシングが生じる様子及び生じない様子を示す図。 第二実施形態に係る波数領域残留エコー推定消去部123の機能ブロック図。 第二実施形態に係る波数領域残留エコー推定消去部123の処理フローを示す図。 第一実施形態及び第二実施形態に係るエコー消去装置のシミュレーション結果を示す図。
以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^」は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
<第一実施形態>
<第一実施形態のポイント>
第一実施形態では、受話信号から残留エコーへの伝達特性を高速に推定する手段と、波数領域において誤差信号から残留エコーを差し引く手段とを備える。伝達特性推定では、波数ごとに受話信号と誤差信号の相関を利用することで推定を高速化し、残留エコー以外の信号による推定揺らぎを抑える。
<第一実施形態に係るエコー消去装置100>
図1はマルチチャネル通信会議システムにおけるエコー消去装置100の配置例を、図2はエコー消去装置100の機能ブロック図を、図3はその処理フローを示す。
エコー消去装置100を含むマルチチャネル通信会議システムはPチャネルの再生系とPチャネルの収音系からなる。ただし、P≧2である。このマルチチャネル通信会議システムにおいて、P個のスピーカ2とP個のマイクロホン3とが共通の音場に配置される。Pチャネルの受話信号x(p,n)は、スピーカ2で音響信号として再生され、音響エコー経路を経てP個のマイクロホン3にそれぞれ回り込む。この回り込む信号成分が前述のエコーである。ただし、p=1,2,…,Pであり、nは時刻を表すインデックスである。
エコー消去装置100は、P個の受話端1のそれぞれを介して受話信号x(p,n)を受け取り、P個のマイクロホン3のそれぞれで収音される収音信号y(p,n)を受け取る。さらに、P個の収音信号y(p,n)のそれぞれからエコーを消去して、送話信号v(p,n)を生成し、送話端4に出力する。
エコー消去装置100は、周波数領域変換部11と、波数変換部12と、波数領域エコーレプリカ生成部21と、逆波数変換部31と、時間領域変換部32と、P個の減算部33と、フレーム合成部34と、誤差周波数領域変換部41と、誤差波数変換部42とを含む。なお、エコー消去装置100は、既存技術(例えば非特許文献2参照)を用いて、波数領域適応アルゴリズムを実現する。
さらに、エコー消去装置100は、既存技術には無い、波数領域で受話信号と誤差信号とから残留エコーを推定し、誤差信号から残留エコーを差し引く残留エコー消去部120を含む。以下、各部の詳細を説明する。
<周波数領域変換部11>
周波数領域変換部11は、Pチャネルの時間領域の受話信号x(p,n)を受け取り、チャネルp毎に周波数領域の受話信号X(p,i)に変換し(s1)、P×2F個の周波数領域の受話信号X(p,i)を波数変換部12に出力する。ただし、iはフレーム番号を、2Fは1フレーム内に含まれるサンプル数を、fは周波数のインデックスを表し、f=0,1,…,2F−1である。信号のサンプリング周波数をfとすると、X(p,i)はフレームiにおけるチャネルpの受話信号の周波数ff/2F[Hz]の成分を表す。なお、周波数領域変換の方法としては、高速フーリエ変換(Fast Fourier Transform;以下「FFT」と略す)等が考えられる。
まず、周波数領域変換部11は、受話信号x(p,n)をF/D個受け取る毎に(言い換えると、n=iF/Dの関係になる毎に)、2F個の受話信号x(p,n−2F+1),x(p,n−2F+2),…,x(p,n)を1フレーム分としてブロック化し、フレーム単位の受話信号x(p,i)を得る。ただし、Fは自然数であり、DはFを割り切る自然数である。例えば、
x(p,i)=[x(p,(iF/D)-2F+1),x(p,(iF/D)-2F+2),…,x(p,iF/D)]T (1)
である。ただし、は転置を表す。以下、各信号を1フレーム=2Fサンプル、シフト量F/Dサンプルでブロック化する。FFT計算を簡略化・高速化するために、Fを2のべき乗にとることが多い。以下ではD≧2の場合を示す。
さらに、周波数領域変換部11は、フレーム単位の受話信号x(p,i)を、次式のように周波数領域の受話信号X(p,i)に変換する。
X(p,i)=FFT(x(p,i))=[X0(p,i) … Xf(p,i) … X2F-1(p,i)] (2)
なお、受話信号X(p,i)を含め、周波数領域の各信号は短時間スペクトルにより表される。
<波数変換部12>
波数変換部12は、P×2F個の周波数領域の受話信号X(p,i)を受け取り、以下の式(3)や(4)により、周波数f毎に波数領域の受話信号X(W) (k,i)に変換し(s3)、P×2F個の波数領域の受話信号X(W) (k,i)を波数領域エコーレプリカ生成部21及び残留エコー消去部120に出力する。ただし、kは波数のインデックスであり、Kを自然数とし、チャネル数Pが偶数でP=2Kのときk=−K+1,−K+2,…,−1,0,1,…,Kであり、チャネル数Pが奇数でP=2K+1のときk=−K,−K+1,…,−1,0,1,…,Kである。
(1)チャネル数Pが偶数でP=2Kのとき、
X(W) f(i)=FFT([Xf(1,i) Xf(2,i) … Xf(P,i)])
=[X(W) f(0,i) … X(W) f(k,i) … X(W) f(K,i) X(W) f(-K+1,i) … X(W) f(-1,i)] (3)
である。
(2)チャネル数Pが奇数でP=2K+1のとき、
X(W) f(i)=FFT([Xf(1,i) Xf(2,i) … Xf(P,i)])
=[X(W) f(0,i) … X(W) f(k,i) … X(W) f(K,i) X(W) f(-K,i) … X(W) f(-1,i)] (4)
である。波数領域への変換は、2のべき乗の点数を持つFFTで高速に行うため、以下、チャネル数Pが偶数の場合(P=2K)について説明を進める。なお、受話信号X(W) (k,i)を含め、波数領域の各信号は短時間スペクトルにより表される。
<波数領域エコーレプリカ生成部21>
波数領域エコーレプリカ生成部21は、P×2F個の波数領域の受話信号X(W) (k,i)とP×2F個の波数領域の誤差信号E(W) (k,i)(詳細は後述する)とを受け取り、これらの値を用いて、f≦Fにおいて、P×(F+1)個の波数領域のエコーレプリカY^(W) (k,i)を生成し、逆波数変換部31に出力する。なお、エコーレプリカとは、収音信号に含まれるエコーを模したものであり、エコーの推定値である。
図4は波数領域エコーレプリカ生成部21の機能ブロック図を示す。波数領域エコーレプリカ生成部21は、修正量算出部211と、フィルタ係数部213と、乗算部215とを含む。
(乗算部215)
波数領域エコーレプリカ生成部21の乗算部215は、P×2F個の波数領域の受話信号X(W) (k,i)を受け取る。また、後述するフィルタ係数部213からP×(F+1)×(2δ+1)個の波数領域のフィルタ係数H(W) (k,k+dk,i)(ただしf≦F)を受け取る。ただし、dk=−δ,−δ+1,…,−1,0,1,…,δ−1,δである。δとして、非特許文献2では1もしくは2が推奨されている。乗算部215は、f≦Fにおいて、次式のように、受話信号X(W) (k,i)にフィルタ係数H(W) (k,k+dk,i)を乗じて、波数領域のエコーレプリカY^(W) (k,i)を生成し(s5)、逆波数変換部31に出力する。
Figure 2014023110
このように波数領域のエコーレプリカY^(W) (k,i)を生成することで、隣接する空間周波数成分を含むことができる。隣接する空間周波数成分を含む必要がない場合には、δ=0として次式により、波数領域のエコーレプリカY^(W) (k,i)を生成してもよい。
Y^(W) f(k,i)=H(W) f(k,k,i)X(W) f(k,i) (6)
なお、修正量算出部211及びフィルタ係数部213の処理については後述する。
<逆波数変換部31>
逆波数変換部31は、P×(F+1)個の波数領域のエコーレプリカY^(W) (k,i)を受け取り(ただしf≦F)、次式のように周波数f毎に周波数領域のエコーレプリカY^(p,i)に変換する(s9)。
[Y^f(1,i) Y^f(2,i) … Y^f(P,i)]
=IFFT([Y^(W) f(0,i)…Y^(W) f(k,i)…Y^(W) f(K,i) Y^(W) f(-K+1,i)…Y^(W) f(-1,i)]) (7)
なお、周波数f>Fについては、実数信号のFFT結果に関する対称性から、次式で周波数領域のエコーレプリカY^(p,i)を求める。
Y^f(p,i)=conj(Y^2F-f(p,i)) (8)
ここで、conj(・)は、・の複素共役をとることを意味する。このようにして求めた合計P×2F個の周波数領域のエコーレプリカY^(p,i)を時間領域変換部32に出力する。なお、逆波数変換方法としては、波数変換部12における波数領域変換方法に対応するものを用いればよい。
<時間領域変換部32>
時間領域変換部32は、P×2F個の周波数領域のエコーレプリカY^(p,i)を受け取り、次式のように、チャネルp毎に周波数領域のエコーレプリカY^(p,i)を逆FFTし、時間領域のエコーレプリカ信号ベクトルy^(p,i)(要素数はF個)に変換する(s9)。
y^(p,i)=[IF 0F]IFFT([Y^0(p,i)…Y^f(p,i)…Y^2F-1(p,i)]) (9)
ここで0はF×Fの零行列、IはF×Fの単位行列である。P個の時間領域のエコーレプリカ信号ベクトルy^(p,i)をそれぞれP個の減算部33に出力する。時間領域変換方法としては、周波数領域変換部11における周波数領域変換方法に対応するものを用いればよい。
<減算部33
減算部33は、時間領域のエコーレプリカ信号ベクトルy^(p,i)とマイクロホン3で収音される収音信号y(p,n)とを受け取る。収音信号y(p,n)を1フレーム=Fサンプル、シフト量F/Dサンプルで
y(p,i)=[y(p,(iF/D)-F+1),x(p,(iF/D)-F+2),…,x(p,iF/D)]T
のようにブロック化し、収音信号ベクトルy(p,i)とする。減算部33は、次式のように時間領域の収音信号ベクトルy(p,i)から時間領域のエコーレプリカ信号ベクトルy^(p,i)を差し引き(s11)、時間領域の誤差信号ベクトルe(p,i)(要素数はF個)を求め、フレーム合成部34及び誤差周波数領域変換部41に出力する。
e(p,i)=y(p,i)-y^(p,i) (10)
このような構成により、エコー消去装置100は、エコー消去を図る。
<フレーム合成部34>
フレーム合成部34は、P個の時間領域の誤差信号ベクトルe(p,i)を受け取る。周波数領域変換部11において受話信号x(p,n)をD≧2でフレーム化した場合には、フレーム合成部34は、フレームiで求めた誤差信号ベクトルe(p,i)と一つ前のフレームi−1で求めた誤差信号ベクトルe(p,i−1)とに対して窓かけ処理を行った上で、合成し(s13)、合成後のP個の時間領域の誤差信号ベクトルe’(p,i)を残留エコー消去部120に出力する。
D=2の場合、長さF/Dのハニング窓をWとして、合成後の長さF/Dの誤差信号ベクトルe’(p,i)は次式で算出される。この合成の様子を図5に示す。
e'(p,i)=[0F/D IF/D]diag(WH)e(p,i-1)+[IF/D0F/D]diag(WH)e(p,i) (11)
ただし、0F/Dは(F/D)×(F/D)のゼロ行列、IF/Dは(F/D)×(F/D)の単位行列、diag(・)は・を対角成分とし、それ以外が零であるような行列である。
<誤差周波数領域変換部41>
誤差周波数領域変換部41は、P個の時間領域の誤差信号ベクトルe(p,i)を受け取り、次式のように、チャネルp毎に時間領域の誤差信号ベクトルe(p,i)に0詰めをしたものを周波数領域に変換し(s15)、P×2F個の周波数領域の誤差信号E(p,i)を誤差波数変換部42に出力する。
Figure 2014023110
<誤差波数変換部42>
誤差波数変換部42は、P×2F個の周波数領域の誤差信号E(p,i)を受け取り、次式により、周波数f毎に波数領域の誤差信号E(W) (k,i)に変換し(s17)、P×2F個の波数領域の誤差信号E(W) (k,i)を波数領域エコーレプリカ生成部21に出力する。
E(W) f(p,i)=FFT([Ef(1,i) … Ef(P,i)]
=[E(W) f(0,i) … E(W) f(k,i) … E(W) f(K,i) E(W) f(-K+1,i) … E(W) f(-1,i)] (13)
(修正量算出部211)
波数領域エコーレプリカ生成部21内の修正量算出部211は、P×2F個の波数領域の受話信号X(W) (k,i)とP×2F個の波数領域の誤差信号E(W) (k,i)とを受け取り(図2及び図4参照)、f(f≦F)において、−K+1≦k≦Kの範囲で、次式のように波数領域の適応フィルタのフィルタ係数の修正量dH(W) (k,k+dk,i)(ただし−δ≦dk≦δ)を算出し(s19)、P×(F+1)×(2δ+1)個の修正量dH(W) (k,k+dk,i)をフィルタ係数部213に出力する。
Figure 2014023110
なお、ρは分母が0になることを防止するための微小な正定数であり、右辺分母中のZ(W) (k,i)は修正量dH(W) (k,k+dk,i)を補正しており、
Figure 2014023110
により計算される。Z(W) (k,i)は受話信号X(W) (k−δ,i)〜X(W) (k+δ,i)のパワーの総和であり、βはパワー計算で短時間平均をとるための平滑化定数であり、0〜1の値をとる。
(フィルタ係数部213)
波数領域エコーレプリカ生成部21内のフィルタ係数部213は、P×(F+1)×(2δ+1)個の修正量dH(W) (k,k+dk,i)を受け取り(ただしf≦F)、次式でフィルタ係数H(W) (k,k+dk,i)を更新し(s21)、P×(F+1)×(2δ+1)個の更新後の波数領域のフィルタ係数H(W) (k,k+dk,i+1)を乗算部215に出力する。
H(W) f(k,k+dk,i+1)=H(W) f(k,k+dk,i)+μdH(W) f(k,k+dk,i) (16)
ただし、μは0〜1の値をとるステップサイズである。乗算部215における処理は前述の通りである。
<残留エコー消去部120>
残留エコー消去部120は、P×2F個の波数領域の受話信号X(W) (k,i)と、合成後のP個の時間領域の誤差信号ベクトルe’(p,i)とを受け取り、波数領域の誤差信号に含まれる残留エコーを推定し、消去し(s23)、P個の時間領域の送話信号v(p,n)を出力する。
図6は残留エコー消去部120の機能ブロック図を、図7はその処理フローを示す。残留エコー消去部120は、周波数領域変換部121と、波数変換部122と、波数領域残留エコー推定消去部123と、逆波数変換部124と、時間領域変換部125と、フレーム合成部126とを含む。以下、処理の詳細を説明する。
(周波数領域変換部121)
周波数領域変換部121は、合成後のP個の時間領域の誤差信号ベクトルe’(p,i)(要素数はF/D個)を受け取り、次式のように、チャネルp毎にフレームiにおける誤差信号ベクトルe’(p,i)と一つ前のフレームi−1における誤差信号ベクトルe’(p,i−1)とを用いて、周波数領域の誤差信号U(p,i)に変換し(s231)、P×2F個の周波数領域の誤差信号U(p,i)を波数変換部122に出力する。例えば、周波数領域変換部11と同様の方法により周波数領域に変換する。
U(p,i)=FFT([e'T(p,i-1),e'T(p,i)])=[U0(p,i) … Uf(p,i) … U2F-1(p,i)] (17)
(波数変換部122)
波数変換部12は、P×2F個の周波数領域の誤差信号U(p,i)を受け取り、次式により、周波数f毎に波数領域の誤差信号U(W) (k,i)に変換し(s232)、P×2F個の波数領域の誤差信号U(W) (k,i)を波数領域残留エコー推定消去部123に出力する。
U(W) f(i)=FFT([Uf(1,i) Uf(2,i) … Uf(P,i)])
=[U(W) f(0,i) … U(W) f(k,i) … U(W) f(K,i) U(W) f(-K+1,i) … U(W) f(-1,i)] (18)
(波数領域残留エコー推定消去部123)
波数領域残留エコー推定消去部123は、P×2F個の波数領域の受話信号X(W) (k,i)と、P×2F個の波数領域の誤差信号U(W) (k,i)とを受け取り、これらの値を用いて、f≦Fにおいて、誤差信号U(W) (k,i)に含まれる残留エコーを推定し、消去し(s233)、P×(F+1)個の波数領域の送話信号V(W) (p,i)を求め、逆波数変換部124に出力する。以下、処理の詳細を説明する。
図8は波数領域残留エコー推定消去部123の機能ブロック図を、図9はその処理フローを示す。
波数領域残留エコー推定消去部123は、入出力相関係数算出部1231と、入出力伝達特性推定部1232と、残留エコー推定部1233と、残留エコー補正部1234と減算部1235とを含む。
((入出力相関係数算出部1231))
入出力相関係数算出部1231は、P×2F個の波数領域の受話信号X(W) (k,i)とP×2F個の波数領域の誤差信号U(W) (k,i)とを受け取り、f≦Fにおいて、波数領域の残留エコー信号を出力とする系の伝達特性を推定するために、時刻n=iF/Dにおける波数領域の受話信号X(W) (k,i)と波数領域の誤差信号U(W) (k,i)とから
Pf(k,i)=E[X(W)* f(k,i)X(W) f(k,i)]
Qf(k,i)=E[X(W)* f(k,i)U(W) f(k,i)] (19)
により、受話信号のパワースペクトルP(k,i)と、受話信号と誤差信号との間のクロススペクトルQ(k,i)とを算出し(s2331)、入出力伝達特性推定部1232に出力する。ただし、iはフレーム番号であり、時刻nとはn=iF/Dの関係があり、*は複素共役を、E[ ]は平均をとることを表す。平均処理の一例としては、
E[X(W)* f(k,i)X(W) f(k,i)]
=βE[X(W)* f(k,i-1)X(W) f(k,i-1)]+(1-β)X(W)* f(k,i)X(W) f(k,i)
のように、1フレーム前の処理結果と0〜1の値をとる平滑化定数βを用いる方法や過去の数〜数十フレームの統計的平均値として求める方法等が考えられる。
((入出力伝達特性推定部1232))
入出力伝達特性推定部1232は、P×(F+1)個のパワースペクトルP(k,i)とP×(F+1)個のクロススペクトルQ(k,i)とを受け取り、f(f≦F)において、パワースペクトルP(k,i)及びクロススペクトルQ(k,i)から
Figure 2014023110
により、受話信号と誤差信号との入出力伝達特性を推定し(s2332)、推定値G’(k,i)を残留エコー推定部1233に出力する。
また、次式により推定値G’(k,i)を平滑化し、平滑化した推定値G(k,i)を残留エコー推定部1233に出力してもよい。
Figure 2014023110
本実施形態では、平滑化した推定値G(k,i)を出力するものとする。ここで、βは、入出力伝達特性の推定値を平滑化するための定数であり、0〜1の間の値をとる。
((残留エコー推定部1233))
残留エコー推定部1233は、P×(F+1)個の波数領域の受話信号X(W) (k,i)と、P×(F+1)個の推定値G(k,i)とを受け取り、f(f≦F)において、次式のように、受話信号X(W) (k,i)に推定値G(k,i)を乗じて、残留エコーを推定し(s2333)、推定値ΔY(W) (k,i)を残留エコー補正部1234に出力する。
ΔY(W) f(k,i)=Gf(k,i)X(W) f(k,i) (21)
((残留エコー補正部1234))
残留エコー補正部1234は、P×(F+1)個の推定値ΔY(W) (k,i)と、P×(F+1)個の波数領域の誤差信号U(W) (k,i)とを受け取り、f(f≦F)において、次式で補正し(s2334)、補正後の残留エコーの推定値ΔYII(W) (k,i)を減算部1235に出力する。
Figure 2014023110
ただし、式中のS(W) (k,i)は、送話信号の推定値であり、次式により算出される。
S(W) f(k,i)=U(W) f(k,i)-ΔY(W) f(k,i) (23)
また、Tは各スペクトルの推定の自由度の数であり、入出力相関係数算出部1231においてパワースペクトルP(k,i)及びクロススペクトルQ(k,i)を算出するときのフレーム数(つまり、各スペクトル推定に使用するフレーム数)が、これにあたる。
Mは入力変数の数であり、式(20)の場合にはM=1になる。またF2M,T−2M,alphaは、自由度n=2M、n=T−2MのF分布の100×alpha百分比点である。
なお、F分布は、統計学で用いられる連続確率分布である。統計的仮説検定の一手法である分散分析において、観測データにおける変動を誤差変動と各要因の変動に分解し、各要因の効果・有意性を判定する際に使用される。
参考文献1によれば、M=1のとき入出力伝達特性推定部1232において推定される入出力伝達特性の推定値G(k,i)の信頼区間は、真値からの比率で
Figure 2014023110
の幅を持つ。
(参考文献1)J.S.ベンダット、A.G.ピアソル、「ランダムデータの統計的処理」、培風館、1976年、p.194〜197
短時間スペクトルに基づく入出力伝達特性推定部1232の推定では、本来よりも送話と残留エコーの相関性を高めに推定しやすく、伝達特性を高めに推定する傾向がある。このことに基づき、上記の補正は残留エコーの信頼区間の下端の値を残留エコーの補正値としている。
((減算部1235))
減算部1235は、P×2F個の波数領域の誤差信号U(W) (k,i)と、P×(F+1)個の波数領域の補正後の残留エコーの推定値ΔYII(W) (k,i)とを受け取り、f(f≦F)において、次式のように波数領域で誤差信号U(W) (k,i)から残留エコーの推定値ΔYII(W) (k,i)を差し引いて(s2335)、差分を波数領域の送話信号V(W) (k,i)として求め、逆波数変換部124に出力する。
V(W) f(k,i)=U(W) f(k,i)-ΔYII(W) f(k,i) (25)
(逆波数変換部124)
逆波数変換部124は、P×(F+1)個の波数領域の送話信号V(W) (k,i)を受け取り(図6参照)、f(f≦F)において、次式のように周波数f毎に周波数領域の送話信号V(p,i)に変換する(s234)。
[Vf(1,i) Vf(2,i) … Vf(P,i)]
=IFFT([V(W) f(0,i)…V(W) f(k,i)…V(W) f(K,i) V(W) f(-K+1,i)…V(W) f(-1,i)]) (26)
なお、周波数f>Fについては、実数信号のFFT結果に関する対称性から、次式で周波数領域の送話信号V(p,i)を求める。
Vf(p,i)=conj(V2F-f(p,i))
このようにして求めた合計P×2F個の周波数領域の送話信号V(p,i)を時間領域変換部125に出力する。なお、逆波数変換方法としては、波数変換部122における波数領域変換方法に対応するものを用いればよい。
(時間領域変換部125)
時間領域変換部125は、P×2F個の周波数領域の送話信号V(p,i)を受け取り、次式のように、チャネルp毎に周波数領域の送話信号V(p,i)を逆FFTし、時間領域の送話信号ベクトルv(p,i)(要素数は2F個)に変換し(s235)、フレーム合成部126に出力する。
v(p,i)=IFFT([V0(p,i)…Vf(p,i)…V2F-1(p,i)]) (27)
時間領域変換方法としては、周波数領域変換部121における周波数領域変換方法に対応するものを用いればよい。
(フレーム合成部126)
フレーム合成部126は、P個の時間領域の送話信号ベクトルv(p,i)を受け取る。周波数領域変換部11において、受話信号x(p,n)をD≧2でフレーム化した場合には、フレーム合成部126は、フレームiで求めた送話信号v(p,i)と一つ前のフレームi−1で求めた送話信号v(p,i−1)とに対して窓かけ処理を行った上で、合成し(s236)、合成後の送話信号ベクトルv’(p,i)(要素数はF/D個)の要素v(p,n−F/D+1),v(p,n−F/D+2),…,v(p,n)を逐次、エコー消去装置100の出力値として出力する。ただし、n=iF/Dの関係にある。なお、その処理内容は、フレーム合成部34の処理と同等である。
<効果>
このような構成により、波数領域の受話信号X(W) (k,i)と波数領域の誤差信号U(W) (k,i)とから波数領域で残留エコーを推定し、誤差信号U(W) (k,i)から残留エコーの推定値ΔY(W) (k,i)を差し引く。これにより波数領域の適応フィルタによるエコー経路推定及び消去が十分でない状態であっても、会話状態によらずに迅速に残留エコーを低減することができるという効果を奏する。
<第一変形例>
第一実施形態と異なる部分についてのみ説明する。波数領域残留エコー推定消去部123の処理(s233)において、残留エコーを補正しない構成としてもよい。この場合、波数領域残留エコー推定消去部123は、残留エコー補正部1234を含まず、減算部1235では、残留エコー推定部1233の出力値である残留エコーの推定値ΔY(W) (k,i)を補正せずにそのまま用いる。
このような構成により、第一実施形態と同様の効果を得ることができ、計算量を削減することができる。ただし、伝達特性を高めに推定する可能性がある。
<第二変形例>
第一実施形態または第一変形例と異なる部分についてのみ説明する。
波数領域残留エコー推定消去部123の処理内容が、第一実施形態または第一変形例とは異なる。
(波数領域残留エコー推定消去部123)
波数領域残留エコー推定消去部123は、波数領域の受話信号X(W) (k,i)と波数領域エコーレプリカ生成部21で生成されたエコーレプリカY^(W) (k,i)の線形和として波数領域の残留エコーを推定する。
図10は第二変形例に係る波数領域残留エコー推定消去部123の機能ブロック図を、図11はその処理フローを示す。
波数領域残留エコー推定消去部123は、線形和重み算出部1236と、線形和算出部1237と、減算部1235とを含む。なお、図2及び図6において図示されていないが、波数領域エコーレプリカ生成部21の出力値であるエコーレプリカY^(W) (k,i)が、残留エコー消去部120内の波数領域残留エコー推定消去部123に入力されるものとする。
((線形和重み算出部1236))
線形和重み算出部1236は、P×2F個の波数領域の受話信号X(W) (k,i)と、P×2F個の波数領域の誤差信号U(W) (k,i)と、P×2F個の波数領域のエコーレプリカY^(W) (k,i)とを受け取り、f(f≦F)において、以下のように相互スペクトルを係数とする式を解いて線形和重みc’f,1(k,i)及びc’f,2(k,i)を算出する(s2336)。
Figure 2014023110
線形和重み算出部1236は、式(28)によって求めた線形和重みc’f,1(k,i)及びc’f,2(k,i)をそのまま線形和算出部1237に出力してもよいし、次式により平滑化した線形和重みcf,1(k,i)及びcf,2(k,i)を線形和算出部1237に出力してもよい。
Figure 2014023110
本変形例では、平滑化した線形和重みcf,1(k,i)及びcf,2(k,i)を出力するものとする。
((線形和算出部1237))
線形和算出部1237は、P×(F+1)個の線形和重みcf,1(k,i)と、P×(F+1)個の線形和重みcf,2(k,i)と、P×2F個の波数領域の受話信号X(W) (k,i)と、P×2F個の波数領域のエコーレプリカY^(W) (k,i)とを受け取り、次式のように、f(f≦F)において、受話信号X(W) (k,i)とエコーレプリカY^(W) (k,i)との線形和V^(W) (k,i)を算出し(s2337)、この線形和V^(W) (k,i)を残留エコーの推定値ΔY(W) (k,i)として減算部1235に出力する。
V^(W) f(k,i)=X(W) f(k,i)cf,1(k,i)+Y^(W) f(k,i)cf,2(k,i) (30)
(減算部1235)
減算部1235は、P×2F個の波数領域の誤差信号U(W) (k,i)と、P×(F+1)個の波数領域の残留エコーの推定値ΔY(W) (k,i)とを受け取り、f(f≦F)において、次式のように波数領域で誤差信号U(W) (k,i)から波数領域の残留エコーの推定値ΔY(W) (k,i)を差し引いて(s2235)、波数領域の送話信号V(W) (k,i)を求め、逆波数変換部124に出力する。
V(W) f(k,i)=U(W) f(k,i)-ΔY(W) f(k,i)
<効果>
このような構成により、第一実施形態と同様の効果を得ることができる。本変形例では、第一実施形態に比べ計算量は増えるが、エコーレプリカを残留エコー推定に含めることで、フレーム長が部屋の残響時間と比較して大幅に短い場合でも、残留エコー消去性能の劣化を抑えることができる。
<その他の変形例>
波数領域においてエコーレプリカを求める方法については、上述の方法以外の既存技術を用いてもよい。また、既存技術を用いて、周波数領域や時間領域においてエコーレプリカを求めてもよい。ただし、時間領域の収音信号から時間領域のエコーレプリカを差し引く構成のほうが、エコー消去の精度が高いことが知られているため、仮に周波数領域においてエコーレプリカを求めた場合も、時間領域に変換した上で、時間領域の収音信号から差し引く構成とすることが望ましい。
第一実施形態では、チャネル数Pが偶数の場合について説明したが、奇数(P=2K+1)であってもよい。
<第二実施形態>
<第二実施形態のポイント>
第一実施形態と異なる部分についてのみ説明する。
本実施形態では、波を周波数−波数空間で見るとき、周波数が低いほど波の存在する範囲が狭いことを利用して、残留エコー消去処理の演算量を削減する。
参考文献2によれば、周波数−波数空間で見ると波の存在範囲は周波数に応じて限定される。
(参考文献2)T. Ajdler, L. Sbaiz, and M. Vetterli, "Dynamic measurement of room impulse responses using a moving microphone", The Journal of the Acoustical Society of America, 2007, vol. 122, issue 3, p. 1636-1645
図12は、単一周波数波の平面波のサンプリングの様子を示す。マイクロホン素子列に角度αで入射する単一の周波数fの平面波を考える。マイクロホン列をx軸にとると、tを時刻としてx軸上での音圧の時間変動p(x,t)は、
p(x,t)=ej(ω0t+φ0xcosα) (31)
になる。ただし、上付き添え字中のω0及びφ0はそれぞれω及びφを表し、ω及びφはそれぞれ周波数fの角周波数及び波数を表し、音速をvelocとして、φ
φ00/veloc (32)
である。このx−t軸上の音圧を周波数−波数領域に変換すると
Figure 2014023110
になる。時間−空間領域で単一の周波数の平面波は、周波数−波数領域では1点になる。
全周波数で同一の周波数成分を持ち、時間―空間で
Figure 2014023110
であらわされる平面波は、周波数−波数領域では、
Figure 2014023110
のように直線になる。入射の角度αは0〜180度の範囲をとるため、周波数−波数領域で見ると波の成分は、
Figure 2014023110
の範囲に存在する。
実際のマイクロホン列によるサンプリングは離散的である。時間方向について、サンプリング周波数をf、フレーム長を2F、2F点−FFTを使用し、空間方向について、P個のマイクロホンは直線上に等間隔に配列されているものとし、マイクロホン間隔をd、マイクロホン数を2KとしてK点−FFTを使用する。このとき、周波数の範囲は0〜f/2であり、波数kの範囲は−π/d〜π/dである。
なお、このサンプリングにおける最大の周波数f=f/2の波について、波数はπf/velocになる。マイクロホン間隔dが十分小さくπ/dがこの値より大きいとき空間エリアシングは生じない。しかしマイクロホン間隔dが相対的に長いために、π/dがこの値より小さい場合に空間エリアシングが生じる。この様子を図13に示す。
第一実施形態では、全周波数及び全波数で処理を行っている。しかし上記の知見によれば、周波数−波数領域において信号成分の存在範囲は、音波の周波数が低いほど狭まっている。この信号成分の存在しない範囲で信号処理を省くことができ、その処理削減の効果は周波数が低いほど大きなる。これが第二実施形態のポイントである。
(波数領域残留エコー推定消去部123)
図14は第二実施形態に係るエコー消去装置内の波数領域残留エコー推定消去部123の機能ブロック図を、図15はその処理フローを示す。第二実施形態と第一実施形態との相違は、波数領域残留エコー推定消去部123の内部のみである。
波数領域残留エコー推定消去部123は、入出力相関係数算出部1231と、入出力伝達特性推定部1232と、残留エコー推定部1233と、残留エコー補正部1234と減算部1235とを含み、さらに、波数限定部1238と波数0詰め部1239とを含む。
はじめに、波数限定部1238において、周波数fから波数kの有効範囲を求める。波数限定部1238は、入出力相関係数算出部1231、入出力伝達特性推定部1232、残留エコー推定部1233、残留エコー補正部1234、減算部1235の処理をこの波数kの範囲内に限定する。波数0詰め部1239は未処理の範囲に0を設定する。
上記処理のために、第一実施形態に加える変更の詳細を以下に示す。
((波数限定部1238))
波数限定部1238は、f(f≦F)において、周波数f毎に波数kの有効範囲を算出し(s2338)、この有効範囲を波数領域残留エコー推定消去部123内の各部に出力する(ただし、図中各部への出力を省略する)。例えば、周波数fの一次関数で表す式(37)により波数kの上限max_k(f)を求める。
Figure 2014023110
ただし、fthはマイクロホン間隔dでのサンプリングするときに空間エリアシングが生じない最大周波数であり、次式で定義される。
Figure 2014023110
なお、式(36)(37)は、波数kの範囲を周波数fの一次関数で表し、波数kの範囲の上限と下限は
Figure 2014023110
で与えられるものであることを表している。言い換えると、式(37)は、音速velocとマイクロホン間隔dとサンプリング周波数fとに基づき、周波数fに対する波数kの上限を求めている。
波数領域残留エコー推定消去部123内の各部では、f(f≦F)において、波数限定部1238が周波数fについて求めた波数kの有効範囲
-max_k(f)≦k≦max_k(f) (39)
で、各処理(s2331〜s2335)を行い、残留エコーの消去を図る。
なお、波数kの有効範囲を算出する際に、周波数fの一次関数を用いることは、一例であり、高周波領域に比べ低周波領域では波数の範囲が狭くなるように波数kの有効範囲を限定するものであれば他の方法により、有効範囲を算出してもよい。
また、波数限定部1238における処理は、エコー消去処理を開始時、または開始前に一度行い、各部に上限max_k(f)を設定しておいてもよい。
((波数0詰め部1239))
波数0詰め部1239は、減算部1235からP×(F+1)個の波数領域の送話信号V(W) (k,i)を受け取り、f(f≦F)において、有効範囲外の波数、すなわちk<−max_k(f)及びmax_k(f)<kの範囲で、波数領域の送話信号V(W) (k,i)を0とし(s2339)、逆波数変換部124に出力する。
<効果>
このような構成により、第一実施形態と同様の効果を得ることができ、さらに、計算量を減らすことができるという効果を奏する。
なお、本実施形態と第一実施形態の第一変形例や第二変形例、その他の変形例とを組合せてもよい。
<その他の変形例>
波数領域エコーレプリカ生成部21内の修正量算出部211、フィルタ係数部213及び乗算部215において、波数限定部1238で算出した波数kの有効範囲内(−max_k(f)≦k≦max_k)においてのみ処理を行い、図示しない波数0詰め部において有効範囲外(k<−max_k(f)及びmax_k(f)<k)でエコーレプリカY^(W) (k,i)を0とする構成としてもよい。このような構成とすることで、さらに、計算量を減らすことができる。
<シミュレーション結果>
第一実施形態及び第二実施形態の効果を検証するために、シミュレーションを行った。残響時間150msの部屋で、直線状スピーカアレー(32素子、間隔6cm)と直線状マイクロホンアレー(32素子、間隔6cm)を50cm離して平行に配置し(P=32)、スピーカ・マイクロホン間の全エコー経路インパルス応答を測定した。サンプリング周波数fを8kHzに設定し、フレーム長として2F=1024を用いた。受話信号は、それぞれ異なる位置に配置した2音源が交互に白色雑音を再生する状況をシミュレートし、32個のマイクロホンによる収音を模擬して生成した。
図16にシミュレーション結果を示す。図16の左側は第一実施形態の構成による処理結果であり、32チャネル中の第1、3、5、7、9チャネルについて、収音信号レベル(点線)、適応フィルタ後段の信号レベル(細線)及び残留エコー消去処理後段の信号レベル(太線)をプロットしている。同様に図16の右側に第二実施形態の構成による処理結果をプロットしている。
図16左側のグラフより、第一実施形態の残留エコー消去方法は常時残留エコーを6dB消去している。また左側と右側のグラフがほとんど一致していることから、第二実施形態が第一実施形態とほぼ同等の残留エコー消去性能を保ったまま、演算量を削減可能なことが分かった。
<その他の変形例>
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
<プログラム及び記録媒体>
上述したエコー消去装置は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置(各種実施形態で図に示した機能構成をもつ装置)として機能させるためのプログラム、またはその処理手順(各実施形態で示したもの)の各過程をコンピュータに実行させるためのプログラムを、CD−ROM、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。
11 周波数領域変換部
12 波数変換部
21 波数領域エコーレプリカ生成部
31 逆波数変換部
32 時間領域変換部
33 減算部
34 フレーム合成部
41 誤差周波数領域変換部
42 誤差波数変換部
100 エコー消去装置
120 残留エコー消去部
121 周波数領域変換部
122 波数変換部
123 波数領域残留エコー推定消去部
124 逆波数変換部
125 時間領域変換部
126 フレーム合成部
211 修正量算出部
213 フィルタ係数部
215 乗算部
1231 入出力相関係数算出部
1232 入出力伝達特性推定部
1233 残留エコー推定部
1234 残留エコー補正部
1235 減算部
1236 算出部
1237 線形和算出部
1238 波数限定部
1239 波数0詰め部

Claims (8)

  1. Pを2以上の整数とし、P個のスピーカとP個のマイクロホンとが共通の音場に配置され、前記スピーカから受話信号を再生した際にエコー経路を経て前記マイクロホンに回り込むエコーを消去するエコー消去装置であって、
    時間領域の前記受話信号を周波数領域の信号に変換する第一周波数領域変換部と、
    周波数領域の前記受話信号を波数領域の信号に変換する第一波数領域変換部と、
    波数領域の前記受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成する乗算部と、
    波数領域の前記エコーレプリカを周波数領域の前記エコーレプリカに変換する逆波数変換部と、
    周波数領域の前記エコーレプリカを時間領域の前記エコーレプリカに変換する時間領域変換部と、
    前記マイクロホンで収音される時間領域の収音信号から時間領域の前記エコーレプリカを差し引き、時間領域の誤差信号を求める第一減算部と、
    時間領域の前記誤差信号を周波数領域の信号に変換する第二周波数領域変換部と、
    周波数領域の前記誤差信号を波数領域の信号に変換する第二波数領域変換部と、
    波数領域の前記受話信号と波数領域の前記誤差信号とを用いて波数領域の前記フィルタ係数の修正量を算出する修正量算出部と、
    前記修正量を用いて前記フィルタ係数を更新するフィルタ係数部と、
    波数領域の前記受話信号と波数領域の前記誤差信号とを用いて、波数領域の前記誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める波数領域残留エコー推定消去部とを含む、
    エコー消去装置。
  2. 請求項1記載のエコー消去装置であって、
    前記波数領域残留エコー推定消去部は、
    波数領域の前記受話信号と波数領域の前記誤差信号とを用いて、前記受話信号のパワースペクトルと、前記受話信号と前記誤差信号との間のクロススペクトルとを算出する入出力相関係数算出部と、
    前記パワースペクトルと前記クロススペクトルとを用いて、前記受話信号と前記誤差信号との入出力伝達特性を推定する入出力伝達特性推定部と、
    波数領域の前記受話信号に前記入出力伝達特性の推定値を乗じて、前記残留エコーを推定する残留エコー推定部と、
    波数領域の前記誤差信号と前記残留エコーの推定値との差分を前記送話信号として求める第二減算部とを含む、
    エコー消去装置。
  3. 請求項2記載のエコー消去装置であって、
    前記波数領域残留エコー推定消去部は、
    前記残留エコーの前記推定値に、前記入出力伝達特性の前記推定値の信頼区間の下端の値に基づく値を乗じることにより、前記残留エコーの前記推定値を補正する残留エコー補正部をさらに含み、
    前記第二減算部は、波数領域の前記誤差信号と補正後の前記残留エコーの前記推定値との差分を前記送話信号として求める、
    エコー消去装置。
  4. 請求項3記載のエコー消去装置であって、
    各スペクトル推定に使用するフレーム数をTとし、M=1とし、自由度n=2M、n=T−2MのF分布の100α百分比点をF2M,T−2M,alphaとし、波数領域の前記誤差信号をU(W) (k,i)とし、波数領域の前記残留エコーの推定値をΔY(W) (k,i)とし、前記残留エコー補正部において、補正後の前記残留エコーの前記推定値ΔYII(W) (k,i)を
    Figure 2014023110

    S(W) f(k,i)=U(W) f(k,i)-ΔY(W) f(k,i)
    として求める、
    エコー消去装置。
  5. 請求項1記載のエコー消去装置であって、
    前記波数領域残留エコー推定消去部は、
    波数領域の前記受話信号と波数領域の前記エコーレプリカと波数領域の前記誤差信号とを用いて、線形和重みを算出する線形和重み算出部と、
    波数領域の前記受話信号と波数領域の前記エコーレプリカとを前記線形和重みを用いて、重み付けし、その線形和を算出する線形和算出部と、
    波数領域の前記誤差信号と前記線形和との差分を前記送話信号として求める第二減算部とを含む、
    エコー消去装置。
  6. 請求項1から請求項5の何れかに記載のエコー消去装置であって、
    前記波数領域残留エコー推定消去部は、
    前記周波数毎に波数の有効範囲を算出する波数限定部と、
    前記有効範囲外の波数における波数領域の前記送話信号を0とする波数0詰め部とをさらに含み、
    前記波数領域残留エコー推定消去部内の前記波数限定部及び前記波数0詰め部を除く各部において、前記有効範囲内で処理を行う、
    エコー消去装置。
  7. Pを2以上の整数とし、P個のスピーカとP個のマイクロホンとが共通の音場に配置され、前記スピーカから受話信号を再生した際にエコー経路を経て前記マイクロホンに回り込むエコーを消去するエコー消去方法であって、
    時間領域の前記受話信号を周波数領域の信号に変換する第一周波数領域変換ステップと、
    周波数領域の前記受話信号を波数領域の信号に変換する第一波数領域変換ステップと、
    波数領域の前記受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成する乗算ステップと、
    波数領域の前記エコーレプリカを周波数領域の前記エコーレプリカに変換する逆波数変換ステップと、
    周波数領域の前記エコーレプリカを時間領域の前記エコーレプリカに変換する時間領域変換ステップと、
    前記マイクロホンで収音される時間領域の収音信号から時間領域の前記エコーレプリカを差し引き、時間領域の誤差信号を求める第一減算ステップと、
    波数領域の前記受話信号と波数領域の前記誤差信号とを用いて波数領域の前記フィルタ係数の修正量を算出する修正量算出ステップと、
    前記修正量を用いて前記フィルタ係数を更新するフィルタ係数ステップと、
    時間領域の前記誤差信号を周波数領域の信号に変換する第二周波数領域変換ステップと、
    周波数領域の前記誤差信号を波数領域の信号に変換する第二波数領域変換ステップと、
    波数領域の前記受話信号と波数領域の前記誤差信号とを用いて、波数領域の前記誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める波数領域残留エコー推定消去ステップとを含む、
    エコー消去方法。
  8. 請求項1から請求項6記載のエコー消去装置としてコンピュータを機能させるためのプログラム。
JP2012162822A 2012-07-23 2012-07-23 エコー消去装置、エコー消去方法及びプログラム Expired - Fee Related JP5937451B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012162822A JP5937451B2 (ja) 2012-07-23 2012-07-23 エコー消去装置、エコー消去方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012162822A JP5937451B2 (ja) 2012-07-23 2012-07-23 エコー消去装置、エコー消去方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014023110A true JP2014023110A (ja) 2014-02-03
JP5937451B2 JP5937451B2 (ja) 2016-06-22

Family

ID=50197497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012162822A Expired - Fee Related JP5937451B2 (ja) 2012-07-23 2012-07-23 エコー消去装置、エコー消去方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5937451B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113050058A (zh) * 2021-03-23 2021-06-29 北京环境特性研究所 一种基于周期延拓的运动目标多普勒频移获得方法及装置
CN114061730A (zh) * 2022-01-19 2022-02-18 中国船舶工业系统工程研究院 目标散射回波变步长快速自适应估计方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6075783B2 (ja) * 2013-12-09 2017-02-08 日本電信電話株式会社 エコー消去装置、エコー消去方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092588A (ja) * 1998-09-17 2000-03-31 Yamaha Corp ハウリング抑圧方法及び装置
JP2002223182A (ja) * 2000-11-22 2002-08-09 Nippon Telegr & Teleph Corp <Ntt> 反響消去方法、その装置、そのプログラム及びその記録媒体
JP2012039441A (ja) * 2010-08-09 2012-02-23 Nippon Telegr & Teleph Corp <Ntt> 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092588A (ja) * 1998-09-17 2000-03-31 Yamaha Corp ハウリング抑圧方法及び装置
JP2002223182A (ja) * 2000-11-22 2002-08-09 Nippon Telegr & Teleph Corp <Ntt> 反響消去方法、その装置、そのプログラム及びその記録媒体
JP2012039441A (ja) * 2010-08-09 2012-02-23 Nippon Telegr & Teleph Corp <Ntt> 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113050058A (zh) * 2021-03-23 2021-06-29 北京环境特性研究所 一种基于周期延拓的运动目标多普勒频移获得方法及装置
CN113050058B (zh) * 2021-03-23 2022-08-30 北京环境特性研究所 一种基于周期延拓的运动目标多普勒频移获得方法及装置
CN114061730A (zh) * 2022-01-19 2022-02-18 中国船舶工业系统工程研究院 目标散射回波变步长快速自适应估计方法
CN114061730B (zh) * 2022-01-19 2023-09-19 中国船舶工业系统工程研究院 目标散射回波变步长快速自适应估计方法

Also Published As

Publication number Publication date
JP5937451B2 (ja) 2016-06-22

Similar Documents

Publication Publication Date Title
US9210504B2 (en) Processing audio signals
JP5762956B2 (ja) ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法
JP4957810B2 (ja) 音処理装置、音処理方法及び音処理プログラム
JP5391103B2 (ja) 多チャネルエコー消去方法、多チャネルエコー消去装置、多チャネルエコー消去プログラム及びその記録媒体
JP2004349806A (ja) 多チャネル音響エコー消去方法、その装置、そのプログラム及びその記録媒体
KR101182017B1 (ko) 휴대 단말기에서 복수의 마이크들로 입력된 신호들의잡음을 제거하는 방법 및 장치
JP5762479B2 (ja) 音声スイッチ装置、音声スイッチ方法、及びそのプログラム
JP5469564B2 (ja) 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム
JP5662232B2 (ja) エコー消去装置、その方法及びプログラム
JP5937451B2 (ja) エコー消去装置、エコー消去方法及びプログラム
KR101587844B1 (ko) 마이크로폰의 신호 보상 장치 및 그 방법
JP4700673B2 (ja) エコー消去方法、装置、プログラム、および記録媒体
JP3756828B2 (ja) 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体
JP2003309493A (ja) 反響低減方法、反響低減装置、反響低減プログラム
JP4116600B2 (ja) 収音方法、収音装置、収音プログラム、およびこれを記録した記録媒体
JP5774062B2 (ja) エコー消去装置、エコー消去方法、及びそのプログラム
JP6075783B2 (ja) エコー消去装置、エコー消去方法及びプログラム
JP4478045B2 (ja) エコー消去装置、エコー消去方法、エコー消去プログラムおよびその記録媒体
JP5826712B2 (ja) マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム
JP6356087B2 (ja) エコー消去装置、その方法及びプログラム
JP4504891B2 (ja) 反響消去方法、反響消去装置、プログラム、記録媒体
JP2012205161A (ja) 音声通話装置
JP5925149B2 (ja) 音響結合量推定装置、エコー消去装置、その方法及びプログラム
JP2002261659A (ja) 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体
JP5698110B2 (ja) マルチチャネルエコー消去方法、マルチチャネルエコー消去装置、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160506

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160512

R150 Certificate of patent or registration of utility model

Ref document number: 5937451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees