JP2015201787A - エコー消去装置、その方法及びプログラム - Google Patents

エコー消去装置、その方法及びプログラム Download PDF

Info

Publication number
JP2015201787A
JP2015201787A JP2014080198A JP2014080198A JP2015201787A JP 2015201787 A JP2015201787 A JP 2015201787A JP 2014080198 A JP2014080198 A JP 2014080198A JP 2014080198 A JP2014080198 A JP 2014080198A JP 2015201787 A JP2015201787 A JP 2015201787A
Authority
JP
Japan
Prior art keywords
signal
echo
frequency domain
received signal
residual echo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014080198A
Other languages
English (en)
Other versions
JP6143702B2 (ja
Inventor
江村 暁
Akira Emura
暁 江村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014080198A priority Critical patent/JP6143702B2/ja
Publication of JP2015201787A publication Critical patent/JP2015201787A/ja
Application granted granted Critical
Publication of JP6143702B2 publication Critical patent/JP6143702B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

【課題】100α百分比点を指定する必要のない残留エコー消去方法を提供する。【解決手段】エコー消去装置は、各スペクトルの推定の自由度の数をT、周波数領域収音信号をY(f,j)、残留エコー成分をY^(f,j)として、により定義される補正後残留エコー成分Y2^(f,j)を求める。【選択図】図3

Description

本発明は、M(但し、Mは1以上の整数)個のスピーカと1個以上のマイクロホンが共通の音場に配置され、スピーカから受話信号を再生した際に、エコー経路を介してマイクロホンに回り込む音響エコー(以下、単に「エコー」という)を消去する技術、特にテレビ会議システム等の拡声通話系におけるエコーを消去する技術に関する。
スピーカで受話信号が再生され、その音声がマイクロホンで収音されてエコーが生じる。そのまま送信されると通話の障害や不快感等の問題が生じる。さらに、スピーカやマイクロホンの音量が大きい場合にはハウリングが生じ、通話が不可能になる。特に拡声通話系では、このような問題が顕著となる。
この問題を解決するために、従来技術として、適応フィルタを用いてエコーを消去するエコー消去装置がある。非特許文献1が従来技術の多チャネルエコー消去方法として知られている。図1を用いて従来の多チャネルエコー消去装置80を説明する。
スピーカ2,…,2とマイクロホン3,…,3が共通の音場に配置され、スピーカ2,…,2からそれぞれ受話信号x(k),…,x(k)を再生した場合に、多チャネルエコー消去装置80内のエコー消去部8は、マイクロホン3にM本のエコー経路hmn(k)を介して回り込む再生音を消去する。但し、Mは1以上の整数であり、Nは1以上の整数であり、m=1,…,Mであり、n=1,…,Nである。多チャネルエコー消去装置80は、受話端子1,…,1と、送話端子4,…,4と、マイクロホン3,…,3とが接続されており、受話信号x(k),…,x(k)及び収音信号y(k),…,y(k)が入力され、送話信号u(k),…,u(k)をそれぞれ送話端子4,…,4に出力する。多チャネルエコー消去装置80は、N個のエコー消去部8,…,8を含み、エコー消去部8は、エコー予測部81と、減算部82と、エコー経路推定部83とを有する。図1において、y(k)をy(k)とし、u(k)をu(k)とし、h1n(k),…,hMn(k)をそれぞれh(k),…,h(k)として表す。他のマイクロホンからの収音信号についても同様の処理を行うことができ、図1のエコー消去部8の構成を並列に並べるだけでよいため、以下では図1を用いて説明する。
エコー消去部8は、エコー予測部81において、受話信号x(k),…,x(k)を適応フィルタでフィルタリングし、予測エコー信号y’(k)を生成する。減算部82において、収音信号y(k)と予測エコー信号y’(k)との差分(以下「誤差信号」という)u(k)を求め、これを送話信号として出力する。また、エコー経路推定部83において、誤差信号u(k)と受話信号x(k),…,x(k)とからエコー経路を逐次推定し、この推定結果(適応フィルタのフィルタ係数h’(k))をエコー予測部81にコピーする。エコー経路推定が精度よく行われた状態では、収音信号y(k)に含まれるエコー成分と予測エコー信号y’(k)がほぼ等しくなり、誤差信号u(k)中にエコーは殆ど含まれなくなる。
しかし実際に多チャネルエコー消去装置が使用される状況では、いつも十分にエコー消去できるとは限らず、残留エコーが生じて通話品質が劣化しうる。それは、人の動き等によりエコー経路は絶えず変動しているからであり、適応フィルタによるエコー経路推定が瞬時には完了しないためである。またダブルトーク状態でエコー経路の推定が若干乱れうるからである。
さらに受話信号が多チャネルの場合には、受話信号間の相関が高いために、エコーが消去されている状態であっても推定されたエコー経路と真のエコー経路は必ずしも一致しない場合がある。そのため、話者が交代して受話信号間の相互相関が変化すると突然残留エコーが大きくなりうる(非特許文献1参照)。
快適な拡声通話を実現するには、適応フィルタによるエコー経路推定及び消去が十分でない状態において、受話信号のチャネル数や会話状態によらず、迅速に残留エコーを低減する必要がある。チャネル数や会話状態によらず残留エコーを低減させるために、受話信号から残留エコーへの伝達特性を高速に推定し、誤差信号から残留エコーを差し引く方法として非特許文献2が知られている。この方法において、伝達特性の推定では、周波数毎に受話信号と誤差信号の相関を利用することで、推定が高速化され、残留エコー以外の信号による推定揺らぎが抑えられる。伝達特性と残留エコーに関して振幅と位相を推定するため、チャネル数によらず適用可能である。また引き算により残留エコーの消去をはかるため、ダブルトーク時でも送話音質の歪みを小さくできる。
非特許文献2では、残留エコーが精度良く求められている必要がある。しかし残留エコーを限られた時間長(短時間区間)の受話信号と誤差信号とから推定するために、時間長を十分長くとる場合と比較すると推定のばらつきが大きくなり、残留エコーを大きめに推定してしまう場合がある。
送話の品質を高くするには、上記のような状況でも残留エコーの推定精度を高める必要がある。そのために、残留エコー推定値を補正する方法が、特許文献1で提案されている。
特開2011−090422号公報
M.M.Sondhi, D.R.Morgan, and J.L.Hall, "Stereophonic Acoustic Echo Cancellation-An Overview of the Fundamental Problem", IEEE Signal Processing Letters, AUGUST 1995, vol.2, no.8, pp.148-151 江村暁、羽田陽一、「多段エコー推定による多チャネルエコー消去法」、日本音響学会研究発表会講演論文集、2010年、pp.717-719
特許文献1では、周波数領域の第一収音信号Y(f,j)と残留エコー成分Y^(f,j)とを入力とし、これを用いて、残留エコー成分Y^(f,j)を補正して補正後残留エコー成分Y^(f,j)を求め、出力する。ここでfは周波数であり、jはフレーム番号である。
残留エコー成分Y^(f,j)にその信頼区間の期待値からの比率に基づく値を乗じることにより、残留エコー成分を補正して補正後残留エコー成分Y^(f,j)を求める。補正後残留エコー成分Y^(f,j)は、以下の式により、求めることができる。
Figure 2015201787
但し、式(A1)中のZ^(f,j)は、
Figure 2015201787
で定義される送話信号の予測値である。また、式(A1)において、Tは各スペクトルの推定の自由度の数であり、パワースペクトル及びクロススペクトルを算出するときのフレーム数が、これに該当する。T−2M>0になるように、利用に先立ち、または、受話信号のチャネル数Mを設定後に、適切な値がTに設定される。F2M,T−2M,αは、自由度n=2M、n=T−2MのF分布の100α百分比点である。F分布は統計学で用いられる連続確率分布である。統計的仮説検定の一手法である分散分析において、観測データにおける変動を誤差変動と各要因の変動に分解し、各要因の効果・有意性を判定する際に使用される。
特許文献1では、F2M,T−2M,αを確定するために、100α百分比点をパラメータとして事前に確定させ、指定する必要がある。
本発明は、この100α百分比点を指定する必要のない残留エコー消去方法を提供することを目的とする。
上記の課題を解決するために、本発明の一態様によれば、エコー消去装置は、Mは1以上の整数であり、M個のスピーカと1個以上のマイクロホンが共通の音場に配置され、スピーカから受話信号を再生した際に、エコー経路を介してマイクロホンに回り込むエコーを消去する。エコー消去装置は、受話信号とマイクロホンで収音した第一収音信号から得られる信号(以下「収音信号」という)とを短時間区間毎に周波数領域の信号に変換する周波数領域変換部と、m=1,…,M、m’=1,…,M、m≠m’とし、周波数領域の受話信号と収音信号とを用いて、第mチャネルの受話信号のパワースペクトルと、第mチャネルの受話信号と第m'チャネルの受話信号とのクロススペクトルと、第mチャネルの受話信号と収音信号とのクロススペクトルとを求める入出力相関係数算出部と、パワースペクトルとクロススペクトルとを用いて、周波数領域の受話信号と収音信号との入出力伝達特性の推定値を周波数毎に推定する入出力伝達特性推定部と、周波数領域の受話信号と入出力伝達特性の推定値とから、周波数領域の収音信号に含まれる残留エコー成分を予測する残留エコー予測部と、周波数領域の収音信号を用いて、残留エコー成分を補正して補正後残留エコー成分を求める残留エコー補正部と、周波数領域の収音信号と補正後残留エコー成分との差分を送話信号として求める減算部と、周波数領域の送話信号を時間領域の信号に変換する時間領域変換部と、を含む。各スペクトルの推定の自由度の数をTとし、周波数領域収音信号をY(f,j)とし、残留エコー成分をY^(f,j)とし、残留エコー補正部において、
Figure 2015201787
により定義される補正後残留エコー成分Y^(f,j)を求める。
上記の課題を解決するために、本発明の他の態様によれば、エコー消去装置は、Mは1以上の整数であり、M個のスピーカと1個以上のマイクロホンが共通の音場に配置され、スピーカから受話信号を再生した際に、エコー経路を介してマイクロホンに回り込むエコーを消去する。エコー消去装置は、受話信号を適応フィルタでフィルタリングし、予測エコー信号を生成し、マイクロホンで収音した第一収音信号と予測エコー信号との差分を第二収音信号として求めるエコー消去部と、受話信号と第二収音信号とを短時間区間毎に周波数領域の信号に変換する周波数領域変換部と、m=1,…,M、m’=1,…,M、m≠m’とし、周波数領域の受話信号と第二収音信号とを用いて、第mチャネルの受話信号のパワースペクトルと、第mチャネルの受話信号と第m'チャネルの受話信号とのクロススペクトルと、第mチャネルの受話信号と第二収音信号とのクロススペクトルとを求める入出力相関係数算出部と、パワースペクトルとクロススペクトルとを用いて、周波数領域の受話信号と第二収音信号との入出力伝達特性の推定値を周波数毎に推定する入出力伝達特性推定部と、周波数領域の受話信号と入出力伝達特性の推定値とから、周波数領域の第二収音信号に含まれる残留エコー成分を予測する残留エコー予測部と、周波数領域の第二収音信号を用いて、残留エコー成分を補正して補正後残留エコー成分を求める残留エコー補正部と、周波数領域の第二収音信号と補正後残留エコー成分とを用いて、周波数領域の第二収音信号に対する補正後残留エコー成分の比率である残留エコーパワー比率を求める残留エコーパワー比率計算部と、を含む。各スペクトルの推定の自由度の数をTとし、周波数領域の第二収音信号をU(f,j)とし、残留エコー成分をU^(f,j)とし、残留エコー補正部において、
Figure 2015201787
により定義される補正後残留エコー成分U^(f,j)を求め、エコー消去部において、残留エコーパワー比率と受話信号と第二収音信号とに基づき適応フィルタのフィルタ係数を更新する。
上記の課題を解決するために、本発明の他の態様によれば、エコー消去方法は、Mは1以上の整数であり、M個のスピーカと1個以上のマイクロホンが共通の音場に配置され、スピーカから受話信号を再生した際に、エコー経路を介してマイクロホンに回り込むエコーを消去する。エコー消去方法は、受話信号とマイクロホンで収音した第一収音信号から得られる信号(以下「収音信号」という)とを短時間区間毎に周波数領域の信号に変換する周波数領域変換ステップと、m=1,…,M、m’=1,…,M、m≠m’とし、周波数領域の受話信号と収音信号とを用いて、第mチャネルの受話信号のパワースペクトルと、第mチャネルの受話信号と第m'チャネルの受話信号とのクロススペクトルと、第mチャネルの受話信号と収音信号とのクロススペクトルとを求める入出力相関係数算出ステップと、パワースペクトルとクロススペクトルとを用いて、周波数領域の受話信号と収音信号との入出力伝達特性の推定値を周波数毎に推定する入出力伝達特性推定ステップと、周波数領域の受話信号と入出力伝達特性の推定値とから、周波数領域の収音信号に含まれる残留エコー成分を予測する残留エコー予測ステップと、周波数領域の収音信号を用いて、残留エコー成分を補正して補正後残留エコー成分を求める残留エコー補正ステップと、周波数領域の収音信号と補正後残留エコー成分との差分を送話信号として求める減算ステップと、周波数領域の送話信号を時間領域の信号に変換する時間領域変換ステップと、を含む。各スペクトルの推定の自由度の数をTとし、周波数領域の収音信号をY(f,j)とし、残留エコー成分をY^(f,j)とし、残留エコー補正ステップにおいて、
Figure 2015201787
により定義される補正後残留エコー成分Y^(f,j)を求める。
上記の課題を解決するために、本発明の他の態様によれば、エコー消去方法は、Mは1以上の整数であり、M個のスピーカと1個以上のマイクロホンが共通の音場に配置され、スピーカから受話信号を再生した際に、エコー経路を介してマイクロホンに回り込むエコーを消去する。エコー消去方法は、受話信号を適応フィルタでフィルタリングし、予測エコー信号を生成し、マイクロホンで収音した第一収音信号と予測エコー信号との差分を第二収音信号として求めるエコー消去ステップと、受話信号と第二収音信号とを短時間区間毎に周波数領域の信号に変換する周波数領域変換ステップと、m=1,…,M、m’=1,…,M、m≠m’とし、周波数領域の受話信号と第二収音信号とを用いて、第mチャネルの受話信号のパワースペクトルと、第mチャネルの受話信号と第m'チャネルの受話信号とのクロススペクトルと、第mチャネルの受話信号と第二収音信号とのクロススペクトルとを求める入出力相関係数算出ステップと、パワースペクトルとクロススペクトルとを用いて、周波数領域の受話信号と第二収音信号との入出力伝達特性の推定値を周波数毎に推定する入出力伝達特性推定ステップと、周波数領域の受話信号と入出力伝達特性の推定値とから、周波数領域の第二収音信号に含まれる残留エコー成分を予測する残留エコー予測ステップと、周波数領域の第二収音信号を用いて、残留エコー成分を補正して補正後残留エコー成分を求める残留エコー補正ステップと、周波数領域の第二収音信号と補正後残留エコー成分とを用いて、周波数領域の第二収音信号に対する補正後残留エコー成分の比率である残留エコーパワー比率を求める残留エコーパワー比率計算ステップと、残留エコーパワー比率と受話信号と第二収音信号とに基づき適応フィルタのフィルタ係数を更新する適応フィルタ更新ステップと、を含む。各スペクトルの推定の自由度の数をTとし、周波数領域の第二収音信号をU(f,j)とし、残留エコー成分をU^(f,j)とし、残留エコー補正ステップにおいて、
Figure 2015201787
により定義される補正後残留エコー成分U^(f,j)を求める。
本発明に係るエコー消去技術では、残留エコー推定値のバイアスを考慮して補正する際に、パラメータを調整せずに、残留エコーの推定精度を高めることができるという効果を奏する。
従来の多チャネルエコー消去装置80の構成例を示す図。 エコー消去装置100の構成例を示す図。 エコー消去装置100の処理フローを示す図。 入出力相関係数算出部163の構成例を示す図。 エコー消去装置200の構成例を示す図。 エコー消去装置200の処理フローを示す図。 エコー消去部28、38の構成例を示す図。 エコー消去部28、38の処理フローを示す図。 エコー消去装置300の構成例を示す図。 エコー消去装置300の処理フローを示す図。 エコー消去装置500の構成例を示す図。 エコー消去装置500の処理フローを示す図。 エコー消去部58の構成例を示す図。 エコー消去部58の処理フローを示す図。 エコー消去装置600の構成例を示す図。 エコー消去装置600の処理フローを示す図。 エコー消去装置700の構成例を示す図。 エコー消去装置700の処理フローを示す図。
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
<第一実施形態>
<本実施形態のポイント>
非特許文献2では、残留エコーを推定する際に、非定常の音声信号を対象とし、短時間で定常とみなして信号処理を行っている。そのために、再生信号と送話信号の相関が高めに推定される傾向がある。つまり残留エコーの推定値にバイアスがのり、本来より大きい値になる傾向がある。
このバイアスの特性が、参考文献1において、コヒーレンスを用いて解析されている。
(参考文献1)R. K. Otnes and L. Enochson, "Digital Time Series Analysis", John Wiley & sons, 1972.
コヒーレンスγ(f,j)は、出力信号のうちで、入力信号と線形関係にある成分のパワー比である。その推定値γ^(f,j)は、特許文献1の信号表記を用いると
Figure 2015201787
となる。ただし、Z^(f,j)は前述の式(A2)により定義される値である。なお、以下の記述では式の意味をとりやすくするために、フレーム番号jを省略している。
参考文献1の解析によれば、コヒーレンスの推定値の平方根γ^(f)の分布は、変換
Figure 2015201787
を適用することで、ガウス分布で精度良く近似できる。このとき、zの平均E[z]は
Figure 2015201787
の関係がある。前述の通り、Tは各スペクトルの推定の自由度の数であり、後述するパワースペクトル及びクロススペクトルを算出するときのフレーム数が、これに該当する。T−2M>0になるように、利用に先立ち、または、受話信号のチャネル数Mを設定後に、適切な値が設定される。
ここで、zの平均E[z]に対応するコヒーレンスの推定値の平方根をγ^(f)とすると、
Figure 2015201787
になる。これを用いると、本来のコヒーレンスの平方根γ(f)は
Figure 2015201787
とあらわされる。
ここで、tanhの導関数
Figure 2015201787
をつかい、コヒーレンスの推定値の平方根γ^(f)のところで線形近似すると、コヒーレンスの平方根γ(f)は
Figure 2015201787
とあらわされる。
以上より、コヒーレンスの推定値の平方根γ^(f)のバイアスを
Figure 2015201787
で推定する。さらに
Figure 2015201787
で定義された比率η(f)をかけることで、コヒーレンスの推定値の平方根γ^(f)を補正して、本来のコヒーレンスの平方根γ(f)に近づけることができる。なお比率η(f)<0のとき、η(f)=0を代わりに用いる。
コヒーレンスの推定値の平方根γ^(f)は信号振幅に対応するため(式(B1)参照)、残留エコーの推定値Y^(f)に比率η(f)をかけることで、残留エコー推定値をよりよく補正することができる。なお、特許文献1では、F2M,T−2M,αを確定するために、100α百分比点をパラメータとして事前に確定させ、指定する必要があるが、本実施形態では、そもそもF分布を用いないため、その必要がない。
<エコー消去装置100>
図2及び図3を用いて第一実施形態に係るエコー消去装置100を説明する。M個のスピーカ2,…,2とN個のマイクロホン3,…,3が共通の音場に配置され、スピーカ2,…,2からそれぞれ受話信号x(k),…,x(k)を再生した場合に、エコー消去装置100は、M×N本のエコー経路hmn(k)を介してマイクロホンに回り込む再生音(エコー)を消去する。より詳しく説明すると、エコー消去装置100内の残留エコー消去部16は、マイクロホン3nにM本のエコー経路hmn(k)を介して回り込む再生音(エコー)を消去する。エコー消去装置100は、受話側の全Mチャネルの受話端子1,…,1と、送話側の全Nチャネルの送話端子4,…,4と、マイクロホン3,…,3とが接続されており、受話信号x(k),…,x(k)及び収音信号y(k),…,y(k)が入力され、送話信号u(k),…,u(k)をそれぞれ送話端子4,…,4に出力する。
エコー消去装置100は、N個の残留エコー消去部16,…,16を含む。
<残留エコー消去部16
残留エコー消去部16は、受話側の全Mチャネルの受話端子1,…,1と、送話側の1チャネルの送話端子4と、マイクロホン3とが接続されており、Mチャネルの受話信号x(k),…,x(k)及び1チャネルの収音信号y(k)が入力され、1チャネルの送話信号u(k)を送話端子4に出力する。なお、各図において、y(k)をy(k)とし、u(k)をu(k)とし、h1n(k),…,hMn(k)をそれぞれh(k),…,h(k)として表す。また、各図において、第nチャネルの処理部についてのみ説明する。他のマイクロホンからの収音信号についても同様の処理を行うことができ、第nチャネルの処理部の構成を並列に並べるだけでよいため、説明を省略する。
残留エコー消去部16は、M個の周波数領域変換部161,…,161と、周波数領域変換部162と、入出力相関係数算出部163と、入出力伝達特性推定部164と、残留エコー予測部165と、残留エコー補正部166と、減算部167と、時間領域変換部168とを含む。
<周波数領域変換部161,…,161と周波数領域変換部162>
周波数領域変換部161,…,161は、それぞれ受話信号x(k),…,x(k)を入力とし、これを短時間区間毎に周波数領域の受話信号X(f,j),…,X(f,j)に変換し、出力する(s161)。同様に、周波数領域変換部162は、マイクロホン3で収音した第一収音信号y(k)を入力とし、短時間区間毎に周波数領域の信号Y(f,j)に変換し出力する(s162)。
各信号を1フレーム=2Lサンプルとし、L/Dサンプル毎にブロック化し、L/Dサンプルずつずらして、フレームを作成する場合について説明する。但し、Lは1以上の整数であり、DはLを割り切ることができる整数であり、jはフレーム番号を表し、時刻k=jL/Dである。fは周波数番号を表し、例えば、fはサンプリング周波数fの半分をL等分した離散点(周波数ビン)に対応し、f=0,1,…,L−1であり、f=0は周波数0に対応し、f=1は周波数(1/L)f/2に対応し、…、f=L−1は((L−1)/L)f/2に対応する。
周波数領域への変換は例えば、FFT(Fast Fourier transform)やDFT(discrete Fourier transform)により行い、計算を簡略化・高速化するために、Lを2のべき乗にとることが好ましい。例えば、L=64〜1024、D=2〜8等とする。フレーム長(1フレームに含まれるサンプル数)を10ms〜20msに対応するように設定すればよい。
<入出力相関係数算出部163>
入出力相関係数算出部163は、周波数領域の受話信号X(f,j),…,X(f,j)と第一収音信号Y(f,j)とを入力とし、これらの値を用いて、第mチャネルの受話信号X(f,j)のパワースペクトルPmm(f,j)と、第mチャネルの受話信号X(f,j)と第m’(但し、m’=1,…,Mであり、m≠m’である)チャネルの受話信号Xm’(f,j)とのクロススペクトルPm’m(f,j)と、第m’チャネルの受話信号Xm’(f,j)と第一収音信号Y(f,j)とのクロススペクトルQm’(f,j)とを求め、出力する(s163)。
なお、各クロススペクトル及びパワースペクトルは、時刻k=jL/Dにおける値である。パワースペクトルPmm(f,j)は入力信号(第mチャネルの受話信号X(f,j))の自己相関係数を表し、クロススペクトルPm’m(f,j)は入力信号(第mチャネルの受話信号X(f,j)と第m’チャネルの受話信号Xm’(f,j))間の相関係数を表す。上述のパワースペクトルPmm(f,j)とクロススペクトルPm’m(f,j)からなる行列を入力信号の相関係数P(f,j)として、以下のように表す。
Figure 2015201787
一方、クロススペクトルQm’(f,j)は、入力信号(第m’チャネルの受話信号Xm’(f,j))と出力信号(第一収音信号Y(f,j))との間の相関係数を表し、入出力間の相関係数Q(f,j)を
Figure 2015201787
と表す。図4を用いて入出力相関係数算出部163を説明する。例えば、入出力相関係数算出部163はパワースペクトル算出部163aと、受話信号間クロススペクトル算出部163bと、入出力信号間クロススペクトル算出部163cを有する。
パワースペクトル算出部163aは、周波数領域の第mチャネルの受話信号X(f,j)を用いて、パワースペクトルPmm(f,j)を算出する。
受話信号間クロススペクトル算出部163bは、周波数領域のM個の受話信号X(f,j),…,X(f,j)を用いて、第mチャネルの受話信号X(f,j)と第m’チャネルの受話信号Xm’(f,j))間のクロススペクトルPm’m(f,j)を算出する。
入出力信号間クロススペクトル算出部163cは、X(f,j),…,X(f,j)と第一収音信号Y(f,j)とを用いて、X(f,j),…,X(f,j)と第一収音信号Y(f,j)間のクロススペクトルQm’(f,j)を算出する。
例えば、Pmm(f,j),Pm’m(f,j),Qm’(f,j)は、時刻k=jL/Dにおける第mチャネルの受話信号X(f,j)と第一収音信号Y(f,j)からそれぞれ以下の式(3)、(4)、(5)により算出する。
Figure 2015201787
はXの複素共役を、E[ ]は平均をとることを意味する。平均処理の一例としては、
Figure 2015201787
のように、1フレーム前の処理結果と0〜1の値をとる平滑化定数βを用いる方法や過去の数フレームに時定数を乗じて求める方法等が考えられる。Pmm(f,j)及びQm’(f,j)についても同様の方法により求めることができる。
<入出力伝達特性推定部164>
入出力伝達特性推定部164は、パワースペクトルPmm(f,j)とクロススペクトルPm’m(f,j)、Qm’(f,j)とを入力とし、これらの値を用いて、周波数領域のM個の受話信号X(f,j),…,X(f,j)と第一収音信号Y(f,j)との入出力伝達特性の推定値G(f,j)=[G(f,j),…,G(f,j)]を周波数毎に推定し、出力する(s164)。
例えば、入出力伝達特性推定部164は、入出力伝達特性の推定値G(f,j)を以下の式(7)により推定する。
Figure 2015201787
なお上記パワースペクトルとクロススペクトルからなる行列について、逆行列計算を安定化するために、対角成分に微小定数δを加えて、
Figure 2015201787
としてもよい。
<残留エコー予測部165>
残留エコー予測部165は、周波数領域のM個の受話信号X(f,j),…,X(f,j)と入出力伝達特性の推定値G(f,j)とを入力とし、これらの値から、周波数領域の第一収音信号Y(f,j)に含まれる残留エコー成分Y^(f,j)を予測し、出力する(s165)。
例えば、残留エコー成分Y^(f,j)を、
Figure 2015201787
として予測する。
<残留エコー補正部166>
残留エコー補正部166は、周波数領域の第一収音信号Y(f,j)と残留エコー成分Y^(f,j)とを入力とし、これを用いて、残留エコー成分Y^(f,j)を補正して補正後残留エコー成分Y^(f,j)を求め、出力する(s166)。補正後残留エコー成分Y^(f,j)は例えば、以下の式により、求めることができる。
Figure 2015201787
但し、Tは各スペクトルの推定の自由度の数であり、入出力相関係数算出部163において、パワースペクトルPmm(f,j)及びクロススペクトルPm’m(f,j)、Qm’(f,j)を算出するときのフレーム数が、これに該当する。T−2M>0になるように、利用に先立ち、または、受話信号のチャネル数Mを設定後に、適切な値が設定される。なお、式(B9)の結果、比率η(f,j)<0となる場合には、式(9)において、η(f)=0を代わりに用いる。
なお、図示しない記憶部にコヒーレンスの推定値γ^(f)と式(B9)により定義される比率η(f)との対応付けを記憶しておいてもよい。このような構成により、式(B9)の計算時間を短縮できる。つまり、残留エコー補正部166は、周波数領域の第一収音信号Y(f,j)と残留エコー成分Y^(f,j)とを用いて、式(A2)、(B1)を計算し、コヒーレンスの推定値γ^(f)を求め、図示しない記憶部から求めた推定値γ^(f)に対応する比率η(f)を取り出し、残留エコー成分Y^(f,j)に乗じて(式(9)参照)、補正後残留エコー成分Y^(f,j)を求め、出力すればよい。別の言い方をすると、MおよびTは事前に分かっている定数であり、比率η(f)は、0から1の間をとる推定値γ^(f)の関数とみなせる。すなわち比率η(f)を推定値γ^(f)の関数とみて、事前に計算して表を作成できる。実際の信号処理では、この表を引いて比率η(f)を求めることで、√を計算することなくη(f)を効率良く求められる。
<減算部167>
減算部167は、周波数領域の第一収音信号Y(f,j)と補正後残留エコー成分Y^(f,j)を入力とし、この差分を送話信号V(f,j)として求め、出力する(s167)。例えば、以下の式(12)により、送話信号をV(f,j)を求める。
Figure 2015201787
<時間領域変換部168>
時間領域変換部168は、周波数領域の送話信号V(f,j)を入力とし、この信号を時間領域の信号v(k)に変換し、これをエコー消去装置100の出力値として出力する(s168)。なお、時間領域変換部168では、周波数領域変換部161及び162において用いた周波数領域変換方法に対応する時間領域変換方法を用いればよい。
<効果>
このような構成によって、残留エコー推定値のバイアスを考慮して補正する際に、パラメータを調整せずに、残留エコーの推定精度を高めることができる。
<変形例>
第一実施形態では、主にM>1のときについて説明しているが、M=1であってもよい。この場合、入出力相関係数算出部163では、第mチャネルの受話信号X(f,j)と第m’チャネルの受話信号Xm’(f,j)とのクロススペクトルPm’m(f,j)を求める必要はなくなる。入出力伝達特性推定部164では、パワースペクトルP11(f,j)とクロススペクトルQ(f,j)とを用いて、周波数領域の受話信号X(f,j)と第一収音信号Y(f,j)との入出力伝達特性の推定値G(f,j)を周波数毎に推定し、出力する。
<第二実施形態>
第一実施形態と異なる部分についてのみ説明する。
<エコー消去装置200>
図5及び図6を用いて第二実施形態に係るエコー消去装置200を説明する。エコー消去装置200は、N個のエコー消去部28,…,28とN個の残留エコー消去部26,…,26を含み、残留エコー消去部26の前段にエコー消去部28を設ける。
<エコー消去部28
エコー消去部28には、受話端子1,…,1と、残留エコー消去部26と、マイクロホン3とが接続されており、受話信号x(k),…,x(k)及び第一収音信号y(k)が入力され、1チャネルの第二収音信号u(k)を残留エコー消去部26に出力する。なお、第一収音信号からエコー成分を消去した誤差信号を便宜的に第二収音信号と呼ぶ。
エコー消去部28は、受話信号x(k),…,x(k)を適応フィルタでフィルタリングし、予測エコー信号y’(k)を生成し、さらに、マイクロホン3で収音した第一収音信号y(k)と予測エコー信号y’(k)との差分を第二収音信号u(k)として求め、第二収音信号u(k)と受話信号x(k),…,x(k)とに基づき、適応フィルタのフィルタ係数h’(k)を更新する(s28)。
以下、図7及び図8を用いて、詳細を説明する。エコー消去部28は、エコー予測部281と減算部282とエコー経路推定部283とを有する。
エコー消去部28の処理内容を説明するために、まず、受話信号と第一収音信号との関係を説明する。スピーカ2,…,2からマイクロホン3までのエコー経路のインパルス応答をh,…,h(k)とし、その長さをLとすると、受話信号x(k),…,x(k)と第一収音信号y(k)の間には次の関係がある。
Figure 2015201787
第mチャネルのインパルス応答hと受話信号x
hm=[hm(0)…hm(L1-1)]T (22)
xm=[xm(0)…xm(L1-1)]T (23)
として、ベクトル化すると、受話信号x(k),…,x(k)と第一収音信号y(k)の関係は次のように記述される。
y(k)=h1 Tx1(k)+…+hM TxM(k) (24)
但し、Tは転置を表す。
<エコー予測部281>
エコー予測部281は、適応フィルタによる予測エコー経路に受話信号x(k),…,x(k)を入力して予測エコー信号y’(k)を生成し、出力する(s281)。エコー予測部281は適応フィルタによって構成され、受話状態における減算部282の誤差信号が最小となるように後述するエコー経路推定部283で適応フィルタの特性が制御される。
例えば、第mチャネルの適応フィルタのフィルタ係数を
h'm=[h'm(0)…h'm(LE-1)]T (25)
とし、予測エコー信号
y'(k)=h'1 Tx1(k)+…+h'M TxM(k) (26)
を生成する。但し、Lは適応フィルタのタップ長を表す。エコー予測部281は、生成した予測エコー信号y’(k)を減算部282に出力する。なお、例えば、適応フィルタのタップ長は100〜300ms程度に設定されることが多い。
<減算部282>
減算部282は、第一収音信号y(k)と予測エコー信号y’(k)を入力とし、第一収音信号y(k)から予測エコー信号y’(k)を差し引き、第二収音信号u(k)を求める(s282)。
u(k)=y(k)-y'(k) (27)
求めた第二収音信号u(k)をエコー経路推定部283と残留エコー消去部26内の周波数領域変換部262に出力する。
<エコー経路推定部283>
エコー経路推定部283は、第二収音信号u(k)と受話信号x(k),…,x(k)を入力とし、これらを用いて、適応フィルタのフィルタ係数h’(k)を更新し、出力する(s283)。適応フィルタの係数修正法としてNormalized Least Mean Squareアルゴリズム(NLMSアルゴリズム)を用いた場合を、以下の式(28)により、フィルタ係数を更新する。
h'm(k+1)=h'm(k)+μu(k)xm(k) (28)
但し、μはステップサイズであり、
Figure 2015201787
により決定される。なお、μは入力信号のパワーに基づいて制御され、安定した推定を行うために、予め0〜1の値に設定されるパラメータである。エコー経路推定部283は、更新したフィルタ係数h’(k+1)をコピーして、エコー予測部281に出力する。なお、フィルタ係数の更新方法は上述の方法に限定されるものではなく、他の更新方法を用いてもよい。
<残留エコー消去部26
第一実施形態の残留エコー消去部16において第一収音信号y(k)を用いて行っていた処理を、残留エコー消去部26において上述の第二収音信号u(k)を用いて行う。例えば、周波数領域変換部262において、第二収音信号u(k)を周波数領域の信号U(f,j)に変換し、この信号を用いて入出力相関係数算出部263と残留エコー補正部266と減算部267において各処理を行う。また、残留エコー予測部265で行われる処理は、第一実施形態と同様であるが、予測する残留エコー成分U^(f,j)は、第一収音信号y(k)に含まれる残留エコー成分ではなく、第二収音信号u(k)に含まれる残留エコー成分である。つまり、残留エコー消去部26は、第一収音信号y(k)に含まれる残留エコー成分ではなく、第二収音信号u(k)に含まれる残留エコー成分を消去する。
<効果>
このような構成により、第一実施形態と同様の効果を得ることができる。エコー経路に大きな変動がない場合には、前段のエコー消去部28において、精度の高いエコー経路の推定が可能となるため、送話品質が向上する。また、エコー経路が大きく変動した場合には、エコー消去部28において行われるエコー経路の推定が安定するまで、後段の残留エコー消去部26において、残留エコー成分を消去することができる。よって、適応フィルタのみを用いてエコー消去を行う装置(例えば、図1の多チャネルエコー消去装置80)に比べ、エコー経路安定時及び変動時を通じて、高い送話品質を維持することができる。
<第三実施形態>
第二実施形態と異なる部分についてのみ説明する。
<エコー消去装置300>
図9及び図10を用いて第三実施形態に係るエコー消去装置300を説明する。エコー消去装置300は、N個のエコー消去部38,…,38とN個の残留エコー消去部36,…,36を含み、残留エコー消去部36の前段にエコー消去部38を設ける。
<エコー消去部38
エコー消去部38の処理内容はエコー消去部28と同様である。但し、エコー予測部281で求めた予測エコー信号y’(k)を、減算部282だけではなく、残留エコー消去部36内の第二周波数領域変換部369にも出力する点が異なる(図7及び図9参照、但し図7中、予測エコー信号y’(k)の出力を破線で示す)。
<残留エコー消去部36
残留エコー消去部36は、M個の周波数領域変換部161,…,161と、周波数領域変換部262と、入出力相関係数算出部363と、入出力伝達特性推定部364と、残留エコー予測部365と、残留エコー補正部266と、減算部267と、時間領域変換部168と、第二周波数領域変換部369とを含む。
<第二周波数領域変換部369>
第二周波数領域変換部369は、予測エコー信号y’(k)を入力とし、これを短時間区間毎に周波数領域の予測エコー信号に変換し、入出力相関係数算出部363と残留エコー予測部365とに出力する(s369)。なお、周波数領域の予測エコー信号を便宜上X(f,j)と表す。変換方法は、周波数領域変換部161及び262と同様の方法を用いる。
<入出力相関係数算出部363>
入出力相関係数算出部363は、周波数領域の受話信号X(f,j),…,X(f,j)と予測エコー信号X(f,j)と第二収音信号U(f,j)とを入力とし、これらの値を用いて、第mチャネルの受話信号X(f,j)のパワースペクトルPmm(f,j)と、予測エコー信号X(f,j)のパワースペクトルP00(f,j)と、第mチャネルの受話信号X(f,j)と第m’チャネルの受話信号Xm’(f,j)とのクロススペクトルPm’m(f,j)と、第mチャネルの受話信号X(f,j)と予測エコー信号X(f,j)とのクロススペクトルP0m(f,j)と、第m’チャネルの受話信号Xm’(f,j)と第二収音信号U(f,j)とのクロススペクトルQm’(f,j)と、予測エコー信号X(f,j)と第二収音信号U(f,j)とのクロススペクトルQ(f,j)とを求め、出力する(s363)。
なお、パワースペクトルP00(f,j)とクロススペクトルP0m(f,j)とクロススペクトルQ(f,j)を以下の式により求める。
Figure 2015201787
なお、平均処理の方法は第一実施形態で用いた方法と同様の方法を用いればよい。
第三実施形態において、p=0,1,…,M、q’=0,1,…,M、q≠q’とし、パワースペクトルP00(f,j)とクロススペクトルPm’m(f,j)を
Figure 2015201787
として表す。クロススペクトルP0m(f,j)とクロススペクトルPm’m(f,j)を
Figure 2015201787
として表す。クロススペクトルQ(f,j)とクロススペクトルQm’(f,j)を、
Figure 2015201787
として表す。上述のパワースペクトルP00(f,j)、Pmm(f,j)とクロススペクトル、P0m(f,j)、Pm’m(f,j)からなる行列を入力信号の相関係数P(f,j)として、以下のように表す。
Figure 2015201787
一方、クロススペクトルQm’(f,j)、Q(f,j)からなる入出力間の相関係数Q(f,j)を
Figure 2015201787
として表す。
<入出力伝達特性推定部364>
入出力伝達特性推定部364は、パワースペクトルPmm(f,j)、P00(f,j)とクロススペクトルPm’m(f,j)、P0m(f,j)、Q(f,j)、Qm’(f,j)とを入力とし、これらの値を用いて、周波数領域のM個の受話信号X(f,j),…,X(f,j)、予測エコー信号X(f,j)と第二収音信号U(f,j)との入出力伝達特性の推定値G(f,j)=[G(f,j),G(f,j),…,G(f,j)]を周波数毎に推定し、出力する(s364)。
例えば、入出力伝達特性推定部364は、入出力伝達特性の推定値G(f,j)を以下の式(39)により推定する。
Figure 2015201787
<残留エコー予測部365>
残留エコー予測部365は、周波数領域のM個の受話信号X(f,j),…,X(f,j)と予測エコー信号X(f,j)、入出力伝達特性の推定値G(f,j)とを入力とし、これらの値から、周波数領域の第二収音信号U(f,j)に含まれる残留エコー成分U^(f,j)を予測し、出力する(s365)。
例えば、残留エコー成分U^(f,j)を、
Figure 2015201787
として予測する。
<効果>
このような構成とすることで第二実施形態と同様の効果を得ることができる。残留エコー消去部36において、その処理遅延量は周波数領域変換部161、162、第二周波数領域変換部369で設定されるL/Dにより決定される。予測性能を向上させるために、フレーム長を長くすると、その遅延量が大きくなる。一方、処理遅延を短くするためにフレーム長を(エコー予測部281で用いる)適応フィルタのタップ長Lより短くすると、残響成分のうちフレーム長よりも遅れて到達する残留エコー成分に対応できなくなる。そのために残留エコー消去性能が低下する。例えばフレーム長を10msにとった場合、通常の会議室の残響時間は300ms以上なので、エコー経路インパルス応答の10msより後ろの部分(つまり、10ms〜300ms以上)に含まれる残留エコー成分に対応できないために、残留エコー消去性能は大幅に劣化する。
そこで、適応フィルタが生成する予測エコー信号y’(k)には、フレーム長を超える残響成分を含むことに着目した。残留エコー予測部605において、予測エコー信号y’(k)を用いて、残留エコーを推定することで、遅延量を増大させることなく、残留エコー消去性能を向上させることができる。これにより、残響が長い部屋でも残留エコー消去性能を確保することができる。
<第四実施形態>
第二実施形態と異なる部分についてのみ説明する。第四実施形態では第二実施形態の方法で適応フィルタの出力信号(第二収音信号)に占める残留エコー成分のパワー比率を高精度で推定し、この比率に基づき適応フィルタを更新する方法を示す。
<エコー消去装置500>
図11及び図12を用いて第四実施形態に係るエコー消去装置500を説明する。エコー消去装置500は、N個のエコー消去部58,…,58とN個の残留エコー消去部56,…,56を含み、残留エコー消去部56の前段にエコー消去部58を設ける。
<エコー消去部58
図13及び図14を用いてエコー消去部58について説明する。エコー消去部58は、周波数領域変換部584とエコー予測部581と減算部282とエコー経路推定部583とを有する。例えば、エコー消去部58において、参考文献2記載の方法を用いて、エコー成分を消去する(s58)。
[参考文献2]特開2003−250193号公報
<周波数領域変換部584>
周波数領域変換部584は、受話信号x(k),…,x(k)をそれぞれ周波数領域の信号X’(j),…,X’(j)に変換し、出力する(s584)。例えば、以下の式(51)により、周波数領域の受話信号X’(j)を求める。
X'm(j)=diag(FFT([xm(k-2L+1),…,xm(k)])) (51)
各信号を1フレーム=2Lサンプルとし、L/Dサンプル毎にブロック化し、L/Dサンプルずつずらして、フレームを作成する場合、時刻kとフレーム番号jにはk=jL/Dの関係があり、DはLを割り切ることができる整数である。FFT(A)はベクトルAをFFT変換(高速フーリエ変換)する関数であり、diag(A)はベクトルAを、その要素を対角成分とする行列に変換する関数である。つまり、X’(j)の対角成分をX’(f’,j)(但し、f’は周波数番号を表し、f’=0,1,…,2L−1)とすると、X’(j)は以下のような値となる。
Figure 2015201787
<エコー予測部581>
エコー予測部581は、周波数領域の受話信号X’(j),…,X’(j)を入力とし、それぞれのエコー経路h(k)に対応する周波数領域での適応フィルタでフィルタリングし、時間領域の信号に変換し、M個のチャネルに対応する予測エコー信号ベクトルy’(k),…,y’(k)を合算して予測エコー信号ベクトルy’(k)を生成する(s581)。例えば、以下の式により、予測エコー信号ベクトルy’(k)を生成する。
ym(k)=[0LL ]IFFT(X'm(j)Hm'(j)) (52)
y'(k)=ΣM m=1ym(k) (53)
但し、H’(j)は要素数2Lの複素数ベクトルであり、時間領域に変換して前半L個を取り出すと、適応フィルタのインパルス応答になる。0はL×Lの零行列を、IはL×Lの単位行列を表す。IFFT(A)はベクトルAをIFFT変換(逆高速フーリエ変換)する関数である。
<減算部582>
減算部582の処理内容は、第二実施形態の減算部282と同様である。但し、第二収音信号u(k)を、エコー消去装置500の出力値(送話信号)として、出力する点が、第二実施形態とは異なる。
<エコー経路推定部583>
エコー消去部58は、残留エコーパワー比率ε(f’,j)と周波数領域の受話信号X’(j),…,X’(j)と第二収音信号u(k)とを入力とし、これらの値に基づき周波数領域の適応フィルタのフィルタ係数H’(j)を更新し、コピーし、エコー予測部581に出力する(s583)。なお、エコー経路の推定(s583)は、残留エコーパワー比率ε(f’,j)の算出後に行う(図12参照)。残留エコーパワー比率ε(f’,j)の詳細は後述する。例えば、参考文献2記載の方法を用いて、フィルタ係数H’(j)を更新する。以下、概要を説明する。
第二収音信号u(k)と周波数領域の受話信号X’(j),…,X’(j)とを用いて
Figure 2015201787
を求める。
さらに、周波数領域の受話信号X’(j)の対角成分X’(f,j),…,X’(f,j)を用いて、
Figure 2015201787
を求める。但し、βは短時間平均をとるための平滑化定数であり、0より大きく1より小さい実数に設定される。
さらに、残留エコーパワー比率ε(f’,j)を用いて、行列
Figure 2015201787
を求める。
最後に、上述の処理によって得られたM(j)、P(j)、M個のdH^(j)を用いて、以下の式によりフィルタ係数H’(j)を更新する。
Figure 2015201787
但し、μは固定値であり、0より大きく1より小さい実数に設定される。なお式(57)の代わりに
Figure 2015201787
を用いることも可能である。
<残留エコー消去部56
図11及び図12を用いて残留エコー消去部56について説明する。残留エコー消去部56は、M個の周波数領域変換部161,…,161と、周波数領域変換部262と、入出力相関係数算出部263と、入出力伝達特性推定部164と、残留エコー予測部265と、残留エコー補正部266と、残留エコーパワー比率計算部569とを含む。
周波数領域変換部262の出力値である周波数領域の第二収音信号U(f,j)及び残留エコー補正部266の出力値である補正後残留エコー成分U^(f,j)は、減算部ではなく、残留エコーパワー比率計算部569に出力される。
<残留エコーパワー比率計算部569>
残留エコーパワー比率計算部569は、周波数領域の第二収音信号U(f,j)と補正後残留エコー成分U^(f,j)とを入力とし、これらの値を用いて、周波数領域の第二収音信号U(f,j)に対する補正後残留エコー成分U^(f,j)の比率である残留エコーパワー比率ε(f’,j)を求める(s569)。例えば、以下の式(63)または式(64)によって、残留エコーパワー比率ε(f’,j)(但し、f’<L、f=f’)を求め、
Figure 2015201787
さらにε(2L−f’,j)=ε(f’,j)(但し、L≦2L−f’<2L)を求め、ε(f’,j)(f’=0,1,…,2L−1)をエコー消去部58nに出力する。
但し、残留エコーパワー比率計算部569において、残留エコーパワー比率ε(f’,j)を対角成分とする行列
Figure 2015201787
を求め、エコー消去部58に出力する構成としてもよい。
<効果>
このような構成によって、パラメータを調整せずに、予測した残留エコーを補正し、残留エコーの推定精度を高めることができる。推定精度の高い残留エコーを用いて、周波数領域の第二収音信号U(f,j)に対する補正後残留エコー成分U^(f,j)の比率である残留エコーパワー比率ε(f’,j)を求め、残留エコーパワー比率ε(f’,j)に基づき、適応フィルタのフィルタ係数の更新式のステップサイズを制御するため、より高精度のエコー成分推定が可能となり、高い送話品質を実現できる。
<第四実施形態の第一変形例>
第四実施形態と異なる部分についてのみ説明する。
<エコー消去装置600>
図15及び図16を用いて第四実施形態の第一変形例に係るエコー消去装置600を説明する。エコー消去装置600は、N個のエコー消去部58,…,58とN個の残留エコー消去部66,…,66を含み、残留エコー消去部66の前段にエコー消去部58を設ける。
N個のエコー消去部58の処理内容は第四実施形態と同様である。但し、その出力値u(k)は、残留エコー消去部66内の周波数領域変換部262のみに出力し、エコー消去装置600の出力値(送話信号)とはしない点が異なる。
<残留エコー消去部66
残留エコー消去部66は、M個の周波数領域変換部161,…,161と、周波数領域変換部262と、入出力相関係数算出部263と、入出力伝達特性推定部164と、残留エコー予測部265と、残留エコー補正部266と、残留エコーパワー比率計算部569と、減算部267と、時間領域変換部168とを含む。つまり、第二実施形態の残留エコー消去部26に残留エコーパワー比率計算部569を加えた構成である。減算部267と、時間領域変換部168を含む点が、残留エコー消去部56とは異なる。
周波数領域変換部262の出力値U(f,j)及び残留エコー補正部266の出力値U^(f,j)は、残留エコーパワー比率計算部だけではなく、減算部267にも出力される。減算部267及び時間領域変換部168の処理内容は、第二実施形態で説明したものと同様である(s267、s168)。エコー消去装置600は、時間領域変換部168の出力値v(k)を送話信号として出力する。
<効果>
このような構成とすることで第二実施形態と同様の効果に加え、第四実施形態と同様の効果も得ることができる。
<第四実施形態の第二変形例>
第四実施形態の第一変形例と異なる部分についてのみ説明する。
<エコー消去装置700>
図17及び図18を用いて第四実施形態の第二変形例に係るエコー消去装置700を説明する。エコー消去装置700は、N個のエコー消去部58,…,58とN個の残留エコー消去部76,…,76を含み、残留エコー消去部76の前段にエコー消去部58を設ける。
<残留エコー消去部76
残留エコー消去部76は、M個の周波数領域変換部161,…,161と、周波数領域変換部262と、入出力相関係数算出部363と、入出力伝達特性推定部364と、残留エコー予測部365と、残留エコー補正部266と、残留エコーパワー比率計算部569とを、減算部267と、時間領域変換部168と、第二周波数領域変換部369とを含む。つまり、第三実施形態の残留エコー消去部36に残留エコーパワー比率計算部569を加えた構成である。
各部の処理は、第三実施形態及び第四実施形態で説明した内容と同様である。
<効果>
このような構成とすることで第三実施形態と同様の効果に加え、第四実施形態と同様の効果も得ることができる。
<プログラム及び記録媒体>
上述したエコー消去装置は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置(各種実施形態及びその変形例で図に示した機能構成をもつ装置)として機能させるためのプログラム、またはその処理手順(各実施例で示したもの)の各過程をコンピュータに実行させるためのプログラムを、CD−ROM、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。
<その他の変形例>
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
例えば、第四実施形態の第二変形例において、第四実施形態と同じように、残留エコー消去部76が減算部267と、時間領域変換部168とを含まない構成とし、エコー消去部58の出力をエコー消去装置700の出力値(送話信号)としてもよい。
なお、請求項における収音信号とは、マイクロホンで収音した第一収音信号から得られる信号であり、マイクロホンで収音した第一収音信号自体や、第一収音信号と予測エコー信号との差分として求められる第二収音信号を含む概念である。さらに、第一または第二収音信号に対し多チャネルの受話信号の相互相関が変化するような工夫を施された信号(例えば、ノイズが負荷された信号、半波整流、遅延変動、レベル変動等の処理を施された信号)であってもよいし、第一収音信号に対し上述の工夫が施された信号と予測エコー信号との差分として求められる第二収音信号であってもよい。

Claims (8)

  1. Mは1以上の整数であり、M個のスピーカと1個以上のマイクロホンが共通の音場に配置され、前記スピーカから受話信号を再生した際に、エコー経路を介して前記マイクロホンに回り込むエコーを消去するエコー消去装置であって、
    前記受話信号と前記マイクロホンで収音した第一収音信号から得られる信号(以下「収音信号」という)とを短時間区間毎に周波数領域の信号に変換する周波数領域変換部と、
    m=1,…,M、m’=1,…,M、m≠m’とし、周波数領域の前記受話信号と前記収音信号とを用いて、第mチャネルの前記受話信号のパワースペクトルと、第mチャネルの受話信号と第m'チャネルの受話信号とのクロススペクトルと、第mチャネルの前記受話信号と前記収音信号とのクロススペクトルとを求める入出力相関係数算出部と、
    前記パワースペクトルと前記クロススペクトルとを用いて、周波数領域の前記受話信号と前記収音信号との入出力伝達特性の推定値を周波数毎に推定する入出力伝達特性推定部と、
    周波数領域の前記受話信号と前記入出力伝達特性の前記推定値とから、周波数領域の前記収音信号に含まれる残留エコー成分を予測する残留エコー予測部と、
    周波数領域の前記収音信号を用いて、前記残留エコー成分を補正して補正後残留エコー成分を求める残留エコー補正部と、
    周波数領域の前記収音信号と前記補正後残留エコー成分との差分を送話信号として求める減算部と、
    周波数領域の前記送話信号を時間領域の信号に変換する時間領域変換部と、
    を含み、
    各スペクトルの推定の自由度の数をTとし、前記周波数領域収音信号をY(f,j)とし、前記残留エコー成分をY^(f,j)とし、前記残留エコー補正部において、
    Figure 2015201787
    により定義される前記補正後残留エコー成分Y^(f,j)を求める、
    エコー消去装置。
  2. 請求項1に記載のエコー消去装置であって、
    前記受話信号を適応フィルタでフィルタリングし、予測エコー信号を生成し、前記マイクロホンで収音した前記第一収音信号と前記予測エコー信号との差分を第二収音信号として求め、この第二収音信号と前記受話信号とに基づき適応フィルタのフィルタ係数を更新するエコー消去部と、をさらに含み、
    前記周波数領域変換部と前記入出力相関係数算出部と前記残留エコー補正部と前記減算部において、前記収音信号として前記第二収音信号を用いる、
    エコー消去装置。
  3. 請求項2記載のエコー消去装置であって、
    前記予測エコー信号を短時間区間毎に周波数領域の信号に変換する第二周波数領域変換部と、をさらに含み、
    q’≠qとし、q=0,1,…,Mとし、q’=0,1,…,Mとし、周波数領域の前記予測エコー信号をX(f,j)とし、周波数領域の第mチャネルの前記受話信号をX(f,j)とし、周波数領域の前記第二収音信号をU(f,j)とし、前記予測エコー信号のパワースペクトルをP00(f,j)とし、第mチャネルの前記受話信号のパワースペクトルをPmm(f,j)とし、前記予測エコー信号と第mチャネルの前記受話信号との間のクロススペクトルをP0m(f,j)とし、第m’チャネルの前記受話信号と第mチャネルの前記受話信号の間のクロススペクトルをPm’m(f,j)とし、前記予測エコー信号と前記第二収音信号との間のクロススペクトルをQ(f,j)とし、第m’チャネルの前記受話信号と前記第二収音信号との間のクロススペクトルをQm’(f,j)とし、AをAの複素共役とし、E[A]をAの平均をとる関数とし、
    前記入出力相関係数算出部において、前記パワースペクトルP00と前記パワースペクトルPmm
    Figure 2015201787
    として求め、前記クロススペクトルP0m(f,j)と前記クロススペクトルPm’m(f,j)を
    Figure 2015201787
    として求め、前記クロススペクトルQ(f,j)と前記クロススペクトルQm’(f,j)を、
    Figure 2015201787
    として求め、
    前記入出力伝達特性推定部において、前記入出力伝達特性の前記推定値G(f,j)を、
    Figure 2015201787

    として推定し、
    前記残留エコー予測部において、前記残留エコー成分を、
    Figure 2015201787
    として予測する、
    エコー消去装置。
  4. Mは1以上の整数であり、M個のスピーカと1個以上のマイクロホンが共通の音場に配置され、前記スピーカから受話信号を再生した際に、エコー経路を介して前記マイクロホンに回り込むエコーを消去するエコー消去装置であって、
    前記受話信号を適応フィルタでフィルタリングし、予測エコー信号を生成し、前記マイクロホンで収音した第一収音信号と前記予測エコー信号との差分を第二収音信号として求めるエコー消去部と、
    前記受話信号と前記第二収音信号とを短時間区間毎に周波数領域の信号に変換する周波数領域変換部と、
    m=1,…,M、m’=1,…,M、m≠m’とし、周波数領域の前記受話信号と前記第二収音信号とを用いて、第mチャネルの前記受話信号のパワースペクトルと、第mチャネルの受話信号と第m'チャネルの受話信号とのクロススペクトルと、第mチャネルの前記受話信号と前記第二収音信号とのクロススペクトルとを求める入出力相関係数算出部と、
    前記パワースペクトルと前記クロススペクトルとを用いて、周波数領域の前記受話信号と前記第二収音信号との入出力伝達特性の推定値を周波数毎に推定する入出力伝達特性推定部と、
    周波数領域の前記受話信号と前記入出力伝達特性の前記推定値とから、周波数領域の前記第二収音信号に含まれる残留エコー成分を予測する残留エコー予測部と、
    周波数領域の前記第二収音信号を用いて、前記残留エコー成分を補正して補正後残留エコー成分を求める残留エコー補正部と、
    周波数領域の前記第二収音信号と補正後残留エコー成分とを用いて、周波数領域の前記第二収音信号に対する前記補正後残留エコー成分の比率である残留エコーパワー比率を求める残留エコーパワー比率計算部と、を含み、
    各スペクトルの推定の自由度の数をTとし、周波数領域の前記第二収音信号をU(f,j)とし、前記残留エコー成分をU^(f,j)とし、前記残留エコー補正部において、
    Figure 2015201787
    により定義される前記補正後残留エコー成分U^(f,j)を求め、
    前記エコー消去部において、前記残留エコーパワー比率と前記受話信号と前記第二収音信号とに基づき適応フィルタのフィルタ係数を更新する、
    エコー消去装置。
  5. 請求項4のエコー消去装置であって、
    前記予測エコー信号を短時間区間毎に周波数領域の信号に変換する第二周波数領域変換部と、をさらに含み、
    q’≠qとし、q=0,1,…,Mとし、q’=0,1,…,Mとし、周波数領域の前記予測エコー信号をX(f,j)とし、周波数領域の第mチャネルの前記受話信号をX(f,j)とし、周波数領域の前記第二収音信号をU(f,j)とし、前記予測エコー信号のパワースペクトルをP00(f,j)とし、第mチャネルの前記受話信号のパワースペクトルをPmm(f,j)とし、前記予測エコー信号と第mチャネルの前記受話信号との間のクロススペクトルをP0m(f,j)とし、第m’チャネルの前記受話信号と第mチャネルの前記受話信号の間のクロススペクトルをPm’m(f,j)とし、前記予測エコー信号と前記第二収音信号との間のクロススペクトルをQ(f,j)とし、第m’チャネルの前記受話信号と前記第二収音信号との間のクロススペクトルをQm’(f,j)とし、AをAの複素共役とし、E[A]をAの平均をとる関数とし、
    前記入出力相関係数算出部において、前記パワースペクトルP00と前記パワースペクトルPmm
    Figure 2015201787
    として求め、前記クロススペクトルP0m(f,j)と前記クロススペクトルPm’m(f,j)を
    Figure 2015201787
    として求め、前記クロススペクトルQ(f,j)と前記クロススペクトルQm’(f,j)を、
    Figure 2015201787
    として求め、
    前記入出力伝達特性推定部において、前記入出力伝達特性の前記推定値G(f,j)を、
    Figure 2015201787
    として推定し、
    前記残留エコー予測部において、前記残留エコー成分を、
    Figure 2015201787
    として予測する、
    エコー消去装置。
  6. Mは1以上の整数であり、M個のスピーカと1個以上のマイクロホンが共通の音場に配置され、前記スピーカから受話信号を再生した際に、エコー経路を介して前記マイクロホンに回り込むエコーを消去するエコー消去方法であって、
    前記受話信号と前記マイクロホンで収音した第一収音信号から得られる信号(以下「収音信号」という)とを短時間区間毎に周波数領域の信号に変換する周波数領域変換ステップと、
    m=1,…,M、m’=1,…,M、m≠m’とし、周波数領域の前記受話信号と前記収音信号とを用いて、第mチャネルの前記受話信号のパワースペクトルと、第mチャネルの受話信号と第m'チャネルの受話信号とのクロススペクトルと、第mチャネルの前記受話信号と前記収音信号とのクロススペクトルとを求める入出力相関係数算出ステップと、
    前記パワースペクトルと前記クロススペクトルとを用いて、周波数領域の前記受話信号と前記収音信号との入出力伝達特性の推定値を周波数毎に推定する入出力伝達特性推定ステップと、
    周波数領域の前記受話信号と前記入出力伝達特性の前記推定値とから、周波数領域の前記収音信号に含まれる残留エコー成分を予測する残留エコー予測ステップと、
    周波数領域の前記収音信号を用いて、前記残留エコー成分を補正して補正後残留エコー成分を求める残留エコー補正ステップと、
    周波数領域の前記収音信号と前記補正後残留エコー成分との差分を送話信号として求める減算ステップと、
    周波数領域の前記送話信号を時間領域の信号に変換する時間領域変換ステップと、
    を含み、
    各スペクトルの推定の自由度の数をTとし、周波数領域の前記収音信号をY(f,j)とし、前記残留エコー成分をY^(f,j)とし、前記残留エコー補正ステップにおいて、
    Figure 2015201787
    により定義される前記補正後残留エコー成分Y^(f,j)を求める、
    エコー消去方法。
  7. Mは1以上の整数であり、M個のスピーカと1個以上のマイクロホンが共通の音場に配置され、前記スピーカから受話信号を再生した際に、エコー経路を介して前記マイクロホンに回り込むエコーを消去するエコー消去方法であって、
    前記受話信号を適応フィルタでフィルタリングし、予測エコー信号を生成し、前記マイクロホンで収音した第一収音信号と前記予測エコー信号との差分を第二収音信号として求めるエコー消去ステップと、
    前記受話信号と前記第二収音信号とを短時間区間毎に周波数領域の信号に変換する周波数領域変換ステップと、
    m=1,…,M、m’=1,…,M、m≠m’とし、周波数領域の前記受話信号と前記第二収音信号とを用いて、第mチャネルの前記受話信号のパワースペクトルと、第mチャネルの受話信号と第m'チャネルの受話信号とのクロススペクトルと、第mチャネルの前記受話信号と前記第二収音信号とのクロススペクトルとを求める入出力相関係数算出ステップと、
    前記パワースペクトルと前記クロススペクトルとを用いて、周波数領域の前記受話信号と前記第二収音信号との入出力伝達特性の推定値を周波数毎に推定する入出力伝達特性推定ステップと、
    周波数領域の前記受話信号と前記入出力伝達特性の前記推定値とから、周波数領域の前記第二収音信号に含まれる残留エコー成分を予測する残留エコー予測ステップと、
    周波数領域の前記第二収音信号を用いて、前記残留エコー成分を補正して補正後残留エコー成分を求める残留エコー補正ステップと、
    周波数領域の前記第二収音信号と補正後残留エコー成分とを用いて、周波数領域の前記第二収音信号に対する前記補正後残留エコー成分の比率である残留エコーパワー比率を求める残留エコーパワー比率計算ステップと、
    前記残留エコーパワー比率と前記受話信号と前記第二収音信号とに基づき適応フィルタのフィルタ係数を更新する適応フィルタ更新ステップと、を含み、
    各スペクトルの推定の自由度の数をTとし、周波数領域の前記第二収音信号をU(f,j)とし、前記残留エコー成分をU^(f,j)とし、前記残留エコー補正ステップにおいて、
    Figure 2015201787
    により定義される前記補正後残留エコー成分U^(f,j)を求める、
    エコー消去方法。
  8. 請求項1から請求項5の何れかに記載のエコー消去装置として、コンピュータを機能させるためのプログラム。
JP2014080198A 2014-04-09 2014-04-09 エコー消去装置、その方法及びプログラム Active JP6143702B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014080198A JP6143702B2 (ja) 2014-04-09 2014-04-09 エコー消去装置、その方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014080198A JP6143702B2 (ja) 2014-04-09 2014-04-09 エコー消去装置、その方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2015201787A true JP2015201787A (ja) 2015-11-12
JP6143702B2 JP6143702B2 (ja) 2017-06-07

Family

ID=54552702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014080198A Active JP6143702B2 (ja) 2014-04-09 2014-04-09 エコー消去装置、その方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6143702B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357619A (zh) * 2015-12-11 2016-02-24 广州大学 一种数字助听器频率分辨力增强方法
WO2019244535A1 (ja) * 2018-06-22 2019-12-26 日本電信電話株式会社 エコー消去装置、エコー消去方法、プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003309493A (ja) * 2002-04-17 2003-10-31 Nippon Telegr & Teleph Corp <Ntt> 反響低減方法、反響低減装置、反響低減プログラム
JP2006121590A (ja) * 2004-10-25 2006-05-11 Nippon Telegr & Teleph Corp <Ntt> 音声スイッチ方法、この方法を実施する装置、プログラムおよびその記録媒体
JP2006121589A (ja) * 2004-10-25 2006-05-11 Nippon Telegr & Teleph Corp <Ntt> エコー消去方法、この方法を実施する装置、プログラムおよびその記録媒体
JP2006121588A (ja) * 2004-10-25 2006-05-11 Nippon Telegr & Teleph Corp <Ntt> エコー抑圧方法、この方法を実施する装置、プログラムおよびその記録媒体
JP2011166484A (ja) * 2010-02-10 2011-08-25 Nippon Telegr & Teleph Corp <Ntt> 多チャネルエコー消去方法、多チャネルエコー消去装置、多チャネルエコー消去プログラム及びその記録媒体
JP2012039441A (ja) * 2010-08-09 2012-02-23 Nippon Telegr & Teleph Corp <Ntt> 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム
JP2012227566A (ja) * 2011-04-14 2012-11-15 Nippon Telegr & Teleph Corp <Ntt> エコー消去装置、その方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003309493A (ja) * 2002-04-17 2003-10-31 Nippon Telegr & Teleph Corp <Ntt> 反響低減方法、反響低減装置、反響低減プログラム
JP2006121590A (ja) * 2004-10-25 2006-05-11 Nippon Telegr & Teleph Corp <Ntt> 音声スイッチ方法、この方法を実施する装置、プログラムおよびその記録媒体
JP2006121589A (ja) * 2004-10-25 2006-05-11 Nippon Telegr & Teleph Corp <Ntt> エコー消去方法、この方法を実施する装置、プログラムおよびその記録媒体
JP2006121588A (ja) * 2004-10-25 2006-05-11 Nippon Telegr & Teleph Corp <Ntt> エコー抑圧方法、この方法を実施する装置、プログラムおよびその記録媒体
JP2011166484A (ja) * 2010-02-10 2011-08-25 Nippon Telegr & Teleph Corp <Ntt> 多チャネルエコー消去方法、多チャネルエコー消去装置、多チャネルエコー消去プログラム及びその記録媒体
JP2012039441A (ja) * 2010-08-09 2012-02-23 Nippon Telegr & Teleph Corp <Ntt> 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム
JP2012227566A (ja) * 2011-04-14 2012-11-15 Nippon Telegr & Teleph Corp <Ntt> エコー消去装置、その方法及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357619A (zh) * 2015-12-11 2016-02-24 广州大学 一种数字助听器频率分辨力增强方法
CN105357619B (zh) * 2015-12-11 2018-10-26 广州大学 一种数字助听器频率分辨力增强方法
WO2019244535A1 (ja) * 2018-06-22 2019-12-26 日本電信電話株式会社 エコー消去装置、エコー消去方法、プログラム

Also Published As

Publication number Publication date
JP6143702B2 (ja) 2017-06-07

Similar Documents

Publication Publication Date Title
JP5391103B2 (ja) 多チャネルエコー消去方法、多チャネルエコー消去装置、多チャネルエコー消去プログラム及びその記録媒体
JP4957810B2 (ja) 音処理装置、音処理方法及び音処理プログラム
US8594320B2 (en) Hybrid echo and noise suppression method and device in a multi-channel audio signal
US9008327B2 (en) Acoustic multi-channel cancellation
US7742592B2 (en) Method and device for removing echo in an audio signal
JP5038143B2 (ja) エコーキャンセル
JP5501527B2 (ja) エコー消去装置およびエコー検出装置
JP2011022604A (ja) 信号処理方法および装置
WO2010055650A1 (ja) 適応フィルタ及びこれを有するエコーキャンセラ
JP5662232B2 (ja) エコー消去装置、その方法及びプログラム
JPWO2009028349A1 (ja) 特定信号消去方法、特定信号消去装置、適応フィルタ係数更新方法、適応フィルタ係数更新装置及びコンピュータプログラム
JP2004349806A (ja) 多チャネル音響エコー消去方法、その装置、そのプログラム及びその記録媒体
JP5469564B2 (ja) 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム
US20170195496A1 (en) Echo canceller device and echo cancel method
JP3787088B2 (ja) 音響エコー消去方法、装置及び音響エコー消去プログラム
JP3756828B2 (ja) 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体
JP6143702B2 (ja) エコー消去装置、その方法及びプログラム
JP3756839B2 (ja) 反響低減方法、反響低減装置、反響低減プログラム
JP4413205B2 (ja) エコー抑圧方法、装置、エコー抑圧プログラム、記録媒体
JP4041770B2 (ja) 音響エコー消去方法、その装置、プログラム及びその記録媒体
KR100545832B1 (ko) 간섭신호에 강인한 음향 반향 제거장치
JP2002223182A (ja) 反響消去方法、その装置、そのプログラム及びその記録媒体
CN112863532A (zh) 回音抑制装置、回音抑制方法以及存储介质
JP2014023110A (ja) エコー消去装置、エコー消去方法及びプログラム
JP6356087B2 (ja) エコー消去装置、その方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170509

R150 Certificate of patent or registration of utility model

Ref document number: 6143702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150