JP2015019183A - エコー消去装置、エコー消去方法、及びそのプログラム - Google Patents

エコー消去装置、エコー消去方法、及びそのプログラム Download PDF

Info

Publication number
JP2015019183A
JP2015019183A JP2013144098A JP2013144098A JP2015019183A JP 2015019183 A JP2015019183 A JP 2015019183A JP 2013144098 A JP2013144098 A JP 2013144098A JP 2013144098 A JP2013144098 A JP 2013144098A JP 2015019183 A JP2015019183 A JP 2015019183A
Authority
JP
Japan
Prior art keywords
domain
wave number
echo
signal
error signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013144098A
Other languages
English (en)
Other versions
JP5774062B2 (ja
Inventor
江村 暁
Akira Emura
暁 江村
祐介 日和▲崎▼
Yuusuke Hiwazaki
祐介 日和▲崎▼
仲 大室
Naka Omuro
仲 大室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2013144098A priority Critical patent/JP5774062B2/ja
Publication of JP2015019183A publication Critical patent/JP2015019183A/ja
Application granted granted Critical
Publication of JP5774062B2 publication Critical patent/JP5774062B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

【課題】波数領域において、FG/BG方式を適用できるエコー消去装置、方法、及びプログラムを提供する。【解決手段】波数領域の再生信号に第一フィルタ係数をかけて、波数領域の第一エコーレプリカを生成する。時間領域の収音信号から時間領域の第一エコーレプリカを減算して第一誤差信号を求める。波数領域の再生信号に第二フィルタ係数をかけて、波数領域の第二エコーレプリカを生成する。時間領域の収音信号から時間領域の第二エコーレプリカを減算して第二誤差信号を求める。波数領域の第一誤差信号と波数領域の再生信号とを用いて、第一エコーレプリカ生成部内の第一フィルタ係数を更新する。各周波数の各波数について、第一誤差信号と第二誤差信号とを比較し、第一誤差信号のほうが第二誤差信号よりもエコーが消去されていると判定したときに、第一エコーレプリカ生成部内の第一フィルタ係数を第二エコーレプリカ生成部に転送する。【選択図】図7

Description

本発明は、エコーを消去する技術、特に、マルチチャネル双方向拡声通話においてエコーを消去する技術に関する。
音声会議装置やテレビ会議装置では、スピーカから再生した音がマイクロホンで収音されて生じる音響エコーを消去するために、適応フィルタを内部に備えたエコー消去装置を使用する。
適応フィルタは、収音信号からエコーレプリカ信号を差し引き、その差が0になるようにフィルタ係数を更新することでエコー経路及びエコーを推定してエコーの消去を図る。そのためエコー以外に送話音声(本来の送話対象である音声)も収音信号に含まれるダブルトーク状態の場合には、送話音声が外乱として作用してフィルタ係数が乱れるのを防止するために、適応フィルタの更新を停止しなければならない。
ダブルトーク状態で適応フィルタの更新を停止する一方法として、陽にダブルトークを検出することなく良好にエコー経路推定をおこなうFG/BG(フォアグランド/バックグランド)方式が特許文献1に示されている。
この方式がモノラルエコー消去装置に適用された場合を図1で説明する。受話端1を介して対地(双方向通話の通話先、言い換えると、再生信号の送信元)からの再生信号x(n)が、スピーカ2から再生される。再生音は、エコー経路Hを介してマイクロホン3で収音される。同時に、再生信号x(n)は、FGエコーレプリカ生成部92及びBGエコーレプリカ生成部91に入力される。FGエコーレプリカ生成部92及びBGエコーレプリカ生成部91は、それぞれFGエコーレプリカy^FG(n)とBGエコーレプリカy^BG(n)を生成する。なお、下付き添え字FG及びBGは、それぞれフォアグランド及びバックグランドに対応することを示すインデックスである。
減算部96は、収音信号y(n)とFGエコーレプリカy^FG(n)との差であるFG誤差信号eFG(n)を求め、送話端4を介して対地に送出する。
減算部93は、収音信号y(n)とBGエコーレプリカy^BG(n)との差であるBG誤差信号eBG(n)を求め、エコー経路推定部94及び転送判定部95に出力する。
エコー経路推定部94は、再生信号x(n)とBG誤差信号eBG(n)とを用いて、フィルタ係数h^BG(n)を求め、BGエコーレプリカ生成部91に出力する。
転送判定部95は、FG誤差信号eFG(n)及びBG誤差信号eBG(n)を比較し、適切と判定したときにBGエコーレプリカ生成部91のフィルタ係数h^BG(n)をFGエコーレプリカ生成部92に転送するように、制御信号c(n)をBGエコーレプリカ生成部91に出力する。例えば下記(A)(B)(C)の条件を同時に満たす場合に適切と判定する。
(A)再生信号x(n)が所定レベルTより大きい、
(B)BG誤差信号eBG(n)が、収音信号y(n)より所定レベルT以上小さい、
(C)BG誤差信号eBG(n)が、FG誤差信号eFG(n)より所定レベルT以上小さい、
例えば、入力判定部951、誤差判定部952及びパワー比較部953は、それぞれ(A)(B)(C)の条件を満たすか否かを判定する。
FG/BG方式が多チャネルエコー消去装置に適用された場合を図2及び図3を用いて説明する。エコー消去装置7は、Pチャネルの再生信号x(p,n)及びQチャネルの収音信号y(q,n)を受け取り、QチャネルのFG誤差信号eFG(q,n)を出力信号として出力する。ただし、p=1,2,…,Pであり、q=1,2,…,Qであり、P≧2であり、Q≧1である。エコー消去装置7のエコー消去部7は、マイクロホン3で集音した収音信号y(q,n)をP入力1出力の適応フィルタで処理する。
モノラル(図1参照)の場合と同様に、転送判定は、再生信号x(p,n)、FG誤差信号eFG(q,n)、BG誤差信号eBG(q,n)を比較することで行われる(図3参照)。よって、フィルタ係数h^(q,n)の転送は、図4のようにチャネルq毎に独立に判定され実行される。
特開平7−226700号公報
近年、マルチチャネル再生技術は、チャネル数拡大の方向へ、例えば、ステレオ再生から5.1チャネル再生へと進んでいる。さらに高い立体感で音が再生されるリスニングエリアを大幅に拡大する技術として、Wave Field Synthesis (以下「WFS」ともいう)の研究が進められている。WFSでは、数十以上のマイクロホンを用いてある地点での音波面を取得し、数十以上のスピーカを用いて別の地点でその音波面を再合成する。このようなWFS収音再生技術として、波面再構成フィルタが提案されている(参考文献1参照)。
(参考文献1)小山、「音場再現技術における数理問題」、日本音響学会誌、2012年、Vol.68、No.11,pp.584−589
このWFS収音再生を用いて双方向音声通信を行うために、波数領域で動作する適応フィルタの使用が検討されている。この適応フィルタを用いたエコー消去装置6の構成を図5に示す。
マルチチャネル音響系はP(≧2)個のスピーカ2とP個のマイクロホン3とからなる。Pチャネルの再生信号x(p,n)は、それぞれスピーカ2において音響信号として再生される。P個の再生音は、それぞれ音響エコー経路Hp,p’を経てP個のマイクロホン3に回り込み、収音される。p’=1,2,…,Pである。よって、P×P個の音響エコー経路Hp,p’が存在し、各マイクロホン3では、各スピーカp’において音響信号として再生されたP個の再生音が収音される。
Pチャネルの再生信号x(p,n)は、時空間FFT変換部10で時間領域から波数領域に変換される。波数領域エコーレプリカ生成部20は、この波数領域の再生信号X_(k,i)と波数領域のフィルタ係数とから波数領域のエコーレプリカY^_(k,i)を生成する。なお、fは周波数のインデックスであり、kは波数のインデックスである。波数領域のエコーレプリカY^_(k,i)は、時空間逆FFT変換部30を経て、時間領域のPチャネルのエコーレプリカy^(p,i)に変換される。減算部40は、マイクロホン3の収音信号y(p,n−2F+1),y(p,n−2F+2),…,y(p,n)からエコーレプリカy^(p,i)を差し引いてエコーの消去を図る。減算部40の出力である誤差信号e(p,i)は、時空間FFT変換部50を経て波数領域に変換され、波数領域エコーレプリカ生成部20に入力される。波数領域エコーレプリカ生成部20は、波数領域の再生信号X_(k,i)と誤差信号E_(k,i)とから、フィルタ係数を更新する。
従来のFG/BG方式を波数領域の適応フィルタに適用することを考える。図5で特定のチャネルの誤差信号が波数領域の適応フィルタの更新にどう影響するかを追うと、時空間FFTを経て、全フィルタ係数に影響することが分かる。すなわち波数領域の適応フィルタのフィルタ係数はチャネル毎には分離していない。そのため従来のFG/BG方式をそのまま適用することはできない。
本発明は、波数領域において、FG/BG方式を適用できるエコー消去装置、方法、及びプログラムを提供することを目的とする。
上記の課題を解決するために、本発明の第一の態様によれば、エコー消去装置は、時間領域の再生信号を波数領域に変換する第一時空間領域変換部と、波数領域の再生信号に第一フィルタ係数をかけて、波数領域の第一エコーレプリカを生成する第一エコーレプリカ生成部と、波数領域の第一エコーレプリカを時間領域の第一エコーレプリカに変換する第一時空間領域逆変換部と、時間領域の収音信号から時間領域の第一エコーレプリカを減算して第一誤差信号を求める第一エコーレプリカ減算部と、波数領域の再生信号に第二フィルタ係数をかけて、波数領域の第二エコーレプリカを生成する第二エコーレプリカ生成部と、波数領域の第二エコーレプリカを時間領域の第二エコーレプリカに変換する第二時空間領域逆変換部と、時間領域の収音信号から時間領域の第二エコーレプリカを減算して第二誤差信号を求める第二エコーレプリカ減算部と、時間領域の第一誤差信号を波数領域に変換する第二時空間領域変換部と、波数領域の第一誤差信号と波数領域の再生信号とを用いて、第一エコーレプリカ生成部内の第一フィルタ係数を更新するエコー経路推定部と、時間領域の収音信号を波数領域に変換する第三時空間領域変換部と、時間領域の第二誤差信号を波数領域に変換する第四時空間領域変換部と、各周波数の各波数について、第一誤差信号と第二誤差信号とを比較し、第一誤差信号のほうが第二誤差信号よりもエコーが消去されていると判定したときに、第一エコーレプリカ生成部内の第一フィルタ係数を第二エコーレプリカ生成部に転送する転送判定部とを含む。
上記の課題を解決するために、本発明の他の態様によれば、エコー消去方法は、時間領域の再生信号を波数領域に変換する第一時空間領域変換ステップと、波数領域の再生信号に第一フィルタ係数をかけて、波数領域の第一エコーレプリカを生成する第一エコーレプリカ生成ステップと、波数領域の第一エコーレプリカを時間領域の第一エコーレプリカに変換する第一時空間領域逆変換ステップと、時間領域の収音信号から時間領域の第一エコーレプリカを減算して第一誤差信号を求める第一エコーレプリカ減算ステップと、波数領域の再生信号に第二フィルタ係数をかけて、波数領域の第二エコーレプリカを生成する第二エコーレプリカ生成ステップと、波数領域の第二エコーレプリカを時間領域の第二エコーレプリカに変換する第二時空間領域逆変換ステップと、時間領域の収音信号から時間領域の第二エコーレプリカを減算して第二誤差信号を求める第二エコーレプリカ減算ステップと、時間領域の第一誤差信号を波数領域に変換する第二時空間領域変換ステップと、波数領域の第一誤差信号と波数領域の再生信号とを用いて、第一フィルタ係数を更新するエコー経路推定ステップと、時間領域の収音信号を波数領域に変換する第三時空間領域変換ステップと、時間領域の第二誤差信号を波数領域に変換する第四時空間領域変換ステップと、各周波数の各波数について、第一誤差信号と第二誤差信号とを比較し、第一誤差信号のほうが第二誤差信号よりもエコーが消去されていると判定したときに、第一フィルタ係数を転送する転送判定ステップとを含む。
本発明によれば、波数領域において、FG/BG方式を適用できる。
FG/BG方式がモノラルエコー消去装置に適用された場合を説明するための図。 FG/BG方式が多チャネルエコー消去装置に適用された場合を説明するための図。 FG/BG方式が多チャネルエコー消去装置に適用された場合を説明するための図。 フィルタ係数の転送を説明するための図。 波数領域で動作する適応フィルタを用いたエコー消去装置の構成を示す図。 第一実施形態に係るエコー消去装置の配置例を示す図。 第一実施形態に係るエコー消去装置の機能ブロック図。 第一実施形態に係るエコー消去装置の処理フローを示す図。 フィルタ係数の転送単位を説明するための図。 第三実施形態に係るエコー消去装置の配置例を示す図。 第三実施形態に係る音声処理システムの処理フローを示す図。 第三実施形態に係るノイズ抑圧装置の機能ブロック図。 第三実施形態に係るノイズ抑圧装置の処理フローを示す図。 第三実施形態に係るノイズ抑圧装置の効果を説明するための図。 第三実施形態の第一変形例に係るノイズ抑圧装置の機能ブロック図。 第三実施形態の第二変形例に係る音声処理システムの処理フローを示す図。 第三実施形態の第一変形例と第二変形例との組合せに係るノイズ抑圧装置の機能ブロック図。 単一周波数波の平面波のサンプリングの様子を示す図。 空間エリアシングが生じる様子及び生じない様子を示す図。 第四実施形態に係るノイズ抑圧装置内の特定周波数ノイズ抑圧部の機能ブロック図。 第四実施形態に係るノイズ抑圧装置内の特定周波数ノイズ抑圧部の処理フローを示す図。 第五実施形態に係るエコー消去装置の機能ブロック図。 第五実施形態に係るエコー消去装置の処理フローを示す図。 第五実施形態に係る残留エコー消去部の機能ブロック図。 第五実施形態に係る残留エコー消去部の処理フローを示す図。 第五実施形態に係る波数領域残留エコー推定消去部の機能ブロック図。 第五実施形態に係る波数領域残留エコー推定消去部の処理フローを示す図。 第五実施形態の第二変形例に係る波数領域残留エコー推定消去部の機能ブロック図。 第五実施形態の第二変形例に係る波数領域残留エコー推定消去部の処理フローを示図。
本実施形態では、時間領域の誤差信号ではなく、時間領域から波数領域に変換した後の誤差信号に着目する。そして各周波数における各波数についてそれぞれ転送の可否を判定する。
以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。また、この明細書の表記においては、A_は
を、A^は
を、A^_は
を表すものとする。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
<第一実施形態に係るエコー消去装置100>
図6は第一実施形態に係るエコー消去装置100の配置例を、図7はその機能ブロック図を、図8はその処理フローを示す。
エコー消去装置100は、Pチャネルの再生信号x(p,n)及びPチャネルの収音信号y(p,n)を受け取り、Pチャネルの収音信号y(p,n)からエコー成分を消去した誤差信号e(p,n)を出力する。nは時刻を表すインデックスであり、pはチャネルを表すインデックスである。p=1,2,…,Pであり、P≧2である。
本実施形態に係るエコー消去装置100では、図3の従来技術とは異なり、P入力P出力の入出力信号を波数領域の適応フィルタで処理する。
エコー消去装置100は、時空間FFT変換部10、BG波数領域エコーレプリカ生成部21、FG波数領域エコーレプリカ生成部22、時空間逆FFT変換部31及び32、P個の減算部41、時空間FFT変換部51〜53、エコー経路推定部70、転送判定部60、P個の減算部42、P個のフレーム合成部80を含む。
図7に示すように転送判定部60には時空間FFT変換後のFG誤差信号E_FG,f(k,i)、E_BG,f(k,i)が入力される。なお、iはフレームを表すインデックスであり、1フレームに含まれるサンプル数は2F個である。fは周波数を表すインデックスであり、f=0,1,…,2F−1である。kは波数を表すインデックスであり、チャネル数Pが偶数の場合(P=2Kのとき)、k=−K+1,…,Kであり、Pが奇数の場合(P=2K+1のとき)、k=−K,−K+1,…,Kである。対地からのPチャネルの再生信号x(p,n)は、P個のスピーカ2から再生され、P個のマイクロホン3で収音される(図6参照)。同時に、Pチャネルの再生信号x(p,n)は、時空間FFT変換部10において、波数領域の再生信号X_(k,i)に変換される。FG波数領域エコーレプリカ生成部22及びBG波数領域エコーレプリカ生成部21は、それぞれ波数領域の再生信号X_(k,i)を受け取り、波数領域のFGエコーレプリカY^_FG,f(k,i)及びY^_BG,f(k,i)を生成する。
時空間逆FFT変換部32により時間領域に戻したFGエコーレプリカy^FG(p,i)と収音信号y(p,n)との差であるFG誤差信号eFG(p,i)が、フレーム合成後に、送話端4を介して対地に送出される。
時空間逆FFT変換部31により時間領域に戻したBGエコーレプリカy^_BG(p,i)と収音信号y(p,n)との差であるBG誤差信号eBG(p,i)は、時空間FFT変換部51において、波数領域に変換され、エコー経路推定部70に入力される。エコー経路推定部70は、波数領域の再生信号X_(k,i)とBG誤差信号E_BG,f(k,i)とを用いて、波数領域のフィルタ係数H_BG,f(k,k+dk,i)を求め、BG波数領域エコーレプリカ生成部21に出力し、フィルタ係数を更新する。
転送判定部60は、波数領域の再生信号X_(k,i)、収音信号Y_(k,i)、FG誤差信号E_FG,f(k,i)及びBG誤差信号E_BG,f(k,i)を比較し、適切と判定したときにBG波数領域エコーレプリカ生成部21のフィルタ係数H_BG,f’(k’,k’+dk,i)をFG波数領域エコーレプリカ生成部22に転送するように、制御信号c(i)をBG波数領域エコーレプリカ生成部21に出力する。ただし、k’、f’は、それぞれ転送判定部60で転送を指示された周波数及び波数のインデックスを表す。フィルタ係数の転送単位は、チャネル毎(図4参照)から、図9のように各周波数fにおける各波数kへと細分される。なお、図9中、網掛け部分に対応するフィルタ係数H_BG,f’(k’,k’+dk,i)を転送する。
本発明の第一実施形態の詳細を下記に示す。
<時空間FFT変換部10及び53>
時空間FFT変換部10は、Pチャネルの時間領域の再生信号x(p,n)を受け取り、波数領域に変換し(s1)、波数領域の再生信号X_(k,i)を出力する。
例えば、まず、時空間FFT変換部10は、チャネルp毎に周波数領域の再生信号X(p,i)に変換する。なお、周波数領域変換の方法としては、高速フーリエ変換(Fast Fourier Transform;以下「FFT」ともいう)等が考えられる。
まず、時空間FFT変換部10は、再生信号x(p,n)をF/D個受け取る毎に(言い換えると、n=iF/Dの関係になる毎に)、2F個の再生信号x(p,n−2F+1),x(p,n−2F+2),…,x(p,n)を1フレーム分としてブロック化し、フレーム単位の再生信号x(p,i)を得る。ただし、Fは自然数であり、DはFを割り切る自然数である。例えば、
である。ただし、は転置を表す。以下、特に断りが無い限り、各信号を1フレーム=2Fサンプル(フレーム長)、シフト量F/Dサンプル(シフト幅)でブロック化する。ただし、Fは自然数であり、DはFを割り切る自然数である。FFT計算を簡略化・高速化するために、Fを2のべき乗にとることが多い。以下ではD≧2の場合を示す。
さらに、時空間FFT変換部10は、フレーム単位の再生信号x(p,i)を、次式のように周波数領域の再生信号X(p,i)に変換する。
なお、再生信号X(p,i)を含め、周波数領域の各信号は短時間スペクトルにより表される。なお、信号のサンプリング周波数をfとすると、X(p,i)はフレームiにおけるチャネルpの再生信号の周波数ff/2F[Hz]の成分を表す。
次に、時空間FFT変換部10は、Pチャネルの周波数領域の再生信号X(p,i)=[X(p,i) … X(p,i) … X2F-1(p,i)]を、以下の式(3)や(4)により、周波数f毎に波数領域の再生信号X_(k,i)に変換し、波数領域の再生信号X_(k,i)をBG波数領域エコーレプリカ生成部21、FG波数領域エコーレプリカ生成部22及び転送判定部60に出力する。ただし、ここでは、f=0,1,…,Fについて、波数領域の再生信号X_(k,i)に変換する。F<f≦2F−1についての処理については、後述する。
(1)チャネル数Pが偶数でP=2Kのとき、
である。
(2)チャネル数Pが奇数でP=2K+1のとき、
である。波数領域への変換は、2のべき乗の点数を持つFFTで高速に行うため、以下、チャネル数Pが偶数の場合(P=2K)について説明を進める。なお、再生信号X_(k,i)を含め、波数領域の各信号は短時間スペクトルにより表される。
時空間FFT変換部53も、同様に時間領域の収音信号y(p,i)を波数領域に変換し(s35)、波数領域の収音信号Y_(k,i)を転送判定部60に出力する。
<BG波数領域エコーレプリカ生成部21>
BG波数領域エコーレプリカ生成部21は、P×(F+1)個の波数領域の再生信号X_(k,i)と波数領域のフィルタ係数H_BG,f(k,k+dk,i)(詳細は後述する)とを受け取り(ただし、f≦F)、各周波数fの各波数kにおいて、次式のように、波数領域(−K<k≦K)で再生信号X_(k,i)にフィルタ係数H_BG,f(k,k+dk,i)をかけて、波数領域のエコーレプリカをY^_BG,f(k,i)を生成し(s12)、出力する。
なお、次式のように、隣接する空間周波数成分を含めてもよい。
なお、δとして、参考文献2では1もしくは2が推奨されている。
(参考文献2)
M. Schneider, W. Kellermann, "A Wave-domain model for acoustic MIMO systems with reduced complexity", 2011 Joint Workshop on Hands-free Speech Communication and Microphone arrays, 2012, pp. 133-138.
なお、δ=0のとき、式(5)となる。
<FG波数領域エコーレプリカ生成部22>
FG波数領域エコーレプリカ生成部22は、P×(F+1)個の波数領域の再生信号X_(k,i)と(ただし、f≦F)、後述する転送判定部60で転送を指示された波数領域のフィルタ係数H_BG,f’(k’,k’+dk,i)とを受け取る。なお、フィルタ係数H_BG,f’(k’,k’+dk,i)の個数は、転送を指示された個数によって変化し、フレームi毎に異なる。
FG波数領域エコーレプリカ生成部22は、一つ前のフレーム(i−1)において、利用したフィルタ係数H_FG,f(k,k+dk,i−1)のうち、転送判定部60で転送を指示された周波数f’、波数k’に対応するフィルタ係数H_FG,f’(k’,k’+dk,i−1)をフィルタ係数H_BG,f’(k’,k’+dk,i)に置き換え、フィルタ係数H_FG,f’(k’,k’+dk,i)を更新する。
FG波数領域エコーレプリカ生成部22は、BG波数領域エコーレプリカ生成部21と同様に、再生信号X_(k,i)にフィルタ係数H_FG,f(k,k+dk,i)をかけて、波数領域のエコーレプリカをY^_FG,f(k,i)を生成し(s22)、出力する。
<時空間逆FFT変換部31及び32>
時空間逆FFT変換部31は、P×(F+1)個の波数領域のエコーレプリカY^_BG,f(k,i)を受け取り(ただしf≦F)、時間領域に変換し(s13)、時間領域のエコーレプリカy^BG(p,i)を出力する。
例えば、まず、時空間逆FFT変換部31は、次式のように周波数f毎に周波数領域のエコーレプリカY^BG,f(p,i)に変換する。
なお、周波数F<f≦2F−1については、実数信号のFFT結果に関する対称性から、次式で周波数領域のエコーレプリカY^BG,f(p,i)を求める。
ただし、conj(A)はA内のスカラーあるいはベクトル、行列の個々の要素に対して複素共役をとることを示す。なお、本実施形態では、周波数F<f≦2F−1について、処理を省略しているが、省略せずに全ての周波数0≦f≦2F−1において処理を行ってもよい。
次に、時空間逆FFT変換部31は、P×2F個の周波数領域のエコーレプリカY^BG,f(p,i)を次式のようにチャネルp毎に逆FFTし、時間領域のエコーレプリカy^(p,i)に変換し、減算部41に出力する。
ここで0はF×Fの零行列,IはF×Fの単位行列である.なお、逆波数変換方法及び時間領域変換方法としては、それぞれ時空間FFT変換部10における波数領域変換方法及び周波数領域変換方法に対応するものを用いればよい。
同様に、時空間逆FFT変換部32は、P×(F+1)個の波数領域のエコーレプリカY^_FG,f(k,i)を受け取り(ただしf≦F)、時間領域に変換し(s23)、時間領域のエコーレプリカy^FG(p,i)を出力する。
なお、s1の周波数領域から波数領域への空間フーリエ変換換について、式(3)では各周波数fにおけるPチャネルの信号を対象としてP(=2Kまたは2K+1)点FFTを用いている。この場合、時空間FFT変換部10の入力から時空間逆FFT変換部31または32の出力までは巡回畳み込みの処理と見ることができる。
巡回畳み込みはPチャネルの空間信号を周期信号として扱うために、その悪影響が空間信号の両端に現れやすい。これを避けるために、次式のようにPチャネルの信号の両脇にP/2個ずつ0詰めをして、2P(=4K)点FFTを適用してもよい。
この場合、BG波数領域エコーレプリカ生成部21及びFG波数領域エコーレプリカ生成部22では、処理対象となるkの範囲が、−K+1≦k≦Kから−2K+1≦k≦2Kへと倍になる。
また時空間逆FFT変換部31は、式(7)の代わりに次式を用い、2P(=4K)点逆FFTを使用する。そして、その結果の中央のP点を抜き出して、チャネルp毎に短時間逆フーリエ変換を適用すればよい。
このような構成により、Pチャネルの空間信号を周期信号として扱う際に生じる悪影響を低減することができる。
<減算部41及び42
減算部41は、時間領域のエコーレプリカy^BG(p,i)と時間領域の収音信号y(p,n)とを受け取り、収音信号y(p,n)からエコーレプリカy^BG(p,i)を減算し、BG誤差信号eBG(p,i)を求め(s14)、時空間FFT変換部51に出力する。例えば、F個の収音信号y(p,n−F+1),y(p,n−F+2),…,y(p,n)を蓄積し、収音信号y(p,i)=[y(p,n−F+1),y(p,n−F+2),…,y(p,n)]とし、BG誤差信号eBG(p,i)を次式により求める。
同様に、減算部42は、収音信号y(p,n)からエコーレプリカy^FG(p,i)を減算し、FG誤差信号eFG(p,i)を求め(s24)、時空間FFT変換部52及びフレーム合成部80に出力する。
<時空間FFT変換部51及び52>
時空間FFT変換部51は、P個の時間領域のBG誤差信号eBG(p,i)を受け取り、波数領域に変換し(s15)、波数領域のBG誤差信号E_BG,f(k,i)を転送判定部60に出力する。
例えば、まず、時空間FFT変換部51は、時間領域のBG誤差信号eBG(p,i)に0詰めをして、周波数領域に変換する。
次に、時空間FFT変換部51は、周波数領域のBG誤差信号EBG(p,i)を波数領域に変換する。
時空間FFT変換部52も、同様に時間領域のBG誤差信号eBG(p,i)を受け取り、波数領域に変換し(s25)、波数領域のBG誤差信号EBG,f(k,i)を転送判定部60に出力する。
<エコー経路推定部70>
エコー経路推定部70は、P×(F+1)個の波数領域の再生信号X_(k,i)と波数領域のBG誤差信号E_BG,f(k,i)とを受け取り、この値を用いて、BG波数領域エコーレプリカ生成部21内にある適応フィルタのフィルタ係数H_BG,f(k,k+dk,i+1)を求め(s44)、BG波数領域エコーレプリカ生成部21に出力する。
まず、エコー経路推定部70は、フィルタ係数H_BG,f(k,k+dk,i)の修正量dH_BG,f(k,k+dk,i)を求める。例えば、周波数f(f≦F+1)、波数k(−K+1≦k≦K)の修正量dH_BG,f(k,k+dk,i)を次式により求める。
ただし、−δ≦dk≦δである。右辺分母中のZ_(k,i)は修正量dH_BG,f(k,k+dk,i)を補正しており,次式により計算される値である。
つまり、Z_(k,i)は,周波数成分ごとの第k−δ〜k+δの再生信号のパワーの総和である。また、式(15)のρは、分母が0になることを防止するための微小な正定数である。式(16)のβはパワー計算で短時間平均をとるための平滑化定数であり,0〜1の値をとる。
次に、エコー経路推定部70は、次式でBG波数領域エコーレプリカ生成部21内にある適応フィルタのフィルタ係数H_BG,f(k,k+dk,i)を更新し、BG波数領域エコーレプリカ生成部21に出力する。
ただし、μは0〜1の値をとるステップサイズである。なお、エコー経路推定部70では、修正量dH_BG,f(k,k+dk,i)だけを計算し、更新処理(式(17)の処理)はBG波数領域エコーレプリカ生成部21内で行ってもよい。
<転送判定部60>
転送判定部60は、P×(F+1)個の波数領域の再生信号X_(k,i)と波数領域のBG誤差信号E_BG,f(k,i)と波数領域のFG誤差信号E_FG,f(k,i)と波数領域の収音信号X_(k,i)とを受け取り、各周波数fの各波数kについて、BG誤差信号E_BG,f(k,i)とFG誤差信号E_FG,f(k,i)とを比較し、BG誤差信号E_BG,f(k,i)のほうがFG誤差信号E_FG,f(k,i)よりもエコーが消去されているか否かを判定する(s41)。例えば、周波数f(f≦F+1)、波数k(−K+1≦k≦K)において、「下記(A)(B)(C)の条件を同時に満たすか」否かを判定する(s41)。
(A)再生信号X_(k,i)が所定レベルTより大きい、
(B)BG誤差信号E_BG,f(k,i)が収音信号Y_(k,i)+所定レベルTより小さい、
(C)BG誤差信号E_BG,f(k,i)がFG誤差信号E_FG,f(k,i)+所定レベルTより小さい、
この条件の一具体例としては、
等が考えられる。ただしE[*]は短時間平均をとることを意味する。
(A)〜(C)を満たす場合には、BG誤差信号E_BG,f(k,i)のほうがFG誤差信号E_FG,f(k,i)よりもエコーが消去されていると判定し、その際の周波数f’及び波数k’に対応するフィルタ係数H_BG,f’(k’,k’+dk,i)(ただし、−δ≦dk≦δ)をFG波数領域エコーレプリカ生成部22に転送するように、制御信号c(i)をBG波数領域エコーレプリカ生成部21に出力する(s42)。
なお第一実施形態の変形例として、信号の短時間平均E[*]の代わりに、所定の時間ピーク値を保持するピークホールドP[*]を用いてもよい。
例えば、次式によりピークホールドを求める。
ここで、βは減衰定数(0<β<1)であり、max[a,b]はaとbの大きい方の値を出力する関数である。maxは、β×P[X_(k,i−1)](一時点前のピーク値)と直近の値X_(k,i)を比較する。直近の値X_(k,i)が小さい場合、βで減衰したピーク値が出力される。減衰定数βの値が1に近いほどピークを保持する期間が長くなる。なお、上記では値の絶対値ノルムを使用しているが、2乗ノルムを使用してもよい。
なお収音信号に小さくない外乱が含まれる場合、エコー経路推定部70によるフィルタ更新でフィルタ係数が劣化してしまうことがある。劣化のためにBG誤差信号がFG誤差信号よりも明らかに大きい状況では、FG波数領域エコーレプリカ生成部22からBG波数領域エコーレプリカ生成部21へフィルタ係数を転送してもよい。この状況は、「下記(A)(B’)(C’)の条件を同時に満たすか」を判定することで検出できる。
(A)再生信号X_(k,i)が所定レベルTより大きい、
(B’)BG誤差信号E_BG,f(k,i)が収音信号Y_(k,i)+所定レベルT12より大きい、
(C’)BG誤差信号E_BG,f(k,i)がFG誤差信号E_FG,f(k,i)+所定レベルT13より大きい、
この条件の一具体例としては、
等が考えられる。
(A)、(B’),(C’)を満たす場合には、転送判定部60は、外乱によりフィルタ係数が劣化していると判定し、その際の周波数f’及び波数k’に対応するフィルタ係数H_FG,f’(k’,k’+dk,i)(ただし、−δ≦dk≦δ)をBG波数領域エコーレプリカ生成部21に転送するように、制御信号c’(i)をFG波数領域エコーレプリカ生成部22に出力する。
<フレーム合成部80
フレーム合成部80は、時間領域のFG誤差信号eFG(p,i)を受け取り、時間領域のFG誤差信号eFG(p,i)を合成し(s43)、合成した信号をエコー消去装置100の出力値として出力する。例えば、時空間FFT変換部10において、再生信号x(p,n)をD≧2でフレーム化した場合には、フレーム合成部80は、フレームiで求めたFG誤差信号eFG(p,i)と一つ前のフレームi−1で求めたFG誤差信号eFG(p,i−1)とに対して窓かけ処理を行った上で、合成し、合成後の誤差信号e(p,i)(要素数はF/D個)の要素e(p,n−F/D+1),e(p,n−F/D+2),…,e(p,n)を逐次、出力値として出力する。ただし、n=iF/Dの関係にある。
<効果>
このような構成により、波数領域において、FG/BG方式を適用できる。波数領域においてFG適応フィルタとBG適応フィルタを備えるエコー消去法では、再生信号及び誤差信号を波数領域に変換し、波数領域において転送条件を判定する。これにより、波数領域の適応フィルタのように、フィルタ係数と送話チャネルの対応が1対1に対応しない場合でも、FG/BG方式を適用し、ダブルトーク状態に対して安定的にエコー消去を行うことが可能になる。
<変形例>
本実施形態では、Pが偶数の場合について説明しているが、Pが奇数(P=2K+1)であってもよい。
<第二実施形態>
第一実施形態の転送判定部60において、転送条件としてさらに収音信号Y(k,i)とエコーレプリカY^_(k,i)の類似性を判定する条件を追加する。それは、
(D)エコーレプリカの大きさが収音信号の大きさと比較して、小さくない、
(E)所定期間のエコーレプリカと収音信号のコヒーレンスが高い、
の2条件からなる。
この条件の一例としては、
が考えられる。なおpar1の推奨値は0.5程度、par2の推奨値は0.5程度である。
この2条件は収音信号Y(k,i)とエコーレプリカY^_(k,i)の相互相関の強さを評価し、転送を相互相関が強いタイミングに限定する効果を持つ。そのため、ノイズや送話の影響が小さくないタイミングでの転送を効果的に防止でき、転送判定をより頑健にすることができる。
<第三実施形態:ノイズ抑圧装置との組合せ>
第一実施形態と異なる部分を中心に説明する。
図10は第三実施形態に係るエコー消去装置100の配置例を示す。音声処理システム1000は、エコー消去装置100とノイズ抑圧装置200と波面再構成フィルタ90とを含む。図11は、音声処理システム1000の処理フローを示す。音声処理システム1000は、マイクロホンの収音信号y(p,n)に含まれるエコーを消去し(s1001)、ノイズを抑圧し(s1002)、対地で波面を再合成するためにフィルタリングを行い(s1003)、送話端4を介して対地に再合成信号w(p,n)を送信する。
なお、ノイズ抑圧装置200は、チャネル毎ではなく、方向毎にノイズを抑圧する。
図12は第三実施形態に係るノイズ抑圧装置200の機能ブロック図を、図13はその処理フローを示す。
ノイズ抑圧装置200は、P個の誤差信号e(p,n)を受け取り、ノイズ抑圧処理を施し、Pチャネルの出力信号v(p,n)を出力する。
波面再構成フィルタ90は、Pチャネルの出力信号v(p,n)を受け取り、フィルタリングを行い、Pチャネルの再合成信号w(p,n)を出力する。対地において図示しないP個のスピーカで再合成信号w(p,n)を再生する。なお、波面再構成フィルタ90は、Pチャネルの誤差信号e(p,n)に対応する信号(本実施形態では、Pチャネルの出力信号v(p,n))から、波面合成法(Wave Field Synthesis (以下「WFS」ともいう)、)により、対地に設置された各スピーカの再合成信号に対応する信号(本実施形態では、Pチャネルの再合成信号w(p,n))を得るものであればよく、例えば、参考文献1に記載の方法が考えられる。
つまり、波面再構成フィルタ90は、ある地点(複数のマイクロホンを設置した地点)で取得した音波面を、別の地点(複数のスピーカを設置した地点)で再合成するように、複数のマイクロホンで収音した収音信号をフィルタリングし、複数のスピーカで再生する複数の再合成信号を求めるためのフィルタである。なお、本実施形態のノイズ抑圧装置200は、チャネル毎ではなく、方向(波面、波数)毎にノイズを抑圧するため、WFSによる波面再構成フィルタとともに利用するときにのみその効果を生じる。
ノイズ抑圧装置200は、時空間FFT変換部211、(F+1)個の特定周波数ノイズ抑圧部215、時空間逆FTT変換部213及びP個のフレーム合成部216を含む。
<時空間FFT変換部211>
時空間FFT変換部211は、Pチャネルの時間領域の誤差信号e(p,n)を受け取り、波数領域に変換し(s211)、波数領域の誤差信号E_(k,i)を出力する。処理内容は入出力を除けば時空間FFT変換部10と同様である。
<特定周波数ノイズ抑圧部215
特定周波数ノイズ抑圧部215は、波数領域の誤差信号E_(i)=[E_(0,i) … E_(k,i) … E_(K,i) E_(−K,i) … E_(−1,i)]を受け取り(ただし、f≦F)、周波数−波数空間で分割された各成分E_(k,i)に対してノイズ抑圧処理を施し(s215)、波数領域のノイズ抑圧処理済みの出力信号V_(k,i)を空間逆FFT変換部213に出力する。特定周波数ノイズ抑圧部215は、ノイズレベル推定部2157及びノイズ抑圧ゲイン算出適用部2158を含む。
(ノイズレベル推定部2157)
ノイズレベル推定部2157は、P個の波数領域の誤差信号E_(k,i)を受け取り、そのノイズレベルを推定し(s2157)、その推定値N_(k,i)を出力する。その推定法としては参考文献3や参考文献4等に記載の方法を用いることができる。
(参考文献3)Rainer Martin, "Noise power spectral density estimation based on optimal smoothing and minimum statistics", IEEE Transactions on Speech and Audio Processing, 2001, Vol. 9, No. 5, pp. 504-512
(参考文献4)Mehrez Souden et al., "A new recursive approach for noise power spectral density tracking", 2012年, 日本音響学会秋季研究発表会講演論文集、pp.-741-742
例えば、参考文献3をベースに以下の方法でノイズレベルを推定できる。周波数f、波数kの成分の振幅を
で求める。ただしαは0〜1の間の値をとる平滑化定数である。直近のTi個のフレームの振幅、Lev(f,k,i−Ti+1)〜Lev(f,k,i)を保持し、Ti個の振幅の最小値を求める。このTi個の振幅の最小値をフレーム番号iにおける周波数f、波数kでのノイズレベルの推定値N_(k,i)とする。
(ノイズ抑圧ゲイン算出適用部2158)
ノイズ抑圧ゲイン算出適用部2158は、P個の波数領域の誤差信号E_(k,i)とP個のノイズレベルの推定値N_(k,i)とを受け取り、これらの値からノイズ抑圧ゲインG_(k,i)を求める(s2158A)。例えば、ノイズ抑圧ゲインG_(k,i)として、波数領域の誤差信号E_(k,i)の振幅|E_(k,i)|とノイズレベルの推定値N_(k,i)とから、次式のように直接求められるレベル比を用いてもよい。
また、例えば、参考文献5のようにこの比を平滑化してノイズ抑圧ゲインG_(k,i)としてもよい。
(参考文献5)特開2005−348173号公報
例えば、平滑化前のノイズ抑圧ゲインをG_’(k,i)とし、平滑化後のノイズ抑圧ゲインをG_(k,i)とすると、平滑化処理の1例は、以下の式で表すことができる。
G_(k,i)=Σh,j a(h)×G_’(k,i)/Σh a(h)
この式は、インデックスjで示されるf番目の周波数帯域に隣接する平滑化前のノイズ抑圧ゲインG_’(k,i)の平均値を求め、f番目の周波数帯域のノイズ抑圧ゲインG_(k,i)とする平滑化処理を示す。和をとる際のhとjの総数は同数であり、またその総数は最も多くても周波数分析点数以下である。重み係数a(h)は、平滑化前のノイズ抑圧ゲインをG_’(k,i)の断続性を緩和する。さらに、平滑化後のノイズ抑圧ゲインG_(k,i)の強調化を行ってもよい。強調化処理は平滑化後のノイズ抑圧ゲインG_(k,i)の値の大小によって、それぞれのゲイン係数を0もしくは1に近づける処理である。即ち、平滑化後のノイズ抑圧ゲインG_(k,i)が大きく1に近い場合は、より1に近づけて対象成分をより通し易くし、平滑化後のノイズ抑圧ゲインG_(k,i)が小さく0に近い場合は、より0に近づけて雑音成分をより大きく低減する様に平滑化後のノイズ抑圧ゲインG_(k,i)を強調する。この強調化処理の具体的な1例を以下に式で示す。
G_(k,i)がth1より大きい場合:
G_f(k,i)=th1×(G_f(k,i)/th1)v1
G_(k,i)がth2より小さい場合:
G_f(k,i)=1-(1-th2){(1-G_f(k,i))/(1-th2)}v2
ここで、v1及びv2は1以上の整数とする。また、th1とth2は、th1≧th2の関係を満たす0以上1以下の整数である。ノイズ抑圧ゲインG_(k,i)は0から1の範囲の値を持つので、th1より大きい場合、より1に近づき、th2より小さい場合、より0に近づく処理をこの式は実現する。
さらに、ノイズ抑圧ゲイン算出適用部2158は、次式のように、波数領域の誤差信号E_(k,i)にノイズ抑圧ゲインG_(k,i)を適用し(ノイズ抑圧ゲインG_(k,i)を乗じ)(s2158B)、波数領域のノイズ抑圧処理済みの出力信号V_(k,i)を求め、出力する。
<時空間逆FFT変換部213>
時空間逆FFT変換部213は、P×(F+1)個の波数領域のノイズ抑圧処理済みの出力信号V_(k,i)を受け取り(ただしf≦F)、時間領域に変換し(s213)、時間領域の出力信号v(p,i)を出力する。処理内容は入出力を除けば時空間逆FFT変換部31と同様である。
<フレーム合成部216
フレーム合成部216は、時間領域の出力信号v(p,i)を受け取り、時間領域の出力信号v(p,i)を合成し(s216)、合成した信号を波面再構成フィルタ90に出力する。処理内容は入出力を除けばフレーム合成部80と同様である。
<効果>
このような構成により、第一実施形態と同様の効果を得られるとともに、以下の効果を得られる。
本実施形態の効果を図14で説明する。単一話者のターゲット音声xを対象とし、同時に拡散性のノイズnがマイクロホンにより収音されるケースを考える。時空間FFT変換部211が各周波数fでPチャネルの誤差信号E(p,i)を方向毎に分解する。変換後のターゲット音すなわち対象成分は特定の方向に集中して抽出される。拡散性ノイズは全方向の成分をもち、そのごく一部の特定方向に含まれる分が抽出される。したがって、この特定方向でSN比が良好になり、抑圧処理の歪みは大幅に小さくなる。この信号処理は波数領域で行われているため、ノイズ抑圧後の波面進行方向は抑圧前と同じであり、空間バランスの点で抑圧処理の影響をほとんど受けない。一方、その他の方向ではノイズ成分が大半を占め、非定常の音声成分が少なくなるため、ノイズレベル推定の精度が相対的に高くなり、ノイズが良好に抑圧される。その結果、従来法よりもノイズ抑圧処理の品質を上げることができる。
このような構成により生成した出力信号v(p,i)を波面再構成フィルタ90でフィルタリングし、フィルタリング後の再合成信号w(p,n)を対地のスピーカで再生することで、ノイズを抑圧しつつ、所望の音場を再現することができる。
上記の処理はマイクアレー処理の観点から見ることができる。各周波数において、多チャネル信号にアレー処理を適用して方向毎に分解して、方向毎に1入力1出力のノイズ抑圧処理を行っている。上記の多チャネル信号を方向毎に分解するアレー処理により、対象成分とノイズ成分の分離性が向上する。分離性を向上させた状態でノイズ抑圧を適用することで、その歪みを大幅に低減させることが可能になる。またノイズ抑圧の度合いを強めても、処理後の信号が歪みにくくなる。
なお、波面再構成フィルタ90を、ノイズ抑圧装置200の一部(ノイズ抑圧部)としてもよいし、本実施形態のように別装置としてもよい。
<第一変形例>
第一実施形態では、ノイズ抑圧装置200と波面再構成フィルタ90の間は時間領域の信号になるが、波面再構成フィルタのフィルタ係数を波数領域で適用することで、各処理を波数領域で連結し、演算量を削減してもよい。
図15は第一変形例の機能ブロック図を示す。
波面再構成フィルタ90は、時間領域の出力信号v(p,i)に代えて波数領域の出力信号V_(k,i)を入力とし、時間領域の再合成信号w(p,n)に代えて波数領域の再合成信号W_(k,i)を出力する。
時空間逆FFT変換部213及びフレーム合成部216は、それぞれ出力信号(V_(k,i)、v(p,i))に代えて、再合成信号(W_(k,i)、w(p,i))を入力とし、出力信号(v(p,i)、v(p、n))に代えて、再合成信号w(p,i)、w(p,n)を出力する。
このような構成により、第一実施形態と同様の効果を得つつ、演算量を削減することができる。
<第二変形例>
また、図16のように、ノイズ抑圧装置200は、波面再構成フィルタ90においてフィルタリングを行った後に、再合成信号w(p,n)に対してノイズ抑圧処理を行ってもよい。
この場合、ノイズ抑圧装置200は、Pチャネルの誤差信号e(p,n)に代えてPチャネルの再合成信号w(p,n)を受け取り、ノイズ抑圧処理を施し、Pチャネルの出力信号v(p,n)を出力する。
第一変形例と組み合わせてもよい。つまり、図17のように、各処理を波数領域で連結し、演算量を削減してもよい。
ノイズ抑圧装置及び波面再構成フィルタの入力信号は、誤差信号のみに限定されない。例えば、ノイズ抑圧装置は誤差信号自体に加え、再合成信号等を、波面再構成フィルタは誤差信号自体に加え、ノイズ抑圧装置の出力信号等を入力信号として用いることができる。誤差信号に対応する信号であればよく、例えば、誤差信号から残留エコーを消去した信号を入力としてもよい。
<第三変形例>
第一実施形態で説明したように、巡回畳み込みの悪影響を避けるために、時空間FFT変換部211において、Pチャネルの信号の両脇にP/2個ずつ0詰めをして、2P(=4K)点FFTを適用してもよい。
この場合、特定周波数ノイズ抑圧部215では、処理対象となるkの範囲が、−K≦k≦Kから−2K≦k≦2Kへと倍になる。この場合、時空間逆FFT変換部213は、次式を用い、2P(=4K)点逆FFTを使用する。そして、その結果の中央のP点を抜き出して、チャネルp毎に短時間逆フーリエ変換を適用すればよい。
このような構成により、Pチャネルの空間信号を周期信号として扱う際に生じる悪影響を低減することができる。
<第四変形例>
第三実施形態では、エコー消去後に、ノイズを抑圧し、フィルタリングを行い、伝送しているが、(1)エコー消去装置100とノイズ抑圧装置200との間、(2)ノイズ抑圧装置200と波面再構成フィルタ90との間において伝送してもよい。
さらに、第二変形例の構成(波面再構成フィルタ90においてフィルタリングを行った後に、再合成信号w(p,n)に対してノイズ抑圧処理を行う構成)の場合に、(1)エコー消去装置100と波面再構成フィルタ90との間、(2)波面再構成フィルタ90とノイズ抑圧装置200との間において伝送してもよい。
<第四実施形態>
<第四実施形態のポイント>
第三実施形態と異なる部分を中心に説明する。
本実施形態では、波を周波数−波数空間で見るとき、周波数が低いほど波の存在する範囲が狭いことを利用して、ノイズ抑圧処理の演算量を削減する。
参考文献6によれば、周波数−波数空間で見ると波の存在範囲は周波数に応じて限定される。
(参考文献6)T. Ajdler, L. Sbaiz, and M. Vetterli, "Dynamic measurement of room impulse responses using a moving microphone", The Journal of the Acoustical Society of America, 2007, vol. 122, issue 3, p. 1636-1645
図18は、単一周波数波の平面波のサンプリングの様子を示す。マイクロホン素子列に角度αで入射する単一の周波数fの平面波を考える。マイクロホン列をx軸にとると、tを時刻としてx軸上での音圧の時間変動p(x,t)は、
p(x,t)=ej(ω0t+φ0xcosα) (41)
になる。ただし、上付き添え字中のω0及びφ0はそれぞれω及びφを表し、ω及びφはそれぞれ周波数fの角周波数及び波数を表し、音速をvelocとして、φ
φ00/veloc (42)
である。このx−t軸上の音圧を周波数−波数領域に変換すると
になる。時間−空間領域で単一の周波数の平面波は、周波数−波数領域では1点になる。
全周波数で同一の周波数成分を持ち、時間―空間で
であらわされる平面波は、周波数−波数領域では、
のように直線になる。入射の角度αは0〜180度の範囲をとるため、周波数−波数領域で見ると波の成分は、
の範囲に存在する。
実際のマイクロホン列によるサンプリングは離散的である。時間方向について、サンプリング周波数をf、フレーム長を2F、2F点−FFTを使用し、空間方向について、P個のマイクロホンは直線上に等間隔に配列されているものとし、マイクロホン間隔をd、マイクロホン数を2KとしてK点−FFTを使用する。このとき、周波数の範囲は0〜f/2であり、波数kの範囲は−π/d〜π/dである。
なお、このサンプリングにおける最大の周波数f=f/2の波について、波数はπf/velocになる。マイクロホン間隔dが十分小さくπ/dがこの値より大きいとき空間エリアシングは生じない。しかしマイクロホン間隔dが相対的に長いために、π/dがこの値より小さい場合に空間エリアシングが生じる。この様子を図19に示す。
第三実施形態では、全周波数及び全波数で処理を行っている。しかし上記の知見によれば、周波数−波数領域において信号成分の存在範囲は、音波の周波数が低いほど狭まっている。この信号成分の存在しない範囲で信号処理を省くことができ、その処理削減の効果は周波数が低いほど大きい。これが第四実施形態のポイントである。
<特定周波数ノイズ抑圧部215
図20は第四実施形態に係るノイズ抑圧装置内の特定周波数ノイズ抑圧部215の機能ブロック図を、図21はその処理フローを示す。第三実施形態と第四実施形態との相違は、特定周波数ノイズ抑圧部215の内部のみである。
特定周波数ノイズ抑圧部215は、ノイズレベル推定部2157及びノイズ抑圧ゲイン算出適用部2158を含み、さらに、波数限定部2154と波数0詰め部2155とを含む。
はじめに、波数限定部2154において、周波数fから波数kの有効範囲を求める。波数限定部2154は、ノイズレベル推定部2157及びノイズ抑圧ゲイン算出適用部2158の処理をこの波数kの範囲内に限定する。波数0詰め部2155は未処理の範囲に0を設定する。
上記処理のために、第三実施形態に加える変更の詳細を以下に示す。
(波数限定部2154)
波数限定部2154は、周波数f≦Fにおいて、周波数f毎に波数kの有効範囲を算出し(s2154)、この有効範囲を特定周波数ノイズ抑圧部215内の各部に出力する(ただし、図中各部への出力を省略する)。例えば、周波数fの一次関数で表す式(47)により波数kの上限max_k(f)を求める。
ただし、ceil(A)は、Aを整数へ切り上げる関数である。また、fthはマイクロホン間隔dでのサンプリングするときに空間エリアシングが生じない最大周波数であり、次式で定義される。
なお、式(46)(47)は、波数kの範囲を周波数fの一次関数で表し、波数kの範囲の上限と下限は
で与えられるものであることを表している。言い換えると、式(47)は、音速velocとマイクロホン間隔dとサンプリング周波数fとに基づき、周波数fに対する波数kの上限を求めている。
特定周波数ノイズ抑圧部215内の各部では、周波数f≦Fにおいて、波数限定部2154が周波数fについて求めた波数kの有効範囲
-max_k(f)≦k≦max_k(f) (49)
で、各処理(s2157,s2158A,s2158B)を行い、ノイズ抑圧を図る。
なお、波数kの有効範囲を算出する際に、周波数fの一次関数を用いることは、一例であり、高周波領域に比べ低周波領域では波数の範囲が狭くなるように波数kの有効範囲を限定するものであれば他の方法により、有効範囲を算出してもよい。
また、波数限定部2154における処理は、ノイズ抑圧処理を開始時、または開始前に一度行い、各部に上限max_k(f)を設定しておいてもよい。
(波数0詰め部2155)
波数0詰め部2155は、ノイズ抑圧ゲイン算出適用部2158から(P−2・max_k(f))個の波数領域のノイズ抑圧処理済みの出力信号V_(k,i)を受け取り(ただし、周波数f≦F、−max_k(f)≦k≦max_k(f))、有効範囲外の波数、すなわちk<−max_k(f)及びmax_k(f)<kの範囲で、波数領域の出力信号V_(k,i)を0とし(s2155)、時空間逆FFT変換部213に出力する。
<効果>
このような構成により、第三実施形態と同様の効果を得ることができ、さらに、計算量を減らすことができるという効果を奏する。
さらに、波数限定部2154及び波数0詰め部2155をエコー消去装置100内に設けてもよい。この場合、波数領域の処理(つまり、BG波数領域エコーレプリカ生成部21、FG波数領域エコーレプリカ生成部22、エコー経路推定部70、転送判定部60におけるそれぞれの処理s12、s22、s44、s41、s42)を有効範囲内に限定することができ、計算量を減らすことができる。
なお、本実施形態と、第一実施形態やその変形例、第二実施形態、第三実施形態、その他の変形例とを組合せてもよい。
<第五実施形態:残留エコー消去部を含む>
第一実施形態と異なる部分を中心に説明する。
図22は第五実施形態に係るエコー消去装置500の機能ブロック図を、図23はその処理フローを示す。
エコー消去装置500は、Pチャネルの再生信号x(p,n)及びPチャネルの収音信号y(p,n)を受け取り、Pチャネルの収音信号y(p,n)からエコー成分を消去した誤差信号e(p,n)を求め、さらに、誤差信号e(p,n)から残留エコー成分を消去した送話信号を求め、出力する。
エコー消去装置500は、時空間FFT変換部10、BG波数領域エコーレプリカ生成部21、FG波数領域エコーレプリカ生成部22、時空間逆FFT変換部31及び32、P個の減算部41、時空間FFT変換部51〜53、エコー経路推定部70、転送判定部60、P個の減算部42、P個のフレーム合成部580を含み、さらに残留エコー消去部520を含む。
P個のフレーム合成部580及び残留エコー消去部520の処理に内容について説明する。
<フレーム合成部580
フレーム合成部580は、時間領域のFG誤差信号eFG(p,i)を受け取り、時間領域のFG誤差信号eFG(p,i)を合成し(s43)、合成した誤差信号e’(p,i)を出力する。例えば、時空間FFT変換部10において、再生信号x(p,n)をD≧2でフレーム化した場合には、フレーム合成部580は、フレームiで求めたFG誤差信号eFG(p,i)と一つ前のフレームi−1で求めたFG誤差信号eFG(p,i−1)とに対して窓かけ処理を行った上で、合成し(s543)、合成した誤差信号e’(p,i)をベクトルのまま出力する。
例えば、D=2の場合、長さF/Dのハニング窓をWとして、合成後の誤差信号e’(p,i)(ベクトルであり、要素数はF/D個)は次式で算出される。
e'(p,i)=[0F/D IF/D]diag(WH)e(p,i-1)+[IF/D0F/D]diag(WH)e(p,i)
ただし、0F/Dは(F/D)×(F/D)のゼロ行列、IF/Dは(F/D)×(F/D)の単位行列、diag(・)は・を対角成分とし、それ以外が零であるような行列である。
<残留エコー消去部520>
残留エコー消去部520は、P×2F個の波数領域の再生信号X_(k,i)と、合成後のP個の時間領域の誤差信号e’(p,i)とを受け取り、波数領域の誤差信号に含まれる残留エコーを推定し、消去し(s520)、P個の時間領域の送話信号z(p,n)を出力する。
図24は残留エコー消去部520の機能ブロック図を、図25はその処理フローを示す。残留エコー消去部520は、周波数領域変換部521と、波数変換部522と、波数領域残留エコー推定消去部523と、逆波数変換部524と、時間領域変換部525と、P個のフレーム合成部526とを含む。以下、処理の詳細を説明する。
(周波数領域変換部521)
周波数領域変換部521は、合成後のP個の時間領域の誤差信号e’(p,i)(要素数はF/D個)を受け取り、次式のように、チャネルp毎にフレームi、i−1、…、i−2D+1における誤差信号e’(p,i),e’(p,i−1),…,e’(p,i−2D+1)を用いて、周波数領域の誤差信号U(p,i)に変換し(s521)、P×2F個の周波数領域の誤差信号U(p,i)を波数変換部522に出力する。
U(p,i)=FFT([e'T(p,i-2D+1),e'T(p,i-2D+2),…,e'T(p,i)])
=[U0(p,i) … Uf(p,i) … U2F-1(p,i)] (51)
(波数変換部522)
波数変換部522は、P×2F個の周波数領域の誤差信号U(p,i)を受け取り、次式により、周波数f毎に波数領域の誤差信号U_(k,i)に変換し(s522)、P×2F個の波数領域の誤差信号U_(k,i)を波数領域残留エコー推定消去部523に出力する。
U_f(i)=FFT([Uf(1,i) Uf(2,i) … Uf(P,i)])
=[U_f(0,i) … U_f(k,i) … U_f(K,i) U_f(-K+1,i) … U_f(-1,i)] (52)
(波数領域残留エコー推定消去部523)
波数領域残留エコー推定消去部523は、P×2F個の波数領域の再生信号X_(k,i)と、P×2F個の波数領域の誤差信号U_(k,i)とを受け取り、これらの値を用いて、f≦Fにおいて、誤差信号U_(k,i)に含まれる残留エコーを推定し、消去し(s523)、P×(F+1)個の波数領域の送話信号Z_(p,i)を求め、逆波数変換部524に出力する。以下、処理の詳細を説明する。
図26は波数領域残留エコー推定消去部523の機能ブロック図を、図27はその処理フローを示す。
波数領域残留エコー推定消去部523は、入出力相関係数算出部5231と、入出力伝達特性推定部5232と、残留エコー推定部5233と、残留エコー補正部5234と減算部5235とを含む。
((入出力相関係数算出部5231))
入出力相関係数算出部5231は、P×2F個の波数領域の再生信号X_(k,i)とP×2F個の波数領域の誤差信号U_(k,i)とを受け取り、f≦Fにおいて、波数領域の残留エコー信号を出力とする系の伝達特性を推定するために、時刻n=iF/Dにおける波数領域の再生信号X_(k,i)と波数領域の誤差信号U_(k,i)とから
Pf(k,i)=E[X_* f(k,i)X_f(k,i)]
Qf(k,i)=E[X_* f(k,i)U_f(k,i)] (53)
により、再生信号のパワースペクトルP(k,i)と、再生信号と誤差信号との間のクロススペクトルQ(k,i)とを算出し(s5231)、入出力伝達特性推定部5232に出力する。
((入出力伝達特性推定部5232))
入出力伝達特性推定部5232は、P×(F+1)個のパワースペクトルP(k,i)とP×(F+1)個のクロススペクトルQ(k,i)とを受け取り、f(f≦F)において、パワースペクトルP(k,i)及びクロススペクトルQ(k,i)から
により、再生信号と誤差信号との入出力伝達特性を推定し(s5232)、推定値G’(k,i)を残留エコー推定部5233に出力する。
また、次式により推定値G’(k,i)を平滑化し、平滑化した推定値G(k,i)を残留エコー推定部5233に出力してもよい。
本実施形態では、平滑化した推定値G(k,i)を出力するものとする。ここで、βは、入出力伝達特性の推定値を平滑化するための定数であり、0〜1の間の値をとる。
((残留エコー推定部5233))
残留エコー推定部5233は、P×(F+1)個の波数領域の再生信号X_(k,i)と、P×(F+1)個の推定値G(k,i)とを受け取り、f(f≦F)において、次式のように、再生信号X_(k,i)に推定値G(k,i)を乗じて、残留エコーを推定し(s5233)、推定値ΔY_(k,i)を残留エコー補正部5234に出力する。
ΔY_f(k,i)=Gf(k,i)X_f(k,i) (55)
((残留エコー補正部5234))
残留エコー補正部5234は、P×(F+1)個の推定値ΔY_(k,i)と、P×(F+1)個の波数領域の誤差信号U_(k,i)とを受け取り、f(f≦F)において、次式で補正し(s5234)、補正後の残留エコーの推定値ΔYII_(k,i)を減算部5235に出力する。
ただし、式中のS_(k,i)は、送話信号の推定値であり、次式により算出される。
S_f(k,i)=U_f(k,i)-ΔY_f(k,i)
また、Tは各スペクトルの推定の自由度の数であり、入出力相関係数算出部5231においてパワースペクトルP(k,i)及びクロススペクトルQ(k,i)を算出するときのフレーム数(つまり、各スペクトル推定に使用するフレーム数)が、これにあたる。
Mは入力変数の数であり、式(54)の場合にはM=1になる。またF2M,T−2M,alphaは、自由度n=2M、n=T−2MのF分布の100×alpha百分比点である。
なお、F分布は、統計学で用いられる連続確率分布である。統計的仮説検定の一手法である分散分析において、観測データにおける変動を誤差変動と各要因の変動に分解し、各要因の効果・有意性を判定する際に使用される。
参考文献7によれば、M=1のとき入出力伝達特性推定部5232において推定される入出力伝達特性の推定値G(k,i)の信頼区間は、真値からの比率で
の幅を持つ。
(参考文献7)J.S.ベンダット、A.G.ピアソル、「ランダムデータの統計的処理」、培風館、1976年、p.194〜197
短時間スペクトルに基づく入出力伝達特性推定部5232の推定では、本来よりも送話と残留エコーの相関性を高めに推定しやすく、伝達特性を高めに推定する傾向がある。このことに基づき、上記の補正は残留エコーの信頼区間の下端の値を残留エコーの補正値としている。
((減算部5235))
減算部5235は、P×2F個の波数領域の誤差信号U_(k,i)と、P×(F+1)個の波数領域の補正後の残留エコーの推定値ΔYII_(k,i)とを受け取り、f(f≦F)において、次式のように波数領域で誤差信号U_(k,i)から残留エコーの推定値ΔYII_(k,i)を差し引いて(s5235)、差分を波数領域の送話信号Z_(k,i)として求め、逆波数変換部524に出力する。
Z_f(k,i)=U_f(k,i)-ΔYII_f(k,i) (58)
(逆波数変換部524)
逆波数変換部524は、P×(F+1)個の波数領域の送話信号Z_(k,i)を受け取り(図6参照)、f(f≦F)において、次式のように周波数f毎に周波数領域の送話信号Z(p,i)に変換する(s524)。
[Zf(1,i) Zf(2,i) … Zf(P,i)]
=IFFT([Z_f(0,i)…Z_f(k,i)…Z_f(K,i) Z_f(-K+1,i)…Z_f(-1,i)]) (59)
なお、周波数f>Fについては、実数信号のFFT結果に関する対称性から、次式で周波数領域の送話信号Z(p,i)を求める。
f(p,i)=conj(Z2F-f(p,i))
このようにして求めた合計P×2F個の周波数領域の送話信号Z(p,i)を時間領域変換部525に出力する。なお、逆波数変換方法としては、波数変換部522における波数領域変換方法に対応するものを用いればよい。
(時間領域変換部525)
時間領域変換部525は、P×2F個の周波数領域の送話信号Z(p,i)を受け取り、次式のように、チャネルp毎に周波数領域の送話信号Z(p,i)を逆FFTし、時間領域の送話信号z(p,i)(ベクトルであり、要素数は2F個)に変換し(s525)、フレーム合成部526に出力する。
z(p,i)=IFFT([Z0(p,i)…Zf(p,i)…Z2F-1(p,i)]) (60)
時間領域変換方法としては、周波数領域変換部521における周波数領域変換方法に対応するものを用いればよい。
(フレーム合成部526
フレーム合成部526は、時間領域の送話信号ベクトルz(p,i)を受け取る。再生信号x(p,n)をD≧2でフレーム化した場合には、フレーム合成部526は、フレームiで求めた送話信号z(p,i)と一つ前のフレームi−1で求めた送話信号z(p,i−1)とに対して窓かけ処理を行った上で、合成し(s526)、合成後の送話信号ベクトルz’(p,i)(要素数はF/D個)の要素z(p,n−F/D+1),z(p,n−F/D+2),…,z(p,n)を逐次、エコー消去装置500の出力値として出力する。ただし、n=iF/Dの関係にある。なお、その処理内容は、フレーム合成部580の処理と同等である。
<効果>
このような構成により、波数領域の再生信号X_(k,i)と波数領域の誤差信号U_(k,i)とから波数領域で残留エコーを推定し、誤差信号U_(k,i)から残留エコーの推定値ΔY_(k,i)を差し引く。これにより、第一実施形態と同様の効果に加え、波数領域の適応フィルタによるエコー経路推定及び消去が十分でない状態であっても、会話状態によらずに迅速に残留エコーを低減することができるという効果を奏する。
<第一変形例>
第五実施形態と異なる部分についてのみ説明する。波数領域残留エコー推定消去部523の処理(s523)において、残留エコーを補正しない構成としてもよい。この場合、波数領域残留エコー推定消去部523は、残留エコー補正部5234を含まず、減算部5235では、残留エコー推定部5233の出力値である残留エコーの推定値ΔY_(k,i)を補正せずにそのまま用いる。
このような構成により、第五実施形態と同様の効果を得ることができ、計算量を削減することができる。ただし、伝達特性を高めに推定する可能性がある。
<第二変形例>
第五実施形態またはその第一変形例と異なる部分についてのみ説明する。
波数領域残留エコー推定消去部523の処理内容が、第五実施形態またはその第一変形例とは異なる。
(波数領域残留エコー推定消去部523)
波数領域残留エコー推定消去部523は、波数領域の再生信号X_(k,i)とFG波数領域エコーレプリカ生成部22で生成されたエコーレプリカY^_FG,f(k,i)の線形和として波数領域の残留エコーを推定する。
図28は第二変形例に係る波数領域残留エコー推定消去部523の機能ブロック図を、図29はその処理フローを示す。
波数領域残留エコー推定消去部523は、線形和重み算出部5236と、線形和算出部5237と、減算部5235とを含む。なお、図22において図示されていないが、FG波数領域エコーレプリカ生成部22の出力値であるエコーレプリカY^_FG,f(k,i)が、残留エコー消去部520内の波数領域残留エコー推定消去部523に入力されるものとする。
((線形和重み算出部5236))
線形和重み算出部5236は、P×2F個の波数領域の再生信号X_(k,i)と、P×2F個の波数領域の誤差信号U_(k,i)と、P×2F個の波数領域のエコーレプリカY^_FG,f(k,i)とを受け取り、f(f≦F)において、以下のように相互スペクトルを係数とする式を解いて線形和重みc’f,1(k,i)及びc’f,2(k,i)を算出する(s5236)。
線形和重み算出部5236は、式(61)によって求めた線形和重みc’f,1(k,i)及びc’f,2(k,i)をそのまま線形和算出部5237に出力してもよいし、次式により平滑化した線形和重みcf,1(k,i)及びcf,2(k,i)を線形和算出部5237に出力してもよい。
本変形例では、平滑化した線形和重みcf,1(k,i)及びcf,2(k,i)を出力するものとする。
((線形和算出部5237))
線形和算出部5237は、P×(F+1)個の線形和重みcf,1(k,i)と、P×(F+1)個の線形和重みcf,2(k,i)と、P×2F個の波数領域の再生信号X_(k,i)と、P×2F個の波数領域のエコーレプリカY^_FG,f(k,i)とを受け取り、次式のように、f(f≦F)において、再生信号X_(k,i)とエコーレプリカY^_FG,f(k,i)との線形和Z^_(k,i)を算出し(s5237)、この線形和Z^_(k,i)を残留エコーの推定値ΔY_(k,i)として減算部5235に出力する。
Z^_f(k,i)=X_f(k,i)cf,1(k,i)+Y^_FG,f(k,i)cf,2(k,i) (63)
(減算部5235)
減算部5235は、P×2F個の波数領域の誤差信号U_(k,i)と、P×(F+1)個の波数領域の残留エコーの推定値ΔY_(k,i)とを受け取り、f(f≦F)において、次式のように波数領域で誤差信号U_(k,i)から波数領域の残留エコーの推定値ΔY_(k,i)を差し引いて(s5235)、波数領域の送話信号Z_(k,i)を求め、逆波数変換部524に出力する。
Z_f(k,i)=U_f(k,i)-ΔY_f(k,i)
<効果>
このような構成により、第五実施形態と同様の効果を得ることができる。本変形例では、第五実施形態に比べ計算量は増えるが、エコーレプリカを残留エコー推定に含めることで、フレーム長が部屋の残響時間と比較して大幅に短い場合でも、残留エコー消去性能の劣化を抑えることができる。
なお、第五実施形態またはその変形例と、第一〜第四実施形態またはその変形例とを組み合わせてもよい。
また、第四実施形態で説明した波数限定部2154及び波数0詰め部2155を設けてもよい。この場合、波数領域の処理(つまり、波数領域残留エコー推定消去部523における処理s523)を有効範囲内に限定することができ、計算量を減らすことができる。
<その他の変形例>
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の実施形態またはその変形例では、全周波数帯域において処理を行っているが、所望の音声処理性能を実現するために、各部、各装置において、対象とする周波数帯域を変更してもよい。例えば、エコー消去装置100の処理は、計算量が大きいが、得られるエコー消去効果も大きい。一方、波数領域残留エコー推定消去部523の処理は、エコー消去装置100と比べると計算量は小さいが、エコーを消去した場合と比べて、音声の明瞭性はそれほど変わらない。そのため、エコー消去装置100の処理対象とする周波数帯域を300〜3400Hz程度に限定し、一方、波数領域残留エコー推定消去部523の処理対象とする周波数帯域を300〜7500Hz程度に限定する。このような構成とすることで、聴覚上大きな影響を与える周波数帯域においては十分にエコーを消去しつつ、広帯域においてエコーを低減することができ、計算量を抑えつつ、音声の明瞭性を効率よく向上させることができる。
なお、(1)収音信号自体、さらに、収音信号に対して何らかの処理を施した信号という意味で、(2)誤差信号や(3)送話信号等を「収音信号に対応する信号」ともいう。
また例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
<プログラム及び記録媒体>
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (6)

  1. 時間領域の再生信号を波数領域に変換する第一時空間領域変換部と、
    波数領域の再生信号に第一フィルタ係数をかけて、波数領域の第一エコーレプリカを生成する第一エコーレプリカ生成部と、
    波数領域の第一エコーレプリカを時間領域の第一エコーレプリカに変換する第一時空間領域逆変換部と、
    時間領域の収音信号から時間領域の第一エコーレプリカを減算して第一誤差信号を求める第一エコーレプリカ減算部と、
    波数領域の再生信号に第二フィルタ係数をかけて、波数領域の第二エコーレプリカを生成する第二エコーレプリカ生成部と、
    波数領域の第二エコーレプリカを時間領域の第二エコーレプリカに変換する第二時空間領域逆変換部と、
    時間領域の収音信号から時間領域の第二エコーレプリカを減算して第二誤差信号を求める第二エコーレプリカ減算部と、
    時間領域の第一誤差信号を波数領域に変換する第二時空間領域変換部と、
    波数領域の第一誤差信号と波数領域の再生信号とを用いて、前記第一エコーレプリカ生成部内の前記第一フィルタ係数を更新するエコー経路推定部と、
    時間領域の第二誤差信号を波数領域に変換する第四時空間領域変換部と、
    各周波数の各波数について、第一誤差信号と第二誤差信号とを比較し、第一誤差信号のほうが第二誤差信号よりもエコーが消去されていると判定したときに、前記第一エコーレプリカ生成部内の前記第一フィルタ係数を前記第二エコーレプリカ生成部に転送する転送判定部とを含む、
    エコー消去装置。
  2. 請求項1記載のエコー消去装置であって、
    時間領域の収音信号を波数領域に変換する第三時空間領域変換部をさらに含み、
    前記転送判定部は、
    各周波数の各波数について、第一誤差信号と第二誤差信号とを比較して第一誤差信号が第二誤差信号と所定レベルとの和より小さく、かつ、第一誤差信号と収音信号とを比較して第一誤差信号が収音信号と所定レベルとの和より小さいときに、第一誤差信号のほうが第二誤差信号よりもエコーが消去されていると判定する、
    エコー消去装置。
  3. 請求項1または請求項2記載のエコー消去装置であって、
    さらに、
    波数領域の前記再生信号と波数領域の前記第二誤差信号とを用いて、波数領域の前記第二誤差信号に含まれる残留エコーを推定し、消去する波数領域残留エコー推定消去部とを含む、
    エコー消去装置。
  4. 請求項1から請求項3の何れかに記載のエコー消去装置であって、
    さらに、
    周波数と波数との組合せ毎に、波数領域の収音信号に対応する信号のノイズレベルを推定するノイズレベル推定部と、
    周波数と波数との組合せ毎に、波数領域の収音信号に対応する信号と、波数領域のノイズレベルの推定値との比に基づきノイズ抑圧ゲインを求め、波数領域の収音信号に対応する信号にノイズ抑圧ゲインを乗じ、波数領域のノイズ抑圧処理済みの収音信号に対応する信号を求めるノイズ抑圧ゲイン算出適用部とを含む、
    エコー消去装置。
  5. 時間領域の再生信号を波数領域に変換する第一時空間領域変換ステップと、
    波数領域の再生信号に第一フィルタ係数をかけて、波数領域の第一エコーレプリカを生成する第一エコーレプリカ生成ステップと、
    波数領域の第一エコーレプリカを時間領域の第一エコーレプリカに変換する第一時空間領域逆変換ステップと、
    時間領域の収音信号から時間領域の第一エコーレプリカを減算して第一誤差信号を求める第一エコーレプリカ減算ステップと、
    波数領域の再生信号に第二フィルタ係数をかけて、波数領域の第二エコーレプリカを生成する第二エコーレプリカ生成ステップと、
    波数領域の第二エコーレプリカを時間領域の第二エコーレプリカに変換する第二時空間領域逆変換ステップと、
    時間領域の収音信号から時間領域の第二エコーレプリカを減算して第二誤差信号を求める第二エコーレプリカ減算ステップと、
    時間領域の第一誤差信号を波数領域に変換する第二時空間領域変換ステップと、
    波数領域の第一誤差信号と波数領域の再生信号とを用いて、前記第一フィルタ係数を更新するエコー経路推定ステップと、
    時間領域の第二誤差信号を波数領域に変換する第四時空間領域変換ステップと、
    各周波数の各波数について、第一誤差信号と第二誤差信号とを比較し、第一誤差信号のほうが第二誤差信号よりもエコーが消去されていると判定したときに、前記第一フィルタ係数を転送する転送判定ステップとを含む、
    エコー消去方法。
  6. 請求項1から請求項4の何れかに記載のエコー消去装置として、コンピュータを機能させるためのプログラム。
JP2013144098A 2013-07-10 2013-07-10 エコー消去装置、エコー消去方法、及びそのプログラム Expired - Fee Related JP5774062B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013144098A JP5774062B2 (ja) 2013-07-10 2013-07-10 エコー消去装置、エコー消去方法、及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013144098A JP5774062B2 (ja) 2013-07-10 2013-07-10 エコー消去装置、エコー消去方法、及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2015019183A true JP2015019183A (ja) 2015-01-29
JP5774062B2 JP5774062B2 (ja) 2015-09-02

Family

ID=52439818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013144098A Expired - Fee Related JP5774062B2 (ja) 2013-07-10 2013-07-10 エコー消去装置、エコー消去方法、及びそのプログラム

Country Status (1)

Country Link
JP (1) JP5774062B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022120085A1 (en) * 2020-12-03 2022-06-09 Dolby Laboratories Licensing Corporation Subband domain acoustic echo canceller based acoustic state estimator

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6075783B2 (ja) * 2013-12-09 2017-02-08 日本電信電話株式会社 エコー消去装置、エコー消去方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244372A (ja) * 1999-02-19 2000-09-08 Matsushita Electric Ind Co Ltd 係数転送判別器及びそれを用いたエコーキャンセラ
JP2001016142A (ja) * 1999-07-01 2001-01-19 Matsushita Electric Ind Co Ltd エコーキャンセラ方法、装置およびプログラム記録媒体
JP2003008480A (ja) * 2001-06-18 2003-01-10 Matsushita Electric Ind Co Ltd エコーキャンセル装置およびそのプログラム記録媒体
JP2008124914A (ja) * 2006-11-14 2008-05-29 Nippon Telegr & Teleph Corp <Ntt> エコーキャンセル装置、その方法、そのプログラム、およびその記録媒体
US20090116638A1 (en) * 2005-06-16 2009-05-07 Trinity Convergence, Inc. Systems and Methods for Adaptive Echo Cancellation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244372A (ja) * 1999-02-19 2000-09-08 Matsushita Electric Ind Co Ltd 係数転送判別器及びそれを用いたエコーキャンセラ
JP2001016142A (ja) * 1999-07-01 2001-01-19 Matsushita Electric Ind Co Ltd エコーキャンセラ方法、装置およびプログラム記録媒体
JP2003008480A (ja) * 2001-06-18 2003-01-10 Matsushita Electric Ind Co Ltd エコーキャンセル装置およびそのプログラム記録媒体
US20090116638A1 (en) * 2005-06-16 2009-05-07 Trinity Convergence, Inc. Systems and Methods for Adaptive Echo Cancellation
JP2008124914A (ja) * 2006-11-14 2008-05-29 Nippon Telegr & Teleph Corp <Ntt> エコーキャンセル装置、その方法、そのプログラム、およびその記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015016775; Herbert Buchner et al.: 'WAVE-DOMAIN ADAPTIVE FILTERING: ACOUSTIC ECHO CANCELLATION FOR FULL-FUPLEX SYSTEMS BASED ON WAVE-FIE' IEEE International Conference on Acoustics, Speech, and Signal Processing, 2004 (ICASSP '04) Vol. 4, 200405, pp.IV-117〜IV-120 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022120085A1 (en) * 2020-12-03 2022-06-09 Dolby Laboratories Licensing Corporation Subband domain acoustic echo canceller based acoustic state estimator

Also Published As

Publication number Publication date
JP5774062B2 (ja) 2015-09-02

Similar Documents

Publication Publication Date Title
CN109727604B (zh) 用于语音识别前端的频域回声消除方法及计算机储存介质
KR20130108063A (ko) 다중 마이크로폰의 견고한 잡음 억제
JP5391103B2 (ja) 多チャネルエコー消去方法、多チャネルエコー消去装置、多チャネルエコー消去プログラム及びその記録媒体
JP5762479B2 (ja) 音声スイッチ装置、音声スイッチ方法、及びそのプログラム
JP2016048872A (ja) 収音装置
JP5016581B2 (ja) エコー抑圧装置、エコー抑圧方法、エコー抑圧プログラム、記録媒体
JP5469564B2 (ja) 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム
Hofmann et al. Significance-aware filtering for nonlinear acoustic echo cancellation
JP5774062B2 (ja) エコー消去装置、エコー消去方法、及びそのプログラム
KR101587844B1 (ko) 마이크로폰의 신호 보상 장치 및 그 방법
JP3756839B2 (ja) 反響低減方法、反響低減装置、反響低減プログラム
JP5937451B2 (ja) エコー消去装置、エコー消去方法及びプログラム
JP3756828B2 (ja) 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体
JP5889224B2 (ja) エコー抑圧ゲイン推定方法とそれを用いたエコー消去装置とプログラム
JP5524316B2 (ja) パラメータ推定装置、エコー消去装置、パラメータ推定方法、及びプログラム
JP5762478B2 (ja) ノイズ抑圧装置、ノイズ抑圧方法、及びそのプログラム
JP5826712B2 (ja) マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム
JP4504891B2 (ja) 反響消去方法、反響消去装置、プログラム、記録媒体
JP6075783B2 (ja) エコー消去装置、エコー消去方法及びプログラム
JP5925149B2 (ja) 音響結合量推定装置、エコー消去装置、その方法及びプログラム
JP4504892B2 (ja) 反響消去方法、反響消去装置、プログラム、記録媒体
JP2012205161A (ja) 音声通話装置
JP4478045B2 (ja) エコー消去装置、エコー消去方法、エコー消去プログラムおよびその記録媒体
JP6356087B2 (ja) エコー消去装置、その方法及びプログラム
JP5698110B2 (ja) マルチチャネルエコー消去方法、マルチチャネルエコー消去装置、およびプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150630

R150 Certificate of patent or registration of utility model

Ref document number: 5774062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees