JP2012048134A - 残響除去方法とその装置とプログラム - Google Patents
残響除去方法とその装置とプログラム Download PDFInfo
- Publication number
- JP2012048134A JP2012048134A JP2010192419A JP2010192419A JP2012048134A JP 2012048134 A JP2012048134 A JP 2012048134A JP 2010192419 A JP2010192419 A JP 2010192419A JP 2010192419 A JP2010192419 A JP 2010192419A JP 2012048134 A JP2012048134 A JP 2012048134A
- Authority
- JP
- Japan
- Prior art keywords
- filter coefficient
- inverse filter
- correlation function
- dereverberation
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
【課題】後部残響をより効率よく抑圧する残響除去方法を提供する。
【解決手段】相関関数計算過程はNチャネル(Nは2以上の自然数)収音信号の信号間の相関関数を計算し逆フィルタ係数群計算過程は相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延0〜D(D≧1)のインパルスが得られその他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する。そして、逆フィルタ群処理過程は逆フィルタ係数群を相関関数計算に用いた上記Nチャネル収音信号に適用し、最終逆フィルタ係数算出過程は逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する。そして、最終逆フィルタ処理過程は最終逆フィルタ係数をNチャネル収音信号に適用する。
【選択図】図2
【解決手段】相関関数計算過程はNチャネル(Nは2以上の自然数)収音信号の信号間の相関関数を計算し逆フィルタ係数群計算過程は相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延0〜D(D≧1)のインパルスが得られその他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する。そして、逆フィルタ群処理過程は逆フィルタ係数群を相関関数計算に用いた上記Nチャネル収音信号に適用し、最終逆フィルタ係数算出過程は逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する。そして、最終逆フィルタ処理過程は最終逆フィルタ係数をNチャネル収音信号に適用する。
【選択図】図2
Description
この発明は、残響を多く含む多チャネル収音信号から音源の発する本来の信号を抽出する残響除去方法とその装置と、プログラムに関する。
マイクロホンで音声等を収音する場合、マイクロホンに到達する音は、音源から発せられて直接到達した直接音と、壁等に1回反射して到達した反射音と、複数回反射して到達した反射音の混ざったものになる。マイクロホンが音源に近接していない場合は、この反射音の成分である残響成分が多くなる。
話者音声を離れた位置で収音する場合や残響時間が長い部屋で収音する場合には、残響により音声の明瞭度が低下して聞き取り難くなり、例えば音声認識システムの音声認識率も著しく低下することが知られている。
話者位置からマイクロホン位置までのインパルス応答が予め測定されている場合には、MINT(Multi-input/output Inverse Theorem)法(非特許文献1)を用いてインパルス応答から逆フィルタ係数を求め、収音信号に逆フィルタを適用することで残響に含まれる収音信号から原音を回復することができる。
MINT法を簡単に説明する。目的音源からi番目のマイクロホンまでの音響経路のインパルス応答をgi(0)〜gi(K)とする。Lタップの逆フィルタを求めたいとき、MINT法は目的インパルス応答ベクトルをd、i番目のマイクロホン収音信号に適用するL次元の逆フィルタ係数ベクトルをcn(n=1〜N)としてサイズ(L+K)×Lのインパルス応答畳み込み行列(式(1))を用いて、式(2)若しくは式(3)の連立方程式を解いて逆フィルタ係数ベクトルcnを求める。
但し、L+K≧NLが満たされている必要がある。
L+K次元ベクトルの目的インパルス応答ベクトルdとしては、無遅延のパルス(式(4))や遅延付きのパルスが(式(5))用いられる。
一般に、遅延を付加することで逆フィルタ処理がより安定になり残響除去性能が向上することが知られている(非特許文献2)。通常は、音源位置(話者位置)からマイクロホン位置までのインパルス応答を予め測定することが出来ないため、残響に含まれる収音信号のみから原音を回復するブラインド残響除去法が用いられる。ブラインド残響除去の一方法としてblind-MINT法(特許文献1、非特許文献3)がある。
図11を参照してblind-MINT法を簡単に説明する。ブラインド残響除去装置900は、複数のマイクロホン11〜1N(Nはマイクロホン数)と、白色化フィルタ係数計算部90と、白色化フィルタ911〜91Nと、相関関数計算部92と、逆フィルタ係数計算部93と、逆フィルタ部94を備える。
残響下において目的音源2から発せられた音は、N個のマイクロホン11〜1Nで収音される。各マイクロホンで収音された収音信号u1(k)〜uN(k)は、白色化フィルタ係数計算部90に入力される。ここで、収音信号u1(k)〜uN(k)は、例えば標本化周波数は16kHzで離散値化されたディジタル信号であり、(k)は時刻を表す。なお、収音信号をディジタル化するA/D変換器等については省略している。
白色化フィルタ係数計算部90は、収音信号u1(k)〜uN(k)のスペクトルをフラットにする白色化フィルタ係数を計算する。白色化フィルタ911〜91Nは、収音信号u1(k)〜uN(k)にその白色化フィルタ係数を畳み込んで白色化された白色化信号x1(k)〜xN(k)を生成する。
各収音信号u1(k)〜uN(k)に白色フィルタを畳み込んでから相関係数を求めることで、音声のようにスペクトルがフラットでない音源信号についても、高域のパワーを増加させること無く原音に近い最終出力信号y(k)を得ることが可能になる。
スペクトルがフラットな音源信号を収音した場合や、データ通信用等の信号が残響除去装置に入力された場合、その信号はそのまま相関関数計算部92に入力することが出来る。その場合、白色化フィルタ係数計算部90と白色化フィルタ911〜91Nは不要である。
相関関数計算部92は、白色化信号x1(k)〜xN(k)間の相関関数rij(τ)を式(6)で計算する。
ここでτは、2時点の時間間隔(以降、ラグ(lag)と称する)である。
逆フィルタ係数計算部93は、相関関数計算部92で計算した相関関数rij(τ)を入力として、その相関関数rij(τ)を用いて生成した相関行列Rij(式(7))から多チャネル相関行列R(式(8))を生成する。
但し、Lは逆フィルタタップ数である。そして、式(9)の連立一次方程式を解いて逆フィルタ係数ベクトルcを求める。
ここで、目的インパルス応答ベクトルd(式(10))の各要素はL次元縦ベクトルである(式(11))。
第n番目のマイクロホン1nが全マイクロホンの中で目的音源2に最も近いときにδは1を取り、それ以外のときは0を取る。
逆フィルタ係数ベクトルcは、n番目のマイクロホンの収音信号un(k)に適用するL次元の逆フィルタ係数ベクトル(式(12))を用いると、式(13)と書ける。
式(9)の連立一次方程式を解いて算出された逆フィルタ係数cは、逆フィルタ部94に転送される。なお、連立一次方程式(式(9))の相関行列Rの行列式が小さな値となる場合、数値計算上の誤差等のためにその解cの値が不安定になる。これを防止する目的で式(14)を用い式(15)を解いて逆フィルタ係数ベクトルcを求めても良い。
ここでλは行列正則化のための微小値であり、Iは行列Rと同じ大きさを持つ単位行列である。
逆フィルタ部94は、式(16)に示すように各収音信号u1(k)〜uN(k)に逆フィルタ係数cを適用して最終出力信号y(k)を得る。この出力信号y(k)は、残響の除去された目的信号を抽出した信号である。
従来のブラインド残響除去方法は、目的音源2から各マイクロホンまでの未知の音響経路のインパルス応答gi(0)〜gi(K)から成る行列Gと収音信号から求めた相関行列Rとの間に式(17)の関係があることを利用し、目的インパルス応答ベクトルとして無遅延パルスを用いて逆フィルタ係数を求めている。
ここでρは比例定数(スカラー量)である。目的音源2からi番目のマイクロホンまでの音響経路のインパルス応答をgi(0)〜gi(K)としてサイズ(L+K)×Lのインパルス応答畳み込み行列Gi(式(18))を用いて、行列Gは式(19)で表せる。
行列GTGの要素は、音響経路のインパルス応答の相関関数になる。
M. Miyoshi and Y. Kaneda, "Inverse Filtering of Room acoustics,"IEEE Trans. Acoust. Speech Signal Process., vol. ASSP-36, no. 2, pp. 145-152, 1988.
大賀、山崎、金田、「音響システムとディジタル処理」、電子情報通信学会、1995.
K. Furuya and A. Kataoka, Robust Speech Dereverberatio Using Multichannel Blind Deconvolution With Spectral Subtraction, IEEE Trans. On Audio, Speech, and Language Processing, vol. no. 5, pp. 1579-1591, 2007.
J. S.ベンダット、A. G.ビアソル、「ランダムデータの統計的処理」培風館、1976.
図12に、従来のブラインド残響除去装置900で求めた残響特性を示す。横軸は時間、縦軸は減衰量「dB」である。図中の破線はインパルス応答から求めた部屋の残響特性を示す。実線は従来のブラインド残響除去装置900で求めた残響特性である。
従来のブラインド残響除去方法は、初期残響を10dB以上効果的に抑えているが、残響特性の後半の減衰は穏やかである。このように、実際の音響経路よりも減衰が著しく遅く、後半の信号に残響が含まれる特性を示す。
従来のブラインド残響除去方法の第一の性能劣化要因として、目的インパルス応答ベクトルに無遅延のパルスを用いていることが挙げられる。非特許文献2でインパルス応答成分g1(0)を1に、ρ(式(17))=1にスケーリングした場合、無遅延のパルスを目的インパルス応答ベクトルに設定すると、逆フィルタ係数は式(20)の関係式から求められる。
残響除去性能を高めるために、目的インパルス応答ベクトルとして遅延Dのパルスを設定しようとする場合、解くべき式は式(3)より式(21)となる。
目的音源が第1のマイクロホンに最も近くg1(0)=1にスケーリングしている場合、求めたい逆フィルタ係数は式(22)の関係を満たす。
それは、第1のマイクロホンが最も音源に近く、第1のマイクロホンと2番目に近いマイクロホンとの遅延よりもDが小さい場合には、i番目のマイクロホンのインパルス応答からなる行列(式(23))についてインパルス応答の頭D項が0なので(式(24))、式(25)が成立するためである。
ここで*は何がしかの値である。
しかし、インパルス応答成分g1(1)〜g1(D)は未知なので、式(25)を直接解いて逆フィルタ係数を求めることが出来ない。つまり、従来の残響除去方法は、式(20)で逆フィルタ係数を求めていた。
第二の性能劣化要因として、信号値から相関関数を推定したときに相関関数に推定誤差が含まれることが挙げられる。非特許文献4によれば、バンド幅Bの帯域制限白色雑音の区間Tの信号x1,x2のデータから求めた相互相関関数R^12(τ)の推定誤差は、安全サイドに大きめに見積もって式(26)に示す分散を持ち、その相対誤差(規準化二乗平均誤差)は式(27)で表せる。
ここで、R1(τ),R2(τ)は信号x1,x2の自己相関関数である。
音響経路のインパルス応答は指数減衰特性を持つので(非特許文献2)、その相関関数は通常ラグτが大きいほど指数的に0に近くなる。式(27)によれば、ラグτが大きいほど信号値から推定された相関関数の相対誤差は大きくなる。そのために収音信号から求めた相関関数は、音響経路から導出される行列GTG中の相関関数と比較して、ラグτの大きい要素ほど乖離が大きくなる。そして、この乖離が逆行列を通じて逆フィルタ係数に大きく影響してしまう。
この発明は、このような課題に鑑みてなされたものであり、残響特性の後半部分の減衰量を増やして効果的に残響を抑圧することが出来る残響除去方法とその装置と、プログラムを提供することを目的とする。
この発明の残響除去方法は、相関関数計算過程と、逆フィルタ係数群計算過程と、逆フィルタ群処理過程と、最終逆フィルタ係数算出過程と、最終逆フィルタ処理過程とを備える。相関関数計算過程は、Nチャネル(Nは2以上の自然数)収音信号の信号間の相関関数を計算する。逆フィルタ係数群計算過程は、相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延0〜D(D≧1)のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する。逆フィルタ群処理過程は、逆フィルタ係数群を相関関数計算に用いた上記Nチャネル収音信号に適用する。最終逆フィルタ係数算出過程は、逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する。最終逆フィルタ処理過程は、最終逆フィルタ係数をNチャネル収音信号に適用する。
この発明の残響除去方法は、複数(D+1本)の逆フィルタ係数ベクトルによる残響除去結果を相関が除去されるように線形結合することで後部残響を効果的に抑圧することが出来る。
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには
同じ参照符号を付し、説明は繰り返さない。実施例の説明の前にこの発明の基本的な考えについて説明する。
同じ参照符号を付し、説明は繰り返さない。実施例の説明の前にこの発明の基本的な考えについて説明する。
〔この発明の基本的な考え〕
この発明は、上記した第一の性能劣化要因に対処する目的で、目的インパルス応答ベクトルを構成するD+1本の基底ベクトル(式(28))及び、式(29)を解いて求められる逆フィルタ係数ベクトル群に着目し、残響除去信号y(0)(k),…,y(D)(k)を相互の相関が除去されるように線形結合することで残響除去性能を向上させる。
この発明は、上記した第一の性能劣化要因に対処する目的で、目的インパルス応答ベクトルを構成するD+1本の基底ベクトル(式(28))及び、式(29)を解いて求められる逆フィルタ係数ベクトル群に着目し、残響除去信号y(0)(k),…,y(D)(k)を相互の相関が除去されるように線形結合することで残響除去性能を向上させる。
遅延Dのパルスを目的インパルス応答ベクトルに設定した場合、求めたい逆フィルタ係数ベクトルは式(30)で表せる。そして、求めたい残響除去済み信号は式(31)となる。
ここでy(0)(k),…,y(D)(k)は逆フィルタ係数ベクトルc(0),…,c(D)を収音信号に適用して得られる信号である。
音源が白色雑音の場合を考えるとy(k)は白色雑音であり、y(0)(k),…,y(D)(k)は残響除去が不十分で色の付いた雑音となる。すなわち、「y(0)(k),…,y(D)(k)を相互の相関が除去されるように線形結合することで、元々の音源である白色雑音が得られる。」ことが分かる。この考えに基づいて、この発明では以下のステップで逆フィルタ係数ベクトルを求めることで遅延Dのパルスに対応する。
最初に、逆フィルタ係数ベクトルc(0),…,c(D)を求める。次に、収音信号に逆フィルタ係数ベクトルを適用して信号y(0)(k),…,y(D)(k)を求める。そして線形予測の手法を用いて式(32)のベクトルdyの大きさを最小にするb(1)〜 b(D)を求める。
そして、残響除去信号を式(33)で求める。これは逆フィルタ係数ベクトルとして式(34)を用いるのと同じである。
更にこの発明では、上記した第二の性能劣化要因に対処する目的で、式(26)に示した相関関数の推定誤差に関する性質を考慮に入れて相関関数の推定値R^12(τ)を式(35)に示すように補正する。
相関関数の推定値の絶対値が取る範囲は、推定誤差の分散を用いて式(36)に示すように見積もることが出来る。
ここでαは範囲指定の定数であり、推定誤差の分散、すなわち標準偏差の何倍かを指定している。推定誤差の分散が正規分布と見なせるならばα=1で推定値の84%がこの範囲に入り、α=2で推定値の約98%がこの範囲に入る。推定値の絶対値が大きくなる方向にブレるのを抑える目的で、この発明では式(37)に示すように推定値を補正する。
音響経路のインパルス応答は一般的に指数減衰特性を持つため、音源が白色信号の場合に、その収音信号の相関関数の真値が式(38)のように凡そ指数減衰で近似できると想定すれば、補正関数は式(39)で表せる。
ここでTは相関関数の推定に使用したサンプル数であり、Cは式(40)で与えられる定数である。
αの値としては1前後〜3を使用することが考えられる。また、Cの値としては1前後の値を使用することが考えられる。
また、補正関数としてより簡略化された関数である式(41)を用いることも考えられる。
補正された相関関数(式(39)、式(41))を用いて逆フィルタ係数を計算することにより、目的音源から逆フィルタ出力までのインパルス応答の残響曲線について、残響曲線の後部の減衰が大きくなり、最終出力信号に含まれる後部残響を減らすことが出来る。
図1に、この発明の残響除去装置100の機能構成例を示す。図2にその動作フローを示す。残響除去装置100は、白色化フィルタ係数計算部90と、白色化フィルタ911〜91Nと、相関関数計算部92と、逆フィルタ係数群計算部20と、逆フィルタ群処理部30と、最終逆フィルタ係数算出部40と、最終逆フィルタ部50と、を備える。白色化フィルタ係数計算部90と白色化フィルタ911〜91Nと相関関数計算部92とは、従来の残響除去装置900と同じものである。その各部の機能は、例えばROM、RAM、CPU等で構成されるコンピュータに所定のプログラムが読み込まれて、CPUがそのプログラムを実行することで実現されるものである。
残響除去装置100は、従来の残響除去装置900に対して、逆フィルタ係数として相関行列に掛けると音源と最も近接するマイクロホンのチャネルについては遅延0〜D(D≧1)のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する逆フィルタ係数群計算部20と、そのD+1本の逆フィルタ係数群を相関関数計算に用いたNチャネルの白色化信号x1(k)〜xN(k)に適用する逆フィルタ群処理部30と、逆フィルタ群を適用した信号から最終逆フィルタ係数を算出する最終逆フィルタ係数算出部40と、その最終逆フィルタ係数をNチャネル収音信号に適用する最終逆フィルタ50と、を備える点で異なる。
白色化フィルタ係数計算部90は、N個のマイクロホン11〜1Nで収音されたNチャネル収音信号u1(k)〜uN(k)から、収音信号のスペクトルをフラットにする白色化フィルタ係数を計算する(ステップS90)。
白色化フィルタ係数の計算方法としては、指定区間でのP次線形予測自乗誤差の総和(式(42))を最小にする線形予測計数a(1)〜a(P)を求め、白色化フィルタ係数として式(43)を求める方法がある。
それには、式(44)として式(45)を解いて線形予測係数a(1)〜a(P)を求めれば良い。
また、特許文献1に開示された方法を用いて白色化フィルタ係数を求めても良い。
Nチャネルに対応する白色化フィルタ911〜91Nは、収音信号u1(k)〜uN(k)に白色化フィルタ係数を畳み込み、白色化された信号x1(k)〜xN(k)を得る(式(46)、ステップS91)。
相関関数計算部92は、白色化信号x1(k)〜xN(k)間の相関関数を式(47)で計算する(ステップS92)。
逆フィルタ係数群計算部20は、相関関数rij(τ)を用いて多チャネル相関行列Rを計算する。式(29)を解いて逆フィルタ係数ベクトルc(0),…,c(D)(D≧1)を求める(ステップS20)。
なお、相関行列Rの行列式が小さな値となる場合、数値計算上の誤差等のために、その解の値は不安定になる。それを防止する目的で相関行列Rの代わりに式(48)を用いて、逆フィルタ係数ベクトルを求めても良い。
ここでλは行列正則化のための微小値であり、Iは行列Rと同じ大きさを持つ単位行列である。
逆フィルタ群処理部30は、Nチャネルの白色化信号x1(k)〜xN(k)に逆フィルタ係数ベクトルを適用して信号y(0)(k),…,y(D)(k)を得る(ステップS30)。
最終逆フィルタ係数算出部40は、信号y(0)(k),…,y(D)(k)から最終逆フィルタ係数を算出する(ステップS40)。最終逆フィルタ係数算出部40は、式(49)を解いて結合係数b(1)〜b(D)を求め、最終逆フィルタ係数cを求める。
そして最終逆フィルタ係数cを式(51)で算出する。そして縦ベクトルcを式(52)に示すようにN個に分割する。
分割された各縦ベクトルの要素を式(53)とする。これが最終逆フィルタ係数の要素である。
最終逆フィルタ部50は、残響除去信号y(k)を式(54)で求める(ステップS50)。
なお、音源信号が人の声のような有色信号では無く、白色信号であることが予め分かっている場合に、白色化フィルタ係数計算部90と白色化フィルタ911〜91Nを省略することが出来る。図3に、白色化フィルタ係数計算部90と白色化フィルタ911〜91Nを省略した残響除去装置100′の機能構成例を示す。
つまり、この発明の残響除去方法は、Nチャネル(Nは2以上の自然数)収音信号の信号間の相関関数を計算する相関関数計算過程と、相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延0〜D(D≧1)のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する逆フィルタ係数群計算過程と、逆フィルタ係数群を相関関数計算に用いたNチャネル収音信号に適用する逆フィルタ群処理過程と、逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する最終逆フィルタ係数算出過程と、最終逆フィルタ係数をNチャネル収音信号に適用する最終逆フィルタ処理過程と、を備えることで残響除去性能を向上させることが出来る。
〔関連例〕
図4に、この発明に関連する残響除去装置200の機能構成例を示す。その動作フローを図5に示す。残響除去装置200は、白色化フィルタ係数計算部90と、白色化フィルタ911〜91Nと、相関関数計算部92と、相関関数補正部10と、逆フィルタ係数計算部93と、逆フィルタ部94を備える。
図4に、この発明に関連する残響除去装置200の機能構成例を示す。その動作フローを図5に示す。残響除去装置200は、白色化フィルタ係数計算部90と、白色化フィルタ911〜91Nと、相関関数計算部92と、相関関数補正部10と、逆フィルタ係数計算部93と、逆フィルタ部94を備える。
残響除去装置200は、従来技術で説明した残響除去装置900に対して相関関数補正部10を備える点で異なる。白色化フィルタ係数計算部90と白色化フィルタ911〜91Nと相関関数計算部92の動作については実施例1で説明済みであるので省略する。
相関関数補正部10は、上記した式(39)若しくは簡略化した式(41)の補正関数f(τ)を用いて相関関数を補正した補正相関関数qij(τ)を求める。
逆フィルタ係数計算部93と逆フィルタ94の動作説明は、従来技術で説明済みであるので省略する。なお、音源信号が人の声のような有色信号では無く、白色信号であることが予め分かっている場合には、白色化フィルタ係数計算部90と白色化フィルタ911〜91Nを省略することが出来る。図6に、白色化フィルタ係数計算部90と白色化フィルタ911〜91Nを省略した残響除去装置200′機能構成例を示す。
つまり、この残響除去方法は、Nチャネル(Nは2以上の自然数)収音信号の信号間の相関関数を計算する相関関数計算過程と相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正過程と、補正相関関数から相関行列を生成して、逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについてはインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルを算出する逆フィルタ係数計算過程と、逆フィルタ係数をNチャネル収音信号に適用して残響除去信号を生成する逆フィルタ過程と、を備えることで、残響特性の後半の減衰量を増やして後部残響を小さくすることが出来る。
図7に、残響除去装置200′で推定した目的音源から逆フィルタ出力までの全体のインパルス応答の残響特性を示す。その残響特性を求めるシミュレーション条件は下記の通りとした。目的音源2は白色雑音とし、収音信号u1(k),u2(k)は残響時間170msの部屋で標本化周波数16kHzで実測したインパルス応答を2000タップで打ち切って使用した。収音信号は2チャネルとした。逆フィルタのフィルタ長は1500タップに設定した。相関関数を算出するときには、20秒の収音信号を使用し、相関関数の補正関数f(τ)には式(41)を用い半減期が300msになるように設定した。
図7の横軸は時間[ms]、縦軸は減衰量[dB]である。従来の残響除去方法で得た残響特性を破線、この発明を実線で示す。従来の残響除去方法は、初期残響を10dB以上効果的に抑えているが、後部の残響の減衰は穏やかである。一方、この発明の残響除去方法によれば、残響曲線は一定の傾向で減衰し、140ms時点では従来法よりも約20dB多く残響が減衰している。このように、この発明の残響除去方法は後部残響を効果的に抑えることが出来る。
図8に、この発明の残響除去装置300の機能構成例を示す。残響除去装置300は、上記した残響除去装置100の機能構成に相関関数補正部10の構成を追加したものである。また、逆フィルタ係数群計算部60が補正相関関数q ij(τ)から逆フィルタ係数群を計算する点で異なる。
相関関数補正部10を追加することで、ラグτの大きい相関関数の推定値の推定誤差が小さくなるため、より良い逆フィルタ係数ベクトルを求めることが可能になる。相関関数補正部10は実施例1と同じであり、逆フィルタ係数群計算部20は実施例1と同じである。よって、その説明は省略する。
また、音源信号が人の声のような有色信号では無く、白色信号であることが予め分かっている場合に、白色化フィルタ係数計算部90と白色化フィルタ911〜91Nを省略することが出来るのは、残響除去装置100と同じである。図9に、白色化フィルタ係数計算部と白色化フィルタ911〜91Nを省略した残響除去装置300′の機能構成例を示す。
図10に、残響除去装置300′と残響除去装置200′で求めた残響特性を示す。シミュレーションの条件は上記した図7と同じである。残響除去装置300′で求めた残響特性を実線で、残響除去装置200′で求めた残響特性を破線で示す。残響除去装置300′ではD=5を使用した。残響除去装置300′の方が、初期の減衰量が約3dB大きい。又、10〜50msの範囲においてより減衰量が大きく残響除去装置300′の方が効果的に後部残響を減じていることが分かる。このように、この発明の残響除去方法は、後部残響を従来法よりも効果的に抑圧することを可能にする。
なお、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
なお、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
また、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD(Digital Versatile Disc)、DVD−RAM(Random Access Memory)、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)等を、光磁気記録媒体として、MO(Magneto Optical disc)等を、半導体メモリとしてEEP−ROM(Electronically Erasable and Programmable-Read Only Memory)等を用いることができる。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
Claims (10)
- Nチャネル(Nは2以上の自然数)収音信号の信号間の相関関数を計算する相関関数計算過程と、
上記相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延0〜D(D≧1)のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する逆フィルタ係数群計算過程と、
上記逆フィルタ係数群を相関関数計算に用いた上記Nチャネル収音信号に適用する逆フィルタ群処理過程と、
上記逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する最終逆フィルタ係数算出過程と、
上記最終逆フィルタ係数を上記Nチャネル収音信号に適用する最終逆フィルタ処理過程と、
を備える残響除去方法。 - 請求項1に記載した残響除去方法において、
更に、
上記相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正過程を含み、
上記逆フィルタ係数群計算過程は、上記補正相関関数から相関行列を生成して逆フィルタ係数群を算出する過程であることを特徴とする残響除去方法。 - 請求項2に記載した残響除去方法において、
上記単調減少となる関数は、推定誤差の分散の平方根値を分散の真値で除した値に比例定数を乗じて1を加えた値の逆数で表されることを特徴とする残響除去方法。 - 請求項1乃至5の何れかに記載した残響除去方法において、
更に、
上記Nチャネル(Nは2以上の自然数)収音信号を白色化する白色化フィルタ係数計算過程と、
上記Nチャネル収音信号に上記白色化フィルタ係数を適用する白色化フィルタ過程と、
を備え上記相関関数計算過程は、Nチャネルの白色化フィルタ出力信号の相関関数を計算する過程であることを特徴とする残響除去方法。 - Nチャネル(Nは2以上の自然数)収音信号の信号間の相関関数を計算する相関関数計算部と、
上記相関関数から相関行列を生成して逆フィルタ係数として、相関行列に掛けると音源に最も近接するマイクロホンのチャネルについては遅延0〜D(D≧1)のインパルスが得られ、その他のチャネルについてはゼロベクトルになるベクトルD+1本を算出する逆フィルタ係数群計算部と、
上記逆フィルタ係数群を相関関数計算に用いた上記Nチャネル収音信号に適用する逆フィルタ群処理部と、
上記逆フィルタ係数群を適用した信号から最終逆フィルタ係数を算出する最終逆フィルタ係数算出部と、
上記最終逆フィルタ係数を上記Nチャネル収音信号に適用する最終逆フィルタ処理部と、
を備える残響除去装置。 - 請求項8に記載した残響除去装置において、
更に、
上記相関関数を、ラグについて単調減少となる関数で補正した補正相関関数を生成する相関関数補正部を備え、
上記逆フィルタ係数群計算部は、上記補正相関関数から相関行列を生成して逆フィルタ係数群を算出するものであることを特徴とする残響除去装置。 - 請求項1乃至7の何れかに記載した残響除去方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010192419A JP2012048134A (ja) | 2010-08-30 | 2010-08-30 | 残響除去方法とその装置とプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010192419A JP2012048134A (ja) | 2010-08-30 | 2010-08-30 | 残響除去方法とその装置とプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012048134A true JP2012048134A (ja) | 2012-03-08 |
Family
ID=45903042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010192419A Pending JP2012048134A (ja) | 2010-08-30 | 2010-08-30 | 残響除去方法とその装置とプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012048134A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014097470A1 (ja) * | 2012-12-21 | 2014-06-26 | Toa株式会社 | 残響除去装置 |
CN115604614A (zh) * | 2022-12-15 | 2023-01-13 | 成都海普迪科技有限公司(Cn) | 采用吊装麦克风进行本地扩声和远程互动的系统和方法 |
-
2010
- 2010-08-30 JP JP2010192419A patent/JP2012048134A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014097470A1 (ja) * | 2012-12-21 | 2014-06-26 | Toa株式会社 | 残響除去装置 |
CN115604614A (zh) * | 2022-12-15 | 2023-01-13 | 成都海普迪科技有限公司(Cn) | 采用吊装麦克风进行本地扩声和远程互动的系统和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6389259B2 (ja) | マイクロホンアレイを使用した残響音の抽出 | |
US8971548B2 (en) | Motor noise reduction circuit | |
US10403300B2 (en) | Spectral estimation of room acoustic parameters | |
KR101834913B1 (ko) | 복수의 입력 오디오 신호를 잔향제거하기 위한 신호 처리 장치, 방법 및 컴퓨터가 판독 가능한 저장매체 | |
JP5620689B2 (ja) | 残響抑圧装置及び残響抑圧方法 | |
JP6987075B2 (ja) | オーディオ源分離 | |
KR102076760B1 (ko) | 다채널 마이크를 이용한 칼만필터 기반의 다채널 입출력 비선형 음향학적 반향 제거 방법 | |
GB2571371A (en) | Signal processing for speech dereverberation | |
JP6225245B2 (ja) | 信号処理装置、方法及びプログラム | |
JP2015037239A (ja) | 残響抑圧装置とその方法と、プログラムとその記録媒体 | |
JP2009044588A (ja) | 特定方向収音装置、特定方向収音方法、特定方向収音プログラム、記録媒体 | |
JP6517124B2 (ja) | 雑音抑圧装置、雑音抑圧方法、およびプログラム | |
JP2012048134A (ja) | 残響除去方法とその装置とプログラム | |
JP5942388B2 (ja) | 雑音抑圧用係数設定装置、雑音抑圧装置および雑音抑圧用係数設定方法 | |
JP2012048133A (ja) | 残響除去方法とその装置とプログラム | |
JP2013113866A (ja) | 残響除去方法、残響除去装置、プログラム | |
JP2024526679A (ja) | 発話向上のためのデータ増強 | |
KR101096091B1 (ko) | 음성 분리 장치 및 이를 이용한 단일 채널 음성 분리 방법 | |
JP2018191255A (ja) | 収音装置、その方法、及びプログラム | |
JP5815614B2 (ja) | 残響抑圧装置とその方法と、プログラムとその記録媒体 | |
JP2015155982A (ja) | 音声区間検出装置、音声認識装置、その方法、及びプログラム | |
JP5172797B2 (ja) | 残響抑圧装置とその方法と、プログラムと記録媒体 | |
JP5325134B2 (ja) | 反響消去方法、反響消去装置、そのプログラムおよび記録媒体 | |
US20240214729A1 (en) | Apparatus and method for narrowband direction-of-arrival estimation | |
JP2002261659A (ja) | 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体 |