JP2011259398A - 耐雑音直間比推定装置、干渉雑音除去装置、遠近判定装置、音源距離測定装置と、各装置の方法と、装置プログラム - Google Patents

Abstract

【課題】雑音が重畳しても直間比を精度よく推定する。
【解決手段】直間比推定部は、空間相関行列算出手段と、信号パワー推定手段と、直間比算出手段と、を具備する。空間相関行列算出手段は、複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する。信号パワー推定手段は、予め与えられるマイクロホンの配置情報と、空間相関行列とから直接音のパワーと残響音のパワーと雑音のパワーとで構成されるベクトルを求め、そのベクトル要素の内の直接音のパワーと残響音のパワーを出力する。直間比算出手段は、直接音のパワーを残響音のパワーで除した直間比を算出する。
【選択図】図４

Description

この発明は、例えば、音声通話や、音声入力によって機器を操作するハンズフリー方式等に応用でき、マイクロホンから特定の距離範囲内に位置する音源の音だけを強調して収音する際に用いられる耐雑音直間比推定装置、干渉雑音除去装置、遠近判定装置、音源距離測定装置、各装置の方法と各装置プログラムに関する。

従来、音源との距離を識別し特定の距離範囲にある音源からの音だけを強調若しくは抑圧する目的で、マイクロホンから受信した信号から、直接音と残響音のそれぞれのパワーを推定して直間比を求める考えがある（例えば、非特許文献１）。図面を参照して従来の直間比推定装置が直間比を求める考えを説明する。

図１に直間比推定装置を利用する場面を例示する。小型マイクロホンアレー１１を、例えば４人の発話者１２〜１４が取り囲んで会議をしている場面を想定する。その会議室内には、テレビ１６、電話１７、館内放送用のスピーカ１８が配置されているものとする。このような場面において、館内放送の音声や、電話の音等を収音せずに、小型マイクロホンアレー１１を中心として所定の距離範囲内（破線で示す円内）に位置する発話者１２〜１４の発話だけを収音したい。

マイクロホンアレーから音源までの距離を見分けるために、受信音に含まれる直接音と間接音（残響音）との比（以降、直間比と称する）に着目する。図２に屋内にマイクロホンを置いて音を収録した際の、音源２１からマイクロホン２２までの音の伝搬経路を示す。直接音とは、音源２１からマイクロホンまで直接到達する太い実線で示す音波である。一方の残響音とは、音源２１から発した音が壁や床や天井などで反射してからマイクロホン２２に到達する破線で示す音波である。

図３に直間比とマイクロホン間距離との関係を示す。図３の横軸はマイクロホンから音源までの距離、縦軸は直間比である。一般的に間接音はマイクロホンからの距離に依存しない一定の大きさを示す。その間接音に対して直接音は、マイクロホンからの距離の増加に伴って単調に減少する特性を示す。その直接音を間接音で除した直間比は、直接音と同様に距離の増加に伴って単調に減少する特性になる。

従来の直間比推定装置は、受信音からこの直間比を推定し、音源のマイクロホンアレーからの距離を推定することができる。

Y.Hioka, K.Niwa, S.Sakauchi, K.Furuya, and Y.Haneda. Estimating direct-to-reverberant energy ratio based on spatial correlation model segregating direct sound and reverberation. Proceedings of 2010 IEEE International Conference of Acoustics, Speech and Signal Processing(ICASSP2010), pages 149-152, 2010. 日岡裕輔，阪内澄宇，古家賢一，羽田陽一，"受音信号の直間比に基づく距離別収音の検討"，日本音響学会平2009年秋季研究発表会，pp.633-634

しかし、一般にマイクロホンで収音した信号には、直接音と残響音の他に、各マイクロホン固有の雑音が重畳される。上記した従来の方法では雑音が考慮されておらず、雑音レベルが大きい場合に直間比の推定精度が劣化する課題がある。

この発明は、このような問題点に鑑みてなされたものであり、雑音による直間比推定精度の劣化を防ぎ、雑音が存在しても高い精度で直間比を推定することができる耐雑音直間比推定装置と、それを用いた干渉雑音除去装置、遠近判定装置、音源距離測定装置と、各装置の方法と、装置プログラムを提供することを目的とする。

この発明の耐雑音直間比推定装置は、複数の周波数領域変換部と、直間比推定部とを備える。複数の周波数領域変換部は、複数のマイクロホンで受音された受音信号を周波数領域の信号に変換する。直間比推定部は、空間相関行列算出手段と、信号パワー推定手段と、直間比算出手段と、を具備する。空間相関行列算出手段は、複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する。信号パワー推定手段は、予め与えられるマイクロホンの配置情報と、受信音から算出される空間相関行列とから直接音のパワーと残響音のパワーと雑音のパワーとで構成されるベクトルを求め、そのベクトル要素の内の直接音のパワーと残響音のパワーを出力する。直間比算出手段は、直接音のパワーを残響音のパワーで除した直間比を算出する。

また、この発明の干渉雑音除去装置等は、この発明の耐雑音直間比推定装置を含むものであって、その他に１個のマイクロホンアレーと、処理対象信号生成部と、対象信号調整部と、逆周波数領域変換部と、を具備する。

この発明の耐雑音直間比推定装置は、直間比推定を行う際に利用するマイクロホン間相互相関の情報に、雑音が持つ相互相関のモデルを新たに追加して信号のパワーを求める。これにより、直接音、残響音、雑音の３つの成分のパワーを別々に推定することが可能であり、直間比の推定精度を向上させることができる。

また、この発明の干渉雑音除去装置は、雑音のある環境でもマイクロホンに近い音源の音を強調し、遠い音源からの音を除去することができる。

従来の直間比推定装置を利用する場面の一例を示す図。 屋内での音の伝搬経路を示す図。 直間比とマイクロホン間距離との関係を示す図。 この発明の耐雑音直間比推定装置１００の機能構成例を示す図 耐雑音直間比推定装置１００の動作フローを示す図。 この発明の干渉雑音除去装置２００の機能構成例を示す図。 干渉雑音除去装置２００の動作フローを示す図。 処理対象信号生成部４３の機能構成例を示す図。 この発明の遠近判定装置３００の機能構成例を示す図。 この発明の音源距離推定装置４００の機能構成例を示す図。 この発明の干渉雑音除去装置５００の機能構成例を示す図。 等間隔配置のマイクロホンアレーの例を示す図。 小アレーを移動させる概要を示す図。 効果確認実験の実験条件を示す図。 ＳＮＲ：１０ｄＢのときに従来方法とこの発明の方法で求めた直間比を示す図。 ＳＮＲ：２０ｄＢのときに従来方法とこの発明の方法で求めた直間比を示す図。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。また、以下の説明において、テキスト中で使用する記号「￣」や「＾」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。

図４にこの発明の耐雑音直間比推定装置１００の機能構成例を示す。その動作フローを図５に示す。耐雑音直間比推定装置１００は、複数の周波数領域変換部４２₁〜４２_Mと、直間比推定部４４とから成る。複数の周波数領域変換部４２₁〜４２_Mのそれぞれには、マイクロホンアレー４１を構成する複数のマイクロホンｍ₁〜ｍ_Mで受音された受音信号が入力される。直間比推定部４４は、空間相関行列算出手段４４１と、信号パワー推定手段４４２と、直間比算出手段４４３と、を具備する。耐雑音直間比推定装置１００の各部と各手段とは、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

複数の周波数領域変換部４２₁，…，４２_Mは、複数のマイクロホンｍ₁，…ｍ_Mで受音された受音信号ｘ_m（ｎ）を周波数領域の信号に変換する（ステップＳ４２）。周波数領域変換部４２₁，…，４２_Mは、受音信号ｘ_m（ｎ）を、例えばサンプリング周波数１６ｋＨｚでサンプリングしてディジタル信号に変換し、例えば２５６個のサンプルを１フレームとして、それぞれのフレームにおいて離散フーリエ変換を行い周波数成分Ｘ_m（ω，ｌ）を出力する（ステップＳ４２）。ωは周波数、ｌはフレーム番号である。なお、受音信号ｘ_m（ｎ）をディジタル信号に変換するＡ/Ｄ変換器は省略している。

空間相関行列算出手段４４１は、複数の周波数領域変換手段４２₁，…，４２_Mが出力する周波数領域の信号Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）を入力として、周波数領域の信号Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）をベクトル化し、その入力信号を用いて式（１）に示す空間相関行列Ｒ（ω，ｌ）を算出する（ステップＳ４４１）。

ここでＴは行列の転置、Ｈは共役転置を、Ｌは平均を求めるフレームの数を表す。空間相関行列Ｒ（ω，ｌ）は、信号パワー推定手段４４２に入力される。

信号パワー推定手段４４２は、空間相関行列算出手段４４１が出力する空間相関行列Ｒ（ω，ｌ）の各成分Ｒ_ij（ω，ｌ）と、予め与えられているマイクロホンアレーのマイクロホン配置と、音源の方向より与えられる行列Ｒ_d（ω）（式（３））と、行列Ｒ_r（ω）（式（４））と行列Ｒ_ｎ（ω）（式（５））の各成分、ｄ_ij（ω）と、ｒ_ij（ω）と、n _ij（ω）と、のそれぞれで構成される式（６）に示す行列Ａ（ω）と、式（７）に示すＢ（ω）を用いる。行列Ｒ_ｎ（ω）（式（５））はＭ×Ｍの単位行列である。

ここで、Ｄ_mnはｍ番目のマイクロホンとｎ番目のマイクロホンの距離、θはマイクロホンアレーの正面から見た音源の方向である。ここでは、マイクロホンアレーの形状は直線配置とし、マイクロホンアレーの正面とはマイクロホンの並ぶ直線の法線方向を意味する。

そして、式（８）に示す連立方程式を立て、これを解くことで直接音のパワーＰ_d（ω，ｌ）と残響音のパワーＰ_r（ω，ｌ）と雑音のパワーＰ_ｎ（ω，ｌ）で構成されるベクトルＰ（ω，ｌ）（式（９））を求め、直接音パワーＰ_d（ω，ｌ）と残響音パワーＰ_r（ω，ｌ）を出力する。

なお、マイクロホンアレーの配置が直線以外の配置の場合の行列Ｒ_d（ω）は、より一般的な式（１０）に示す形式で表せる。

ここでＤ_mn（θ）￣は、角度θ°方向から見たときのｍ番目のマイクロホンとｎ番目のマイクロホンの距離差を表す。また、式（８）の連立方程式の解の導出は、例えば式（１２）に示すようにＡ（ω）の擬似逆行列Ａ^＋（ω）（式（１１））を、Ｂ（ω，ｌ）の左から掛ける方法で行われる。

直間比算出手段４４３は、直接音パワーＰ_d（ω，ｌ）と残響音パワーＰ_r（ω，ｌ）より、式（１３）によって直間比Ｅ_R（ｌ）を算出して出力する。

この実施例１の方法は、雑音のパワーを除いて直接的に直間比を求めるので、正確な直間比の推定が可能である。この耐雑音直間比推定装置１００は、干渉雑音除去装置に利用することができる。図６に、耐雑音直間比推定装置１００を含む干渉雑音除去装置２００の機能構成例を示す。その動作フローを図７に示す。

干渉雑音除去装置２００は、１個のマイクロホンアレー４１と、耐雑音直間比推定装置１００と、処理対象信号生成部４３と、対象信号調整部４５と、逆周波数領域変換部４６と、を具備する。耐雑音直間比推定装置１００は、複数の周波数領域変換部４２₁，…，４２_Mと直間比推定部４４を備える図４で説明済みのものと同じものである。マイクロホンアレー４１を除く各機能構成部は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

マイクロホンアレー４１は複数のマイクロホンｍ₁，…ｍ_Mから成る。複数の周波数領域変換部４２₁，…，４２_Mは、複数のマイクロホンｍ₁，…ｍ_Mで受音された受音信号ｘ_m（ｎ）がそれぞれ入力され、各受音信号を周波数領域の信号に変換する（ステップＳ４２）。

処理対象信号生成部４３は、複数の周波数領域変換部４２₁，…，４２_Mが出力する周波数領域の信号Ｘ_m（ω，ｌ）を合成して処理対象信号Ｙ（ω，ｌ）を生成する（ステップＳ４３）。耐雑音直間比推定装置１００は、上記したのと同じ動作を行い直間比Ｅ_R（ω，ｌ）を算出して出力する（ステップＳ４４）。ただし、ここで述べる干渉雑音除去装置では、直間比として式（１３）の分母と分子における総和演算を除いた式（１４）を使用する。

対象信号調整部４５は、処理対象信号Ｙ（ω，ｌ）と、直間比Ｅ_R（ω，ｌ）を入力としてその値に応じて処理対象信号Ｙ（ω，ｌ）の振幅を調整した処理後信号Ｚ（ω，ｌ）を生成する（ステップＳ４５）。

逆周波数領域変換部４６は、処理後信号Ｚ（ω，ｌ）を時間領域の信号ｚ（ｎ）に変換する（ステップＳ４６）。ステップＳ４２〜ステップＳ４６までの動作は、全ての受音信号ｘ_m（ｎ）が終了するまで継続される。

ここで、直間比Ｅ_R（ω，ｌ）の値に応じて調整とは、Ｅ_R（ω，ｌ）の閾値処理や、その値が大きいほど処理後信号Ｚ（ω，ｌ）の振幅を大きくする処理や、その値が大きいほど処理後信号Ｚ（ω，ｌ）の振幅を小さくする等の処理を含む。詳しくは後述する。

以上の動作により、１個のマイクロホンアレーによって、例えば、特定の距離範囲にある音だけを強調し、その範囲外の音は抑圧して収音する雑音除去が行われる。以降、各部のより具体的な機能構成例を示して更に詳しくこの発明を説明する。

〔処理対象信号生成部〕
図８に処理対象信号生成部４３のより具体的な機能構成例を示す。処理対象信号生成部４３は、複数の重み乗算手段４３１₁〜４３１_Mと、加算手段４３２を備える。複数の重み乗算手段４３１₁〜４３１_Mは、Ｍ個のマイクロホンで受音した複数の受音信号ｘ_m（ｎ）の、それぞれの周波数成分Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）に重み係数ｗ_m（ω）を乗ずる。

重み乗算手段４３１₁〜４３１_Mで使用する重みには、例えばＭ個のマイクロホンが無指向性の場合にはｗ_m＝１/Ｍとすることで全ての周波数成分Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）の平均を取ることで、処理対象信号Ｙ（ω，ｌ）を安定化させる。また、Ｍ個のマイクロホンが指向性を持つ場合には、ｗ₁＝１，ｗ_m＝０（ｍ＝{２，…，Ｍ}）とすることで、特定のマイクロホンの信号だけを使用することができる。例えば、参考文献「大賀、山崎、金田著、“音響システムとディジタル信号処理”電子情報通信学会発行」に記載されているような方法を利用して、重みビームフォーミングのフィルタ係数を使用すれば、マイクロホンアレーで任意の指向性を形成することもできる。

加算手段４３２は、重みが乗ぜられた全ての周波数成分Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）を加算して処理対象信号Ｙ（ω，ｌ）を出力する。

〔対象信号調整部〕
対象信号調整部４５は、例えば、フィルタ係数算出手段４５１と、乗算手段４５２とで構成できる（図６）。フィルタ係数算出手段４５１は、直間比Ｅ_R（ω，ｌ）を入力としてフィルタ係数Ｇ（ω，ｌ）を算出して出力する。フィルタ係数Ｇ（ω，ｌ）の算出には、例えば式（１５）に示すように閾値を用いた２値のフィルタなどが用いられる。

なお、閾値Ｔｈは、直間比Ｅ_R（ω，ｌ）の最小値と最大値の間の任意の値が設定できる。閾値Ｔｈを最小値（０）に近づけると音質は向上する。逆に閾値Ｔｈを最大値に近づけると雑音抑圧効果は高めるが受音信号の歪みが大きくなり音質が劣化する。

このように閾値Ｔｈは、音質と雑音抑圧との関係でトレードオフの関係を持つ。よって、閾値Ｔｈは、このトレードオフの関係を考慮した上で、利用目的に応じて経験的に決定される。

また、フィルタ係数Ｇ（ω，ｌ）の算出に際して式（１６）に示すように、直間比の値が閾値Ｔｈ₂を下回る時間周波数帯域を強調するようにすれば、特定の距離範囲より遠くの音源を強調することができる。

なお、フィルタ係数Ｇ（ω，ｌ）の例として０か１の２値のフィルタを挙げたが、フィルタ係数Ｇ（ω，ｌ）は必ずしも０と１である必要はなく、例えば、０.１と０.９のように十分異なる値であれば良い。

また、フィルタ係数Ｇ（ω，ｌ）には、１以上の実数を設定するようにしても良い。つまり、処理対象信号Ｙ（ω，ｌ）を増幅するようにしても良い。また、０.１以下の値に設定して処理対象信号Ｙ（ω，ｌ）を大きく抑圧するようにしても良い。

このようにして求めたフィルタ係数Ｇ（ω，ｌ）が、乗算手段４５２において、処理対象信号Ｙ（ω，ｌ）に乗じて処理後信号Ｚ（ω，ｌ）＝Ｇ（ω，ｌ）・Ｙ（ω，ｌ）が生成される。よって、処理後信号Ｚ（ω，ｌ）を、直間比Ｅ_R（ω，ｌ）の大きな処理対象信号Ｙ（ω，ｌ）のみで構成することができる。つまり、直接音のみを抽出することができる。

この発明の実施例２として、実施例１で述べた直間比Ｅ_R（ｌ）を用いて音源の遠近を判定する遠近判定装置３００を説明する。図９に遠近判定装置３００の機能構成例を示す。遠近判定装置３００は、マイクロホンアレー４１と、耐雑音直間比推定装置１００と、遠近判定部１２１と、を備える。マイクロホンアレー４１と、耐雑音直間比推定装置１００は、干渉雑音除去装置２００のものと同じである。遠近判定装置３００も、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現される。

遠近判定装置３００は、複数の異なる距離にある音源が異なる時刻に発音するときに、ある時刻に受音された音の音源が遠くにあるのか近くにあるのかを判定するものである。遠近判定装置３００を構成する遠近判定部１２１は、蓄積手段１２１１と、判定手段１２１２と、を備える。

蓄積手段１２１１は、直間比Ｅ_Rを過去Ｌ時間フレーム分蓄積して、比較対象直間比Ｅ＾を出力する。比較対象直間比Ｅ＾には、例えば蓄積された直間比Ｅ_R（ｌ）の平均値Ｅ＾＝１/ＬΣ_l ^LＥ_R（ｌ）や、最小値と最大値の平均値Ｅ＾＝１/２（maxＥ_R（ｌ）+minＥ_R（ｌ））等が用いられる。

判定手段１２１２は、直間比Ｅ_R（ｌ）と、比較対象直間比Ｅ＾を比較して、Ｅ_R（ｌ）＞Ｅ＾の時には遠近判定結果Ｙ_lに距離が近いことを表す例えば１を、Ｅ_R（ｌ）＜Ｅ＾の時には遠近判定結果Ｙ_lに距離が遠いことを表す例えば０を出力する。この遠近判定結果Ｙ_lは、直近の過去Ｌ時間分の受音信号が、比較的近い音源からの音であるか、又は、比較的遠い音源からの音であるかを表すものである。

この遠近判定結果Ｙ_lを用いることで、逐次入力される受音信号を、マイクロホンとその音源間との距離によって切り分けることが可能である。つまり、複数の音源の音を、マイクロホンからの距離に応じて選択することができる。

図１０にこの発明の音源距離測定装置４００の機能構成例を示す。音源距離測定装置４００は、１個のマイクロホンアレー４１と、耐雑音直間比推定装置１００と、距離−直間比データベース（以降、距離−直間比ＤＢと称する）４５と、距離判定部４６と、を具備する。耐雑音直間比推定装置１００は、複数の周波数領域変換部４２₁，…，４２_Mと直間比推定部４４を含む。マイクロホンアレー４１を除く各機能構成部は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

マイクロホンアレー４１は複数のマイクロホンｍ₁，…ｍ_Mから成る。複数の周波数領域変換部４２₁，…，４２_Mは、複数のマイクロホンｍ₁，…ｍ_Mで受音された受音信号ｘ_m（ｎ）がそれぞれ入力され、各受音信号を周波数領域の信号に変換する。周波数領域変換部４２₁，…，４２_Mは、フレーム毎に離散フーリエ変換を行い周波数成分Ｘ_m（ω，ｌ）を出力する。

直間比推定部４４は、複数の周波数領域変換部４２₁，…，４２_mが出力する周波数領域の信号Ｘ_m（ω，ｌ）を入力として受音信号の直間比Ｅ_Rを推定する。

距離−直間比ＤＢ４５は、直間比Ｅ_Rとマイクロホンアレーと音源との距離との関係を記録している。距離判定部４５は、直間比を入力として距離−直間比ＤＢ４４を参照してその直間比と対応する音源距離推定値ｄ＾を推定する。

受音信号の中には、特定の周波数帯域に成分が集中しているものもある。そのような受音信号の直間比Ｅ_Rを、直間比算出手段４４３で算出した場合、直間比Ｅ_Rの推定精度は劣化してしまう。

そこで、式（１７）に示すように、特定の周波数領域Ωにおける直間比Ｅを算出する直間比算出手段４４３′（図４）を用いることで、直間比の推定精度を向上させることが出来る。

ここで周波数領域Ωは、例えば信号成分の集中する周波数帯域を選択するなどして決定される。例えば、任意のｍ番目のマイクロホンに接続された周波数領域変換部４２_mの出力Ｘ_m（ω,ｌ）のうち、式（１８）に示す様にＸ_m（ω,ｌ）の絶対値が予め設定された閾値Ｐ_thより大きい値を持つ周波数ωを選んだり、Ｘ_m（ω,ｌ）の絶対値が大きい方からＫ番目までの周波数ωを選ぶことで決定される。

ここで、Ｐ_thは、例えば｜Ｘ_m（ω,ｌ）｜の全周波数の平均値などが用いられる。

図１１に、この発明の干渉雑音除去装置５００の機能構成例を示す。干渉雑音除去装置５００は、実施例１で述べた耐雑音直間比推定装置１００と、処理対象信号生成部７２と、対象信号調整部７３と、逆周波数領域変換部７４と、を具備する。

処理対象信号生成部７２は、耐雑音直間比推定装置１００内の複数の周波数領域変換部４２₁〜４２_Mが出力する周波数領域の信号Ｘ_m（ω，ｌ）を入力として処理対象信号Ｘ（ω，ｌ）を出力する。処理対象信号Ｘ（ω，ｌ）は、周波数領域の信号Ｘ_m（ω，ｌ）を例えば図示しない加算手段等で合成したものである。加算する前に、各周波数領域の信号Ｘ_m（ω，ｌ）に、重みを乗じる様にしても良い。

対象信号調整部７３は、耐雑音直間比推定装置１００が出力する直間比Ｅ（ω）と、処理対象信号生成部７２が出力する処理対象信号Ｘ（ω，ｌ）を入力として、処理対象信号Ｘ（ω，ｌ）の振幅を調整した処理後信号Ｙ（ω，ｌ）を生成する。逆周波数領域変換部７４は、処理後信号Ｙ（ω，ｌ）を時間領域の信号ｙ（ｎ）に変換する。

対象信号調整部７３は、例えば、距離算出手段７２１、フィルタ形成手段７２２、乗算手段７２３、を備える。距離算出手段７２１は、マイクロホンアレー４１と音源との間の距離と、直間比Ｅ_R（ω，ｌ）との関係を示す関数式ｄ＝ｆ（Ｅ_R（ω，ｌ））を内蔵し、入力される直間比Ｅに応じた音源距離推定値ｄ＾を算出する。

フィルタ形成手段７２２は、式（１９）に示すように、音源距離推定値ｄ＾が、２つの大きさが異なる閾値ｄ_fとｄ_nの間の値を取る時間周波数成分を強調するように設定し、２つの距離区間内の帯状の領域にある音源だけを強調するフィルタを形成する。

ここで、Ｇ（ω，ｌ）のｌとωは、上記した直間比推定部４３の処理の内、空間相関行列算出手段４３１において式（１）で平均を行ったＬ個のフレーム及び直間比算出手段４４３において平均を行った周波数Ω（式（１７））に含まれる全ての周波数に対して、同じＧ（ω，ｌ）が乗算される。また、式（１９）においてＧ（ω，ｌ）の値は必ずしも１と０である必要は無く、例えば、０.９と０.１のように十分大きさが異なる値でも良い。

乗算手段７２３は、処理対象信号Ｘ（ω，ｌ）に、フィルタＧ（ω，ｌ）を乗じて処理後信号Ｙ（ω，ｌ）を生成する。したがって、処理後信号Ｙ（ω，ｌ）は、２つの距離区間内、つまり、マイクロホンアレー４１から特定の距離範囲に位置する音源の音声が、強調若しくは抑圧されたものとなる。この処理後信号Ｙ（ω，ｌ）は、逆周波数領域変換部７３で時間領域の信号ｙ（ｎ）に変換される。

上記した実施例の空間相関行列Ｒ（ω，ｌ）は、式（１）から明らかなように、フレーム数Ｌの平均値を元にしたものである。従って、音源の位置が移動する場合には、正確に直間比を求めることができない。そこで、音源の位置が移動する場合でも、正確に直間比を求めることができる耐雑音直間比推定装置６００を説明する。

この実施例では、例えば図１２に示すような等間隔配置のマイクロホンアレー１３０を利用する。この実施例による直間比推定部４４の機能構成は、図４に示したものと同じである。

信号パワー推定手段４４２′（図４）は、空間相関行列算出手段４４１′が出力する小空間相関行列Ｒ′（ω，ｌ）の各成分Ｒ′_i,j（ω，ｌ）と、予め与えられているマイクロホンアレーのマイクロホン配置と、音源の方向より与えられる行列Ｒ_d（ω）（式（３））と、行列Ｒ_r（ω）（式（４））と行列Ｒ_n（ω）（式（５））の各成分、ｄ_i,j（ω）と、ｒ_i,j（ω）と、ｎ_i,j（ω）より、それぞれ構成される式（２０）に示す行列Ａ（ω）と、式（２１）に示すＢ（ω，ｌ）を用いる。ここで、小空間相関行列Ｒ′（ω，ｌ）とは、小マイクロホンアレー毎に求めた空間相関行列の和で求まる行列である（式（２２））。

但し、Ｂ（ω，ｌ）の各成分であるＲ₁₁′（ω，ｌ），Ｒ₁₂′（ω，ｌ），Ｒ₂₁′（ω，ｌ），Ｒ₂₂′（ω，ｌ）は、式（２２）に示すＲ′（ω，ｌ）で求められる。

但し、

式（２２）と式（２３）は、図１３に示すように隣接するマイクロホンを２個ずつの小アレーとして移動した場合の空間相関行列の和で求まる小空間相関行列を算出する。つまり、隣接するマイクロホンを２個ずつ括った小アレーを移動（１３０ａ→１３０ｂ→ … →１３０ｇ）して空間相関行列の和を求める。マイクロホンの数をＭ′個とすると、式（２０）は式（２４）、式（２１）は式（２５）、式（２２）は式（２６）で表せる。

そして、式（８）に示す連立方程式を立て、これを解くことで直接音のパワーＰ_d（ω，ｌ）と残響音のパワーＰ_r（ω，ｌ）と雑音のパワーＰ_ｎ（ω，ｌ）で構成されるベクトルＰ（ω，ｌ）（式（９））を求め、直接音パワーＰ_d（ω，ｌ）と残響音パワーＰ_r（ω，ｌ）を出力する。

直間比算出手段４４３は、実施例１と全く同じ処理を行う。以上説明したように空間相関行列算出手段４４１′のように、小アレー毎に求めた空間相関行列の和で求まる小空間相関行列を算出することで、移動する音源に対しても正確な直間比を求めることができる。

なお、小アレーを構成するマイクロホンの数を２個の例で説明したが、その数はいくつでも良い。また、そのマイクロホンの配置も等間隔に直線配置されたリニアアレーに限定されない。長方形平面アレー、三角形平面アレー、直方体アレー等、一定規則で配列された複数のマイクロホンから成る小マイクロホンアレーの平行移動で重なる位置に、マイクロホンが設けられるマイクロホンアレーであれば何でも良い。

〔実験結果〕
この発明の効果を確認する目的で、音源２１から白色雑音が発せられたときにマイクロホンアレーで受音した信号を用いて直間比を推定し、従来方法と比較する実験を行った。

図１４にシミュレーション条件を示す。平面サイズが４×６ｍで、高さが２.７ｍの部屋を想定した。なお図１４は部屋を上から見た図である。８個のマイクロホンを半径６ｃｍの円状に配置したマイクロホンアレーを用いた。マイクロホンアレーは床から高さを１.５ｍの位置に配置した。そして円の中心軸から角度１０°の方向で、高さ１．５ｍの位置に音源２１を配置した。部屋の残響時間は約５５０ｍｓ、サンプリング周波数は１６ｋＨｚ、処理における１フレームの長さは５１２サンプルである。

図１５にＳＮＲ：１０ｄＢとした時、図１６にＳＮＲ：２０ｄＢとした時を示す。それぞれ（ａ）が従来方法、（ｂ）がこの発明である。横軸は距離（ｃｍ）、縦軸は直間比（ｄＢ）である。○実線が推定した直間比、●破線が正しい直間比を示す。

図１５と１６の（ａ）と（ｂ）を比較すると、どちらもこの発明の方が誤差が少ないことが分かる。例えばＳＮＲ：１０ｄＢ（図１５）の距離１０cmの音源に対する直間比の推定誤差は、従来技術が１０ｄＢであるのに対して本発明による耐雑音直間比推定装置では約５ｄＢである。また、雑音のパワーが１０分の１の関係にある図１５と１６とを比較すると、図１５（ｂ）と図１６（ｂ）との間にはほとんど差がないことが分かる。この結果は、この発明の方法が、重畳する雑音の大きさに影響を受け難いことを示している。このように、この発明による耐雑音直間比推定方法によればマイクロホンに無相関な雑音が重畳した場合でも精度よく直間比を推定する効果を奏する。

なお、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしても良い。また、上記装置及び方法を実装したマイクロホンアレーを２つ以上利用することで、干渉雑音除去システムなどを構築しても良い。

また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (9)

1. 複数のマイクロホンで受音された受音信号がそれぞれ入力され、上記受音信号を周波数領域の信号に変換する複数の周波数領域変換部と、上記周波数領域の信号を入力として直接音のパワーと残響音のパワーと雑音のパワーを求め、上記直接音のパワーを上記残響音のパワーで除した直間比を算出する直間比推定部とから成る耐雑音直間比推定装置であって、
   上記直間比推定部は、
   上記複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する空間相関行列算出手段と、
   予め与えられる上記マイクロホンの配置情報と、上記空間相関行列とから直接音のパワーと残響音のパワーと雑音のパワーとで構成されるベクトルを求め、そのベクトル要素の内の直接音のパワーと残響音のパワーを出力する信号パワー推定手段と、
   上記直接音のパワーを上記残響音のパワーで除した上記直間比を算出する直間比算出手段と、
   を具備する耐雑音直間比推定装置。
2. 請求項１に記載した耐雑音直間比推定装置を含む干渉雑音除去装置であって、
   上記複数の周波数領域変換部に受音された受音信号をそれぞれ入力する複数のマイクロホンから成るマイクロホンアレーと、
   上記複数の周波数領域変換部の出力する周波数領域の信号を合成して処理対象信号を生成する処理対象信号生成部と、
   上記処理対象信号と、上記直間比を入力として当該直間比が大きいほど上記処理対象信号の振幅を大きく調整した処理後信号を生成する対象信号調整部と、
   上記処理後信号を時間領域の信号に変換する逆周波数領域変換部と、
   を具備する干渉雑音除去装置。
3. 請求項１に記載した耐雑音直間比推定装置を含む干渉雑音除去装置であって、
   上記複数の周波数領域変換部に受音された受音信号をそれぞれ入力する複数のマイクロホンから成るマイクロホンアレーと、
   上記複数の周波数領域変換部の出力する周波数領域の信号を合成して処理対象信号を生成する処理対象信号生成部と、
   上記処理対象信号と、上記直間比を入力として当該直間比が小さいほど上記処理対象信号の振幅を大きく調整した処理後信号を生成する対象信号調整部と、
   上記処理後信号を時間領域の信号に変換する逆周波数領域変換部と、
   を具備する干渉雑音除去装置。
4. 請求項１に記載した耐雑音直間比推定装置を含み、遠近判定部を備えた遠近判定装置であって、
   上記遠近判定部は、
   上記直間比を、周波数方向に平均して周波数平均直間比を出力する周波数平均手段と、
   上記周波数平均直間比を過去の所定時間分のフレームを蓄積して、比較対象直間比を出力する蓄積手段と、
   上記周波数平均直間比と、上記比較対象直間比とを比較して遠近判定結果を出力する判定手段と、
   を具備する遠近判定装置。
5. 請求項１に記載した耐雑音直間比推定装置を含む音源距離測定装置であって、
   上記複数の周波数領域変換部に受音された受音信号をそれぞれ入力する複数のマイクロホンから成るマイクロホンアレーと、
   上記直間比と距離との関係を記録した距離−直間比データベースと、
   上記直間比を入力として上記距離−直間比データベースを参照して当該直間比と対応する音源距離推定値を推定する距離判定部と、
   を具備する音源距離測定装置。
6. 請求項５に記載した音源距離測定装置において、
   上記直接音のパワーと上記残響音のパワーと上記雑音のパワーのそれぞれが、特定の周波数領域における加算値であることを特徴とする音源距離測定装置。
7. 請求項１に記載した耐雑音直間比推定装置を含む干渉雑音除去装置であって、
   上記複数の周波数領域変換部が出力する周波数領域の信号を入力として処理対象信号を出力する処理対象信号生成部と、
   上記耐雑音直間比推定装置が出力する直間比と、上記処理対象信号とを入力として上記マイクロホンアレーから特定の距離範囲に位置する音源の音声を、強調若しくは抑圧した処理後信号を生成する対象信号調整部と、
   上記処理後信号を時間領域の信号に変換する逆周波数領域変換部と、
   を具備する干渉雑音除去装置。
8. 複数の周波数領域変換部が、複数のマイクロホンで受音された受音信号を周波数領域の信号に変換する周波数領域変換過程と、
   空間相関行列算出部が、上記複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する空間相関行列算出過程と、
   信号パワー推定部が、予め与えられる上記マイクロホンの配置情報と、上記空間相関行列とから直接音のパワーと残響音のパワーと雑音のパワーとで構成されるベクトルを求め、そのベクトル要素の内の直接音のパワーと残響音のパワーを出力する信号パワー推定過程と、
   直間比算出部が、上記直接音パワーを上記残響音パワーで除した上記直間比を算出する直間比算出過程と、
   を含む耐雑音直間比推定方法。
9. 請求項１に記載した耐雑音直間比推定装置、または、請求項２又は請求項３又は請求項７に記載した干渉雑音除去装置、または、請求項４に記載した遠近判定装置、または、請求項５又は６に記載した音源距離測定装置としてコンピュータを機能させるための装置プログラム。

Images