JP2009005261A - 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体 - Google Patents

Abstract

【課題】本発明の収音装置は、この課題を解決するためになされたもので、残響がある環境でも雑音抑圧性能を向上させ、収音される所望信号の音質を向上させることを目的とする。
【解決手段】本発明の収音装置は、６つの収音部、処理対象信号生成部、パワースペクトル推定部、残響スペクトル推定部、利得係数算出部、乗算部を備える。処理対象信号生成部は、あらかじめ定めた１つ以上のマイクロホンまたは収音部からの信号から、処理対象信号を生成する。パワースペクトル推定部は、各収音部で得られた各収音信号と残響音の信号量から、残響信号を除去した所望音源の信号量と、その他の音源の信号量とを周波数ごとに推定する。残響スペクトル推定部は、パワースペクトル推定部が推定した所望音源の信号量とその他の音源の信号量から、残響音の信号量を周波数ごとに求める。
【選択図】図８

Description

本発明は音声通話や機器の操作などハンズフリー方式で音声を収音する収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体に関し、特にとらえたい音声を発する所望音源以外の雑音源が多数存在する場合に大きく関係する。

多数の背景雑音が存在する環境でのハンズフリーマイクを想定し、特定位置にある所望音源を強調する手法として、複数のビームフォーマー出力から所望音パワーを推定し、強調する方法が提案されている（非特許文献１）。
日岡裕輔、小林和則、古家賢一、片岡章俊、"小型マイクロホンアレー対を用いた特定位置にある音源の強調"、日本音響学会2006年春季研究発表会講演論文集、pp.621-622、2006．

非特許文献１の技術では残響の影響を考慮していないため、一般的な室内のように残響が存在する環境では、雑音抑圧性能が理論上の性能よりも低下してしまう。特に、残響が多い環境では、さらに雑音抑圧性能の低下が著しい。したがって、収音された所望の音の品質が劣化することになる。
本発明の収音装置は、この課題を解決するためになされたもので、残響がある環境でも雑音抑圧性能を向上させ、収音される所望信号の音質を向上させることを目的とする。

本発明の収音装置は、６つ以上の収音部と、処理対象信号生成部と、パワースペクトル推定部と、残響スペクトル推定部と、利得係数算出部と、乗算部とを備える。６つ以上の収音部は、複数のマイクロホンを搭載して構成されるマイクロホンアレーの出力信号を利用して、それぞれ異なる領域の音を収音する。ここで、「それぞれ異なる」とは、一致しないことを言い、重複する部分があってもよい。パワースペクトル推定部は、各収音部で得られた各収音信号と残響音の信号量から、残響信号を除去した所望音源の信号量と、その他の音源の信号量とを周波数ごとに推定する。残響スペクトル推定部は、パワースペクトル推定部が推定した所望音源の信号量とその他の音源の信号量から、残響音の信号量を周波数ごとに求める。利得係数算出部は、所望音源の信号量と、所望音源の信号量を含む全ての音源の信号量との比から周波数ごとに利得係数を求める。乗算部は、利得係数算出部で算出した利得係数を処理対象信号に乗算する。

例えば、６つの収音部（第１収音部〜第６収音部）を備える場合には、第１及び第２収音部は、複数のマイクロホンを搭載して構成されるマイクロホンアレーの出力信号を利用して互いに異なる位置から所望音源位置を含む角度領域の音を収音する。第３及び第４収音部は、マイクロホンアレーの出力信号を利用して互いに異なる位置から前記所望音源位置を含まない角度領域の音を収音する。第５収音部は、互いに異なる位置の中間点から所望音源位置を含む角度領域の音を収音する。第６収音部は、中間点から所望音源位置を含まない角度領域の音を収音する。処理対象信号生成部は、あらかじめ定めた１つ以上のマイクロホンまたは収音部からの信号から、処理対象信号を生成する。

または、例えば、第１及び第２収音部は、複数のマイクロホンを搭載して構成されるマイクロホンアレーの出力信号を利用して互いに異なる位置から、所望音源位置を含まない角度領域の一部の音を抑圧して収音する。第３及び第４収音部は、マイクロホンアレーの出力信号を利用して互いに異なる位置から、所望音源位置を含む角度領域の音を抑圧して収音する。第５及び第６収音部は、マイクロホンアレーの出力信号を利用して互いに異なる位置から、所望音源位置を含まない角度領域であって、第１及び第２収音部とは異なる一部の音を抑圧して収音する。

なお、残響スペクトル推定部は、所望音源の信号量とその他の音源の信号量を、収音部ごとの信号量に変換するゲイン行列乗算部と、収音部ごとの信号量を記録し、複数の過去の収音部ごとの信号量を重み付き加算する重み付き加算部とを備えればよい。

本発明の収音装置によれば、残響音の信号量を求め、残響音の信号量を引いた収音信号から所望音源の信号量を求めるので、残響が存在する環境でも雑音抑圧性能を向上することができる。また、高品質な収音が可能となる。

図１に本発明の利用状況の一例を示す。２つの小規模マイクロホンアレー３Ｌ、３Ｒをある程度（例えばマイクロホンアレー３Ｌ、３Ｒと所望音源１までの距離と同程度の距離）離れた異なる位置に配置し、それぞれマイクロホンで受音された信号に対して以下で説明する処理を行なう。以下に説明する処理を行なうことにより所望音源１の音が強調されて収音され、背景雑音源２の音は抑圧される。
本発明について説明する前に、まず、未公開の特許出願（特願２００６−５２５０２）で示された技術を説明する。図２に特願２００６−５２５０２の収音装置の全体の構成を示す。この図２を用いて収音装置の概要を説明する。マイクロホンアレー３Ｌの各マイクロホンで生成された各受音信号は、この例では第１収音部４−１と第３収音部４−３に入力される。更に、マイクロホンアレー３Ｒの各マイクロホンで生成された各受音信号はこの例では第２収音部４−２と第４収音部４−４に入力される。マイクロホンアレー３Ｌと３Ｒの中央に位置するマイクロホンの信号が第５収音部４−５と第６収音部４−６に入力される。なお、両マイクロホンアレー３Ｌと３Ｒに搭載されるマイクロホンの数は必ずしも同数である必要はない。

第１収音部４−１〜第４収音部４−４は図４に示すように各マイクロホンの受音信号ｘ_１〜ｘ_ｍが入力されるＭ個のフィルタ処理部４１と、これらＭ個のフィルタ処理部４１の各出力信号を加算する加算部４２とによって構成される。各フィルタ処理部４１は例えばＦＩＲフィルタ等で構成され、デジタル処理により収音信号に含まれる周波数成分毎に分析処理を行いマイクロホンアレー３Ｌと３Ｒの指向特性を設定する。このような技術は例えば大賀寿郎、山崎芳男、金田豊共著「音響システムとデジタル処理」平成７年３月２５日社団法人電子情報通信学会発行に記載されており、周知の技術により実現することができる。

ここでは第１収音部４−１の指向特性及び第２収音部４−２の指向特性はマイクロホンアレー３Ｌ及び３Ｒのほぼ中央位置から図３に示す所望音源１の位置を含む角度領域Θ_LとΘ_Rを収音範囲とする特性に設定する。第３収音部４−３と第４収音部４−４の指向特性はマイクロホンアレー３Ｌと３Ｒのほぼ中央位置から図３に示す所望音源１の位置を含まない角度領域Θ_L￣とΘ_R￣とを収音範囲とする特性に設定する。さらに、第５収音部４−５の指向性はマイクロホンアレー３Ｌと３Ｒのほぼ中間位置から所望音源１の位置を含む角度領域Θ_Cを収音範囲とする特性に設定する。第６収音部４−６の指向性はマイクロホンアレー３Ｌと３Ｒのほぼ中間位置から所望音源１の位置を含まない角度領域Θ￣_Cの角度範囲を収音範囲とする特性に設定する。

第１乃至第６収音部４−１〜４−６の指向特性で収音された収音信号は周波数領域変換部５で周波数領域の信号に変換される。周波数領域への変換は入力された信号を短い時間長（例えばサンプリング周波数１６０００Hzの場合は２５６サンプル程度）のフレームに分解し、それぞれのフレームにおいて離散フーリエ変換を行なう。離散フーリエ変換は例えばFFT等と呼ばれている高速フーリエ変換等を用いることができる。周波数領域に変換された信号は複数の周波数領域成分に分割される。
周波数領域の信号に変換された収音信号は加算部６と音源信号成分推定部７とに入力される。加算部６へは第１収音部４−１と第２収音部４−２の出力信号を入力する。加算部６では周波数領域へ変換された各周波数領域の信号を同一周波数領域成分ごとに加算する。

音源信号成分推定部７へは第１収音部４−１から第６収音部４−６の全ての出力信号を入力し、周波数領域ごとに各音源の信号量を推定する。各音源の信号量が推定できると、所望音源１の信号量対その他の音源の信号量との比つまりSN比を求めることができる。このＳＮ比を周波数領域ごとに求め、このＳＮ比を利得係数として乗算部９で加算部６から与えられる所望音源１の信号を主成分とする信号に各周波数領域毎に乗算することにより、所望音源１の信号を主成分とする信号に含まれる背景雑音成分を抑制することができる。乗算部９の乗算結果は逆周波数領域変換部１０で時間領域信号に変換され、雑音除去後の信号として出力される。以上は特願２００６−５２５０２の発明の概要である。

以下では各部の構成及び動作を詳細に説明する。図４は第１収音部乃至第４収音部４−１〜４−４の構成を示している。ここでは第１収音部４−１を例示して説明するが、同様の処理が第２収音部４−２、第３収音部４−３、第４収音部４−４でも行われる。これら第１収音部４−１〜４−４は所望音源１の位置を挟んでその両側の方向から所望音源位置を含む角度領域を収音範囲とする収音特性及び所望音源位置を含まない角度領域を収音範囲とする収音特性に設定されることからサイドビームフォーマーとして機能する。第１収音部４−１に入力された信号ｘ_ＬｍＬ（ｎ）（ｍ_Ｌ＝１，２，…，Ｍ_Ｌ）はフィルタ処理部４１に入力される。フィルタ処理部４１ではあらかじめ与えられた（決定方法は後述する）フィルタ係数ｗ_ＬｍＬ（ｎ）と入力信号ｘ_ＬｍＬ（ｎ）を、式（１）に示す畳み込み演算に代入して得られる信号ｘ'_ＬｍＬ（ｎ）を出力する。

各フィルタ処理部４１の出力信号は加算部４２に入力される。加算部４２では入力信号を式（２）のように加算し、第１収音部４−１の出力信号y_ＳＬ（ｎ）を得る。

ここでフィルタ係数ｗ_ＬｍＬ（ｎ）は、第１収音部の指向特性Ｄ_ＬＳＰＢ（ω，θ）が式（３）に示す特性を持つように、例えば最小二乗法などを利用して設計される。第２収音部、第３収音部、第４収音部についても同様に、式（４）から式（６）のそれぞれの条件を満たすように設計される。Θ、Θ￣はそれぞれ、所望信号の周辺方向（例えば所望信号方向から±１０°程度の範囲内の方向）、それ以外の方向、を示すものとする。また、式（３）〜（６）に示すＤ_・・・・（ω，θ）は各収音部の指向特性を表わしている。

第１収音部４−１はマイクロホンアレー３Ｌから見たときに、所望音源１の方向で発せられる音のみを強調して収音する。第３収音部はマイクロホンアレー３Ｌから見て、所望音源の方向以外で発せられる音のみを強調して収音する。第２収音部４−２はマイクロホンアレー３Ｒから見て、所望音源１の方向で発せられる音のみを強調して収音する。第４収音部４−４はマイクロホンアレー３Ｒから見て、所望音源１の方向以外で発せられる音のみを強調して収音する。

図５は正面ビームフォーマーとして機能する第５収音部４−５と第６収音部４−６における処理の流れを示している。正面ビームフォーマーにはマイクロホンアレー３Ｌの中心に配置されたマイクロホンで受音された信号ｘ_{Ｌ（ＭＬ／２）}（ｎ）と、マイクロホンアレー３Ｒの中心に配置されたマイクロホンで受音された信号ｘ_{Ｒ（ＭＲ／２）}（ｎ）が入力され、それぞれフィルタ処理部５１と５２に入力される。フィルタ処理部５１と５２では入力された信号ｘ_{Ｌ（ＭＬ／２）}（ｎ）とｘ_{Ｒ（ＭＲ／２）}（ｎ）に、式（７）と式（８）に示すようなあらかじめ与えられたフィルタ係数ｗ_{Ｃ（ＭＬ／２）}（ｎ）、ｗ_{Ｃ（ＭＲ／２）}（ｎ）を畳み込んだ出力ｘ’_{Ｌ（ＭＬ／２）}（ｎ）、ｘ’_{Ｒ（ＭＲ／２）}（ｎ）を出力する。

ここでフィルタ係数ｗ_{Ｃ（ＭＬ／２）}（ｎ）、ｗ_{Ｃ（ＭＲ／２）}（ｎ）は位相特性が同じものが望ましく、例えば単一インパルス信号

が用いられる。第５収音部４−５ではフィルタ処理部５１と５２の出力信号ｘ’_{Ｌ（ＭＬ／２）}（ｎ）とｘ’_{Ｒ（ＭＲ／２）}（ｎ）を加算部５３に入力する。加算部５３では入力された信号を式（１０）のように加算して、信号ｙ_ＳＣ（ｎ）を出力する。これにより第５収音部４−５では、マイクロホンアレー３Ｌとマイクロホンアレー３Ｒの間の中間点から見て、所望音源１の方向で発せられる音のみを強調して収音する。

ｙ_ＳＣ（ｎ）＝ｘ’_{Ｌ（ＭＬ／２）}（ｎ）＋ｘ’_{Ｒ（ＭＲ／２）}（ｎ） （１０）
第６収音部４−６ではフィルタ処理部５１と５２の出力信号ｘ’_{Ｌ（ＭＬ／２）}（ｎ）とｘ’_{Ｒ（ＭＲ／２）}（ｎ）を減算部５４に入力する。減算部５４では入力された信号を式（１１）のように減算して、信号ｙ_ＮＣ（ｎ）を出力する。したがって第６収音部４−６では、マイクロホンアレー３Ｌとマイクロホンアレー３Ｒの間の中間点から見て、所望音源１の方向以外で発せられる音のみを強調して収音する。

ｙ_ＮＣ（ｎ）＝ｘ’_{Ｌ（ＭＬ／２）}（ｎ）−ｘ’_{Ｒ（ＭＲ／２）}（ｎ） （１１）
図６は音源信号成分推定部７における処理の流れを示している。音源信号成分推定部７に入力される周波数成分Ｙ_ＳＬ（ω，ｌ）、Ｙ_ＮＬ（ω，ｌ）、Ｙ_ＳＣ（ω，ｌ）、Ｙ_ＮＣ（ω，ｌ）、Ｙ_ＳＲ（ω，ｌ）、Ｙ_ＮＲ（ω，ｌ）はそれぞれパワー演算部６１に入力され、信号のパワー値｜Ｙ_ＳＬ（ω，ｌ）｜^２、｜Ｙ_ＮＬ（ω，ｌ）｜^２、｜Ｙ_ＳＣ（ω，ｌ）｜^２、｜Ｙ_ＮＣ（ω，ｌ）｜^２、｜Ｙ_ＳＲ（ω，ｌ）｜^２、｜Ｙ_ＮＲ（ω，ｌ）｜^２が出力され、ベクトル化部６２に入力される。ベクトル化部６２では、入力された第１乃至第６収音部４−１〜４−６の各出力信号のパワー値を式（１２）のようにベクトル形式でまとめた、パワーベクトルＹ（ω，ｌ）を出力する。

パワーベクトルＹ（ω，ｌ）は乗算部６３に入力される。乗算部６３のもう一方の入力であるパワー推定行列Ｔ^＋は、擬似逆行列演算部６４の出力信号である。擬似逆行列演算部６４には式（１９）により定義されるゲイン行列Ｔが入力され、その擬似逆行列Ｔ^＋を出力する。

ゲイン逆行列Ｔの各要素は、第５収音部４−５と第６収音部４−６及び第１収音部４−１〜第４収音部４−４に設定されるΘ_x方向またはΘ_x￣方向に対する指向特性のゲインであり、例えば式（１４）から式（１７）に示すような指向特性の周波数および方向に関する平均値を用いる。

α_ｘは所望音の周辺方向に対する第１、第２、第５収音部４−１、４−２、４−５に設定する指向特性の平均値である。β_ｘは所望信号の周辺方向に対する第１、第２、第５の収音部４−１、４−２、４−５に設定する指向特性の平均値である。γ_ｘは所望信号の周辺方向に対する、第３、第４、第６収音部４−３、４−４、４−６に設定する指向特性の平均値である。δ_ｘは所望信号の周辺方向以外に対する、第３、第４、第６収音部４−３、４−４、４−６に設定する指向特性の平均値である。尚、（１４）〜（１７）式中添字ｘはＲ、Ｃ、Ｌの何れかを表わす。

乗算部９は式（１８）に示すように入力されたビームフォーマー出力パワーベクトルとパワー推定行列の乗算を周波数成分ごとに行い、推定信号パワーベクトルＸ_ｏｐｔ（ω，ｌ）を出力する。
Ｘ_ｏｐｔ（ω，ｌ）＝Ｔ^＋Ｙ（ω，ｌ） （１８）
図７は利得係数算出８における処理の流れを示している。図６に示した音源信号成分推定部７より入力された推定信号パワーベクトルＸ_ｏｐｔ（ω，ｌ）はベクトル要素抽出部８１に入力される。ベクトル要素抽出部８１では式（１９）に示すように、入力された推定信号パワーベクトルの第１成分を推定信号パワー｜Ｓ（ω，ｌ）｜^２、第２成分を推定左方向雑音パワー｜Ｎ_Ｌ（ω，ｌ）｜^２、第３成分を推定正面方向雑音パワー｜Ｎ_Ｃ（ω，ｌ）｜^２、第４成分を推定右方向雑音パワー｜Ｎ_Ｒ（ω，ｌ）｜^２としてそれぞれ出力し、それらはＳＮ比推定部８２に入力される。

ＳＮ比推定部８２では式（２０）を用いて推定ＳＮ比ＥＳＮＲ（ω，ｌ）を計算する。

ＳＮ比推定部８２の出力である推定ＳＮ比ＥＳＮＲ（ω，ｌ）が利得係数Ｒ（ω，ｌ）として出力される。
利得係数Ｒ（ω，ｌ）は周波数領域毎に算出される。従って雑音の混入量が少ない周波数領域では利得係数Ｒ（ω，ｌ）は「１」に近い値となり、所望信号成分はそのまま出力される。また雑音の混入量が多い周波数領域では利得係数Ｒ（ω，ｌ）は「０」に近い値となり、その周波数領域の信号成分は大きく減衰され、雑音量を抑制する。このように周波数領域ごとに利得係数Ｒ（ω，ｌ）を加算部６から与えられる所望信号を主成分とする信号Ｙ_Ｓ（ω，ｌ）に乗算することにより、周波数領域ごとに雑音成分が抑圧され、逆周波数領域変換部１０で時間領域に変換された信号のＳＮ比を向上することができる。

［第１実施形態］
図８に、本発明の第１実施形態の収音装置全体の構成例を示す。図２に示した特願２００６−５２５０２の収音装置全体の構成とは、パワースペクトル推定部１１０、残響スペクトル推定部１２０、処理対象信号生成部１４０が異なる。図９は、第１実施形態の収音装置の処理フローを示す図である。

第１及び第２収音部４−１、４−２は、複数のマイクロホンを搭載して構成されるマイクロホンアレーの出力信号を利用して互いに異なる位置から所望音源位置を含む角度領域の音ｙ_ＳＬ（ｎ）、ｙ_ＳＲ（ｎ）を収音する（Ｓ４−１、Ｓ４−２）。第３及び第４収音部４−３、４−４は、マイクロホンアレーの出力信号を利用して互いに異なる位置から前記所望音源位置を含まない角度領域の音ｙ_ＮＬ（ｎ）、ｙ_ＮＲ（ｎ）を収音する（Ｓ４−３、Ｓ４−４）。第５収音部４−５は、互いに異なる位置の中間点から所望音源位置を含む角度領域の音ｙ_ＳＣ（ｎ）を収音する（Ｓ４−５）。第６収音部４−６は、中間点から所望音源位置を含まない角度領域の音ｙ_ＮＣ（ｎ）を収音する（Ｓ４−６）。周波数領域変換部５は、各収音部４−１〜４−６で収音された信号ｙ_ＳＬ（ｎ）、ｙ_ＳＲ（ｎ）、ｙ_ＮＬ（ｎ）、ｙ_ＮＲ（ｎ）、ｙ_ＳＣ（ｎ）、ｙ_ＮＣ（ｎ）を、周波数領域の信号Ｙ_ＳＬ（ω，ｌ）、Ｙ_ＳＲ（ω，ｌ）、Ｙ_ＮＬ（ω，ｌ）、Ｙ_ＮＲ（ω，ｌ）、Ｙ_ＳＣ（ω，ｌ）、Ｙ_ＮＣ（ω，ｌ）に変換する。処理対象信号生成部１４０は、周波数領域の第１収音部４−１からの信号Ｙ_ＳＬ（ω，ｌ）と第２収音部４−２からの信号Ｙ_ＳＲ（ω，ｌ）の平均を、処理対象信号Ｙ_Ｓ（ω，ｌ）とする（Ｓ１４０）。パワースペクトル推定部１１０は、周波数領域に変換された各収音部４−１〜４−６で得られた各収音信号Ｙ_ＳＬ（ω，ｌ）、Ｙ_ＳＲ（ω，ｌ）、Ｙ_ＮＬ（ω，ｌ）、Ｙ_ＮＲ（ω，ｌ）、Ｙ_ＳＣ（ω，ｌ）、Ｙ_ＮＣ（ω，ｌ）と残響音の信号量Ｚ^＊ _ｅｓｔ（ω，ｌ）から、残響信号を除去した所望音源の信号量とその他の音源の信号量Ｘ_ｏｐｔ（ω，ｌ）とを、周波数ごとに推定する（Ｓ１１０）。残響スペクトル推定部１２０は、パワースペクトル推定部１１０が推定した所望音源の信号量とその他の音源の信号量Ｘ_ｏｐｔ（ω，ｌ）から、残響音の信号量Ｚ^＊ _ｅｓｔ（ω，ｌ）を周波数ごとに求める（Ｓ１２０）。利得係数算出部８は、所望音源の信号量と、所望音源の信号量を含む全ての音源の信号量との比から周波数ごとに利得係数Ｒ（ω，ｌ）を求める（Ｓ８）。乗算部９は、利得係数算出部８で算出した利得係数Ｒ（ω，ｌ）を処理対象信号Ｙ_Ｓ（ω，ｌ）に乗算する（Ｓ９）。逆周波数領域変換部１０は、利得係数が乗算された処理対象信号Ｒ（ω，ｌ）Ｙ_Ｓ（ω，ｌ）を時間領域に変換する。

次に、図２の収音装置と異なる構成部の詳細を説明する。図１０は、処理対象信号生成部１４０の機能構成例を示す図である。処理対象信号生成部１４０は、加算部１４１と除算部１４２から構成される。加算部１４１は、周波数領域の第１収音部４−１からの信号Ｙ_ＳＬ（ω，ｌ）と第２収音部４−２からの信号Ｙ_ＳＲ（ω，ｌ）とを加算する。除算部１４２は、加算された信号を２で割り、平均値を処理対象信号Ｙ_Ｓ（ω，ｌ）として出力する。図２の収音装置では、加算部６によって周波数領域の第１収音部４−１からの信号Ｙ_ＳＬ（ω，ｌ）と第２収音部４−２からの信号Ｙ_ＳＲ（ω，ｌ）とを加算して、処理対象信号Ｙ_Ｓ（ω，ｌ）としていた。違いは、２で割るか否かである。この違いによって生じる差は、信号全体のボリュームだけであり、波形が同じなので、信号処理の観点からは等価である。つまり、２以外の値で除算しても、等価な処理である。

図１１に、パワースペクトル推定部１１０の機能構成例を示す。パワースペクトル推定部１１０と、図６の音源信号成分推定部７との違いは、ベクトル化部６２と乗算部６３との間に、減算部１１１が備えられている点である。減算部１１１は、ベクトル化された信号Ｙ（ω，ｌ）から、推定した残響音の信号量Ｚ^＊ _ｅｓｔ（ω，ｌ）を次式のように減算し、その結果Ｙ’（ω，ｌ）を乗算部６３に入力する。
Ｙ’（ω，ｌ）＝Ｙ（ω，ｌ）−Ｚ^＊ _ｅｓｔ（ω，ｌ） （２１）
その他の処理は、音源信号成分推定部７と同じである。

図１２に、残響スペクトル推定部１２０の機能構成例を示す。残響スペクトル推定部１２０は、ゲイン行列乗算部１２５と重み付き加算部１２６から構成される。ゲイン行列乗算部１２５は、所望音源の信号量とその他の音源の信号量Ｘ_ｏｐｔ（ω，ｌ）を、収音部ごとの信号量Ｚ_ｅｓｔ（ω，ｌ）に変換する。ゲイン行列Ｔ’は、残響成分に対する各収音部の指向特性のゲインで、例えば式（２２）とすればよい。

ただし、

である。重み付き加算部１２６は、収音部ごとの信号量Ｚ_ｅｓｔ（ω，ｌ）を記録し、複数の過去の収音部ごとの信号量を重み付き加算する。具体的には、過去のＮ個のフレームの収音部ごとの信号量Ｚ_ｅｓｔ（ω，ｌ）の重み付き加算を行うのであれば、Ｎ個の遅延部１２１_１〜１２１_ＮとＮ個の重み乗算部１２２_１〜１２２_ＮとＮ−１個の加算部１２３_１〜１２３_Ｎ−１とを備えればよい。第１遅延部１２１_１は、収音部ごとの信号量Ｚ_ｅｓｔ（ω，ｌ）を記録し、１フレーム分遅延させる。第１重み乗算部１２２_１は、重みρ_１を第１遅延部１２１_１の出力（１フレーム前の収音部ごとの信号量Ｚ_ｅｓｔ（ω，ｌ））に乗算する。第ｎ遅延部１２１_ｎは、ｎ−１フレーム前の収音部ごとの信号量Ｚ_ｅｓｔ（ω，ｌ）を記録し、１フレーム分遅延させる。第ｎ重み乗算部１２２_ｎは、重みρ_ｎを第ｎ遅延部１２１_ｎの出力（ｎフレーム前の収音部ごとの信号量Ｚ_ｅｓｔ（ω，ｌ））に乗算する。第ｎ加算部１２３_ｎは、第ｎ＋１加算部１２３_ｎ＋１の出力に、第ｎ重み乗算部１２２_ｎの出力を加算する。第１加算部１２３_１は、第２加算部１２３_２の出力に、第１重み乗算部１２２_１の出力を加算して、残響音の信号量Ｚ^＊ _ｅｓｔ（ω，ｌ）を出力する。このように処理することで、ｎフレーム前の収音部ごとの信号量Ｚ_ｅｓｔ（ω，ｌ）に重みρ_ｎを付与した重み付き加算ができる。ここで、重みρ_ｎは残響成分の時間によるパワー減衰を表すパラメータであり、例えば、残響時間Ｔ_６０からは、式（２９）のように与えられる。

ただし、Ｌ_Ｓは１フレームのサンプル数、Ｆ_Ｓはサンプリング周波数である。

次に、本発明の残響を除去する原理を説明する。図１３は雑音発生のモデルを示す図である。図１４は、各フレームでのパワースペクトルへの残響の影響を示す図である。残響音は、ある時刻０（ここでは時間フレームで考える）で発せられた直接音に対して、その伝達経路の距離に応じた時間だけ遅れて、また一定の減衰率によってその大きさが減じられてマイクロホンに到達する。例えば、図１３に示す例では、時刻０に発せられた直接音と同じ音が時刻１〜３のフレームに残響として影響を与えている。このため、図１４に示すように、あるフレームｌにおける推定パワースペクトルには、過去のフレームに含まれる直接音の成分が残響として重畳されている。このときの減衰率が残響スペクトル推定部１２０の重みρ_ｎに対応する。重みρ_ｎは部屋の音響特性から決定され、例えば部屋の音響特性を示す１つの尺度である残響時間Ｔ_６０を用いて、式（２９）によって理論的に計算することが可能である。本発明の収音装置では、過去の直接音の成分は、過去の収音部ごとの信号量Ｚ_ｅｓｔ（ω，ｌ）として求めることができる。そこで、ゲイン行列乗算部１２５で収音部ごとの信号量Ｚ_ｅｓｔ（ω，ｌ）に変換し、重み付き加算部１２６で収音部ごとの信号量Ｚ_ｅｓｔ（ω，ｌ）を記録し、複数の過去の収音部ごとの信号量を重み付き加算する。このように残響音の信号量Ｚ^＊ _ｅｓｔ（ω，ｌ）を求め、パワースペクトル推定部１１０では、ベクトル化された信号Ｙ（ω，ｌ）から、推定した残響音の信号量Ｚ^＊ _ｅｓｔ（ω，ｌ）を減算する。したがって、第１実施形態の収音装置は、残響による影響を低減できる。

［第２実施形態］
図１５に、本発明の第２実施形態の収音装置全体の構成例を示す。第１実施形態（図８）とは、各収音部４’−１〜４’−６、処理対象信号生成部１４０’、パワースペクトル推定部１１０’、残響スペクトル推定部１２０’が異なる。以下では、第１実施形態と異なる構成部について説明する。

図１６は、各収音部４’−１〜４’−６の設定を説明するための音源位置の領域を示す図である。また、図１７は、第１収音部４’−１の機能構成例を示す図である。マイクロホンアレー３Ｌには、信号ｘ_ＬｍＬ（ｎ）（ｍ_Ｌ＝１，２，…，Ｍ_Ｌ）が入力される。フィルタ処理部４１’では、あらかじめ定められた（決定方法は後述する）フィルタ係数ｗ_ＬｍＬ（ｎ）と入力信号ｘ_ＬｍＬ（ｎ）を、式（３０）に示す畳み込み演算に代入して得られる信号ｘ'_ＬｍＬ（ｎ）を出力する。

各フィルタ処理部４１’の出力信号は加算部４２’に入力される。加算部４２’では入力信号を式（３１）のように加算し、第１収音部４’−１の出力信号y_ＬＬ（ｎ）を得る。

ここでフィルタ係数ｗ_ＬｍＬ（ｎ）は、第１収音部４’−１の指向特性Ｄ_ＬＳＢ（ω，θ）が式（３２）に示す特性を持つように、例えば最小二乗法などを利用して設計される。第３収音部、第５収音部についても同様に、式（３３）、式（３４）のそれぞれの条件を満たすように設計される。Θ_Ｌ１〜Θ_Ｌ３は、それぞれ図１６に示すマイクロホンアレー３Ｌから見た角度領域を示している。

つまり、第１収音部４’−１は、角度領域Θ_Ｌ１の音を抑圧して収音する。第３収音部４’−３は、角度領域Θ_Ｌ２の音を抑圧して収音する。第５収音部４’−５は、角度領域Θ_Ｌ３の音を抑圧して収音する。
同様に、式（３５）から式（３７）に示すように、マイクロホンアレー３Ｒの第２収音部４’−２は、角度領域Θ_Ｒ１の音を抑圧して収音する。第４収音部４’−４は、角度領域Θ_Ｒ２の音を抑圧して収音する。第６収音部４’−６は、角度領域Θ_Ｒ３の音を抑圧して収音する。

図１８は、処理対象信号生成部１４０’の機能構成例を示す図である。処理対象信号生成部１４０’は、加算部１４１’と除算部１４２’から構成される。加算部１４１’は、周波数領域の第１収音部４−１’からの信号Ｙ_ＬＬ（ω，ｌ）、第２収音部４−２’からの信号Ｙ_ＬＲ（ω，ｌ）、第５収音部４−５’からの信号Ｙ_ＲＬ（ω，ｌ）、第６収音部４−６’からの信号Ｙ_ＲＲ（ω，ｌ）を次式のように加算し、加算結果Ｙ’ _Ｂ（ω，ｌ）を出力する。

除算部１４２’は、加算された信号Ｙ’ _Ｂ（ω，ｌ）を次式のように４で割り、平均値を処理対象信号Ｙ_Ｂ（ω，ｌ）として出力する。
Ｙ _Ｂ（ω，ｌ）＝Ｙ’ _Ｂ（ω，ｌ）／４ （３９）
なお、第１実施形態で説明したように、除算部１４２’で割る数をいくつにしても、波形が同じなので、信号処理の観点からは等価である。つまり、４以外の値で除算しても、等価な処理である。

図１９に、パワースペクトル推定部１１０’の機能構成例を示す。パワースペクトル推定部１１０’は、パワー演算部６１’、ベクトル化部６２’、減算部１１１’、乗算部６３’、擬似逆行列演算部６４’から構成される。パワー演算部６１’は、各収音部からの周波数領域の信号Ｙ_ＬＬ（ω，ｌ）、Ｙ_ＣＬ（ω，ｌ）、Ｙ_ＲＬ（ω，ｌ）、Ｙ_ＬＲ（ω，ｌ）、Ｙ_ＣＲ（ω，ｌ）、Ｙ_ＲＲ（ω，ｌ）から、パワー値｜Ｙ_ＬＬ（ω，ｌ）｜^２、｜Ｙ_ＣＬ（ω，ｌ）｜^２、｜Ｙ_ＲＬ（ω，ｌ）｜^２、｜Ｙ_ＬＲ（ω，ｌ）｜^２、｜Ｙ_ＣＲ（ω，ｌ）｜^２、｜Ｙ_ＲＲ（ω，ｌ）｜^２を計算し、出力する。ベクトル化部６２’は、パワー値を式（４０）のようにベクトル形式でまとめた、パワーベクトルＹ（ω，ｌ）を出力する。

減算部１１１’は、ベクトル化された信号Ｙ（ω，ｌ）から、推定した残響音の信号量Ｚ^＊ _ｅｓｔ（ω，ｌ）を次式のように減算し、その結果Ｙ’（ω，ｌ）を乗算部６３’に入力する。
Ｙ’（ω，ｌ）＝Ｙ（ω，ｌ）−Ｚ^＊ _ｅｓｔ（ω，ｌ） （４１）
乗算部６３’のもう一方の入力であるパワー推定行列Ｔ^＋は、擬似逆行列演算部６４’の出力信号である。擬似逆行列演算部６４’には式（４２）により定義されるゲイン行列Ｔが入力され、その擬似逆行列Ｔ^＋を出力する。

ゲイン逆行列Ｔ（ω）の各要素は、各収音部４’−１〜４’−６のΘ_１方向、Θ_２方向、Θ_３方向に対する指向特性のゲインであり、例えば式（４３）から式（４５）に示すような指向特性の方向に関する平均値を用いる。

α_ｘ（ω）は、周波数ωにおける第１収音部４’−１と第２収音部４’−２の角度領域Θ_ｘの方向に対する指向特性の平均値である。β_ｘ（ω）は、周波数ωにおける第３収音部４’−３と第４収音部４’−４の角度領域Θ_ｘの方向に対する指向特性の平均値である。γ_ｘ（ω）は、周波数ωにおける第５収音部４’−５と第６収音部４’−６の角度領域Θ_ｘの方向に対する指向特性の平均値である。ここで、ｘには、Ｌ１、Ｌ２、Ｌ３、Ｒ１、Ｒ２、Ｒ３のいずれかが入る。乗算部６３’は、式（４６）に示すように残響が減算された信号Ｙ’（ω，ｌ）に擬似逆行列Ｔ^＋を乗算し、推定信号パワーベクトルＸ_ｏｐｔ（ω，ｌ）を出力する。

Ｘ_ｏｐｔ（ω，ｌ）＝Ｔ^＋Ｙ’（ω，ｌ） （４６）
図２０に、残響スペクトル推定部１２０’の機能構成例を示す。残響スペクトル推定部１２０’は、ゲイン行列乗算部１２５’が、第１実施形態の残響スペクトル推定部１２０（図１２）と異なる。ゲイン行列乗算部１２５’では、ゲイン行列Ｔ’を、例えば式（４７）とする。

ただし、

である。重み付き加算部１２６は、第１実施形態の残響スペクトル推定部１２０（図１２）と同じなので、説明を省略する。
以上のような構成なので、第２実施形態の収音装置も、第１実施形態と同じように残響音を低減する効果を有する。

［第３実施形態］
図２１に、本発明の第３実施形態の収音装置全体の構成例を示す。第２実施形態の収音装置とは、処理対象信号生成部１４０”が異なる。処理対象信号生成部の役割は、収音信号の中から、所望音に近い音を生成しておくことである。そして、雑音や残響を除去すれば高品質な収音が期待できる。所望音源が特定のマイクに近い場合、そのマイクから収音された信号の周波数領域の信号を処理対象信号とすることが合理的である。なお、第１実施形態にも処理対象信号生成部１４０”を用いることができる。

以上のような構成なので、第３実施形態の収音装置も、第１実施形態や第２実施形態と同じように残響音を低減する効果を有する。

［実験例］
次に第２実施形態の収音装置での実験結果を示す。図２２は実験環境を示す図である。それぞれのマイクロホンアレーには、４つのマイクロホンが直線状に４ｃｍの等間隔で配置されている。座標の単位はメートルであり、（０．４，０）と（−０．４，０）にそれぞれの中心が位置している。所望音源（対象話者の位置）が（０，０．５）にある。そして、３つの異なる背景雑音源（その他の話者の位置）が（−１．６，２．５）、（１．６，１．０）、（０．０，２．５）に配置されている。図２３は、残響が異なる２つの環境で、背景雑音の抑圧量を測定した結果を示す図である。実験環境１が残響時間２５０ｍｓの場合（一般的な寝室を同程度）、実験環境２が残響時間５００ｍｓ（一般的な会議室と同程度）である。この結果より、本発明の収音装置であれば、残響の異なる場合でも、特願２００６−５２５０２の収音装置に比べて残響抑圧量が向上していることが分かる。図２４は、第２実施形態の収音装置で収音した音の品質を被験者により確認した結果を示す図である。１０人の被験者が、本発明の収音装置で収音した音と、特願２００６−５２５０２の収音装置で収音した音とを、２：非常に良くなった、１：良くなった、０：同じである、−１：悪くなった、−２：非常に悪くなった、の５段階で評価した結果の平均値を示している。この結果より、多くの被験者が音が良くなったと評価しており、収音音質が改善していることが分かる。

図２５に、コンピュータの機能構成例を示す。なお、本発明の収音装置は、コンピュータ２０００の記録部２０２０に、本発明の各構成部としてコンピュータ２０００を動作させるプログラムを読み込ませ、処理部２０１０、入力部２０３０、出力部２０４０などを動作させることで実現できる。また、コンピュータに読み込ませる方法としては、プログラムをコンピュータ読み取り可能な記録媒体に記録しておき、記録媒体からコンピュータに読み込ませる方法、サーバ等に記録されたプログラムを、電気通信回線等を通じてコンピュータに読み込ませる方法などがある。

本発明の利用状況の一例を示す図。 特願２００６−５２５０２の収音装置の全体の構成を示す図。 第１〜第６収音部の指向性を説明するための平面図。 第１〜第４収音部の構成を説明するためのブロック図。 第５収音部４−５と第６収音部４−６の構成を示す図。 音源信号成分推定部７の構成を示す図。 利得係数算出８の構成を示す図。 第１実施形態の収音装置全体の構成例を示す図。 第１実施形態の収音装置の処理フローを示す図。 処理対象信号生成部１４０の機能構成例を示す図。 パワースペクトル推定部１１０の機能構成例を示す図。 残響スペクトル推定部１２０の機能構成例を示す図。 雑音発生のモデルを示す図。 各フレームでのパワースペクトルへの残響の影響を示す図。 第２実施形態の収音装置全体の構成例を示す図。 各収音部４’−１〜４’−６の設定を説明するための音源位置の領域を示す図。 第１収音部４’−１の機能構成例を示す図。 処理対象信号生成部１４０’の機能構成例を示す図。 パワースペクトル推定部１１０’の機能構成例を示す図。 残響スペクトル推定部１２０’の機能構成例を示す図。 第３実施形態の収音装置全体の構成例を示す図。 実験環境を示す図。 残響が異なる２つの環境で、背景雑音の抑圧量を測定した結果を示す図。 第２実施形態の収音装置で収音した音の品質を被験者により確認した結果を示す図。 コンピュータの機能構成例を示す図。

符号の説明

１１０、１１０’ パワースペクトル推定部
１１１ 減算部
１２０、１２０’ 残響スペクトル推定部
１２５、１２５’ ゲイン行列乗算部
１２６ 重み付き加算部
１４０、１４０’、１４０” 処理対象信号生成部

Claims (10)

1. 複数のマイクロホンを搭載して構成されるマイクロホンアレーの出力信号を利用して、それぞれ異なる領域の音を収音する６つ以上の収音部と、
   あらかじめ定めた１つ以上の前記マイクロホンまたは前記収音部からの信号から、処理対象信号を生成する処理対象信号生成部と、
   前記各収音部で得られた各収音信号と残響音の信号量から、残響信号を除去した所望音源の信号量と、その他の音源の信号量とを周波数ごとに推定するパワースペクトル推定部と、
   前記パワースペクトル推定部が推定した所望音源の信号量とその他の音源の信号量から、残響音の信号量を周波数ごとに求める残響スペクトル推定部と、
   前記所望音源の信号量と、所望音源の信号量を含む全ての音源の信号量との比から周波数ごとに利得係数を求める利得係数算出部と、
   前記利得係数算出部で算出した利得係数を前記処理対象信号に乗算する乗算部と、
   を備える収音装置。
2. 複数のマイクロホンを搭載して構成されるマイクロホンアレーの出力信号を利用して互いに異なる位置から所望音源位置を含む角度領域の音を収音する第１及び第２収音部と、
   前記マイクロホンアレーの出力信号を利用して互いに異なる位置から前記所望音源位置を含まない角度領域の音を収音する第３及び第４収音部と、
   前記互いに異なる位置の中間点から前記所望音源位置を含む角度領域の音を収音する第５収音部と、
   前記中間点から前記所望音源位置を含まない角度領域の音を収音する第６収音部と、
   あらかじめ定めた１つ以上の前記マイクロホンまたは前記収音部からの信号から、処理対象信号を生成する処理対象信号生成部と、
   前記各収音部で得られた各収音信号と残響音の信号量から、残響信号を除去した所望音源の信号量と、その他の音源の信号量とを周波数ごとに推定するパワースペクトル推定部と、
   前記パワースペクトル推定部が推定した所望音源の信号量とその他の音源の信号量から、残響音の信号量を周波数ごとに求める残響スペクトル推定部と、
   前記所望音源の信号量と、所望音源の信号量を含む全ての音源の信号量との比から周波数ごとに利得係数を求める利得係数算出部と、
   前記利得係数算出部で算出した利得係数を前記処理対象信号に乗算する乗算部と、
   を備える収音装置。
3. 複数のマイクロホンを搭載して構成されるマイクロホンアレーの出力信号を利用して互いに異なる位置から、所望音源位置を含まない角度領域の一部の音を抑圧して収音する第１及び第２収音部と、
   前記マイクロホンアレーの出力信号を利用して互いに異なる位置から、前記所望音源位置を含む角度領域の音を抑圧して収音する第３及び第４収音部と、
   前記マイクロホンアレーの出力信号を利用して互いに異なる位置から、前記所望音源位置を含まない角度領域であって、前記第１及び第２収音部とは異なる一部の音を抑圧して収音する第５及び第６収音部と、
   あらかじめ定めた１つ以上の前記マイクロホンまたは前記収音部からの信号から、処理対象信号を生成する処理対象信号生成部と、
   前記各収音部で得られた各収音信号と残響音の信号量から、残響信号を除去した所望音源の信号量と、その他の音源の信号量とを周波数ごとに推定するパワースペクトル推定部と、
   前記パワースペクトル推定部が推定した所望音源の信号量とその他の音源の信号量から、残響音の信号量を周波数ごとに求める残響スペクトル推定部と、
   前記所望音源の信号量と、所望音源の信号量を含む全ての音源の信号量との比から周波数ごとに利得係数を求める利得係数算出部と、
   前記利得係数算出部で算出した利得係数を前記処理対象信号に乗算する乗算部と、
   を備える収音装置。
4. 請求項１から３のいずれかに記載の収音装置であって、
   前記残響スペクトル推定部は、
   所望音源の信号量とその他の音源の信号量を、前記収音部ごとの信号量に変換するゲイン行列乗算部と、
   前記収音部ごとの信号量を記録し、複数の過去の前記収音部ごとの信号量を重み付き加算する重み付き加算部と
   を備える
   ことを特徴とする収音装置。
5. 複数のマイクロホンを搭載して構成されるマイクロホンアレーの出力信号を利用して、それぞれ異なる６つ以上の領域の音を収音する収音ステップと、
   あらかじめ定めた１つ以上の前記マイクロホンまたは前記収音部からの信号から、処理対象信号を生成する処理対象信号生成ステップと、
   前記各収音部で得られた各収音信号と残響音の信号量から、残響信号を除去した所望音源の信号量と、その他の音源の信号量とを周波数ごとに推定するパワースペクトル推定ステップと、
   前記パワースペクトル推定部が推定した所望音源の信号量とその他の音源の信号量から、残響音の信号量を周波数ごとに求める残響スペクトル推定ステップと、
   前記所望音源の信号量と、所望音源の信号量を含む全ての音源の信号量との比から周波数ごとに利得係数を求める利得係数算出ステップと、
   前記利得係数算出部で算出した利得係数を前記処理対象信号に乗算する乗算ステップと、
   を有する収音方法。
6. 複数のマイクロホンを搭載して構成されるマイクロホンアレーの出力信号を利用して互いに異なる位置から所望音源位置を含む角度領域の音を収音する第１及び第２収音ステップと、
   前記マイクロホンアレーの出力信号を利用して互いに異なる位置から前記所望音源位置を含まない角度領域の音を収音する第３及び第４収音ステップと、
   前記互いに異なる位置の中間点から前記所望音源位置を含む角度領域の音を収音する第５収音ステップと、
   前記中間点から前記所望音源位置を含まない角度領域の音を収音する第６収音ステップと、
   あらかじめ定めた１つ以上の前記マイクロホンまたは前記収音部からの信号から、処理対象信号を生成する処理対象信号生成ステップと、
   前記各収音部で得られた各収音信号と残響音の信号量から、残響信号を除去した所望音源の信号量と、その他の音源の信号量とを周波数ごとに推定するパワースペクトル推定ステップと、
   前記パワースペクトル推定部が推定した所望音源の信号量とその他の音源の信号量から、残響音の信号量を周波数ごとに求める残響スペクトル推定ステップと、
   前記所望音源の信号量と、所望音源の信号量を含む全ての音源の信号量との比から周波数ごとに利得係数を求める利得係数算出ステップと、
   前記利得係数算出部で算出した利得係数を前記処理対象信号に乗算する乗算ステップと、
   を有する収音方法。
7. 複数のマイクロホンを搭載して構成されるマイクロホンアレーの出力信号を利用して互いに異なる位置から、所望音源位置を含まない角度領域の一部の音を抑圧して収音する第１及び第２収音ステップと、
   前記マイクロホンアレーの出力信号を利用して互いに異なる位置から、前記所望音源位置を含む角度領域の音を抑圧して収音する第３及び第４収音ステップと、
   前記マイクロホンアレーの出力信号を利用して互いに異なる位置から、前記所望音源位置を含まない角度領域であって、前記第１及び第２収音部とは異なる一部の音を抑圧して収音する第５及び第６収音ステップと、
   あらかじめ定めた１つ以上の前記マイクロホンまたは前記収音部からの信号から、処理対象信号を生成する処理対象信号生成ステップと、
   前記各収音部で得られた各収音信号と残響音の信号量から、残響信号を除去した所望音源の信号量と、その他の音源の信号量とを周波数ごとに推定するパワースペクトル推定ステップと、
   前記パワースペクトル推定部が推定した所望音源の信号量とその他の音源の信号量から、残響音の信号量を周波数ごとに求める残響スペクトル推定ステップと、
   前記所望音源の信号量と、所望音源の信号量を含む全ての音源の信号量との比から周波数ごとに利得係数を求める利得係数算出ステップと、
   前記利得係数算出部で算出した利得係数を前記処理対象信号に乗算する乗算ステップと、
   を有する収音方法。
8. 請求項５から７のいずれかに記載の収音方法であって、
   前記残響スペクトル推定ステップは、
   所望音源の信号量とその他の音源の信号量を、前記収音部ごとの信号量に変換するゲイン行列乗算サブステップと、
   前記収音部ごとの信号量を記録し、複数の過去の前記収音部ごとの信号量を重み付き加算する重み付き加算サブステップと
   を有する
   ことを特徴とする収音方法。
9. 請求項１から４のいずれかに記載の収音装置として、コンピュータを動作させる収音プログラム。
10. 請求項９記載の収音プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images