JP2006194700A - 音源方向推定システム、音源方向推定方法及び音源方向推定プログラム - Google Patents

Abstract

【課題】残響による推定誤差が低減可能で、かつ構成が簡単で安価な音源方向推定システムを提供する。
【解決手段】２つのマイクロホン１、２からなる第一マイクロンホン対１１と、該第一のマイクロホン対１１に直交するように配設する２つのマイクロホン３、４からなる第二マイクロンホン対１２と、各マイクロホン対１１、１２の出力信号に基づいて、各々到来時間差τ_１２、到来時間差τ_３４を算出する到来時間差算出手段２４と、該到来時間差算出手段２４の算出する各到来時間差τに基づいて到来角θ_１２、到来角θ_３４を算出する到来角算出手段２５と、到来時間差τ_１２、到来時間差τ_３４、到来角θ_１２、到来角θ_３４から音源方向θを推定する音源方向推定手段２６と、該音源方向推定手段２６が推定する音源方向結果を出力する出力手段２３と、を含む。
【選択図】図１

Description

本発明は、残響による誤差が少ない音源方向推定システム及び音源方向推定方法に関する。

音源方向推定は、発信音の方向・移動方向検出、移動体の進行方向の決定、並びに音声信号処理に重要な役割をもつ。たとえばオートバイ・自動車の接近・通過の認知、あるいは移動ロボットの発信音の反射音の方向推定によって障害物判定や進行方向の決定に用いられる。また音源方向推定は、ハンズフリー音声認識に特に必要不可欠となる。ハンズフリー音声認識では、話者とマイクロホンとの間に距離があり、そのため周囲雑音あるいは室の残響によって、認識率が著しく低下する問題がある。そこで話者の方向が分かれば、その方向のマイクロホンシステムの指向性の形成、あるいは、残響・雑音抑制によって高いＳ／Ｎを確保でき、認識率を向上させることができる。そのためには正確な音源方向推定が必要となる。

音源方向推定法には基本的な方法として、マイクロホンアレイを用い、マイクロホン間の受音信号の到来時間差を用いて到来方向を推定する方法がある（例えば特許文献１参照）。その到来時間差の算出法としては、離散時間信号のフーリエ変換であるＤＦＴ（ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）を用いた位相差、相互相関、白色化相互相関法であるＣＳＰ（Ｃｒｏｓｓ−Ｐｏｗｅｒ Ｓｐｅｃｔｒｕｍ Ｐｈａｓｅ Ａｎａｌｙｓｉｓ）による方法などが挙げられる。

また、物体に反射して検出される音の音圧レベルの高低や、雑音の影響を考慮した音源方向推定装置に関する技術も開示されている（例えば特許文献２参照）。この技術は、複数のマイクロホンの各々が検知して生成した音響信号から信号対雑音比を算出し、算出された信号対雑音比に基づいて、時間窓長を相互に異なる所定の値の中から選択するため、反射音の音圧レベルの高低及び雑音の影響を考慮して音源方向を推定できるとする。
特開平７−３３６７９０号公報 特開２００４−１２１５１号公報

特許文献１に記載の技術は、雑音や残響の影響を受け、音源方向の推定精度が高いとは言えない。また特許文献２に記載の技術は、反射音の音圧レベルの高低及び雑音の影響を考慮した音源方向を推定装置であるが、到来時間遅れを直接的に活用した簡単な方法ではない。到来時間遅れを直接的に活用し、簡単な方法で音源方向の推定ができれば安価に音源方向推定装置を製造することも可能となる。また、残響による誤差の少ない音源方向推定装置の開発も待たれている。

本発明の目的は、音源方向の推定に残響による誤差が少なく、かつ構成が簡単で安価な音源方向推定システムを提供することにある。

発明者は、到来時間遅れの直接的活用の音源方向推定において、マイクロホン対に一致する方向の到来角で、残響・反射並びにマイクロホン間隔誤差による推定誤差が大きく表れることの知見を見出した。この点に注目して、直交するマイクロホン対を用い、各到来角に対して誤差の少ない方のマイクロホン対の推定結果を選択することで、全体としてより正確な音源方向推定が可能なシステムを提案する。特に本システムは、解決がなかなか困難であった残響による推定誤差を低減可能なシステムである。

すなわち本発明は、所定の間隔を有する２つのマイクロホンからなる第一マイクロンホン対と、
該第一のマイクロホン対に直交するように配設する所定の間隔を有する２つのマイクロホンからなる第二マイクロンホン対と、
該第一マイクロホン対の出力信号及び第二マイクロホン対の出力信号に基づいて、各々到来時間差τ_１２、到来時間差τ_３４を算出する到来時間差算出手段と、
該到来時間差算出手段の算出する到来時間差τ_１２に基づいて到来角θ_１２、及び該到来時間差算出手段の算出する到来時間差τ_３４に基づいて到来角θ_３４を算出する到来角算出手段と、
該到来時間差算出手段が算出する到来時間差τ_１２、到来時間差τ_３４、及び該到来角算出手段が算出する到来角θ_１２、到来角θ_３４から音源方向θを推定する音源方向推定手段と、
該音源方向推定手段が推定する音源方向結果を出力する出力手段と、
を含むことを特徴とする音源方向推定システムである。

また本発明で、前記音源方向推定手段は、次式を用いて音源方向θの推定を行うことを特徴とする請求項１に記載の音源方向推定システムである。

また本発明で、前記第一マイクロホン対を構成する２つのマイクロホンの間隔と、前記第二マイクロホン対を構成する２つのマイクロホンの間隔とは、略同一であることを特徴とする請求項１または請求項２に記載の音源方向推定システムである。

また本発明で、前記到来時間差算出手段が算出する到来時間差は、ＣＳＰ法による算出であることを特徴とする請求項１から３のいずれか１に記載の音源方向推定システムである。

また本発明は、さらに音声区間の検出を行う音声区間検出処理手段を含むこと特徴とする請求項１から４のいずれか１に記載の音源方向推定システムである。

また本発明は、所定の間隔を有する２つのマイクロホンからなる第一マイクロンホン対と、該第一のマイクロホン対に直交するように配設する所定の間隔を有する２つのマイクロホンからなる第二マイクロンホン対とで、音を受音する第一ステップと、
第一ステップで受音した該第一マイクロホン対の出力信号、及び第二マイクロホン対の出力信号に基づいて、各々到来時間差τ_１２、到来時間差τ_３４を算出する第二ステップと、
第二ステップで算出した到来時間差τ_１２に基づいて到来角θ_１２、及び到来時間差τ_３４に基づいて到来角θ_３４を算出する第三ステップと、
第二ステップで算出した到来時間差τ_１２、到来時間差τ_３４、及び第三ステップで算出した到来角θ_１２、到来角θ_３４から音源方向θを推定する第四ステップと、
第四ステップで推定した音源方向結果を出力する第五ステップと、
を含むことを特徴とする音源方向推定方法である。

また本発明は、音源方向を推定するためにコンピュータを、第一マイクロホン対及び第二マイクロホン対のマイクロホンの出力信号に基づいて、第一マイクロホン対の到来時間差τ_１２、及び第二マイクロホン対の到来時間差τ_３４を算出する到来時間差算出手段、
該到来時間差算出手段の算出する到来時間差τ_１２に基づく到来角θ_１２、及び該到来時間差算出手段の算出する到来時間差τ_３４に基づく到来角θ_３４を算出する到来角算出手段、
該到来時間差算出手段が算出する到来時間差τ_１２、到来時間差τ_３４、及び該到来角算出手段が算出する到来角θ_１２、到来角θ_３４から音源方向θを推定する音源方向推定手段、として機能させるための音源方向推定プログラムである。

本発明の音源方向推定システムは、所定の間隔を有し２つのマイクロホンからなる第一マイクロンホン対と、第一マイクロホン対に直交するように配設する所定の間隔を有し２つのマイクロホンからなる第二マイクロンホン対と、含み構成するので、従来のマイクロホンアレイシステムに比較して、マイクロホンの数が少なく構成が簡単で安価な音源方向推定システムを製造することができる。

また、第一及び第二マイクロホン対のマイクロホンの各々の出力信号に基づいて第一マイクロホン対の到来時間差τ_１２、及び第二マイクロホン対の到来時間差τ_３４を算出する到来時間差算出手段と、到来時間差算出手段が算出する到来時間差τ_１２に基づく到来角θ_１２、及び到来時間差τ_３４に基づく到来角θ_３４を算出する到来角算出手段と、到来時間差算出手段が算出する到来時間差τ_１２、到来時間差τ_３４、及び到来角算出手段が算出する到来角θ_１２、到来角θ_３４から音源方向θを推定する音源方向推定手段と、を含むので残響による誤差が少なく、精度の高い音源方向の推定を行なうことができる。

また本発明に従えば、音源方向の推定を、複雑な計算を行うことなく推定することができる。

また本発明によれば、２つのマイクロホン対の長さが略同一であるので、マイクロホンの設置を容易に行うことができる。これにより音源方向推定システムの製造が容易となり、また安価に製造することができる。

また本発明によれば、到来時間差算出手段が算出する到来時間差は、ＣＳＰ法による算出であるので、残響による誤差が低減可能で、精度の高い音源方向の推定を行なうことができる。

また本発明によれば、音声区間の検出を行う音声区間検出処理手段をさらに備えるので、音源方向の推定精度がより高まる。

また本発明によれば、第一マイクロンホン対及び第二マイクロンホン対で、音を受音する第一ステップと、到来時間差τ_１２、到来時間差τ_３４を算出する第二ステップと、到来角θ_１２、到来角θ_３４を算出する第三ステップと、到来時間差τ_１２、到来時間差τ_３４、到来角θ_１２、到来角θ_３４から音源方向θを推定する第四ステップと、推定した音源方向結果を出力する第五ステップと、を含むので本方法を用いて音源方向の推定を行うことができる。

また本発明によれば、記録したプログラムをコンピュータに読取らせて、音源方向の推定を行うことができるので、音源方向の推定をコンピュータに実行させることができる。

図１は、本発明の実施の一形態としての音声方向推定システム１００の概略的な構成を示すブロック図である。音声方向推定システム１００は、マイクロホン１、２、３、４、ライン増幅器５ａ、５ｂ、５ｃ、５ｄ、アナログ／デジタル変換器６ａ、６ｂ、６ｃ、６ｄ及びデータ処理装置２０を主要な構成とする。図２は、マイクロホン１、２、３、４の配置を示す図である。図２に示すθは、マイクロホン１、２を結ぶ線を基準に、半時計周りに計測した角度である。

マイクロホンは、無指向性のマイクロホンであって、所定の間隔を有する２つのマイクロホン１、２からなる第一マイクロホン対１１と、所定の間隔を有する２つのマイクロホン３、４からなる第二マイクロホン対１２とからなる。マイクロホン１、２の距離とマイクロホン３、４の距離とは、略同一である。またマイクロホン１、２を結ぶ線とマイクロホン３、４を結ぶ線とは直交し、交点Ｏから各マイクロホン１〜４までの距離は略同一である。第一マイクロホン対１１と第二マイクロホン対１２とを直交配置させるのは、誤差の少なくなるマイクロホン対の到来角の推定結果を選択することにより、全体としてより正確な音源方向θを推定することにある。

マイクロホン１、２の距離とマイクロホン３、４の距離とが略同一、交点Ｏから各マイクロホン１〜４までの距離が略同一であるとは、同一の場合のほか２つの距離がわずかに異なる場合も含む。また、マイクロホン１、２を結ぶ線とマイクロホン３、４を結ぶ線とが直交するとは、マイクロホン１、２を結ぶ線とマイクロホン３、４を結ぶ線とが、９０°の角度で交わる場合のみならず、９０°に対して数度の傾きがある場合も含まれる。

以上のようにマイクロホン対１１とマイクロホン対１２との設置については、多少の自由度を有するため、周囲の環境上、マイクロホン対１１とマイクロホン対１２との距離を同一にできない場合、あるいはマイクロホン１、２を結ぶ線とマイクロホン３、４を結ぶ線との交点Ｏから、各マイクロホン１〜４までの距離を同一にすることができないような場合であっても本発明を利用することができる。また、マイクロホン対１１とマイクロホン対１２とを、９０°の角度で交差させることができないような場合であっても本発明を利用することができる。マイクロホン対の距離、マイクロホン対１１とマイクロホン対１２の交差する角度の誤差が、音源方向の推定に及ぼす影響については後述する。

マイクロホン１〜４で受音された音は、マイクロホン１〜４で電気信号に変換され、ライン増幅器５ａ〜５ｄ、アナログ／デジタル変換器６ａ〜６ｄを通して、電気信号としてデータ処理装置２０に送られる。データ処理装置２０は、記憶部２１、演算部２２及び出力部２３を含み構成される。音声信号は、予め定められたサンプリング時間Ｔ秒ごとにサンプリングされて記憶部２１の記憶手段に記憶される。

演算部２２は、記憶部２１に記憶した音声データを用いて、所定の演算を行なう。演算部２２は、第一マイクロホン対１１及び第二マイクロホン対１２のマイクロホンの出力信号に基づいて、第一マイクロホン対の到来時間差τ_１２、及び第二マイクロホン対の到来時間差τ_３４を算出する到来時間差算出手段２４を備える。さらに到来時間差算出手段２４の算出する到来時間差τ_１２に基づく到来角θ_１２、及び到来時間差算出手段２４の算出する到来時間差τ_３４に基づく到来角θ_３４を算出する到来角算出手段２５と、到来時間差算出手段２４の算出する到来時間差τ_１２、到来時間差τ_３４、及び到来角算出手段２５の算出する到来角θ_１２、到来角θ_３４から音源方向θを推定する音源方向推定手段２６を含む。出力部２３は、音源方向推定手段２６の推定した音源方向結果を出力する。

本実施形態においては、記憶部２１、演算部２２及び出力部２３は、コンピュータで構成する。到来時間差算出手段２４、到来角算出手段２５、音源方向推定手段２６は、ソフトウエア的に構成し、プログラムをコンピュータにインストールすることによって実行させることができる。なお、記憶部、演算部、出力部は一体の装置として構成されている必要はなく、各々別の装置であってもよい。また記憶機能、演算機能、出力機能を備えるものであれば、コンピュータ以外のものであってもよいことは言うまでもない。

次に音源方向の推定方法について説明する。基本的に到来時間差τによる音源方向θの推定は、次のように行うことができる。図３において音速ｃ（ｍ・ｓ^−１）の平面波がθ方向から到来しているとすると、マイクロホンＭＩＣ１の受音に対してマイクロホンＭＩＣ２の受音は遅延し、到来時間差τを生じる。このとき到来時間差τと到来角（音源方向）θの関係は、式（１）、式（２）で与えられる。到来時間差τは、ＤＦＴ、相互相関、又はＣＳＰ係数を用いて算出し、この値と式（２）とから到来角つまり音源方向θを推定できる。ここでｄ（ｍ）は、マイクロホンＭＩＣ１とマイクロホンＭＩＣ２との間隔である。

ここで、室内の残響、反射による到来時間遅れの計測誤差をε_τとすると、計測誤算ε_τを考慮した到来時間差の測定値τ_ｍは式（３）で表される。よって室の残響、反射による到来時間差の計測誤差ε_τを考慮した場合の到来角の誤差ε_θ１は、式（４）で示される。式（４）において、θ_ｍは、到来時間遅れの計測誤差ε_τを含む場合の音源方向の推定値である。

到来時間遅れの計測誤差ε_τと到来角の誤差ε_θ１との関係を図４に示す。ここで到来角の誤差ε_θ１は、式（４）を用いて計算した値である。図４に示すように、音源方向θ＝０°、θ＝１８０°すなわちマイクロホン対に沿った到来方向に対して、到来角の誤差ε_θ１が大きく表れる。

マイクロホン間隔の誤差は、次のように表される。マイクロホン自体がある寸法を有し、全く点音源とならない。このことをマイクロホン間隔ｄの実効的誤差の要因と考える。またマイクロホンシステムを多数個製作するとき、マイクロホン間隔のズレの問題も生じる。このとき、目標（設定）マイクロホン間隔ｄに対して実際のマイクロホン間隔をｄ_ｍとすると、到来角の誤差ε_θ２は式（５）で示される。

マイクロホン間隔の誤差と到来角の誤差ε_θ2との関係を図５（ａ）、図５（ｂ）に示す。ここで到来角の誤差ε_θ２は、式（５）を用いて計算した値である。図５（ａ）、図５（ｂ）に示すように、室の残響、反射による到来時間遅れと同様、音源方向θ＝０°、θ＝１８０°すなわちマイクロホン対に沿った到来方向に対して、到来角の誤差ε_θ２が大きく表れる。

以上の問題点を解決するために、本発明においては、図２に示すようにマイクロホン対１１とマイクロホン対１２とを直交させる。マイクロホン対を直交配置させるのは、誤差の少なくなるマイクロホン対の実測した到来時間差τ_ｍに基づく到来角θ_ｍの推定結果を選択することにより、全体としてより正確な音源方向θを推定することにある。またマイクロホン対１１とマイクロホン対１２との間の遅延時間により、平面内全方向の音源方向推定が可能となる。

マイクロホン対１１の到来時間差τ_１２、マイクロホン対１２の到来時間差τ_３４に基づき算出する到来角θ_ｍを各々θ_１２、θ_３４とすると、到来角θ_１２、θ_３４は、式（６．１）、式（６．２）で与えられる。ここで、ｃ（ｍ・ｓ^−１）は音速、ｄ（ｍ）はマイクロホン１、２間の距離、又はマイクロホン３、４間の距離である。

各マイクロホン対の到来時間差τ_１２、τ_３４の実測結果の一例を、図６（ａ）、６（ｂ）に示す。ここでは、入力に８００Ｈｚの正弦波を使用し、受音信号をＦＦＴ（ｆａｓｔ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）して求めた位相差特性から到来時間差を算出した。また音源方向θに対する実測した到来時間差に基づき算出した到来角θ_１２、θ_３４の関係を図７（ａ）、７（ｂ）に示す。なお図６（ａ）、６（ｂ）及び図７（ａ）、７（ｂ）に示す実線は、残響、反射を伴わず、またマイクロホン間隔に誤差を含まない場合の計算値である。

図４又は図５（ａ）、５（ｂ）に示したのと同様、図６（ａ）、６（ｂ）及び図７（ａ）、７（ｂ）においても、マイクロホン対に沿う到来方向、つまりマイクロホン対１１では音源方向０°及び１８０°、マイクロホン対１２では音源方向９０°及び２７０°において音源方向の推定値の誤差が大きいことが分かる。

図６（ａ）、６（ｂ）及び図７（ａ）、７（ｂ）の結果から、｜τ_１２｜＜｜τ_３４｜の場合は、マイクロホン対１１による到来角θ_１２を、｜τ_１２｜＞｜τ_３４｜の場合は、マイクロホン対１２による到来角θ_３４を、音源方向θとして選択すれば、全音源方向をより正確に推定可能なことが分かる。また図７（ａ）、７（ｂ）の結果から、｜τ_１２｜＜｜τ_３４｜の場合は、θ_３４によってθ_１２を、また｜τ_１２｜＞｜τ_３４｜の場合は、θ_１２によってθ_３４を、場合分けする必要があることが分かる。以上を整理し、式（７．１）〜式（７．５）に誤差の少ない到来角θ_１２、到来角θ_３４を選択する条件と推定音源方向（到来角）θの関係を示す。

以上のように簡単な構成で残響、反射による誤差の少ない音源方向の推定を行うことができる。また構成が簡単であるので音源方向の推定も迅速に行うことができる。また音源方向推定システムの構成が簡単であるので、安価にシムテムを製造することができる。

また、直交マイクロホン対の使用は、音源方向の分解能の点からも有用である。マイクロホンＭＩＣ１の受音に対するマイクロホンＭＩＣ２の受音の到来時間差τと到来角θの関係は、上述のように式（２）で示される。ここで到来時間差τのある場合、判別可能な到来時間差τの最小値はサンプリング時間周期Ｔとなるから、分解能Δθは、式（８．１）、式（８．２）で示される。ここで、ｃは音速である。

図８は、到来角（音源方向）θと分解能Δθの関係を示す計算結果の一例である。図８から分解能Δθは、音源方向０〜３０°及び１６０〜１８０°の範囲で大きく低下する一方、音源方向が９０°近傍では分解能Δθが優れていることが分かる。また、マイクロホン間隔ｄと分解能Δθとの関係では、マイクロホン間隔ｄが大きいほど分解能が優れている。このように分解能の点からも、直交マイクロホン対の使用は有用である。

次に、マイクロホン対１１とマイクロホン対１２との距離が異なる場合に、音源方向の推定値にいかなる影響を与えるか検討する。マイクロホン対１１の距離をｄ、マイクロホン対１２の距離ｄ＋δｄとし、マイクロホン対１１及びマイクロホン対１２の各々の距離は実測済みであると仮定する。マイクロホン１１対とマイクロホン対１２とは、各々を結ぶ線が中心点で交差し、かつ直交配置されているものと仮定する。なおδｄは、ｄに比較して十分小さいとする。

マイクロホン対１１の到来時間差τ₁₂に基づく到来角θ_１２は、上記のように式（６．１）で表される。一方マイクロホン対１２の到来時間差τ_３４は、式（９．１）で表される。また到来時間差τ_３４に基づく到来角θ_３４は、式（９．２）で算出することができる。これによりマイクロホン対１２の距離がｄ＋δｄであっても、音源方向θの推定値は、マイクロホン対１２の距離がｄの場合と同一の値となる。

マイクロホン対の距離を事前に把握している場合は、マイクロホン対１１とマイクロホン対１２との距離が同一でなくても、音源方向の推定値に影響を及ぼすことはない。しかしながら、目標（設定）マイクロホン間隔ｄに対して実際のマイクロホン間隔がｄ_ｍである場合にあっては、到来角に影響を与えることは上記式（５）で示した通りである。

同様に、マイクロホン１、２を結ぶ線の中心点とマイクロホン３、４を結ぶ線の中心点とが交差しない場合、マイクロホン１、２を結ぶ線とマイクロホン３、４を結ぶ線とが９０°の角度で交差しない場合にあっても、これらの誤差が小さく、音源方向を推定する以前にこれらの値が分かっていれば、これを考慮して音源方向を推定することで、これらに基づく誤差をなくすることができる。

また、本発明の音源方向推定システム１００は、使用するマイクロホン感度にばらつきがあっても、後述の実施例２に示すように音源方向推定結果に影響を与えない。これは本音源方向推定システム１００では、到来時間差τに着目して音源方向の推定を行っていることによる。これに対して、例えば特開平１０−２１５４９７号公報に記載されているような多数のマイクロホン対を用いて、受音の大きさの差から音源方向を推定する場合にあっては、各マイクロホンの感度を揃える必要がある。以上のように本音源方向推定システム１００は、マイクロホンの感度を必ずしも揃える必要がないので、音源方向推定システムを製作する上で有利である。

図９は、本発明の音源方向推定システム１００を用いて音源方向を推定する手順を示すフローチャートである。まずステップＳ１において、音をマイクロホン１、２、３、４で受音し、ライン増幅器５ａ〜５ｄ、及びアナログ／デジタル変換器６ａ〜６ｄを介してデータ処理装置２０の記憶部２１にデータを記憶する。データは、サンプリング時間Ｔ秒ごとにサンプリングし記憶する。

次にステップＳ２において、第一マイクロホン対１１の到来時間差τ_１２、及び第二マイクロホン対１２の到来時間差τ_３４の算出を行なう。到来時間差の算出法には、ＤＦＴを用いた位相差、相互相関法、ＣＳＰを用いた算出法が周知であるが、後述の実施例に示すようにＣＳＰを用いた算出法が精度の点から好ましい。

ＣＳＰによる到来時間差τの算出は、次のようにして求めることができる。相関のフーリエ変換は、パワースペクトルとなる。それを振幅で正規化（白色化）し逆フーリエ変換してＣＳＰ係数を求める。ＣＳＰ係数は式（１０）で表される。そして式（１１）に示すようにＣＳＰ係数の最大となるｋが到来時間差τとなる。

ここで、Ｓ_ｘ（ｎ）はマイクロホン１の受音信号、Ｓ_ｙ（ｎ）はマイクロホン２の受音信号、＊は共役を表す。

到来時間差τ_１２、τ_３４算出した後、到来時間差τ_１２、τ_３４を用いて到来角θ_１２、θ_３４を求める（ステップＳ３）。到来角は、前記の式（６．１）、式（６．２）に示した関係から求める。次にステップＳ４において、誤差の少ない到来角θ_１２又はθ_３４を選択する。誤差の少ない到来角は、到来時間差τ_１２、τ_３４、及び到来角θ_１２、θ_３４を用いて、前記の式（７．１）〜式（７．５）に示した関係から求める。

最後に、ステップＳ４で求めた誤差の少ない到来角θ_１２又はθ_３４を音源方向の推定値θとして出力する。以上の手順により迅速に精度の高い到来角を推定することができる。

上記の実施形態に、さらに音声区間検出処理手段を備えることにより、後述の実施例の実証データに示すように音源方向の推定精度を高めることができる。音声区間検出処理手段には、本発明者が先に出願した特開２００３−２２３１７５号公報に記載した音声区間処理手段を用いることができる。具体的には、音声信号中に含まれる雑音を除去する前処理手段と、前処理手段により雑音が除去された音声信号の信号対雑音比を改善する信号対雑音比改善手段と、信号対雑音比改善手段で信号対雑音比が改善された音声信号に基づいて音声区間抽出信号を生成する音声区間抽出信号生成手段により構成することができる。本音声区間検出処理手段は、ソフトウエア的に構成し、プログラムをコンピュータにインストールすることで実行させることができる。

また本発明の音源方向推定システム１００を用いて、目標の音源方向信号を得ることも可能である。本発明の音源方向推定システム１００を用いて、目標の音源方向信号を得る手順の一例を図１０に示す。図１０のステップＳ１１からステップ１５は、図９に示したステップＳ１からステップＳ５に対応するので、詳細な説明は省略する。ステップＳ１６で、ステップＳ１５で算出した音源方向の推定結果に基づき到来時間差を算出する。

ステップＳ１６で到来時間差を算出した後、ステップＳ１７で音源方向推定誤差の小さいマイクロホン対と判別されたマイクロホンの受音信号をＤＦＴし、その位相差特性により周波数毎の到来時間差を求める。音源方向推定誤差の小さいマイクロホン対の判別は、ステップＳ１４で判別する。

次にステップＳ１８で、ステップＳ１６で求めた到来時間差と、ステップＳ１７で求めた到来時間差が、一致する時間差をもつ周波数スペクトルを抽出する。次にステップ１９で、ステップＳ１８で求めた周波数スペクトル成分をＩＤＦＴし、目標の音源方向信号を得る。

（実施例１）以下に音源方向推定システム１００を用いて音源方向推定を行った実施例を示す。第一マイクロホン対と第二マイクロホン対とを直交させ、これらを図１１に示すような一般教室内の机の上に置いた。音源としてスピーカから発する男声「なかむらけんきゅうしつ」を入力とし、第一マイクロホン対と第二マイクロホン対を一体的に回転させることで音源方向を０°から１８０°まで所定の角度で変化させ、データの収録を行なった。録音のサンプリング周波数は４４．１Ｈｚとした。マイクロホン対の長さ４ｃｍである。

到来時間差の各算出法においては、ＦＦＴによる位相差特性を用いた算出法と、ＣＳＰを用いた算出法では４０９６サンプルごとにハニング窓をかけた計算を行った。また相互関数を用いた算出法では、相関個数を４０９６サンプルとした。

本実施例１における到来時間差の測定法を以下に示す。到来時間遅れの算出には（１）ＤＴＦを用いた位相差、（２）相互相関法、（３）ＣＳＰの用いた算出法を用いた。ＤＴＦを用いた位相差による到来時間差τの算出は、次の要領で行った。マイクロホン１とマイクロホン２の受音信号をそれぞれＤＦＴ処理し、求まるフーリエ係数ａ_ｎ、ｂ_ｎより位相特性を求める。各周波数の位相特性θ_ｎは、式（１２）で表される。

マイクロホン１及びマイクロホン２の位相特性をそれぞれθ_１、θ_２とすると、位相差の周波数特性θ_１２は、θ_１２＝θ_１−θ_２となる。よって到来時間差τ_１２は、式（１３．１）で求めることができる。同様にして到来時間差τ_３４は、式（１３．２）で求めることができる。式（１３．１）、式（１３．２）中ｆは、周波数である。

相互相関法は、式（１４）で表される。

ここで、ｘはマイクロホン１の受音信号、ｙはマイクロホン２の受音信号を表す。時間ｔを変化させ、相互相関値の最大となる時間ｔがマイクロホン１、２間の到来時間差τ_１２となる。同様に、マイクロホン３、４間の到来時間差τ_３４を求めることができる。

ＣＳＰを用いた計測法は上記実施の形態に示したとおりであり、式（１０）、式（１１）で到来時間差を求める。

次に実験結果を示す。比較例として一つのマイクロホン対を用いた場合の結果も併せて示した。図１２（ａ）〜１２（ｄ）は、音源方向θ＝３０°方向とした場合の実施例及び比較例について、各到来時間差の算出法を用いて音源方向を推定した結果を示す図である。
図１２（ａ）は、受音信号の波形を表す図である。図１２（ｂ）は、位相差特性を用いて音源方向を推定した結果、図１２（ｃ）は、相互相関を用いて音源方向を推定した結果、図１２（ｄ）は、ＣＳＰ法を用いて音源方向を推定した結果を示す。

同様に、図１３（ａ）〜１３（ｄ）は、音源方向θ＝６０°方向とした場合の実施例及び比較例につき、各到来時間差の算出法を用いて音源方向を推定した結果を示す図である。
図１３（ａ）は、受音信号の波形を表す図である。図１３（ｂ）は、位相差特性を用いて音源方向を推定した結果、図１３（ｃ）は、相互相関を用いて音源方向を推定した結果、図１３（ｄ）は、ＣＳＰ法を用いて音源方向を推定した結果を示す。

図１２（ａ）〜１２（ｄ）及び図１３（ａ）〜１３（ｄ）から分かるように、ＣＳＰ法による到来時間遅れを用いた場合に、良好な音源方向推定結果が得られた。一方で、音声（信号）区間外においても、一部で誤った方向推定結果が得られた。

図１４、図１５、図１６及び図１７は、ＣＳＰ法を用いた場合の各到来角に対する推定結果の誤差を示す図である。受音信号は、図１２（ａ）と同一である。図１４（ａ）は音源方向０°、図１４（ｂ）は音源方向２０°、図１４（ｃ）は音源方向４０°の場合の到来角に対する推定結果の誤差を示す図である。図１５（ａ）は音源方向６０°、図１５（ｂ）は音源方向８０°、図１５（ｃ）は音源方向１００°の場合の到来角に対する推定結果の誤差を示す図である。図１６（ａ）は音源方向１２０°、図１６（ｂ）は音源方向１４０°、図１６（ｃ）は音源方向１６０°の場合の到来角に対する推定結果の誤差を示す図である。図１７は音源方向１８０°の場合の到来角に対する推定結果の誤差を示す図である。
図１４（ａ）、（ｂ）、（ｃ）〜図１７に示すように、比較例では、音源方向（到来方向）θ＝０°、１８０°に近づくほど誤差は大きくなった。これに対して実施例の場合は、θ＝０°、１８０°においても誤差は非常に小さかった。

（実施例２）音源方向推定システム１００を構成するマイクロホンの感度を変化させ、音源方向推定を行った実施例を示す。ここではマイクロホン１、マイクロホン３の受音信号は変化させず、マイクロホン２、マイクロホン４の受音信号を０．５倍し、音源方向推定を行った。なお、これ以外の実験条件は、実施例１と全て同一である。

図１８（ａ）は、マイクロホン１の入力波形、図１８（ｂ）は、マイクロホン２、４の受音信号を０．５倍した結果を示す図である。図１９（ａ）は、マイクロホン１〜４の全てのマイクロホンの受音信号を変化させることなく、所定の手順で音源方向推定を行った結果を示す図である。図１９（ｂ）は、マイクロホン１〜４のうちマイクロホン２、４の受音信号を０．５倍した後、所定の手順で音源方向推定を行った結果を示す図である。なお図１９（ａ）、図１９（ｂ）は、音源方向（到来角）が０°の場合の音源方向推定結果を示す図である。

図１９（ａ）、図１９（ｂ）に示すように、マイクロホン２、４の感度を下げた場合であっても、本発明の直交マイクロホン対を用いた音源方向推定結果は、良好であった。一方、一のマイクロホン対からなる比較例の場合には、音源方向推定値に大きな誤差があった。図２０（ａ）、図２０（ｂ）は、音源方向（到来角）が３０°の場合の音源方向推定結果を示す図であって、図２０（ａ）は、マイクロホンの受音信号を変化させることなく、所定の手順で音源方向推定を行った結果を示す図であり、図２０（ｂ）は、マイクロホン１〜４のうちマイクロホン２、４の受音信号を０．５倍した後、所定の手順で音源方向推定を行った結果を示す図である。

同様に図２１（ａ）、図２１（ｂ）は、音源方向（到来角）が６０°の場合の音源方向推定結果を示す図、図２２（ａ）、図２２（ｂ）は、音源方向（到来角）が９０°の場合の音源方向推定結果を示す図、図２３（ａ）、図２３（ｂ）は、音源方向（到来角）が１２０°の場合の音源方向推定結果を示す図、図２４（ａ）、図２４（ｂ）は、音源方向（到来角）が１５０°の場合の音源方向推定結果を示す図、図２５（ａ）、図２５（ｂ）は、音源方向（到来角）が１８０°の場合の音源方向推定結果を示す図である。

図１９（ａ）、１９（ｂ）〜図２５（ａ）、２５（ｂ）の結果から、音源方向（到来角）の角度によらず、マイクロホン２、４の感度を下げた場合であっても、本発明の直交マイクロホン対を用いた音源方向推定結果は、良好であった。一方、一のマイクロホン対からなる比較例の場合には、音源方向推定値に大きな誤差があった。

（実施例３）以下に、音源方向推定システム１００に、さらに音声区間検出処理手段を備えた音源方向推定システムを用いて、音源方向推定を行った実施例を示す。音声区間検出処理手段を備える以外、音源方向推定システムも、実験条件も実施例１と全て同一である。

図２６〜図２９は、音声区間検出処理を適用した場合の各到来角に対する推定結果を示す図である。図２６（ａ）は音源方向０°、図２６（ｂ）は音源方向２０°、図２６（ｃ）は音源方向４０°の場合の到来角に対する推定結果を示す図である。図２７（ａ）は音源方向６０°、図２７（ｂ）は音源方向８０°、図２７（ｃ）は音源方向１００°の場合の到来角に対する推定結果を示す図である。図２８（ａ）は音源方向１２０°、図２８（ｂ）は音源方向１４０°、図２８（ｃ）は音源方向１６０°の場合の到来角に対する推定結果を示す図である。図２９は音源方向１８０°の場合の到来角に対する推定結果を示す図である。平面内全方向の音源到来方向に対して、より正確な推定結果が得られ、かつ非音声区間の不必要な方向推定結果が生じなくなった。

（実施例４）以下に音源方向推定システム１００を用いて、目標の音源方向信号を得た実施例を示す。図３０に、ある音声区間のスペクトルを示す。図３０において実線は、処理前のスペクトル、破線は本音源方向推定システム１００を用いて生成した目標信号のスペクトルを示す。また細実線は、比較例であって、一つのマイクロホン対のみからなるマイクロホンを用いて、位相差特性より求めた到来時間差から生成した信号のスペクトルである。

図３０から分かるように、本発明の音源方向推定システム１００を用いて生成した目標方向信号のスペクトルは、処理前のスペクトル成分の大部分を含んでいた。一方、比較例で示す一つのマイクロホン対を用いて生成した信号は誤差が大きく、処理前のスペクトル成分をほとんど含んでいなかった。この結果から、本音源方向推定システム１００を用いて、目標の音源方向信号を得ることが可能なことが分かる。

本発明の実施の一形態としての音声方向推定システム１００の概略的な構成を示すブロック図である。 本発明の実施の一形態としての音声方向推定システム１００のマイクロホン１、２、３、４の配置を示す図である。 基本的な到来時間差による音源方向θの推定方法を説明するための図である。 到来時間差の計測誤差ε_τと到来角の誤差ε_θ１との関係を示す図である。 図５（ａ）、図５（ｂ）は、マイクロホン間隔の誤差と到来角の誤差ε_θ2との関係を示す図である。 図６（ａ）、図６（ｂ）は、各マイクロホン対の到来時間差τ_１２、τ_３４の実測結果の一例を示す図である。 図７（ａ）、図７（ｂ）は、音源方向θに対する実測した到来時間差に基づき算出した到来角θ_１２、θ_３４の関係を示す図である。 到来角と分解能Δθの関係を示す計算結果の一例を示す図である。 本発明の音源方向推定システム１００を用いて音源方向を推定する手順を示すフローチャートである。 本発明の音源方向推定システム１００を用いて目標の音源方向信号を得る手順を示すフローチャートである。 本発明の実施例１の実施要領を示す図である。 図１２（ａ）〜１２（ｄ）は、本発明の実施例１の音源方向推定結果であって、図１２（ａ）は、受音信号波形を、図１２（ｂ）〜１２（ｄ）は、音源方向３０°の場合の音源方向推定結果を示す図である。 図１３（ａ）〜１３（ｄ）は、本発明の実施例１の音源方向推定結果であって、図１３（ａ）は、受音信号波形を、図１３（ｂ）〜１３（ｄ）は、音源方向６０°の場合の音源方向推定結果を示す図である。 図１４（ａ）〜１４（ｃ）は、本発明の実施例１の音源方向０°、２０°、４０°の音源方向推定結果であって、ＣＳＰ法を用いた場合の各到来角に対する音源方向推定結果の誤差を示す図である。 図１５（ａ）〜１５（ｃ）は、本発明の実施例１の音源方向６０°、８０°、１００°の音源方向推定結果であって、ＣＳＰ法を用いた場合の各到来角に対する音源方向推定結果の誤差を示す図である。 図１６（ａ）〜１６（ｃ）は、本発明の実施例１の音源方向１２０°、１４０°、１６０°の音源方向推定結果であって、ＣＳＰ法を用いた場合の各到来角に対する音源方向推定結果の誤差を示す図である。 本発明の実施例１の音源方向１８０°の音源方向推定結果であって、ＣＳＰ法を用いた場合の各到来角に対する音源方向推定結果の誤差を示す図である。 図１８（ａ）及び図１８（ｂ）は、本発明の実施例２のマイクロホン入力波形であって、図１８（ａ）は、マイクロホン１の入力波形を、図１８（ｂ）は、受音信号を０．５倍した結果を示す図である。 図１９（ａ）及び図１９（ｂ）は、本発明の実施例２の到来角０°の場合の音源方向推定結果であって、図１９（ａ）は、受音信号を変化させることなく、図１９（ｂ）は、受音信号を０．５倍し、音源方向推定を行った結果を示す図である。 図２０（ａ）及び図２０（ｂ）は、本発明の実施例２の到来角３０°の場合の音源方向推定結果であって、図２０（ａ）は、受音信号を変化させることなく、図２０（ｂ）は、受音信号を０．５倍し、音源方向推定を行った結果を示す図である。 図２１（ａ）及び図２１（ｂ）は、本発明の実施例２の到来角６０°の場合の音源方向推定結果であって、図２１（ａ）は、受音信号を変化させることなく、図２１（ｂ）は、受音信号を０．５倍し、音源方向推定を行った結果を示す図である。 図２２（ａ）及び図２２（ｂ）は、本発明の実施例２の到来角９０°の場合の音源方向推定結果であって、図２２（ａ）は、受音信号を変化させることなく、図２２（ｂ）は、受音信号を０．５倍し、音源方向推定を行った結果を示す図である。 図２３（ａ）及び図２３（ｂ）は、本発明の実施例２の到来角１２０°の場合の音源方向推定結果であって、図２３（ａ）は、受音信号を変化させることなく、図２３（ｂ）は、受音信号を０．５倍し、音源方向推定を行った結果を示す図である。 図２４（ａ）及び図２４（ｂ）は、本発明の実施例２の到来角１５０°の場合の音源方向推定結果であって、図２４（ａ）は、受音信号を変化させることなく、図２４（ｂ）は、受音信号を０．５倍し、音源方向推定を行った結果を示す図である。 図２５（ａ）及び図２５（ｂ）は、本発明の実施例２の到来角１８０°の場合の音源方向推定結果であって、図２５（ａ）は、受音信号を変化させることなく、図２５（ｂ）は、受音信号を０．５倍し、音源方向推定を行った結果を示す図である。 図２６（ａ）〜２６（ｃ）は、本発明の実施例３の音源方向０°、２０°、４０°の音源方向推定結果であって、音声区間検出処理を適用した場合の実施例の各到来角に対する音源方向推定結果を示す図である。 図２７（ａ）〜２７（ｃ）は、本発明の実施例３の音源方向６０°、８０°、１００°の音源方向推定結果であって、音声区間検出処理を適用した場合の実施例の各到来角に対する音源方向推定結果を示す図である。 図２８（ａ）〜２８（ｃ）は、本発明の実施例３の音源方向１２０°、１４０°、１６０°の音源方向推定結果であって、音声区間検出処理を適用した場合の実施例の各到来角に対する音源方向推定結果を示す図である。 本発明の実施例３の音源方向１８０°の音源方向推定結果であって、音声区間検出処理を適用した場合の実施例の各到来角に対する音源方向推定結果を示す図である。 本発明の実施例４の実施結果を示す図である。

符号の説明

１、２、３、４ マイクロホン
１１ 第一マイクロホン対
１２ 第二マイクロホン対
２３ 出力部
２４ 到来時間差算出手段
２５ 到来角算出手段
２６ 音源方向推定手段

Claims (7)

1. 所定の間隔を有する２つのマイクロホンからなる第一マイクロンホン対と、
   該第一のマイクロホン対に直交するように配設する所定の間隔を有する２つのマイクロホンからなる第二マイクロンホン対と、
   該第一マイクロホン対の出力信号及び第二マイクロホン対の出力信号に基づいて、各々到来時間差τ_１２、到来時間差τ_３４を算出する到来時間差算出手段と、
   該到来時間差算出手段の算出する到来時間差τ_１２に基づいて到来角θ_１２、及び該到来時間差算出手段の算出する到来時間差τ_３４に基づいて到来角θ_３４を算出する到来角算出手段と、
   該到来時間差算出手段が算出する到来時間差τ_１２、到来時間差τ_３４、及び該到来角算出手段が算出する到来角θ_１２、到来角θ_３４から音源方向θを推定する音源方向推定手段と、
   該音源方向推定手段が推定する音源方向結果を出力する出力手段と、
   を含むことを特徴とする音源方向推定システム。
2. 前記音源方向推定手段は、次式を用いて音源方向θの推定を行うことを特徴とする請求項１に記載の音源方向推定システム。
   

   
3. 前記第一マイクロホン対を構成する２つのマイクロホンの間隔と、前記第二マイクロホン対を構成する２つのマイクロホンの間隔とは、略同一であることを特徴とする請求項１または２に記載の音源方向推定システム。
4. 前記到来時間差算出手段が算出する到来時間差は、ＣＳＰ法による算出であることを特徴とする請求項１から３のいずれか１に記載の音源方向推定システム。
5. さらに音声区間の検出を行う音声区間検出処理手段を含むこと特徴とする請求項１から４のいずれか１に記載の音源方向推定システム。
6. 所定の間隔を有する２つのマイクロホンからなる第一マイクロンホン対と、該第一のマイクロホン対に直交するように配設する所定の間隔を有する２つのマイクロホンからなる第二マイクロンホン対とで、音を受音する第一ステップと、
   第一ステップで受音した該第一マイクロホン対の出力信号、及び第二マイクロホン対の出力信号に基づいて、各々到来時間差τ_１２、到来時間差τ_３４を算出する第二ステップと、
   第二ステップで算出した到来時間差τ_１２に基づいて到来角θ_１２、及び到来時間差τ_３４に基づいて到来角θ_３４を算出する第三ステップと、
   第二ステップで算出した到来時間差τ_１２、到来時間差τ_３４、及び第三ステップで算出した到来角θ_１２、到来角θ_３４から音源方向θを推定する第四ステップと、
   第四ステップで推定した音源方向結果を出力する第五ステップと、
   を含むことを特徴とする音源方向推定方法。
7. 音源方向を推定するためにコンピュータを、第一マイクロホン対及び第二マイクロホン対のマイクロホンの出力信号に基づいて、第一マイクロホン対の到来時間差τ_１２、及び第二マイクロホン対の到来時間差τ_３４を算出する到来時間差算出手段、
   該到来時間差算出手段の算出する到来時間差τ_１２に基づく到来角θ_１２、及び該到来時間差算出手段の算出する到来時間差τ_３４に基づく到来角θ_３４を算出する到来角算出手段、
   該到来時間差算出手段が算出する到来時間差τ_１２、到来時間差τ_３４、及び該到来角算出手段が算出する到来角θ_１２、到来角θ_３４から音源方向θを推定する音源方向推定手段、として機能させるための音源方向推定プログラム。

Images