JP2011188025A - 音源推定方法 - Google Patents

Abstract

【課題】音源の方向が映像採取手段の映像領域を外れている場合でも、音源の位置を容易に推定できる音源推定方法を提供する。
【解決手段】取付台１３の三脚１３ａに設置されたカメラ取付台１３ｂを設置し、このカメラ取付台１３ｂの上部にマイクロフォンＭ１〜Ｍ５を固定したマイク固定台１１Ｄを設置し、カメラ取付台１３ｂに、回転手段１４を介して、映像採取手段１２を回転可能に取付けて、マイクロフォンＭ１〜Ｍ５の出力する音圧信号を用いて音源方向を推定するとともに、推定された音源方向の水平角θの大きさと映像採取手段１２の水平角方向の最大視野θ_Max及び最小視野θ_minとを比較し、水平角θの大きさがθ_Max−γを超えた場合、もしくは、θ_min＋γよりも小さい場合には、映像採取手段１２を回転させて、音源位置を撮影するようにした。
【選択図】図１

Description

本発明は、複数のマイクロフォンで採取した音の情報と、映像採取手段で撮影した映像の情報とを用いて、音源を推定する方法に関するものである。

従来、音の到来方向を推定する方法としては、多数のマイクロフォンを等間隔に配置したマイクロフォンアレーを構築し、基準となるマイクロフォンに対する各マイクロフォンの位相差から音波の到来方向である音源の方向を推定する、いわゆる音響学的手法が考案されている（例えば、非特許文献１参照）。
一方、計測点に配置された複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンから互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる２つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる２つのマイクロフォン間の到達時間差との比から音源の方向を推定する方法が提案されている（例えば、特許文献１〜３参照）。

具体的には、図４に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置し、前記マイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差との比から、計測点と音源の位置との水平角θを推定するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置に配置して、更に４組のマイクロフォン対（Ｍ５, Ｍ１），（Ｍ５, Ｍ２），（Ｍ５, Ｍ３），（Ｍ５, Ｍ４）を構成し、各マイクロフォン対を構成するマイクロフォン間の到達時間差から、計測点と音源の位置との成す仰角φを推定する。

これにより、マイクロフォンアレーを用いて音源方向を推定する場合に比較して、少ないマイクロフォン数で音源の方向を正確に推定することができる。
このとき、ＣＣＤカメラ等の映像採取手段により推定された音源の方向の映像を撮影し、この映像のデータと音源の方向のデータとを合成して、映像中に推定した音源の方向と音圧レベルとを図形で表示するようにすれば、音源を視覚的に把握することができる。

特開２００２−１８１９１３号公報 特開２００６−３２４８９５号公報 特開２００８−２２４２５９号公報

大賀寿郎，山崎芳男，金田豊；音響システムとディジタル処理，コロナ社，１９９５

しかしながら、前記従来の方法では、撮影された映像の画像データと音源の方向のデータとを合成した画像データを作成し、この画像データを表示画面上に表示して音源を推定するようにしているため、カメラの視野が狭い場合には、撮影された映像中に推定された音源方向を表示できない場合があった。
このような場合、従来は、マイクロフォンとカメラとをこの推定された音源方向に向けて回転させた後、音源と推定される方向から伝播される音と前記音源と推定される方向の映像の採取と音源方向の推定とをやり直していたため、作業性が悪かった。
また、３６０°カメラなどの観測点の周りの３６０°の映像を採取する映像採取手段を用いれば、観測点の周りの全ての方向の音源を映像中に表示することは可能であるが、この場合には、撮影された画像の歪みが大きいことから、逆に音源の特定が難しくなるといった問題点が生じてしまう。

本発明は、従来の問題点に鑑みてなされたもので、音源の方向が映像採取手段の映像領域を外れている場合でも、音源の位置を容易に推定できる音源推定方法を提供することを目的とする。

本願発明は、複数のマイクロフォンで採取した音の情報と映像採取手段とにより撮影した映像の情報とを用いて音源を推定する方法であって、複数のマイクロフォンにより、音源と推定される方向から伝播される音の情報を採取するステップと、複数のマイクロフォンで採取した音の音圧信号の位相差から音源の方向（マイクロフォンの中心である観測点と音源の位置との成す水平角θと仰角φ）を推定するステップと、映像採取手段の撮影視野である映像領域と推定された音源の方向とを比較するステップと、推定された音源の方向が映像領域内にある場合に、映像採取手段の位置を動かさずに推定された音源の方向の映像を撮影するステップと、推定された音源の方向が映像領域内にない場合に、推定された音源の方向が映像採取手段の映像領域内に入るように、映像採取手段を回転させて、推定された音源の方向の映像を撮影するステップと、推定された音源の方向のデータと撮影された映像の画像データとを合成して、推定された音源の方向を示す図形が描画された映像を作成するステップと、前記図形が描画された映像から音源を推定するステップとを有することを特徴とする。
これにより、音源方向の水平角θや仰角φが大きな場合でも、再度音の情報の採取と音源方向の推定とを行うことなく、音源推定方向の鮮明な映像を撮影することができる。

また、本願発明は、前記複数のマイクロフォンを、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとから構成するとともに、前記２組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記音源方向（水平角θと仰角φ）を推定することを特徴とする。
これにより、音源方向の水平角θや仰角φを、少ないマイクロフォン数で、効率よくかつ正確に推定することができる。

なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。

本実施の形態に係る音源推定装置の構成を示す機能ブロック図である。 映像採取手段で撮影した映像の一例を示す図である。 本発明による音源推定方法を示すフローチャートである。 従来の音源推定方法におけるマイクロフォンの配列を示す図である。

以下、実施の形態を通じて本発明を詳説するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、実施の形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

以下、本発明の実施の形態について、図面に基づき説明する。
図１は本実施の形態に係る音源推定装置１０の構成を示す機能ブロック図である。
同図において、１１は音圧レベル測定手段、１２は映像採取手段、１３は取付台、１４は回転手段、１５は増幅器、１６はＡ／Ｄ変換器、１７は音源方向推定手段、１８は映像入出力手段、１９は回転判定手段、２０は撮影方向制御手段、２１はデータ合成手段、２２は音源位置表示手段である。
音圧レベル測定手段１１は、５本のマイクロフォンＭ１〜Ｍ５と、これらのマイクロフォンＭ１〜Ｍ５を以下のように配置して固定するマイク固定台１１Ｄとを備える。
マイクロフォンＭ１〜Ｍ５は、図４に示すように、マイクロフォンＭ１，Ｍ３と、マイクロフォンＭ２，Ｍ４とが、互いに直交する２直線（同図のｘ軸とｙ軸）上にそれぞれ所定の間隔Ｌで配置されて、２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置されている。マイクロフォンＭ５は、マイクロフォンＭ１〜Ｍ４の中心を通る、上記平面に垂直な直線（ｚ軸）上に上記平面からの距離がＬ/２の位置に配置されている。

映像採取手段１２は、マイクロフォンＭ１〜Ｍ５が設置された位置（以下、観測点という）を中心にした所定の枠（映像視野）内の映像を採取するもので、ＣＣＤカメラ等が用いられる。本例では、前記映像視野を、水平角θ＝±６０°、仰角φ＝±６０°とした。すなわち、映像採取手段１２の水平方向の映像視野の最大値θ_Maxは＋６０°であり、最小値θ_minは−６０°である。前記映像視野が、撮影された映像の映像領域となる。
取付台１３は、基台である三脚１３ａと、この三脚１３ａ上に設置されたカメラ取付台１３ｂと、このカメラ取付台１３ｂに立設されてマイク固定台１１Ｄを下側から支持する４本の支持棒１３ｃとを備えている。
マイクロフォンＭ１〜Ｍ５は、映像採取手段１２の上側に、マイク固定台１１Ｄに固定された状態で設置される。
一方、映像採取手段１２は、回転手段１４を介して、カメラ取付台１３ｂに回転可能に取付けられる。
回転手段１４は、例えば、ステッピングモーターなどの、撮影方向制御手段２０からの制御信号（ステッピングモーターの場合には、制御パルス信号）により駆動される。
このとき、映像採取手段１２の焦点位置が回転手段１４の回転軸上にあり、かつ、回転手段１４の回転軸とマイクロフォンＭ１〜Ｍ５の中心線とが一致するように、音圧レベル測定手段１１と映像採取手段１２とを取付台１３に取付けることが好ましい。また、本例では、映像採取手段１２の初期位置として、図１の一点鎖線Ｄで示す映像採取手段１２のレンズ光軸の方向を、マイクロフォンＭ３からマイクロフォンＭ１に向かう方向（図１及び図４のｘ方向）とした。

増幅器１５はローパスフィルタを備え、マイクロフォンＭ１〜Ｍ５で採取した各音の音圧信号から高周波ノイズ成分を除去するとともに、各音圧信号をそれぞれ増幅してＡ／Ｄ変換器１６に出力する。Ａ／Ｄ変換器１６は、各音圧信号をＡ／Ｄ変換した音圧波形データを作成し、これを、音源方向推定手段１７に出力する。
音源方向推定手段１７は、記憶部１７ａと演算部１７ｂとを備える。記憶部１７ａは、Ａ／Ｄ変換器１６でＡ／Ｄ変換された音圧波形データを記憶して保存する。演算部１７ｂは、予め設定した複数の周波数ｆ_k（ｋ＝１〜ｎ）それぞれについて、上記２組のマイクロフォン対（Ｍ１，Ｍ３），（Ｍ２，Ｍ４）における音の到達時間差Ｄ₁₃及びＤ₂₄をそれぞれ求めて、到達時間差の比（Ｄ₁₃/Ｄ₂₄）から観測点と音源との成す水平角θを周波数ｆ_k毎に推定するとともに、到達時間差Ｄ₁₃及びＤ₂₄とマイクロフォンＭ１〜Ｍ４とマイクロフォンＭ５とのマイクロフォン間の到達時間差Ｄ_5j（ｊ＝１〜４）とから仰角φを推定し、上記水平角θと上記仰角φとを音源方向の座標データ（θ，φ）としてデータ合成手段２１に出力するとともに、上記水平角θを回転判定手段１９に送る。このとき、音源の音圧レベルのデータと周波数データも同時にデータ合成手段２１に送る。なお、音圧データとしては、マイクロフォンＭ１〜Ｍ５の出力電圧の平均値、もしくは、マイクロフォンＭ５の出力電圧を用いればよい。
水平角θと仰角φの計算方法については後述する。

映像入出力手段１８は、映像採取手段１２で撮影された水平角θが−６０°≦θ≦＋６０°、仰角φが−６０°≦φ≦＋６０°であるような映像領域の画像データをデータ合成手段２１に送る。なお、本例では、映像採取手段１２をマイクロフォンＭ１〜Ｍ５の下側に配置しているが、マイクロフォンＭ１〜Ｍ４の中心と映像採取手段１２の焦点位置との距離は小さいので、撮影される仰角は、音源方向推定手段１７で推定された仰角φにほぼ等しい。
回転判定手段１９は、音源方向推定手段１７で推定された水平角θと映像採取手段１２の水平角方向の最大視野θ_Max及び最小視野θ_minとを比較し、水平角θの大きさがθ_Max−γ（γは１０°程度）を超えた場合、及び、θ_min＋γよりも小さい場合には、水平角θを指定回転角Θとして撮影方向制御手段２０とデータ合成手段２１に出力する。
水平角θの大きさがθ_min＋γ≦θ≦θ_Max−γの場合には、指定回転角Θを出力しない。

撮影方向制御手段２０は、回転判定手段１９から指定回転角Θが入力された場合に、回転手段１４を制御して、映像採取手段１２を指定回転角Θだけ回転させる。
データ合成手段２１は、映像入出力手段１８から送られてきた画像データに音源方向推定手段１７で推定された音源方向の座標（θ，φ）と音圧レベルと周波数とから成る音源情報を示す画像データを付加した画像データを生成する。
音源位置表示手段２２は、データ合成手段２１から送られてきた画像データを表示画面２２ｍに表示する。
音源情報を示す画像データとしては、図２（ａ）に示すような、音源の方向を示す座標データ（θ，φ）上に、例えば、座標（θ，φ）を中心とした網目模様の丸印Ｒなどのような、音源方向を示す図形とすればよい。このとき、各マイクロフォンＭ１〜Ｍ５で採取した音圧信号の大きさを丸の半径により表わせばよい。なお、予め設定した周波数帯域の音源方向を表示する場合や、周波数帯域毎の音源方向を表示する場合には、周波数帯域により丸印Ｒの色をそれぞれ設定すればよい。
これにより、映像採取手段１２により撮影された映像に音源５０が映っている場合には、音源５０は網目模様の丸印Ｒがついて撮影される。
なお、水平角θの大きさがθ＜θ_min＋γ、または、θ＞θ_Max−γの場合には、図２（ｂ）に示すように、表示画面２２ｍの中心位置は、（θ＝０，φ＝０）から（θ＝Θ，φ＝０）に変更される。

水平角θ及び仰角φの計算方法は以下の通りである。
各マイクロフォン対（Ｍｉ, Ｍｊ）のマイクロフォンＭｉとマイクロフォンＭｊとの間の到達時間差をＤ_ijとすると、音の入射方向である水平角θと仰角φとは以下の式（１），（２）で表わせるので、各マイクロフォンＭ１〜Ｍ５の出力信号をＦＦＴを用いて周波数分析し、対象となる周波数ｆにおける各マイクロフォンＭ_ｉ，Ｍ_ｊ間の到達時間差Ｄ_ijを算出することにより、前記水平角θ及び仰角φを求めることができる。

すなわち、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ₁₃と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ₂₄との比から、計測点と音源位置との水平角θを推定し、前記到達時間差Ｄ₁₃，Ｄ₂₄と、前記第５のマイクロフォンＭ５と他のマイクロフォンＭ１〜Ｍ４との到達時間差Ｄ_5j（ｊ＝１〜４）とから計測点と音源位置との成す仰角φを推定する。

なお、前記到達時間差Ｄ_ijは、２つのマイクロフォン対（Ｍ_ｉ，Ｍ_ｊ）に入力される信号のクロススペクトルＰ_ij（ｆ）を求め、更に、対象とする前記周波数ｆの位相角情報Ψ（ｒａｄ）を用いて、以下の式（３）を用いて算出される。

水平角θ及び仰角φとは、ｆを中心周波数とする所定の帯域幅を有する周波数帯域毎に求めることができる。

本発明による音源の推定方法について、図３のフローチャートを用いて説明する。
なお、映像採取手段１２は、レンズ光軸が初期位置マイクロフォンＭ１とマイクロフォンＭ３とを結ぶ線と平行になるようにセットされているものとする。
まず、マイクロフォンＭ１〜Ｍ５にて音の情報を採取するとともに、映像採取手段１２により映像の情報を採取する（ステップＳ１０）。そして、この音の情報を増幅器１５で増幅した後、Ａ／Ｄ変換器１６によりＡ／Ｄ変換して、音圧波形データとして音源方向推定手段１７の記憶部１７ａに保存する（ステップＳ１１）。なお、映像の情報は映像入出力手段１８に送られる。
次に、音源方向推定手段１７の演算部１７ｂにて、記憶手段１７ａに保存された音圧波形データから各マイクロフォンＭ１〜Ｍ５間の位相差を求め、この求められた位相差から音源方向である水平角θと仰角φとを推定する（ステップＳ１２）。

そして、回転判定手段１９にて、音源方向推定手段１７で推定された水平角θと水平角方向の最大視野θ_Max及び最小視野θ_minとを比較する（ステップＳ１３）。水平角θの大きさがθ_min＋γ≦θ≦θ_Max−γの場合には、データ合成手段２１にて、映像入出力手段１８から送られてきた画像データに音源方向推定手段１７で推定された音源方向の座標（θ，φ）と音圧レベルと周波数とから成る音源情報を示す画像データを付加した画像データを生成し（ステップＳ１４）、この画像データを音源位置表示手段２２の表示画面２２ｍに、中心が座標（θ，φ）で半径が各マイクロフォンで採取した音圧信号の大きさである網目状の丸印Ｒが映った映像を表示する（ステップＳ１５）。
ステップＳ１３において、水平角θの大きさがθ_Max−γを超えた場合、もしくは、θ_min＋γよりも小さい場合には、ステップＳ１６に進んで、水平角θと仰角φとをデータ合成手段２１に出力するとともに、水平角θを指定回転角Θとして撮影方向制御手段２０に出力して、回転手段１４を回転させ、映像採取手段１２を指定回転角Θだけ回転させる。
そして、指定回転角Θだけ回転した位置における映像を映像採取手段１２にて撮影した後（ステップＳ１７）、この撮影された画像データと音源方向推定手段１７で推定された音源方向の座標（θ，φ）と音圧レベルと周波数とから成る音源情報を示す画像データを付加した画像データを生成し（ステップＳ１８）、この画像データを音源位置表示手段２２の表示画面２２ｍに網目状の丸印Ｒが映った映像を表示する（ステップＳ１９）。

これにより、音源位置表示手段２２の表示画面２２ｍには、常に、音源の推定位置が映った画像を表示することができる。なお、音が聞こえなくなった場合には、そのまま計測を続けてもよいし、回転手段１４を逆回転させて、映像採取手段１２を初期位置に戻してもよい。また、更に大きな音が発生した場合には、映像採取手段１２を回転させて、映像採取手段１２のレンズ光軸が新たな音源方向を向くように回転させるようにしてもよいし、そのまま測定中の音の方向を撮影してもよい。

このように、本実施の形態では、取付台１３の三脚１３ａに設置されたカメラ取付台１３ｂを設置し、このカメラ取付台１３ｂの上部にマイクロフォンＭ１〜Ｍ５を固定したマイク固定台１１Ｄを設置し、カメラ取付台１３ｂに、回転手段１４を介して、映像採取手段１２を回転可能に取付けて、マイクロフォンＭ１〜Ｍ５の出力する音圧信号を用いて音源方向を推定するとともに、推定された音源方向の水平角θの大きさと映像採取手段１２の水平角方向の最大視野θ_Max及び最小視野θ_minとを比較し、水平角θの大きさがθ_Max−γを超えた場合、もしくは、θ_min＋γよりも小さい場合には、映像採取手段１２を回転させて、音源位置を撮影するようにしたので、音源方向の水平角θや仰角φが大きな場合でも、音の情報の採取と音源方向の推定とを再度行うことなく、音源推定方向の鮮明な映像を撮影することができる。

なお、前記実施の形態では、映像採取手段１２を水平角方向のみに回転させたが、ステッピングモーターなどの回転手段を追加して、映像採取手段１２を水平角方向と仰角方向の両方に回転させてもよい。これにより、音源方向の更に鮮明な映像を撮影することができる。
また、上記例では、音源方向推定手段１７で推定された水平角θと映像採取手段１２の水平角方向の最大視野θ_Max及び最小視野θ_minとを比較する際に、水平角θの大きさとθ_Max−γ、もしくは、θ_min＋γとを比較したが、γ＝０としてもよい。この場合には、映像採取手段１２を回転させる回数は減るが、音源を示す網目状の丸印Ｒが表示画面２２ｍの端部側に表示されるので、実施の形態よりも音源の推定精度は若干低下する恐れがある。したがって、本実施の形態のようにγを１０°程度に設定することが好ましい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。

以上説明したように、本発明によれば、音源の方向が表示された鮮明な映像を撮影することのできるので、音源を確実に推定することができる。

１０ 音源推定装置、１１ 音圧レベル測定手段、１１Ｄ マイク固定台、
１２ 映像採取手段、１３ 取付台、１４ 回転手段、１５ 増幅器、
１６ Ａ／Ｄ変換器、１７ 音源方向推定手段、１８ 映像入出力手段、
１９ 回転判定手段、２０ 撮影方向制御手段、２１ データ合成手段、
２２ 音源位置表示手段、５０ 音源、Ｍ１〜Ｍ５ マイクロフォン。

Claims (2)

1. 複数のマイクロフォンで採取した音の情報と映像採取手段とにより撮影した映像の情報とを用いて音源を推定する方法であって、
   前記複数のマイクロフォンにより、音源と推定される方向から伝播される音の情報を採取するステップと、
   前記複数のマイクロフォンで採取した音の音圧信号の位相差から音源の方向を推定するステップと、
   前記映像採取手段の撮影視野である映像領域と前記推定された音源の方向とを比較するステップと、
   前記推定された音源の方向が前記映像領域内にある場合に、前記映像採取手段の位置を動かさずに前記推定された音源の方向の映像を撮影するステップと、
   前記推定された音源の方向が前記映像領域内にない場合に、前記推定された音源の方向が前記映像採取手段の映像領域内に入るように、前記映像採取手段を回転させて、前記推定された音源の方向の映像を撮影するステップと、
   前記推定された音源の方向のデータと前記撮影された映像の画像データとを合成して、前記推定された音源の方向を示す図形が描画された映像を作成するステップと、
   前記図形が描画された映像から音源を推定するステップとを有することを特徴とする音源推定方法。
2. 前記複数のマイクロフォンは、
   互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを有し、
   前記２組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記音源の方向を推定することを特徴とする請求項１に記載の音源推定方法。

Images