JP2004077277A

JP2004077277A - 音源位置の可視化表示方法および音源位置表示装置

Info

Publication number: JP2004077277A
Application number: JP2002237868A
Authority: JP
Inventors: Atsushi Shiraishi; 白石　篤史
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2002-08-19
Filing date: 2002-08-19
Publication date: 2004-03-11

Abstract

【課題】視覚の補助を用いて、空間分解能における人間の聴覚器官の限界を拡張し、音源の三次元位置を人間の意識に直観的に入力できるようにすること。
【解決手段】音源定位装置５は、複数のマイクロフォン４が収集する音場情報を処理し、音源の三次元位置を算出するとともに、音源２が発する音の音色（周波数スペクトル）、音の強弱、音源の広がり等の音源２の属性情報を算出する。画像処理装置６はカメラ３から送らてくる風景画像に、マーク８等により音源位置や、各音源の属性情報を重ねて表示する。また、マウス等により音源位置を選択すると、音合成装置９は音源定位装置５から送られてくる音色、音のレベルに応じた可聴音を合成し、スピーカ１０から出力する。なお、上記ディスプレイ７の代わりに、眼鏡状の表示手段を用い、眼鏡を介して見える実画像に音源位置をマーク等により重ね合わせて表示するようにしてもよい。
【選択図】　　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、任意の音の発生源の位置を、実空間と対応付けることによってリアルタイムに可視化する音源位置の可視化表示方法および音源位置表示装置に関する。
【０００２】
【従来の技術】
人間は体表面から離れた空間の情報をリアルタイムに収集するために、主に聴覚と視覚を用いる。聴覚は時間分解能にすぐれるが空間分解能に劣り、視覚は空間分解能にすぐれるが時間分解能においてきわめて貧弱である。これらふたつの互いに相補的な特性を持つ感覚の出力を併用することにより、人間の日々の生存および日常生活は維持される。
しかし、機械装置の中の異常動作箇所（たとえば異音を発する場合がある）の同定など、目に見えるほど大きな動きを伴わない音源の正確な定位が必要となる場合もある。
音源位置の三次元的な計測のみならば、従来各種の方法が提案され、実用化されてきた。しかし、従来の計測結果の出力は、あるものは数値情報、あるものは音源分布のみの画像、といったものばかりであって、音源の三次元位置を人間の意識に直観的に入力できるものは提案されていない。
【０００３】
【発明が解決しようとする課題】
従来の計測結果の出力は、上記のように、数値情報、あるものは音源分布のみの画像といったものばかりであり、それだけではせっかく測定した三次元位置を人間の意識に直感的に入力することができない。
本発明はこのような観点からなされたものであって、本発明の目的は、視覚の補助を用いて、空間分解能における人間の聴覚器官の限界を拡張することにより、音源の三次元位置を人間の意識に直観的に入力することができる音源位置の可視化表示方法および音源位置表示装置を提供することである。
【０００４】
【課題を解決するための手段】
上記課題を解決するため、本発明は、機械の助力によって得た三次元空間内の音源の位置を、以下のように、その音源が存在する地点の周辺の映像の中にて指し示すことにより人間の視覚入力と合成する。
（１）ひとつ以上の音（超音波等の人間が聞き取れない音も含む）を検知してそのそれぞれの音源の位置を突き止め、少なくとも上記音源の位置を含む音源に関する情報を可視情報に変換し、該音源周辺の実画像とリアルタイムに重ね合わせて表示手段に表示する。
（２）上記（１）において、人間の頭に装着できる形状の表示装置を用い、上記表示手段を介して見える目前の光景に重ね合わせて、上記可視情報に変換された少なくとも音源位置を含む音源に関する情報を表示する。
（３）上記（１）（２）において、上記表示手段に、上記音源位置を識別可能なマークで表示し、該音源の音色（周波数スペクトル）、音の強弱、音源の広がり等の物理的属性を、文字、図形もしくはマークの形状、色彩、明滅等の変化として表示する。
（４）上記（３）において、上記マークを指定したとき、指定されたマークに対応した音源が発する音を可聴音に変換して出力する。
以上のように、本発明においては、音源の位置を突き止め、少なくとも上記音源の位置を含む音源に関する情報を可視情報に変換し、該音源周辺の実画像とリアルタイムに重ね合わせて表示手段に表示するようにしたので、視覚の補助を用いて、人間の聴覚の空間分解能の限界を拡張することができる。
また、人間の頭に装着できる形状の表示装置を用い、上記表示手段を介して見える目前の光景に音源位置を重ね合わせて表示することにより、一層利便性を向上させることができ、例えば、水中等での使用も可能となる。
さらに、音源を指定したとき、指定された音源が発する音を可聴音に変換して出力することにより、特定の音源が発する音を選択的に聞くことができ、また、上記音源が発する音が、例えば、超音波であったり、人間には殆ど聞き取れない音であっても、これらの音を可聴音として容易に聞き取ることが可能となる。
【０００５】
【発明の実施の形態】
以下、図面に基づいて、本発明の実施の形態を説明する。
図１は、本発明の第１の実施例の全体構成を示す図である。
図１において、１は被測定対象となる空間であり、該空間内には、音源２を有する各種機器等が置かれている。これらの機器は、例えば前記したように異常箇所等を有する機械装置等であり、上記音源が発する音は、超音波等を含む、例えば人間が聞き取りにくい異常音等である。
３はカメラであり、カメラ３が捉える上記空間の画像の中には、上記のようにカメラ３には不可視の音源２を有する機器等が存在し音を発している。カメラ３は被測定対象となる空間１の画像を画像処理装置６に出力する。
なお、以下では、上記空間の光景を風景とよび、カメラや眼鏡等を介して見える画像（コンピュータ等で合成された上記空間の光景に相当する画像を含む）を実画像あるいは風景画像という。
【０００６】
また、カメラ３の近傍には、複数のマイクロフォン４が設置され、上記被測定空間１の音源２が発する音を収集する。マイクロフォン４で収集された音は、音源定位装置５に送られる。
音源定位装置５は、複数のマイクロフォン４が収集する音場情報を処理し、音源の三次元位置を算出するとともに、音源２が発する音の音色（周波数スペクトル）、音の強弱（音のレベル）、音源が点でない場合には音源の広がり等の音源２の属性情報を算出する。音源定位装置５で求めた音源の三次元位置、音源２が発する音の属性情報は画像処理装置６に送られる。
画像処理装置６はカメラ３から送られた風景画像に音源位置を合成し、ディスプレイ７に表示する。ディスプレイ７に映る風景画像には、図１に示すように、例えば輝点等のマーク８により、目には見えない音源２の位置が重なって表示される。また、画像処理装置６は、各音源の属性情報を文字、図形（周波数スペクトルのグラフ等）、あるいは、マークの形状、色彩、明滅等でディスプレイ７上に表示する。
なお、ディスプレイ７上の風景画像は、カメラ３が捉えた画像そのものであってもよいし、また、コンピュータ等で合成された画像であってもかまわない。
【０００７】
また、ディスプレイ７に表示されるマーク８をマウス７ａ等のポインティングデバイスで選択すると、画像処理装置６は選択されたマーク８に対応する音源の位置を音源定位装置５に送る。
音源定位装置５は、音源が選択されると、ポインティングデバイスで選択された音源の音色、音のレベルを音合成装置９に送る。音合成装置９は音源定位装置５から送られてきた音色、音のレベルに対応した可聴音を合成し、音合成装置９で合成された可聴音は、スピーカ１０から出力される。
すなわち、ユーザは、ディスプレイ７に表示された音源をマウス等で選択することにより、音源が複数であっても、特定の音源が発する音を選択的にスピーカ１０から聞くことができる。また、上記音源が発する音が、例えば、超音波であったり、人間には殆ど聞き取れない音であっても、これらの音を可聴音として容易に聞き取ることができる。
なお、音源が発する音が可聴音の場合には、そのまま人が聞き取り可能な大きさの音に変換してスピーカ１０から出力してもよいし、また、聞き取り易い周波数に変換して出力してもよい。
【０００８】
図２は上記音源定位装置５の構成例を示す図、図３は音源定位装置５における処理を説明するフローチャートである。
図２に示すように、音源定位装置５は、フィルタ５ａと、音源の位置を算出する音源位置分析部５ｂと、音色、音のレベル、音の広がり等を求める音色分析部５ｃと、インタフェース部５ｄから構成されており、音源位置分析部５ｂは、マイクロホン４で収集されフィルタ５ａを介して入力される複数の音から音源位置を同定する。また、音色分析部５ｃは音源位置分析部５ｂで音源位置が同定された音について、音色（周波数スペクトル）、音のレベル、音源の広がりを求める。
以下、図３のフローチャートを参照しながら上記音源定位装置５における処理について説明する。
（ｉ）　フィルタ５ａを収集する音の周波数帯域に設定する（図３のステップＳ１）。
（ｉｉ）ｎ＝１とする（ステップＳ２）。
（ｉｉｉ）　複数のマイロクホン４で音を収集する（ステップＳ３）。
【０００９】
（ｉｖ）音源位置分析部５ｂでは、複数のマイクロホンで収録されフィルタを通過した音の任意の２つの音を取り、時間軸でずらし、各マイクロホンで収集した音の波形をマッチングさせる（ステップＳ４）。
すなわち、マイクロホンで収集した音を時間軸でずらしながら、差の絶対値の総和を求める。これにより、例えば図４に示すパターンが得られたとする。
このパターンにおいて、差の絶対値の総和が最小となるずらし量が、上記２つの音の音源から各マイクロホンまでの到達時間差となる。
同様にして各マイクロホンで収録した音の到達時間差を求めることによりｎの音源位置を同定する（ステップＳ５）。　　　　　　　　　　　　　　　　　　音色分析部５ｃは、上記マッチング処理によりマッチングがとれた波形を解析して周波数スペクトルを求め、これをｎの音源が発している音の音色とするとともに、音源の広がり、音のレベル等を求める（ステップＳ６）。
すなわち、差の絶対値の総和が最小となるずらし量だけ各マイクロホンで収集した音をずらし、各マイクロホンで収集した音の波形を比較して、一致する成分を求めて、この周波数スペクトルを求め、ｎの音源が発している音の音色とする。音のレベルは、例えば、周波数スペクトルの各周波数成分の高さの平均値を求めることにより得られる。
さらに、上記パターンの広がり量からｎの音源の広がりを求める。
例えば、前記差の絶対値の総和のパターンが、例えば図４のＡ，Ｂのようであった場合、パターンＡの音源の広がりをａとし、パターンＢの音源の広がりをｂとする。
（ｖ）　以上のようにしてｎの音源位置、音色、音源の広がり、音のレベルが求まったら、音色分析部５ｃは、各マイロクフォンで収録した音から、既に分析が終わった１〜ｎまでの音の総和をそれぞれ引き、残差をもとめる（ステップＳ７）。
【００１０】
（ｖｉ）残差が０に充分に近いと言えなければ、ｎ＝ｎ＋１として、フィルタを上記残差の音のみが通過するように調整し（ステップＳ８〜Ｓ１０）、フィルタを通過した音について、上記（ｉｉｉ）　〜（ｖｉ）の処理を繰り返す。
（ｖｉｉ）　残差が０になるか、あいるは充分に０に近づいたら、全ての音源から発している音の分析が終わったとして、求めた１〜ｎの音源の位置と、各音源の広がり、音色、音のレベルを出力する（ステップＳ１１）。なお、ｎ＝１であれば、音源は一つである。
インタフェース部５ｄは、上記のようにして求めた音源位置、音の広がりを画像処理装置６の座標系に変換し、音色、音のレベルとともに画像処理装置に送る。また、マウス７ａ等のポインティングデバイスで音源位置が選択され、画像処理装置６から音源の選択信号が送られてくると、選択された音源の音色、音のレベルを音合成装置９に送る。音合成装置９は、前記したように送られてきた音色、音のレベルに対応した可聴音を合成する。この可聴音は、スピーカ１０から出力される。
【００１１】
図５、図６は本発明の第２の実施例の構成を示す図である。
本実施例は図５に示すように、表示手段の形状を顔あるいは頭部に装着できる眼鏡状にし、眼鏡を介して見える実画像に重ねて音源位置を表示するように構成したものである。
眼鏡１１の前面には、図５に示すように音源定位用のマイクロフォン１２が互いに最大限可能な距離を取るよう配置されている。また、前記音源定位装置５、および画像処理装置６、音合成装置９は眼鏡１１のフレーム部分に内蔵されており、フレーム部分にはイヤホン１３が取り付けられている。
図６は本実施例の装置構成例を示す図である。
同図に示すように、本実施例では、図１に示した画像ディスプレイ７は持たず代わりに、眼鏡部分は半透明鏡１１ａと音源位置表示専用のディスプレイ１１ｂから構成されている。
そして、半透明鏡１１ａを介して見える実画像とディスプレイ１１ｂに表示される画像とが重ね合わされ、装着者の瞳１４に入る。
【００１２】
眼鏡１１の前面に配置されたマイクロフォン１２の出力は、前記図２に示したものと同様の構成を有する音源定位装置５に入力され、音源定位装置５は、前記したように複数のマイクロフォン１２が収集する音場情報を処理し、音源の三次元位置を算出するとともに、音源が発する音の音色（周波数スペクトル）、音の強弱（音のレベル）、音源が点でない場合には音源の広がり等の音源の属性情報を算出する。音源定位装置５で求めた音源の三次元位置、音源が発する音の属性情報は画像処理装置６に送られる。
画像処理装置６は音源定位装置５で求めた音源位置が、上記半透明鏡１１ａの視野内の対応した位置にマーク等で表示されるように、ディスプレイ１１ｂ上に音源位置を表示するとともに、音源の属性情報を文字、図形（周波数スペクトルのグラフ等）、あるいは、マークの形状、色彩、明滅等で表示する。
【００１３】
すなわち、図７（ａ）に示す装着者の瞳１４の視線方向の光景と、音源位置表示専用のディスプレイ１１ｂに表示された音源位置が、半透鏡１１ａによって重ね合わされ、結果として図７（ｂ）に示すように音源位置が高空間分解能で表示された画像を装着者は見ることになる。
また、図６に示すように、眼鏡１１には視線モニタ１５が設けられ、装着者の視点の向きが該視線モニタ１５によりモニタされる。視線モニタ１５の出力は、画像処理装置６に入力され、画像処理装置６は視線方向にある音源の位置を音源定位装置５に送る。
音源定位装置５は、上記視線方向にある音源の音色、音のレベルを音合成装置９に送り、音合成装置９は前記したように、音源定位装置５から送られてきた音色、音のレベルに対応した可聴音を合成する。音合成装置９で合成された可聴音は、イヤホン１３から出力される。
すなわち、視線を向ける方向にある音源が発する音を、装着者は選択的にイヤホン１３で聞くことができる。また、上記音源が発する音が、例えば、超音波であったり、人間には殆ど聞き取れない音であっても、これらの音を可聴音として容易に聞き取ることができる。
【００１４】
なお、本実施例のように、眼鏡１１の前面にマイクロフォン１３を取り付ける場合には、マイクロフォン相互の距離を大きくとることができない。このため、ある程度以上の高い周波数の音（例えば２ｋＨｚ程度）でなければ、音源位置を精度よく同定することができない。このような場合には、必ずしも眼鏡にマイクロフォンを取り付ける必要はなく、顔の向きにかかわらず、眼鏡との相対位置が変わらない例えばヘルメット等にマイクロフォンを取り付けるようにしてもよい。また、本実施例の装置は、空気中だけでなく、水中でも使用可能であるが、水中の場合には音の伝搬速度が空気中より速いので、空気中で使用する場合より、高い周波数の音でなければ、音源位置を同定することが困難となる。
【００１５】
【発明の効果】
以上説明したように、本発明においては、音源の三次元位置を求め、音源の位置を含む音源に関する情報を可視情報に変換し、該音源周辺の実画像とリアルタイムに重ね合わせて表示するようにしたので、視覚の補助を用いて、人間の聴覚の空間分解能の限界を拡張することができる。このため、例えば、人間が聞き取りにくい異常音や超音波等の発生位置等を容易に把握することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の全体構成を示す図である。
【図２】音源定位装置の構成例を示す図である。
【図３】音源定位装置における処理を説明するフローチャートである。
【図４】各マイクロホンで収集した音をマッチングさせたときに得られる差の絶対値の総和のパターン例を示す図である。
【図５】本発明の第２の実施例の眼鏡の構成例を示す図である。
【図６】本発明の第２の実施例の装置構成を示す図である。
【図７】眼鏡を通して見える光景と、該光景に音源位置を示すマークを重ねて表示した例を示す図である。
【符号の説明】
１　　被測定対象となる空間（風景）
２　　音源
３　　カメラ
４　　マイクロフォン
５　　音源定位装置
６　　画像処理装置
７　　ディスプレイ
８　　マーク
９　　音合成装置
１０　スピーカ
１１　眼鏡
１２　マイクロフォン
１３　イヤホン
１４　瞳
１５　視線モニタ

Claims

ひとつ以上の音を検知してそのそれぞれの音源の位置を突き止め、
少なくとも上記音源の位置を含む音源に関する情報を可視情報に変換し、該音源周辺の実画像とリアルタイムに重ね合わせて表示する
ことを特徴とする音源位置の可視化表示方法。
ひとつ以上の音を検知してそのそれぞれの発生源の位置を突き止める音源位置特定手段と、
上記音源位置特定手段により特定された、少なくとも音源位置を含む音源に関する情報を可視情報に変換し、該音源周辺の実画像とリアルタイムに重ね合わせて表示する表示手段とを備えた
ことを特徴とする音源位置表示装置。
少なくとも上記表示手段は人間の頭に装着できる形状であり、上記表示手段を介して見える目前の光景に重ね合わせて、上記可視情報に変換された少なくとも音源位置を含む音源に関する情報を表示する
ことを特徴とする請求項２の音源位置表示装置。
上記表示手段は、上記音源位置を識別可能なマークで表示し、該音源の物理的属性を、文字、図形もしくはマークの形状、色彩、明滅等の変化として表示する
ことを特徴とする請求項２または請求項３の音源位置表示装置。
上記マークが指定されたとき、指定されたマークに対応した音源が発する音を可聴音に変換して出力する手段を備えた
ことを特徴とする請求項４の音源位置表示装置。