JP2009118318A - 音監視装置 - Google Patents

Abstract

【課題】装置の大型化及びコストの増大なく、音の到来方向についての情報と音の異常性についての情報とを組み合わせた情報を正確に撮像画像に重ね合わせることができる音監視装置を提供する。
【解決手段】音到来方向算出部５は、マイクロホンアレイ３によって集音した音の到来方向を、音の到来時間差又は位相差を用いて算出する。異常性判定部６は、マイクロホンアレイ３によって集音した音の異常性を判定する。音到来方向及び異常音の異常性組合せ部７は、音の到来方向についての情報及び異常性についての情報を組み合わせ、組み合わされた情報を、画像に重ね合わせてモニタ２に表示させる。
【選択図】図１

Description

本発明は、音の到来方向を算出するとともに音の異常性を判定する音監視装置に関する。

従来、音のレベル差により音の到来方向を算出する音監視装置（例えば、特許文献１）や、予め登録された特徴に該当するか否かに応じて音の異常性を判定する音監視装置（例えば、特許文献２）が提案されている。
特開２００６−９４２５１号公報 特開２００２−１２３８７８号公報

音の到来方向についての情報と音の異常性についての情報とを組み合わせた情報を撮像画像に組み合わせることが所望されている。しかしながら、従来のように音のレベル差により音の到来方向を算出する場合、分解能が低いために高精度の測定が困難である。したがって、算出された音の到来方向と実際の音の到来方向とが異なり、音の到来方向についての情報と音の異常性についての情報とを正確に撮像画像に重ね合わせることができない。また、音のレベル差により音の到来方向を算出する場合、多数の単一指向性のマイクロホンを必要とし、装置が大型化するとともにコストが増大する。

一方、従来のように予め登録された特徴に該当するか否かに応じて音の異常性を判定する場合、実際に生じた異常音が登録された特徴に該当しないときには異常音であると判定されないため、多様な異常音の判定を行うことができない。

さらに、異常音が音監視装置の表示範囲外で生じた場合には、音の到来方向についての情報及び音の異常性についての情報を撮像画像に重ね合わせることができないので、異常音の到来方向を認識できない。

本発明の目的は、装置の大型化及びコストの増大なく音の到来方向についての情報と音の異常性についての情報とを組み合わせた情報を正確に撮像画像に重ね合わせることができる音監視装置を提供することである。

本発明の他の目的は、多様な異常音の判定を行うことができる音監視装置を提供することである。

本発明の他の目的は、異常音が音監視装置の表示範囲外で生じたとしても異常音の到来方向を認識することができる音監視装置を提供することである。

本発明による音監視装置は、
画像を撮像する撮像手段と、
前記画像を表示する表示手段と、
前記撮像手段の周りに配置された複数の無指向性マイクロホンを有するマイクロホンアレイと、
前記マイクロホンアレイによって集音した音の到来方向を、前記音の到来時間差又は位相差を用いて算出する到来方向算出手段と、
前記マイクロホンアレイによって集音した音の異常性を判定する異常性判定手段と、
前記音の到来方向についての情報及び前記異常性についての情報を組み合わせ、組み合わされた情報を、前記画像に重ね合わせて前記表示手段に表示させる組合せ手段とを具える。

本発明によれば、マイクロホンアレイによって集音した音の到来方向を、音の到来時間差又は位相差を用いて算出するとともに、マイクロホンアレイによって集音した音の異常性を判定し、音の到来方向についての情報及び異常性についての情報を組み合わせ、組み合わされた情報を、画像に重ね合わせて表示手段に表示させる。

このようにマイクロホンアレイによって集音した音の到来方向を音の到来時間差又は位相差を用いて算出することによって、４本以下の少数の無指向性のマイクロホンを用いて音の到来方向についての情報を高精度に検出することができる。このように音の到来方向についての情報を高精度に検出できるので、算出された音の到来方向と実際の音の到来方向とが一致し、その結果、音の到来方向についての情報と音の異常性についての情報とを正確に撮像画像に重ね合わせることができる。また、少数の無指向性のマイクロホンを使用することができるので、装置を大型化せず、かつ、コストが増大しない。

好適には、前記異常性判定手段が、包絡線プロフィール、周波数解析、音のレベル又は音の時間的経過を用いて前記音の異常性を判定する。これら包絡線プロフィール、周波数解析、音のレベル又は音の時間的経過を用いることによって、多様な異常音の判定を行うことができる。

好適には、前記組み合わされた情報が前記表示手段の表示範囲外に存在する場合には、前記組合せ手段が、前記音の到来方向に対応する前記表示範囲の上端、下端、左端又は右端に前記組み合わされた情報を表示させる。このように表示範囲の上端、下端、右端又は左端に組み合わされた情報を表示させることによって、異常音が音監視装置の表示範囲外で生じたとしても異常音の到来方向を認識することができる。

本発明による音監視装置の実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による音監視装置の実施の形態を示す図である。図１の音監視装置は、画像撮像手段としてのカメラ１と、表示手段としてのモニタ２と、カメラ１のレンズの光軸の周りに配置された複数の無指向性マイクロホンを有するマイクロホンアレイ３と、残響／雑音除去及びレベル補正部４と、到来方向算出手段としての音到来方向算出部５と、異常性判定手段としての異常性判定部６と、組合せ手段としての音到来方向及び異常音の異常性組合せ部７と、アラーム処理部８と、ネットワーク処理部９とを具える。図１において、マイクロホンアレイ３を、明りょうのためにカメラ１から離間して示す。

カメラ１で取得した画像は、後に説明する音の到来方向についての情報及び異常性についての情報の組合せと共にモニタ２に表示される。マイクロホンアレイ３は、カメラ１に取り付けられたレンズの画角により撮像して表示できるエリアの水平方向（ｘ軸）及び垂直方向（ｙ軸）に複数の無指向性マイクロホンを配置することによって構成される。

前処理のための残響／雑音除去及びレベル補正部４は、部屋の残響の影響や周囲の環境雑音を到来する音から排除し、到来する音がマイクロホンアレイ３から離れて減衰している場合には、受信信号のレベルを上げ、音到来方向算出部５による音の到来方向の算出及び異常性判定部６における音の異常性の判定が容易に行えるようにする。

音到来方向算出部５は、異常音の到来方向を可視化するために、カメラ１で表示できるエリアと同一の座標を使用して、到来する異常音の水平方向の方位角（θ）及び垂直方向の方位角（φ）をｘ軸及びｙ軸の座標に変換して異常音の到来方向を取得する。異常性判定部６は、包絡線プロフィール、周波数解析、音のレベル及び音の時間的経過を解析することによって音の異常性を判定する。

音到来方向及び異常音の異常性組合せ部７は、カメラ１により表示することができる画像表示範囲のｘ軸及びｙ軸の座標と異常音の到来方向のｘ軸及びｙ軸の座標の一致するポイントを音源の中心位置としてモニタ２にマークなどで表示させ、又は表示画面を多分割（３６分割、６４分割等）し、異常音の到来方向に該当するエリアの輝度値の変更、着色、網掛け等によってモニタ２に表示させる。

なお、異常音の到来方向がカメラ１のレンズ画角による表示画面範囲からはみ出している場合には、音到来方向及び異常音組合せ部７は、モニタ２の画面端上部、下部、右部又は左部に棒状、波状の着色したマークなどで乗じさせ、大体の異常音到来方向を示す。例えば、画面端上部にマークなどが表示された場合には、画面上上方向からの音到来方向を示す。

また、音到来方向及び異常音の異常性組合せ部７は、異常音の異常性のランクも可視化するために、異常性判定部６の解析結果に行われた重み付けから異常判定にランク付けを行い、音源の中心位置をマーク表示する場合には、マークの輝度値、色、形状等を変更し、表示画面を多分割してエリアを表示する場合には、輝度値を更に高く変化させたり色をより赤色系に変化させることによってランクを表示する。

さらに、音到来方向及び異常音の異常性組合せ部７は、異常音の位置方向及び異常性のランクを短期間の間隔で更新し、最新の表示をモニタ２に行わせることによって、異常音の位置方向及び異常性のランクのリアルタイム表示を可能にし、かつ、処理した異常音の表示を所定の期間保持することによって、異常音の移動状態及び複数の音源をモニタ２に表示させることができる。

アラーム処理部８は、異常音の異常性ランクがあるレベルを超えた場合にはアラームを出力し、監視者にリアルタイムの異常音発生情報を知らせる。また、アラーム処理部８は、図示しない別のパン・チルト・ズーム（ＰＴＺ）カメラなどに異常音の位置方向の情報を通知することによって、別のＰＴＺカメラで音到来方向をズームして詳細表示するなどの連携した確認を行うことができる。

ネットワーク処理部９は、音到来方向及び異常音の異常性組合せ部７によって処理された異常音の異常性と位置方向を重ね合わせた画像及びアラーム処理部８から出力されたアラームを、ネットワーク１０を経由して携帯端末などに配信する。

図２は、本発明による音監視装置の実施の形態の動作のフローチャートである。
異常音が発生する（ステップＳ１）と、マイクロホンアレイ３によって異常音が集音され（ステップＳ２）、残響／雑音除去及びレベル補正部４が、集音した音声信号から残響や雑音を除去し、レベル補正を行う（ステップＳ３）。

次いで、異常性判定部６は、音の到来方向の算出と同時に音の異常性の解析を行う（ステップＳ４）。この場合、異常性判定部６は、集音した音の信号から、音のレベル、音の包絡線プロフィール、周波数による解析を基本とし、必要に応じて統計データとの相関により異常音を抽出し、時間的経過からの判定なども状況により加えて異常性のランクを判定して（ステップＳ５）、高中低にランク分けする（ステップＳ６）。一例として、音のレベル、音の包絡線プロフィール、周波数解析、音の発生回数及び継続時間等からの判定などを項目別に点数化し、合計点で異常性をランク分けする。

音到来方向算出部５は、異常性判定部６の処理に並行してマイクロホンアレイ３のマイクロホンに到達する音のマイクロホン間の距離による時間差を計測することによって、音の到来方向の角度をｘ軸方向及びｙ軸方向で算出する（ステップＳ７）。この場合、ｘ軸方向とｙ軸方向の交点が音源の位置となる。

音到来方向及び異常音の異常性組合せ部７は、音到来方向算出部５で算出された音源位置の座標を、カメラ１で撮像した画像の座標に変換し、音源位置の座標がカメラ１の撮像範囲内であるか否か判定する（ステップＳ８）。カメラ１の画角の範囲内で画像に直接表示できる場合には、音源位置の座標を算出し、音源位置を画像に表示する（ステップＳ９）。それに対して、カメラ１の画角範囲を超えて画像に直接表示できない場合には、画面外の上下左右の方向を特定する（ステップＳ１０）。

図３は、画面に音源位置をマークで表示した画面表示例を示す。図３において、カメラ１の画角の範囲内で画像に直接表示できる音源Ａ，Ｂを円で表示するとともに、カメラ１の画角範囲を超えて画像に直接表示できない音源Ｃの該当する画面右端に棒状のマークエリアを表示している。この場合、音源Ａ，Ｂ，Ｃは、異常性のランクに応じて色分けされる。

図４は、画面を６４分割して音到来方向及び異常音の異常性のレベルを表示した画面表示例を示す。図４において、カメラ１の画角の範囲内で画像に直接表示できる音源Ａ，Ｂの該当する画面分割エリアを、異常性のランクに応じて色分けして表示し、カメラ１の画角範囲を超えて画像に直接表示できない音源Ｃの該当する画面右端エリアを線上につなぎ、線上につないだ部分を、異常性のランクに応じて色分けして表示する。

音源位置及び異常性のランクの表示は、カメラ１によって撮像された画像に重ねあわされ（ステップＳ１１）、モニタ２に表示される（ステップＳ１２）とともに、ネットワーク１０を経由して遠隔地の監視場所、携帯電話等に配信し、監視者に音の異常を通知する（ステップＳ１３）。この際、監視者側で音源位置の情報や異常性のランクの情報を使用する場合には、この情報をネットワーク１０を経由して監視者に通知してもよい。

アラーム処理部８に異常音が入力されると、音源位置の情報や異常性のランクの情報をアラーム情報として出力する（ステップＳ１４）。なお、別にＰＴＺカメラが設置されている場合には、このアラーム情報を使用することにより、ＰＴＺカメラを異常音側に向け、ズームアップして確認することができる。さらに、マイクロホンアレイ３で取得しているライブ音をネットワーク１０を経由してリアルタイムに監視室に送ることによって、異常音を人間の耳で確認することもできる。

図５は、マイクロホンの配置例を示す図である。
図５Ａは、カメラ１のレンズ１１の光軸１２を中心にｙ軸上の上下及びｘ軸上の左右に等間隔に配置した４本のマイクロホン１３を使用するものであり、これによって、音源の位置を２次元的に検出することができる。

図５Ｂは、カメラ１のレンズ１１の光軸１２を中心にｙ軸及びｘ軸からの距離が等間隔でＬ字状に配置された３本のマイクロホン１３を使用するものであり、これによって、音源の位置を２次元的に検出することができる。

図５Ｃでは、カメラ１のレンズ１１の光軸１２を中心にｘ軸上の左右に等間隔に配置した２本のマイクロホン１３を使用するものであり、これによって、音源の位置を１次元的に検出することができる。

図５Ｄは、カメラ１のレンズ１１の光軸１２を中心にｙ軸上の上下に等間隔に配置した２本のマイクロホン１３を使用するものであり、これによって、音源の位置を１次元的に検出することができる。

次に、本発明による音監視装置で用いられる音の到来時間差による音の到来方向の算出を、比較のために従来の音監視装置で用いられるマイクロホン間のレベル差による音の到来方向の算出とともに説明する。

図６は、マイクロホン間のレベル差による音の到来方向の算出を説明するための図である。図６において、音源１４の到来方向を算出する単一指向性マイクロホン群１５が天井１６の窪みに配置されるとともに、ドーム型カメラ１７が単一指向性マイクロホン群１５に近接して天井１６の平坦部に配置される。この場合、単一指向性マイクロホン１８がレベル最大となる。

マイクロホン間のレベル差を用いて音源方向を推定する場合、多数の単一指向性マイクロホンを用いることとなり、構成が複雑となる。図６では、７方向に対応する単一指向性マイクロホンを用いている。方位分解能は、基本的にはマイクロホンの個数と指向性の鋭さとによって決定される。ここでは、レベル差による１次元の方向推定を行う構成を示しているが、ドーム型カメラ１７の画面は２次元であり、同様の構成が更に１軸必要となり、必要なチャネル数が倍増する。また、構成の複雑さから小型化が困難であり、ドーム型カメラ１７それ自体に搭載するのは困難である。さらに、基本的な角度分解能はマイクロホンの個数に依存するので、分解能を上げるためにはマイクロホンの個数を増大する必要がある。

図７は、音の到来時間差による音の到来方向の算出を説明するための図である。図７において、音源１９の到来方向を算出する無指向性のマイクロホン２０，２１を有するドーム型カメラ２２が天井２３の平坦部に配置されている。

音源１９までの距離の差Ｌに起因する時間差を用いて音源１９の到来方向を算出する場合、マイクロホン２０，２１は無指向性でよいので、小型のマイクロホンを用いることができ、１次元の方向を算出するのであれば、２個のマイクロホンで十分である。２次元の方向を算出する場合には、３個のマイクロホンで十分であるので、装置の構成を簡単にすることができる。音の到来時間差による音の到来方向の算出を音監視装置に適用した場合、マイクロホンのカメラ本体への搭載及びドーム型カメラのドームへの設置が可能になる。

次に、本発明による音監視装置において異常音を判定するために用いられる音の法絡線プロフィールを、比較のためにパワースペクトルとともに説明する。
従来、異常音を判断するために、（１）音のレベルがしきい値を超えたか否かの判断及び（２）パワースペクトルが予め設定した基準に合致するか否かの判断が行われている。

（１）の判断では、大きい音であればどのような音でも異常音と判断される。（２）の判断では、パワースペクトルを用いて音の種類を見分けようとするものであり、（１）の判断と比べた場合、音の異常性を判断する手がかりとしての情報が多く、判断の確度が非常に高くなると考えられる。

しかしながら、（２）の判断は時間方向の情報を利用していないので、似たような音色を持つが音の持続時間が異なるようなものを判別することができない。例えば、エアコンディショナーの運転に伴うモータ音や風切り音は、異常音ではないと考えられるが、類似した音が一瞬だけ発生したり急激にレベルが変動したりする場合には、エアコンディショナーの運転音ではなく異常音と判断されるべきである。

本発明による音監視装置で用いられる包絡線プロフィールは、音のレベルの時間変動情報であり、（１）及び（２）の判断では欠落している時間変動の情報を加味することによって異常性判断の確度を高めるものである。

例えば、ガラス破壊音のサンプルのパワースペクトルは、図８に示すようになる。図８では、スペクトルがかなり広帯域に亘っており、通常ではほとんど発生しない音であると考えられるが、周波数を横軸として表しているために時間情報が欠落しており、衝撃音であるのかエアーノズルなどが発するホワイトノイズ性の持続音であるのか判断できない。

ガラス破壊音のサンプルの包絡線プロフィールは、図９に示すようになる。図９では、ガラス破壊音は、突然立ち上がる鋭いピークを数回示して収まっており、何らかの衝撃音であると考えることができる。したがって、予め設定された判断基準に照らし合わせることによって、異常性の判断の手がかりを増やすことができる。

図１０及び図１１は、本発明による音監視装置によって取得される画像を示す。図１０では、マイクロホンアレイが取り付けられたカメラを床に対して水平に配置しており、図１１では、マイクロホンアレイが取り付けられたカメラを天井に配置している。図１０及び図１１のいずれも、非撮影者がたたく手に対応する音源を円で表示している。図１０及び図１１のいずれの場合にも、音の到来方向についての情報を正確に撮像画像に重ね合わせることができている。

なお、マイクロホンアレイが取り付けられたカメラを床に対して垂直に配置した場合には、捉える音の範囲が広くなるという利点を有し、マイクロホンアレイが取り付けられたカメラを天井に配置した場合には、音を無方向に捉えることができるという利点を有する。

本実施の形態によれば、マイクロホンアレイによって集音した音の到来方向を音の到来時間差又は位相差を用いて算出することによって、４本以下の少数の無指向性のマイクロホンを用いて音の到来方向についての情報を高精度に検出することができる。このように音の到来方向についての情報を高精度に検出できるので、算出された音の到来方向と実際の音の到来方向とが一致し、その結果、音の到来方向についての情報と音の異常性についての情報とを正確に撮像画像に重ね合わせることができる。また、少数の無指向性のマイクロホンを使用することができるので、装置を大型化せず、かつ、コストが増大しない。

また、包絡線プロフィール、周波数解析、音のレベル又は音の時間的経過を用いて音の異常性を判定することによって、多様な異常音の判定を行うことができる。

本実施の形態によれば、停電等で照明が消えたり、火事で煙が充満して監視カメラによる映像監視が機能できない場合でも、異常音は検出可能であるので、異常状態を知ることができる。また、通常のカメラで表示されている映像の範囲内でも、ドアや壁の外側で発生している異常音や、カメラの画角範囲外（カメラには映らないエリア）で生じた異常音も検出して表示されるため、異常の生じている場所の特定が容易に行われ、早急な対応が可能になる。

また、到来する音からの部屋の残響の影響や、周囲の環境雑音の排除、到来する音のレベルの適正化を行うことによって、異常音が認識しやすくなり、音の到来方向及び異常判定の精度が上がる。

また、異常音の位置方向と異常性のランクが画面上のマーク表示又は多分割でのエリア表示されることによって、人間が音を聞いて異常を認識しなくても、画面を見るだけで異常性の度合い及び異常音の位置方向を知ることができ、音による異常状態を視覚的に即座に知ることができる。

また、人間は複数の異なる音（異常音）を聞き分けることができないが、モニタに可視化することによって、複数の音の発生及びその異常性のランクを瞬時に認識し、適切な判断を行うことができる。また、リアルタイムで処理を行うことによって、異常状態の認識をリアルタイムで行うことができる。

また、必要に応じて特定の異常音を監視室などから直接モニタリングすることもできる。さらに、携帯端末などを利用して、異常音の位置方向及び異常性の度合いを遠方で容易に視認することができる。

本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、カメラに対して予めキャリブレーションを行い、レンズ広角歪み（樽型歪み等）を直交座標に変換する補正を行うことによって、音源の位置情報と取得した画像の重ね合わせにおける誤差を最小化することができる。

また、マイクロホンの配置としては、カメラのレンズの光軸を中心に上下左右に等間隔にマイクロホンを配置するだけでなく、レンズの光軸を中心に頂点までの距離が等間隔の三角形やその他の多角形にマイクロホンを配置し、又はレンズの光軸を中心に半径ｒの円状にマイクロホンを配置してもよい。

本発明による音監視装置の実施の形態を示す図である。 本発明による音監視装置の実施の形態の動作のフローチャートである。 画面に音源位置をマークで表示した画面表示例を示す。 画面を６４分割して音到来方向及び異常音の異常性のレベルを表示した画面表示例を示す。 無指向性マイクロホンの配置例を示す図である。 単一指向性マイクロホン間のレベル差による音の到来方向の算出を説明するための図である。 音の到来時間差による音の到来方向の算出を説明するための図である。 ガラスの破壊音のパワースペクトルを示す図である。 ガラス破壊音のサンプルの包絡線プロフィールを示す図である。 本発明による音監視装置によって取得される画像を示す。 本発明による音監視装置によって取得される画像を示す。

符号の説明

１ カメラ
２ モニタ
３ マイクロホンアレイ
４ 残響／雑音除去及びレベル補正部
５ 音到来方向算出部
６ 異常性判定部
７ 音到来方向及び異常音の異常性組合せ部
８ アラーム処理部
９ ネットワーク処理部
１０ ネットワーク
１１ レンズ
１２ 光軸
１３，２０，２１ 無指向性マイクロホン
１４，１９ 音源
１５ 単一指向性マイクロホン群
１６，２３ 天井
１７，２２ ドーム型カメラ
１８ 単一指向性マイクロホン

Claims (3)

1. 画像を撮像する撮像手段と、
   前記画像を表示する表示手段と、
   前記撮像手段の周りに配置された複数の無指向性マイクロホンを有するマイクロホンアレイと、
   前記マイクロホンアレイによって集音した音の到来方向を、前記音の到来時間差又は位相差を用いて算出する到来方向算出手段と、
   前記マイクロホンアレイによって集音した音の異常性を判定する異常性判定手段と、
   前記音の到来方向についての情報及び前記異常性についての情報を組み合わせ、組み合わされた情報を、前記画像に重ね合わせて前記表示手段に表示させる組合せ手段とを具える音監視装置。
2. 前記異常性判定手段が、包絡線プロフィール、周波数解析、音のレベル又は音の時間的経過を用いて前記音の異常性を判定することを特徴とする請求項１記載の音監視装置。
3. 前記組み合わされた情報が前記表示手段の表示範囲外に存在する場合には、前記組合せ手段が、前記音の到来方向に対応する前記表示範囲の上端、下端、左端又は右端に前記組み合わされた情報を表示させることを特徴とする請求項１又は２記載の音監視装置。