JP2010008474A

JP2010008474A - 非日常音検出システム

Info

Publication number: JP2010008474A
Application number: JP2008164395A
Authority: JP
Inventors: Koichi Kurumaya; 浩一車谷; Mitsuru Kawamoto; 満河本
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2008-06-24
Filing date: 2008-06-24
Publication date: 2010-01-14
Anticipated expiration: 2028-06-24
Also published as: JP4952950B2

Abstract

【課題】非日常音が日頃起こらない何か危険な信号であると考え、その音を検出し、さらに、非日常的な音源の方向、つまり日頃発生しないような場所から発生する音源の方向の情報も同時に検出することで、これら２つの情報から、公共空間の見守りを行うことのできるシステムを提供する。
【解決手段】システムは、音を観測する音観測手段と、観測音が日常音とは異なる非日常音か否かを検出する非日常音検出手段と、観測音の音源方向が非日常音源方向か否かを検出する非日常音源検出手段とを備える。
【選択図】図１

Description

本発明は、検出対象空間内における非日常音、さらにはその音源方向を検出することのできるシステムに関するものである。

音環境における異常音や危険音を検出する従来システムの多くは、（１）取り出したい異常な音を予め定義し、その定義した異常な音を検出するもの（たとえば特許文献１）、（２）正常な音を予め定義し、その音以外の音が発生したときに異常な事象が起きたと判断するものとに大別できる。

しかしながら、（１）や（２）の問題点は、予め検出したい音や正常音のデータを集めなければならないところにある。さらに、その集めたデータを使って、検出したい音や正常音のモデル化を行うような煩わしい作業もしなければならい。また、モデル化を行わない従来法として、突発的な音を異常音と決めて、その音だけを検出するシステムもあるが、突発的な音が発生する毎に反応するので、誤検出を起こす可能性がかなり大きい。
特開２００７−１０４５４６号公報

本発明は、上記の事情に鑑みてなされたものであり、非日常音が日頃起こらない何か危険な信号であると考え、その音を検出し、さらに、非日常的な音源の方向、つまり日頃発生しないような場所から発生する音源の方向の情報も同時に検出することで、これら２つの情報から、公共空間の見守りを行うことのできるシステムを提供することを目的としている。

本発明は、上記の課題を解決するものとして、第１には、
音を観測する音観測手段と、
観測音が日常音とは異なる非日常音か否かを検出する非日常音検出手段と、
観測音が非日常音である場合にその音源方向が非日常音源方向か否かを検出する非日常音源方向検出手段と
を備える非日常音検出システムを提供する。

第２には、
非日常音検出手段は、
観測音をそのパワースペクトルの大きさによって分類する手段と、
分類音について同じクラスに分類された過去の全ての音との類似度を計算する手段と、
計算類似度に基づいて観測音が非日常音か否かを判断する手段と
を備える、前記非日常音検出システムを提供する。

第３には、
観測音を蓄積するデータベースをさらに備える、前記非日常音検出システムを提供する。

第４には、
観測音がデータベース中のある非日常音と類似であると判断された場合、該非日常音を表わす特徴量を観測音の特徴量を使って更新する、前記非日常音検出システムを提供する。

第５には、
非日常音源方向検出手段は、
観測音から音源の方向の推定に用いる値を算出する手段と、
算出値について過去の音源方向推定データとの類似度を計算する手段と、
計算類似度に基づいて観測音の音源方向が非日常音源方向か否かを判断する手段と
を備える、前記非日常音検出システムを提供する。

第６には、
観測音の音源方向データを蓄積するデータベースをさらに備える、前記非日常音検出システムを提供する。

第７には、
観測音の音源方向がデータベース中の非日常音源方向と類似であると判断された場合、該非日常音源方向に関する特徴量を観測音の音源方向の特徴量を使って更新する、前記非日常音検出システムを提供する。

第８には、
非日常音および非日常音源方向のいずれか一方又は両方が判断された場合に警告を発する警告手段をさらに備える、前記非日常音検出システムを提供する。

本発明は、さらに、上記の課題を解決するものとして、第９には、
音を観測し、
観測音が日常音とは異なる非日常音か否かを検出し、
観測音が非日常音である場合にその音源方向が非日常音源方向か否かを検出する、非日常音検出方法を提供する。

第１０には、
非日常音の検出において、
観測音をそのパワースペクトルの大きさによって分類し、
分類音について同じクラスに分類された過去の全ての音との類似度を計算し、
計算類似度に基づいて観測音が非日常音か否かを判断する、
前記非日常音検出方法を提供する。

第１１には、
非日常音源方向の検出において、
観測音から音源の方向の推定に用いる値を算出し、
算出値について過去の音源方向推定データとの類似度を計算し、
計算類似度に基づいて観測音の音源方向が非日常音源方向か否かを判断する、
前記非日常音検出方法を提供する。

第１２には、
非日常音および非日常音源方向のいずれか一方又は両方を判断した場合に警告を発する、前記非日常音検出方法を提供する。

第１３には、
前記非日常音検出方法をコンピュータに実行させるための非日常音検出プログラムを提供する。

第１４には、
前記非日常音検出プログラムを記録したコンピュータ読取可能記録媒体を提供する。

上記のとおりの本発明によれば、
（１）日常音か非日常音か、かつ日常音源方向か非日常音源方向かを、日常の音環境計測を通じて検出することができ、また、
（２）日常音および日常音源方向のデータベースが環境音計測を通じて構築されるので、事前に日常音、非日常音、日常音源方向、非日常音源方向の定義が不要になり、また、
（３）データベースに蓄積される日常音、日常音源方向の特徴量が、新たに計測される日常音、日常音源方向の特徴量によって更新され、その結果、更新された特徴量を使うことによって、日常音および日常音源方向に対する検出精度を上げていくことができる。

以下に、本発明の実施の形態を、図面を参照して説明する。
（実施の形態１）
図１は、本発明のシステムにより実行される各処理のフローチャートである。

まず、見守り対象空間に設置したセンサにより空間内の音を観測し、観測音を必要に応じてＡ／Ｄ変換器等を通した後、音源定位処理にかける。音源定位は図１中の式を用いて行う。

より具体的には、音観察用のセンサは、たとえば図２（ａ）（ｂ）に例示したマイクロフォンアレイを用いることができる。もちろん本発明による非日常音及び非日常お音源方向検出を実現できる限りこれ以外のセンサを用いてもよいことは言うまでもない。図示したマイクロフォンアレイは、図２（ｂ）のようなキューブ状の剛性躯体におけるｏ，ｘ，ｙ，ｚ軸に一つずつマイクを設置したマイクロフォンアレイを、図２（ａ）のように十字状に組まれた剛性フレームに４つ取り付けてなるものであり、これが対象空間の例えば天井近くに設置される。

各マイクロフォンにおけるｏ，ｘ，ｙ，ｚのマイクそれぞれで観測される信号は、

であり、合計１６個のマイクから観測信号データが得られる。

マイクロフォンアレイで観測された信号は、

により、ｏとｘ，ｙ，ｚとの差分を採ることを特徴とする。ただし、ｏに対してはそのままの値を用いる。

図示したマイクロフォンアレイは、信号源からの信号が低周波信号の場合の音源定位に特徴がある。

上記式において、観測信号y(t)の入出力関係（観測信号は全て周波数領域で取り扱う）は、以下のとおりである。

上記式をマイクロフォンに到達する直前の信号と観測信号の関係に変形すると、

となる。

以上によるマイクロフォンアレイからの観測音データに基づき、

により音源定位を行い、算出したL_xl(θ_ij)が既定の閾値ａよりも大きければ音源があるとみなし、その音源からの音と音源の情報に対して、非日常音、非日常音源の検出を行う。

上記式において、

である。ただし、直接求めることができないので、以下の式を用いる。

以下、図３を用いて、非日常音検出についてさらに詳細に説明する。

まず、非日常音を検出する前処理として、検出音をパワースペクトルのヒストグラムの大きさに従って分類する（ステップＳ３１）。クラス分けを行わなくても非日常音の検出は可能であるが、後述する類似度計算にかなりの時間がかかるため、ここでは、類似度計算の実行時間の大幅な削減を図るべくクラス分けを行う。

図４は検出音のパワースペクトルのヒストグラムの一例である。ｄｍの大きさによってたとえば３段階の値を設定する。
ａ．ｄｍ＞Ｉ_１
ｂ．Ｉ_１＞＝ｄｍ＞Ｉ_２
ｃ．Ｉ_２＞＝ｄｍ＞Ｉ_３
ａ，ｂ，ｃに入ったそれぞれのｄｍの数により、３つのクラスに分類し、それぞれのクラスで非日常音の検出を行う。後述する音種類ＤＢには、これらのクラス毎に検出音が蓄積される。

次に、音種類ＤＢ内のクラス毎に、過去の検出音（日常音及び非日常音）と今の検出音の特徴量それぞれを計算する（ステップＳ３２）。特徴量としては、たとえば、音声認識などで用いられるMFCC(Mel-Frequency Cepstral Coefficients)や周波数帯域毎に音の大きさを解析するFluctuation Pattern(FP)などを用いることができるが、検出音と非日常音との違いが算出特徴量に現れて両者を明確に区別することができる限り、特徴量の種類は特に限定されない。

続いて、音種類ＤＢにある過去の検出音の特徴量及び計算された今の検出音の特徴量に基づき、過去の検出音と今の検出音の類似度α_ｉを計算する（ステップＳ３３）。この類似度は、過去検出した音全ての特徴量に対して計算される。

そして、一番近い類似度を示した過去の検出音に対して、類似度が既定の閾値ｂより大きければ、検出した音は過去に似ている音がある、つまり日常音だと判断する（ステップＳ３４−Ｙｅｓ）。逆に類似度が閾値ｂ以下の場合には非日常音だと判断する（ステップＳ３４−Ｎｏ）。

以上により判断された日常音及び非日常音は、それぞれの算出特徴量とともに、音種類ＤＢにクラス毎に保存される。

以下、図４を用いて、非日常音源検出についてさらに詳細に説明する。

まず、検出された音源方向の特徴量と音源方向ＤＢにある過去の音源方向のデータに対する特徴量を計算する（ステップＳ５１）。計算する特徴量は次のとおりである。
・L_xl(θ_ij)を要素に持つ行列の絶対値最大固有値に対する固有ベクトル。
・ｉ，ｊに対して計算されるL_xl(θ_ij)の平均値。

次に、音源方向ＤＢにある特徴量及び計算された特徴量に基づき、過去の音源方向データと検出された音源方向の類似度を計算する（ステップＳ５２）。類似度β_iは固有ベクトルに関するもの、類似度γ_iはL_xl(θ_ij)平均値に関するものである。

特徴量としての固有ベクトルおよびL_xl(θ_ij)平均値についてさらに説明すると、音源定位処理データ（たとえば図６参照）における各マス目の値を行列の要素とみなし、行列の固有値分解を行う。このとき、求められた固有値の中で、絶対値が最大な固有値に対する固有ベクトルを特徴量とみなし、過去に計算された全ての特徴量つまり固有ベクトルとの類似度β_iを計算する。図６は音源定位処理の結果データの一例を示しており、この例において黄色から茶色のマス目が音源がある方向を示している。固有ベクトルは、音源の方向が変わればベクトルの値が変化するものである。つまり、音源の方向が変われば、すなわち図６の茶色のマス目の位置が変われば、各マス目の値も変化し、行列の値が変化するので、固有ベクトルの値も変化する。この変化に着目して、絶対値が最大な固有値に対する固有ベクトルを、音源方向検出のベースとなる特徴量とみなす。
さらに、数５のL_xl(θ_ij)に対しても、検出された音源位置と過去に検出された全ての音源位置に対して類似度γ_iを計算する。

そして、一番近い類似度を示した過去の音源方向に対して、類似度β_i及びγ_iの合計が既定の閾値ｃより大きければ、検出した音源方向は過去に似ている音源方向がある、つまり日常音源だと判断する（ステップＳ５３−Ｙｅｓ）。逆に類似度が閾値ｃ以下の場合には非日常音源だと判断する（ステップＳ５３−Ｎｏ）。ここで二つの特徴量／類似度を使用することにより、非日常音源方向の検出漏れを防ぎ、検出精度を向上させることができる。

以上により判断された日常音源方向及び非日常音源方向は、それぞれの算出特徴量とともに、音源方向ＤＢに保存される。

後は、図７に例示したように、非日常音及び非日常音源方向のいずれか一方または両方を検出した際に、注意を促す例えば「Warning!」サイン等の警告を出力する。

［装置構成］
以上のとおりの本発明における各処理は、図８に例示した全体構成を持つ装置により実行することができる。図８の装置１は、バス１５に処理部（ＣＰＵ）１０、記憶部（内部メモリ、外部メモリ）１１、入力部（キーボード、マウス）１２、出力部（モニタ、プリンタ）１３及び通信制御部１４が接続される構成である。この装置１１は、通信制御部１４を介してネットワーク１６に接続されている。ネットワーク１６に接続された装置１などの端末から他の端末等に格納された各処理に必要な各種データを入手することが可能である。処理部１０は、記憶部１１に格納されたプログラムを読み出すことにより、前述した各種処理を実行する。

本発明について説明するための機能ブロック及び処理フローを示した図。マイクロフォンアレイの一例を示した斜視図。非日常音検出フローの一例を示した図。検出音のパワースペクトルのヒストグラムの一例を示した図。非日常音源検出フローの一例を示した図。音源定位処理データの一例を示した図。警告フローの一例を示した図。本発明について説明するためのシステムブロックを示した図。

Claims

音を観測する音観測手段と、
観測音が日常音とは異なる非日常音か否かを検出する非日常音検出手段と、
観測音の音源方向が非日常音源方向か否かを検出する非日常音源検出手段と
を備える非日常音検出システム。
非日常音検出手段は、
観測音をそのパワースペクトルの大きさによって分類する手段と、
分類音について同じクラスに分類された過去の全ての音との類似度を計算する手段と、
計算類似度に基づいて観測音が非日常音か否かを判断する手段と
を備える、請求項１記載の非日常音検出システム。
観測音を蓄積するデータベースをさらに備える、請求項２記載の非日常音検出システム。
観測音がデータベース中のある非日常音と類似であると判断された場合、該非日常音を表わす特徴量を観測音の特徴量を使って更新する、請求項３記載の非日常音検出システム。
非日常音源方向検出手段は、
観測音から音源の方向の推定に用いる値を算出する手段と、
算出値について過去の音源方向推定データとの類似度を計算する手段と、
計算類似度に基づいて観測音の音源方向が非日常音源方向か否かを判断する手段と
を備える、請求項１記載の非日常音検出システム。
観測音の音源方向データを蓄積するデータベースをさらに備える、請求項５記載の非日常音検出システム。
観測音の音源方向がデータベース中の非日常音源方向と類似であると判断された場合、該非日常音源方向に関する特徴量を観測音の音源方向の特徴量を使って更新する、請求項６記載の非日常音検出システム。
非日常音および非日常音源方向のいずれか一方又は両方が判断された場合に警告を発する警告手段をさらに備える、請求項１ないし７のいずれかに記載の非日常音検出システム。
音を観測し、
観測音が日常音とは異なる非日常音か否かを検出し、
観測音が非日常音である場合にその音源方向が非日常音源方向か否かを検出する、非日常音検出方法。
非日常音の検出において、
観測音をそのパワースペクトルの大きさによって分類し、
分類音について同じクラスに分類された過去の全ての音との類似度を計算し、
計算類似度に基づいて観測音が非日常音か否かを判断する、
請求項９記載の非日常音検出方法。
非日常音源方向の検出において、
観測音から音源の方向の推定に用いる値を算出し、
算出値について過去の音源方向推定データとの類似度を計算し、
計算類似度に基づいて観測音の音源方向が非日常音源方向か否かを判断する、
請求項９記載の非日常音検出方法。
非日常音および非日常音源方向のいずれか一方又は両方を判断した場合に警告を発する、請求項９ないし１１のいずれかに記載の非日常音検出方法。
請求項９ないし１２のいずれかに記載の非日常音検出方法をコンピュータに実行させるための非日常音検出プログラム。
請求項１３記載の非日常音検出プログラムを記録したコンピュータ読取可能記録媒体。