JP2008241991A - 監視システム - Google Patents

Abstract

【課題】非定常的な雑音の多い環境であっても観測音から目的の環境音を高精度に認識するとともに、監視システムの監視効率を向上させる。
【解決手段】複数のマイク２ａ，２ｂによって周囲の音を観測することにより、複数の音源９ａ，９ｂから発せられた音が混合された観測音を表現する信号ｘ₁(t)，ｘ₂(t)を取得する。そして、信号処理回路３に、信号ｘ₁(t)，ｘ₂(t)を入力して音源９ａ，９ｂごとの分離信号を生成し、雑音除去回路４を経て、音認識回路５によって、音源９ａ，９ｂごとの分離信号によって表現される音が目的の環境音であるか否かを判定する。目的の環境音であると認識された場合、機器制御部６は、信号処理回路３から得られる当該音の音源方向に基づいて、カメラ８０、マイク８１およびスピーカ８２を制御する。
【選択図】図１

Description

本発明は、観測音に目的の環境音が含まれるか否かを判定する技術に関する。

例えば、複数の防犯カメラを備え、撮影したデータによって屋外環境を監視する監視システムが知られている。しかし、防犯カメラの多くは撮影したデータを保存し続けるため、取得されるデータが膨大になる。また、蓄積された膨大なデータから目的のデータ（犯罪等が発生した箇所のデータ）を検索するにも多くの時間が必要となる。

このような問題を解決するために、例えば、周囲の音（観測音）から、検証したい事象（犯罪等）が発生したか否かを判定し、このような事象が発生したと判定したときにのみ、画像を記録するようにすることが考えられる。そして、検証したい事象が発生したときに観測される可能性の高い音（目的の環境音、例えば悲鳴等）を検知する技術も提案されている（特許文献１）。

一般に、ある地点で観測される観測音は、様々な音源から発生した音が合成された混合音である。このような観測音に基づいてそのまま音認識しようとすると、必要としている音以外の音は雑音となるため好ましくない。すなわち、特許文献１に記載されている技術では、観測音に悲鳴が含まれているか否かを認識する際に、観測音のパワーや周波数スペクトルの分析による判定方法を用いてるため、特に非定常的な雑音が多い屋外環境では、目的の環境音を認識するのが難しいという問題があった。

そこで、従来より、観測音の認識精度を向上させるために、音源を分離する技術も提案されている（特許文献２）。

特許第３５０３７１７号公報 特許第３５３００３５号公報

ところが、特許文献２に記載されている技術では、比較的フィルタリング性能の高い音源分離手法を用いて判別しているものの、マイクの各チャンネル間のレベル及び位相差を用いて音を判別しているため、依然として、非定常的な雑音に対応するのは困難であるという問題があった。すなわち、従来の技術では、認識精度が低いために、誤報や失報が発生し、システムの信頼性が低下するという問題があった。

本発明は、上記課題に鑑みなされたものであり、非定常的な雑音の多い環境であっても観測音から目的の環境音を高精度に認識することを目的とする。さらに、監視システムの監視効率の向上を目的とする。

上記の課題を解決するため、請求項１の発明は、目的の環境音に応じて周囲の環境を監視する監視システムであって、それぞれの配置位置において観測された音を示す観測信号をそれぞれが生成する複数の観測装置と、周波数帯域を複数の分割帯域に分割し、各分割帯域ごとの部分分離行列を求めることによって、前記観測信号に対する分離行列を生成する分離行列演算手段と、前記分離行列演算手段により生成された分離行列によって前記複数の観測信号のうちの少なくとも１つから、少なくとも１の分離信号を生成する信号分離手段と、前記信号分離手段により生成された分離信号によって表現される音が前記目的の環境音であるか否かを認識する認識手段とを備えることを特徴とする。

また、請求項２の発明は、請求項１の発明に係る監視システムであって、前記複数の観測装置の位置情報と前記複数の観測装置の特性情報とに基づいて、前記分離信号によって表現される音の音源方向を特定する方向特定手段と、周囲を環境を撮影により記録する少なくとも１つのカメラとをさらに備え、前記少なくとも１つのカメラは、前記方向特定手段により特定された音源方向に応じて制御されることを特徴とする。

また、請求項３の発明は、請求項１の発明に係る監視システムであって、前記複数の観測装置の位置情報と前記複数の観測装置の特性情報とに基づいて、前記分離信号によって表現される音の音源方向を特定する方向特定手段と、周囲の環境を録音により記録する少なくとも１つの録音装置とをさらに備え、前記少なくとも１つの録音装置は、前記方向特定手段により特定された音源方向に応じて制御されることを特徴とする。

また、請求項４の発明は、請求項２または３の発明に係る監視システムであって、前記特性情報は、前記分離行列演算手段により生成された分離行列であることを特徴とする。

また、請求項５の発明は、請求項２ないし４のいずれかの発明に係る監視システムであって、前記分離行列演算手段は、前記複数の分割帯域をそれぞれ学習帯域群または補間帯域群に分類する帯域分類手段と、前記方向特定手段により特定された音源方向に基づいて、前記補間帯域群における部分分離行列を演算する補間手段と、学習処理により、前記学習帯域群における部分分離行列を演算する学習手段とを有し、前記分離行列演算手段は、前記学習手段により求めた学習帯域群における部分分離行列と、前記補間手段により求めた補間帯域群における部分分離行列とに基づいて、前記分離行列を生成することを特徴とする。

また、請求項６の発明は、請求項１ないし５のいずれかの発明に係る監視システムであって、前記認識手段による認識結果に基づいてオペレータに通報する通報手段をさらに備えることを特徴とする。

また、請求項７の発明は、請求項６の発明に係る監視システムであって、前記通報手段は、前記分離信号よって表現される音を再生することを特徴とする。

請求項１ないし７に記載の発明では、周波数帯域を複数の分割帯域に分割し、分割帯域ごとの部分分離行列を求めることによって観測信号に対する分離行列を生成し、生成した分離行列によって複数の観測信号のうちの少なくとも１つから、少なくとも１の分離信号を生成して、当該分離信号によって表現される音が目的の環境音であるか否かを認識することにより、認識精度が向上する。

請求項２に記載の発明では、カメラが、方向特定手段により特定された音源方向に応じて制御されることにより、効率よく撮影を行うことができる。

請求項３に記載の発明では、録音装置が、方向特定手段により特定された音源方向に応じて制御されることにより、効率よく録音を行うことができる。

請求項４に記載の発明では、分離行列演算手段により生成された分離行列を特性情報とすることにより、学習結果を反映させることができるので、精度が向上する。

請求項５に記載の発明では、学習手段により求めた学習帯域群における部分分離行列と、補間手段により求めた補間帯域群における部分分離行列とに基づいて、分離行列を生成することにより、全帯域について学習処理を行う場合に比べて、演算量が抑制される。

請求項６に記載の発明では、認識手段による認識結果に基づいてオペレータに通報する通報手段をさらに備えることにより、例えば、目的の環境音が観測されたことをオペレータに知らせることができる。

請求項７に記載の発明では、通報手段が分離信号よって表現される音を再生することにより、オペレータは目的の環境音と認識された音を直接確認することができる。

以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。

＜１． 実施の形態＞
図１は、本発明に係る監視システム１を示す図である。

監視システム１は、２つのマイク２ａ，２ｂ、信号処理回路３、雑音除去回路４、音認識回路５、機器制御部６および記憶装置７を備える。また、監視システム１は、機器制御部６によって制御される装置として、カメラ８０、マイク８１、スピーカ８２および再生装置８３を備える。

マイク２ａ，２ｂは、一般的なマイクロフォンとしての機能を有しており、それぞれが設置された位置において観測される音（観測音）を電気信号（信号ｘ₁(t)，ｘ₂(t)）に変換する。２つのマイク２ａ，２ｂは、同時に観測音の観測を行うことが可能である。すなわち、マイク２ａ，２ｂは、本発明における複数の観測装置に相当する構成である。

図１に示すように、周囲の環境として、２つの音源９ａ，９ｂから、それぞれ音ｓ₁(t)，ｓ₂(t)が発生している状況を例に、マイク２ａ，２ｂによって生成される信号ｘ₁(t)，ｘ₂(t)について説明する。

音源９ａ，９ｂと、マイク２ａ，２ｂとの間の空間に対するインパルス応答のｚ変換をそれぞれａ₁₁(z)，ａ₂₁(z)，ａ₁₂(z)，ａ₂₂(z)と表すと、マイク２ａにおいて観測される観測音は、音ａ₁₁(z)・ｓ₁(t)と、音ａ₁₂(z)・ｓ₂(t)との混合音となり、この混合音に基づいて、マイク２ａは信号ｘ₁(t)を生成する。また、同様に、マイク２ｂにおいて観測される観測音は、音ａ₂₁(z)・ｓ₁(t)と、音ａ₂₂(z)・ｓ₂(t)との混合音となり、この混合音に基づいて、マイク２ｂは信号ｘ₂(t)を生成する。

すなわち、混合行列をＡ(z)とおくと、複数の観測装置により取得される観測音の信号Ｘ(t)は、式１で表される。

図２は、信号処理回路３の詳細を示す図である。図２に示すように、信号処理回路３は、ＦＦＴ３０、信号分離部３１、ＩＦＦＴ３２、ＩＣＡ３３および補正部３４を備えている。信号処理回路３は、マイク２ａ，２ｂから入力される複数の信号（信号ｘ₁(t)，ｘ₂(t)）から少なくとも１つの分離信号（信号ｙ₁(t)，ｙ₂(t)）を生成して雑音除去回路４に出力するとともに、各音源９ａ，９ｂの方向Ｄ_p（Ｄ₁，Ｄ₂）を特定して、機器制御部６に出力する。

ＦＦＴ３０は入力された信号に対してフーリェ変換を行う回路であり、マイク２ａ，２ｂが生成した信号（信号ｘ₁(t)，ｘ₂(t)）を入力信号とし、当該入力信号のフーリェ変換後の信号（信号ｘ₁(f,t)，ｘ₂(f,t)）を出力信号として、信号分離部３１およびＩＣＡ３３に出力する。

信号分離部３１はＦＦＴ３０から入力された信号（信号ｘ₁(f,t)，ｘ₂(f,t)）と、ＩＣＡ３３から入力された分離行列Ｗ(f)とに基づいて、音源分離処理を行って分離信号（信号ｙ₁(f,t)，ｙ₂(f,t)）を生成する機能を有する。このとき、信号分離部３１は、式２を演算することにより、分離信号を求める。

なお、分離行列Ｗ(f)は、近似的には混合行列Ａ(z)の逆行列である。また、生成された分離信号（信号ｙ₁(f,t)，ｙ₂(f,t)）は、信号分離部３１の出力信号として、ＩＦＦＴ３２およびＩＣＡ３３に出力される。

ＩＦＦＴ３２は入力された信号に対して逆フーリェ変換を行う回路であり、信号分離部３１からの信号（信号ｙ₁(f,t)，ｙ₂(f,t)）を入力信号とし、当該入力信号の逆フーリェ変換後の信号（信号ｙ₁(t)，ｙ₂(t)）を出力信号とする。ＩＦＦＴ３２からの出力信号は、分離信号として、信号処理回路３からの出力信号となる。

図３は、信号分離部３１とＩＣＡ３３の詳細とを示す図である。ただし、図３では、補正部３４を省略している。

ＩＣＡ３３は、分離行列演算部３５、方向特定部３６および補間部３７を備え、独立成分分析法（ICA：Independent Component Analysis）を適用することにより、信号分離部３１において音源分離処理を行うための分離行列Ｗ(f)を求める機能を有する。

分離行列演算部３５は、入力される信号ｘ₁(f,t)，ｘ₂(f,t)における周波数帯域ｆを複数の分割帯域に分割するとともに、分割した複数の分割帯域をそれぞれ学習帯域群ｆ_gまたは補間帯域群ｆ_hに分類する。なお、分離行列演算部３５は、学習を行う際の反復回数を設定するとともに、各回ごとに前述の分類を行うことが可能である。例えば、一回目の学習演算を行うときには全周波数帯域ｆを学習帯域群ｆ_gとし、二回目以降の学習演算では間引いた残りの分割帯域のみを学習帯域群ｆ_gとすることも可能である。間引きが行われた場合の間引かれた分割帯域は、分離行列演算部３５によって補間帯域群ｆ_hに分類される。

また、分離行列演算部３５は、学習帯域群ｆ_gにおける部分分離行列（学習分離行列ＷＧ(ｆ_g)）を、学習演算により求める。求めた学習分離行列ＷＧ(ｆ_g)は、方向特定部３６に出力する。なお、学習分離行列Ｗ(ｆ_g)を求める際の学習演算方法は、従来の技術を適用することが可能であるため、ここでは詳細に述べないが、例えば、式３に示す公式から求めることができる。

さらに、分離行列演算部３５は、求めた学習分離行列ＷＧ(ｆ_g)と、補間部３７から入力される補間分離行列ＷＨ(ｆ_h)に基づいて、先述のように、全周波数領域ｆにおける分離行列Ｗ(f)を求める。具体的には、式４を演算することにより、分離行列Ｗ(f)を求める。

なお、式４から明らかなように、全ての分割帯域が学習帯域群ｆ_gに分類されている場合には、Ｗ(f)＝ＷＧ(ｆ_g)が成立する。

図４は、最初の分離行列Ｗ₁(f)を求める様子を概念的に示す図である。ここで、分離行列Ｗ₀(f)は初期値として予め与えられているものとする。また、部分分離行列Ｗ₀(ｆ₁)，Ｗ₀(ｆ₂)，Ｗ₀(ｆ₃)，・・・，Ｗ₀(ｆ_n)は、それぞれ分割帯域ｆ₁，ｆ₂，ｆ₃，・・・，ｆ_nにおける部分分離行列を示す。すなわち、ここに示す例では、周波数帯域ｆは、ｎ個に分割されている（ｎは自然数）。

本実施の形態において、最初の分離行列Ｗ₁(f)を求める際には、分離行列演算部３５は、全ての分割帯域を学習帯域群ｆ_gに分類する。したがって、図４に示すように、全ての部分分離行列Ｗ₀(ｆ₁)，Ｗ₀(ｆ₂)，Ｗ₀(ｆ₃)，・・・，Ｗ₀(ｆ_n)が「学習」の対象となり、それぞれについて式３が演算される。

次に、求まった全ての部分分離行列（ここでは求まった全ての部分分離行列が学習分離行列ＷＧ(ｆ_g)となる）が、式４を演算することにより加算されて、分離行列Ｗ₁(f)が求まる。

このように、本実施の形態では、最初の分離行列Ｗ₁(f)を求める際には、実際に得られた信号に基づいて、全ての分割帯域について学習演算を行って分離行列Ｗ₁(f)を求めるので、非定常的な環境においても、柔軟に対応できる。したがって、後述の処理において、異なる音源において発生した音を精度よく分離することができる。

図５は、ｉ＋１回目の分離行列Ｗ_i+1(f)を求める様子を概念的に示す図である。図５に示す例では、ｎ＝４ｍ−３（ｍは自然数）を満たす分割帯域ｆ_nが学習帯域群ｆ_gに分類される。すなわち、全分割帯域ｆ_nのうちの４分の１のみ反復学習を行い、他の４分の３については補間処理を行う。

具体的に説明すると、学習帯域群ｆ_gに分類された分割帯域ｆ₁，ｆ₅，・・・・の部分分離行列Ｗ_i(ｆ₁)，Ｗ_i(ｆ₅)，・・・については、学習演算の対象とする。したがって、分離行列演算部３５は式３を実行して、学習分離行列ＷＧ_i+1(ｆ₁)，ＷＧ_i+1(ｆ₅)，・・・を求める。一方、補間帯域群ｆ_hに分類された分割帯域ｆ₂，ｆ₃，ｆ₄，・・・の部分分離行列Ｗ_i(ｆ₂)，Ｗ_i(ｆ₃)，Ｗ_i(ｆ₄)，・・・については、学習演算の対象としない。そして、補間帯域群ｆ_hにおける部分分離行列は、補間分離行列ＷＨ_i+1(ｆ₂)，ＷＨ_i+1(ｆ₃)，ＷＨ_i+1(ｆ₄)，・・・として、後述する補間部３７から分離行列演算部３５に入力される。分離行列演算部３５は、学習演算により求めた学習分離行列ＷＧ_i+1(ｆ₁)，ＷＧ_i+1(ｆ₅)，・・・と、補間部３７から入力された補間分離行列ＷＨ_i+1(ｆ₂)，ＷＨ_i+1(ｆ₃)，ＷＨ_i+1(ｆ₄)，・・・とに基づいて、式４を演算して、ｉ＋１回目の分離行列Ｗ_i+1(f)を求める。

このように、本実施の形態では、分離行列演算部３５が複数回の反復学習を行って分離行列Ｗ(f)を求めるので、さらに精度が向上する。また、学習演算は比較的複雑で、反復することによりさらに演算量が膨大となるが、補間帯域群ｆ_hに分類された分割帯域については、後述する補間部３７から入力される補間分離行列ＷＨ(ｆ_h)を用いることにより、分離行列Ｗ(f)を求めるための演算量を抑制することができる。

なお、本実施の形態における監視システム１は、まず、全ての分割帯域を学習帯域群ｆ_gに分類して、全周波数帯域について２回の反復学習を行う。その後（２＜ｉ＜Ｒ：Ｒは反復回数の上限値）、上記に説明したように、４分の１の分割帯域のみを学習帯域群ｆ_gに分類して当該学習帯域群ｆ_gについてのみ反復学習を行う。そして、反復回数ｉが上限値Ｒとなると、一旦、反復学習を停止し、何かのトリガ（例えば、新たな異常音の観測による定常状態の変化や、所定の時間経過等）の発生があった場合に、反復回数ｉを初期化し、再び、全周波数帯域に対する反復学習を開始する。ただし、分離行列演算部３５による分割帯域の分類規則はこれに限定されるものではない。例えば、反復学習を行う分割帯域の数を徐々に減らすように規定してもよい。

分離行列演算部３５によって求められた分離行列Ｗ(f)は、ＩＣＡ３３からの出力として、補正部３４に出力される。

方向特定部３６は、いわゆるビームフォーミングと呼ばれる演算手法（DOA：Direction of Arraival）を実行する。概略を説明すると、方向特定部３６は、到来する音波について、マイク２ａ，２ｂの位置によって変わる観測音の遅延時間τと、マイク２ａ，２ｂの特性とを利用して、音源方向Ｄｐを特定する。したがって、詳細は図示していないが、方向特定部３６は遅延時間τを計測するタイマとしての機能も備えている。また、マイク２ａ，２ｂの距離ｄは予め記憶されている設定データ等から取得されるものとする。なお、式５ないし式８は、方向特定部３６が音源方向Ｄｐを求める演算式を示す。

このように、本実施の形態における方向特定部３６は、マイク２ａ，２ｂの位置情報（距離ｄ）を利用し、マイク２ａ，２ｂの特性を示す情報（特性情報）として、分離行列演算部３５から伝達される学習分離行列ＷＧ(ｆ_g)を用いる。

これにより、音源の方向を特定する際に、学習結果を反映させることができるので、予め与えられた特性情報のみに基づいて音源方向Ｄ_pを特定する場合に比べて、精度が向上する。また、分離行列演算部３５が既に求めた値を用いることにより、特性情報を求めるための新たな演算を行う必要がない。言い換えれば、本実施の形態における方向特定部３６は、分離行列演算部３５において実行された学習演算の結果を効果的に利用することができる。

なお、本実施の形態における方向特定部３６は、反復回数が「２」のときの学習分離行列ＷＧ(ｆ_g)を特性情報として用いる。先述のように、本実施の形態において、反復回数「２」のときには、全周波数帯域が学習帯域群ｆ_gに分類されている。したがって、このときの学習分離行列ＷＧ(ｆ_g)とは、分離行列Ｗ₂(f)である。すなわち、特性情報は、部分分離行列（学習分離行列ＷＧ(ｆ_g)）に限定されるものではなく、分離行列演算部３５によって演算される分離行列Ｗ(f)であってもよい。ただし、特性情報は、位置情報と同様に予め設定データに含まれていてもよい。

方向特定部３６により求められた音源方向Ｄ_pは、補間部３７に向けて出力されるとともに、信号処理回路３の出力として機器制御部６に向けて出力される。

補間部３７は、方向特定部３６から入力された音源方向Ｄ_pに基づいて、補間帯域群ｆ_hにおける部分分離行列である補間分離行列ＷＨ(ｆ_h)を取得する。補間部３７が補間分離行列ＷＨ(ｆ_h)を取得する方法としては、例えば、音源方向Ｄ_pの値ごとに適切な補間分離行列ＷＨ(ｆ_h)を予めテーブル（設定データ）として記憶しておき、方向特定部３６から伝達された音源方向Ｄ_pの値を検索キーとして、当該テーブルから適切な補間分離行列ＷＨ(ｆ_h)を検索して取得する。

なお、この場合、テーブルを記憶するために必要とされる記憶容量を抑制するには、例えば、−９０°から９０°までの方向について、１０°刻み程度で記憶しておくことが好ましい。また、補間分離行列ＷＨ(ｆ_h)を取得する方法としては、予め記憶しておいたテーブルを参照する方法に限定されるものではなく、音源方向Ｄ_pに基づいて、演算により求めることもできる。

補間部３７により取得された補間分離行列ＷＨ(ｆ_h)は、分離行列演算部３５に向けて出力され、先述のように、分離行列演算部３５が式４を演算する際に使用される。

図２に戻って、補正部３４は、分離行列演算部３５から入力される分離行列Ｗ(f)に対して、パミュテーションおよびレベル推定を行う処理部である。一般的に、独立成分分析法では、チャンネルおよびレベルについて任意性を許容している。そのため、分離された信号に異なるチャンネルの成分が含まれている場合や、レベルが異なる場合が発生する。すなわち、補正部３４はこのような問題を補正する機能を有する。

図１に戻って、雑音除去回路４は、分離信号に含まれている雑音成分を除去するフィルタリング処理を行う回路である。雑音除去回路４において用いられるフィルタには様々なものが適用可能であるが、本実施の形態では、スペクトルサブトラクション方式を用いる。スペクトルサブトラクション方式を用いることにより、ゼロ位相で周波数特性をコントロールすることが容易となる。雑音除去回路４によって雑音が除去された分離信号は、音認識回路５に向けて出力される。

音認識回路５は、分離信号により表現される音に、目的の環境音が含まれているか否かを判定する機能を有する。なお、目的の環境音とは、監視システム１によって検出しようとする音として予め指定されている音であって、例えば、防犯ブザーの音、悲鳴あるいは警笛音等である。

観測された音を認識し識別するアルゴリズムは様々なものが提案されているが、本実施の形態における監視システム１では、非音声系における特性の優れた「混合ガウスモデル（ＧＭＭ）」を用いる。ただし、「隠れマルコフモデル（ＨＭＭ）」等の他の手法が用いられてもよい。

図１では図示を省略しているが、音認識回路５は、記憶装置７に記憶されている目的の環境音に関する情報（以下、「環境音情報」と称する）と、目的の環境音以外の音に関する情報（以下、「非環境音情報」と称する）とを参照することが可能である。

このように、環境音情報と非環境音情報とを記憶装置７に記憶させてデータベースを構築しておくことにより、本実施の形態における監視システム１は、環境音情報と非環境音情報とを任意に書き換えることが可能である。これにより、例えば、監視システム１の目的や設置場所等の状況に応じて、適切に周囲の環境を監視することができる。

例えば、踏切を監視するために監視システム１を設置した場合、当該監視システム１は、特に、遮断機が降りている間の状況を監視（撮影等）する必要がある。このような場合には、当該踏切の遮断機が降りるときの警告音を環境音情報として記憶しておくことが好ましい。一方、たまたま踏切の近くの店舗に監視システム１を設置した場合、遮断機が降りている状況を撮影する必要はなく、逆に、遮断機が降りるたびにカメラ８０が撮影を行うことは好ましくない。このような場合には、当該警告音を非環境音情報として記憶しておくことにより、非定常音（常に発生しているわけではない音）を定常音（検出不要な音）として扱うことができる。

音認識回路５は、入力された分離信号から特徴量を抽出して、環境音情報および非環境音情報と比較（尤度判定）し、予め設定されている閾値に応じて、当該入力された分離信号によって表現される音が目的の環境音であるか否かを判定する。音認識回路５は、認識した結果（判定結果）を機器制御部６に伝達する。なお、判定に用いる閾値は、予め設定データとして記憶装置７に記憶されており、適宜、変更可能である。

機器制御部６は、制御信号を生成して伝達することにより、監視システム１が備えるカメラ８０、マイク８１、スピーカ８２および再生装置８３を制御する機能を有する。

機器制御部６は、音認識回路５から、目的の環境音が観測されたことを示す判定結果を受けた場合に、カメラ８０による撮影の開始、マイク８１による録音の開始、およびスピーカ８２による警報再生を開始させる。

また、機器制御部６は、信号処理回路３から入力される音源方向Ｄ_pに基づいて、カメラ８０、マイク８１およびスピーカ８２のアクチュエータ（図示せず）を制御する。これにより、カメラ８０のパン・チルト・ズーム等の動作、マイク８１やスピーカ８２の向き調整等の動作を適切に行うことができる。

このように音源方向Ｄ_pに基づいて各装置を制御することによって、例えば、悲鳴が発生した方向（悲鳴と認識された音を表現した分離信号の音源方向）にカメラ８０を向けることができるので、より確実に撮影すべき被写体を撮影することができる。すなわち、より適切な画像を記録することができるため、録画効率が向上する。

また、悲鳴が発生した方向にマイク８１を向けることにより、マイク８１の指向性を考慮した収音が行われるので、録音効率が向上する。なお、マイク８１ではなく、マイク２ａ，２ｂを音源方向Ｄ_pに向けるように制御してもよい。

さらに、スピーカ８２を、悲鳴が発生した方向に向けることにより、単に警告音を再生するだけの場合に比べて、威嚇効果が向上する。なお、威嚇の目的を達成するための装置としては警告音を再生するスピーカ８２に限られるものではなく、例えば、光を発するサーチライトや非常灯等の照明装置であってもよい。その場合、被写体が効果的に照明されることになるので、カメラ８０と連動させることにより、威嚇効果のみならず、質のよい画像データを記録する効果もある。

なお、信号処理回路３からは、複数の音源に対して、それぞれ音源方向が出力されるが、機器制御部６は、これら複数の音源方向のうち、目的の環境音と認識された音（信号）の音源方向に基づいて、上記制御を行う。

記憶装置７は、一般的なハードディスク装置であり、各種データを記憶する。記憶装置７が記憶する情報としては、パラメータや初期値等を示す設定データや、音認識回路５によって参照される環境音情報および非環境音情報、カメラ８０によって撮影された画像データ、マイク８１で収音した音データ、スピーカ８２が再生する警告音の情報等である。

カメラ８０は、図示しない光電変換素子（ＣＣＤ等）を備えた一般的なデジタルカメラであり、機器制御部６によって制御される。カメラ８０によって撮影された画像データは、記憶装置７に転送され記憶される。なお、本実施の形態におけるカメラ８０は動画像を撮影する機能を有しているが、もちろん静止画を撮影するものであってもよい。

マイク８１は、一般的なマイクロフォンとしての機能を有しており、設置された位置において観測される音（観測音）を電気信号（音データ）に変換して、記憶装置７に転送する。先述のように、マイク８１から転送された音データは記憶装置７に記憶される。すなわち、監視システム１では、マイク８１および記憶装置７によって録音装置が構成されている。マイク８１の指向特性は記憶装置７に予め記憶されており、機器制御部６はこれを参照することによって、マイク８１を適切な向きに調整する。

スピーカ８２は、記憶装置７に記憶されている警告音の情報を、機器制御部６からの制御信号に応じて、音として再生する装置である。また、スピーカ８２の指向特性は記憶装置７に予め記憶されており、機器制御部６はこれを参照することによって、スピーカ８２を適切な向きに調整する。

なお、図１では、カメラ８０、マイク８１およびスピーカ８２をいずれも一台のみ図示しているが、カメラ８０、マイク８１、スピーカ８２はいずれも一台に限定されるものではない。

再生装置８３は、例えば、各種データを表示するディスプレイやランプ、データを印刷する印刷装置、音を出力するスピーカ等の出力装置が主に該当し、監視システム１の目的や設置状況に応じて、その種類・機能等が選択され設けられる。監視システム１において再生装置８３は、オペレータや警備員等に状況を出力する通報装置として機能する。

再生装置８３が再生する情報は、主に、記憶装置７に記憶された画像データ（カメラ８０によって撮影されたデータ）や、音データ（マイク８１から転送されたデータや、警報音の情報等）であるが、例えば、履歴情報等の加工された情報であってもよいし、予め記憶されている所定の情報であってもよい。

さらに、再生装置８３は、信号処理回路３によって分離された分離信号よって表現される音を再生する。図１では詳細を省略しているが、記憶装置７は信号処理回路３によって生成された分離信号を音データとして記憶する。そして、再生装置８３は、このようにして記憶された音データを再生する。すなわち、監視システム１は、マイク２ａ，２ｂを観測装置としてのみならず、録音装置の一部としても兼用する。これにより、目的の環境音であると認識された音を、直接オペレータが聴いて判断することができる。

なお、監視システム１の使用形態によっては、警備員等が監視システム１の監視場所（設置場所）から離れた遠隔地に駐在していることもある。この場合、再生装置８３の一部または全部は、ネットワークを介して、当該警備員等が駐在している場所（駐在所）に設置されていてもよい。

以上が、監視システム１の構成および機能の説明である。次に、監視システム１の動作を簡単に説明する。

監視状態における監視システム１は、周囲の環境を示す情報として、継続的に、マイク２ａ，２ｂによって観測音を示す信号Ｘ(t)を取得する。そして、取得したＸ(t)を信号処理回路３によって音源ごとに分離して分離信号を生成し、雑音除去回路４を経て、音認識回路５が当該分離信号に対して音認識を行う。

このようにして、監視システム１は、監視状態において、継続的に、音認識回路５による認識を行っており、目的の環境音が含まれていないか否か（周囲の環境においてそのような音が発生しているか否か）を常に監視している。

また、監視システム１は、信号処理回路３において、先述のように、反復学習によって求まる分離行列Ｗ(f)を用いて、音の信号を分離する。これにより、監視システム１は非定常的な屋外環境に設置された場合であっても、従来のシステムに比べて高精度に音源ごとの信号を分離することができる。したがって、複数の音源から発生した複数の音が混合した観測音（混合音）から高精度に音を分離抽出することができるので、音認識回路５における認識精度が向上し、システムの信頼性が向上する。

音認識回路５が目的の環境音を検出するまでの間、機器制御部６は、カメラ８０、マイク８１およびスピーカ８２をＯＦＦ状態とする。したがって、この間、カメラ８０は撮影を行わず、マイク８１による録音も行われない。また、スピーカ８２による警告音の再生も行われない。これにより、記憶装置７に記録されるデータ（画像データおよび音データ）の量を効果的に抑制することができる。

一方、音認識回路５が分離信号に目的の環境音が含まれていると判定すると、その旨が機器制御部６に伝達される。そして、機器制御部６は、カメラ８０、マイク８１およびスピーカ８２をＯＮ状態に制御する。すなわち、カメラ８０に撮影を開始させるとともに、マイク８１に録音を開始させる。また、スピーカ８２に所定の警告音の再生を開始させる。

この処理と並行して、機器制御部６は、信号処理回路３から入力される音源方向Ｄ_pに基づいて、カメラ８０の撮影調整の制御を行い、カメラ８０のパン・チルト・ズーム等の動作が行われる。同様に、機器制御部６は、信号処理回路３から入力される音源方向Ｄ_pに基づいて、マイク８１およびスピーカ８２の指向方向の調整制御とを行う。

さらに、機器制御部６は、再生装置８３に対して、所定の通報を行うように制御する。この制御に応じて、再生装置８３は、必要な情報を記憶装置７から取得して、取得した情報に基づいて通報を行う。例えば、目的の環境音が検出された旨を示す文字や画像等をディスプレイの画面に表示したり、警告灯を点灯させたり、あるいは所定の警告音を再生したりする。また、カメラ８０およびマイク８１が記録している内容をリアルタイムに再生する。このように、再生装置８３によってリアルタイムの通報を行うことにより、警備員等の迅速な対応が可能となる。

なお、機器制御部６は、一旦検出された目的の環境音が停止した場合には、所定の時間が経過した後に、カメラ８０、マイク８１およびスピーカ８２をＯＦＦ状態に戻す。また、再生装置８３についても、適宜、ＯＦＦ状態となるように制御する。

機器制御部６は、目的の環境音が検出されたときだけでなく、オペレータや監視員等から指示があった場合にも当該指示に従って再生装置８３を制御する。これにより、例えば、これまでに撮影された画像データや録音された音データの再生、あるいは目的の環境音が検出された履歴情報の出力（プリントアウトや画面表示等）が行われる。すなわち、監視システム１は、リアルタイムの通報に加えて、過去の状況を通報（確認）することも可能である。

以上のように、本実施の形態における監視システム１は、周波数帯域を複数の分割帯域に分割して、各分割帯域ごとの部分分離行列を求めることによって、観測信号に対する分離行列を生成する。そして、生成された分離行列によって観測信号から、少なくとも１の分離信号を生成する。さらに、このようにして生成された分離信号に基づいて、当該分離信号によって表現される音が目的の環境音であるか否かを認識することにより、認識精度が向上する。

また、カメラ８０が、方向特定部３６により特定された音源方向に応じて、機器制御部６によって制御されることにより、効率よく撮影を行うことができる。

また、マイク８１（録音装置）が、方向特定部３６により特定された音源方向に応じて、機器制御部６によって制御されることにより、効率よく録音を行うことができる。

また、特性情報として、分離行列演算部３５により生成された分離行列Ｗ(f)を用いることにより、音源方向を特定する際に、学習結果を反映させることができるので、精度が向上する。

また、分離行列演算部３５が求めた学習帯域群における部分分離行列と、補間部３７により求めた補間帯域群における部分分離行列とに基づいて、分離行列を生成することにより、方向特定部３６の演算結果（音源方向）を有効に活用しつつ、全周波数帯域について反復して学習処理を行う場合に比べて、演算量を抑制できる。

また、再生装置８３が、音認識回路５による認識結果に基づいてオペレータや警備員等に通報することにより、例えば、目的の環境音が観測されたことを迅速かつ容易に知らせることができる。

さらに、再生装置８３は、信号処理回路３によって分離された分離信号よって表現される音を再生することにより、再生された音によって、目的の環境音であるか否かをオペレータが直接判断することができる。

＜２． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

例えば、上記実施の形態では１回目の反復において、全周波数領域を学習帯域群ｆ_hに分類すると説明したが、もちろん１回目の学習のときから間引きを行ってもよい。その場合、分離行列Ｗ(f)の初期値Ｗ₀(f)で補間して、１回目の分離行列Ｗ₁(f)を求めてもよい。

また、機器制御部６は、音認識回路５によって認識された目的の環境音の種類に応じて、カメラ８０、マイク８１、スピーカ８２および再生装置８３の制御を変更してもよい。例えば、認識された目的の環境音の種類に応じて、スピーカ８２から再生する音を選択するように構成してもよい。

また、上記実施の形態において、機器制御部６がカメラ８０、マイク８１、スピーカ８２および再生装置８３を制御する手法は、あくまでも例示であって、このような制御に限定されるものではない。すなわち、監視システム１の目的、設置状況、構成等によって、適宜変更されてもよい。

また、上記実施の形態における方向特定部３６は、反復学習の過程で、補間分離行列ＷＨ(ｆ_h)を求めるために求めた音源方向Ｄ_pに基づいて、機器制御部６がカメラ８０等を制御すると説明した。しかし、反復学習を終了した後の分離行列Ｗ(f)に基づいて改めて音源方向Ｄ_pを求め、このようにして求めた音源方向Ｄ_pに基づいて機器制御部６がカメラ８０等を制御してもよい。この場合、方向特定部３６による演算回数が増加するものの、音源方向Ｄ_pの精度は向上する。

本発明に係る監視システムを示す図である。 信号処理回路の詳細を示す図である。 信号分離部とＩＣＡの詳細とを示す図である。 最初の分離行列Ｗ₁(f)を求める様子を概念的に示す図である。 ｉ＋１回目の分離行列Ｗ_i+1(f)を求める様子を概念的に示す図である。

符号の説明

１ 監視システム
２ａ，２ｂ マイク
３ 信号処理回路
３０ ＦＦＴ
３１ 信号分離部
３２ ＩＦＦＴ
３３ ＩＣＡ
３４ 補正部
３５ 分離行列演算部
３６ 方向特定部
３７ 補間部
４ 雑音除去回路
５ 音認識回路
６ 機器制御部
７ 記憶装置
８０ カメラ
８１ マイク
８２ スピーカ
８３ 再生装置
９ａ，９ｂ 音源
Ｄｐ 音源方向

Claims (7)

1. 目的の環境音に応じて周囲の環境を監視する監視システムであって、
   それぞれの配置位置において観測された音を示す観測信号をそれぞれが生成する複数の観測装置と、
   周波数帯域を複数の分割帯域に分割し、各分割帯域ごとの部分分離行列を求めることによって、前記観測信号に対する分離行列を生成する分離行列演算手段と、
   前記分離行列演算手段により生成された分離行列によって前記複数の観測信号のうちの少なくとも１つから、少なくとも１の分離信号を生成する信号分離手段と、
   前記信号分離手段により生成された分離信号によって表現される音が前記目的の環境音であるか否かを認識する認識手段と、
   を備えることを特徴とする監視システム。
2. 請求項１に記載の監視システムであって、
   前記複数の観測装置の位置情報と前記複数の観測装置の特性情報とに基づいて、前記分離信号によって表現される音の音源方向を特定する方向特定手段と、
   周囲の環境を撮影により記録する少なくとも１つのカメラと、
   をさらに備え、
   前記少なくとも１つのカメラは、前記方向特定手段により特定された音源方向に応じて制御されることを特徴とする監視システム。
3. 請求項１に記載の監視システムであって、
   前記複数の観測装置の位置情報と前記複数の観測装置の特性情報とに基づいて、前記分離信号によって表現される音の音源方向を特定する方向特定手段と、
   周囲の環境を録音により記録する少なくとも１つの録音装置と、
   をさらに備え、
   前記少なくとも１つの録音装置は、前記方向特定手段により特定された音源方向に応じて制御されることを特徴とする監視システム。
4. 請求項２または３に記載の監視システムであって、
   前記特性情報は、前記分離行列演算手段により生成された分離行列であることを特徴とする監視システム。
5. 請求項２ないし４のいずれかに記載の監視システムであって、
   前記分離行列演算手段は、
   前記複数の分割帯域をそれぞれ学習帯域群または補間帯域群に分類する帯域分類手段と、
   前記方向特定手段により特定された音源方向に基づいて、前記補間帯域群における部分分離行列を演算する補間手段と、
   学習処理により、前記学習帯域群における部分分離行列を演算する学習手段と、
   を有し、
   前記分離行列演算手段は、
   前記学習手段により求めた学習帯域群における部分分離行列と、前記補間手段により求めた補間帯域群における部分分離行列とに基づいて、前記分離行列を生成することを特徴とする監視システム。
6. 請求項１ないし５のいずれかに記載の監視システムであって、
   前記認識手段による認識結果に基づいてオペレータに通報する通報手段をさらに備えることを特徴とする監視システム。
7. 請求項６に記載の監視システムであって、
   前記通報手段は、前記分離信号よって表現される音を再生することを特徴とする監視システム。

Images