JP2006339741A - 監視装置および監視方法 - Google Patents

Abstract

【課題】監視領域の環境に合わせ、撮影部と収音部とを互いに協働させることで、精度の高い監視を行う。
【解決手段】監視装置は、撮影部１０と、撮影部１０の撮影方向を制御する撮影方向制御部１１と、撮影された画像から不審箇所を検出する不審箇所検出部１２と、不審箇所の発生場所を推定する発生場所推定部１３と、撮影された画像の平均輝度を算出する平均輝度算出部１４と、収音部２０と、収音部２０の収音方向を制御する収音方向制御部２１と、周囲音から不審音を検出する不審音検出部２２と、不審音の音源方向を推定する音源方向推定部２３と、周囲音の平均音圧を算出する平均音圧算出部２４と、撮影部１０の撮影方向を照明する照明部２５と、撮影方向制御部１１および収音方向制御部２１の制御を行う判断部３０と、優先させる動作の設定を行う優先動作設定部４０と、記録部５０とを備える。
【選択図】図１

Description

本発明は、監視装置および監視方法に関する。

従来より、動画撮影が可能な撮影装置（以下、「カメラ」とも略記する）と収音装置（以下、「マイク」とも略記する）を備えた監視装置が広く知られており、実用化されている。

このような監視装置では、監視装置に備えられたカメラおよびマイクが監視領域における監視画像および周囲音を収集し、異常の有無を監視する。しかしながら、カメラおよびマイクが監視装置等に固定されて設置されている場合、監視装置が何らかの異常を検出したとしても、カメラおよびマイクは最初に設置された方向の監視画像および周囲音を収集するだけであり、例えば、監視装置において異常音が検知された場合に、異常音の発生源方向にカメラを向けその方向の監視画像を撮影するといったことはできなかった。

そこで、複数のマイクからなり指向性を持って収音を行うマイクアレイと旋回機構を有するカメラとを設け、マイクアレイによって収音された周囲音から異常音が検出された場合にはその発生源の方向を推定し、その方向にカメラを旋回させる監視装置が提案されている（例えば、特許文献１を参照）。

このような監視装置では、異常音が検出された場合にその発生方向にカメラを旋回させることで異常音の発生源付近の監視画像を撮影することができ、監視の精度を向上させることができる。
特開平１−１２９５９０号公報

しかしながら、監視を行うために実際に監視装置が設置される場所の中には、例えば交通騒音等によって監視領域における異常音の検出精度が低下するような場所等もある。そして、そのような環境下では、交通騒音等の背景音のため異常音の発生方向の推定が困難となる場合があり、特許文献１に記載された監視装置であっても、監視の精度を向上させるといった効果を得ることは難しい。

また、上述のような監視装置では、異常を検出する装置と検出結果によって駆動される装置とで役割を分担するという構成であるため、監視画像内から不審箇所が検出された場合にその不審箇所付近に指向性を向けて音声を収集するといったことは難しかった。

本発明はこのような課題に鑑みてなされたもので、撮影部で撮影された画像と収音部で収集された周囲音とのそれぞれにおいて異常の有無を監視することで、収音部によって収集された周囲音から不審音が検出された場合にはその不審音の音源方向に撮影部の撮影方向を向け、撮影部によって撮影された画像から不審箇所が検出された場合にはその不審箇所の発生場所方向に収音部の収音方向を向けるといった撮影部と収音部とを互いに協働させた監視が可能となり、精度の高い監視を行うことができる監視装置および監視方法を提供することを目的とする。

本発明の監視装置は、監視領域を撮影する撮影部と、監視領域の周囲音を収音する収音部と、撮影部の撮影方向を制御する撮影方向制御部と、収音部の収音方向を制御する収音方向制御部と、撮影部によって撮影された画像から不審箇所を検出する不審箇所検出部と、不審箇所検出部によって検出された不審箇所の監視領域内における発生場所を推定する発生場所推定部と、収音部によって収音された周囲音から不審音を検出する不審音検出部と、不審音検出部によって検出された不審音の監視領域内における音源方向を推定する音源方向推定部と、不審音検出部の検出結果にもとづく撮影方向制御部の動作と不審箇所検出部の検出結果にもとづく収音方向制御部の動作とのいずれの動作を優先させるかを選択して設定する優先動作設定部とを備え、不審音検出部において不審音が検出された場合には、撮影方向制御部は、音源方向推定部において推定された不審音の音源方向に撮影部の撮影方向を向け、不審箇所検出部において不審箇所が検出された場合には、収音方向制御部は、発生場所推定部において推定された不審箇所の発生場所方向に収音部の収音方向を向けることを特徴とする。

この構成により、撮影された画像から得られる情報と、収音された周囲音から得られる情報とのそれぞれにおいて異常の有無を監視でき、収音された周囲音から不審音が検出された場合にはその不審音の音源方向に撮影部の撮影方向を向け、撮影された画像から不審箇所が検出された場合にはその不審箇所の発生場所方向に収音部の収音方向を向けることで、監視の精度を向上させることが可能となる。

また、優先動作設定部は、監視領域の明るさが所定の明るさ以下である場合には不審音検出部において不審音が検出された場合の動作を優先させる設定をする構成としてもよい。この構成によれば、例えば日没等によって監視領域が暗くなり撮影部による監視の精度が落ちてしまうような場合に、不審音が検出された場合の動作を優先させることで、監視の精度をより向上させることが可能となる。

また、優先動作設定部は、監視領域の背景音が所定の大きさ以上である場合には不審箇所検出部において不審箇所が検出された場合の動作を優先させる設定をする構成としてもよい。この構成によれば、例えば交通状況等によって監視領域における交通騒音等の背景音が大きくなり収音部による監視の精度が落ちてしまうような場合に、監視画像から不審箇所が検出された場合の動作を優先させることで、監視の精度をより向上させることが可能となる。

また、優先動作設定部は、監視領域の明るさが所定の明るさ以下である場合には不審音検出部において不審音が検出された場合の動作を優先させる設定をし、監視領域の背景音が所定の大きさ以上である場合には不審箇所検出部において不審箇所が検出された場合の動作を優先させる設定をする構成としてもよい。この構成によれば、監視領域が暗くなることによって撮影された画像による監視の精度が低下した場合には収音による監視を優先し、監視領域の背景音が大きくなること等によって収音による監視の精度が低下したときには撮影された画像による監視を優先させることで、監視の精度をさらに向上させることが可能となる。

また、撮影部の撮影方向に照明光を照射する照明部を備え、照明部は、監視領域の明るさが所定の明るさ以下であってかつ不審音検出部における不審音の検出によって撮影方向制御部が不審音の音源方向に撮影部の撮影方向を向けたときに照明光の照射を開始する構成としてもよい。この構成によれば、監視領域が暗くかつ不審音が検出されたときに、不審音の音源方向に撮影部の撮影方向が向けられるとともに不審音の音源方向が照明光によって照射されるので、例えば監視領域内に進入してきた不審者を威嚇する等の効果を得ることができる。

また、撮影方向制御部は、不審音検出部における不審音の検出によって撮影部の撮影方向が不審音の音源方向に向けられてから所定の時間撮影された画像から不審箇所が検出されない場合には、撮影部を元の撮影方向に戻す構成としてもよい。この構成によれば、不審音の音源方向において撮影された画像から不審箇所が検出されない場合に撮影部を元の撮影方向に戻すことで、不審音として検出されたものが監視上の問題ではないような場合に、その音源方向を継続して撮影するといったことを避けることができる。

また、収音方向制御部は、不審箇所検出部における不審箇所の検出によって収音部の収音方向が不審箇所の発生場所方向に向けられてから所定の時間収音された周囲音から不審音が検出されない場合には、収音部を元の収音方向に戻す構成としてもよい。この構成によれば、不審箇所の発生場所方向において収音された周囲音から不審音が検出されない場合に収音部を元の収音方向に戻すことで、不審箇所として検出されたものが監視上の問題ではないような場合に、その発生場所方向を継続して収音するといったことを避けることができる。

また、収音部は複数のマイクロホンからなるマイクアレイによって構成され、収音方向制御部は、複数のマイクロホンのゲインをそれぞれ制御することでマイクアレイの指向性の向きを可変とする構成としてもよい。この構成によれば、複数のマイクロホンのゲインをそれぞれ制御するだけでマイクアレイの指向性の向きを制御することができるので、モーター等の駆動手段を用いることなく容易に収音部の収音方向を制御することができるようになり、指向性を高めた収音方向の制御が可能となる。

また、本発明の監視方法は、監視領域を撮影するステップと、監視領域の周囲音を収音するステップと、撮影方向を制御するステップと、収音方向を制御するステップと、撮影するステップにおいて撮影された画像から不審箇所を検出するステップと、不審箇所を検出するステップにおいて検出された不審箇所の監視領域内における発生場所を推定するステップと、収音するステップにおいて収音された周囲音から不審音を検出するステップと、不審音を検出するステップにおいて検出された不審音の監視領域内における音源方向を推定するステップと、不審音を検出するステップにおいて不審音が検出された場合に、音源方向を推定するステップにおいて推定された不審音の音源方向に撮影方向を向けるステップと、不審箇所を検出するステップにおいて不審箇所が検出された場合に、発生場所を推定するステップにおいて推定された不審箇所の発生場所方向に収音方向を向けるステップとを備えたことを特徴とする。

この方法によれば、撮影された画像から得られる情報と、収音された周囲音から得られる情報とのそれぞれにおいて異常の有無を監視し、収音された周囲音から不審音が検出された場合にはその不審音の音源方向に向けて撮影を行い、撮影された画像から不審箇所が検出された場合にはその不審箇所の発生場所方向に向けて収音を行うことで、監視の精度を向上させることが可能となる。

本発明によれば、撮影部で撮影された画像と収音部で収集された周囲音とのそれぞれにおいて異常の有無を監視することができ、収音部によって収集された周囲音から不審音が検出された場合にはその不審音の音源方向に撮影部の撮影方向を向け、撮影部によって撮影された画像から不審箇所が検出された場合にはその不審箇所の発生場所方向に収音部の収音方向を向けるといった撮影部と収音部とを互いに協働させた監視が可能となり、精度の高い監視を行うことができる監視装置および監視方法を提供できる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１における監視装置の構成を示すブロック図である。

この監視装置は、監視領域の動画像撮影を行う撮影部１０と、撮影部１０の撮影方向を制御する撮影方向制御部１１と、撮影部１０によって撮影された画像から不審箇所を検出する不審箇所検出部１２と、不審箇所検出部１２において不審箇所が検出された場合にその発生場所を推定する発生場所推定部１３と、撮影部１０によって撮影された画像の平均輝度を算出する平均輝度算出部１４と、監視領域における音声等の周囲音を指向性を持って収音する収音部２０と、収音部２０の収音方向を制御する収音方向制御部２１と、収音部２０によって収音された周囲音から不審音を検出する不審音検出部２２と、不審音検出部２２において不審音が検出された場合にその音源方向を推定する音源方向推定部２３と、収音部２０よって収音された周囲音の音圧（音声信号の振幅）の平均音圧を算出する平均音圧算出部２４と、照明光を発する照明部２５と、撮影方向制御部１１および収音方向制御部２１の制御を行う判断部３０と、撮影方向制御部１１と収音方向制御部２１とのいずれの動作を優先させるかの設定を行う優先動作設定部４０と、収集された情報を記録する記録部５０とを備えている。

撮影部１０は、ＣＣＤ等の公知の撮影素子を備え監視用として一般に用いられている動画像撮影が可能なカメラからなり、撮影した画像を電気信号に変換して画像信号として出力する。

撮影方向制御部１１は、撮影部１０を旋回させることができる駆動部（図示せず）を備え、撮影部１０の撮影方向の制御を行う。

不審箇所検出部１２は、撮影部１０によって撮影された画像から不審箇所を検出する。このとき不審箇所検出部１２では、例えば、撮影された画像信号を１フレーム期間にわたって蓄積することができるいわゆるフレームメモリ等（図示せず）に蓄積して現フレームの画像信号と１フレーム前の画像信号との差を求め、動画を検出するために設定されたしきい値とその差とを比較することで動画部分を検出するとともにその動画部分が所定の面積以上の一つのかたまりとして発生しているかどうかを判断し、その動画部分が所定の面積以上の一つのかたまりであればその領域を不審箇所として検出するといった、動き検出として一般的に用いられている方法を用いて、撮影された画像から不審箇所を検出する。

発生場所推定部１３は、不審箇所検出部１２において不審箇所が検出された場合に、検出された不審箇所の発生場所が収音部２０から見てどの方向になるのか推定する。このとき、発生場所推定部１３では、不審箇所の発生場所を、撮影部１０の撮影方向と撮影された画像内における不審箇所の位置とから求め、さらに、収音部２０と撮影部１０との配置位置の差にもとづく補正を加えて収音部２０から見たときの不審箇所の発生場所の方向を推定する。

平均輝度算出部１４は、各画素の輝度値を１フレームにわたって加算平均する等の一般に知られた平均輝度の算出方法を用い、撮影部１０で撮影された画像のフレーム毎の平均輝度を算出する。このとき、算出された各フレームの平均輝度を、さらに所定の時間、例えば１分間の平均値として算出するようにしてもかまわない。

収音部２０は、単一指向性のマイクロホンを複数備えそれらをＬ字型に配列することで音声の収音を３次元の指向性を持って行うことが可能なマイクアレイからなり、収音した音声を電気信号に変換して音声信号として出力する。また、複数のマイクロホンのそれぞれにおいてゲインの調整が可能であり、それぞれのゲインを調整することで、指向性の向きを変えて収音を行うことが可能である。

なお、収音部２０は、マイクロホンの配置位置をＬ字型にしたマイクアレイに限定するものではなく、例えば十字型やそれ以外の配置位置であってもよく、あるいはステレオマイク等であってもかまわない。

収音方向制御部２１は、収音部２０に備えられた複数のマイクロホンのゲインをそれぞれ調整して、収音部２０の収音方向の制御を行う。

不審音検出部２２は、収音部２０によって収音された周囲音から不審音を検出する。図２は、本発明の実施の形態１における監視装置の収音部２０によって収音された周囲音から不審音を検出する方法を説明するための図である。図２に示すように、不審音検出部２２では、収音された音圧に関し短時間平均と長時間平均とをそれぞれ求める。そして、例えば０．１秒間程度の短時間平均された音圧と１秒間程度の長時間平均された音圧との差を求め、不審音を検出するために設定されたしきい値とその差とを比較し、その差がそのしきい値以上であれば瞬間的に大きな音が発生したと判断して、不審音が発生したと判断する。不審音検出部２２では、このようにして収音された周囲音から不審音を検出する。なお、本発明における実施の形態１では、収音された音圧の０．１秒間にわたる平均値を短時間平均とし、１秒間にわたる平均値を長時間平均としているが、これらの時間は、監視装置の設置環境や回路構成等に応じて最適に設定することが望ましい。

音源方向推定部２３は、不審音検出部２２において不審音が検出された場合、検出された不審音の音源が撮影部１０から見てどの方向になるのか推定する。このとき、音源方向推定部２３では、音源の方向を算出するための方法として一般に知られた方法、例えば、ＭＵＳＩＣ（ＭＵｌｔｉｐｌｅ ＳＩｇｎａｌ Ｃｌａｓｉｆｉｃａｔｉｏｎ）法として一般に知られている方法等を用い、収音部２０に備えられた複数のマイクロホンのそれぞれの配置位置とそれぞれのマイクロホンから得られる音声信号の音圧および位相差とから音源方向を算出することによって収音部２０から見たときの不審音の音源方向を求め、さらに、収音部２０と撮影部１０との配置位置の差にもとづく補正を加えて撮影部１０から見たときの不審音の音源方向を推定する。

平均音圧算出部２４は、収音部２０によって収音された音声信号から監視領域における背景音の大きさを算出する。このとき、平均音圧算出部２４では、音声信号の音圧を例えば１分程度の時間で平均化し、その平均音圧を監視領域における背景音の大きさとして出力する。このように、１分程度の時間で音声信号を平均化することで、散発的に発生する音とは異なる、工事による騒音や交通騒音等の定常的に発生している背景音の大きさを算出することができる。

照明部２５は、撮影部１０を構成するカメラに装着され、撮影方向制御部１１による撮影部１０の旋回動作とともにその照明方向も旋回する。そして、監視領域が暗くなり撮影部１０の撮影に十分な光量が得られなくなったときに、撮影部１０の撮影方向に向けて照明光を照射する。

判断部３０は、発生場所推定部１３からの出力信号を受けたときは、不審箇所検出部１２において不審箇所が検出されたと判断し、発生場所推定部１３から送信されてくる不審箇所の発生場所に関する推定結果にもとづき、収音方向制御部２１に対し収音部２０を発生場所推定部１３の示す方向に向けさせるための指示を出す。また、判断部３０は、音源方向推定部２３からの出力信号を受けたときは、不審音検出部２２において不審音が検出されたと判断し、音源方向推定部２３から送信されてくる不審音の音源方向に関する推定結果にもとづき、撮影方向制御部１１に対し撮影部１０を音源方向推定部２３の示す方向に向けさせるための指示を出す。

また、判断部３０では、撮影方向制御部１１と収音方向制御部２１とのいずれへの指示を優先して行うかが、優先動作設定部４０からの出力にもとづいて設定される。不審箇所検出部１２における不審箇所の検出と不審音検出部２２における不審音の検出とが同時に発生したとき、例えば、収音方向制御部２１への指示を優先するように設定されている場合には、発生場所推定部１３での推定結果にもとづく収音方向制御部２１への指示が行われ、撮影方向制御部１１への指示を優先するように設定されている場合には、音源方向推定部２３での推定結果にもとづく撮影方向制御部１１への指示が行われる。

優先動作設定部４０は、平均音圧算出部２４によって算出された周囲音の平均音圧を、周囲音の背景音レベルを判定するために設定されたしきい値（以下、「背景音判定用しきい値」と記す）と比較する。また、平均輝度算出部１４によって算出された監視画像の平均輝度を、監視領域の明るさを判定するために設定されたしきい値（以下、「明るさ判定用しきい値」と記す）と比較する。

そして、平均音圧算出部２４によって算出された平均音圧が背景音判定用しきい値以上の場合には、優先動作設定部４０は、発生場所推定部１３の推定結果にもとづく収音部２０の収音方向の制御を優先する設定を判断部３０において行う。これは、監視領域における背景音が大きい場合に不審音検出部２２および音源方向推定部２３における不審音に関する検出精度が低下していることが予想されるため、撮影部１０における監視を優先した監視動作にするためである。

また、平均輝度算出部１４によって算出された平均輝度が明るさ判定用しきい値以下の場合には、優先動作設定部４０は、音源方向推定部２３の推定結果にもとづく撮影部１０の撮影方向の制御を優先する設定を判断部３０において行う。これは、監視領域において監視画像の撮影に十分な明るさが得られない場合に不審箇所検出部１２および発生場所推定部１３における不審箇所に関する検出精度が低下していることが予想されるため、収音部２０における監視を優先した監視動作にするためである。

また、平均輝度算出部１４によって算出された平均輝度が明るさ判定用しきい値以下であって、かつ撮影方向制御部１１によって不審音の音源方向に撮影部１０の撮影方向が向けられた場合には、判断部３０は、照明部２５に対して発光を指示する。すなわち、照明部２５は、監視領域が暗くなって撮影部１０の撮影に十分な光量が得られなくなり、かつ不審音が検出されてその不審音の音源方向を撮影部１０が撮影する場合に、撮影部１０の撮影方向に向けて照明光を照射する。これにより、例えば、常時照明を行う場合と比較して消費電力を低減できるといった効果が得られる。また、そのような効果に加え、監視領域内に進入してきた不審者等によって不審音が発生した場合に、その不審音の検出にともなって照明光の発光が開始されるので、その不審者等に対して心理的な抑止効果を与えることができるといった効果を得ることもできる。

なお、算出された平均音圧が背景音判定用しきい値以上であってかつ算出された平均輝度が明るさ判定用しきい値以下の場合、すなわち監視領域において背景音が大きくかつ暗い場合にどちらの動作を優先させるのかをあらかじめ判断部３０に設定しておく構成としてもよい。

記録部５０は、一般に知られている磁気や光を利用した記録媒体または半導体メモリによる記録媒体等を備え、撮影部１０および収音部２０において収集された画像信号および音声信号をその記録媒体に記録する。また、不審箇所検出部１２において不審箇所が検出された場合や不審音検出部２２において不審音が検出された場合には、不審箇所または不審音が検出されたことを示す信号やそれらが検出された時刻等を付加して記録する。

次に、監視装置の動作を示すフローチャートについて説明する。図３は、本発明の実施の形態１の監視装置における動作を示すフローチャートである。

まず、監視装置への電源投入または監視開始の指示等によって、監視装置の監視領域における監視が開始される（Ｓ１０）。それにより、撮影部１０は監視領域の画像の撮影を開始し（Ｓ１１）、収音部２０は監視領域の周囲音の収音を開始する（Ｓ３１）。不審箇所検出部１２では撮影部１０によって撮影された画像に不審な箇所が含まれていないか調べ（Ｓ１２）、不審な箇所が検出された場合にはその不審な箇所の発生場所が収音部２０から見てどの方向にあたるのか推定する（Ｓ１３）。また、不審音検出部２２では収音部２０によって収音された音に不審な音が含まれていないか調べ（Ｓ３２）、不審な音が検出された場合にはその不審な音の音源方向が撮影部１０から見てどの方向にあたるのか推定する（Ｓ３３）。

また、ステップＳ１１において撮影が開始された監視領域の画像に関し、その平均輝度が平均輝度算出部１４において算出され（Ｓ２１）、算出された平均輝度は優先動作設定部４０において明るさ判定用しきい値と比較される（Ｓ２２）。また、ステップＳ３１において収音が開始された監視領域の周囲音に関し、その平均音圧が平均音圧算出部２４において算出され（Ｓ４１）、算出された平均音圧は優先動作設定部４０において背景音判定用しきい値と比較される（Ｓ４２）。そしてステップＳ２２において、算出された平均輝度が明るさ判定用しきい値以下と判定された場合、優先動作設定部４０では音源方向推定部２３の推定結果にもとづく撮影部１０の撮影方向の制御を優先する設定を判断部３０において行う。また、ステップＳ４２において、算出された平均音圧が背景音判定用しきい値以上と判定された場合には、発生場所推定部１３の推定結果にもとづく収音部２０の収音方向の制御を優先する設定を判断部３０において行う（Ｓ５０）。

そして、ステップＳ１３における処理とステップＳ３３における処理とが同時に発生したか否かの判断が判断部３０でなされ、同時に発生したと判断された場合にはステップＳ５０において設定された方の推定結果が採用され、同時ではない場合にはステップＳ１３またはステップＳ３３のいずれかの処理が発生した方の推定結果が採用される（Ｓ６０）。そして、ステップＳ６０において採用された方の推定結果にもとづく動作がなされるように制御対象が判断される（Ｓ７０）。

ステップＳ７０において、収音部２０が制御対象であると判断された場合には、収音方向制御部２１は、ステップＳ１３において発生場所推定部１３が推定した方向に収音部２０の収音方向を向ける（Ｓ８１）。このとき、不審音検出部２２では、ステップＳ３２と同様に不審音の検出がなされ（Ｓ８２）、不審音が一定時間（例えば、５分間）検出されない場合には（Ｓ８３）、収音方向制御部２１は収音部２０の収音方向を元の方向に戻す（Ｓ８４）。以降、監視の終了が指示されるまでステップＳ１０以降の処理が繰り返される（Ｓ１００）。また、ステップＳ８２において不審音が検出された場合には、その収音方向における収音が所定時間（例えば、５分間）継続され（Ｓ８５）、引き続きステップＳ８２に戻って不審音の検出がなされる。

ステップＳ７０において、撮影部１０が制御対象であると判断された場合には、撮影方向制御部１１は、ステップＳ３３において音源方向推定部２３が推定した方向に撮影部１０の撮影方向を向ける（Ｓ９０）。また、ステップＳ２２において、算出された平均輝度が明るさ判定用しきい値以下と判定されていれば、照明部２５は照明光の発光を開始する（Ｓ９１）。不審箇所検出部１２では、ステップＳ１２と同様に撮影部１０によって撮影された画像から不審箇所の検出がなされ（Ｓ９２）、不審箇所が一定時間（例えば、５分間）検出されない場合には（Ｓ９３）、撮影方向制御部１１は撮影部１０の撮影方向を元の方向に戻す（Ｓ９４）。以降、ステップＳ１００において監視の終了が指示されるまでステップＳ１０以降の処理が繰り返される。また、ステップＳ９２において不審箇所が検出された場合には、その撮影方向における撮影が所定時間（例えば、５分間）継続され（Ｓ９５）、引き続きステップＳ９２に戻って不審箇所の検出がなされる。

以上述べたように、本発明の実施の形態１によれば、撮影部で撮影された画像と収音部で収集された周囲音とのそれぞれにおいて異常の有無を監視することができ、収音部によって収集された周囲音から不審音が検出された場合にはその不審音の音源方向に撮影部の撮影方向を向け、撮影部によって撮影された画像から不審箇所が検出された場合にはその不審箇所の発生場所方向に収音部の収音方向を向けるといった撮影部と収音部とを互いに協働させた精度の高い監視が可能となる。さらに、背景音等によって収音による監視の精度が低下するような場合には画像による監視を優先し、夜間時等の撮影に十分な明るさが得られずに画像による監視の精度が低下するような場合には音による監視を優先するといった、監視装置周囲の環境に合わせた監視が可能となるので、より精度の高い監視を行うことが可能となる。

なお、本発明の実施の形態１においては、不審箇所検出部１２、発生場所推定部１３、平均輝度算出部１４、不審音検出部２２、音源方向推定部２３、平均音圧算出部２４、判断部３０、優先動作設定部４０の各機能は、それぞれの機能がソフトウェアで実現可能に記述され、そのプログラムを演算装置にロードしたコンピュータを用いて実現されているが、この構成に限定するものではなく、それぞれがハードウェアで実現される構成であってもよい。

また、本発明の実施の形態１においては、マイクアレイからなる収音部２０において収音された周囲音から不審音を検出するとともにその音声信号を記録部５０に記録する構成を説明した。しかし、本発明を何らこの構成に限定するものではなく、例えば、記録部５０に記録するための周囲音を収音する収音部を別に設ける構成としてもよい。図４は、本発明の実施の形態１における監視装置の構成の他の例を示すブロック図である。図４に示す監視装置が図１に示した監視装置と異なる点は、撮影部１０を構成するカメラに装着して配置され、撮影方向制御部１１による撮影部１０の旋回動作とともにその収音方向も旋回し、常に撮影部１０の撮影方向における音声を収音することができる単一指向性のマイクロホンからなる収音部２０ａを備えた構成とした点である。それ以外については図１に示した監視装置と同一の構成および動作であるためここでの説明は省略する。図４に示すように、収音部２０ａをさらに設ける構成とすることで、収音部２０において収音された周囲音から不審音の音源方向を推定するとともに、その音源方向に撮影部１０の撮影方向を向け、その音源方向における音声を単一指向性のマイクロホンによって収音し、それを記録部５０に記録させることが可能となる。こうすることで、監視の精度をさらに向上させることも可能になる。

なお、本実施の形態では、撮影部１０を構成するカメラに照明部２５を装着させ、照明部２５からの照明光の照射方向が常に撮影部１０の撮影方向に向けられうようにした構成を説明したが、例えば、広範囲に照明光を照射できる照明部を監視装置等に固定して配置し、撮影部１０の撮影方向にかかわらず監視領域を広く照明するような構成にしてもよい。また、本実施の形態では、監視領域の明るさが所定の明るさ以下になり、かつ不審音が検出されたときに、撮影部１０の旋回動作とともに照明部２５が発光を開始する構成を説明したが、例えば、監視領域の明るさが所定の明るさ以下になった時点で照明光の発光を開始する構成としてもかまわない。あるいは、撮影部１０の撮影に十分な光量が例えば街灯等によって常に得られるような場所に監視装置が設置される場合、この照明部２５を省いた構成とすることもできる。

なお、本発明の実施の形態１においては、背景音判定用しきい値および明るさ判定用しきい値の値を、撮影部におけるカメラの性能、収音部におけるマイクロホンの性能、監視装置のデザイン、監視装置の設置場所等を考慮し、最適な値に設定することが望ましい。

なお、本発明の実施の形態１においては、判断部３０において、発生場所推定部１３からの出力と音源方向推定部２３からの出力とが「同時」かどうかが判断される構成を説明したが、これは実質的な意味での「同時」であり、本発明の目的とする効果を得られる範囲で多少のずれは許容される。

本発明に係る監視装置および監視方法によれば、撮影部で撮影された画像と収音部で収集された周囲音とのそれぞれにおいて異常の有無を監視することができ、収音部によって収集された周囲音から不審音が検出された場合にはその不審音の音源方向に撮影部の撮影方向を向け、撮影部によって撮影された画像から不審箇所が検出された場合にはその不審箇所の発生場所方向に収音部の収音方向を向けるといった、撮影部と収音部とを互いに協働させた精度の高い監視を行うことが可能となるので、監視装置および監視方法として有用である。

本発明の実施の形態１における監視装置の構成を示すブロック図 同監視装置の収音部によって収音された周囲音から不審音を検出する方法を説明するための図 同監視装置における動作を示すフローチャート 同監視装置の構成の他の例を示すブロック図

符号の説明

１０ 撮影部
１１ 撮影方向制御部
１２ 不審箇所検出部
１３ 発生場所推定部
１４ 平均輝度算出部
２０，２０ａ 収音部
２１ 収音方向制御部
２２ 不審音検出部
２３ 音源方向推定部
２４ 平均音圧算出部
２５ 照明部
３０ 判断部
４０ 優先動作設定部
５０ 記録部

Claims (9)

1. 監視領域を撮影する撮影部と、
   前記監視領域の周囲音を収音する収音部と、
   前記撮影部の撮影方向を制御する撮影方向制御部と、
   前記収音部の収音方向を制御する収音方向制御部と、
   前記撮影部によって撮影された画像から不審箇所を検出する不審箇所検出部と、
   前記不審箇所検出部によって検出された不審箇所の前記監視領域内における発生場所を推定する発生場所推定部と、
   前記収音部によって収音された周囲音から不審音を検出する不審音検出部と、
   前記不審音検出部によって検出された不審音の前記監視領域内における音源方向を推定する音源方向推定部と、
   前記不審音検出部の検出結果にもとづく前記撮影方向制御部の動作と、前記不審箇所検出部の検出結果にもとづく前記収音方向制御部の動作とのいずれの動作を優先させるかを選択して設定する優先動作設定部と
   を備え、
   前記不審音検出部において不審音が検出された場合には、前記撮影方向制御部は、前記音源方向推定部において推定された前記不審音の音源方向に前記撮影部の撮影方向を向け、
   前記不審箇所検出部において不審箇所が検出された場合には、前記収音方向制御部は、前記発生場所推定部において推定された前記不審箇所の発生場所方向に前記収音部の収音方向を向ける
   ことを特徴とする監視装置。
2. 前記優先動作設定部は、前記監視領域の明るさが所定の明るさ以下である場合には前記不審音検出部において不審音が検出された場合の動作を優先させる設定をする
   ことを特徴とする請求項１記載の監視装置。
3. 前記優先動作設定部は、前記監視領域の背景音が所定の大きさ以上である場合には前記不審箇所検出部において不審箇所が検出された場合の動作を優先させる設定をする
   ことを特徴とする請求項１記載の監視装置。
4. 前記優先動作設定部は、前記監視領域の明るさが所定の明るさ以下である場合には前記不審音検出部において不審音が検出された場合の動作を優先させる設定をし、前記監視領域の背景音が所定の大きさ以上である場合には前記不審箇所検出部において不審箇所が検出された場合の動作を優先させる設定をする
   ことを特徴とする請求項１記載の監視装置。
5. 前記撮影部の撮影方向に照明光を照射する照明部を備え、
   前記照明部は、前記監視領域の明るさが所定の明るさ以下であってかつ前記不審音検出部における不審音の検出によって前記撮影方向制御部が前記不審音の音源方向に前記撮影部の撮影方向を向けたときに照明光の照射を開始する
   ことを特徴とする請求項４記載の監視装置。
6. 前記撮影方向制御部は、前記不審音検出部における不審音の検出によって前記撮影部の撮影方向が前記不審音の音源方向に向けられてから所定の時間撮影された画像から不審箇所が検出されない場合には、前記撮影部を元の撮影方向に戻す
   ことを特徴とする請求項１記載の監視装置。
7. 前記収音方向制御部は、前記不審箇所検出部における不審箇所の検出によって前記収音部の収音方向が前記不審箇所の発生場所方向に向けられてから所定の時間収音された周囲音から不審音が検出されない場合には、前記収音部を元の収音方向に戻す
   ことを特徴とする請求項１記載の監視装置。
8. 前記収音部は複数のマイクロホンからなるマイクアレイによって構成され、前記収音方向制御部は、前記複数のマイクロホンのゲインをそれぞれ制御することで前記マイクアレイの指向性の向きを可変とする
   ことを特徴とする請求項１記載の監視装置。
9. 監視領域を撮影するステップと、
   前記監視領域の周囲音を収音するステップと、
   撮影方向を制御するステップと、
   収音方向を制御するステップと、
   前記撮影するステップにおいて撮影された画像から不審箇所を検出するステップと、
   前記不審箇所を検出するステップにおいて検出された不審箇所の前記監視領域内における発生場所を推定するステップと、
   前記収音するステップにおいて収音された周囲音から不審音を検出するステップと、
   前記不審音を検出するステップにおいて検出された不審音の前記監視領域内における音源方向を推定するステップと、
   前記不審音を検出するステップにおいて不審音が検出された場合に、前記音源方向を推定するステップにおいて推定された前記不審音の音源方向に撮影方向を向けるステップと、
   前記不審箇所を検出するステップにおいて不審箇所が検出された場合に、前記発生場所を推定するステップにおいて推定された前記不審箇所の発生場所方向に収音方向を向けるステップと
   を備えた監視方法。

Images