JP2010122746A - 画像監視装置 - Google Patents

Abstract

【課題】監視領域内に検出対象物体と類似する物体が存在する場合でも、その類似物体を検出対象物体として誤検出することを防止可能な画像監視装置を提供する。
【解決手段】画像監視装置１は、監視領域を撮影した監視画像を取得する画像入力部２と、検出対象物が存在しない状況において監視領域を撮影した背景画像を記憶する記憶部３と、監視画像及び背景画像の所定領域における検出対象物らしさの度合いを算出する識別器（３００、５００）を有し、その識別器により、画像入力部２により取得された監視画像の所定領域についてのその度合いを信頼度として算出し、かつ、その識別器により、監視画像の所定領域に対応する背景画像の所定領域についてのその度合いを類似度として算出する識別部５２と、信頼度と類似度との相対関係により、監視領域内に検出対象物が存在するか否かを判定する判定部５３とを有する。
【選択図】図１

Description

本発明は、監視領域内に侵入した物体を、監視領域を撮影した画像から検出する画像監視装置に関する。

従来より、対象物体が存在する画像と対象物体が存在しない画像とを用いて事前学習させた識別器に画像を入力し、その識別器により画像中の対象物体を検出する物体検出装置が提案されている。

例えば、特許文献１には、ブースティングにより集団学習された複数の弱判別器とこれらの出力を重み付き多数決する加算器とからなる判別器を有する対象物体検出装置が開示されている。
また、特許文献２には、複数の識別器と識別結果統合部とを有する統合識別器を有する被写体識別装置が開示されている。そして特許文献２には、各識別器が、所定の被写体の画像、もしくは所定の被写体の画像とその被写体以外の画像の双方に基づく学習データを学習することにより判別を行う学習判別型の識別器であることが記載されている。
さらに、特許文献３には、人物追跡装置が開示されている。その人物追跡装置は、パーティクルフィルタを用いて人物の状態遷移を推定し、時刻tにおける人物の状態を示すN個の仮説を生成する。そして人物追跡装置は、複数の識別器のうち、生成された仮説に適用される識別器を選択するとともに、その識別器の識別結果に基づいてN個の仮説を統合し、統合後の仮説を用いて人物を追跡する。また特許文献３には、各識別器が、仮説の評価にHaar-like特徴を用いているカスケード型AdaBoostベース識別器であることが記載されている。

特開２００５−１５７６７９号公報 特開２００６−１８７０７号公報 特開２００８−２６９７４号公報

上述したような物体検出装置では、識別器に検出対象となる物体を事前学習させている。そのため、識別器を学習する時点において、物体検出装置が特定の場所に設置されることが想定されていない場合、物体検出装置の設置場所によっては、その事前学習による学習結果が、設置場所に適合したものとならないおそれがあった。例えば、学習に使用された画像に含まれた検出対象物体（例えば、人）と類似した物体（例えば、マネキンまたはハンガーに掛けられた服）が監視領域内に存在すると、物体検出装置は、その監視領域を撮影した監視画像に検出対象物体が存在すると誤判定してしまうおそれがある。

そこで、本発明の目的は、監視領域内に検出対象物体と類似する物体が存在する場合でも、その類似物体を検出対象物体として誤検出することを防止可能な画像監視装置を提供することにある。

かかる課題を解決するための本発明は、特定の監視領域を撮影した画像から検出対象物を検出する画像監視装置を提供する。係る画像監視装置は、監視領域を撮影した監視画像を取得する画像入力部と、監視領域に検出対象物が存在しない状況において監視領域を撮影した画像である背景画像を記憶する記憶部と、監視画像及び背景画像の所定領域における検出対象物らしさの度合いを算出する識別器を有し、その識別器により、画像入力部により取得された監視画像の所定領域についてのその度合いを信頼度として算出し、かつ、その識別器により、監視画像の所定領域に対応する背景画像の所定領域についてのその度合いを類似度として算出する識別部と、信頼度と類似度との相対関係により、監視領域内に検出対象物が存在するか否かを判定する判定部とを有する。

また、本発明に係る画像監視装置において、判定部は、信頼度から類似度を引いた差が所定の閾値よりも大きいとき、監視領域内に検出対象物が存在すると判定することが好ましい。

さらに、本発明に係る画像監視装置において、識別部が有する識別器は、複数の識別器が直列に接続されたカスケード型識別器であり、直列に接続された複数の識別器のそれぞれは、所定の領域に検出対象物が存在するか否かの識別結果を出力するとともに、カスケード型識別器は、何れかの段の識別器が検出対象物が存在しないとの識別結果を出力するまで、次の段の識別器が識別結果を出力し、かつ信頼度及び類似度は、カスケード型識別器において、所定の領域に検出対象物が存在するとの識別結果を出力した最後の識別器の段数であることが好ましい。

さらに、本発明に係る画像監視装置において、識別部が有する識別器は、複数の識別器が並列に接続された並列型識別器であり、並列に接続された複数の識別器のそれぞれは、所定の領域に検出対象物が存在するか否かの識別結果を出力するとともに、並列型識別器は、並列に接続された複数の識別器のうち、検出対象物が存在するとの識別結果を出力した識別器の数を信頼度及び類似度とすることが好ましい。

さらに、本発明に係る画像監視装置において、識別部が有する識別器は、所定の領域から抽出された検出対象物の特徴情報と、記憶部に記憶された検出対象物の特徴情報との一致度を入力することにより、信頼度及び類似度を算出することが好ましい。

また、本発明に係る画像監視装置は、監視画像と背景画像との差分処理を行って、監視画像と背景画像間で輝度差のある変化領域を抽出する変化領域抽出部をさらに有し、識別部は、変化領域を所定の領域として、信頼度及び類似度を算出することが好ましい。

本発明に係る画像監視装置は、監視領域内に検出対象物体と類似する物体が存在する場合でも、その類似物体を検出対象物体として誤検出することを防止することができるという効果を奏する。

以下、本発明の一実施形態である画像監視装置について図を参照しつつ説明する。
この画像監視装置は、検出対象物体について事前学習された識別器に監視領域を撮影した監視画像を入力することにより、検出対象物体を検出するものである。特に、この画像監視装置は、監視領域内に検出対象となる物体が存在しないことが分かっているときに監視領域を撮影した画像を背景画像として記憶しておく。そして画像監視装置は、背景画像を識別器に入力することにより得られる検出対象との紛らわしさの度合いである類似度を算出する。そして、監視画像を識別器に入力することにより、検出対象物体の存在を判定する際に、背景画像における類似度が高い領域に対応する監視画像中の領域については、検出対象物体を検出し難くする。これにより、画像監視装置は、監視領域内に存在する、検出対象物体と紛らわしい物体を検出対象物体として誤って検出することを防止する。なお、本実施形態では、画像監視装置は監視領域内に侵入した侵入者を検出対象物体として検出する。しかし、本発明における検出対象物体は人に限られず、予め監視領域に侵入することが想定され、検出対象として識別器に事前学習させることが可能な物体であればよい。

図１は、本発明の一実施形態である画像監視装置１の概略構成を示す図である。図１に示すように、画像監視装置１は、画像入力部２と、記憶部３と、出力部４と、信号処理部５を有する。

画像入力部２は、CCDなど、可視光または近赤外光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。また画像入力部２は、一定の時間間隔（例えば１／５秒）ごとに撮影を行う。そして画像入力部２は、監視領域を撮影した監視画像を、例えば、横340画素×縦240画素を持ち、各画素の輝度が256階調で表される濃淡画像として生成する。なお、画像入力部２は、監視領域を一定以上の照度に保つために、複数の赤外LEDなど、監視領域を照明する照明光源を有していてもよい。
なお、監視領域を撮影するカメラは画像監視装置１と別個に設けられてもよい。この場合、そのカメラは画像監視装置１と通信ネットワークを介して接続され、画像入力部２は、カメラと画像監視装置１とを接続する通信ネットワークに対する通信インターフェース及びその制御回路とすることができる。
画像入力部２で取得された監視画像は、信号処理部５へ送られる。

記憶部３は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（HDD）などの記憶装置を有する。そして記憶部３は、画像監視装置１で使用される各種のプログラム及びデータを記憶する。また記憶部３は、例えば、画像監視装置１が起動したときなどに画像入力部２から取得した、侵入者の写っていない監視領域の画像を背景画像として記憶する。

出力部４は、スピーカまたはLEDなどの発光デバイスを有する。そして出力部４は、信号処理部５により監視領域内への侵入者が検出されると、信号処理部５からの警報信号に従って音声を発したり、発光または点滅することによって警報を発する。
また出力部４は、構内LANまたは公衆回線網などの通信ネットワークに接続する通信インターフェース及びその制御回路を有していてもよい。そして出力部４は、信号処理部５により監視領域内への侵入者が検出されたことを示す異常検出信号または侵入者が写っている監視画像を信号処理部５から受け取って、その異常検出信号または監視画像を画像監視装置１と通信ネットワークを介して接続された警備装置または監視センタ装置へ出力してもよい。

信号処理部５は、組み込み型のマイクロプロセッサユニットとその周辺回路を有する。そして信号処理部５は、画像監視装置１全体を制御する。また信号処理部５は、画像入力部２から受け取った監視画像及び記憶部３に記憶された背景画像に基づいて、監視領域内の侵入者を検出する。そのために、信号処理部５は、変化領域抽出部５１と、識別部５２と、判定部５３と、背景画像更新部５４を有する。信号処理部５が有するこれらの各部は、例えば、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される。

変化領域抽出部５１は、最新の監視画像において侵入者が写っている可能性のある領域を人物候補領域として抽出する。そのために、変化領域抽出部５１は、最新の監視画像と背景画像との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される差分画像を作成する。そして変化領域抽出部５１は、差分画像の各画素について、その輝度差の絶対値が所定の閾値以上となる画素を変動画素とし、一方、輝度差の絶対値が所定の閾値未満となる画素を背景画素となるように２値化した差分２値化画像を作成する。なお、所定の閾値は、例えば、差分画像の各画素値の平均値とすることができる。変化領域抽出部５１は、公知のラベリング手法などを用いることにより、変動画素同士が一つに連結された領域を変動領域として検出する。そして変化領域抽出部５１は、その変動領域の外接矩形領域を人物候補領域とする。
変化領域抽出部５１は、人物候補領域を示す情報、例えば、人物候補領域の左上端点の座標及び縦方向と横方向のサイズを、識別部５２へ渡す。

図２（ａ）〜図２（ｃ）を参照しつつ、変化領域抽出部５１の処理を説明する。図２（ａ）は、背景画像２００を示す。背景画像２００には、植栽２０１が写っている。また図２（ｂ）は、最新の監視画像２０５を示す。監視画像２０５には、背景画像２００に写っている植栽２０１に対応する植栽２０７が写っている。さらに監視画像２０５には、侵入者２０６が写っている。
また図２（ｃ）は、変化領域抽出部５１が監視画像２０５と背景画像２００との間で対応画素間の差分処理を行って２値化することにより作成された差分２値化画像２１０を示す。差分２値化画像２１０では、監視画像２０５に写っている侵入者２０６に対応する矩形領域が、人物候補領域２１１として抽出されることになる。さらに、監視領域内に存在する植栽が風などの影響によって揺れると、背景画像２００における植栽２０１と監視画像２０５における植栽２０７とが完全に一致しない。そのため、差分２値化画像２１０において、植栽の揺れによって輝度が変化した領域２１２も人物候補領域として抽出されることになる。そこで、そのような検出対象でない物が写っている人物候補領域に基づいて、侵入者を誤検出することを防ぐために、信号処理部５は、抽出された各人物候補領域について、侵入者か否かを識別する必要がある。

識別部５２は、そのため、監視画像中の何れかの人物候補領域に関する情報を識別器に入力することにより、その人物候補領域の侵入者らしさの度合いを表す信頼度を求める。また識別部５２は、何れかの人物候補領域に対応する背景画像中の領域に関する情報を、信頼度の算出に用いられる識別器と同じ識別器に入力することにより、その人物候補領域と対応する領域の侵入者との紛らわしさの度合いを表す類似度を求める。

図３に、本実施形態において使用される識別器の概略構成を示す。図３に示されるように、識別部５２が有するカスケード型識別器３００は、４個の識別器３１０、３２０、３３０及び３４０が直列に接続された構成を有する。そして、各識別器３１０、３２０、３３０及び３４０は、監視画像中の人物候補領域またはその人物候補領域に対応する背景画像中の領域に関する情報が入力されると、その領域に侵入者が写っているか否かの識別結果を出力する。そして、カスケード型識別器３００は、第１段目の識別器３１０から順番に識別を実行し、何れかの識別器が、その領域には侵入者は写っていないとの識別結果を出力するまで、識別を繰り返す。そしてカスケード型識別器３００は、その領域に侵入者が写っているとの識別結果を出力した最後の識別器の段数を出力する。識別部５２は、カスケード型識別器３００が出力した識別器の段数を信頼度Riまたは類似度Rbとする。識別部５２は、このようなカスケード型識別器３００を利用して信頼度及び類似度を求めることにより、侵入者らしくない領域ほど識別処理を実行する識別器の数が少なくなる。そのため、信号処理部５は、侵入物体検出処理全体としての演算量を少なくして、短時間でその検出処理を行うことができる。

以下、監視画像中の人物候補領域に関する情報をカスケード型識別器３００に入力することにより、信頼度を求めるときの識別部５２の動作の一例を説明する。なお、識別部５２は、監視画像中の人物候補領域に関する情報の代わりに、その人物候補領域に対応する背景画像中の領域に関する情報をカスケード型識別器３００に入力することにより、類似度を求めることができる。

識別部５２は、先ず、監視画像中の人物候補領域に関する情報を、第１段目の識別器３１０に入力する。識別器３１０が、その領域に侵入者は写っていないとの識別結果（False）を出力すると、カスケード型識別器３００は信頼度として0を出力する。一方、識別器３１０が、その領域に侵入者が写っているとの識別結果（True）を出力すると、人物候補領域に対応する監視画像中の領域に関する情報が第２段目の識別器３２０に入力される。そして識別器３２０が、その領域に侵入者は写っていないとの識別結果（False）を出力すると、カスケード型識別器３００は信頼度として1を出力する。一方、識別器３２０が、その領域に侵入者が写っているとの識別結果（True）を出力すると、監視画像中の人物候補領域に関する情報が第３段目の識別器３３０に入力される。以下、同様の処理が第４段目の識別器３４０による識別が行われるまで繰り返される。そして、識別器３４０がその領域に侵入者が写っているとの識別結果（True）を出力すると、カスケード型識別器３００は信頼度として4を出力する。

本実施形態では、各段の識別器３１０、３２０、３３０及び３４０は、Haar-like特徴を用いたAdaboost識別器とした。Haar-like特徴は、入力された画像領域中に任意に設定された複数の隣接矩形領域間の輝度差である。また、Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。そこで、本実施形態では、各識別器３１０〜３４０に入力される、監視画像中の人物候補領域に関する情報とは、その人物候補領域に含まれる各画素の輝度値である。同様に、人物候補領域に対応する背景画像の領域に関する情報とは、その人物候補領域に対応する背景画像の領域に含まれる各画素の輝度値である。

各弱識別器は、入力された画像領域から、それぞれ異なるHaar-like特徴を算出し、算出されたHaar-like特徴に基づいて入力された画像領域に侵入者が写っているか否かの識別結果を出力する。例えば、弱識別器は、入力された画像領域に侵入者が写っていると判定した場合、1を出力し、一方、入力された画像領域に侵入者が写っていないと判定した場合、-1を出力する。一方、強識別器は、各弱識別器による出力結果をそれぞれ重み付けして、その重み付け和を求める。そして強識別器は、得られた重み付け和が所定の閾値（例えば、0）よりも高い場合、入力された画像領域に侵入者が写っていると判定する。

また、画像領域中のどの位置に関するHaar-like特徴を識別に利用する弱識別器が使用されるか、及び弱識別器に対する重みは、人が写っていない複数のサンプル画像と人が写っている複数のサンプル画像とを用いた事前学習により決定される。学習手順の概略は以下の通りである。
（１）使用可能な全ての弱識別器について、Haar-like特徴の値に基づいて、入力された画像領域に侵入者が写っているか否かを識別する閾値を設定する。
（２）各サンプル画像に対する重みを決定する。重みの初期値は、各サンプル画像に対して同じ値とする。
（３）全ての弱識別器に対して各サンプル画像を入力して、弱識別器ごとに識別に失敗したサンプル画像に付けられた重みを合計する。そしてその重みの合計を評価値とする。
（４）評価値が最も小さい弱識別器をAdaboost識別器で使用する弱識別器として選択する。そして評価値から選択された弱識別器の出力に付される重みを決定する。
（５）選択された弱識別器が識別に失敗したサンプル画像の重みを大きくする。
（６）（３）〜（５）の手順を繰り返す。
なお、Haar-like特徴及びAdaboost識別器の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。
また、各段の識別器は、例えば、別のサンプル画像を用いて事前学習することにより、互いに異なる識別器を構築することができる。

識別部５２は、監視画像中の各人物候補領域について求めた信頼度及び各人物候補領域に対応する背景画像中の領域について求めた類似度を判定部５３へ渡す。

判定部５３は、識別部５２から受け取った信頼度と類似度の相対関係に基づいて、対応する人物候補領域に侵入者が写っているか否か判定する。ここで判定部５３は、求められた類似度が大きいほど、その類似度に対応する人物候補領域については、侵入者が写っていると判定する基準を厳しくする。例えば、判定部５３は、着目する人物候補領域について求められた信頼度が、所定の閾値Th1よりも大きく、かつ、その人物候補領域に対応する背景画像中の領域について求められた類似度よりも大きい場合、その人物候補領域に侵入者が写っていると判定する。
なお、所定の閾値Th1は、画像監視装置に対して、侵入者の誤検出が許容される精度に応じて設定される。本実施形態では、所定の閾値Th1を２とした。すなわち、少なくとも３段目の識別器３３０が、着目する人物候補領域に侵入者が写っているとの識別結果（True）を出力したときに、信頼度は所定の閾値Th1より大きくなる。また、侵入者の誤検出が許容される精度が厳しくなければ、所定の閾値Th1を０としてもよい。すなわち、信頼度と所定の閾値Th1との比較を省略してもよい。

また、監視画像において、着目する人物候補領域に侵入者と紛らわしいものが写っていた場合には、識別部５２によりその人物候補領域について求められる信頼度の値は高くなる。そのため、判定部５３が信頼度の値にのみ基づいて侵入者の有無を判定すると、監視領域中に存在する人と紛らわしい物体を侵入者として誤検出してしまうおそれがある。しかし、その着目する人物候補領域に写っている物体が、もともと監視領域内に存在する物体であれば、背景画像においても、人物候補領域に対応する領域に同じ物体が写っていることになる。そのため、識別部５２により、その着目する人物候補領域に対応する背景画像中の領域について求められる類似度の値も、信頼度と同様に高くなる。そこで、判定部５３は、上記のように、着目する人物候補領域について求められた信頼度がその人物候補領域に対応する背景画像中の領域について求められた類似度よりも大きいときにのみ、その人物候補領域に侵入者が写っていると判定することで、侵入者の誤検出を防止することができる。

図２（ｃ）に示された人物候補領域２１１及び２１２を例として判定部５３の処理の概要を説明する。この場合、人物候補領域２１１に関しては、図２（ａ）に示された背景画像２００において背景となる景色が写っているだけであり、侵入者と紛らわしいものは存在しない。そのため、識別部５２により人物候補領域２１１に対応する背景画像２００中の領域について求められる類似度は低い値となる。一方、図２（ｂ）に示された監視画像２０５では、人物候補領域２１１に侵入者が写っている。そのため、識別部５２により人物候補領域２１１について求められる信頼度は高い値となる。そのため、判定部５３は、人物候補領域２１１について、信頼度が類似度よりも高くなるので、侵入者が写っていると判定できる。

一方、人物候補領域２１２に関しては、図２（ａ）に示された背景画像２００及び図２（ｂ）に示された監視画像２０５の何れにおいても、植栽が写っている。そのため、識別部５２により人物候補領域２１２について求められる信頼度及び類似度は同じ値となる可能性が高い。そのため、判定部５３は、人物候補領域２１２について得られた信頼度が高い場合でも、侵入者が写っていると判定しない。このように、判定部５３は、侵入者と紛らわしい物体が写っている領域が人物候補領域として抽出されたとしても、侵入者が写っていると誤判定することを防止できる。

なお、判定部５３は、着目する人物候補領域について求められた信頼度から類似度を引いた差が、所定の閾値Th2よりも高い場合に、その着目する人物候補領域に侵入者が写っていると判定するようにしてもよい。ただし、所定の閾値Th2は0以上の実数であり、Th2が0の場合には、単に信頼度と類似度を比較する上記の実施形態と同じとなる。あるいは、判定部５３は、着目する人物候補領域について求められた信頼度に所定の係数α（ただしαは正の値）を乗じた値が、類似度よりも大きい場合に、その着目する人物候補領域に侵入者が写っていると判定するようにしてもよい。このように、判定部５３は、信頼度と類似度の単なる大小により侵入者が写っているか否かを判定する場合よりも、背景画像における着目人物候補領域と監視画像における着目人物候補領域の侵入者らしさの差が大きいときにその着目人物候補領域に侵入者が写っていると判定するので、侵入者の誤検出をさらに生じ難くすることができる。

さらに、判定部５３は、連続的に取得された監視画像の複数のフレームにわたって抽出された人物候補領域からそれぞれ求められた信頼度の平均値と、各フレームの人物候補領域に対応する背景画像の領域から抽出された類似度の平均値あるいは類似度の最大値との差が所定の閾値Th2よりも大きい場合に、その一連の人物候補領域に侵入者が写っていると判定してもよい。このように、複数のフレームについて求められた信頼度及び類似度を判断基準とすることにより、判定部５３は、何らかの理由で瞬間的に侵入者と紛らわしくなった領域を、侵入者として誤検出することを防止できる。
なお、この場合には、各フレームで抽出された人物候補領域のうち、同一物体に関連する領域を関連付けるために、信号処理部５は、公知の様々なトラッキング処理の何れかを利用することができる。

また、判定部５３は、信頼度及び類似度を入力とし、人物候補領域に侵入者が写っているか否かを出力する判別関数、パーセプトロンタイプのニューラルネットワークまたはサポートベクトルマシンのような識別器を用いて、その人物候補領域に侵入者が写っているか否かを判定してもよい。この場合においても、それら判別関数及び識別器は、人が写っている複数の画像と人が写っていない複数の画像のそれぞれについて求められた信頼度及び類似度を用いて事前学習される。そして、それら判別関数及び識別器も、類似度が大きいほど、その類似度に対応する人物候補領域については、侵入者が写っていると判定する基準が厳しくなるように学習される。

判定部５３は、何れかの人物候補領域について、侵入者が写っていると判定すると、監視領域内に侵入者がいると判定し、一方、全ての人物候補領域について、侵入者が写っていないと判定すると、監視領域内に侵入者はいないと判定する。

判定部５３が監視領域への侵入者がいると判定すると、信号処理部５は、出力部４へ警報信号を送信し、出力部４に警報を発報させる。

背景画像更新部５４は、記憶部３に記憶されている背景画像を、判定部５３により侵入者はいないと判定されたときの監視画像で置換することにより更新する。このように、背景画像を常に監視領域の最新の状態を表すものにしておくことで、信号処理部５は、変動領域抽出部５１の背景差分による人物候補領域抽出処理において、天候の変化、太陽の日周変動などに起因する人物候補領域の誤検出を軽減できる。また、識別部５２における類似度の算出処理についても、監視領域の最新の状態を表す背景画像に対する類似度が得られる。そのため、信号処理部５は、判定部５３においてその最新の状態に対する類似度と信頼度を比較できるので、判定結果の信頼性を向上させることができる。なお、背景画像更新部５４は、上記の背景画像の更新処理を、監視画像が取得される度ではなく、一定周期（例えば、１０分間隔）ごとに行うようにしてもよい。

図４に示したフローチャートを参照しつつ、画像監視装置による侵入者検出処理の動作を説明する。なお、この動作は、信号処理部５によって制御される。そして以下の動作は、監視画像の撮影間隔で繰り返される。
検出処理が開始されると、信号処理部５は、画像入力部２により撮影された監視領域の監視画像を取得する（ステップＳ１０１）。次に、信号処理部５の変化領域抽出部５１は、取得された監視画像と記憶部３に記憶された背景画像との背景差分処理を行って、人物候補領域を抽出する（ステップＳ１０２）。変化領域抽出部５１は、抽出された全ての人物候補領域を示す情報を信号処理部５の識別部５２へ渡す。

次に、識別部５２は、各人物候補領域の中から着目する人物候補領域を選択する。そして識別部５２は、監視画像における、着目する人物候補領域の情報を識別器に入力することにより、その人物候補領域の侵入者らしさの度合いを表す信頼度Riを求める（ステップＳ１０３）。そして識別部５２は、求めた信頼度Riを信号処理部５の判定部５３へ渡す。判定部５３は、信頼度Riが所定の閾値Th1よりも高いか否か判定する（ステップＳ１０４）。ステップＳ１０４において、信頼度Riが所定の閾値Th1以下であった場合、信号処理部５は制御をステップＳ１０８へ移行する。
一方、ステップＳ１０４において、信頼度Riが所定の閾値Th1よりも高い場合、判定部５３はその旨を識別部５２へ通知する。そして識別部５２は、着目する人物候補領域に対応する背景画像中の領域の情報を識別器に入力することにより、侵入者との紛らわしさの度合いを表す類似度Rbを求める（ステップＳ１０５）。そして識別部５２は、求めた類似度Rbを判定部５３へ渡す。

判定部５３は、信頼度Riが類似度Rbよりも高いか否か判定する（ステップＳ１０６）。ステップＳ１０６において、信頼度Riが類似度Rb以下であった場合、信号処理部５は制御をステップＳ１０８へ移行する。一方、ステップＳ１０６において、信頼度Riが類似度Rbよりも高い場合、判定部５３はその着目人物候補領域に侵入者が写っていると判定する。そして侵入者が写っているとの判定結果を表す検出フラグを記憶部３に一時的に記憶する（ステップＳ１０７）。

ステップＳ１０７の後、あるいは、ステップＳ１０６において、信頼度Riが類似度Rb以下であった場合、若しくは、ステップＳ１０４において、信頼度Riが所定の閾値Th1以下であった場合、信号処理部５は、全ての人物候補領域について侵入者が写っているか否かの判定処理が終わったか否か判定する（ステップＳ１０８）。ステップＳ１０８において、何れかの人物候補領域に関して侵入者が写っているか否かの判定処理が終了していない場合、信号処理部５は、その判定処理が終了していない人物候補領域を着目する人物候補領域とする。そして信号処理部５は、ステップＳ１０３〜Ｓ１０８の処理を実行する。

一方、ステップＳ１０８において、全ての人物候補領域について侵入者が写っているか否かの判定処理が終了している場合、判定部５３は、記憶部３を参照して、検出フラグが記憶されているか否かを調べることにより、監視領域内に侵入者が存在するか否か判定する（ステップＳ１０９）。ステップＳ１０９において、記憶部３に検出フラグが記憶されており、判定部５３が監視領域内に侵入者が存在すると判定すると、信号処理部５は、出力部４を介して警報を発する（ステップＳ１１０）。また信号処理部５は、監視領域内に侵入者が存在することを示す異常検出信号などを、画像監視装置１と通信ネットワークを介して接続された警備装置または監視センタ装置へ出力してもよい。その後、信号処理部５は、記憶部３に記憶された検出フラグを消去する。

一方、ステップＳ１０９において、記憶部３に検出フラグが記憶されておらず、判定部５３が監視領域内に侵入者が存在しないと判定すると、信号処理部５の背景画像更新部５４は、記憶部３に記憶された背景画像を最新の監視画像で置換することにより、背景画像を更新する（ステップＳ１１１）。
ステップＳ１１０またはＳ１１１の後、信号処理部５は、一連の制御を終了する。

以上説明してきたように、本発明の一実施形態である画像監視装置は、監視領域を撮影した監視画像において、背景画像との間で輝度差があった領域に相当する人物候補領域に関する情報を識別器に入力して、その領域の侵入者らしさの度合いを表す信頼度を求めるとともに、背景画像中の対応する領域に関する情報を同じ識別器に入力することによって、その領域の侵入者との紛らわしさの度合いを表す類似度を求める。そして画像監視装置は、類似度が高い人物候補領域ほど、侵入者として検出され難くすることにより、監視領域内に侵入者と紛らわしい物体が写っていたとしても、その紛らわしい物体を侵入者と誤って検出することを防止できる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、信号処理部５の識別部５２で使用される識別器を、監視画像全体を走査して、監視画像中の部分領域に対する信頼度を求めるように構築すれば、変化領域抽出部５１は省略してもよい。この場合、識別部５２は、画像入力部２により得られた監視画像そのもの、あるいは監視画像に対して前処理を施した画像を識別器に入力することにより、監視画像中の各部分領域に対する信頼度を求める。なお、前処理は、例えば、画像全体の輝度の平均値を一定にする輝度補正処理、画像中の輝度の最大値と最小値の差を一定にするコントラスト補正処理などである。同様に、識別部５２は、背景画像を識別器に入力することにより、背景画像中の各部分領域に対する類似度を求める。そして判定部５３は、監視画像と背景画像の対応する部分領域について求められた信頼度と類似度に基づいて、その部分領域に検出対象物体が写っているか否か判定する。

また、信号処理部５の識別部５２で使用される識別器は、カスケード型識別器に限られない。
図５に、識別部５２において使用可能な識別器の他の例を示す。図５に示される並列型識別器５００は、４個のAdaboost識別器５１０〜５４０が並列に接続された構成を有する。この並列型識別器５００は、監視画像中の人物候補領域に関する情報または人物候補領域に対応する背景画像中の領域に関する情報を各識別器５１０〜５４０に入力することにより、それぞれその領域に侵入者が写っているか否かの識別結果を出力させる。そして並列型識別器５００は、各識別器５１０〜５４０のうち、入力された領域に侵入者が写っているとの識別結果を出力した識別器の数を信頼度Riまたは類似度Rbとする。
また、図３に示したカスケード型識別器３００が有する識別器の数は４個に限られない。同様に、図５に示した並列型識別器５００が有する識別器の数も４個に限られない。

また、識別器で用いられる特徴は、Haar-like特徴に限られない。例えば、図３に示したカスケード型識別器３００の各段の識別器３１０〜３４０あるいは図５に示した並列型識別器５００の各識別器５１０〜５４０は、EOH(Edge of Orientation Histograms)、HOG(Histograms of Oriented Gradients)、Edgelet、Joint-Haar-like、Joint HOG、Shapeletなどの特徴量を入力された画像領域から算出して、識別に用いてもよい。あるいは、カスケード型識別器３００の各段の識別器３１０〜３４０または並列型識別器５００の各識別器５１０〜５４０は、上記の何れかの特徴量のうち、互いに異なる種類の特徴量を算出して、識別に利用してもよい。

また、各識別器は、監視画像または背景画像中の所定領域から抽出された様々な特徴量と、画像上に写った人が有する対応する特徴量との一致度合いを表す一致度を識別のために用いてもよい。例えば、画像上に写った人が有する形状、または上記のEOH、HOGなどの特徴量をテンプレートとして予め記憶部３に記憶させておく。識別部５２は、入力された監視画像あるいは背景画像の所定領域から、それらテンプレートと同じ種類の特徴量を抽出し、抽出された特徴量とテンプレートとの一致度を求める。そして各識別器は、その一致度を入力として、その所定領域に侵入者が写っているか否かに識別結果を出力する。なお、一致度は、例えば、テンプレートが所定の値であれば、入力された画像の所定領域から抽出された特徴量の値とそのテンプレートの値との差をδ、δの取り得る最大値をδ_maxとして、(δ_max-δ)/δ_maxとすることができる。またテンプレートがｍ×ｎ画素の画像ブロック（ただし、ｍ、ｎは自然数）であれば、テンプレートと入力された画像の所定領域のパターンマッチングにより算出される相関値の最大値が一致度として算出される。

さらに、図３に示したカスケード型識別器の各段の識別器あるいは図５に示した並列型識別器の各識別器は、Adaboost識別器に限られない。これらの各識別器は、サポートベクトルマシン、パーセプトロン型ニューラルネットワークなどであってもよい。
さらに、識別部５２が使用する識別器は、監視画像または背景画像、若しくはそれらの部分領域を入力することにより、信頼度または類似度を３段階以上の多値で出力する識別器であれば、単独の識別器であってもよい。そのような識別器として、例えば、ベイジアンネットワークのような確率モデルを用いることができる。例えば、識別器としてベイジアンネットワークが用いられる場合、識別器は、そのベイジアンネットワークが持つ少なくとも一つの入力ノードに、監視画像中の所定領域から求められる上記のような特徴量を入力することにより、各入力ノードに入力された特徴量の値の組み合わせに対する事後確率として、信頼度を出力する。同様に、その識別器は、ベイジアンネットワークが持つ少なくとも一つの入力ノードに、監視画像中の所定領域に対応する背景画像中の領域から求められる上記のような特徴量を入力することにより、各入力ノードに入力された特徴量の値の組み合わせに対する事後確率として、類似度を出力する。そして判定部５３は、上述した判定基準と同様の基準、例えば、信頼度が類似度よりも高いとき、その所定領域に侵入者が写っていると判定できる。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

本発明の一実施形態である画像監視装置の概略構成図である。 （ａ）は背景画像の一例を示す図であり、（ｂ）は監視画像の一例を示す図であり、（ｃ）は背景画像と監視画像の差分２値化画像の一例を示す図である。 画像監視装置で使用される識別器の一例であるカスケード型識別器の概略構成図である。 画像監視装置による侵入者検出処理の動作を示すフローチャートである。 画像監視装置で使用される識別器の他の一例である並列型識別器の概略構成図である。

符号の説明

１ 画像監視装置
２ 画像入力部
３ 記憶部
４ 出力部
５ 信号処理部
５１ 変化領域抽出部
５２ 識別部
５３ 判定部
５４ 背景画像更新部
３００ カスケード型識別器
５００ 並列型識別器

Claims (6)

1. 特定の監視領域を撮影した画像から検出対象物を検出する画像監視装置であって、
   前記監視領域を撮影した監視画像を取得する画像入力部と、
   前記監視領域に検出対象物が存在しない状況において前記監視領域を撮影した画像である背景画像を記憶する記憶部と、
   前記監視画像及び背景画像の所定領域における検出対象物らしさの度合いを算出する識別器を有し、該識別器により、前記画像入力部により取得された監視画像の所定領域についての当該度合いを信頼度として算出し、かつ、該識別器により、当該監視画像の所定領域に対応する前記背景画像の所定領域についての当該度合いを類似度として算出する識別部と、
   前記信頼度と前記類似度との相対関係により、前記監視領域内に検出対象物が存在するか否かを判定する判定部と、
   を有することを特徴とする画像監視装置。
2. 前記判定部は、前記信頼度から前記類似度を引いた差が所定の閾値よりも大きいとき、前記監視領域内に検出対象物が存在すると判定する、請求項１に記載の画像監視装置。
3. 前記識別器は、複数の識別器が直列に接続されたカスケード型識別器であり、当該直列に接続された複数の識別器のそれぞれは、前記所定の領域に検出対象物が存在するか否かの識別結果を出力するとともに、前記カスケード型識別器は、何れかの段の識別器が検出対象物が存在しないとの識別結果を出力するまで、次の段の識別器が識別結果を出力し、かつ前記信頼度及び前記類似度は、前記カスケード型識別器において、前記所定の領域に検出対象物が存在するとの識別結果を出力した最後の識別器の段数である、請求項１または２に記載の画像監視装置。
4. 前記識別器は、複数の識別器が並列に接続された並列型識別器であり、当該並列に接続された複数の識別器のそれぞれは、前記所定の領域に検出対象物が存在するか否かの識別結果を出力するとともに、前記並列型識別器は、当該並列に接続された複数の識別器のうち、検出対象物が存在するとの識別結果を出力した識別器の数を前記信頼度及び前記類似度とする、請求項１または２に記載の画像監視装置。
5. 前記識別器は、前記所定の領域から抽出された検出対象物の特徴情報と、前記記憶部に記憶された検出対象物の特徴情報との一致度を入力することにより、前記信頼度及び前記類似度を算出する、請求項１〜４の何れか一項に記載の画像監視装置。
6. 前記監視画像と前記背景画像との差分処理を行って、前記監視画像と前記背景画像間で輝度差のある変化領域を抽出する変化領域抽出部をさらに有し、
   前記識別部は、前記変化領域を前記所定の領域として、前記信頼度及び前記類似度を算出する、請求項１〜５の何れか一項に記載の画像監視装置。

Images