JP2012212217A - 画像監視装置 - Google Patents

Abstract

【課題】監視空間内の人物が顔隠蔽等を行っている不審者と判定され、これが誤判定であった場合、以降の処理において連続して誤判定することを防止する。
【解決手段】画像監視装置１は、撮像部２にて取得された入力画像中の人物領域から抽出された頭部候補領域が顔隠蔽した不審者であると判定すると、所定条件を満たすまで当該不審者が検出された領域を含む所定領域を無効領域として画像上に設定する。当該無効領域内では不審者と判定された顔隠蔽者と同じ種別の顔隠蔽者が検出されても不審者と判定しない。
【選択図】図２

Description

本発明は、重要監視物等が設置された空間において、監視空間を撮影した画像情報の解析結果から、監視空間内に存在する人物が不審者と判定されると遠隔の監視センタに通報する画像監視装置に関する。より具体的には、監視センタのオペレータが遠隔で画像監視を行う際、誤判定とされた人物が再度、不審者と検出されて監視センタに通報されることを防止できる画像監視装置の提供を目的とする。

従来、店舗、事務室等の監視領域に侵入する人物を検出して、遠隔の監視センタに通報する監視システムにおいて、カメラで撮像された画像から人物領域の特徴情報を抽出して不審人物等の特徴に合致した場合、自動的に遠隔の監視センタに通報出力し、監視センタのオペレータにより遠隔から画像監視を可能とする画像監視装置が知られている。
このような画像を用いた監視システムにおいては、監視領域に設置された画像監視装置から不審者と判定した警報信号が通報されると、監視センタのオペレータが画像を確認して判断を行う。そして実際には不審者ではなく、誤検出であると判定された場合には、オペレータはリセット操作を行い、通常の監視状態に復帰させる。

ここで不審者とは、例えば顔を隠蔽した人物や、挙動が不審な人物等が想定される。例えば、特許文献１には、自動取引装置から不正に現金を引き出すおそれのある不審人物を検出するために、人感センサが自動取引装置の前に人が立ったことを検知したときにカメラから画像を取り込んで、当該画像にフルフェースのヘルメットなどで顔を隠蔽した人物を不審人物として判定する監視装置が記載されている。

特開２０１０−７９７５０号公報

例えば、撮像画像に写りこんだ人物が後ろを向いており、その後頭部を画像監視装置がフルフェースのヘルメットと誤認し、監視センタに通報された場合、前述のように監視センタのオペレータが誤報と判断してリセットすることができる。しかし、当該人物が撮像領域に引き続き滞留する場合は、監視領域に設置された監視装置は、何度も不審者と判定して監視センタに通報する可能性がある。

このように、画像に写りこんだ悪意のない第三者を不審人物として誤検出しつづけることにより、監視オペレータの処理負荷、通信コストの増大を招き、さらに当該状況において実際に不審者が侵入してきた場合に見逃す可能性があるという問題点があった。

本発明は、上記課題に鑑みてなされたものであり、監視領域に設置された画像監視装置が不審人物を検出したと判定して通報し、これが誤検出である場合、以後当該人物が監視領域に滞留していたとしても監視センタへの通報を極力防止可能とする画像監視装置の提供を目的とする。

上記目的を達成するために本発明による画像監視装置は、監視領域を撮像した画像を取得する撮像部と、前記撮像部が順次取得した入力画像を処理し、不審者を検出したと判定すると警報信号を生成する画像信号処理手段と、前記警報信号を出力する出力部とを備えた画像監視装置であって、前記画像信号処理手段は、前記撮像画像を過去画像と比較して人物領域を抽出する人物領域抽出手段と、前記人物領域の画像特徴より複数の不審者種別を識別して不審者判定をする不審者判定手段と、前記警報信号を生成すると、前記不審者と判定された前記人物領域を含む所定領域を無効領域として設定する無効領域設定手段とを含み、前記無効領域内では、前記警報信号を発生させた不審者種別と同じ種別の不審者を検出せず、異なる種別の不審者を検出した場合に警報信号を出力することを特徴とする。
かかる構成によれば、監視センタのオペレータが誤検出と判定した不審者が、不審者を検出した位置付近に留まっている場合に、所定条件のもと再度不審者として検出しないようにすることで監視センタ業務の処理負荷の軽減を図ることが可能となる。

また、本発明の好適な態様において、画像信号処理手段は、前記人物領域上にて頭部候補領域を抽出する頭部候補領域抽出手段と、前記抽出された頭部候補領域が予め記憶された複数の顔隠蔽種別のいずれかを判別して、顔隠蔽しているか否かを判定する顔隠蔽判定手段とを含み、前記不審者判定手段は、前記顔隠蔽判定手段の判定結果に基づいて不審者の判定を行う。

また、本発明の好適な態様において、前記不審者判定手段は、前記頭部候補領域に対する顔隠蔽判定結果に基づいて不審者度合いを蓄積し、複数の撮像画像上で蓄積された不審者度合いが所定値を超えると不審者と判定し、前記無効領域内では、前記無効領域設定時に検出された不審者と同一種別の顔隠蔽者が検出されても前記不審者度合いを蓄積しないことを特徴とする。

また、本発明の好適な態様において、前記無効領域設定手段は、前記無効領域内で検出される前記頭部候補領域の数が無効領域設定時より変化した場合は、前記無効領域の設定を解除する。

さらに、本発明の好適な態様において、前記無効領域設定手段は、前記無効領域内で検出される前記頭部候補領域の数が無効領域設定時より増えた場合は、直ちに前期無効領域の設定を解除し、前記頭部候補領域の数が減った場合は所定時間経過後に前記無効領域の設定を解除する。

さらに、別の本発明にかかる画像監視装置では、監視領域を撮像した画像を取得する撮像部と、前記撮像部が順次取得した入力画像を処理し、不審者を検出したと判定すると警報信号を生成する画像信号処理手段と、前記警報信号を出力する出力部とを備えた画像監視装置であって、前記画像信号処理手段は、前記撮像画像を過去画像と比較して人物領域を抽出する人物領域抽出手段と、前記人物領域の画像特徴より不審者判定をする不審者判定手段と、前記警報信号を生成すると、前記不審者と判定された前記人物領域を含む所定領域を不審者判定を行わない無効領域として設定する無効領域設定手段とを含み、
前記無効領域設定手段は、前記無効領域内で検出される前記人物領域の数が無効領域設定時より増加した場合は、前記無効領域の設定を解除する。
かかる構成によれば、不審者を検出した位置付近の人物を不審者として判定しない無効領域を設定することで、不審者として誤判定された人物が無効領域内に滞留しても再度不審者とし判定しないようにするとともに、無効領域内に他の人物が進入してきた場合に、無効領域の設定を解除することで漏れなく不審者判定を行うことが可能となる。

本発明にかかる画像監視装置が店舗の事務室に設置された例である。 本実施の形態にかかる画像監視装置の概略構成図である。 本実施の形態にかかる画像監視装置の動作を表す全体フロー図である。 本実施の形態にかかる画像監視装置の不審者検知処理の動作フロー図である。 本実施の形態にかかる画像監視装置の無効領域解除判定処理の動作を表すフロー図である。 本実施の形態にかかる画像監視装置の無効領域設定例を表す図である。 本実施の形態にかかる画像監視装置の無効領域設定例を表す図である。

以下、図を参照しつつ、本発明にかかる画像監視装置の一実施形態として、当該画像監視装置を、スーパーマーケットなどの店舗の事務室に設置し、事務室内の金庫等の重要監視物周辺に存在する不審人物を検出するための監視装置として実現した例について説明する。また本画像監視装置は、警備装置を構成する機能の一部としても実現可能であり、夜間等の人の不在の警備中だけでなく、開店中などの警備解除中も監視を実施することを想定している。事務室においては開店時間中は、店長など金庫の開錠可能な人物だけでなく、従業員やアルバイトも事務室に入室可能である。また、従業員やアルバイトの隙をみて、不審者が金庫に近づいたり、従業員やアルバイトを拘束して不審者が金庫に近づく可能性もあることが想定される。こうした店舗や事務室には監視カメラが設置されているため、窃盗や強盗を企てる不審者は、ほとんどの場合、覆面やサングラス、マスク等で顔を隠蔽している。

本実施の形態における画像監視装置は、金庫等の重要物付近に人物がいる場合に、重要監視物付近に設置されたカメラから当該人物の顔部分を抽出し、顔部分を隠蔽している場合に不審者として遠隔の監視センタに非常通報を行うとともに、監視領域内の撮像画像を送信する機能を有する。

図１（ａ）は、本発明にかかる画像監視装置１が、事務室に設置された様子を表す模式図である。設置場所としては事務室の他、店頭に陳列する前の商品が棚に並べられた保管庫があるバックヤードなどが例示できる。図１（ａ）において、事務室の床の隅に金庫６が設置されている。

画像監視装置１の撮像部２は、金庫６の上方に概略水平方向に向けて設置され、撮像部２の視野は事務室全体を含むものとする。この視野内が監視領域である。画像監視装置は、撮像部２で取得された画像を処理し、その画像中に含まれる人物の顔隠蔽の有無を判定する。顔隠蔽の有無の判定とは、不審者が、サングラスとマスク、覆面、フルフェースのヘルメット等で顔を隠蔽して、人物の特定を困難なようにしているか否かを判定することである。

撮像部２から取得された画像を本実施の形態では入力画像と称する。入力画像の例を図１（ｂ）に示す。図１（ｂ）からわかるように、概略水平方向に向けられたカメラの画像であることを活かし、画像中の人物が顔を撮像部２に向けている状態であれば人相を把握できる。そして顔隠蔽判定技術を用いることで顔隠蔽の有無の判定が可能となる。なお、入力画像は、画像中の人物について人相の他、服装や背格好の情報も取得可能であるため、証跡性の確保を目的とした画像として、記録するためにも用いることもできる。

図２は、一つの実施形態としての本発明にかかる画像監視装置１の概略構成図である。画像監視装置１は、撮像部２と、記憶部３と、画像信号処理部４と、出力部５とを有する。

撮像部２は、少なくともひとつのカメラで構成され、ＣＣＤまたはＣ−ＭＯＳなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。撮像部２は、例えば、ＮＴＳＣ規格に従って、連続的に撮影を行うカメラとすることができる。あるいは、撮像部２は、いわゆるハイビジョンなど、より高解像度な画像を生成するものでもよい。

そして、本実施の形態では撮像部２は事務室を撮影した画像を、例えば、各画素の輝度が２５６階調で表される濃淡画像あるいはカラー画像として所定のフレーム間隔（例えば０．５秒間隔）毎に生成する。また撮像部２は、画像信号処理部４の図示しないインターフェース部と接続されており、撮像部２が画像を生成する度に、その生成した画像を入力画像として画像信号処理部４へ出力する。

記憶部３は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（ＨＤＤ）などの記憶装置を有する。記憶部３は、画像監視装置１で使用される各種のプログラム及び設定データ等を記憶する。また記憶部３は、画像監視装置１が起動したとき、あるいは定期的に撮像部２から取得した、人物が写っていない入力画像を背景画像として記憶する。

また記憶部３は入力画像中から抽出された人物領域の情報を人物領域情報として記憶しておく。さらに、記憶部３は、入力画像中から頭部候補領域、顔隠蔽判定を行うため、各種条件におけるテンプレート画像、設定データ等を記憶している。

画像信号処理部４は、撮像部２から入力された入力画像の人物が顔隠蔽しているか否かの判定結果に応じて警報信号の送出処理を行う。画像信号処理部４は、人物領域抽出手段４１、頭部候補領域抽出手段４２、顔隠蔽判定手段４３、不審者判定手段４４、無効領域設定手段４５、制御手段４６から構成される。これら各構成手段は、記憶部３に記憶されるプログラムモジュールにて実現可能である。次に画像信号処理部４の各手段について説明する。

人物領域抽出手段４１は、撮像部２から取得された入力画像と記憶部３に記憶されている背景画像の画素毎の差分を求め、所定以上の輝度変化があり、人物を元に設定された所定範囲の大きさの変化領域を人物領域として抽出する。背景画像は、室内が無人時の入力画像で所定時間ごとに更新される画像である。人物領域抽出手段４１は抽出された人物領域が前フレームで抽出された人物領域と同一の移動体によるものか否かの判定を行い、新規に出現した移動体の場合は、新たな管理番号を付与（ラベリング）し、その大きさ、位置等の情報とともに人物領域情報として記憶部３に記憶する。

現在のフレームで抽出された人物領域が、前フレームで抽出された人物領域と同一の移動体によるものと推定される場合は、当該管理番号の人物領域情報に位置、大きさ等の情報を追加記憶する。この背景差分処理、ラベリング処理については、画像処理技術の分野では周知の技術であるので、これ以上の詳細な説明は省略する。

頭部候補領域抽出手段４２は、人物領域上で人体の頭部らしさが高い領域を頭部候補領域として抽出する。この頭部候補領域の抽出方法としては、楕円パターン等の頭部輪郭パターンをテンプレートとして記憶部３に記憶しておき、人物領域内でテンプレートとの類似度が高い領域を頭部候補領域として抽出する等の手法が採用できる。この手法については、本出願人による特開2005-25568に記載されている手法を採用することができる。
用意する頭部輪郭パターンとしては、楕円パターンに限られず、顔形状の輪郭を模擬したパターンでもよい。

また、人物領域から頭部候補領域を抽出する方法としては、HOG（Histogram of Oriented Gradients）特徴量ベースの検出方法を利用することもできる。HOG特徴量は、画像から任意のサイズで切り出した局所領域内のエッジ（輝度勾配）方向に着目した特徴量である。事前に多数の顔画像データと顔画像とは無関係の画像を学習用データとして用意し、様々のサイズの局所領域を学習用画像全体で探索を実行し、頭部候補領域の識別に有効な特徴量を選択する。HOG特徴量は、非常に次元数の大きな特徴量であるため、特徴量の選択には統計的学習手法の一つであるAdaboostを用い、頭部候補領域の識別に有効なHOG特徴量のセットを選別する。
この選別された特徴量のセットを用いて、入力画像から抽出された人物領域上で、頭部候補のエッジ特徴を持つ領域を頭部候補領域として抽出することができる。HOG特徴量ベースの顔検出方法については、例えば、Dalal N., Triggs B.: “Histograms
of Oriented Gradients for Human Detection.” IEEE Conf.CVPR, vol.1, pp.886-893, 2005.等に記載されている。

顔隠蔽判定手段４３は、抽出された頭部候補領域候補内で、顔隠蔽の有無を判定する。顔隠蔽判定手段４３では、抽出された頭部候補領域内の輝度情報に基づいて、素顔らしさである非顔隠蔽らしさ及び、サングラス及びマスクらしさ、覆面（目出し帽）らしさ、フルフェースヘルメットらしさ等の顔隠蔽らしさを数値化して求める。具体的には、予め老若男女の素顔の顔画像データ及び上記各種別の顔隠蔽画像データから、素顔判定用テンプレート、及び各隠蔽顔別のテンプレート画像を作成して用意しておく。そして抽出した頭部候補領域の輝度情報と各々のテンプレート画像との類似度を算出して、最も類似するテンプレート画像について予め設定した閾値を超えていた場合に、当該頭部候補領域を素顔或いは、何らかの遮蔽物により顔を隠蔽している顔隠蔽者と判定する。

また、顔隠蔽の判定には、Haar-Like特徴量をベースとする判定方法を利用することもできる。Haar-Like特徴量は、隣り合う２つの矩形領域の平均輝度差に着目した特徴量であり、HOG特徴量同様、事前に用意した学習用画像データに対して、Adaboostを用いて、顔画像の識別に有効なHaar-Like特徴量を選別する。学習用の顔画像データとしては、素顔の顔画像データ、顔隠蔽種別ごとの顔画像データ、が及び顔画像とは無関係なデータを各々種々の条件で用意する。事前学習により、素顔の識別に有効な特徴量、各顔隠蔽の識別に有効な特徴量のセットを選別し、各々の顔隠蔽種別の識別に用いる探索器として用意しておく。頭部候補領域に対してこの各々の探索器を用いて素顔らしさ、及び各種別の顔隠蔽らしさの輝度特徴の類似度を数値化して求める。そして類似度が最も高い探索器についての類似度が予め設定した類似度を超えていた場合に、当該頭部候補領域を素顔、或いはなんらかの遮蔽物により顔を隠蔽している顔隠蔽者と判定する。

このHaar-Like特徴量ベースの顔検出方法については、例えば、P.Viola and M.Jones:Rapid Object Detection using a Boosted Cascade of
Simple(CVPR2001)等に記載されている。

不審者判定手段４４は、顔隠蔽判定手段４３で監視領域中に顔隠蔽者が存在し、不審者判定条件を満たす場合に当該顔隠蔽者を不審者と判定する。例えば、複数の入力画像中で抽出された顔隠蔽者の不審者度合い（不審者スコア）の累積値が予め設定した条件を満たした場合に不審者と判定する。さらに具体的な例としては、連続する所定フレーム内（例えば５フレーム）で、顔隠蔽者が検出された回数を不審者スコアとし、予め設定された回数（例えば３回）カウントされた場合に不審者と判定するなどの条件を不審者判定条件として設定する。

無効領域設定手段４５は、不審者判定手段４４により、不審者がいると判定されると入力画像上の当該人物領域周辺の所定範囲に無効領域を設定する。設定された無効領域内では無効領域の発生の要因となった不審者と同種別の顔隠蔽者が検出されたとしても不審者として検出しないようにする。無効領域設定手段４５の詳細な動作については後述する。

制御手段４６は、画像監視装置１の各部を統合的に制御する。また、不審者判定手段４４による不審者判定結果から、出力部５を制御して、警報信号を出力させるか否かを決定する手段である。

出力部５は、制御手段４６からの指示を受け、予め登録された出力先に警報信号を出力する機能を有する。ここでは警報信号を警備会社等の監視センタに通信回線を経由して通報するようにしてある。また警報信号の出力先としては上記に限られない。例えば、監視対象内に設けたスピーカ等より警告音を鳴らしたり、警告メッセージを発するようにしてもよい。さらに、予め登録した利用者等の携帯電話に通信回線を介して通報するようにしてもよい。

以上本実施形態の画像監視装置の構成について説明した。
次に図３および図４、図５に示したフローチャートを参照して、本実施の形態にかかる画像信号処理部３の動作の一例を説明する。図３は、本実施の形態にかかる画像信号処理部３における信号処理のメインフロー図である。図３においてステップＳ１０〜ステップＳ１２０の処理は画像信号処理部３が撮像部２から所定のフレーム周期（例えば０．５ｓごと）で入力画像を取得する度に実行される。

画像監視装置１は、電源投入され、初期設定が完了すると稼動開始する。初期設定として、撮像部２から入力した入力画像を背景画像として記憶部３に記憶される等の処理が行われる。この背景画像は所定の時間間隔で適宜更新される。また、初期設定では、後述の無効領域設定時の解除用タイマー、解除カウンタ、各種フラグの初期化も行われる。

図３のフローチャートにおいて、まずステップＳ１０では撮像部２から入力画像を取得する。取得した入力画像は記憶部３に一時記憶される。記憶部３には現在時刻から所定時間前までの所定枚数分の入力画像が記憶可能な記憶領域が用意されており、当該記憶領域がフルになると、記憶されている最も古い画像を削除して、新たな入力画像を記憶するようにしている。また記憶済みの画像を定期的に外部のハードディスク等にバックアップするようにしてもよい。

次いで、ステップＳ２０にて、不審者判定処理が実行される。この処理は、サブルーチン化されており、不審者を検出したと判定すると不審者フラグをオンとする。この不審者判定処理については図４のフローチャートを用いて後で詳細に説明する。

次にステップＳ３０にてステップＳ２０の不審者判定処理で不審者が検出されたか否かが判定される。不審者を検出したと判定された場合（ステップＳ３０−Ｙｅｓ）、即ち不審者フラグがオンの場合、ステップＳ４０にて出力部５から遠隔の監視センタへ通報が行われる。通報を受けた監視センタのオペレータは送信されてくる画像を確認して監視を継続したり、警察に通報等を行う。また、誤検出であると判断した場合は警報をリセットして、画像監視を中止する。

ステップＳ５０で、画像監視装置１は、不審者と判定された人物領域の周辺に無効領域を設定する。具体的には、無効領域設定手段４１が不審者と判定された人物領域の上下左右所定範囲を無効領域として記憶部３に記憶する。無効領域の形状、サイズについては任意の適当な大きさが選択、設定される。
また無効領域設定の際に、既に設定されている無効領域がある場合は、以前の設定領域を解除して、新たな無効領域を設定する。

不審者判定手段４４は無効領域の設定中は領域内では無効領域の発生要因となった不審者と同じの種別の顔隠蔽者を検出しても不審者度合い（不審者スコア）は加算しない。そのため、同種別の顔隠蔽者は不審者と判定されない。例えば、フルフェースのヘルメットの顔隠蔽者を不審者と判定し、無効領域を発生させた場合は当該無効領域内では、フルフェースのヘルメットの顔隠蔽者を検出しても不審者スコアを加算しないが、異なる種別の不審者である目出し帽の顔隠蔽者を検出した場合は不審者スコアは加算され、不審者と判定される可能性がある。これは無効領域が解除されるまで継続する。

無効領域が設定されると、それに伴いステップＳ６０でタイマー１がスタートする。タイマー１は無効領域自動解除のためのもので、予め設定された所定時間（例えば３分）を計時すると無効領域が自動解除される。但し、後述の所定条件を満たすとリセットされて、０からリスタートする。また、無効領域はタイマー１のタイムアップの他、後述の解除条件を満たした場合及び前述の新たな無効領域が設定された場合も自動的に解除される。

ステップＳ７０では、無効領域の設定の有無が判定される。無効領域が設定されていない場合（ステップＳ７０−Ｎｏ）はステップＳ１２０へ進む。無効領域が設定されている場合は、ステップＳ８０へ進み、無効領域の解除条件判定処理を行う。ステップＳ８０の解除条件判定は、サブルーチン化されており、後で詳しく説明する。

ステップＳ９０で無効領域の解除条件を満たす場合（ステップＳ９０−Ｙｅｓ）、ステップＳ１００で無効領域を解除し、ステップＳ１１０でタイマー１をリセットする。ステップＳ９０で解除条件を満たさない場合は、ステップＳ１２０へ進む。ステップＳ１２０では、処理を継続するか否かが判定される。電源オフ等しない限り、再びステップＳ１０へ戻り処理を継続する。

次に、ステップＳ２０にて実行される不審者判定処理について図４のフローチャートを用いて詳細に説明する。ステップＳ２０の不審者判定処理では、不審者と判定すると不審者フラグをオンにして図３のメインルーチンに返す。

図４のフローチャートでは、まずステップＳ２０２にて、人物領域抽出手段４１が、取得された入力画像を処理し、人物領域の抽出を行う。人物領域の抽出方法は記憶部３に記憶されている背景画像と入力画像の差分が所定以上の領域を人物領域として抽出する背景差分法などの一般的な方法を採用すれば良い。

なお、所定の条件を満たす人物領域を抽出しない場合（ステップＳ２０３−Ｎｏ）には、監視領域内は無人であるとして、このルーチンを抜けて図５のメインのフローチャートに戻る。人物領域が抽出された場合（ステップＳ２０３−Ｙｅｓ）はステップＳ２０４へすすむ。

ステップＳ２０４では、人物領域抽出手段４１は記憶部３に記憶されている前フレームの入力画像から取得された人物領域情報を参照し、現フレームで抽出された人物領域と前フレームで抽出された人物領域の対応づけ処理を行う。前フレームで人物領域が抽出されていなければ、現フレームで抽出された人物領域に新たな管理番号を付与して、その大きさ、位置等の情報を人物領域情報として記憶部３に記憶する。

ステップＳ２０５では頭部候補領域抽出手段４２により人物領域内で、予め用意した頭部輪郭パターンによるパターンマッチング等を行い、人物の頭部候補領域を抽出する。そしてステップ１０６では顔隠蔽判定手段４３により、抽出された頭部候補領域がサングラス及びマスク、覆面、フルフェースヘルメット等により顔の大部分を隠蔽しているか否かを算出し、ステップＳ２０７にて顔隠蔽されているか否かを判定する。

ステップＳ２０７で顔隠蔽されていない場合、もしくは頭部候補領域が抽出されない場合（ステップＳ２０７−Ｎｏ）は、このルーチンを抜けて図３のメインフローに戻る。
顔隠蔽されていると判定すると（ステップＳ２０７−Ｙｅｓ）、次にステップＳ２０８で抽出された頭部候補領域の位置が無効領域内にあるか否かを判定する。無効領域が設定されていない場合や、頭部候補領域が無効領域外に位置する場合は、ステップＳ２１０で当該ラベルに対する不審者スコアを加算して、ステップＳ２１１へ進む。

一方、ステップＳ２０８で顔隠蔽されている頭部候補領域が無効領域内に存在すると判定された場合、当該候補領域の顔隠蔽種類が無効領域を発生させた頭部候補領域の顔隠蔽種別と同一のものか否かを判定する。例えば、人物の後頭部をフルフェースのヘルメットによる顔隠蔽者と判定し、不審者の検出を行って無効領域を設定した場合に、異なる顔隠蔽の種別である覆面による顔隠蔽者を検知した場合は、無効領域を発生させた頭部候補領域とは異なる種別の顔隠蔽である。従ってこの場合（ステップＳ２０９−Ｎｏ）ステップＳ１１０へ進み、不審者スコアは加算される。ステップＳ２０９で同種の顔隠蔽と判定された場合（ステップＳ２０９−Ｙｅｓ）は、不審者スコアは加算しないで、このルーチンを抜けて図３のメインフローへ戻る。

ステップＳ２１１では顔隠蔽した頭部候補領域が不審者判定条件を満たすか否かが判定される。不審者判定条件としては、例えば連続する所定フレーム（例えば５フレーム）内で所定数以上（例えば３フレーム）顔隠蔽者が検出されるなどが設定される。不審者判定条件を満たす場合（ステップＳ２１１−Ｙｅｓ）、ステップＳ２１２で不審者と判定したとして不審者フラグをオンにして図３のメインフローへ戻る。

不審者判定条件を満たさない場合(ステップＳ２１１−Ｎｏ)はこのルーチンを抜けて図３のメインフローへ戻る。
以上、ステップＳ２０の不審者判定処理について説明した。

次に図５のフローチャートを用いて、ステップＳ８０の無効領域の解除条件判定処理について詳しく説明する。解除条件の判定の結果、無効領域を解除する場合は解除フラグをオンにして図３のメインフローに返す。まずステップＳ７０１で、タイマー１が予め設定した所定時間を計時したか（タイムアップ）否かが判定される。タイムアップしている場合はステップＳ７１０へ進み、ステップＳ７１０で解除フラグをオンにして、このルーチンを抜ける。

ステップＳ７０１で現時点でタイマー１がタイムアップしていない場合はステップＳ７０２へ進む。Ｓ７０２では、無効領域内に無効領域設定時に不審者として検出された人物領域と同じ種別の顔隠蔽者がいるか否かが判定される。この処理は、図４のフローチャートのステップＳ２０８の判定と同じである。前述のように不審者判定処理では、同じ種別の顔隠蔽者が検出されても不審者スコアは加算されない。しかし、ここではステップＳ７０３でタイマー１が０にリセットされ、リスタートする。従って、無効領域内で例えば人の後頭部をフルフェースのヘルメットと誤認識して、監視センタに不審者情報が通知され、監視員がリセット操作をした場合に、当該誤報を発生させた人物が引き続き入力画像上に検出されたとしても、無効領域内に存在する限り、不審者と判定されることはない。

次にステップＳ７０４にて無効領域内の人数が無効領域が発生した当初時より増加しているか否かが判定される。ここでは人数の増加は、頭部候補領域の数でカウントしている。無効領域内の人数（頭部候補領域数）が当初より増えている場合は（ステップＳ７０４−Ｙｅｓ）、ステップＳ７１０へ進み、ステップＳ７１０へ解除フラグをオンにしてこのルーチンを抜ける。これにより、仮に無効領域内に別の不審者が入ってきた場合でも早期に無効領域を解除して不審者判定をすることが可能となる。なお、ここでは人数の増減を頭部候補領域の数としてカウントしているが、人物領域の数をカウントするようにしてもよい。

これを図６を用いて詳細に説明する。今、図６（a）においてある時刻での入力画像１０００上で検出された人物領域１００２、およびその頭部候補領域１００３が検出され、顔隠蔽した不審者と判定されたとする。このとき人物領域１００２の周辺に無効領域１００１が設定される。そして、次の時刻において図６（ｂ）の入力画像１１００上で無効領域内で別の人物による人物領域１００４、およびその頭部候補領域１００５が検出されたとする。この場合は、無効領域内の人数（頭部候補領域）が増えたと判定されるため、無効領域１００１は直ちに解除される。

無効領域の解除は増加した人物が、顔隠蔽者か否か、あるいは顔隠蔽者の種別が無効領域を発生させた不審者の種類が同じ種別か異なる種別かに関わらず実行される。前述のように異なる種別の顔隠蔽者であれば、不審者スコアは加算され、無効領域の解除を行わなくても失報することはない。しかし、同じ種別の顔隠蔽者（不審者）が後から無効領域内に入ってきた場合には失報する可能性があるため、このような処理が行われる。

ここで、領域サイズを人物領域程度にすれば、上記のような処理は不要であるが、そうすると人物が少し移動した程度で無効領域から出てしまう。この場合、無効領域の発生の原因となった不審者と判定された人物が、実は誤検出であった場合には、再び不審者と判定されてしまうため好ましくない。従って、無効領域はある程度、大きく設定しておいて上記のような処理を行うのが好ましい。

次にステップＳ７０５で無効領域が発生した時点の当初人数と比較して、無効領域内の人数が減っているか否かが判定される。ここでも人数は、頭部候補領域数としてカウントする。人数が減っている場合は、ステップＳ７０７へ進み解除カウンタ１をインクリメントする。この解除カウンタ１は、無効領域設定時に０に設定される。そして、ステップＳ７０８で解除カウンタ１があらかじめ設定した値（例えば１０）を超えているか否かが判定される。予め設定した値を超えている場合（ステップＳ７０８−Ｙｅｓ）、ステップＳ７１０で解除フラグをオンにしてこのルーチンを抜ける。

ステップＳ７０４では無効領域内での人数が当初人数より増加した場合には、即座に解除フラグをオンにしてこのルーチンを抜けたが、無効領域内の人数が当初人数より減少した場合（ステップＳ７０５からＳ７０８の処理）は、即座に解除フラグをオンにせず、上述のように予め設定した条件を満たす場合に無効領域を解除するようにしている。

これについて図７を用いて詳しく説明する。図７（a）においてある時刻での入力画像２０００上での人物の人物領域２００２の頭部候補領域２００３が顔隠蔽による不審者として判定されたとする。この場合無効領域２００１が設定される。無効領域２００１設定時には領域内に人物２００２と人物２００４について２つの頭部候補領域２００３、２００５が検出されたとする。

次の時刻における入力画像２１００において人物の人物領域２１０２からは頭部候補領域２１０３が検出されているが、他の人物の人物領域２１０４には頭部候補領域が未検出となっている。これは人物が俯く等により頭部らしい部分が検出されなかった場合が想定される。この場合、人数が減ったと検出されても、すぐ次のフレームで元に戻る可能性が高い。従って、このような場合に無効領域を解除してしまうと、前述のように人物領域２００２の頭部候補領域２００３を顔隠蔽していないにも関わらず、不審者として誤検出している場合は、誤報が多発してしまう可能性がある。従って、人数が増加した場合と比べて、人数が減少した場合は、その状態が所定フレーム数継続した場合に無効領域を解除するようにしている。

ステップＳ７０６では、無効領域内の人数が当初人数と同じか否かが判定される。そして人数が同じであると判定するとステップＳ７０９で解除カウンタ１をリセットする。これは例えば、ステップＳ７０５で現在人数が当初人数よりも減少したと判定されたとしても、解除カウンタ１がカウントアップする前に現在人数が当初人数に復帰されば解除カウンタをリセットして、無効領域の設定を維持する。

以上、ステップＳ８０の解除条件判定の詳細フローを図７を用いて説明した。前述のようにステップＳ９０において、ステップＳ８０の解除条件判定により無効領域の解除条件を満たすか否か、即ち、解除フラグがオンとなっているか否かを判定し、解除条件を満たしている場合は、無効領域が解除されて処理が継続される。

以上、本発明の画像監視装置についての実施形態についての説明を行った。上記説明の実施形態の変形例として、上記で無効領域設定手段４５により設定された無効領域内では無効領域の発生の要因となった不審者と同種別の顔隠蔽者が検出されたとしても不審者として検出しないようにしていたが、これを種別によらず顔隠蔽者が検出された場合は不審者と判定しないようにすることもできる。
但し、この場合は、無効領域の発生させた要因とは異なる種別の不審者が無効領域内に入ってくる可能性もあるため、無効領域内の人数が増加した場合は無効領域の設定を直ちに解除するようにする。

これにより、例えば不審者が検出されと判定して遠隔の監視センタに通報がなされ、これが誤報であった場合に、不審者として検出された人物の周辺に無効領域を設定することで、当該人物が不審者として再び判定されることを防ぐことができる。そして無効領域内に実際に不審者が入ってきたとしても、無効領域内の人物領域の数が増えたことを検出して、無効領域の設定を解除することにより、不審者の検出が可能となる。

この変形例を実現するためには、図４のステップＳ２０９の処理を省略し、さらに図５のステップＳ７０２の判定において無効領域内に同種別に関わらず顔隠蔽者を検出した場合にステップＳ７０３でタイマをリスタートするようにすればよい。

尚、上記説明を行った実施形態及び変形例について不審者として顔隠蔽をしたものについて説明を行ったが、本発明で想定している不審者は顔隠蔽者に限定されることはない。例えば、挙動不審者、異常行動者を不審者の種別としておくこともできる。
さらに、本画像監視装置における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

１・・・画像監視装置
２・・・撮像部
３・・・記憶部
４・・・画像信号処理部
５・・・出力部
６・・・重要監視物

Claims (6)

1. 監視領域を撮像した画像を取得する撮像部と、
   前記撮像部が順次取得した入力画像を処理し、不審者を検出したと判定すると警報信号を生成する画像信号処理手段と、
   前記警報信号を出力する出力部とを備えた画像監視装置であって、
   前記画像信号処理手段は、
   前記撮像画像を過去画像と比較して人物領域を抽出する人物領域抽出手段と、
   前記人物領域の画像特徴より複数の不審者種別を識別して不審者判定をする不審者判定手段と、
   前記警報信号を生成すると、前記不審者と判定された前記人物領域を含む所定領域を無効領域として設定する無効領域設定手段とを含み、
   前記無効領域内では、前記警報信号を発生させた不審者種別と同じ種別の不審者を検出せず、異なる種別の不審者を検出した場合に警報信号を出力する画像監視装置。
2. 前記画像信号処理手段は、
   前記人物領域上にて頭部候補領域を抽出する頭部候補領域抽出手段と、
   前記抽出された頭部候補領域が予め記憶された複数の顔隠蔽種別のいずれかを判別して、顔隠蔽しているか否かを判定する顔隠蔽判定手段とを含み、
   前記不審者判定手段は、
   前記顔隠蔽判定手段の判定結果に基づいて不審者の判定を行うことを特徴とする請求項１の画像監視装置。
3. 前記不審者判定手段は、前記頭部候補領域に対する顔隠蔽判定結果に基づいて不審者度合いを蓄積し、複数の撮像画像上で蓄積された不審者度合いが所定値を超えると不審者と判定し、
   前記無効領域内では、前記無効領域設定時に検出された不審者と同一種別の顔隠蔽者が検出されても前記不審者度合いを蓄積しないことを特徴とする請求項２に記載の画像監視装置。
4. 前記無効領域設定手段は、前記無効領域内で検出される前記頭部候補領域の数が無効領域設定時より変化した場合は、前記無効領域の設定を解除することを特徴とする請求項２又は３に記載の画像監視装置。
5. 前記無効領域設定手段は、前記無効領域内で検出される前記頭部候補領域の数が無効領域設定時より増えた場合は、直ちに前期無効領域の設定を解除し、前記頭部候補領域の数が減った場合は所定時間経過後に前記無効領域の設定を解除することを特徴とする請求項４に記載の画像監視装置。
6. 監視領域を撮像した画像を取得する撮像部と、
   前記撮像部が順次取得した入力画像を処理し、不審者を検出したと判定すると警報信号を生成する画像信号処理手段と、
   前記警報信号を出力する出力部とを備えた画像監視装置であって、
   前記画像信号処理手段は、
   前記撮像画像を過去画像と比較して人物領域を抽出する人物領域抽出手段と、
   前記人物領域の画像特徴より不審者判定をする不審者判定手段と、
   前記警報信号を生成すると、前記不審者と判定された前記人物領域を含む所定領域を不審者判定を行わない無効領域として設定する無効領域設定手段とを含み、
   前記無効領域設定手段は、前記無効領域内で検出される前記人物領域の数が無効領域設定時より増加した場合は、前記無効領域の設定を解除することを特徴とする画像監視装置。