JP2012034253A - 画像監視装置 - Google Patents

Abstract

【課題】監視対象物である金庫や保管庫に近づく人物が検出された場合、内部犯行の可能性があるとして通報する画像監視装置を提供する。
【解決手段】画像監視装置１０は、撮像部２０にて取得された画像を処理し、追跡手段４２による追跡結果と認証手段４５による認証結果から、管理者権限を持つ人物が監視領域に存在しない状況下で金庫に近づく人物が検出されると、出力部５０を制御し、警報信号を管理者に通知または外部に通報する制御手段４６を備える。制御手段４６は、管理者権限を持つ人物が存在する状況下では、警報信号を出力しないよう出力部５０を制御する。
【選択図】図２

Description

本発明は、監視領域を撮影した画像を用い、監視対象となる重要物に近づく不審人物を検出する画像監視技術に関する。

従来、監視領域に侵入する人物を検出する監視装置においては、警備セットと警備解除とを切り替え、警備セット状態において、無人状態であるはずの監視領域に侵入した人物の検出を行うのが一般的である。

警備セット状態において、監視装置が監視領域に人物を検出すると、電話回線を用いて警備会社などに通報する。
警備解除状態では、監視装置が監視領域に人を検出しても警備会社などへの通報はしない。監視領域への人の出入りは自由である。

ここで、監視領域に金庫のような重要物が設置されていると、監視領域の管理者権限を持つ人物であればまだしも、その権限を持たない人物が重要物に近づくならば、その人物は金品を持ち去るなどの犯行を企む不審人物である可能性があり、犯行が予見されるが、警備解除状態では通報はしないことになる。監視領域への出入りが自由である警備解除状態であっても、犯行が予見される条件を満たした人物が検出されたならば不審人物と考え、むしろ通報する方が望ましい。

同様に、監視領域への出入りが自由な状況で犯行が予見される条件を満たした人物を検出した場合に通報するのが望ましいのは、不特定多数の人物が出入りし、継続的に不審人物の検出が求められる監視領域においても同様である。

特許文献１には、監視領域にＩＣタグ通信端末と人数計数装置を備えておき、ＩＣタグによる認証情報を基に、登録済みの人物の人数とその監視領域に存在する人物の人数を比較して警報を発するシステムが開示されている。

このシステムでは、監視領域に登録者も未登録者も自由に出入りできるとし、未登録の人物のみの状況に登録者が加わっても単純に警報を止めるのではなく、登録者と未登録者の有無の組み合わせに基づいて警報パターンを可変としている。
これにより、後から駆けつけた警備員が人物の出入りと警報パターンの変化を観察することで、いずれの人物が未登録者であるかを認識できるものとしている。

特開２００９−１４０１２９号公報

特許文献１でいう登録者を監視領域の管理者権限を有する人物（権限者）と考え、未登録者を当該管理者権限を有さない人物（無権限者）と考えて、重要物に近づく無権限者が存在すると、犯行が予見されるとして通報する監視装置に適用しても望ましい運用になるとは限らない。

これは、特許文献１ではＩＣタグによる認証情報を基に、監視領域における登録者（権限者）と未登録者（無権限者）の組み合わせを参照するのみで、追跡処理は行わないため、無権限者が重要物から離れていても、または無権限者が重要物に接近していても、または無権限者が重要物の近傍に留まっていても、犯行の意図の有無に関わらず同様の警告を発することになり、権限者や警備会社などが適切な対応が困難となるからである。
一方で、権限者が監視領域に同時に存在する場合には、威嚇効果が働き、無権限者が犯行を企んでも実行することは考えにくいにも関わらず、不要な警報を発することとなる。

そこで本発明では、監視領域を撮影した画像を処理し、その画像中の人物について権限認証を行い、権限者が監視領域に存在せず犯行が予見される状況では、重要物と無権限者の位置関係に応じた通報する一方で、権限者が存在する状況では通報は不要とする画像監視装置の提供を目的とする。

本発明は、監視対象物を含む監視領域を撮像した画像を取得する撮像部と、撮像部が順次取得した入力画像を処理し、警報信号を生成する画像信号処理部と、警報信号を出力する出力部と、画像上における監視対象物の至近領域と監視領域の管理者の識別情報を登録識別情報として予め記憶する記憶部とを備え、画像信号処理部は、入力画像から人物像を抽出して追跡し、当該人物像の位置情報を出力する追跡手段と、入力画像から人物の識別情報を抽出して人物像と対応づける対応付け手段と、識別情報を登録識別情報と照合して、各人物像が管理者か否かを認証する認証手段と、人物像のいずれもが管理者でないと人物像の追跡結果に応じて警報信号を出力部に出力させ、人物像に少なくとも一の管理者が含まれていると出力部に警報信号の出力を禁止させる制御手段を有する画像監視装置を提供する。

かかる画像監視装置において、制御手段は、人物像の位置が至近領域外から至近領域内に変化すると、出力部に管理者へ警報信号を出力させることが好ましい。

かかる画像監視装置において、制御手段は、人物像の位置が至近領域内に継続的に含まれると、出力部に少なくとも外部へ警報信号を出力させることが好ましい。

かかる画像監視装置において、制御手段は、至近領域内に管理者の人物像と管理者でない人物像とが所定時間継続して位置していると、出力部に警報信号の出力の禁止を解除させることが好ましい。

かかる画像監視装置において、識別情報が顔画像であり、認証手段が入力画像から抽出した顔画像を予め記憶した登録顔画像と照合することが好ましい。

本発明にかかる画像監視装置は、得られた画像に含まれる人物についての認証結果とその画像中の位置に応じた適切な通報ができるとともに、不要な通報や通報漏れを防ぐことができる。

一つの実施の形態として、本発明にかかる画像監視装置が店舗の事務室に設置された様子を表す模式図である。 本実施の形態にかかる画像監視装置の概略構成図である。 管理者権限を持たない人物が事務所にいる様子を表す模式図である。 管理者権限を持つ人物も同伴して事務所にいる様子を表す模式図である。 後から管理者権限を持たない人物が金庫に接近し、強盗事件発生が予見される様子を表す模式図である。 証拠として記録される画像の模式図である。 本実施の形態にかかる画像監視装置の動作を表す全体フロー図である。 人物像の追跡結果に応じて、フラグやカウンタの値を更新する処理を表すフロー図である。 人物像の追跡結果と認証結果に応じて、警報信号出力の有無、通報先を切り替えるフロー図である。

以下、図を参照しつつ、本発明にかかる画像監視装置の一つの実施の形態として、当該画像監視装置を、スーパーマーケットなどの店舗の事務室に設置した場合を例に取り上げて説明する。事務室には監視対象物である重要物の例として、金庫が設置されているとする。
警備解除となる開店時間中は、店長など管理者権限を持つ人物が、売上金の保管のため金庫を操作することを目的に入室可能なことはもちろん、管理者権限を持たない従業員やアルバイトも事務室に入室可能である。

従業員やアルバイトは、通常、金庫を操作する必要は無いため、警備解除状態で事務室に入室可能とはいえ、金庫に近づくことは不審な行動であると考えられる。当然、業務の都合で偶然金庫に近づくこともあるが、管理者権限を持つ人物が不在の状況で金庫の近くに留まるなどの場合には、従業員やアルバイトによる金品の持ち去り、つまり内部犯行の可能性があるとして通報する。一方で、管理者権限を持つ人物も事務室に存在している場合には、内部犯行は起きないとして、通報しないものとする。
但し、管理者権限を持つ人物が金庫を操作している状況で、管理者権限を持たない人物が近づくと、金庫が開いているタイミングを見計らって強盗を企てようとする状況であるとして通報する。

本実施の形態においては、本発明にかかる画像監視装置は、２つのカメラを備え、それらカメラから取得された画像を処理するとして説明する。また、人物の識別情報としては顔画像を用いるものとして説明する。
カメラの１つは、天井に設置され、概略鉛直下向きに向けられている。もう１つのカメラは、金庫の上方に概略水平向きに向けられたカメラである。２つのカメラは、撮影方向は異なるものの、視野は共通に事務室全体を含むものとする。この事務室が監視領域である。

図１（ａ）は、本発明にかかる画像監視装置が、事務室に設置された様子を表す模式図である。設置場所としては事務室の他、店頭に陳列する前の商品が棚に並べられた保管庫があるバックヤードなどが例示できる。
図１（ａ）において、事務室の床３の隅に金庫１が設置されている。点線で示した符号２は、金庫１を操作可能な領域であり、金庫１の至近距離を条件に設定される。本実施の形態ではそれを至近領域と称している。これは画像監視装置の内部で保持される領域情報であり、床３に実際に描かれているわけではない。

追跡用カメラ２１は、事務室の天井に概略鉛直下向きに設置され、取得された画像を処理して、事務室に存在する人物の追跡処理に用いられる。追跡用カメラ２１から取得された画像を本実施の形態では追跡用画像と称するものする。追跡用画像の例を図１（ｂ）に示す。図１（ｂ）からわかるように、事務室の床３を移動する人物について、その位置を容易に把握することができる。例えば金庫１に近づいているか否か、あるいは一定の場所で留まっているか否か、即ち滞留しているか否かなどである。

認証用カメラ２２は、金庫１の上方に概略水平方向に向けて設置されており、取得された画像を処理し、その画像中に含まれる人物の権限の認証をするために用いられる。
権限の認証とは、店長など店舗の管理者の権限を有する人物であるか否か、店舗の関係者ではあるものの管理者の権限を有さない従業員やアルバイトか否か、あるいはそのいずれでもない第三者か否かを判定することである。

認証用カメラ２２から取得された画像を本実施の形態では認証用画像と称するものとする。認証用画像の例を図１（ｃ）に示す。図１（ｃ）からわかるように、概略水平方向に向けられたカメラの画像であることを活かし、画像中の人物が顔を認証用カメラ２２に向けている状態であれば人相を把握できる。そして顔画像認証技術を用いることで認証が可能となる。
なお、認証用画像は、画像中の人物について人相の他、服装や背格好の情報も取得可能であるため、証跡性の確保を目的とした画像として、記録するためにも用いられる。

図１（ｂ）と同（ｃ）からわかるように、追跡用カメラ２１と認証用カメラ２２の視野は、ほぼ共通に事務室を含むものとし、追跡用画像を用いて追跡されている人物について、認証用画像から顔画像が取得され得るものとする。また、追跡用カメラ２１と認証用カメラ２２は、後述するように画像監視装置の撮像部を構成する。

図２は、一つの実施形態としての本発明にかかる画像監視装置１０の概略構成図である。画像監視装置１０は、撮像部２０と、記憶部３０と、画像信号処理部４０と、出力部５０とを有する。

撮像部２０は、CCDまたはC-MOSなど、可視光または近赤外光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。撮像部２０は、例えば、NTSC規格に従って、連続的に撮影を行うカメラとすることができる。あるいは、撮像部２０は、いわゆるハイビジョンなど、より高解像度な画像を生成するものでもよい。なお、撮像部２０は、前述のように追跡用カメラ２１と認証用カメラ２２とから構成される。そして撮像部２０は、本実施の形態では事務室を撮影した画像を、例えば、各画素の輝度が256階調で表される濃淡画像あるいはカラー画像として生成する。

撮像部２０は、画像信号処理部４０の図示しないインターフェース部と接続されており、撮像部２０は、追跡用カメラ２１と認証用カメラ２２が画像を生成する度に、その生成した画像を入力画像として画像信号処理部４０へ出力する。

記憶部３０は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（HDD）などの記憶装置を有する。
記憶部３０は、画像監視装置１０で使用される各種のプログラム及びデータを記憶する。また記憶部３０は、例えば、画像監視装置１０が起動したとき、あるいは定期的に撮像部２０から取得した、人物が写っていない入力画像を背景画像として記憶する。さらには、追跡用カメラ２１と認証用カメラ２２から抽出された人物どうしの対応付けのため、両カメラの位置関係に関する情報も記憶しておく。

記憶部３０は、そのほかに登録顔画像３１と、人物情報３２と、領域情報３３を記憶する。
登録顔画像３１は、画像監視装置１０が設置される店舗の管理者権限を持つ人物、例えば店長の顔画像、店舗の関係者ではあるものの管理者権限を持たない従業員やアルバイトの顔画像である。管理者権限の有無、氏名あるいは社員番号と対応づけて記憶されている。
登録顔画像３１は、予め特徴量を抽出しておいて記憶しておくものとする。顔の画像をそのまま記憶していても良い。登録顔画像３１は、後述する認証手段４５における認証処理に用いられる。

人物情報３２は、後述する追跡手段４２において、追跡用画像を用いて追跡された人物の情報を格納しておく領域である。人物情報３２の構成の詳細を図２（ｂ）に示す。
人物情報３２は、管理者フラグ３２０、追跡位置３２１、滞留カウンタ３２２、接近フラグ３２３、滞留者フラグ３２４、人物特徴量３２５から構成されている。画像監視装置１０の設置場所の事情や、運用の方針により他の情報を追加したり、用いない情報があっても良い。

管理者フラグ３２０は、追跡手段４２が追跡用画像を用いて追跡する人物について、認証手段４５がその人物が管理者であると認証した場合に、認証手段４５がセットするフラグである。例えば“１”にセットする。
追跡手段４２が追跡する人物のいずれについても、管理者フラグ３２０がセットされていない場合、事務室には管理者権限を持つ人物が存在しないことになる。

追跡位置３２１は、追跡手段４２が追跡用画像を用いて追跡する人物について、各時刻における追跡画像中での位置（座標）を記憶する領域である。
この追跡位置３２１が至近領域２の内部であるか否か、あるいは管理者権限を持つ人物と持たない人物との位置関係で、警報信号を出力するか否かの処理を異ならせるために用いられる。

滞留カウンタ３２２は、追跡手段４２が追跡用画像を用いて追跡した人物が、至近領域２の内部に存在したフレーム数を計数するためのカウンタである。フレーム数に代わり、時間を計数しても良い。
至近領域２の内部に存在する、ということは、事務室において金庫１にすぐ手が届く位置にいることを意味している。

接近フラグ３２３は、追跡手段４２が追跡用画像を用いて追跡した人物が、至近領域２の外部から内部に移動した、と判断された場合に、追跡手段４２がセットするフラグである。
即ち、初期状態では“０”にリセットされていた滞留カウンタ３２２が、“１”にセットされた場合に、接近フラグ３２３が“０”から“１”にセットされる。
接近フラグ３２３がセットされた人物は、事務室において金庫１に近づいたことを意味するので、内部犯行を企てる可能性のある人物と考えられる。

滞留者フラグ３２４は、滞留カウンタ３２２が所定の滞留閾値以上となった場合に“０”から“１”に追跡手段４２がセットするフラグである。即ち、このフラグが“１”にセットされた人物は、至近領域２の内部に所定時間以上留まる滞留者であるため、その人物が金庫に１対して何らかの操作をしている、と考えられる状況であることを意味している。

人物特徴量３２５は、人物像抽出手段４１が抽出した人物像について、追跡手段４２が追跡処理に用いる特徴量である。即ち、前時刻で抽出された人物像の画像上の特徴である、大きさ、輝度情報、色情報、テクスチャ情報などである。追跡手段４２にて行われる処理に適したものを適宜採用する。追跡位置３２１も人物特徴量３２５の一つとして流用しても良い。

領域情報３３は、監視対象物である金庫１に手が届く領域について、追跡用画像と認証用画像上での領域情報を記憶しておくものである。図１（ａ）の模式図でいう至近領域２を特定する情報を記憶しておく。

画像信号処理部４０は、撮像部２０から入力された入力画像を、記憶部３０に記憶された情報を参照して、事務室に存在する人物の追跡や認証、警報信号の送出などの処理を行う。
画像信号処理部４０は、人物像抽出手段４１、追跡手段４２、顔画像抽出手段４３、対応付け手段４４、認証手段４５、制御手段４６から構成される。これらは、記憶部３０に記憶されるプログラムモジュールにて実現されるものである。

人物像抽出手段４１は、追跡用画像を処理対象とし、事務室に存在する人物について、その人物像を抽出する。そのために人物像抽出手段４１は、記憶部３０に記憶されている、無人状態という条件下で取得された追跡用画像を背景画像とし、現時刻で取得された追跡用画像との画素毎の差分を求め、所定の閾値で２値化して、人らしい条件を満たす変化領域の内部の画像を人物像として抽出する。また、追跡用画像中における変化領域の重心位置（座標値）を現時刻における追跡位置とする。
追跡用画像は図１（ｃ）に例示されているように、事務室の天井付近から概略鉛直下向きに見下ろした画像であるので、人物像抽出手段４１で抽出される人物像は、頭頂部と両肩を上から見た形状のものとなる。
人物像抽出手段４１で行われる処理は、画像処理技術の分野では一般的に行われる背景差分処理で十分なので、詳細は省略する。

追跡手段４２は、前時刻にて人物像抽出手段４１により抽出され、記憶部３０に記憶されている各人物像に関する人物情報３２と、現時刻にて人物像抽出手段４１により抽出された各人物像と関連づけることで、人物像の追跡を実現する。
そのために、追跡手段４２は、現時刻において人物像抽出手段４１により抽出された各人物像から特徴量を抽出する。そして、記憶部３０に記憶されている各人物情報３２の人物特徴量３２５と比較する。さらに現時刻での追跡位置と記憶部３０に記憶されている追跡位置３２１がある程度近いもの、という条件も加味し、最も類似していると判断される人物特徴量３２５を選択して、現時刻の人物像と関連づける。追跡手段４２は、関連づけられた人物情報３２の追跡位置３２１と人物特徴量３５２を、現時刻における人物像の追跡位置と人物特徴量にて更新する。

現時刻で抽出された人物像のうちで、記憶部３０に記憶されている人物情報３２と関連づけられなかった人物像は、追跡用画像に新たに出現した、つまり事務室に入室した人物である、と判断する。
記憶部３０に記憶されている人物情報３２のうちで、現時刻で抽出された人物像に関連づけられなかったものがある場合には、その人物情報３２は、追跡用画像の視野外に移動した、つまりは事務室から外に出たと判断し、記憶部３０から消去する。あるいは、一定時間は保持しておき、その間は上記の関連づけ処理を試みるものとしてもよい。
上述した追跡手段４２における処理は、画像処理技術の分野における追跡処理として一般的なものであるので、詳細は省略する。

顔画像抽出手段４３は、認証用画像を処理対象とし、人の顔を含む顔画像を抽出する。そのために、顔画像抽出手段４３は、認証用画像から公知の方法にてエッジを抽出し、人の顔、つまりは頭部らしい形状と大きさを持つ楕円形状の領域を抽出する。例えばハフ変換により楕円成分の検出手法を採用できる。あるいは、識別器と呼ばれる、特定の画像領域を検出する方法を採用しても良い。
人の顔画像を抽出する方法は、本願出願人が権利者となっている特許４３９０４８７号公報に開示されている方法も適宜使用できる。

対応付け手段４４は、追跡手段４２にて追跡されている人物像と、顔画像抽出手段４３にて抽出された顔画像とを対応づける。
そのために、対応付け手段４４は、人物像の頭髪と両肩部分の色情報と、顔画像の対応する部分の色情報を比較することで対応づける。あるいは、両画像中での座標情報を用い、複数カメラ間での物体の対応づけにおいて周知な技術であるエピポーラ線に依る方法を採用しても良い。本願出願人は、特開２０１０―０４５５０１号公報にてエピポーラ線による対応付けの技術を開示している。

認証手段４５は、顔画像抽出手段４３が抽出した顔画像と、記憶部３０に記憶されている登録顔画像３１とを比較照合し、追跡手段４２にて追跡している人物が、管理者権限を有する人物、例えば店長のものであるか、そうではない従業員のものであるかを判定する。そして、管理者権限を有すると判定された顔画像に関連づけられた人物情報３２の管理者フラグを“１”にセットする。
顔画像どうしの比較照合は、顔画像照合技術において一般的に行われている方法を適宜採用すれば良いので、詳細は省略する。

制御手段４６は、追跡手段４２による追跡結果、認証手段４５による認証結果から、出力部５０を制御して、警報信号を出力させるか否かを決定する手段である。事務室に存在する人の位置や、管理者権限の有無、およびそれらの組み合わせで決定する。また、認証用画像を証跡性の確保を目的として、記憶部３０に記憶させる。それを図３乃至６を参照して説明する。

図３は、事務室に管理者権限を持たない人物、例えば従業員のみが存在する場合を模式的に示している。図３の左側の図は事務室を俯瞰する模式図であり、右側の図は、左側の模式図の状態で取得された追跡用画像である。
図３において、図１の模式図に示されている符号と同じ符号が付されているものは図１のものと同様なので、説明は省略する。
図３では、符号７が付されている人物が１名、事務室に入室した様子を示している。当該人物は管理者権限を持たない従業員である。

図３（ａ）では、従業員７は、事務室に存在するものの、金庫１からはやや離れ、至近領域２の外に位置している。この場合、管理者権限を持つ人物が同時に事務室に存在しないため、従業員７による内部犯行が予見される。そこで制御手段４６は、認証用画像を記憶部３０に記憶させ、万一内部犯行が起きた場合の証拠としておく。記録された認証用画像の例を図６（ａ）に示す。
図６（ａ）からわかるように、従業員７が、人相や背格好が十分把握できるように写っており、証拠としての用をなすものである。
しかし従業員７が単に他の用事で事務室に入室しただけで、内部犯行の意図を有さないことも考えられるため、制御手段４６は出力部５０に対して警報信号を出力させることはしない。

図３（ｂ）では、従業員７は、同図（ａ）の場合よりも金庫１に接近し、至近領域２の内部に踏み入れた様子を示している。この場合、同図（ａ）とは異なり、従業員７が他の用事で事務室に入室しただけとは考えにくく、さらに内部犯行の発生が予見される状態となっている。そこで制御手段４６は、出力部５０を制御し、警報信号を、管理者権限を持つ人物に向けて通報するものとする。通報の方法としては、管理者権限を持つ人物が有する携帯電話に発呼するものとする。あるいは管理者権限持つ人物のみが知り得る特定のメッセージを有する店内アナウンスを流してもよい。

図３（ｃ）では、従業員７は至近領域２の内部で一定時間留まった、即ち滞留した様子を示している。この場合、従業員７は金庫１を操作し、金品を持ち去ろうとする内部犯行の意図をくみ取っても支障がない。
そこで制御手段４６は、出力部５０を制御し、警報信号を外部、例えば図２では図示しない電話回線にて接続されている警備会社や、警察に通報するものとする。

次に図４では、事務室に従業員７が２名存在するが、管理者権限を持つ店長６も同伴している様子を示している。この場合、仮に従業員７のいずれかが内部犯行の意図を有していたとしても、店長６の目が光り、犯行に及ぶことは難しい。そこで制御手段４６は、従業員７の位置に依らず、出力部５０を制御し、警報信号を出力しないものとする。
ただし、画像監視装置１０は、図３（ａ）の場合と同様に認証用画像を記録しておくものとする。記録された認証用画像の例を図６（ｂ）に示す。

図５では、至近領域２の内部に店長６が存在した後に、従業員７が後ろから近づいて至近領域２内に踏み入れようとする様子を示している。
この場合、店長６が通常業務として店の売上金を金庫に収納したり、あるいは釣り銭の補充のために金庫から小銭を取り出そうとしているタイミングを見計らい、従業員がその金銭を奪おうと金庫に近づいたと考えられる。
そこで、この場合、制御手段４６は出力部５０を制御して、直ちに外部に通報するものとする。外部への通報は図３（ｃ）の場合と同様である。

図２に戻り、出力部５０は、制御手段４６からの指示を受け、警報信号を出力するか否か、出力する場合に、指示を受けた出力先に出力する機能を有する。
出力部５０は、警報信号を、管理者権限を持つ人物に出力する場合には、図示しない電話回線越しに当該人物が持ち歩いている携帯電話を発呼する。警報信号を外部の警備会社等に出力する場合には、図示しない電話回線を経由してその旨通報する。インターネットを使っても良い。
これらの出力方法は周知技術であるので、詳細は省略する。

次に図７乃至９に示したフロー図を参照して、本発明にかかる画像監視装置１０の動作の一例を説明する。
図７は、画像監視装置１０のメインフロー図である。

ステップＳ１０にて、電源投入された画像監視装置１０は、各部の初期化を行う。
具体的には、記憶部３０に記憶されている人物情報３２の初期化を行う一方で、別途図示しない手段により、登録顔画像３１と領域情報３３が記憶部３０に記憶されるものとする。
人物情報３２に必要な記憶領域は、予め想定される最大人数に対応する分だけ用意されるものとするが、動的に記憶領域が確保されるものとしても良い。

ステップＳ２０にて、追跡用カメラ２１は、監視領域である事務室を天井から下に向けて撮影し、追跡用画像を取得する。取得された追跡用画像は図１（ｃ）や図３の右側に例示されている。

ステップＳ３０にて、人物像抽出手段４１は、ステップＳ２０にて取得された追跡用画像を処理し、人物像を抽出する。抽出の方法は背景差分などの一般的な方法を採用すれば良く、既に述べたとおりである。
なお、所定の条件を満たす人物像が抽出できない場合には、事務室は無人であるとして、ステップＳ２０に戻るものとする。

ステップＳ４０にて、追跡手段４２は、記憶部３０に記憶されている人物情報３２を参照し、追跡用画像に存在する人物の追跡処理を行う。具体的な処理は既に述べた通りである。
なお、ステップＳ２０以降のループの初回は、人物情報３２には情報は記憶されていないので、適宜追跡手段４２が把握した情報を人物情報３２に新規に記憶させるものとする。

ステップＳ５０にて、追跡手段４２は、追跡中の人物について、追跡画像中の位置を基に、記憶部３０の人物情報３２に各種情報を保存する。詳細は図８を用いて後述する。

ステップＳ６０にて、認証用カメラ２２は、監視領域である事務室はほぼ水平に撮影し、認証用画像を取得する。取得された認証用画像は図１（ｂ）や図６に例示されている。

ステップＳ７０にて、認証処理が行われる。そのために、顔画像抽出手段４３は認証用画像から顔画像を抽出する。次に対応付け手段４４は、ステップＳ３０にて抽出された人物像とステップＳ５０にて抽出された顔画像とを対応付ける。そして、次のステップＳ８０にて、認証手段４５は、抽出された顔画像と記憶部３０に記憶されている登録顔画像３１とを比較照合する。
処理対象の顔画像が管理者権限を持つ人物と判定された場合に、その顔画像に関連づけられた人物情報３２の管理者フラグ３２０を“１”にセットする。

ステップＳ９０にて、制御手段４６は、ステップＳ５０での処理結果とステップＳ８０での処理結果とを踏まえて、認証用画像の記録を行い、出力部５０を制御して警報信号の出力の有無を決める。詳細は図９を用いて後述する。

次に図８を用いて、ステップＳ５０にて追跡手段４２により行われる人物状態検出処理を説明する。本実施の形態でいう人物状態検出処理とは、追跡用画像を用いた追跡処理の結果、追跡対象となっている各人物像の追跡画像中での座標情報を基に、記憶部３０に記憶されている人物情報３２の内容であるフラグやカウンタなどを更新することを指している。

ステップＳ５００にて、追跡手段４２は、人物情報３２の内容が更新されていない人物像を特定し、処理対象とする。

ステップＳ５０５にて、追跡手段４２は、ステップＳ５００にて特定された人物像に関連づけられた人物情報３２のフラグ類の初期化を行う。具体的には、接近フラグ３２３と滞留者フラグ３２４と“０”に初期化する。

ステップＳ５１０にて、追跡手段４２は、追跡位置３２１と領域情報３３を参照し、処理対象となっている人物像が追跡用画像上において至近領域２内で検出されたか否かを調べる。
至近領域２内で検出された場合には、処理をステップＳ５１５に移し、至近領域２外で検出された場合には、処理をステップＳ５４０に移す。

ステップＳ５１５にて、追跡手段４２は、滞留カウンタ３２２の値を読み出し、１増やして記憶しなおす。

ステップＳ５２０にて、追跡手段４２は、滞留カウンタ３２２の値を読み出し、それが１であるか否かを調べる。
１である場合には（ステップＳ５２０のＹｅｓの分岐）、現時点でその人物像が至近領域２内に移動したことを表し、事務室において、その人物像の人物が金庫のすぐ近くまで移動したことを意味しているので、次のステップＳ５２５にて、接近フラグ３２３を“１”にセットする。
滞留カウンタ３２２が１ではない場合には（ステップＳ５２０のＮｏの分岐）、追跡手段４２は処理をステップＳ５３０に移す。

ステップＳ５３０にて、追跡手段４２は、滞留カウンタ３２２の値を読み出し、所定の滞留閾値以上か否かを調べる。滞留閾値は、管理者が通常業務の一部として金庫１を開け、中の金品を出し入れするのに要する時間を目安に設定するのが好適である。これは、管理者でない者は、たとえ金庫１を開けるための暗証番号を知っていたとしても、開ける作業に手間取るため、それより長く金庫１の前にいると内部犯行の発生が予見できるからである。そこで、例えば滞留閾値を、３分を表すフレーム数とする。

滞留カウンタ３２２が滞留閾値以上である場合には（ステップＳ５３０でＹｅｓの分岐）、ステップＳ５３５に進み、滞留者フラグ３２４に“１”をセットする。これは所定時間以上、金庫のすぐ近くにいる人物は滞留者と判定するものである。
滞留カウンタ３２２が滞留閾値未満である場合には（ステップＳ５３０でＮｏの分岐）、処理をＳ５４５に進める。

ステップＳ５４０にて、追跡手段４２は、滞留カウンタ３２２を０にリセットする。これは、処理Ｓ５４０に処理が移る場合は、人物像が至近領域２外で検出された場合であり、金庫１のすぐ近くにおける滞留の条件を満たさないためである。
滞留カウンタ３２２が０である場合には、改めてリセットする必要はない。

ステップＳ５４５にて、追跡手段４２は、人物情報３２の内容の更新が済んでいない人物像がまだあるかどうかを調べ、ある場合には（Ｎｏの分岐）、処理をステップＳ５０５に戻し、上述の各処理を繰り返す。無い場合には（Ｙｅｓの分岐）、処理終了としてメインフローのステップＳ６０に処理を進める。

次に図９を用いて、図７のメインフローのステップＳ９０の処理を詳述する。
まずステップ９００にて、制御手段４６は、認証用画像を記憶部３０に、事務室に入室した記録として記憶させる。
事務室に人がいる間、すべての認証用画像を記録し続ける必要は無いので、例えば新たに人物像が追跡手段４２にて追跡対象となった時の認証用画像に限定する、などの条件を付けても良い。あるいは事務室には管理者のみが存在することが判明した場合には、一旦記憶させた認証用画像を消去してもよい。あるいは、別途何らかのセンサーを備え、そのセンサーの反応があったときの認証用画像を記録しても良い。

ステップＳ９１０にて、制御手段４６は、追跡手段４２が追跡対象としている人物像に対応した管理者フラグ３２０の値を記憶部３０から読み出し、“１”がセットされている人物がいるかどうかを調べる。
“１”がセットされている人物がいる場合には（Ｙｅｓの分岐）、処理をステップＳ９６０に移す。“１”がセットされている人物が一人もいない場合には（Ｎｏの分岐）、処理をステップＳ９２０に移す。

ステップＳ９２０にて、制御手段４６は、追跡手段４２が追跡対象としている人物像に対応した接近フラグ３２３の値を記憶部３０から読み出し、“１”がセットされている人物がいるかどうかを調べる。
“１”がセットされている人物がいる場合には（Ｙｅｓの分岐）、処理をステップＳ９３０に移す。“１”がセットされている人物が一人もいない場合には（Ｎｏの分岐）、ステップＳ９３０の処理は行わず、処理をステップＳ９４０に移す。

ステップＳ９３０では、管理者権限を持たない従業員が、事務室において金庫１のすぐ近くに来たことを示しているので、制御手段４６は、出力部５０を制御して、管理者にその旨の警報信号を通知する。通知は管理者が持ち歩く携帯電話に自動発呼するものとする。別途専用の店内アナウンスでもよい。ステップＳ９３０は図３（ｂ）の状態に対応している。

なお、図９のフロー図は、撮像部２０にて入力画像が取得される毎に実行されるので、一度管理者に警報信号を出力したら、ステップＳ９３０に処理が移っても、改めての通知は不要とすることもできる。
また、次に述べる滞留者の検出により通報すれば十分である場合には、ステップＳ９２０とＳ９３０の処理は省略することもできる。

ステップＳ９４０にて、制御手段４６は、追跡手段４２が追跡対象としている人物像に対応した滞留者フラグ３２４の値を記憶部３０から読み出し、“１”がセットされ、かつ管理者フラグ３２０が“０”にリセットされている人物がいるかどうかを調べる。
滞留者フラグ３２４が“１”にセットされ、管理者フラグ３２０が“０”にリセットされている人物がいる場合には（Ｙｅｓの分岐）、処理をステップＳ９５０に移す。“滞留者フラグ３２４が１”がセットされ、管理者フラグ３２０が“０”にリセットされている人物が一人もいない場合には（Ｎｏの分岐）、ステップＳ９５０の処理は行わず、メインフローのＳ２０に戻る。

ステップＳ９５０では、管理者権限を持たない従業員が、事務室において金庫１のすぐ近くにおいて、一定時間、例えば３分間にわたり滞留していることを示しているので、制御手段４６は、出力部５０を制御して、警備会社や警察など、外部に対して警報信号を出力させる。ステップＳ９５０は図３（ｃ）の状態に対応している。
なお、図９のフロー図は、撮像部２０にて入力画像が取得される毎に実行されるので、一度外部に警報信号を出力したら、ステップＳ９５０に処理が移っても、改めての通報は不要とすることもできる。

ステップＳ９６０にて、制御手段４６は、管理者フラグ３２０が“１”にセットされた人物について、追跡位置３２１を読み出し、領域情報３３を参照しつつ、管理者権限を持つ人物が事務室において存在しているのが、至近領域２内か否かを判定する。
但し、管理者権限を持つ人物が事務室に存在していることで安全性を確保できているとすれば、ステップＳ９６０を省略し、通報することなく本処理を終了させても良い。

管理者権限を持つ人物が至近領域２外である場合には、管理者の目が光っている状態であり、内部犯行の発生は無いものとして、図９に示す処理は終了し、メインフローのＳ２０に戻る。これは図４の状態に対応している。

管理者権限を持つ人物が至近領域２内である場合には、処理をステップＳ９４０に移し、制御手段４６は、管理者フラグ３２０が“０”にリセットされたままで、滞留者フラグ３２４が“１”にセットされた人物がいるかどうかを調べる。これは図５の状態に対応したものであり、事務室において、管理者と従業員とが同時に金庫１のすぐ近くにいることを示しており、強盗事件発生が考えられるからである。

この場合、管理者フラグ３２０が“１”にセットされた人物と、“０”にリセットされた人物が同時に至近領域２の内部に位置している時間が所定以上であると、処理をステップＳ９５０に移して通報処理を行う。そのような状況がごく短時間偶然に起きた場合まで通報するのは不都合だからである。

以上説明してきたように、本発明の一実施の形態である画像監視装置は、店舗の事務室などに設置することで、警備解除状態で管理者権限を持つ人物が不在の時、管理者権限を持たない人物が金庫等の重要物に近づくと内部犯行の可能性が高いとして通報する。また、重要物に近づいた場合、重要物の至近領域の留まった場合と、内部犯行の可能性を段階分けし、それぞれに応じて通報先を選択する。さらには管理者権限を持つ人物が存在する状況下では通報しない。
これらの処理により、本発明にかかる画像監視装置は、誤報を避けつつ、的確な対応が可能となる。

本発明は、これまで説明してきた実施の形態に限られるものではない。
例えば、撮像部２０は、撮影方向を異ならせた追跡用カメラ２１と認証用カメラ２２を用意するものとしたが、監視カメラの設置方法として一般的な、天井の隅に設置され、見下ろすように撮影方向を設定した１台のカメラで賄うことも可能である。この場合、そのカメラにて取得された画像のみを用いて、追跡処理と認証処理を行うことも不可能ではない。

さらには、領域情報３３は、図１（ａ）に示した至近領域２としたが、至近領域２の外側に近傍領域と称して他の領域を設定し、図３乃至５に示した人物の動きのパターンをさらに細分化して、警報信号の出力の有無を決定しても良い。

さらには、管理者の有無の検出については、顔認証技術によらず、管理者がＲＦＩＤタグなどの無線送信機を持ち歩く運用を仮定できるのであれば、その電波受信状態によっても判定可能である。
また、管理者が光ＩＤタグを装着する運用では、画像上での光ＩＤタグの位置を取得できるので、人物との対応付けが容易にできる。例えば、人物が事務室に入室した時の画像を用い、扉横に設置された読みとり装置からの情報と対応させればよい。
これらのタグ類を使用する場合には、図２（ａ）に示した登録顔画像３１の代わりに、適切なタグ情報を、人物を識別するための登録識別情報として予め記憶しておく。同様に図２（ｂ）に示した人物特徴量３２５は、顔画像から抽出された特徴量ではなく、読みとられたタグ情報を記憶する。
あるいは、アンチパスバック機能を持つアクセスコントロール機器による入室者情報からも、管理者の有無を検出できる。

さらには、各人物がお互いを隠し合わず各撮影時刻ですべての人物を認証可能という仮定が許容されるのであれば、追跡手段４２を省略する構成も可能である。
このほか、当業者は適宜本発明の範囲内で様々な修正を行うことができる。

１・・・金庫
２・・・至近領域
１０・・・画像監視装置
２０・・・撮像部
３０・・・記憶部
４０・・・画像信号処理部
５０・・・出力部

Claims (5)

1. 監視対象物を含む監視領域を撮像した画像を取得する撮像部と、
   前記撮像部が順次取得した入力画像を処理し、警報信号を生成する画像信号処理部と、
   前記警報信号を出力する出力部と、
   画像上における前記監視対象物の至近領域と前記監視領域の管理者の識別情報を登録識別情報として予め記憶する記憶部と
   を備え、
   前記画像信号処理部は、
   前記入力画像から人物像を抽出して追跡し、当該人物像の位置情報を出力する追跡手段と、
   前記入力画像から人物の識別情報を抽出して前記人物像と対応づける対応付け手段と、
   前記識別情報を前記登録識別情報と照合して、前記各人物像が前記管理者か否かを認証する認証手段と、
   前記人物像のいずれもが前記管理者でないと前記人物像の追跡結果に応じて警報信号を前記出力部に出力させ、前記人物像に少なくとも一の前記管理者が含まれていると前記出力部に警報信号の出力を禁止させる制御手段
   を有することを特徴とした監視装置。
   
2. 前記制御手段は、前記人物像の位置が前記至近領域外から前記至近領域内に変化すると、前記出力部に前記管理者へ警報信号を出力させることを特徴とした請求項１に記載の監視装置。
   
3. 前記制御手段は、前記人物像の位置が前記至近領域内に継続的に含まれると、前記出力部に少なくとも外部へ警報信号を出力させることを特徴とした請求項１または請求項２のいずれか１つに記載の監視装置。
   
4. 前記制御手段は、前記至近領域内に前記管理者の人物像と前記管理者でない人物像とが所定時間継続して位置していると、前記出力部に警報信号の出力の禁止を解除させることを特徴とした請求項１から請求項３のいずれか１つに記載の監視装置。
   
5. 前記識別情報が顔画像であり、前記認証手段が入力画像から抽出した顔画像を予め記憶した登録顔画像と照合することを特徴とした請求項１に記載の監視装置。