JP2012048691A - 画像監視装置 - Google Patents

Abstract

【課題】被害者が強盗に手を縛られる身柄拘束行為を検出し、通報する画像監視装置を提供する。
【解決手段】本発明にかかる画像監視装置は、撮像部により取得された入力画像に、強盗と被害者に対応した人物領域を抽出する人物領域抽出手段と、人物領域のうち強盗犯と被害者に挟まれ、両者の腕が伸びている部分を接触領域として抽出する接触領域抽出手段と、接触領域における画素値の時間変化から、身柄拘束行為を判定する異常判定手段を有する。
【選択図】図２

Description

本発明は、監視画像を処理し、強盗犯が被害者を拘束する行為を検出する画像監視装置に関する。

強盗犯が店舗などに押し入り、金庫に保管されている金品の強奪を試みる際に、犯行の発覚をおそれるあまり、店舗の従業員の手足をロープや強力な粘着テープで拘束して、その自由を奪うことがある。そのような強盗事件の発生を通報するためには、強盗犯と被害者の両者の行動に着目することが望ましい。

特許文献１には、ＡＴＭコーナーなどの天井に下向きに設置されたカメラからの監視画像に写った２人の人物について、その形状が所定以上時間変化をすると、喧嘩等の異常な行動をするとして検出する監視装置が開示されている。

特開平０４−２７３６８９号公報

特許文献１に記載の技術を、強盗犯が被害者を拘束する行為を検出することに適用しても望ましい性能が実現されるとは限らない。これは人物の全身の形状について、その変化に着目するものであり、腕を拘束する行為が発生している場合には、人物の形状の変化は限定的であり、検出が困難となると考えられるからである。

そこで本発明では、強盗犯による被害者の拘束行為に特有な画像変化を捉えて通報する画像監視装置の提供を目的とする。

本発明は、監視領域を撮影した監視画像を順次取得する撮像部と、監視領域に人物が写っていない背景画像を記憶する記憶部と、撮像部から順次取得された監視画像を処理する画像信号処理部と、画像信号処理部が身柄拘束行為を検出すると異常信号を出力する出力部とを具備する画像監視装置であって、画像信号処理部は、監視画像と背景画像との差分から人物領域を抽出する人物領域抽出手段と、人物領域が複数の人物による場合に、当該複数の人物の間付近の領域を接触領域として抽出する接触領域抽出手段と、時間的に前後して取得した監視画像の差分処理を行い差分画素を生成し、接触領域内に含まれる当該差分画素の画素数を所定枚数の監視画像分を累積し、当該累積した画素数が所定数を超えると身柄拘束行為が発生していると判定する異常判定手段とを有することを特徴とした画像監視装置を提供する。

かかる画像監視装置において、接触領域抽出手段は、変化領域の床面軸についての射影ヒストグラムである床面軸射影および鉛直面軸についての射影ヒストグラムである鉛直軸射影を生成し、床面軸射影について所定以上の度数を持つ座標が連続して検出された際に、当該座標の範囲内の平均度数を上回る極値の間にある当該平均値を下回る座標の両端を幅領域とし、鉛直軸射影について最大度数を含む連続した所定以上の度数が存在する鉛直軸上の座標の両端を高さ領域とし、幅領域と高さ領域を満たす接触領域を抽出することが望ましい。

かかる画像監視装置において、更に、人物領域を追跡する追跡手段を有し、接触領域抽出手段は、追跡手段にて追跡している複数の人物領域が所定距離まで近づくと、当該複数の人物領域に挟まれた領域を接触領域として抽出することが好ましい。

かかる画像監視装置において、異常判定手段は、接触領域の中心に近いほど大きな重みをつけて画素数を求めることが好ましい。

本発明にかかる画像監視装置を、金庫などの重要物が置かれた監視領域に設置することで、強盗犯が被害者の手をロープなどで拘束する行為を早期に検出し、通報することができる。

金庫が置かれた店舗の事務室において、拘束行為が発生している様子を表す模式図である。 第一の実施の形態にかかる画像監視装置の概略構成図である。 第一の実施の形態における処理の手順を示す模式図である。 第一の実施の形態にかかる画像監視装置の全体フロー図である。 第一の実施の形態にかかる接触領域抽出処理のフロー図である。 第二の実施の形態にかかる画像監視装置の概略構成図である。 第二の実施の形態において、拘束行為が発生している画像の判定に用いられる重みの模式図である。 第二の実施の形態にかかる画像監視装置の全体フロー図である。 第二の実施の形態にかかる接触領域抽出処理のフロー図である。 第二の実施の形態における処理の手順を示す模式図である。 第二の実施の形態に好適な入力画像の例を示す模式図である。

以下、図を参照しつつ、本発明にかかる画像監視装置の一つの実施の形態として、当該監視装置を、スーパーマーケットなどの店舗の事務室に設置した場合を例に取り上げて説明する。事務室には監視対象物である重要物の例として、金庫が設置されているとする。
強盗犯が金品の強奪を企て、事務室に侵入した際、店舗の従業員に見つかり、犯行の発覚を恐れ、例えば従業員を後ろ手にロープなどで縛る（拘束する）行為に及んだことを検出して、通報するものとする。

図１は、本発明にかかる画像監視装置が、事務室に設置され、事務室に置かれた金庫の前で強盗犯による拘束行為が発生した様子を表す模式図である。
図１において、事務室の床２の隅に金庫１が設置されている。事務室全体が監視領域である。金庫１の前にて、強盗犯５が被害者６を後ろ手に拘束している。本発明にかかる画像監視装置は、符号３または符号４に示すカメラからの画像を処理し、図１に示すような拘束行為が行われていると判断できる場合に通報するものである。図１ではカメラは２台示しているが、１台でもよく、第一の実施の形態では、概略水平方向に向けたカメラ３からの画像を用いるときの実施形態を説明する。

図２は、一つの実施形態としての本発明にかかる画像監視装置１０の概略構成図である。監視装置１０は、撮像部２０と、記憶部３０と、画像信号処理部４０と、出力部５０とを有する。

撮像部２０は、CCDまたはC-MOSなど、可視光および近赤外光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系から構成される。
撮像部２０は、例えば、NTSC規格に従って、連続的に撮影を行うカメラを用いることができる。あるいは、撮像部２０は、いわゆるハイビジョンなど、より高解像度な画像を生成するものでもよい。そして、撮像部２０は、本実施の形態では事務室を撮影した画像を、例えば、各画素の輝度が２５６階調で表される濃淡画像として生成する。
なお、図２における撮像部２０は、図１に示す模式図では符号３または符号４に示すカメラに相当する。

撮像部２０は、画像信号処理部４０の図示しないインターフェース部と接続されており、所定時間ごとに画像を生成し、その生成した画像を入力画像として画像信号処理部４０へ出力する。

なお、撮像部２０は、監視領域である事務室全体を視野に収めるため、超広角レンズや魚眼レンズなどの画角の広いレンズを用いるのが望ましい。

記憶部３０は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（HDD）などの記憶装置を有する。
記憶部３０は、監視装置１０で使用される各種のプログラム及びデータを記憶する。撮像部２０の撮像条件、すなわち、床面からの撮像部２０の高さや画角などの情報も記憶しておく。

記憶部３０は、そのほかに背景画像３１、過去画像３２を記憶する。
背景画像３１は、人物が写っていないという条件で取得された入力画像を記憶しておくものである。入力画像との差分処理により、事務室に存在する人物の像を抽出するために用いられる。

過去画像３２は、過去時点（例えば１時点前）に撮像部２０にて取得された画像を記憶する。入力画像中における、時間変化のあった画素の抽出に用いられる。

画像信号処理部４０は、撮像部２０から入力された入力画像（監視画像）を用い、記憶部３０に記憶された情報を参照して、事務室における従業員の身柄の拘束行為の検出や警報信号の送出などの処理を行う。
画像信号処理部４０は、背景画像作成手段４１、人物領域抽出手段４２、接触領域抽出手段４４、異常判定手段４５、制御手段４６から構成される。これらは、記憶部３０に記憶されるプログラムモジュールにて実現されるものである。

背景画像作成手段４１は、画像監視装置１０が起動したとき、あるいは定期的に撮像部２０から取得した、人物が写っていないという条件で取得された入力画像を用いて、いわゆる背景画像を作成し、記憶部３０の背景画像３１に記憶させる。
背景画像３１の作成方法は適宜公知の方法を採用すればよい。例えば、定期的に入力画像を背景画像３１に記憶し直す、あるいは複数枚の入力画像を平均化して作成しても良いが、明るさの変動に対応できるため、最新の状態になるよう背景画像３１は更新されるものとする。

人物領域抽出手段４２は、記憶部３０に記憶されている背景画像と、現時刻で取得された入力画像との画素毎の差分を求め、所定の閾値で２値化する。その結果について、大きさ、形状、外接矩形のアスペクト比など、予め定めておいた人らしい条件を満たす変化領域を特定し、その内部の画像を人物像として抽出する。

人物領域抽出手段４２で行われる処理は、画像処理技術の分野では一般的に行われる背景差分処理で十分なので、詳細は省略するが、図３に示す模式図を用いて簡単に説明する。
図３（ａ）には、撮像部２０にて取得された現時点における入力画像が示されている。図１に示す模式図では前後に位置していた強盗犯５と被害者６を、横から見た様子が示されている。
図３（ｂ）には、背景画像作成手段４１にて作成された背景画像３１が示されている。

人物領域抽出手段４２は、入力画像と背景画像３１について、画素ごとに画素値の差分処理を行い、それが所定の閾値より大きい画素を特定する２値化処理を行う。そして人物領域抽出手段４２は、ラベリング処理をして変化領域を抽出し、抽出された変化領域について、撮像部２０に関する撮像条件に基づいて事前に設定された大きさや縦横比などの抽出条件を満たす変化領域を人物領域として抽出する。
本第一の実施の形態では、拘束行為が行われている最中を検知すべく抽出条件は設定されているものとし、強盗犯５と被害者６が一体化した人物領域が、図３（ｃ）における符号２０００にて示されている。

接触領域抽出手段４４は、人物領域抽出手段４２にて抽出された、強盗犯５と被害者６が一体化して抽出された人物領域２０００から、後ろ手に伸ばしている被害者６の腕と、その被害者５の手首付近をロープなどで縛ろうと前に伸ばしている強盗犯５の腕を含む部分領域を、接触領域として抽出する。これを図３の模式図を再び用いて説明する。

接触領域抽出手段４４は、図３（ｄ）に示すようにＸ軸とＹ軸を定義する。そして、接触領域抽出手段４４は、人物領域２０００に含まれる画素について、同じＸ座標を持つ画素の数を求めて、Ｘ軸方向に画素数の射影を求める。符号２０１０がＸ軸射影である。同様にＹ軸方向にも射影を求め、符号２０２０示すＹ軸射影を求める。
なお、Ｘ軸が特許請求の範囲における床面軸、Ｙ軸が特許請求の範囲における鉛直軸、Ｘ軸射影が特許請求の範囲における床面軸射影、Ｙ軸射影が特許請求の範囲における鉛直軸射影に相当する。

接触領域抽出手段４４は、Ｘ軸射影２０１０について、Ｘ座標の小さい方から大きい方に向かって、射影値すなわち度数を調べ、その値が０とはならない範囲である符号２０１１から符号２０１２に示す区間を特定する。この区間の幅は、画素を単位として、入力画像中における人物領域２０００の幅に対応している。
そして、接触領域抽出手段４４は、Ｘ軸射影２０１０の度数についてＸ平均値を求める。符号２０１３の点線に示すのがＸ平均値に対応する度数である。

接触領域抽出手段４４は、Ｘ軸射影２０１０に、Ｘ平均値２０１３を上回り、上に凸となる極値が存在するか否か、存在するならば何個存在するかを調べる。
上に凸となる極値の調べ方は、Ｘ軸射影２０１０を、数学における解析学の考え方を用い、Ｘ軸に対する１次微分値と２次微分値の変化から特定できる。
図３（ｄ）には符号２０１４と符号２０１５に示すように、２つの上に凸となる極値が抽出されている。

次に、接触領域抽出手段４４は、Ｘ軸射影２０１０について、Ｘ平均値２０１３を下回り、下に凸となる極値が存在するか否かを調べる。調べ方は上に凸となる極値の調べ方と同様である。
図３（ｄ）には符号２０１６に示すように、１つの下に凸となる極値が抽出されている。

そして、接触領域抽出手段４４は、Ｘ平均値２０１３を上回る上に凸となる極値が複数抽出され、Ｘ平均値２０１３を下回る下に凸となる極値が抽出された場合に、Ｘ軸射影２０１０は多峰性を持つと判定する。図３（ｄ）のＸ軸射影２０１０は典型的な多峰性を持つ形状となっている。
接触領域抽出手段４４は、Ｘ軸射影２０１０が多峰性を持つ場合に、下に凸となる極値２０１６を含む一定範囲、例えば、Ｘ軸射影２０１０がＸ軸平均２０１３を下回る符号２０１７に示す範囲を求める。

接触領域抽出手段４４は、Ｘ軸射影２０１０が多峰性を持つ場合に、Ｙ軸射影２０２０について、その平均値であるＹ平均値２０２１を求める。そして、Ｙ軸射影２０２０のうちでＹ平均値２０２１を上回る範囲である符号２０２２を求める。
そして、接触領域抽出手段４４は、符号２０１７と符号２０２２に示された範囲を基に、図３（ｅ）に示す接触領域２１００を決定する。

なお、接触領域２１００については重心位置を記憶部３０に記憶しておき、時間変化を観察するものとしてもよい。この場合、過去時点の重心位置と大きくずれた場合には以下に述べるような拘束行為の検出処理の対象外とすることもできる。

また、接触領域の決定方法としては、Ｘ軸射影２０１０とＹ軸射影２０２０を求める方法に依らず、図３（ｆ）に示すように、人物領域２０００の外接矩形２００１を考え、適当な数にブロック分割して、符号２００２の太線に示すように中央付近のブロックを採用して接触領域としてもよい。

異常判定手段４５は、現時点での入力画像と、記憶部３０に記憶されている過去時点での入力画像である過去画像３２とを差分し、２値化することで差分画素を抽出し、ラベリング処理により時間変化領域を抽出する。さらに接触領域２１００とも共通する領域を抽出し、その領域に含まれる画素である接触画素の数を求め、図２には図示しないカウンタである累積接触画素数に加算して、記憶部３０に記憶する。
その累積接触画素数が所定の判定閾値の場合、異常判定手段４５は、拘束行為が行われていると判定し、制御手段４６に異常信号を出力する。

制御手段４６は、異常判定手段４５の出力結果を参照し、出力部５０を制御して、警報信号を出力させるか否かを決定する手段である。また、入力画像を証跡性の確保を目的として、記憶部３０に記憶させてもよい。

次に、図４と図５に示す図を用いて、第一の実施の形態にかかる画像監視装置１０の動作を説明する。
図４は、画像監視装置１０の動作のメインフロー図である。
まず、画像監視装置１０を起動すると初期設定を行う（ステップＳ１０）。ここでは画像監視装置１０の各部の動作チェックなどが行われる。

次に、ステップＳ２０にて、監視装置１０は、背景画像３１の作成を行う。そのために、背景画像作成手段４１は、撮像部２０より複数枚、例えば１０枚の入力画像を取得し、対応する各画素について画素値の平均を求め、背景画像として、記憶部３０の背景画像３１に記憶する。

以下に述べるステップＳ３０からＳ８０は、撮像部２０が１枚画像を取得するたびに繰り返し実行される。この撮像部２０が１枚画像を取得するごとに１時点進むことになる。
ステップＳ３０にて、画像信号処理部４０は、撮像部２０より、現時刻の入力画像を１枚取得する。

ステップＳ４０にて、人物領域抽出手段４２は、記憶部３０の背景画像３１を読み出し、各画素について、差分を求め、所定の閾値にて２値化することで、差分領域を抽出する。

次に人物領域抽出手段４２は、抽出された各差分領域について、大きさや縦横比などを求める。これらが事前に定めた抽出条件に適合する場合には、その差分領域は人物が事務室に入室したことにより抽出されたものとみなし、そうでなければ何らかの原因によるもの、すなわちノイズであると判断し、以後の処理の対象とはしない。
この抽出条件は、図３に示すように、強盗犯５と被害者６が一体化した領域を抽出するために事前に設定される。抽出条件を満たす差分領域が無いと判断される場合には、処理をステップＳ３０に戻し、次の時点の入力画像を取得する。

ステップＳ５０にて、接触領域抽出手段４４は、ステップＳ４０にて抽出された人物領域に基づき、接触領域を抽出する。これを図５と図３を用いて説明する。

ステップＳ５００にて、接触領域抽出手段４４は、人物領域についてＸ軸への射影ヒストグラムであるＸ軸射影を求める。Ｘ軸射影は図３（ｄ）の符号２０１０に例示されている。

ステップＳ５１０にて、接触領域抽出手段４４は、Ｘ軸射影２０１０が多峰性を持つか否かを判定する。判定方法は既に述べたとおりである。図３（ｄ）に示すＸ軸射影２０１０は多峰性があることになる。多峰性が無い場合には、接触領域は無いと判断し（ステップＳ５６０）、接触領域抽出処理を終了する。この場合、接触画素は０とする。
多峰性がある場合にはステップＳ５２０に処理を移す。

ステップＳ５２０にて、接触領域抽出手段４４は、Ｘ軸射影２０１０を参照し、接触領域の幅を決定する。そのために接触領域抽出手段４４は、Ｘ軸射影２０１０のうちＸ平均値２０１３を下回る区間を調べ、接触領域の幅とする。それは図３（ｄ）では、符号２０１７にて示されている。
Ｘ軸射影２０１０のうちで、下に凸となる極値２０１６を中心に所定の区間から接触領域の幅を定義しても良い。

ステップＳ５３０にて、接触領域抽出手段４４は、人物領域についてＹ軸への射影ヒストグラムであるＹ軸射影を求める。Ｙ軸射影は図３（ｄ）の符号２０２０に例示されている。

ステップＳ５４０にて、接触領域抽出手段４４は、Ｙ軸射影２０２０について、その平均値であるＹ平均値２０２１を求める。そして、Ｙ軸射影２０２０のうちでＹ平均値２０２１を上回る区間調べ、接触領域の高さとする。それは図３（ｄ）では符号２０２２にて示されている。
Ｙ軸射影の最大値から所定の区間から、接触領域の高さを定義しても良い。

ステップＳ５５０にて、接触領域抽出手段４４は、これまでのステップでの処理結果から、接触領域を決定する。接触領域を人物領域に重ねたものを図３（ｅ）の符号２１００に示す。
接触領域２１００の内部には、拘束行為に特徴的な動きを示す強盗犯５と被害者６の腕付近が含まれている。
ステップＳ５５０が終了すると、処理を図４のステップＳ６０に移す。

ステップＳ６０にて、異常判定手段４５は、現時点での入力画像と、記憶部３０に記憶されている過去時点での入力画像である過去画像３１とを比較し、差分画素を抽出し、ラベリング処理により時間変化領域を抽出する。

ステップＳ７０にて、異常判定手段４５は、ステップＳ６０にて求めた時間変化領域と接触領域２１００に共通する領域を抽出し、その領域に含まれる画素である接触画素の数を求める。
そして、異常判定手段４５は、図２には図示しないカウンタである累積接触画素数に累積加算して、記憶部３０に記憶する。同時に接触画素数の値そのものも、取得された時点情報と対応付けて記憶する。

ステップＳ７５にて、異常判定手段４５は、前ステップでの累積加算処理が、あらかじめ定めた入力画像の枚数に対応した回数分行われたか否かを調べる。まだその回数に至らない場合には処理をステップＳ８０に移す（ＮＯの分岐）。上回った場合には、処理をステップＳ７８に移し（ＹＥＳの分岐）、もっとも古い接触画素数の値を記憶部３０から読み出し、累積接触画素数から減算することで、その更新処理を行う。

ステップＳ８０にて、異常判定手段４５は、記憶部３０に記憶されている累積接触画素数を読み出し、それが所定の判定閾値を越えているか否かを調べる。累積接触画素数が判定閾値を越えていない場合、処理をステップＳ３０に移し、画像信号処理部４０は、次の入力画像の取得を待つ。

累積接触画素数が判定閾値を越えている場合、処理をステップＳ９０に移し、制御手段４６に異常信号を出力する。これにより、撮像部２０と複数の人物との位置関係により、偶々複数の人物の対話による身振り等によって接触領域が抽出されたとしても、当該接触領域の抽出は継続した時間を経過することなく終了するため、本発明のような強盗犯が従業員を縛るような身柄拘束行為には所定の時間が継続するので、誤報を軽減することができる。

異常判定手段４５が異常信号を制御手段４６に出力している場合には、制御手段４６は、出力部５０に対して、所定の出力処理を行う（ステップＳ９０）。例えば、図示しない通信回線を用いて外部の警備センターに通報したり、店舗の責任者が持ち歩く携帯電話に電子メールを送信する。あるいは入力画像を記憶部３０に記憶しておき、証跡性を確保することもできる。

これまでの説明では、図３（ａ）に示すように、入力画像中には強盗犯５と被害者６がそれぞれ一人ずつ写っているものとして説明してきたが、見張り役として強盗犯５がもう一人、あるいはそれ以上写っていることもあり得る。その場合、図３（ｄ）に示すＸ軸射影２０１０は、上に凸の極値が２つのみならず、３つあるいはそれ以上持つことになる。
この場合、接触領域２１００が複数抽出されることになるが、実際に被害者６を後ろ手に縛っている強盗犯５との間のみで、接触画素が存在し得ることになるので、接触領域２１００が複数抽出されることを許容するようにしておけば、特段の不都合はない。

以上述べてきた、本発明にかかる第一の実施の形態では、強盗事件の発生を模式的に描いた図１において、概略水平方向に向けたカメラ３から得られた入力画像を処理し、強盗犯５と被害者６との間に、時間的な画素値の変化をする画素が存在することに基づいて、身柄拘束行為の発生を検知していた。それにあたり、図３に示すように、Ｘ軸とＹ軸への射影を求めていた。
本発明で検知すべき、強盗犯５と被害者６との間の時間的な変化をする画素が存在するか否かを検出する方法は、これに限られない。

以下、本発明のかかる第二の実施の形態として、Ｘ軸とＹ軸への射影に依らない方法について述べる。この第二の実施の形態は、図１の符号４に示した、概略鉛直下に向けて天井に設置されたカメラからの映像に好適なものである。
なお、第二の実施の形態の説明においては、第一の実施の形態の説明において用いた構成図である図２とフロー図である図４および図５と異なる部分を中心に説明するものとし、共通する箇所は適宜簡略化して説明する、または省略する。

第二の実施の形態にかかる、画像監視装置１００の概略の構成を、図６を用いて説明する。第一の実施の形態における構成と異なるのは、記憶部３００に追跡情報３３０と重み情報３４０が追加され、画像信号処理部４００に追跡手段４３０が追加されていることである。すなわち、第二の実施の形態においては、追跡処理を導入する点も第一の実施の形態とは異なる。
第一の実施の形態と機能がほぼ同様な構成要素は同名で異なる符号を付与して示している。

記憶部３００の追跡情報３３０は、人物領域抽出手段４２０により抽出され、追跡手段４３０により時系列に追跡されている人物について、その入力画像中での各時刻における各種追跡情報を記憶しておくものである。追跡情報３３０には、各人物領域に関して、現時点および過去時点における画像中の位置である重心の座標、対応する人物像の画像情報として例えば輝度ヒストグラムやテクスチャ情報などが含まれる。

重み情報３４０は、現時点での入力画像において強盗犯５による拘束行為が行われているかを精度良く判定するために用いられる。重み情報３４０を、図７を用いて説明する。
図７には、３種類の重み情報３４０が例示されている。
図７（ａ）には、重みがガウス分布に類似した値を示すものとして定義された例が符号７００にて示されている。横軸は距離であり、入力画像中における画素数を表す。縦軸は重みの値であり、最大値が１となるよう正規化されている。

図７（ａ）において、符号７０１と符号７０２にて示したのは重みの値が０となる距離であり、後述するように追跡手段４３０にて追跡された、２つの人物領域の重心位置に対応したものである。符号７０３は、２つの重心位置の中点に対応している。
図７（ａ）からわかるように、重みの値は、中点７０３付近において急峻に値が大きくなるよう定義される。
これは、人物領域の重心位置付近は、人間の胴体であるのに対して、拘束行為に特徴的な部位である腕は、強盗犯５と被害者６に挟まれた位置する存在すると考えられるため、両者の中央部分をより重視して結果を求めるようにするためである。

図７（ｂ）には、別の重みが符号７０４にて示されている。中点７０３付近において急峻に値が大きくなるよう定義されている趣旨は、同図（ａ）と同様である。
図７（ｃ）には、さらに別の重みが符号７０５にて示されている。この場合は中点７０３付近のみ値を持ち、それ以外は０となる場合である。

画像信号処理部４００の追跡手段４３０は、前時刻までに人物領域抽出手段４２０により抽出され、記憶部３００に記憶されている各人物像に関する追跡情報３３０と、現時刻にて人物領域抽出手段４２０により抽出された各人物像と関連付けることで、人物像の追跡を実現する。
そのために、追跡手段４３０は、現時刻において人物領域抽出手段４２０により抽出された人物像から、輝度ヒストグラムやテクスチャ情報などの特徴情報を抽出する。そして、記憶部３０に記憶されている各人物像の追跡情報３３０に関連付けられている特徴量と比較する。
さらに現時刻での人物像の重心位置と記憶部３０に記憶されている過去時点での重心位置とがある程度近いもの、という条件も加味し、最も類似していると判断される追跡情報３３０と関連付ける。
追跡手段４３０は、関連付けられた人物像の追跡情報３３０の重心位置と特徴量を、現時刻における重心と特徴量にて更新する。

現時刻で抽出された人物像が、記憶部３００に記憶されている追跡情報３３０のいずれにも関連付けられなかった場合には、その人物像は現時刻において新たに出現した人物である、と判断する。
記憶部３０に記憶されている追跡情報のうちで、現時刻で抽出された人物像に関連づけられなかったものがある場合には、その追跡情報は、入力画像の視野外に移動した、つまりは事務室から外に出た人物のものであると判断し、記憶部３００から消去する。あるいは、一定時間は保持しておき、その間は上記の関連づけ処理を試みるものとしてもよい。

上述した追跡手段４３０における処理は、画像処理技術の分野における追跡処理として一般的なものであるので、詳細は省略する。
ただし、追跡手段４３０は、過去時点にて抽出された複数の人物領域を、現時点にて抽出された１つの人物領域に対応させることを許容する処理を行うものとする。詳細は後述する。

次に図８と図９に示すフロー図と、図１０に示す処理の模式図を用いて、第二の実施の形態にかかる画像監視装置１００の動作を説明する。ただし第一の実施の形態と共通する処理、ほぼ同様な処理は説明を適宜簡略化または省略する。

ステップＳ１００からステップＳ３００までは第一の実施の形態と変わりはないので、説明を省略する。

ステップＳ４００にて、人物領域抽出手段４２０は、記憶部３００に記憶されている背景画像３１０との差分処理を行い、得られた変化領域から、人らしい条件を満たすものを人物領域として抽出する。この処理は、画像処理の分野における背景差分処理として周知なので詳細は省略する。その様子を図１０（ａ）に示す。

図１０（ａ）には、２人分の人物領域が抽出されており、符号３０００は強盗犯、符号３００１は被害者についての人物領域である。符号３００２と符号３００３は、それぞれ強盗犯と被害者の入力画像中における位置を表す重心であり、人物領域抽出手段４２０は追跡処理に必要な情報の一部として抽出する。同様に人物領域抽出手段４２０は、人物領域３０００と人物領域３００１とから追跡処理に必要な特徴量を抽出し、ステップＳ５５０において追跡手段４３０は、記憶部３００に記憶されている追跡情報３３０のうちから適切なものを選択して、重心位置や特徴量を記憶する。これは画像処理の分野で行われている追跡処理であり、詳細は省略する。

なお、図１０（ａ）に示す２つの人物領域の位置関係、すなわち重心どうしの距離は、拘束行為に及ぶことが不可能な程度に離れているとし、後述するステップＳ６５０とステップＳ７５０までの処理は特に行われず、ステップＳ８５０における条件判断ではＮＯの分岐を辿るものとする。

図１０（ｂ）には、次の時点でのステップＳ４００にて、人物領域抽出手段４２０により抽出された人物領域が符号３００４にて示されている。この場合、強盗犯による被害者の拘束行為が発生しているため、両者が一体化して抽出されている。
なお、人物領域抽出手段４２０は、両者が一体化しても人物領域として抽出できるよう大きさや縦横比などの抽出条件を予め定めておくとする。また、一体化しなくてもある程度近い場合には以下に述べる接触領域の抽出を行うものとする。

ステップＳ５５０において、追跡手段４３０は、前時点で抽出された人物領域３０００と人物領域３００１が、現時点で得られた人物領域にどのように対応しているかを調べる。図１０（ｂ）では、強盗犯と被害者が一体化して、１つの人物領域３００４にて抽出されている。追跡手段４３０は、記憶部３０に記憶されている追跡情報３３０を参照し、図１０（ａ）の人物領域３０００と人物領域３００１のいずれも図１０（ｂ）の人物領域３００４に対応付いていると判定する。この場合、強盗犯の重心３００５と被害者の重心３００６は、事務室において身柄拘束行為が行えるほどに近い位置関係を表している。

ステップＳ６５０において、接触領域抽出手段４４０は、図１０（ｂ）の重心３００５と重心３００６を参照して接触領域の抽出処理を行う。その様子を図９に示すフロー図を参照して説明する。
ステップＳ６５１において、接触領域抽出手段４４０は、重心３００５と重心３００６の距離求める。

ステップ６５２において、接触領域抽出手段４４０は、前ステップで求めた重心どうしの距離が所定の判定閾値より大きい場合には（ＮＯの分岐）、接触領域が存在しないとして（ステップＳ６５７）、接触領域検出処理を終了する。
重心どうしの距離が所定の判定閾値以下となる場合には（ＹＥＳの分岐）処理をステップＳ６５３に移す。

ステップＳ６５３において、接触領域抽出手段４４０は、重心どうしを直径とする円領域を接触領域の候補領域として抽出する。その様子を図１０（ｃ）示す。図１０（ｃ）には、重心３００５と重心３００６を直径とした円領域が符号３００７に示す点線にて示されている。この円領域が接触領域の候補領域である。符号３００８は、候補領域の中心点である。

ステップＳ６５４において、接触領域抽出手段４４０は、記憶部３００に記憶されている過去画像３２０を参照し、候補領域における時間的な変化を求める。現時点での入力画像と、記憶部３００に記憶されている過去時点での入力画像である過去画像３２０とを比較し、差分画素を抽出する。そしておおよそ人間の腕に相当する部分から生じた領域に含まれる画素数を求める。
図１０（ｄ）には、前時点においても同図（ｂ）と同様な人物領域が抽出されているとして、候補領域３０１０に含まれる変化領域が描画されている。この変化領域に含まれる画素が接触画素である。

ステップＳ６５５において、接触領域抽出手段４４０は、前ステップで求めた画素数が所定の閾値以上の場合には（ＹＥＳの分岐）、候補領域３０１０を接触領域として決定する（ステップＳ６５６）。そうでない場合には候補領域３０１０は接触領域ではないとして（ＮＯの分岐）、接触領域検出処理を終了する。

図８に戻り、ステップＳ７５０にて、異常判定手段４５は、接触領域３０１０に含まれる接触画素の画素数を求める。この際、単純に画素数の合計を求めるのではなく、図７に示す重みを用いて計数する。すなわち、図１０（ｃ）に示す中心点３００８と重心３００５と重心３００６、図７に示す符号７０３と符号７０１と符号７０２とを当てはめ、中心点７０３付近では１に近い大きな値、中心点７０３から離れるほど０に近い小さな値をかけて、画素数を整数ではなく実数として計数する。

このように、図７に示すような重みをつけて計数するのは、図１０（ｄ）の模式図からわかるように、接触領域３０１０の輪郭付近では腕ではなく、強盗犯と被害者の胴体に対応した接触画素が計数される傾向にあることを防ぐためである。身柄拘束行為は、主には胴体というより腕付近での動きを検出した方が的確な判断ができる。

異常判定手段４５０は、図６には図示しないカウンタである累積接触画素数に累積加算して、記憶部３００に記憶する。同時に接触画素数の値そのものも、取得された時点情報と対応付けて記憶する。

ステップＳ７５５にて、異常判定手段４５０は、前ステップでの累積加算処理が、あらかじめ定めた入力画像の枚数に対応した回数分行われたか否かを調べる。まだその回数に至らない場合には処理をステップＳ８５０に移す（ＮＯの分岐）。上回った場合には、処理をステップＳ７８０に移し（ＹＥＳの分岐）、もっとも古い接触画素数の値を記憶部３００から読み出し、累積接触画素数から減算することで、その更新処理を行う。

ステップＳ８５０では、異常判定手段４５０は、累積接触画素数の値を参照し、それが所定の判定閾値を越えるならば（ＹＥＳの分岐）処理をＳ９００に移す、越えないならば（ＮＯの分岐）、処理をＳ３００に移して、次の入力画像の取得を待つ。

ステップＳ９００では、入力画像に写った人物について身柄拘束行為が行われているとして、所定の通報処理を行う。これは第一の実施の形態と同様である。

第一の実施の形態に示した処理は、図１に示す概略水平方向に向けたカメラ３からの画像を処理する場合には好適であったが、第二の実施の形態は同図で概略鉛直下向きに向けたカメラ４から画像を処理する場合に好適ということができる。すなわち、カメラ４の場合、事務室全体を監視領域とするために、超広角レンズや魚眼レンズを用いるのが一般的であり、人物の足下が画像の下方に写るといったことを仮定できないからである。カメラ４から取得された画像の模式図を図１１に示す。この場合、図３に示すような射影ヒストグラムによる処理は難しく、第二の実施例のような方法が適していることがわかる。

なお、ステップＳ７５０では、接触画素数を計数して、累積加算するものとしたが、その代わりに、接触画素数が所定以上だとカウンタを１加算する処理をして、ステップＳ８５０での条件分岐に用いても良い。

本発明にかかる画像監視装置により、金庫などの重要物が置かれた監視領域に強盗犯が押し入り、被害者の手を縛り拘束するという行為を早期に発見が可能となる。

１・・・金庫
１０・・・監視装置
２０・・・撮像部
３０・・・記憶部
４０・・・画像信号処理部
５０・・・出力部

Claims (4)

1. 監視領域を撮影した監視画像を順次取得する撮像部と、
   前記監視領域に人物が写っていない背景画像を記憶する記憶部と、
   前記撮像部から順次取得された監視画像を処理する画像信号処理部と、
   前記画像信号処理部が身柄拘束行為を検出すると異常信号を出力する出力部とを具備する画像監視装置であって、
   前記画像信号処理部は、
   前記監視画像と前記背景画像との差分から人物領域を抽出する人物領域抽出手段と、
   前記人物領域が複数の人物による場合に、当該複数の人物の間付近の領域を接触領域として抽出する接触領域抽出手段と、
   時間的に前後して取得した前記監視画像の差分処理を行い差分画素を生成し、前記接触領域内に含まれる当該差分画素の画素数を所定枚数の監視画像分を累積し、当該累積した画素数が所定数を超えると身柄拘束行為が発生していると判定する異常判定手段とを有することを特徴とした画像監視装置。
   
2. 前記接触領域抽出手段は、前記変化領域の床面軸についての射影ヒストグラムである床面軸射影および鉛直面軸についての射影ヒストグラムである鉛直軸射影を生成し、
   前記床面軸射影について所定以上の度数を持つ座標が連続して検出された際に、当該座標の範囲内の平均度数を上回る極値の間にある当該平均値を下回る座標の両端を幅領域とし、前記鉛直軸射影について最大度数を含む連続した所定以上の度数が存在する前記鉛直軸上の座標の両端を高さ領域とし、前記幅領域と前記高さ領域を満たす前記接触領域を抽出する請求項１に記載の画像監視装置。
   
3. 更に、前記人物領域を追跡する追跡手段を有し、
   前記接触領域抽出手段は、前記追跡手段にて追跡している複数の人物領域が所定距離まで近づくと、当該複数の人物領域に挟まれた領域を接触領域として抽出する請求項１に記載の画像監視装置。
   
4. 前記異常判定手段は、前記接触領域の中心に近いほど大きな重みをつけて画素数を求める請求項３に記載の画像監視装置。