JP2010045501A - 画像監視装置 - Google Patents

Abstract

【課題】画像監視装置において、監視対象の人が背景と似た画像領域を生じると、検出されにくい。
【解決手段】天井カメラと壁カメラとで互いに異なる方向から撮影することで、互いに異なる背景画像中の人の像を取得する。壁カメラ画像における変化領域の画素９２を天井カメラ画像に射影してエピポーラ線９３を求める。エピポーラ線９３のうち画素９２と特徴が共通する領域９４を抽出し、当該領域９４の存在領域に基づいて射影領域９５を生成する。射影領域９５と天井カメラ画像における変化領域９６とを合成して合成変化領域９７を求め、当該合成変化領域９７に基づいて天井カメラ画像中の人を検出する。
【選択図】図５

Description

本発明は、監視空間を撮像した監視画像から対象物体を検出する画像監視装置に関し、特に、背景と似た特徴の画像を生じる対象物体の検出に関する。

侵入者検知等のため、監視空間を撮像した監視画像から監視対象である対象物体に関する画像を抽出し、その画像情報に基づいて対象物の検出や追跡を行う技術が知られている。当該技術として、監視画像を監視空間に対象物体が存在しないときに得られた背景画像と比較し、その差分領域に基づいて対象物体を検出する手法が存在する。
特開２００７−２０１９３３号公報

しかし、対象物体の画像に背景画像と似た特徴を有する部分が存在する場合、当該部分は差分領域に現れにくく、対象物体の検出精度が低下するという問題があった。

本発明は、上記問題を解決するためになされたものであり、背景画像と似た特徴の画像を生じる対象物体を好適に検出できる画像監視装置を提供することを目的とする。

本発明に係る画像監視装置は、第１背景画像が得られる視点から監視空間を撮像し第１監視画像を出力する第１の撮像部と、前記第１背景画像とは異なる第２背景画像が得られる視点から前記監視空間を撮像し第２監視画像を出力する第２の撮像部と、前記第１背景画像、前記第２背景画像及び、前記第２の撮像部の撮像面上の任意の注視点に対し、当該注視点を通る投影線を前記第１の撮像部の撮像面に射影した注視点射影像を対応づける対応規則を記憶する記憶部と、前記第１監視画像を前記第１背景画像と比較して第１変化領域を抽出し、また、前記第２監視画像を前記第２背景画像と比較して第２変化領域を抽出する変化領域抽出手段と、前記対応規則により、前記第２変化領域に包含される前記注視点についての前記注視点射影像を求め、前記第１の撮像部の撮像面内の当該注視点射影像が形成される領域に応じた射影領域と、前記第１変化領域とを合成し、合成変化領域を求める変化領域合成手段と、前記合成変化領域に基づいて前記監視空間における対象物体を検出する物体検出手段と、を有するものである。

他の本発明に係る画像監視装置は、前記変化領域合成手段が、前記第２変化領域において所定の画像特徴を抽出し、前記注視点射影像が形成される領域のうち前記画像特徴を有する部分を前記射影領域として前記合成変化領域を求めるものである。この本発明に係る画像監視装置においては、前記両撮像部の撮像方向が略直交し、前記変化領域合成手段が、前記第２変化領域の輪郭のうち前記第１の撮像部に対して表側にある部分に沿って設けられた縁部領域にて前記画像特徴を抽出する構成とすることができる。

別の本発明に係る画像監視装置においては、前記変化領域抽出手段は、画素値が第１基準値を超えて相違する部分を前記第１変化領域として抽出し、前記変化領域合成手段は、前記第１基準値未満に設定される第２基準値を用い、前記注視点射影像が形成される領域のうち、前記第１監視画像と前記第１背景画像との間で画素値が前記第２基準値を超えて相違する部分を前記射影領域とする。

本発明の好適な態様は、所定の物体移動面内での前記対象物体の位置を追跡する追跡手段を有し、前記第１の撮像部が、撮像方向を前記物体移動面に向けて設定され、前記両撮像部が、前記第１監視画像及び前記第２監視画像を時系列に従って順次撮像し、前記追跡手段が、前記物体検出手段により前後する時刻にて前記対象物体が検出された領域の画像情報を比較し、その比較結果に基づいて当該前後する時刻間での前記対象物体の同定を行う画像監視装置である。

本発明によれば、２つの方向から監視画像を撮像することにより、一方の監視画像において対象物体が背景と似ていても、他方の監視画像においては対象物体と背景との間に有意な差が現れ得る。そこで、これら２つの監視画像それぞれから抽出された変化領域の一方を用いて他方を補完することで、背景と似た対象物体の検出精度の向上が可能となる。

以下、本発明の実施の形態（以下実施形態という）である不正通行検出装置１について、図面に基づいて説明する。不正通行検出装置１は、例えば、建物の出入口を撮像した画像から対象物体である人を検出し追跡することにより、不正通行者を検出する。

図１は、実施形態に係る不正通行検出装置１の概略のブロック構成図である。不正通行検出装置１は、撮像部２、操作部３、認証部４、記憶部５、制御部６及び出力部７を含んで構成される。

撮像部２は、監視カメラである。不正通行検出装置１は、少なくとも出入口とその近傍に配置される認証部４とを含む監視空間を設定され、撮像部２は当該監視空間を所定の時間間隔にて撮像することで当該監視空間を透視投影した画像を順次、制御部６へ出力する。以下、撮像部２の撮像タイミングを時刻と称する。

図２は、本装置における撮像部２の配置を示す模式図である。図２（ａ）は認証部４の前に立った人の側方から監視空間を見た図であり、図２（ｂ）は認証部４の前に立った人の背面から監視空間を見た図である。本装置では図２に示すように、互いに撮影方向が異なる２つの撮像部２-1，２-2が設置される。ここで、監視空間をＸ，Ｙ，Ｚ軸からなる直交座標系で表し、鉛直上方をＺ軸の正方向に設定する。不正通行検出装置１では、ＸＹ平面内での人の位置、移動を把握するため、１つの撮像部２-1は、基本的に人を俯瞰撮影可能な高さに設置される。例えば、本実施形態では撮像部２-1は、認証部４を操作する人が立つ位置の真上の天井に光軸８０-1を鉛直下方（Ｚ軸負方向）へ向けて設置される。また、もう１つの撮像部２-2は、撮像部２-1の撮影方向とおおよそ直交する方向を撮影するように設置される。例えば、撮像部２-2は認証部４を操作する人と対向する壁面に光軸８０-2を水平方向へ向けて設置される。以下、天井カメラとは撮像部２-1を指し、壁カメラとは撮像部２-2を指す。また、撮像部２-1により撮像された画像を第１監視画像、或いは天井カメラ画像と称し、撮像部２-2により撮像された画像を第２監視画像、或いは壁カメラ画像と称する。

天井カメラ画像では、壁カメラ画像に比べて、対象物体同士の隠蔽（オクルージョン）が生じにくいため、天井カメラ画像の方が対象物体の追跡に適する。また、撮像部２の光軸が互いに略垂直をなす設定で、曲面からなる立体形状を有する人等の対象物体を撮影した場合、対象物体の表面のうち両画像に共通して現れる部分は、例えば、壁カメラ画像における対象物体像のうち、天井カメラ寄りの縁部に偏在する。この性質を利用すれば、対象物体の特徴を画像から抽出しやすくなる。なお、撮像部２が照明変化に適応して自動的に露光や画質の調整を行う場合、複数の撮像部２の相互間で画像の明るさやカラーバランスが同じ値となるように同調して制御することが、例えば、両画像の比較等に基づいて対象物体を検出する処理の容易化といった観点で好ましい。

操作部３は、管理者が制御部６に対して各種設定を行うための入力手段であり、例えば、タッチパネルディスプレイ等のユーザインターフェース装置である。

認証部４は、カード認証装置、生体認証装置、又は暗証番号認証装置などの認証装置であり、出入口付近に設置される。認証部４は、制御部６及び出入口に設置された電気錠（図示せず）と接続され、出入口の通行を容認されている人物からカードＩＤ、指紋、音声、顔、虹彩等の生体情報、又は暗証番号などの固有情報を取得すると認証成功を表す認証信号を制御部６及び電気錠へ出力する。

記憶部５は、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶装置であり、制御部６に接続される。記憶部５は、制御部６で使用されるプログラムやデータを記憶する。これに記憶されるデータには、背景画像５０、射影規則５１が含まれる。

背景画像５０は、複数の撮像部２のそれぞれの視点から撮像された背景の画像である。背景画像５０は、撮像部２により撮像された画像（監視画像）と比較され、両画像間で相違する部分が対象物体による変化領域として抽出される。本装置では、２つの撮像部２-1，２-2は監視空間を異なる方向から撮影し、これにより、それぞれの背景画像は基本的に互いに異なる。

具体的には、天井カメラの視点からの背景画像５０-1には主として床が撮像されており、壁カメラの視点からの背景画像５０-2には主として壁が撮像される。例えば、一般の建造物において床と壁には異なる配色がなされており、背景画像５０-1，５０-2として、色に基づいて互いを容易に区別可能な画像が得られる。例えば、監視空間に存在している人の服が床と似た色だと天井カメラ画像を背景画像５０-1と比較しても当該人物の服の部分を変化領域として抽出できない場合がある。しかし、壁カメラ画像を背景画像５０-2と比較すれば当該人物の服の部分を変化領域として抽出できる。このように、互いに視点の異なる複数の背景画像５０を用いることで、いずれかの視点において対象物体の一部又は全部に係る変化領域を抽出し損ねる場合であっても、別の視点において当該部分の変化領域を抽出できる。

射影規則５１は、壁カメラ（撮像部２-2）の撮像面上の任意の注視点に対し、当該注視点を通る投影線を天井カメラ（撮像部２-1）の撮像面に射影した注視点射影像を対応づける対応規則である。具体的には、壁カメラによる監視画像内の１画素は、当該画素を通る投影線を天井カメラの撮像面に射影した注視点射影像として、エピポーラ線と呼ばれる１本の線に対応付けられる。射影規則５１は、実際の監視空間における各撮像部２の設置位置及び撮像方向といった外部パラメータと、各撮像部２の焦点距離、画角、画素数及びレンズ歪みといった内部パラメータとを含むカメラパラメータを、公知のピンホールカメラモデル等のカメラモデルに適用した座標変換関数のプログラムとして設定できる。カメラパラメータは実際に計測するなどして得られ、本装置の運用に先立って操作部３から入力され記憶部５に格納される。

なお、一般には、三次元空間である監視空間にて定義される投影線を、壁カメラの撮像面上の画素（注視点）に対応付けたり、天井カメラの撮像面上の線（エピポーラ線）に対応付けたりする操作が射影と呼ばれるが、本明細書では、当該視線を介して、注視点をエピポーラ線に対応付ける操作も射影と呼ぶ。

後述するように、壁カメラの監視画像から抽出された変化領域内の画素について上記射影規則５１に基づくエピポーラ線の生成を繰り返すことで、壁カメラから見た変化領域に対応する位置関係にある領域（以下、射影領域と呼ぶ）を天井カメラの監視画像内に定めることができる。

以下、図３を用いて、壁カメラ画像から天井カメラ画像への射影についてさらに説明する。図３（ａ）は壁カメラ画像、図３（ｂ）は天井カメラ画像、図３（ｃ）は監視空間の三次元座標を示す模式図である。簡単のため、壁カメラ画像、天井カメラ画像は、各カメラの歪パラメータを用いてレンズ歪を補正したものであり、ピンホールカメラモデルが適用できるものとして説明する。

壁カメラを原点８４に配置し、壁カメラの光軸方向をＹ軸、鉛直上方をＺ軸とする右手系のＸＹＺ座標系を設定する。よって、Ｘ軸は、監視領域から壁カメラに向かって左向きに設定される。当該座標系にて、壁カメラの光軸はベクトル［０，１，０］の方向となる。天井カメラの座標は［０，Ｙc，Ｚc］（図３（ｃ）の位置８３）であり、天井カメラの光軸はベクトル［０，０，−１］の方向とする。壁カメラ画像はＸＺ座標で定義される平面であり、Ｚ軸の正の向きを当該画像における上向きと定義する。また、天井カメラ画像はＸＹ座標で定義される平面であり、Ｙ軸の正の向きを当該画像における上向きと定義する。

壁カメラ画像上の任意の注視点８１の座標を［ｕ，ｖ］（画像中心を原点とする）、壁カメラ画像の横方向の画素数を２×Ｗ、縦方向の画素数を２×Ｈとする。また、壁カメラの横方向の画角を２×α、縦方向の画角を２×βとする。このとき、注視点８１を監視空間に逆射影すると視線である直線が得られる。この直線上の、原点を始点とするベクトルをＶ1とすると、ベクトルＶ1とＹ軸のなす角のＸ方向成分はarctan(ｕ／Ｗ・tanα)（以下、θu）、Ｚ方向成分はarctan(ｖ／Ｈ・tanβ)（以下、θv）と計算できる。従って、ベクトルＶ1は［tanθu，１，tanθv］と表すことができる。

ベクトルＶ1を係数Ｔ倍してできたベクトルの終点をＰ1とすると、Ｐ1の座標［ＸＰ1，ＹＰ1，ＺＰ1］は係数Ｔを用いて、［Ｔ・tanθu，Ｔ，Ｔ・tanθv］と表される。この点Ｐ1を天井カメラの撮像面に射影する。以下の計算では簡単のため、天井カメラの内部パラメータは壁カメラと同一のものとする。天井カメラから点Ｐ1に向かうベクトルと天井カメラの光軸ベクトル［０，０，−１］とのなす角は、Ｘ方向成分がarctan［ＸＰ1／(Ｚc−ＺＰ1)］（以下、θuc）、Ｙ方向成分がarctan［(ＹＰ1−Ｙc)／(Ｚc−ＺＰ1)］（以下、θvc）と計算される。従って、点Ｐ1を天井カメラ画像に射影したときの画像上の座標Ｐ1cは、画像中心を原点とすると［tanθuc／tanα・Ｗ，tanθvc／tanβ・Ｈ］と求められる。

ここで、係数Ｔを変えてベクトルＶ1を定数倍したベクトルの終点を点Ｐ2とし、同様に点Ｐ2を天井カメラ画像に射影したときの画像上の座標をＰ2cとする。このようにして点Ｐ1と点Ｐ2を天井カメラ画像に写像して得られた点Ｐ1c，Ｐ2cを天井カメラ画像上で結ぶと、エピポーラ線８２が求まる。つまり、点Ｐ1と点Ｐ2を結ぶ線分は注視点８１を監視空間に逆射影してできたものであり、この線分を天井カメラ画像に射影した線分がエピポーラ線８２である。

なお、ベクトルＶ1を係数Ｔ倍して点Ｐ1，Ｐ2を設定したが、点Ｐ1のＹ座標が、監視したい範囲のＹ座標の最小値となり、点Ｐ2のＹ座標が監視したい範囲のＹ座標の最大値になるように係数を設定すればよい。たとえば、点Ｐ1のＹ座標が５０ｃｍ、点Ｐ2のＹ座標が２００ｃｍとなるように係数を設定する。

制御部６は、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、撮像部２、操作部３、認証部４、記憶部５及び出力部７と接続される。制御部６は、記憶部５からプログラムを読み出して実行し、変化領域抽出手段６０、変化領域合成手段６１、物体検出手段６２、追跡手段６３、異常判定手段６４等として機能する。制御部６は撮像部２から入力される画像を処理して対象物体の検出、対象物体の追跡、不正通行の検出等を行い、不正通行を検出すると異常信号を出力部７へ出力する。

変化領域抽出手段６０は、撮像部２-1から入力された第１監視画像を背景画像５０-1と比較して第１変化領域を抽出し、撮像部２-2から入力された第２監視画像を背景画像５０-2と比較して第２変化領域を抽出し、抽出した各変化領域の情報を変化領域合成手段６１へ出力する。

なお、変化領域抽出手段６０は、変化領域の抽出に先立って入力された第１監視画像を用いて第１の背景画像５０-1を生成して記憶部５に記憶させ、同じく入力された第２監視画像を用いて第２の背景画像５０-2を生成して記憶部５に記憶させておく。具体的には、背景画像５０が記憶されていない起動直後は、第１監視画像及び第２監視画像をそのまま背景画像５０-1，５０-2として記憶部５に記憶させ、その後は少なくとも対象物体が存在しないと判定された領域について第１監視画像及び第２監視画像により、記憶部５に記憶されている背景画像５０-1，５０-2を更新する。

変化領域抽出手段６０は、第１監視画像が新たに入力されると、当該第１監視画像の各画素と背景画像５０-1の対応する画素とを比較して、画素値が、予め設定された第１の閾値ＴＨ1を超えて相違する部分を第１変化領域として抽出する。具体的には、第１監視画像及び背景画像５０-1の注目画素間で輝度値或いは色成分の差を算出し、算出された差が第１の閾値ＴＨ1以上である画素を検出し、検出された画素のうち互いの距離が所定範囲内である画素をまとめた領域を第１変化領域として抽出する。また、差の代わりに相関値を算出し、算出された相関値が第１の閾値ＴＨ1未満である画素を検出することによっても、第１変化領域を構成する画素を検出できる。

同様に、変化領域抽出手段６０は、第２監視画像が新たに入力されると、当該第２監視画像の各画素と背景画像５０−2の対応する画素とを比較し、第１の閾値ＴＨ1を超えて相違する画素のまとまりを第２変化領域として抽出する。

第１の閾値ＴＨ1として、影や光により生じる背景の変化を誤抽出しない程度の値が事前の実験を通じて求められ、設定される。なお、第２変化領域を抽出する閾値は、第１の閾値ＴＨ1と同値でなくても、第１の閾値ＴＨ1と同じ方針にて定められた第３の閾値ＴＨ3であってもよい。

変化領域合成手段６１は、第１変化領域、第２変化領域及び必要に応じて第１監視画像、第２監視画像が入力されると、まず、第２変化領域に包含される複数の注視点を射影規則５１により射影して注視点射影像を求め、撮像部２-1の撮像面内の当該注視点射影像が形成される領域に応じた射影領域を求める。これにより第２変化領域は第１変化領域と同じ座標系の射影領域に対応付けられる。射影領域は、単に各注視点射影像が形成される領域の和として求めてもよい。この所定条件の詳細は後述する。次に、変化領域合成手段６１は、求められた射影領域と第１変化領域とを合成し、合成された変化領域（以下、合成変化領域）を求め、その情報を物体検出手段６２へ出力する。なお、合成変化領域を求める処理は、射影領域と第１変化領域との和領域を求める処理とすることができる。また、ノイズ除去及び整形を目的として、求めた和領域に所定回数の収縮・膨張処理を施してもよい。

このように、第１変化領域に、第２変化領域に基づく射影領域を合成することで、第１監視画像からは抽出できない対象物体の一部又は全部を射影領域により補うことが可能となる。

ここで、第１監視画像及び第２監視画像が撮像される方向が互いに垂直をなしていることから、注視点を、第２変化領域のうち第１監視画像が撮像される方向に面する輪郭線又は輪郭線に沿った領域（以下、縁部領域）に限定することができる。こうすることで第２変化領域の全画素を射影せずに済むため処理を軽減できる。

上記輪郭線は、第２監視画像の座標系で第１監視画像の各画素が撮像される方向と同じ方向に走査して第２変化領域との最初の交点を検出することを、第１監視画像が撮像される方向と垂直な方向にずらしながら順次繰り返すことで抽出できる。図４は、当該輪郭線及び縁部領域の抽出処理を説明する模式図であり、図４（ａ）の斜線部９０は壁カメラ画像から抽出された第２変化領域、太線は上記輪郭線を表す。また、上から下への各矢印は上記走査の様子を表しており、矢印の方向が走査方向、すなわち天井カメラの撮像方向である。なお、上記走査は計算を簡単化するために走査線を平行に設定しているが、第２監視画像の座標系において撮像部２-1と各画素を結ぶ線を走査線に設定すればより厳密な輪郭線の検出が可能である。縁部領域は輪郭線を所定画素数だけ内側へずらした領域として求める。図４（ｂ）は図４（ａ）の第２変化領域の一部を拡大したものであり、各四角は画素を表し、斜線を施された画素は境界線から１画素だけ内側にずらした縁部領域を表している。

ここで、注視点射影像が形成される領域には背景に係る余分な部分が含まれている。そこで、次の２つの条件を満たす部分を射影領域の対象とする。第１の条件は画像特徴が同一であることであり、第２の条件は背景画像５０-1に対する変化があることである。

まず、第１の条件について説明する。第２変化領域において対象物体の画像特徴を抽出し、第１監視画像において、注視点射影像が形成される領域のうち抽出された画像特徴と同じ画像特徴を有する領域を射影領域とする。こうすることで、背景部分が除かれた的確な射影領域を合成の対象とすることができる。画像特徴は輝度値、色成分などとすればよい。

具体的には、第２監視画像の画素のうち注視点として第２変化領域内に設定された画素の画像特徴を抽出する。第１監視画像において、注視点に対応する注視点射影像内（エピポーラ線上）に存在する画素のそれぞれについて当該画素の画像特徴と注視点から抽出された画像特徴との相違度（又は類似度）を算出し、算出された相違度が所定値未満（又は類似度が所定値以上）の画素を射影領域として選出する。

注視点毎に、ここで述べる第１の条件を適用することで合成対象とする画素の探索範囲が各注視点に対応するエピポーラ線上に限定されるので、画像特徴の共通性・類似性に基づいて注視点に対応付けられる第１監視画像の画素を好適な位置精度で求めることができる。

ここで、画像の解像度には限りがあることから、第２監視画像において第２変化領域の輪郭線上に相当する画素では、背景と対象物体との輝度成分や色成分が混ざっていることが多い。そこで、注視点を抽出する領域を上述した縁部領域とする。こうすることで、背景の画像成分が混ざっていない画像特徴が確実に抽出される。また、注視点を、縁部領域に限定することは、第１監視画像及び第２監視画像が撮像される方向が互いに垂直をなしている場合に、対象物体の表面のうち第１監視画像及び第２監視画像の双方にて撮像されている領域のみから画像特徴を抽出することも意味する。この限定により第１監視画像にて撮像されていない対象物体の部分（図４（ａ）における脚の部分など）の画像特徴が抽出されない。以上のように、注視点を縁部領域に限定することで、背景部分を合成の対象とする誤りを防止することができる。

次に第２の条件について説明する。第２の条件では、注視点射影像が形成される領域のうち、第１監視画像と背景画像５０-1との間で画素値が第２の閾値ＴＨ2を超えて相違する部分が射影領域とされる。ここで、第２の閾値ＴＨ2は、第１の閾値ＴＨ1より緩く（低く）設定される。具体的には、第１監視画像の各画素と背景画像５０-1の対応する画素との間で輝度値或いは色成分の差を算出し、算出された差が第２の閾値ＴＨ2以上である画素を検出し、検出された画素からなる領域を射影領域として抽出することができる。また、差の代わりに相関値を算出し、算出された相関値が第２の閾値ＴＨ2未満である画素を検出することによっても射影領域を抽出することができる。

第２の閾値ＴＨ2には、カメラ内部や伝送系にて生じるノイズによる変化を排除できる程度の値が事前の実験等に基づき設定される。例えば、第１監視画像及び第２監視画像の輝度値が２５６階調であり、輝度値の差により射影領域を抽出する場合、各閾値はＴＨ1＝２０、ＴＨ2＝５などと設定される。

これにより第１の閾値ＴＨ1との比較では厳しすぎて抽出できなかった対象物体の領域が第２の閾値ＴＨ2との比較では抽出される。一方、基準緩和による過剰な抽出に対しては、注視点射影像が形成される領域に含まれるという条件や上述した画像特徴の同一性の条件による抑制が働く。すなわち、上述の２つの条件に基づいて、注視点射影像が形成される領域のうち対象物体による変化が生じている部分が抽出され、背景部分が好適に除かれた射影領域を第１変化領域との合成の対象とすることができる。

図５は、変化領域合成手段６１により合成変化領域を求める処理の具体例を説明する模式図である。図５（ａ）の斜線部は壁カメラ画像から抽出された第２変化領域であり、その天井側に面する境界に沿った太線は縁部領域を表している。また、図５（ｂ），（ｃ）はそれぞれ天井カメラ画像、図５（ｄ）は合成対象となる射影領域、図５（ｅ）は天井カメラ画像から抽出された第１変化領域、図５（ｆ）は合成変化領域をそれぞれ表している。

縁部領域内の１つの画素９２を射影し、注視点射影像としてエピポーラ線９３を得る。画素９２の輝度値Ｉwを画像特徴として抽出し、エピポーラ線９３上の各画素について（１）式及び（２）式を満たす画素を選出し、領域９４を得る。ここで、Ｉc(ｘ，ｙ)は天井カメラ画像の輝度値、Ｉcb(ｘ，ｙ)は背景画像５０-1の輝度値である。また、ＴＨ3は画像特徴が同一であるとみなせる範囲を規定するしきい値であり、実験等を通じて予め求められ、設定される。
｜Ｉc(ｘ，ｙ)−Ｉw｜＜ＴＨ3 ………（１）
｜Ｉc(ｘ，ｙ)−Ｉcb(ｘ，ｙ)｜≧ＴＨ２ ………（２）

射影と（１）式及び（２）式による画素の選出とを縁部領域の各画素に対して繰り返し行うと、合成対象とする射影領域９５が得られる。

一方、図５に示す例では、対象物体の人物は床の色と似た色の服を着用し、図５（ｅ）に示すように、第１変化領域９６は服の大部分について抽出され損ねたものとなっている。そのため、第１変化領域９６は、大きさ、形状ともに対象物体としての基準を満たさない。しかしながら、射影領域９５を第１変化領域９６に合成して得られる合成変化領域９７では、服の大部分が補われたものとなり、大きさ、形状ともに対象物体としての基準を満たし、対象物体として検出することができる。

物体検出手段６２は、合成変化領域が入力されると、当該領域に基づいて対象物体を検出し、対象物体が検出された領域の情報を追跡手段６３へ出力する。具体的には、合成変化領域の大きさ、形状の一方又は両方を求めて予め定めた基準と比較し、基準を満たす合成変化領域に対象物体の存在を検出する。合成変化領域の形状に関しては例えば、合成変化領域の縦横比を形状を表す値として求め、対象物体の縦横比として許容できる範囲を形状の基準として設定することができる。また、合成変化領域の大きさに関しては例えば、合成変化領域を囲む外接矩形の面積或いは合成変化領域の画素数を、大きさを表す値として求め、対象物体の面積或いは画素数として許容できる範囲を大きさの基準として設定することができる。

以上のように、第１監視画像から抽出された第１変化領域に、第２監視画像から抽出された第２変化領域の射影領域を合成することで、第１監視画像から抽出できない対象物体の一部又は全部が射影領域により補われるので、背景と似た対象物体をも好適に検出できる。

追跡手段６３は、検出された対象物体の領域の情報が入力されると、第１監視画像における当該領域について色ヒストグラム等の特徴量を演算し、前時刻に演算され追跡物体ごとに記憶部５に記憶されている特徴量との類似度を算出し、当該類似度が所定値以上になることに基づいて現時刻と前時刻との間での同一物体を同定し、同定された対象物体の領域の位置を現時刻における追跡物体の位置（現在位置）と判定する。

こうして、前後する時刻に対象物体が検出された領域の画像情報を比較して当該対象物体の位置を追跡する。

追跡手段６３は、判定された現時刻の位置を追跡物体ごとに記憶部５に追加記憶する。その結果、追跡物体ごとに移動軌跡（位置の履歴）が蓄積される。また、移動軌跡に「認証者」、「非認証者」を識別する属性を対応付けて管理する。ちなみに、属性の初期値は「非認証者」とする。現時刻において認証部４から認証信号が入力されているときに、現在位置が認証部４の位置に最も近い追跡物体を検出して、検出された追跡物体の移動軌跡の属性を「認証者」に変更する。

異常判定手段６４は、不正通行の異常の有無を判定し、異常ありと判定した場合は異常に応じた出力を行う。現時刻の位置が出入口領域の中、且つ属性が「非認証者」である移動軌跡が記憶部５に記憶されているか否かを確認し、該当する移動軌跡が記憶されていれば不正通行の異常ありと判定して異常信号を出力部７へ出力する。

出力部７は、異常信号が入力されると不正通行を警告する警告音を出力するスピーカー、ブザー等の音響出力手段、同じく異常信号が入力されると通信回線を介して不正通行を通報する通報信号をセンタ装置等の外部機器へ送出する通信手段を含んでなる。

次に、不正通行検出装置１の動作を説明する。図６は、当該動作の概略の処理フロー図である。監視空間が無人であることを確認した管理者が電源を投入すると各部、各手段が動作を始め、所定の初期化が行われる（Ｓ１０）。

続いて制御部６は、射影規則５１が記憶部５に記憶されているか否か、すなわち射影規則５１の一部であるカメラパラメータが記憶されているかを確認し（Ｓ１５）、記憶されていなければ、操作部３から管理者によるカメラパラメータの入力を受け付け、射影規則５１をカメラパラメータにより補完した上で記憶部５に記憶させる（Ｓ２０）。

その後、撮像部２から制御部６へ新たな画像が入力されるたびに、以下に述べるＳ２５〜Ｓ６０の処理が繰り返される。

まず、制御部６は天井カメラが新たに撮像した第１監視画像及び壁カメラが新たに撮像した第２監視画像を取得すると（Ｓ２５）、背景画像５０が記憶部５に記憶されているか否かを確認する（Ｓ３０）。起動直後であって背景画像５０が記憶されていなければ（Ｓ３０にてＮＯ）、制御部６の変化領域抽出手段６０は、第１監視画像を背景画像５０-1として記憶部５に記憶させ、第２監視画像を背景画像５０-2として記憶部５に記憶させて背景画像５０を初期化する（Ｓ３５）。初期化後、処理はＳ２５へ戻される。

一方、背景画像５０が記憶されていれば（Ｓ３０にてＹＥＳ）、処理はＳ４０へ進み対象物体検出処理が行われる。対象物体検出処理の詳細は後述する。

続くＳ４５にて、制御部６は対象物体検出処理の結果を参照して対象物体が検出されたか否かを確認する。対象物体が検出されていなければ（Ｓ４５にてＮＯ）、制御部６の変化領域抽出手段６０は、第１監視画像により背景画像５０-1を更新し、第２監視画像により背景画像５０-2を更新する（Ｓ５０）。更新後、処理はＳ２５へ戻される。

一方、対象物体が検出されたのであれば（Ｓ４５にてＹＥＳ）、制御部６の追跡手段６３は、対象物体の追跡処理を行う（Ｓ５５）。

すなわち制御部６の追跡手段６３は、検出された対象物体の領域の特徴量と記憶部５に記憶されている追跡物体の特徴量とを比較することにより検出された対象物体が追跡物体のいずれであるかを同定し、各追跡物体の現在位置を判定する。そして、判定した現在位置により追跡物体の移動軌跡を更新し、検出された対象物体の特徴量により追跡物体の特徴量を更新する。

また、制御部６の追跡手段６３は、認証部４からの認証信号の有無を確認し、認証信号が受信されていれば現在位置が認証部４に最も近い追跡物体の属性を「認証者」に変更する。

なお、いずれの追跡物体とも同定されなかった対象物体は新規の追跡物体と判定し、当該対象物体の現在位置、特徴量及び属性の初期値「非認証者」を新たに記憶部５に記憶させる。また、いずれの対象物体とも同定されなかった追跡物体は視野外に移動したものと判定し、当該追跡物体の移動軌跡、特徴量及び属性を記憶部５から消去する。

こうして追跡が進捗すると、制御部６の異常判定手段６４は、記憶部５に記憶されている移動軌跡を分析して不正通行者の有無を判定する（Ｓ６０）。不正通行者の存在が判定されると（Ｓ６０にてＹＥＳ）、制御部６の異常判定手段６４は出力部７へ異常信号を出力し、出力部７は警告音を出力して不正通行者を威嚇するとともに、センタ装置への通報信号を送信する（Ｓ６５）。通報信号を受信したセンタ装置は異常の報知や監視画像の表示等を行い、これを受けた警備員は対処行動を行う。

以上の処理を終えると、制御部６は処理をＳ２５へ戻す。図７は、対象物体の検出処理Ｓ４０の概略の処理フロー図である。図７を参照して、対象物体の検出処理を説明する。

まず、制御部６の変化領域抽出手段６０は、第１監視画像と背景画像５０-1とを比較して第１変化領域を抽出し、第２監視画像と背景画像５０-2を比較して第２変化領域を抽出する（Ｓ４０１）。

以下、第１変化領域に第２変化領域を合成する処理となる。制御部６の変化領域合成手段６１は、第２変化領域から縁部領域を検出し（Ｓ４０２）、検出した縁部領域内の画素を順次、注視点に設定し（Ｓ４０３）、当該注視点についてＳ４０３〜Ｓ４１１のループ処理を行う。制御部６の変化領域合成手段６１は、注視点の輝度値Ｉwを抽出し（Ｓ４０４）、注視点を射影規則５１により射影して注視点射影像（エピポーラ線）を求める（Ｓ４０５）。

続いて制御部６の変化領域合成手段６１は、求めた注視点射影像内の画素を順次、処理対象に設定し（Ｓ４０６）、当該処理対象の画素から合成対象の画素を選別するためにＳ４０６〜Ｓ４１０のループ処理を行う。

制御部６の変化領域合成手段６１は、処理対象の画素の輝度値Ｉc(ｘ，ｙ)と注視点の輝度値Ｉwとが（１）式を満たしているか否かを判定し（Ｓ４０７）、処理対象の画素の輝度値Ｉc(ｘ，ｙ)と対応する背景画像５０-1の画素の輝度値Ｉcb(ｘ，ｙ)との差｜Ｉc(ｘ，ｙ)−Ｉcb(ｘ，ｙ)｜が（２）式を満たしているか否かを判定する（Ｓ４０８）。処理対象の画素が（１）式，（２）式を満たしていれば（Ｓ４０７及びＳ４０８にてＹＥＳ）、当該画素を合成対象に設定する（Ｓ４０９）。

注視点射影像内の全画素について処理が終わると（Ｓ４１０にてＹＥＳ）、縁部領域内の１つの注視点に対応する射影領域の部分的な選別が終了し、縁部領域内の全画素について処理が終わると（Ｓ４１１にてＹＥＳ）、射影領域全体の抽出が終了する。

続いて制御部６の変化領域合成手段６１は、こうして得られた射影領域をＳ４０１にて抽出された第１変化領域に合成して合成変化領域を算出する（Ｓ４１２）。

合成領域は少なくとも監視空間に存在する対象物体の数だけ算出される。制御部６の物体検出手段６２は各合成領域の形状及び大きさが基準の範囲内であるかを確認し、基準の範囲内であれば当該合成変化領域は対象物体によるものであると判定する（Ｓ４１３）。

以上の処理を終えると、制御部６は処理を図６のＳ４５へ戻す。

さて、上述の実施形態では対象物体を人としたが、対象物体はこれに限られず、種々の立体物に適用可能である。

また、壁カメラと天井カメラとの光軸が成す角が垂直でない場合にも、お互いの背景が異なり、かつ成す角が９０度より小さい場合ならばこの技術は好適に適用可能である。このような場合、対象物体の表面で、両方のカメラから共通に見える部分が大きくなる。そこで、第２変化領域内に設定する注視点を縁部領域の画素のみに限定せず、さらに内側の領域の画素にも設定することがより好適である。

また、射影規則５１は予め算出した注視点と注視点射影像の座標との対応関係を記述したテーブルとして記憶してもよい。

本発明の適用例として、検出された対象物体を追跡し、追跡結果に応じて異常を判定する不正通行検出装置１の例を示したが、追跡を行わずに、対象物体が検出されたときに異常と判定して異常信号を出力する侵入検知装置などにも本発明を適用することができる。

なお、処理Ｓ４０７又はＳ４０８のいずれか一方を省略しても射影領域を抽出することは可能である。

また、図８は、本発明を適用して人を検出する他の処理例を説明する模式図である。図８（ａ）は第２変化領域、図８（ｂ）は第１変化領域を示しており、ここで示す例は、壁が肌の色と似ていて第２変化領域１００において胴部（斜線領域）は抽出できたが頭部（点線で囲む領域）を抽出できず、一方、床が服の色と似ていて第１変化領域１０１において頭部（斜線領域）は抽出できたが胴部（点線で囲む領域）を抽出できなかった場合である。図８（ｃ）〜（ｅ）はこの場合における他の処理例を説明する図である。

図８（ｃ）は、処理Ｓ４０６からＳ４１０の処理に代えて用いることができる合成対象の算出処理を説明する図である。当該処理では、第１変化領域１０１のＹ座標の最大値Ｙmax及び最小値Ｙminを求め、注視点射影像が形成される領域１０２からＹ座標がＹmin未満の領域とＹ座標がＹmaxを超える領域とを削除して得られる領域を、射影領域として算出する。これにより射影領域と第１変化領域とを合成した合成変化領域として図８（ｃ）の斜線領域が得られる。

図８（ｄ），（ｅ）は、処理Ｓ４０６からＳ４１０の処理に代えて用いることができる射影の算出処理及び物体検出処理を説明する模式図である。図８（ｄ），（ｅ）に係る処理は、射影の算出処理として処理Ｓ４０６からＳ４１０を行わず、処理Ｓ４０５にて算出した注視点射影像が存在する領域をそのまま射影領域とする。すなわち、図８（ｄ），（ｅ）に係る処理では、処理Ｓ４１２にて、領域１０２と第１変化領域１０１とが合成され、合成変化領域が求められる。この合成変化領域は、例えば、対象物体の追跡を行わない侵入者検知に用いることができる。図８（ｄ）は、この合成変化領域から対象物体の存在を検出する処理（Ｓ４１３）の１つの例を示しており、図８（ｅ）はもう１つの例を示している。

図８（ｄ）に示す処理では、第１監視画像の座標系における第２の撮像部２-2の位置から合成変化領域を見込む角θiを算出し、θiが予め定めた値（対象物体の最小幅に相当）を超える場合に対象物体が存在すると判定する。

図８（ｅ）に示す処理では、合成変化領域の幅Ｗ1を算出し、算出された幅Ｗ1が予め定めた対象物体の最小幅を超える場合に対象物体が存在すると判定する。幅Ｗ1は以下のようにして算出する。まず、第２監視画像の座標系における第２変化領域の下端（足元）の座標を求め、当該座標と第２の撮像部２-2のカメラパラメータを用いて、第２の撮像部２-2から対象物体までの距離ｄwを算出する。次に監視空間の三次元座標系において、第２の撮像部２-2の位置からの距離がｄwであり、２つの撮像部の光軸のいずれとも直交する直線を求め、求めた直線を第１の撮像部２-1の座標系に射影し、直線Ｌaを算出する。直線Ｌaと合成変化領域が重なる長さを求め、これを幅Ｗ1とする。

本発明の実施形態に係る不正通行検出装置の概略のブロック構成図である。 本装置における２つの撮像部の配置を示す模式図である。 壁カメラ画像、天井カメラ画像、及び監視空間の三次元座標の関係を示す模式図である。 輪郭線及び縁部領域の抽出処理を説明する模式図である。 変化領域合成手段により合成変化領域を求める処理の具体例を説明する模式図である。 不正通行検出装置の動作の概略の処理フロー図である。 対象物体の検出処理の概略の処理フロー図である。 本発明を適用して人を検出する他の処理例を説明する模式図である。

符号の説明

１ 不正通行検出装置、２ 撮像部、３ 操作部、４ 認証部、５ 記憶部、６ 制御部、７ 出力部、５０ 背景画像、５１ 射影規則、６０ 変化領域抽出手段、６１ 変化領域合成手段、６２ 物体検出手段、６３ 追跡手段、６４ 異常判定手段。

Claims (5)

1. 第１背景画像が得られる視点から監視空間を撮像し第１監視画像を出力する第１の撮像部と、
   前記第１背景画像とは異なる第２背景画像が得られる視点から前記監視空間を撮像し第２監視画像を出力する第２の撮像部と、
   前記第１背景画像、前記第２背景画像及び、前記第２の撮像部の撮像面上の任意の注視点に対し、当該注視点を通る投影線を前記第１の撮像部の撮像面に射影した注視点射影像を対応づける対応規則を記憶する記憶部と、
   前記第１監視画像を前記第１背景画像と比較して第１変化領域を抽出し、また、前記第２監視画像を前記第２背景画像と比較して第２変化領域を抽出する変化領域抽出手段と、
   前記対応規則により、前記第２変化領域に包含される前記注視点についての前記注視点射影像を求め、前記第１の撮像部の撮像面内の当該注視点射影像が形成される領域に応じた射影領域と、前記第１変化領域とを合成し、合成変化領域を求める変化領域合成手段と、
   前記合成変化領域に基づいて前記監視空間における対象物体を検出する物体検出手段と、
   を有することを特徴とする画像監視装置。
2. 請求項１に記載の画像監視装置において、
   前記変化領域合成手段は、前記第２変化領域において所定の画像特徴を抽出し、前記注視点射影像が形成される領域のうち前記画像特徴を有する部分を前記射影領域として前記合成変化領域を求めること、を特徴とする画像監視装置。
3. 請求項２に記載の画像監視装置において、
   前記両撮像部の撮像方向は略直交し、
   前記変化領域合成手段は、前記第２変化領域の輪郭のうち前記第１の撮像部に対して表側にある部分に沿って設けられた縁部領域にて前記画像特徴を抽出すること、
   を特徴とする画像監視装置。
4. 請求項１から請求項３のいずれか１つに記載の画像監視装置において、
   前記変化領域抽出手段は、画素値が第１基準値を超えて相違する部分を前記第１変化領域として抽出し、
   前記変化領域合成手段は、前記第１基準値未満に設定される第２基準値を用い、前記注視点射影像が形成される領域のうち、前記第１監視画像と前記第１背景画像との間で画素値が前記第２基準値を超えて相違する部分を前記射影領域とすること、
   を特徴とする画像監視装置。
5. 請求項１から請求項４のいずれか１つに記載の画像監視装置において、
   所定の物体移動面内での前記対象物体の位置を追跡する追跡手段を有し、
   前記第１の撮像部は、撮像方向を前記物体移動面に向けて設定され、
   前記両撮像部は、前記第１監視画像及び前記第２監視画像を時系列に従って順次撮像し、
   前記追跡手段は、前記物体検出手段により前後する時刻にて前記対象物体が検出された領域の画像情報を比較し、その比較結果に基づいて当該前後する時刻間での前記対象物体の同定を行うこと、
   を特徴とする画像監視装置。

Images