JP2010206405A - 画像監視装置 - Google Patents

Abstract

【課題】複数の撮像部により撮像された画像から検出された人物位置の情報を統合するときに同一人物の人物位置を別人物と誤る又は他人の人物位置を同一人物と誤る問題があった。
【解決手段】座標変換手段３３０は共通座標系に人物位置を座標変換し、投影線算出手段３３１は人物位置への投影線を算出し、経路長算出手段３３２は同時に撮像された監視画像の一方から検出された人物位置Ａ１への投影線ＣＡＭ１−Ａ１上、及び他方の監視画像から検出された人物位置Ａ２への投影線ＣＡＭ２−Ａ２上を通る当該人物位置間の経路長（Ｄ１＋Ｄ２）を算出し、同様に人物位置Ａ１とＢ２の間の経路長（Ｄ３＋Ｄ４）を算出し、人物位置統合手段３３３は経路長がより短いペア「Ａ１とＡ２」を他のペア「Ａ１とＢ２」よりも優先的に同一人物の人物位置としてまとめることで人物位置の情報を統合する。
【選択図】 図４

Description

本発明は、監視空間が撮像された画像を処理して監視空間内の人物の位置を検出する画像監視装置に関し、特に複数の撮像部により撮像された画像から人物の位置を検出する画像監視装置に関する。

広範囲に亘って人物の行動を監視するために、複数のカメラを設置して各カメラにより撮像された画像のそれぞれから人物の位置を検出し、各画像から検出された人物位置の情報を統合することが行われてきた。

人物位置の情報を統合するために、特許文献１においては重心位置が近い情報同士を同一人物の情報として統合している（００１５段落、００３３段落）。

特開平７−４９９５２号公報

しかしながら、検出される人物位置には一般に誤差が含まれ、検出誤差は誤った統合を引き起こしていた。検出誤差の要因は、撮像される人物像の一部又は全部が他の人物や障害物に隠蔽されるオクルージョン、影、量子化誤差など様々である。中でも特にオクルージョンによる検出誤差は大きく、統合を誤る主要因となっていた。

例えば、図１３（ａ）は、障害物９１によるオクルージョンの影響で人物９０の下半身部分が隠蔽され、人物９０の上半身部分の重心が人物９０の重心位置９２として検出された様子を表している。人物９０の重心は、本来は上半身と下半身を合わせた領域の重心位置９３の位置に検出されるべきものである。

検出誤差が含まれると、本来同一人物のものである人物位置同士が離間したり、離間した人物位置が他人の人物位置と近接したりしてしまう。そのため、従来技術においては、本来同一人物のものである人物位置同士を別々の人物としてしまったり、本来他人のものである人物位置同士を同一人物としてしまうという問題があった。

また、異なるカメラにより撮像された画像から検出された人物位置の比較は、各人物位置を共通する座標系に射影してから行われる。射影に際しては各人物の身長を設定する必要があり、身長の設定誤差も統合を誤る要因のひとつとなっていた。

本発明は、上記問題を鑑みてなされたものであり、複数の撮像部により撮像された画像から検出された人物位置に誤差が含まれていても、同一人物の人物位置を誤りなくまとめて人物位置の情報を統合できる画像監視装置を提供することを目的とする。

本願発明者は、上記問題点を解決する画像監視装置を実現するために研究を行い、その結果、縦長である人物の検出誤差は人物の幅方向よりも高さ方向に大きく現れること、高さ方向の検出誤差は撮像部から人物への投影線上に現れることが判明した。例えば、図１３（ａ）の例において検出された人物位置９２は、図１３（ｂ）に示すように投影線９６に沿って撮像部から遠ざかる位置に存在する人物像９４の重心位置９５とみなされてしまうのである。これが複数のカメラ系のそれぞれに言えることから本願発明者は、誤差が含まれていたとしても異なる撮像部により撮像された画像から検出された人物位置への投影線同士が交差する位置に真の人物位置が存在する可能性が最も高いことを導出した。本発明はこの知見を利用したものである。

本発明にかかる画像監視装置は、互いに視野の一部を共有し当該視野内を移動する人物を互いに異なる方向から撮像して監視画像を出力する複数の撮像部と、監視画像から人物が存在するローカル座標系での人物位置を検出する人物位置検出手段と、撮像部ごとに設定されたローカル座標系から複数の撮像部に共通して設定された共通座標系へ人物位置を射影する座標変換手段と、共通座標系において人物位置と当該人物位置が検出された監視画像を撮像した撮像部の位置とを結ぶ投影線を算出する投影線算出手段と、複数の撮像部により同時に撮像された監視画像の一方から検出された人物位置及び他方の監視画像から検出された人物位置のペアを設定し、一方の人物位置への投影線上及び他方の人物位置への投影線上を通る当該人物位置間の経路長を算出して出力する経路長算出手段と、経路長算出手段により出力された経路長がより短いペアを他のペアよりも優先的に同一人物の人物位置としてまとめることで人物位置の情報を統合する人物位置統合手段と、を備えたことを特徴とする。

同一人物のペアであればこれらの人物位置への投影線は人物位置から比較的近い位置で交差するため検出誤差が含まれていても比較的短い経路長が算出される。これに対し、他人同士のペアの場合は、その組み合わせの矛盾により投影線が人物位置から離れた位置で交差するため長い経路長が算出される。このように同一人物のペアと他人同士のペアとで顕著な差が現れる経路長に基づき人物位置の情報を統合する上記構成によれば、人物位置に検出誤差が生じても同一人物の人物位置を適切にまとめて人物位置の情報を統合できる。

また、本発明の好適な態様においては、座標変換手段は人物の身長分布範囲内で複数の身長を設定して射影を行い、経路長算出手段は複数の身長ごとに算出された経路長のうち最小の経路長を出力する。
かかる構成によれば、身長設定の誤りに起因する誤差が減少して同一人物のペアに関する経路長が極小化されるので、同一人物のペアと他人同士のペアの差はより顕著となり、統合精度が向上する。

また、本発明の好適な態様においては、座標変換手段はさらにペアを構成する各人物位置への投影線の交点を当該人物位置が検出されたローカル座標系へ逆射影し、経路長算出手段は人物位置検出手段により検出された人物位置と逆射影された交点との距離の和を経路長として算出する。
かかる構成によれば、同一人物のペアの交点はこれらの人物位置の近くに存在しローカル座標系において交点と人物位置は同程度の解像度となるため、解像度の格差が是正された経路長を算出できるので、より高い精度で人物位置の情報を統合できる。

また、本発明の好適な態様においては、座標変換手段は人物の身長分布範囲内で複数の高さを設定して交点を逆射影し、経路長算出手段は複数の高さごとに算出された経路長のうち最小の経路長を出力する。
かかる構成によれば、身長設定の誤りに起因する誤差及び解像度の格差が低減された状態で経路長を比較できるので、より高い精度で人物位置の情報を統合できる。

また、本発明の好適な態様においては、人物位置統合手段は、同一人物とされたペアへの投影線の交点を当該人物の統合後の位置として算出することで、同一人物の人物位置をひとつにまとめることができる。

本発明によれば、複数の撮像部により撮像された画像から検出された人物位置の情報に検出誤差が生じていても、これらの人物位置の情報を適確に統合できる。

画像監視装置の全体構成図である。 画像監視装置の各部の配置例を示す図である。 人物位置が検出される様子を例示した図である。 経路長を算出する様子を例示した図である。 経路長を算出する様子を例示したもうひとつの図である。 近接度を算出する関数ｆ（・）を例示した図である。 近接度、単独度の算出例を示す図である。 統合評価値の算出例を示す図である。 画像監視処理のフローチャートである。 第一の実施形態における人物情報統合処理のフローチャートである。 第二の実施形態における人物情報統合処理のフローチャートである。 ローカル座標系において経路長を算出する様子を例示した図である。 人物位置の検出誤差を例示した図である。

本発明の好適な実施形態の一例として、監視空間を移動する人物の移動軌跡を分析して不審人物を検知する画像監視装置について説明する。

＜第一の実施形態＞
［画像監視装置の構成］
本発明の第一の実施形態にかかる画像監視装置１の構成を図１，図２を参照して説明する。図１は機能ブロック図、図２は配置例を示している。

画像監視装置１は、複数のカメラユニット２と統合ユニット３とがＬＡＮ等の通信網４により接続されてなる。カメラユニット２のそれぞれは自身の視野内に存在する人物の位置（人物位置）を検出し、検出された人物位置を統合ユニット３に送信する。統合ユニット３は各カメラユニット２から受信した人物位置の情報を統合する。このとき同一人物による人物位置はひとつにまとめられる。そして統合ユニット３は統合された人物位置を基に人物の行動を認識して不審行動を検知する。画像監視装置１においては統合により広範囲かつ死角の少ない監視が可能となる。また人物位置の情報を基礎とするためカメラユニット２の間でカラーキャリブレーションを行う必要がない、カメラユニット２と統合ユニット３の間の通信量が少ないなどの利点が得られる。尚、各ユニット２及び３は、互いに通信を行うことでタイミングを合わせ、同期して動作しているものとする。

カメラユニット２のそれぞれは、撮像部２０と、カメラ記憶部２１と、カメラ通信部２３とがカメラ制御部２２に接続されてなる。

撮像部２０は所謂監視カメラである。各撮像部２０は、一定時間おきに監視空間を撮像して監視画像を出力する。各撮像部２０は少なくとも隣り合う撮像部２０と互いに視野５０の一部を共有する程度に離間させて設置され、当該視野内を移動する人物を互いに異なる方向から同時に撮像する。これによりひとつの撮像部２０により撮像された監視画像においてオクルージョンが生じている人物について、オクルージョンが生じていない監視画像を別の撮像部２０から同時に得ることができる。好適には各撮像部２０は、魚眼レンズを有する監視カメラで構成され、その光軸を鉛直下方に向けて設置される。また好適には、各撮像部２０の撮像範囲のうち画像処理により人物位置を検出できる解像度が得られる撮像範囲が各視野５０とみなす設定が予め為される。

カメラ記憶部２１は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等のメモリ装置である。カメラ記憶部２１は、各ユニットのアドレスや各種プログラムを予め記憶し、また視野内の人物の画像特徴（色ヒストグラム）を表すテンプレート、監視画像、視野内に人物がいないときの背景画像等のデータを必要に応じて記憶する。

カメラ制御部２２は、ＤＳＰ(Digital Signal Processor)、ＭＣＵ(Micro Control
Unit)等の演算装置である。カメラ制御部２２は、人物位置検出手段２２０等の動作を記述したプログラムをカメラ記憶部２１から読み出して実行することにより各手段として機能する。

人物位置検出手段２２０は、監視画像から人物が存在する人物位置を検出し、検出された人物位置をカメラ通信部２３に出力する。人物位置の検出は次のようにして探索的に行われる。人物位置検出手段２２０は、背景画像と監視画像との差分処理により変化領域を抽出し、変化領域内に候補位置を設定して当該候補位置を重心とするテンプレートと同一の形状及び大きさの領域を設定し、当該領域において監視画像から抽出した色ヒストグラムとテンプレートの色ヒストグラムの類似度を算出する。類似度の算出は順次候補位置を移動させながら繰り返され、人物位置検出手段２２０は、極大且つ予め設定された基準値以上の類似度が算出された候補位置を人物位置として検出する。

上述したように、人物位置としては人物像の重心位置が検出される。別の実施形態では、人物位置として頭頂を想定した人物像の最上部位置、足元を想定した人物像の最下部位置などを採用することもできる。しかし人物像の外縁部である最上部位置や最下部位置は変化領域抽出の誤差の影響を受けやすい、最上部位置は投影線の俯角が小さくなるため後述する射影の誤差が大きくなる、最下部位置はオクルージョンにより欠落しやすく、その抽出誤差が大きいといった欠点がある。一方、重心位置はこれらの抽出誤差や射影誤差の影響が稀釈されて小さくなる点で最上部位置や最下部位置より優れる。

また、人物位置検出手段２２０は、変化領域が抽出されないときの監視画像で置き換える背景画像の更新、いずれのテンプレートとも一致しない変化領域の画像特徴を新規追加するテンプレートの更新、いずれの変化領域とも一致しないテンプレートを破棄する更新などのデータ更新を適宜行う。

カメラ通信部２３は、通信網４に適合した通信回路である。カメラ通信部２３は、通信網４に接続され、人物位置検出手段２２０から入力された人物位置を通信網４経由で統合ユニット３に送信する。

統合ユニット３は、統合通信部３０と、操作部３１と、統合記憶部３２と、出力部３４とが統合制御部３３に接続されてなる。

統合通信部３０は、通信網４に適合した通信回路である。統合通信部３０は、通信網４に接続され、カメラユニット２のそれぞれから人物位置を通信網４経由で受信する。

操作部３１は、タッチパネルディスプレイ等のユーザインターフェース装置である。画像監視装置１の管理者が各種設定の入力に用いる。

統合記憶部３２は、ＲＯＭ、ＲＡＭ等のメモリ装置である。各ユニットのアドレスや各種プログラムを予め記憶し、また各種データを必要に応じて記憶する。各種データには、撮像部２０の設置位置ＣＡＭ、射影規則３２０及び移動軌跡３２１が含まれる。

射影規則３２０は、撮像部２０ごとに設定された監視画像面のローカル座標系と全ての撮像部２０に共通して設定された共通座標系との間で人物位置を座標変換する座標変換式である。

撮像部２０−１のローカル座標系は、撮像面５１−１上で互いに直交するｘ１軸及びｙ１軸で表される。同様に撮像部２０−２のローカル座標系は撮像面５１−２上で互いに直交するｘ２軸及びｙ２軸で表される。

共通座標系には、実際の監視空間５２を表す３次元の世界座標系における水平面が設定される。すなわち世界座標系を互いに直交するＸ軸，Ｙ軸，Ｚ軸で表し、Ｚ軸を監視空間５２の鉛直方向に設定したときのＸ−Ｙ平面を共通座標系に設定する。平面のＺ座標は任意だが本実施形態では処理を簡単化するためにＺ＝０の平面とする。

射影規則３２０は、撮像部２０それぞれのカメラパラメータに公知のピンホールカメラモデル等のカメラモデルを適用することで撮像部２０ごとに設定される。カメラパラメータは、撮像部２０の焦点距離、画角、画素数及びレンズ歪み、世界座標系における撮像部２０の設置位置ＣＡＭ及び撮像方向等であり、画像監視に先立って操作部３１から入力される。

また、ローカル座標系の人物位置を共通座標系の１点に射影するには人物の身長を設定して射影規則３２０を用いる必要がある。この身長は後述する座標変換手段３３０により適宜に設定される。

移動軌跡３２１は、人物ごとに統合された共通座標系における人物位置の履歴である。

統合制御部３３は、ＣＰＵ(Central Processing Unit)、ＤＳＰ等の演算装置である。統合制御部３３は、座標変換手段３３０、投影線算出手段３３１、経路長算出手段３３２、人物位置統合手段３３３、追跡手段３３４、不審行動検知手段３３５等の動作を記述したプログラムを統合記憶部３２から読み出して実行することにより各手段として機能する。

座標変換手段３３０は射影規則３２０を用いてローカル座標系と共通座標系との間で人物位置を座標変換する。具体的には座標変換手段３３０は人物位置検出手段２２０により検出されたローカル座標系の人物位置が入力されると、所定の身長を設定して当該人物位置を共通座標系に射影して射影後の人物位置を出力する。座標変換手段３３０は身長を監視対象とする人物群の分布範囲内で設定する。例えばＡＴＭコーナーなど成人主体の監視対象であれば、座標変換手段３３０は１５０ｃｍ〜２００ｃｍの範囲で身長を設定する。

投影線算出手段３３１は、共通座標系において人物位置と当該人物位置が検出された監視画像を撮像した撮像部２０の設置位置ＣＡＭとを結ぶ直線、すなわち撮像部２０から人物位置への投影線を算出する。

経路長算出手段３３２は、複数の撮像部２０により同時に撮像された監視画像の一方から検出された人物位置及び他方の監視画像から検出された人物位置のペアを設定し、ペアの一方の人物位置への投影線上及び当該ペアの他方の人物位置への投影線上を通る当該人物位置間の経路長を算出し、人物位置統合手段３３３へ出力する。算出された経路長は、経路の両端に位置する人物位置間の近さを表し、これらの人物位置が同一人物のものであるか否かを判定する尺度として用いられる。

移動する人物は立位の姿勢をとっているため縦長の形状、すなわち幅より高さの方が大きい形状で撮像される。そのため人物位置の検出誤差においては高さ方向の成分が支配的となる。そして高さ方向の誤差成分は撮像部２０から遠ざかる方向、すなわち撮像部２０から人物位置への投影線に沿った方向に現れる。

このことから真の人物位置が存在する可能性は、投影線に沿った方向に偏重して高いとするのが尤もらしい。そして２つのカメラユニット２における人物位置の検出結果を得た場合、真の人物位置が存在する可能性は、各人物位置への投影線の交点において最も高いとするのが尤もらしいということになる。上記経路長は、ペアの一方と交点との距離、及びペアの他方と交点との距離の和となっており、真の人物位置が存在する可能性が最も高い位置を基準とした検出誤差を表している。

本来同一人物であるペアにおいて、交点はペアを構成する人物位置の近くに算出されるため、経路長は比較的短く算出される。しかし、本来他人であるペアにおいては、他人同士の人物位置を無理にペアにした矛盾があるため、交点はペアを構成する人物位置から大きく外れた位置に算出され、交点を経由する経路長は長くなる。よってこのような性質を有する経路長を参照すれば同一人物のペアと他人のペアとを適確に識別することが可能となる。

因みに人物位置間の距離を検出誤差として評価する従来技術においては、検出された人物位置間の中間位置に真の人物位置が存在する可能性が高いと考えていることになる。本来本人同士であるペアの検出誤差を近似するにはよいかも知れないが、本来他人同士であるペアに対しても不当に小さい距離が算出されて評価を誤る可能性が高まってしまう。

図４を参照して経路長算出の様子を具体例にて説明する。

人物αは撮像部２０−１と撮像部２０−２の共有視野に存在している。人物αについて、撮像部２０−１により撮像された監視画像６０−１のローカル座標系において人物位置ａ１が検出され、撮像部２０−２により撮像された監視画像６０−２のローカル座標系において人物位置ａ２が検出されている。但し、監視画像６０−１においては障害物５３によるオクルージョンが発生しており、人物位置ａ１は本来の人物位置よりも頭部方向にずれて検出されてしまっている。人物βは撮像部２０−２の視野のみに存在している。人物βについて監視画像６０−２のローカル座標系において人物位置ｂ２が検出されている。

人物位置ａ１，ａ２，ｂ２は座標変換手段３３０により共通座標系の人物位置Ａ１，Ａ２，Ｂ２にそれぞれ射影される。検出誤差の影響でＡ１はＡ２から離れてＢ２に近づいてしまい、Ａ１とＡ２の間の距離とＡ１とＢ２の間の距離には殆ど差がなくなってしまっている。

投影線算出手段３３１により共通座標系において、Ａ１への投影線ＣＡＭ１−Ａ１、Ａ２への投影線ＣＡＭ２−Ａ２、Ｂ２への投影線ＣＡＭ２−Ｂ２が算出される。Λ１は投影線ＣＡＭ１−Ａ１と投影線ＣＡＭ２−Ａ２の交点、Λ２は投影線ＣＡＭ１−Ａ１と投影線ＣＡＭ２−Ｂ２の交点をそれぞれ表している。また、Ｄ１はＡ１―Λ１間の距離、Ｄ２はＡ２―Λ１間の距離、Ｄ３はＡ１―Λ２間の距離、Ｄ４はＢ２―Λ２間の距離をそれぞれ表している。経路長算出手段３３２により、Ａ１−Ａ２間の経路長δは（Ｄ１＋Ｄ２）、Ａ１−Ｂ２間の経路長δは（Ｄ３＋Ｄ４）と算出される。

本来同一人物αのものである人物位置Ａ１とＡ２に関する交点Λ１は、人物位置Ａ１とＡ２から比較的近い位置に算出される。特にオクルージョンが生じていない人物位置Ａ２と交点Λ１との間の距離Ｄ２は非常に短い。一方、本来他人のものである人物位置Ａ１とＡ２に関する交点Λ２はＡ１からもＡ２からも大きく外れた位置に算出される。そのためＡ１−Ａ２間の距離とＡ１−Ｂ２間の距離に殆ど差がない本例のような場合でも、Ａ１−Ａ２間の経路長（Ｄ１＋Ｄ２）とＡ１−Ｂ２間の経路長（Ｄ３＋Ｄ４）には顕著な差が現れる。

こうして算出された経路長を参照すれば経路長の短いＡ１とＡ２、すなわち人物位置ａ１とａ２のペアが同一人物であるとの判定を容易に行うことができるのである。

ここで、本来同一人物のものである人物位置間の経路長にはオクルージョンによる誤差の他に身長の推定誤差が含まれている。座標変換手段３３０が平均身長を規定して射影を行ったが、実際には人物の身長は個々に異なるため推定誤差が生じる。例えば図４の例では、身長１８５ｃｍの人物αの位置を平均身長１７０ｃｍで射影している。距離Ｄ２に身長の推定誤差が現れ、距離Ｄ１はオクルージョンによる誤差と身長の推定誤差が複合して現れている。

そこで、経路長算出手段３３２は、各人物位置のペアに対して監視対象の人物の身長の分布範囲内で複数の身長を設定して身長ごとに経路長を算出し、最小の経路長を当該ペアの経路長とする。これにより身長の推定誤差が低減された経路長が算出されるので、同一人物の人物位置をより適確に識別することが可能となる。

図５（ａ）は身長１８５ｃｍを設定したときの経路長算出の様子を示している。この設定は本来同一人物のものである人物位置Ａ１とＡ２のペアにおける最小経路長が算出される設定である。距離Ｄ２及びＤ１はともに減少し、距離Ｄ２に至っては０となっている。図５（ｂ）は身長１５０ｃｍを設定したときの経路長算出の様子を示している。この設定は本来他人のものである人物位置Ａ１とＢ２のペアにおける最小経路長が算出されたときの設定である。距離Ｄ３及びＤ４はともに減少しているが、身長の分布範囲内では減少には限界があり、同一人物の場合ほど経路長は短くならない。別のケースでは距離Ｄ３は減少するが距離Ｄ４は増加したり、距離Ｄ４は減少するが距離Ｄ３は増加し、やはり同一人物の場合ほど経路長は短くならない。

このように身長に関する探索を行うことで同一人物に関する経路長は極小化され、他人に関する経路長と差が開き易くなるため、経路長に基づき同一人物の人物位置をより適確に識別することが可能となる。

人物位置統合手段３３３は、経路長算出手段３３２により算出された経路長を比較して経路長がより短いペアを他のペアよりも優先的に同一人物の人物位置としてまとめることで人物位置の情報を統合し、統合結果を追跡手段３３４へ出力する。このとき人物位置統合手段３３３は１対多の統合（例えば人物位置Ａ１とＡ２のペアと人物位置Ａ１とＢ２のペアの同時成立など）が生じないようペアを排他的に組み合わせて統合を行う。人物位置統合手段３３３は、同一人物によるものとされたペアの人物位置への投影線の交点を統合後の人物位置とすることで同一人物の人物位置をひとつにまとめる。尚、同一人物によるものとしてまとめられない単独の人物位置については、人物位置統合手段３３３は当該人物位置をそのまま統合後の人物位置とする。

人物位置統合手段３３３は経路長を人物位置間の近さを表す近接度に変換して近接度を比較することで経路長の比較を行う。近接度が大きいほど経路長が短いということになる。変換は経路長δが短いほど大きな値を出力するよう予め設定された関数ｆ（・）に経路長δを入力することで行われる。図６に示す関数７０−１は関数ｆ（・）の具体例である。すなわち関数７０−１は、δ＝０のときに上限値を出力し、０≦δ＜Δのときにδの増加とともに出力が減少し、δ≧Δのときに下限値を出力する。別の実施形態においては、関数７０−２或いは関数７０−３のように区間０≦δ＜Δで加重を掛けた関数ｆ（・）が設定される。

ここで、人物位置検出手段２２０により検出された人物位置の全てがペアを有しているとは限らない。すなわち、一方の撮像部２０の視野内に居るが他方の撮像部２０の視野外に居る人物、或いは両方の撮像部２０の視野内に居るがオクルージョンにより一方の撮像部２０からはほぼ撮像されない人物については１つの人物位置検出手段２２０からしか人物位置は検出されない。このような人物位置は、ペアの一方の人物位置として統合されるのではなく、単独の人物位置として統合されるべきである。

そこで、人物位置統合手段３３３は、人物位置が単独である蓋然性の尺度を表す単独度を算出し、単独度が近接度より高い人物位置はまとめずに統合する。単独度は次式により算出する。尚、式中の１．０は上述した近接度の上限値である。
人物位置の単独度＝１．０−当該人物位置に関する近接度の最大値 …式（１）
例えば図７の例において、人物位置Ａ１の単独度８１は１．０−ｍａｘ｛０．８，０．６｝＝０．２と算出される。同様にして人物位置Ａ２，Ｂ２の単独度８１はそれぞれ０．２，０．４と算出される。

具体的には、人物位置統合手段３３３は、近接度及び単独度を加味して人物位置を統合するために、可能な限り人物位置のペアを組んだ場合、一部の人物位置を単独として残りの人物位置でペアを組んだ場合、及び全ての人物位置が単独の場合を網羅した組み合わせ（以下、統合パターンと称する）を設定し、各統合パターンに応じた近接度及び／又は単独度を選択的に総和することで統合評価値を算出し、最も高い統合評価値が算出された統合パターンを選定する。

このように統合パターンを決定することで、近接度がより高いペアは他のペアよりも優先的に同一人物の人物位置としてまとめられ、さらに単独度が近接度より高い人物位置はまとめずに統合される。結果、低めの近接度が算出されたペアを無理にまとめることがなくなり、より高い精度で人物位置の情報を統合できる。

例えば図３の例のようにカメラユニット２−１において１つの人物位置が検出され、カメラユニット２−２において２つの人物位置が検出されている場合、図８のように３個の統合パターン＃１〜＃３のそれぞれについて統合評価値が１．２，０．８，０．８と算出され、統合評価値が最大である統合パターン＃１が選定される。すなわち、図３〜図８にて示してきた例では、「人物位置Ａ１とＡ２を同一人物の人物位置、且つ人物位置Ｂ２を単独の人物位置として統合する」ことが決定される。この決定は、まず近接度及び単独度の中で値が最も高いＡ１とＡ２のペアを第一に優先して選定し、次に既に選定されたＡ１，Ａ２に関する近接度及び単独度を除いた中でＢ２の単独度が最も高いことを第二に優先して選定したことを意味している。

そして人物位置統合手段３３３は投影線ＣＡＭ１−Ａ１とＣＡＭ２−Ａ２の交点を人物αの位置、人物位置Ｂ２を人物βの位置と算出する。

追跡手段３３４は、前後する時刻において人物位置統合手段３３３から出力された統合後の人物位置を人物位置の整合性に基づいて対応付けることで人物ごとの移動軌跡３２１を生成する。具体的には、追跡手段３３４は、一時刻前までに生成された移動軌跡３２１から現時刻における各人物の人物位置を予測し、各予測位置に予め設定された距離しきい値の範囲内で最も近い統合後の人物位置を当該予測位置と対応する人物のものとして移動軌跡３２１に追記する。予測位置は移動軌跡３２１に等速運動モデル等の運動モデル、又はカルマンフィルタ等の予測フィルタを適用することで算出できる。

尚、追跡手段３３４は、いずれの予測位置とも対応付かない人物位置については新規出現の人物であるとして移動軌跡３２１に新規登録し、いずれの人物位置とも対応付かない予測位置が算出された移動軌跡３２１については視野外に消失した人物であるとして移動軌跡３２１から登録抹消する。

不審行動検知手段３３５は、移動軌跡３２１を分析して不審行動の有無を判定し、不審行動を検知すると検知の旨及び不審行動が検知された移動軌跡３２１を含んだ異常信号を出力部３４に出力する。不審行動は、例えば、規定時間を超える滞在や予め設定された立ち入り禁止エリア等への立ち入りである。

出力部３４は、スピーカやブザー等の音響出力装置、ＣＲＴや液晶ディスプレイ等のモニタ装置、通信網を介して警備センタ等と通信する通信装置などである。出力部３４は、異常信号が入力されると音響出力装置を鳴動させて検知の旨を監視員に報知したり、モニタ装置に不審行動が検知された移動軌跡３２１を表示したり、警備センタへ異常信号を転送したりして異常信号を出力する。

［画像監視装置の動作］
図９を参照して、画像監視装置１の動作を説明する。

監視空間が無人であることを確認した管理者が電源を投入すると各部、各手段は初期化されて動作を始める。統合制御部３３は統合記憶部３２に射影規則３２０が記憶されているかを確認し（Ｓ１）、記憶されていなければ（Ｓ１にてＮＯ）、管理者にカメラパラメータの入力を要求する。管理者の入力操作により操作部３１からカメラパラメータが入力されると（Ｓ２）、統合記憶部３２はカメラパラメータに基づく射影規則３２０及び設置位置ＣＡＭをカメラ記憶部３２に記憶させる（Ｓ３）。

すなわち統合制御部３３は、入力された撮像部２０−１のカメラパラメータに基づく撮像部２０−１のローカル座標系と共通座標系との間の射影規則３２０及び設置位置ＣＡＭ１をカメラユニット２−１のアドレスと対応付けて記憶させ、入力された撮像部２０−２のカメラパラメータに基づく撮像部２０−２のローカル座標系と共通座標系との間の射影規則３２０及び設置位置ＣＡＭ２をカメラユニット２−２のアドレスと対応付けて記憶させる。

射影規則３２０等の設定がなされると、或いは既になされていると（Ｓ１にてＹＥＳ）、以降、撮像部２０が一定時間間隔で新たな監視画像を撮像するたびにＳ４〜Ｓ１１の処理が繰り返される。尚、以下では上記一定時間間隔で刻まれる時間の単位を時刻と称する。

新たな監視画像が入力されると（Ｓ４）、各カメラ制御部２２の人物位置検出手段２２０は当該監視画像から人物位置を検出し（Ｓ５）、検出された人物位置を統合ユニット３へ送信する。このとき人物位置検出手段２２０は、送信元アドレスとして自ユニット２のアドレス、送信先アドレスとして統合ユニット３のアドレスを人物位置に付与して出力する。

各カメラユニット２から人物位置の情報を受信した統合ユニット３の統合制御部３３はこれらの情報を統合する（Ｓ６）。

図１０を参照して、ステップＳ６の人物情報統合処理の詳細を説明する。

まず統合制御部３３の経路長算出手段３３２は、人物位置のペアを順次生成してループ処理を設定し（Ｓ６０〜Ｓ６９）、全てのペアに対して経路長を算出する。ここで、ペアは現時刻において異なる監視画像から検出された人物位置で構成されることに注意されたい。例えば図３の例ではａ１とａ２，ａ１とｂ２の２組のペアが順次生成される。

さらに経路長算出手段３３２は、人物の身長ｈを１５０ｃｍ，１５５ｃｍ，１６０ｃｍ，…，２００ｃｍと順次設定してループ処理を設定し（Ｓ６１〜Ｓ６７）、各ペアについて身長ｈごとに経路長を算出する。

ループ処理において、まず統合制御部３３の座標変換手段３３０は射影規則３２０を用いてペアを構成する２つの人物位置を共通座標系に射影する（Ｓ６２）。このとき座標変換手段３３０は、各人物位置に付与されている送信元アドレスから変換元のローカル座標系を特定し、特定したローカル座標系に対応する射影規則３２０を用いて射影する。また座標変換手段３３０は各人物位置の高さをｈ／２に設定して射影を行う。ｈ／２とするのは人物位置が重心位置であるからである。射影結果は元の人物位置と対応付けて一時記憶される。

次に統合制御部３３の投影線算出手段３３１は射影後の各人物位置への投影線を算出する（Ｓ６３）。このとき投影線算出手段３３１は投影線の算出に用いる設置位置ＣＡＭは各人物位置に付与された送信元アドレスから特定する。

続いて経路長算出手段３３２は、ステップＳ６３にて算出された２つの投影線の交点を算出し（Ｓ６４）、ステップＳ６２にて算出された射影後の人物位置と交点との距離を算出し（Ｓ６５）、これらの距離の和を経路長として算出する（Ｓ６６）。

こうして複数の身長のそれぞれを想定したときの経路長が算出されると（Ｓ６７にてＹＥＳ）、経路長算出手段３３２は、これらの経路長のうち最小の経路長を処理対象のペアについての経路長δとして選出する（Ｓ６８）。

全ペアに対して最小の経路長が選出されると（Ｓ６９にてＹＥＳ）、統合制御部３３の人物位置統合手段３３３は、各ペアの経路長δを関数ｆ（・）に入力して近接度ｆ（δ）を算出し（Ｓ７０）、さらに近接度ｆ（δ）に式（１）を適用して各人物位置に対する単独度を算出し（Ｓ７１）、統合パターンをリストアップして各統合パターンに対する統合評価値を算出する（Ｓ７２）。

そして、人物位置統合手段３３３は、最も高い統合評価値が算出された統合パターンを尤もらしい統合パターンと決定し（Ｓ７３）、決定された統合パターンに従って人物位置を統合する（Ｓ７４）。すなわちペアと決定された人物位置については当該人物位置への投影線の交点、単独と決定された人物位置については当該人物位置が統合された人物位置として算出される。尚、交点は改めて算出せずにステップＳ６４における算出結果を流用してもよい。

図９に戻り、統合制御部３３の追跡手段３３４は、統合された現時刻の人物位置をその位置の整合性に基づいて一時刻前までの移動軌跡３２１と対応付け、対応付け結果に従い現時刻の人物位置で移動軌跡３２１を更新することで追跡を進捗させる（Ｓ７）。

追跡が進捗すると、統合制御部３３の不審行動検知手段３３５は、更新された移動軌跡３２１を分析して不審行動の有無を判定し（Ｓ８）、不審行動を検知すると（Ｓ９にてＹＥＳ）、不審行動が検知された移動軌跡を含む異常信号を生成して出力部３４へ出力する（Ｓ１０）。異常信号が入力された出力部３４は、音響出力手段を鳴動させモニタ装置に移動軌跡を表示する、或いは通信装置により異常信号を遠隔地の警備センタへ転送して警備センタの音響出力装置やモニタ装置に表示を行わせる（Ｓ１１）。これらの表示を見聞きした監視員は案内或いは排除といった対処の必要性を判断し、必要であれば監視空間に急行して対処を行う。

以上の処理を終えると、処理は再びＳ４へ戻される。

＜第二の実施形態＞
監視画像上においては人物像の解像度は一様ではなく、撮像部２０から遠い人物に対する解像度は近い人物に比べて低くなる。このことは、同一人物について検出された人物位置同士であっても、当該人物から遠いカメラユニット２において検出された人物位置は、当該人物に近いカメラユニット２において検出された人物位置に比べ、ローカル座標系における１画素の検出誤差が共通座標系において、より大きくなることを意味している。
以下、本発明の第二の実施形態として、撮像部２０からの遠近による解像度の格差を考慮して経路長を算出する画像監視装置１について説明する。尚、以下では第一の実施形態と共通する箇所を省略して説明する。

［画像監視装置の構成］
本形態にかかる画像監視装置１の構成を、第一の実施形態と共通する図１の構成を参照して説明する。

第一の実施形態において座標変換手段３３０は人物位置をローカル座標系から共通座標系へ射影した。第二の実施形態における座標変換手段３３０はさらに、共通座標系で表された投影線の交点が入力されると当該交点をローカル座標系に逆射影し、逆射影後の交点位置を出力する。

また第一の実施形態において経路長算出手段３３２は共通座標系において経路長を算出した。第二の実施形態における経路長算出手段３３２は共通座標系ではなくローカル座標系において経路長を算出する。そのために経路長算出手段３３２は人物位置検出手段２２０により検出された人物位置と逆射影後の交点位置との距離をローカル座標系にて求め、この距離の和を経路長として算出する。

第二の実施形態におけるその余の構成は第一の実施形態と同様である。

［画像監視装置の動作］
第二の実施形態における画像監視装置１の動作のうち、画像監視処理全体の流れは図９を参照して説明した第一の実施形態のそれと同様である。第二の実施形態と第一の実施形態とではステップＳ６の人物情報統合処理の細部において動作が異なる。

以下、第二の実施形態における人物情報統合処理について図１１及び図１２を参照して説明する。

まず統合制御部３３の座標変換手段３３０は、射影規則３２０を用い、現時刻において人物位置検出手段２２０により検出された全ての人物位置を共通座標系に射影する（Ｓ７５）。このとき座標変換手段３３０は、各人物位置に付与されている送信元アドレスから変換元のローカル座標系を特定し、特定したローカル座標系に対応する射影規則３２０を用いて射影する。また座標変換手段３３０は、各人物位置の高さを平均身長の１／２すなわち８５ｃｍに設定して射影を行う。射影結果は元の人物位置と対応付けて一時記憶される。

次に、統合制御部３３の投影線算出手段３３１は、射影後の全ての人物位置への投影線を算出する（Ｓ７６）。このとき投影線算出手段３３１は各人物位置に付与された送信元アドレスから投影線の算出に用いる設置位置ＣＡＭを特定する。算出結果は元の人物位置と対応付けて一時記憶される。

続いて、統合制御部３３の経路長算出手段３３２は、射影された人物位置のペアを順次生成してループ処理を設定し（Ｓ７７〜Ｓ８６）、全てのペアに対して経路長を算出する。

ペアについてのループ処理において、まず経路長算出手段３３２はステップＳ６１にて算出された投影線のうちペアの各人物位置について算出された２つの投影線の交点を算出する（Ｓ７８）。

続いて経路長算出手段３３２は、人物の身長ｈを１５０ｃｍ，１５５ｃｍ，１６０ｃｍ，…，２００ｃｍと順次設定してループ処理を設定し（Ｓ７９〜Ｓ８４）、身長ｈごとに経路長を算出する。

身長ｈについてのループ処理において、まず経路長算出手段３３２はステップＳ６３にて算出された交点に高さｈ／２を付与して交点を３次元座標化する（Ｓ８０）。交点の座標を（ｘｃ，ｙｃ）とすると３次元座標化された交点の座標は（ｘｃ，ｙｃ，ｈ／２）と設定される。

続いて座標変換手段３３０は、３次元座標化された交点を当該交点の算出元である２つの人物位置が検出されたローカル座標系のそれぞれに逆射影し（Ｓ８１）、逆射影された交点位置を出力する。このとき座標変換手段３３０はペアを構成する各人物位置のデータに付与されている送信元アドレスから変換先のローカル座標系を特定し、特定したローカル座標系に対応する射影規則３２０を用いて逆射影する。

例えばＡ１とＡ２のペアについてｈ＝１７０ｃｍが設定されているとき、図４の交点Λ１は図１２のように、人物位置ａ１が検出された撮像部２０−１のローカル座標系であるｘ１−ｙ１平面の位置λ１に逆射影され、さらに人物位置ａ２が検出された撮像部２０−２のローカル座標系であるｘ２−ｙ２平面の位置λ１に逆射影される。

続いて経路長算出手段３３２は、ステップＳ６６にて逆射影された交点のそれぞれと当該交点の算出元である人物位置との間の距離を算出し（Ｓ８２）、これらの和を経路長として算出する（Ｓ８３）。

図１２の例では、人物位置ａ１と交点λ１との間の距離ｄ１と、人物位置ａ２と交点λ１との間の距離ｄ２が算出され、経路長は（ｄ１＋ｄ２）と算出される。

同一人物による人物位置のペアであれば交点はこれらの人物位置の近くに逆射影されるので、ローカル座標系において交点と人物位置は同程度の解像度となる。そして同程度の解像度で表現された交点と人物位置の演算で経路長が算出できるので、解像度の格差が是正された経路長を算出できる。

こうして複数の身長のそれぞれを想定したときの経路長が算出されると（Ｓ８４にてＹＥＳ）、経路長算出手段３３２は、これらの経路長のうち最小の経路長を処理対象のペアについての経路長δとして選出する（Ｓ８５）。

全ペアに対して経路長が算出された後のステップＳ８７，Ｓ８８，Ｓ８９，Ｓ９０，Ｓ９１における処理は、それぞれ図１０を参照して説明したステップＳ７０，Ｓ７１，Ｓ７２，Ｓ７３，Ｓ７４における処理と同様である。

以上の処理を終えると、処理は図９のステップＳ７へ戻される。

以上で述べたように、第二の実施形態によれば、ローカル座標系において経路長を算出することにより解像度の格差が低減された状態で経路長を比較できるので、より高い精度で人物位置の情報を統合できる。

＜その他の変形例＞
上記実施形態においては、人物位置統合手段３３３は単独度を算出して近接度と単独度を加味した統合評価値を算出した。別の実施形態において、人物位置統合手段３３３は、単独度を用いずに統合評価値を算出する。すなわち、人物位置統合手段３３３は、予め設定された近接度しきい値を下回る近接度が算出されたペアは除外して統合パターンを設定し、設定された統合パターンに応じて近接度を総和して統合評価値を算出する。

上記実施形態においては、２つのカメラユニット２が統合ユニット３に接続される。別の実施形態において統合ユニット３には３つ目のカメラユニット２−３が接続される。この場合、統合ユニット３はカメラユニット２−１及びカメラユニット２−２からの人物位置を統合した後、この統合結果とカメラユニット２−３からの人物位置をさらに統合することで３つのカメラユニット２からの人物位置を統合する。尚、４つ以上のカメラユニット２が接続されている場合も以下同様に多段階で統合を行うことで、全てのカメラユニット２からの人物位置を統合できる。

上記実施形態においては、各ペアについて複数の身長ごとに経路長を算出し、最短の経路長を当該ペアの経路長として算出した。別の実施形態においては、身長の設定を固定して当該身長設定における経路長をペアの経路長として算出することで処理負荷を軽減する。この場合、身長推定誤差を極力小さくするには身長の設定を監視対象の平均身長、あるいは最頻身長に固定すればよい。

上記実施形態においては各カメラユニット２にて人物位置を検出したが、別の実施形態においては統合ユニット３にて人物位置を検出する。すなわち人物位置検出手段２２０は統合制御部３３により実現される。この場合、監視画像が送受信されるため通信網４の通信負荷は上がるが、カメラ制御部２２において画像処理を行う必要がなくなりカメラユニット２の調達が容易になる。

１・・・画像監視装置
２・・・カメラユニット
３・・・統合ユニット
２０・・・撮像部
２１・・・カメラ記憶部
２２・・・カメラ制御部
２３・・・カメラ通信部
３０・・・統合通信部
３１・・・操作部
３２・・・統合記憶部
３３・・・統合制御部
３４・・・出力部
２２０・・・人物位置検出手段
３２０・・・射影規則
３２１・・・移動軌跡
３３０・・・座標変換手段
３３１・・・投影線算出手段
３３２・・・経路長算出手段
３３３・・・人物位置統合手段
３３４・・・追跡手段
３３５・・・不審行動検知手段

Claims (5)

1. 互いに視野の一部を共有し当該視野内を移動する人物を互いに異なる方向から撮像して監視画像を出力する複数の撮像部と、
   前記監視画像から前記人物が存在するローカル座標系での人物位置を検出する人物位置検出手段と、
   前記撮像部ごとに設定された前記ローカル座標系から前記複数の撮像部に共通して設定された共通座標系へ前記人物位置を射影する座標変換手段と、
   前記共通座標系において前記人物位置と当該人物位置が検出された監視画像を撮像した撮像部の位置とを結ぶ投影線を算出する投影線算出手段と、
   前記複数の撮像部により同時に撮像された前記監視画像の一方から検出された前記人物位置及び他方の前記監視画像から検出された前記人物位置のペアを設定し、前記一方の人物位置への前記投影線上及び前記他方の人物位置への前記投影線上を通る当該人物位置間の経路長を算出して出力する経路長算出手段と、
   前記経路長算出手段により出力された経路長がより短い前記ペアを他の前記ペアよりも優先的に同一人物の人物位置としてまとめることで前記人物位置の情報を統合する人物位置統合手段と、
   を備えたことを特徴とする画像監視装置。
2. 前記座標変換手段は、前記人物の身長分布範囲内で複数の身長を設定して前記射影を行い、
   前記経路長算出手段は、前記複数の身長ごとに算出された前記経路長のうち最小の経路長を出力する請求項１に記載の画像監視装置。
3. 前記座標変換手段は、さらに前記ペアを構成する各人物位置への前記投影線の交点を当該人物位置が検出されたローカル座標系へ逆射影し、
   前記経路長算出手段は、前記人物位置検出手段により検出された人物位置と前記逆射影された交点との距離の和を前記経路長として算出する請求項１に記載の画像監視装置。
4. 前記座標変換手段は、前記人物の身長分布範囲内で複数の高さを設定して前記交点を逆射影し、
   前記経路長算出手段は、前記複数の高さごとに算出された前記経路長のうち最小の経路長を出力する請求項３に記載の画像監視装置。
5. 前記人物位置統合手段は、前記同一人物とされたペアへの前記投影線の交点を当該人物の統合後の位置として算出する請求項１乃至４に記載の画像監視装置。