JP2016162096A

JP2016162096A - 移動物体追跡装置

Info

Publication number: JP2016162096A
Application number: JP2015039004A
Authority: JP
Inventors: 直也大島; Naoya Oshima; 黒川　高晴; Takaharu Kurokawa; 高晴黒川
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2015-02-27
Filing date: 2015-02-27
Publication date: 2016-09-05
Anticipated expiration: 2035-02-27
Also published as: JP6349272B2

Abstract

【課題】直進エリアと曲進エリアを含む監視領域での監視において監視物体の追跡性能を高精度化する。
【解決手段】監視領域において移動物体の移動方向が変動しにくい直進エリアでは移動物体間の相対位置関係の時間変化が所定基準値未満である複数の移動物体をグループとして追跡し、監視領域において移動物体の移動方向が変動しやすい曲進エリアでは移動物体の相対距離関係の時間変化が所定基準値未満である複数の移動物体をグループとして追跡する。
【選択図】図１

Description

本発明は、監視カメラにて撮影した画像やレーザーセンサ情報などから複数の移動物体を個々に追跡する移動物体追跡装置に関し、特に追跡途中においてオクルージョン等により撮影等されない事態が生じても、過去に同様な動きをしてきた他の移動物体の追跡結果を利用することにより、追跡精度の向上を図った移動物体追跡装置に関する。

従来、監視領域を撮影した画像中にて、撮影された複数の人物を追跡する移動物体追跡装置が提案されている（非特許文献１）。従来の移動物体追跡装置は、同様な動きをする複数人物をグループとして設定し、グループ内の他の人物との相対位置関係を拘束条件として、個々の人物の追跡を実行している。ここで、相対位置関係は、グループの他の人物との相対距離と、相対方向を用いている。この相対位置関係は、グループとして設定した際の複数人物の相対位置関係が拘束条件として設定される。
これにより、追跡途中において、オクルージョン等により、十分に抽出できなかった人物があっても、抽出されたグループの他の人物との相対位置関係に基づいて当該人物の追跡位置を予測し、追跡を継続している。

ＧｅｎｑｕａｎＤｕａｎ，ＨａｉｚｈｏｕＡｉ，ＳｏｎｇＣａｏ，ＳｈｉｈｏｎｇＬａｏ， "ＧｒｏｕｐＴｒａｃｋｉｎｇ：ＥｘｐｌｏｒｉｎｇＭｕｔｕａｌＲｅｌａｔｉｏｎｓｆｏｒＭｕｌｔｉｐｌｅＯｂｊｅｃｔＴｒａｃｋｉｎｇ"，ＥＣＣＶ２０１２，ＬｅｃｔｕｒｅＮｏｔｅｓｉｎＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅＶｏｌｕｍｅ７５７４，２０１２，ｐｐ１２９−１４３

しかしながら、従来の移動物体追跡装置では、グループを設定したときの相対位置関係を拘束条件としている。このため、グループの移動通路が一定であれば、複数の人物が同様な相対位置関係を維持するが、柱や曲がり角のように移動経路が急に曲がり、人物の移動方向が変化する場所（以下、「曲進エリア」という）では、相対距離は維持されるが相対方向が崩れ、結果的に相対位置関係が崩れることがある。相対位置関係が崩れると、人物の追跡精度の低下につながる。

同様に、移動経路が急に狭くなる場所や扉前などの人物移動が停滞または急に加速する場所（以下、「加減速エリア」という）では、相対方向は維持されるが相対距離が崩れ、結果的に相対位置関係が崩れることがある。この場合も相対位置関係が崩れると、人物の追跡精度の低下につながる。

すなわち、移動経路の性質によっては、相対位置関係を拘束条件としたために、人物の追跡精度が落ちるおそれがある。

本発明は、上記問題を鑑みてなされたものであり、複数の性質が異なるエリアが混在した監視領域内を移動する複数の物体を高精度に追跡できる移動物体追跡装置を提供することを目的とする。

本発明の１つの態様は、監視領域にて複数の移動物体の位置が所定の関係を有するグループを追跡する移動物体追跡装置であって、前記監視領域には前記関係が変動する性質によって複数のエリアが設定され、当該性質に応じて移動物体をグループとして追跡する移動物体追跡装置である。

ここで、前記監視領域には、前記移動物体の移動方向が変動しにくい直進エリアと、前記移動物体の移動方向が変動しやすい曲進エリアが設定され、前記直進エリアでは前記移動物体間の相対距離及び相対方向からなる相対位置関係の時間変化が所定基準値未満である複数の前記移動物体をグループとして追跡し、前記曲進エリアでは前記移動物体の相対距離である相対距離関係の時間変化が所定基準値未満である複数の前記移動物体をグループとして追跡することが好適である。

また、前記監視領域を撮影した時系列画像のうちの注目フレームにおける前記直進エリアでは前記注目フレームよりも過去に撮影された過去フレームと類似する前記相対位置関係にて前記グループを構成する移動物体を検出し易くして前記グループを追跡し、前記注目フレームにおける前記曲進エリアでは前記過去フレームと類似する前記相対距離関係にて前記グループを構成する移動物体を検出し易くして前記グループを追跡することが好適である。

また、前記移動物体の各々の画像特徴、前記過去フレームにおける前記移動物体間の前記相対位置関係及び前記相対距離関係、前記直進エリア及び前記曲進エリアを記憶する記憶手段と、前記注目フレームに前記移動物体の各々の検出位置の候補となる候補位置を設定する候補位置設定手段と、前記移動物体の各々に設定された前記候補位置における前記注目フレームの画像と当該移動物体の前記画像特徴との類似性に応じて当該候補位置における当該移動物体の存在度を算出する存在度算出手段と、前記直進エリアでは前記移動物体間の前記注目フレームにおける前記相対位置関係と前記過去フレームにおける前記相対位置関係との誤差が小さい前記候補位置の組み合わせほど当該移動物体の検出位置として判定され易くなるように当該移動物体の存在度を補正し、前記曲進エリアでは前記移動物体間の前記注目フレームにおける前記相対距離関係と前記過去フレームにおける前記相対距離関係との誤差が小さい前記候補位置の組み合わせほど当該移動物体の検出位置として判定され易くなるように当該移動物体の存在度を補正する補正手段と、前記移動物体の各々の前記候補位置における前記存在度の高さに応じて前記注目フレームにおける当該移動物体の検出位置を判定する物体位置判定手段と、を備え、前記物体位置判定手段において判定された前記移動物体の検出位置を用いて前記移動物体のグループを追跡することが好適である。

また、２つの前記移動物体の組み合わせごとに前記相対位置関係及び前記相対距離関係を検出し、前記直進エリア及び前記曲進エリアのうち、予めの設定にしたがって前記２つの移動物体のうち少なくとも１つを含むエリアで当該２つの移動物体の組み合わせを前記グループとして追跡することが好適である。

本発明によれば、移動物体のグループを追跡するに際して、移動物体の位置の関係が変動する性質が異なる複数のエリアを含む監視領域での追跡性能を高精度化できる。

本発明の実施の形態における人物追跡装置の構成を示す図である。本発明の実施の形態における人物追跡装置の機能ブロック図である。本発明の実施の形態におけるエリア設定の例を示す図である。本発明の実施の形態における画像処理を示すフローチャートである。本発明の実施の形態における存在度補正処理を示すフローチャートである。本発明の実施の形態におけるグループ抽出処理を示すフローチャートである。本発明の実施の形態における直進エリアを移動する人物の例を示す図である。本発明の実施の形態における直進エリアを移動するグループのグループ情報の登録例を示す図である。本発明の実施の形態における曲進エリアを移動する人物の例を示す図である。本発明の実施の形態における曲進エリアを移動するグループのグループ情報の登録例を示す図である。

＜システム構成＞
本発明の実施の形態における人物追跡装置１は、図１に示すように、撮影部２、記憶部３、画像処理部４及び出力部５を含んで構成される。画像処理部４は、撮影部２によって撮影された監視領域の監視画像を処理して、監視領域に存在する移動物体（本実施の形態では人物とする）を追跡して、その処理結果を出力部５に出力する。

撮影部２は、いわゆる監視カメラであり、監視領域を所定時間おきに撮影し、撮影した監視画像を時系列に順次画像処理部４に出力する。撮影部２は、例えば、パーティションでＬ字路が形成された部屋の天井に真下を向けて設置される。

記憶部３は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等のメモリ装置を含んで構成される。記憶部３は、画像処理部４を後述する各手段として動作させるためのプログラム、設定データや各手段が生成したデータなどの各種データを記憶し、画像処理部４との間でこれらのプログラムやデータを入出力する。

画像処理部４は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＭＣＵ（ＭｉｃｒｏＣｏｎｔｒｏｌＵｎｉｔ）等の少なくとも一つのプロセッサ及びその周辺回路を含んで構成される。画像処理部４は、後述する人物追跡装置１の各手段として機能し、時系列の監視画像を処理して監視領域内を移動する人物を追跡し、追跡結果である人物毎の検出位置を出力部５に出力する。

出力部５は、液晶ディスプレイ、ＣＲＴなどの表示装置を含んで構成される。出力部５は、画像処理部４からの追跡結果を受けて、追跡結果やそれに応じた警報等を出力する。

人物追跡装置１は、図２の機能ブロック図に示すように、エリア属性記憶手段３０、画像特徴記憶手段３１、検出位置記憶手段３２、グループ情報記憶手段３３、候補位置設定手段４０、存在度算出手段４１、存在度補正手段４２、物体位置判定手段４３及びグループ抽出手段４４として機能する。ここで、記憶部３は、エリア属性記憶手段３０、画像特徴記憶手段３１、検出位置記憶手段３２及びグループ情報記憶手段３３などの記憶手段として機能する。また、画像処理部４は、候補位置設定手段４０、存在度算出手段４１、存在度補正手段４２、物体位置判定手段４３及びグループ抽出手段４４等として機能する。

エリア属性記憶手段３０は、監視領域を直進エリアと曲進エリアのいずれかに区分し、監視領域における直進エリアの位置座標と曲進エリアの位置座標を記憶する。直進エリア及び曲進エリアは、予め手動で設定すればよい。図３のエリア属性の設定例に示すように、監視領域の中で、通路のＬ字部、Ｔ字部、ドア付近等、人物の移動方向が変化し易いエリアを曲進エリアに設定し、それ以外の人物の移動方向が変化し難いエリアを直進エリアに設定する。エリア属性記憶手段３０に記憶されているエリア属性は、後述する存在度補正手段４２によって読み出され、エリア属性に基づく追跡中の人物の存在度の補正に用いられる。

なお、追跡人物の過去の移動履歴を集計し、人物が直進移動する頻度が高いエリアを直進エリアとし、曲進移動する頻度が高いエリアを曲進エリアに自動設定するようにしてもよい。

画像特徴記憶手段３１は、追跡中の人物ごとの画像特徴を当該人物の人物ＩＤと対応付けて記憶する。画像特徴は、例えば、追跡中の人物が監視画像に写されたときの人物画像における形状特徴及び色の分布を示す色ヒストグラム（色特徴）とすることができる。監視領域内に新たな人物が検出されると新規の人物ＩＤと対応付けて当該人物の外形形状を近似した人物形状モデルと当該人物の色ヒストグラムが追記される。また、当該人物の追跡中は人物形状モデルと色ヒストグラムが適宜更新される。そして、監視領域にて検出されなくなった人物の人物ＩＤ、人物形状モデルおよび色ヒストグラムは削除される。

検出位置記憶手段３２は、存在度算出手段４１が現フレームまでに検出した各人物の位置である検出位置を当該人物の人物ＩＤ、フレーム番号および存在度と対応付けて記憶する。検出位置の存在度はフレーム番号が示す監視画像中の検出位置において人物ＩＤが示す人物の画像特徴が現れている度合いを示す値である。検出位置は、例えば、監視領域の実空間座標系におけるＸＹ平面（床面）の座標で示される。監視画像中の検出位置とＸＹ平面上の検出位置は予め記憶させた撮影部２のカメラパラメータを用いて変換できる。好ましくは、検出位置記憶手段３２は、追跡中の人物について新規出現から現フレームまでの検出位置を記憶可能であり、少なくとも下限値Ｔ_Fだけ過去のフレームに亘る検出位置を記憶可能である。このように、検出位置記憶手段３２は、時系列画像のうち注目フレームよりも過去の複数フレームにおける移動物体の各々の検出位置を記憶する記憶手段として機能する。

また、検出位置記憶手段３２は、追跡中の各人物について候補位置設定手段４０が現フレームよりも過去の複数フレームにて予測した位置（候補位置）を、後述する存在度算出手段４１が当該候補位置に対して算出した存在度とともに記憶する。本実施の形態では、パーティクルフィルタを用いて追跡を行う。検出位置記憶手段３２は、各候補位置を、当該人物の人物ＩＤ、フレーム番号、存在度及びパーティクル番号と対応付けた情報を含めたパーティクルとして記憶する。

グループ情報記憶手段３３は、人物グループの情報を記憶する。グループ情報記憶手段３３は、追跡中の人物を２人ずつの組み合わせ（人物ペア）単位で管理するために利用される。グループ情報記憶手段３３は、後述するグループ抽出手段４４において抽出される相対位置グループ及び相対距離グループとされた人物の組み合わせ（ペア）について、相対位置グループフラグ、相対位置関係、相対位置グループ強度、相対距離グループフラグ、相対距離関係、相対距離グループ強度を記憶する。

相対位置関係は、人物間の検出位置の相対位置を表すベクトルとして記憶され、人物ペアの一方の検出位置から他方の検出位置への距離及び方向の情報を含む。本実施の形態では、時刻ｔにおける人物ｋと人物ｉからなるペアの位置関係を示すベクトルをｒ_ki（ｔ）と示す。

相対距離関係は、人物間の検出位置の距離を表すスカラとして記憶され、人物ペアの一方の検出位置から他方の検出位置への距離の情報を含む。本実施の形態では、時刻ｔにおける人物ｋと人物ｉからなるペアの距離関係を示すスカラをｄ_ki（ｔ）と示す。

相対位置グループフラグ、相対位置グループ強度、相対距離グループフラグ及び相対距離グループ強度については後述する。

候補位置設定手段４０は、追跡中の各人物について、現フレームにおける各人物の候補位置を複数設定し、設定はフレームごとに行う。候補位置設定手段４０は、検出位置記憶手段３２から過去の候補位置を読み出して、各人物の候補位置毎に（すなわち人物ＩＤとパーティクル番号が共通する候補位置毎に）過去の複数フレームの候補位置それぞれに所定の運動モデルを適用して現フレームの位置を予測し、予測位置のそれぞれを現フレームの候補位置として設定する。または、検出位置記憶手段３２から過去の検出位置を読み出して、各人物の過去の複数フレームの検出位置に所定の運動モデルを適用して現フレームの位置を予測し、予測位置を中心とする所定範囲内のランダムな位置を複数の候補位置として設定する。そして、候補位置設定手段４０は、予測により得た候補位置を、検出位置記憶手段３２に記憶させる。

例えば、人物の位置の予測には等速直線運動モデルを用いることができる。具体例として、時刻ｔのフレームに対して時刻（ｔ−２）のフレームにおける人物Ａの候補位置Ｘ（ｔ−２）と時刻（ｔ−１）のフレームにおける人物Ａの同一パーティクル番号の候補位置Ｘ（ｔ−１）に基づいて人物Ａの移動方向と速さを求め、当該移動方向に向けて候補位置Ｘ（ｔ−１）を当該速さで１時刻分だけ移動させたときの位置を時刻ｔのフレームにおける候補位置Ｘ（ｔ）に設定する。

また、候補位置設定手段４０は、パーティクルフィルタの手法を用いて候補位置を確率的に更新する。すなわち、過去フレームの各候補位置に対して算出された存在度を参照して存在度が所定値未満の候補位置を削除し、現フレームにおいて、予測した当該人物の検出位置を中心とする所定半径内の位置に削除した数だけ新たな候補位置をランダムに設定する。存在度の算出については後述する。

このように、候補位置設定手段４０は、各移動物体の注目フレームよりも過去のフレームにおける候補位置又は過去の検出位置から当該移動物体が注目フレームにおいて存在する候補となる複数の候補位置を求める。

存在度算出手段４１は、各移動物体の候補位置における当該移動物体の存在度を算出する。

具体的には、存在度算出手段４１は、まず、背景差分処理により現フレームの監視画像から変化領域を抽出する。そのために存在度算出手段４１は、人物が存在しないときの過去フレームの監視画像を背景画像として記憶部３に記憶させておき、現フレームの監視画像と背景画像の差分が予め定めた閾値以上である画素からなる領域を変化領域とする。

次に、存在度算出手段４１は、候補位置設定手段４０より算出された実空間を模した仮想空間における各人物の候補位置に人物の３次元形状を模したモデル（回転楕円体等）を配置し、当該人物モデルを監視画像に投影して投影像内の画像特徴を抽出する。そして、存在度算出手段４１は、候補位置から抽出された注目人物の画像特徴と画像特徴記憶手段３１より読みだされた当該人物の画像特徴の類似性に基づいて当該候補位置に当該人物が存在していることの尤もらしさを表す存在度を算出する。存在度は、候補位置から抽出された注目人物の画像特徴と読みだされた当該人物の画像特徴類とが類似しているほど高い値となり、類似していないほど低い値とされる。

例えば、存在度算出手段４１は、各人物の候補位置毎に、変化領域と投影像の重複度に応じた形状存在度を算出する。また、存在度算出手段４１は、各人物の候補位置毎に、現フレームの監視領域における投影像内の色ヒストグラムを算出し、算出された色ヒストグラムと画像特徴記憶手段３１に記憶されている当該人物の色ヒストグラムとの類似度に応じた色存在度を算出する。そして、存在度算出手段４１は、各人物の候補位置毎に、形状存在度と色存在度の重み付け和を存在度とする。重み付け和の重みは予め実験を通じて適宜定めることができる。

存在度補正手段４２は、算出された存在度のうちグループを構成している人物の存在度に対して補正を行う（グループの抽出と補正については後述する）。存在度補正手段４２は、エリア属性記憶手段３０より読みだされたエリア属性、及びグループ情報記憶手段３３より読みだされたグループ情報に基づき、存在度算出手段４１より算出された現在フレームにおける各人物の各候補位置における存在度を補正する。

具体的には、存在度補正手段４２は、監視画像から抽出された各人物ｋに対して設定された第ｍ番目の候補位置（パーティクル番号がｍの候補位置）における存在度Ｌ_kmを例えば以下の式（１）〜（３）により補正する。

ここで、ｉは人物ｋ以外の人物の人物ＩＤ、ｊは人物ｉの候補位置に付されたパーティクル番号、Ｌ_ijは人物ｉに対して設定された第ｊ番目の候補位置の存在度（なお、補正前の存在度には〜を付して示し、補正後の存在度には〜を付さないで示す）、ｗ_ijはグループの位置関係に基づく補正項、ｈ_ijは人物間の排他力に基づく補正項である。また、ｅ_ijは、人物ｋに対して設定された第ｍ番目の候補位置と人物ｉに対して設定された第ｊ番目の候補位置の相対位置関係又は相対距離関係の誤差である。また、ｇ_kiは、記憶手段に記憶している人物ｋと人物ｉの間のグループ強度ｇ_ki（ｔ−１）である。また、α及びβは、予めの実験により定めた定数である。また、ｄ_ijは、人物ｋに対して設定された第ｍ番目の候補位置と人物ｉに対して設定された第ｊ番目の候補位置の間の距離である。

ここで、前フレームにおける両方の人物の検出位置が直進エリア内である人物ペアに対して、存在度補正手段４２は第一補正手段として動作する。第一補正手段は、グループ情報記憶手段３３から補正対象の人物ペアに関する相対位置関係ｒ_ki（ｔ−１）と相対位置グループ強度ｇｒ_ki（ｔ−１）を読み出し、読み出した相対位置関係ｒ_ki（ｔ−１）と候補位置ｍとｊの間の相対位置関係ｒ_ki（ｔ，ｍ，ｊ）の差ベクトルの絶対値を誤差ｅ_ijとして求め、求めた誤差ｅ_ijと読み出した相対位置グループ強度ｇｒ_ki（ｔ−１）を上式に適用して存在度Ｌ_kmを補正する。

これにより、前フレームにおいて直進エリアに存在していた移動物体に対しては、相対位置に基づく補正が行われる。すなわち、各人物の候補位置ごとに算出した存在度のうち、グループとして検出された人物のペアの存在度を、当該ペアの候補位置の相対位置の記憶している相対位置に対する誤差が小さいほど高く、誤差が大きいほど低く補正する。

一方、前フレームにおける少なくとも一方の人物の検出位置が曲進エリア内である人物ペアに対して、存在度補正手段４２は第二補正手段として動作する。第二補正手段は、グループ情報記憶手段３３から補正対象の人物ペアに関する相対距離関係ｄ_ki（ｔ−１）と相対距離グループ強度ｇｄ_ki（ｔ−１）を読み出し、読み出した相対距離関係ｄ_ki（ｔ−１）と候補位置ｍとｊの間の距離ｄ_ki（ｔ，ｍ，ｊ）の差を誤差ｅ_ijとして求め、求めた誤差ｅ_ijと読み出した相対距離グループ強度ｇｄ_ki（ｔ−１）を上式に適用して存在度Ｌ_kmを補正する。

これにより、前フレームにおいて曲進エリアに存在していた移動物体に対しては、相対距離に基づく補正が行われる。すなわち、各人物の候補位置ごとに算出した存在度のうち、グループとして検出された人物のペアの存在度を、当該ペアの候補位置の相対距離の記憶している相対距離に対する誤差が小さいほど高く、誤差が大きいほど低く補正する。

ここで、数式（１）においては、人物ｋ以外の人物ｉの補正項を乗算して人物ｋの存在度を補正している。この乗算処理によって補正を同一のグループ内に伝搬させることができ、ペアの相対位置関係又は相対距離関係をグループ全体の相対位置関係又は相対距離関係として補正を行うことができるので、より正確に人物ｋを追跡することができる。

また、数式（１）においては補正項ｗ_ijに人物ｉの存在度Ｌ_ijを作用させており、信頼性が高い相対位置関係又は相対距離関係ほど補正への寄与が大きくなるようにしている。これにより誤追跡を低減することができる。さらに、数式（１）〜（３）による補正処理を複数回反復処理することで、グループ全体で相対位置関係又は相対距離関係による補正をさらに安定化させることができる。

なお、人物ｋと人物ｉが同一グループではない場合は補正項ｗ_ij＝１．０とする。誤差ｅ_ijが小さいほど存在度Ｌ_kmは大きく補正され、誤差ｅ_ijが大きいほど存在度Ｌ_kmは小さく補正される。

また、グループ強度ｇ_kiを作用させることで、相対位置関係又は相対距離関係の変化量を考慮した補正を行うことができる。すなわち相対位置関係又は相対距離関係を維持しているフレーム数が多いグループほどグループ情報記憶手段３３に記憶している相対位置関係又は相対距離関係の信頼性が高いとして過去フレームの相対位置関係又は相対距離関係に対する現フレームにおける相対位置関係又は相対距離関係の誤差を補正に大きく反映させる。これにより、注目フレームにてグループから外れて誤差が大きくなる可能性のある人物について、偽の位置における存在度Ｌ_kmを高く補正してしまう誤りを減じることができるので、誤追跡を低減することができる。

物体位置判定手段４３は、各人物について、当該人物について設定された複数の候補位置を各候補位置に対して算出された存在度で重みづけた重みづけ候補位置の平均値を当該人物の検出位置と判定する。すなわち、候補位置が離散的に設定されることに対して、候補位置の重み付け平均値を最も移動物体の画像特徴が現れている位置と推定する。なお、この場合、検出位置の最終的な存在度は各候補位置に対して算出された存在度の平均値とすることができる。

なお、各人物についての存在度が最も高い候補位置を当該人物の検出位置として算出してもよい。この場合、検出位置の最終的な存在度は、当該検出位置と判定された候補位置の存在度とすることができる。また、各人物について、存在度が上位所定数の候補位置の平均値を当該人物の検出位置として算出してもよい。この場合、検出位置の最終的な存在度は、当該検出位置の算出に用いた候補位置の存在度の平均値とすることができる。そして、物体位置判定手段４３は、判定した各人物の検出位置を当該人物ＩＤと対応付けて検出位置記憶手段３２に記憶させる。

また、物体位置判定手段４３は、画像特徴記憶手段３１に記憶している各人物の画像特徴を適宜更新する。

グループ抽出手段４４は、検出位置記憶手段３２から人物ペアごとに過去の複数のフレームにおける検出位置を読み出し、その相対位置関係の時間変化量Ｖｒ_kiを算出し、時間変化量Ｖｒ_kiが予め定めた位置関係閾値Ｔ_Vr未満である人物ペアを相対位置グループとして抽出する。また、グループ抽出手段４４は、抽出された相対位置グループを１フレーム前の相対位置関係ｒ_ki（ｔ−１）及び相対位置グループ強度ｇｒ_ki（ｔ−１）に関連付けてグループ情報記憶手段３３に記憶させる。なお、相対位置グループ強度ｇｒ_ki（ｔ−１）は、時間変化量Ｖｒ_kiの逆数である。

例えば、人物Ａと人物Ｂとの関係では、時刻ｔ−３から時刻ｔ−１までのその相対位置関係ｒ_AB（ｔ−３）〜ｒ_AB（ｔ−１）のベクトルの分散値を時間変化量Ｖｒ_ABとして求め、当該時間変化量Ｖｒ_ABが位置関係閾値Ｔ_Vr未満であれば、人物Ａと人物Ｂとの相対位置が時間的に大きく変化していないものとして相対位置グループとして抽出する。一方、人物Ｅと人物Ｆとの関係では、時刻ｔ−３から時刻ｔ−１までのその相対位置関係ｒ_EF（ｔ−３）〜ｒ_EF（ｔ−１）のベクトルの分散値を時間変化量Ｖｒ_EFとして求め、当該時間変化量Ｖｒ_EFが位置関係閾値Ｔ_Vr以上であれば、人物Ｅと人物Ｆとの相対位置が時間的に大きく変化しているものとして相対位置グループとして抽出しない。なお、時間変化量として相対位置の分散の代わりに相対位置の差の積分値や相対位置の差の平均値等を用いることもできる。

グループ抽出手段４４は、また、検出位置記憶手段３２から人物ペアごとに過去の複数のフレームにおける検出位置を読み出し、その相対距離関係の時間変化量Ｖｄ_kiを算出し、時間変化量Ｖｄ_kiが予め定めた距離関係閾値Ｔ_Vd未満である人物ペアを相対距離グループとして抽出する。また、グループ抽出手段４４は、抽出された相対距離グループを１フレーム前の相対距離関係ｄ_ki（ｔ−１）及び相対距離グループ強度ｇｄ_ki（ｔ−１）に関連付けてグループ情報記憶手段３３に記憶させる。なお、相対距離グループ強度ｇｄ_ki（ｔ−１）は、時間変化量ｖｄ_kiの逆数である。

例えば、人物Ａと人物Ｂとの関係では、時刻ｔ−３から時刻ｔ−１までのその相対距離関係ｄ_AB（ｔ−３）〜ｄ_AB（ｔ−１）のスカラの分散値を時間変化量Ｖｄ_ABとして求め、当該時間変化量Ｖｄ_ABが距離関係閾値Ｔ_Vd未満であれば、人物Ａと人物Ｂとの相対距離が時間的に大きく変化していないものとして相対距離グループとして抽出する。一方、人物Ｅと人物Ｆとの関係では、時刻ｔ−３から時刻ｔ−１までのその相対位置関係ｄ_EF（ｔ−３）〜ｄ_EF（ｔ−１）のスカラの分散値を時間変化量Ｖｄ_EFとして求め、当該時間変化量Ｖｄ_EFが距離関係閾値Ｔ_Vd以上であれば、人物Ｅと人物Ｆとの相対距離が時間的に大きく変化しているものとして相対距離グループとして抽出しない。なお、時間変化量として相対距離の分散の代わりに相対距離の差の積分値や相対距離の差の平均値等を用いることもできる。

グループ抽出手段４４は、相対位置グループ及び相対距離グループの抽出をエリア属性には関係なくすべての人物ペアに対して行う。

また、時間変化量Ｖｒ_kiや時間変化量Ｖｄ_kiを算出するためのフレーム数に下限値Ｔ_F（≧２）を設け、下限値Ｔ_F以上のフレーム数において相対位置関係や相対距離関係が得られているペアを対象にグループを抽出してもよい。下限値Ｔ_F未満のフレーム数しか相対位置関係や相対距離関係が得られないペアは、グループでないものとして、時間変化量Ｖｒ_kiや時間変化量Ｖｄ_kiを算出しないようにすればよい。例えば、下限値Ｔ_Fは３とすることができる。このようにすることで、例えば集団から外れた動きをする人物やすれ違った人物や追い越した人物を誤ってグループとして抽出することを防止し、誤追跡を減じることができる。グループ抽出手段４４は、例えば、下限値Ｔ_F分のフレームの検出位置を読み出してフレーム毎にペアの一方の人物の検出位置に対するペアの他方の人物の検出位置の相対位置及び相対距離を求め、相対位置の分散を時間変化量Ｖｒ_ki及び相対距離の分散を時間変化量Ｖｄ_kiとして算出する。

また、評価対象とする検出位置において算出された存在度に下限値Ｔ_Sを設け、存在度が下限値Ｔ_S以上である検出位置から算出した相対位置関係や相対距離関係のみを用いて時間変化量Ｖｒ_kiや時間変化量Ｖｄ_kiを算出してもよい。このようにすることで、信頼性の低い時間変化量が算出されることを防止し、グループを正しく抽出でき、誤追跡を減じることができる。

以上のように、グループ抽出手段４４は、記憶手段に記憶された検出位置を比較して移動物体同士の相対位置関係や相対距離関係を求め、複数の過去フレームに亘って相対位置関係や相対距離関係の変化量が所定基準値未満である移動物体のグループを抽出する。

＜移動物体追跡処理＞
以下、図４〜図６のフローチャートを参照して、本実施形態における移動物体追跡処理について説明する。ここでは、監視領域に人物が存在しない状態で人物追跡装置１を起動し、撮影部２は監視領域を所定時間おきに繰り返し撮影して監視画像を画像処理部４に出力するものとする。また、画像処理部４は、監視画像が入力されるたびに図４のステップＳ１〜Ｓ１０の処理を繰り返す。

ステップＳ１では、監視画像の取得が行われる。画像処理部４は、撮影部２から所定時間おきに撮影される監視画像を取得する。取得された監視画像は現フレームとして処理される。

ステップＳ２では、現フレームから人物領域の抽出が行われる。画像処理部４は、ステップＳ１において取得した現フレームに対して背景差分処理を施すことにより現フレームの監視画像から人物領域（変化領域）を抽出する。

ステップＳ３では、現フレームから人物領域が抽出されたか否かが判定される。現フレームから１以上の人物領域が抽出された場合はステップＳ４へ処理を移行させ、人物領域が抽出されなかった場合はステップＳ４〜Ｓ８をスキップしてステップＳ９へ処理を移行させる。

ステップＳ４では、候補位置の設定が行われる。画像処理部４は、候補位置設定手段４０として機能し、現在追跡中の人物毎に対して現フレームにおける複数の候補位置を算出して設定し、設定された候補位置を存在度算出手段４１に出力する。

ステップＳ５では、各人物に対して設定された候補位置毎に存在度が算出される。画像処理部４は、存在度算出手段４１として機能し、各人物に対して設定された候補位置毎に、当該候補位置に当該人物の画像特徴が現れている度合い、すなわち当該人物の検出位置であることの尤もらしさを表す存在度を算出する。ここで、算出される存在度は、形状存在度と色存在度の重み付け和とすることが好適であり、その値が補正前の存在度となる。

ステップＳ６では、グループ情報が存在しているか否かが判定される。存在度算出手段４１は、記憶部３のグループ情報記憶手段３３に移動物体のグループの情報が記憶されているか確認し、グループ情報記憶手段３３にグループフラグが１である人物ペアが記憶されていればステップＳ７へ処理を移行させ、そうでなければステップＳ７をスキップしてステップＳ８へ処理を移行させる。

ステップＳ７では、各人物に対して設定された候補位置毎に存在度の補正処理が行われる。画像処理部４は、存在度補正手段４２として機能し、移動物体のグループを構成する人物について、候補位置の位置関係と、グループ情報記憶手段３３に記憶されている当該グループの位置関係の誤差を算出し、誤差に応じて当該候補位置の存在度を補正する。

このとき、存在度補正手段４２は、エリア属性記憶手段３０からエリア属性を読み出し、処理対象とされている人物が属するエリア属性に対応するグループ情報を用いて当該人物の存在度を補正する。この処理については、図５を参照して、後で説明を行う。

ステップＳ８では、人物の位置の判定処理が行われる。物体位置判定手段４３は、各人物の候補位置と当該候補位置に対して算出された存在度に基づいて現フレームにおける各人物の検出位置を判定する。例えば、各人物について、当該人物について設定された複数の候補位置を各候補位置に対して算出された存在度で重み付けた重み付け候補位置の平均値を当該人物の検出位置と判定する。

ステップＳ９では、画像特徴の更新処理が行われる。物体位置判定手段４３は、画像特徴記憶手段３１に記憶されている各人物の画像特徴を現フレームにおいて当該人物の位置から抽出した画像特徴を用いて更新する。

具体的には、記憶されている画像特徴を抽出された画像特徴との平均値に更新する。なお、記憶されている画像特徴を抽出した画像特徴自体で置き換えてもよい。また、現フレームにおける存在度が所定値未満である人物については、更新を禁止してもよい。さらに、現フレームにおいて位置が検出されなかった人物について、物体位置判定手段４３は画像特徴記憶手段３１から画像特徴を削除し、検出位置記憶手段３２から位置履歴を削除する。また、物体位置判定手段４３は、ステップＳ８にて算出された各人物の検出位置に対応する仮想空間内の位置に人物形状モデルを配置して監視画像上に投影し、投影像をステップＳ２で抽出した人物領域に重ね合わせ、投影像と重なり合わない人物領域があれば当該人物領域を新規人物の領域と判定する。この場合、物体位置判定手段４３は、当該領域から新規人物の画像特徴を抽出して画像特徴記憶手段３１に追記し、新規人物の領域の位置を検出位置記憶手段３２に追記する。

ステップＳ１０では、移動物体のグループの検出処理が行われる。画像処理部４は、グループ抽出手段４４として機能し、ステップＳ８にて検出された各人物の検出位置に基づいて移動物体のグループを抽出する。当該処理は、図６に示すサブルーチンに沿って実行される。

次に、図５のフローチャートを参照して、ステップＳ７における存在度補正処理について説明する。

ステップＳ７０では、存在度補正手段４２は、検出位置記憶手段３２に位置が記憶されている人物のペアを総当たりで設定し、設定した各ペアを順次注目ペアに設定する。

ステップＳ７１では、存在度補正手段４２は、対象の人物ペアの前フレームでの各人物位置を検出位置記憶手段３２より読み出し、両人物の検出位置がエリア属性記憶手段３０から読みだした直線エリアに属している場合、ステップＳ７２へ処理を移行させる。一方、人物ペアのどちらか、又は両人物が曲進エリアに属しているならばステップＳ７４へ処理を移行させる。

以上のように、グループ抽出手段４４が２つの移動物体の組み合わせごとに相対位置関係及び相対距離関係を検出し、存在度補正手段４２が直進エリア及び曲進エリアのうち予めの設定にしたがって２つの移動物体のうち少なくとも１つを含むエリアで当該２つの移動物体をグループとして追跡する。このように２つの移動物体を単位としてグループを追跡することにより、直進エリアと曲進エリアの境界においても円滑にグループの基準を切り替えることができる。なお、上述の設定では、人物ペアの一方が曲進エリアに属し、他方が直進エリアに属してる場合に当該ペアを曲進エリアのグループとしたが、このペアを直進エリアのグループとする設定を採用してもよい。

ステップＳ７２では、存在度補正手段４２は、グループ情報記憶手段３３より当該人物ペアの相対位置グループフラグを読み出し、相対位置グループが１ならステップＳ７３へ処理を移行させ、相対位置グループフラグが０ならステップＳ７６へ処理を移行させる。

ステップＳ７３では、存在度補正手段４２は、人物ペアの一方の人物の候補位置と、他方の人物の候補位置から構成される候補位置のペアを総当たりで設定する。また、存在度補正手段４２は、各候補位置のペアについて、候補位置のペアの一方を基準とする他方の相対位置を相対位置関係として算出し、算出した相対位置関係とグループ情報記憶手段３３から読みだした当該人物ペアの相対位置関係の誤差を算出する。そして、存在度補正手段４２は、各候補位置のペアについて、ペアを構成する候補位置それぞれに対してステップＳ５にて算出された存在度を、当該存在度と算出した誤差とグループ情報記憶手段３３から読みだした当該人物ペアの相対位置グループ強度を式１〜３に代入して補正する。

ステップＳ７４では、存在度補正手段４２は、グループ情報記憶手段３３より当該人物ペアの相対距離グループフラグを読み出し、相対距離グループが１ならステップＳ７５へ処理を移行させ、相対位置グループフラグが０ならステップＳ７６へ処理を移行させる。

ステップＳ７５では、存在度補正手段４２は、人物ペアの一方の人物の候補位置と、他方の人物の候補位置から構成される候補位置のペアを総当たりで設定する。また、存在度補正手段４２は、各候補位置のペアについて、候補位置のペアの一方を基準とする他方の相対距離を相対距離関係として算出し、算出した相対距離関係とグループ情報記憶手段３３から読みだした当該人物ペアの相対距離関係の誤差を算出する。そして、各候補位置のペアについて、ペアを構成する候補位置それぞれに対してステップＳ５にて算出された存在度を、当該存在度と算出した誤差とグループ情報記憶手段３３から読みだした当該人物ペアの相対距離グループ強度を式１〜３に代入して補正する。

ステップＳ７６では、存在度補正手段４２は、ステップＳ７１〜Ｓ７５の処理を全人物ペアについて行ったか確認する。存在度補正手段４２は、未処理の人物ペアがあるならステップＳ７０に戻して次の人物ペアを処理し、全人物を処理したなら移動物体グループの抽出処理を終えて、メインルーチンのステップＳ８へ処理を戻す。

次に、図６のフローチャートを参照して、ステップＳ１０における移動物体のグループの検出処理について説明する。

ステップＳ１０１では、グループ抽出手段４４は、検出位置記憶手段３２に位置が記憶されている人物のペアを総当たりで設定し、設定した各ペアを順次注目ペアに設定する。

ステップＳ１０２では、グループ抽出手段４４は、注目ペアを構成する各人物の検出位置のうち検出位置を判定したときの存在度が閾値Ｔ_S以上であった検出位置を検出位置記憶手段３２から読み出し、注目ペアの検出位置がいずれも記憶されているフレーム数を計数して閾値Ｔ_Fと比較する。グループ抽出手段４４は、フレーム数が閾値Ｔ_F以上なら注目ペアは相対位置グループ又は相対距離グループに該当するとしてステップＳ１０３へ処理を移行させ、フレーム数が閾値Ｔ_F未満ならステップＳ１１３へ処理を移行させる。

ステップＳ１０３では、グループ抽出手段４４は、注目ペアの検出のうち最新の検出位置の間の距離を算出して予め定めた閾値Ｔ_D1と比較する。グループ抽出手段４４は、距離が閾値Ｔ_D1未満なら、注目ペアはグループ候補であるとしてステップＳ１０４へ処理を移行させ、距離が閾値Ｔ_D1以上なら、ステップＳ１０７へ処理を移行させる。

ステップＳ１０４では、グループ抽出手段４４は、フレームごとの注目ペアの一方の検出位置を基準とする他方の検出位置の相対位置を算出し、算出した複数フレームの相対位置の分散を相対位置関係の時間変化量Ｖｒとして算出する。

ステップＳ１０５では、グループ抽出手段４４は、算出した時間変化量Ｖｒを閾値Ｔ_Vrと比較する。時間変化量Ｖｒが閾値Ｔ_Vr未満なら、注目ペアは移動物体の相対位置グループであるとしてステップＳ１０６へ処理を移行させ、時間変化量Ｖｒが閾値Ｔ_Vr以上なら、ステップＳ１０８へ処理を移行させる。

ステップＳ１０６では、グループ抽出手段４４は、ステップＳ１０２、Ｓ１０３、Ｓ１０５の条件を満たした人物ペアを移動物体の相対位置グループであるとして登録する。注目ペアが既に相対位置グループとして登録されている場合は更新となる。また、ステップＳ１０４にて算出した時間変化量Ｖｒの逆数を相対位置グループ強度ｇｒとして算出する。そして、グループ情報記憶手段３３内の注目ペアのレコードに相対位置グループ強度ｇｒとステップＳ１０４で算出された注目ペアの相対位置関係のうちの最新の相対位置関係を書き込む。また、注目ペアの相対位置グループフラグを１に設定する。

ステップＳ１０３にて注目ペア間の距離が閾値Ｔ_D1以上であった場合、注目ペアを直ちにグループから登録抹消すると、ペア間の距離が閾値Ｔ_D1付近でふらつく場合に登録と抹消を繰り返すことになってしまう。そこで、ステップＳ１０７では、グループ抽出手段４４は、注目ペア間の距離をさらに閾値Ｔ_D2と比較し、距離が閾値Ｔ_D2未満である場合は登録抹消を保留する。距離が閾値Ｔ_D2以上の場合、注目ペアはグループ候補ではないとしてステップＳ１０８へ処理を移行させ、距離が閾値Ｔ_D2未満の場合、ステップＳ１１５へ処理を移行させる。

ステップＳ１０７にて注目ペア間の距離が閾値Ｔ_D2以上であった場合、またはステップＳ１０５にて注目ペアの相対位置関係の時間変化量Ｖｒが閾値Ｔ_Vr以上であった場合、ステップＳ１０８において、グループ抽出手段４４は、注目ペアのグループフラグが１であれば、グループ登録済みであるとしてステップＳ１０９へ処理を移行させ、そうでない場合にはステップＳ１１０へ処理を移行させる。ステップＳ１０９では、グループ抽出手段４４は、グループフラグを０に設定して注目ペアのグループ登録を抹消する。

ステップＳ１１０では、グループ抽出手段４４は、フレームごとの注目ペアの一方の検出位置を基準とする他方の検出位置の距離を算出し、算出した複数フレームの距離の分散を相対距離関係の時間変化量Ｖｄとして算出する。

ステップＳ１１１では、グループ抽出手段４４は、算出した時間変化量Ｖｄを閾値Ｔ_Vdと比較する。時間変化量Ｖｄが閾値Ｔ_Vd未満なら、注目ペアは移動物体の相対距離グループであるとしてステップＳ１１２へ処理を移行させ、時間変化量Ｖｄが閾値Ｔ_Vd以上なら、ステップＳ１１３へ処理を移行させる。

ステップＳ１１２では、グループ抽出手段４４は、ステップＳ１１１の条件を満たした人物ペアを移動物体の相対距離グループであるとして登録する。注目ペアが既に相対距離グループとして登録されている場合は更新となる。また、ステップＳ１１０にて算出した時間変化量Ｖｄの逆数を相対距離グループ強度ｇｄとして算出する。そして、グループ情報記憶手段３３内の注目ペアのレコードに相対距離グループ強度ｇｄとステップＳ１１０で算出された注目ペアの相対距離関係のうちの最新の相対距離関係を書き込む。また、注目ペアの相対距離グループフラグを１に設定する。

ステップＳ１１１にて注目ペア間の時間変化量Ｖｄが閾値Ｔ_Vd以上であった場合、グループ抽出手段４４は、注目ペアの相対距離グループフラグが１であればステップＳ１１４に処理を移行させ、０であればステップＳ１１５に処理を移行させる。ステップＳ１１４では、グループ抽出手段４４は、相対距離グループフラグを０に設定して注目ペアのグループ登録を抹消する。

ステップＳ１１５では、ステップＳ１０２〜Ｓ１１４の処理を全人物ペアについて行ったか確認する。グループ抽出手段４４は、処理の人物ペアがあるなら、ステップＳ１０１に戻して次の人物ペアを処理し、全人物ペアの処理が終了していれば、移動物体グループの抽出処理を終えてメインルーチンのステップＳ1へ処理を戻す。

このような処理によって抽出された移動体（人物）のすべての組み合わせについてグループの登録、更新及び抹消の処理が行われる。図７は、直進移動するグループの例を示す。図７は、監視領域において人物Ａ，Ｂ，Ｃが直進エリア内を直進移動している状態を示している。図８は、直進移動するグループ例に対するグループ情報の例を示す。人物Ａ，Ｂのペア，人物Ａ，Ｃのペア及び人物Ｂ，Ｃのペアは、いずれも相対位置を保って移動しており、相対位置グループフラグ及び相対距離グループフラグすべてが１である。一方、図９は、曲進移動するグループの例を示す。図９は、Ｌ字型に曲がった監視領域において人物Ａ，Ｂ，Ｃが角の曲進エリア内を曲がりながら移動している状態を示している。図１０は、曲進移動するグループ例に対するグループ情報の例を示す。人物Ａ，Ｂのペア，人物Ａ，Ｃのペア及び人物Ｂ，Ｃのペアは、いずれも相対位置を大きく変動させながら移動しているため相対位置グループフラグは０となる。一方、人物Ａ，Ｂのペア，人物Ａ，Ｃのペア及び人物Ｂ，Ｃのペアは、いずれも相対距離が大きく変動しないため相対距離グループフラグは１となる。

本発明を用いた人物追跡装置１によれば、移動物体の移動方向が変動しにくい直進エリアでは移動物体間の相対位置関係（相対方向関係及び相対距離関係）の時間変化が所定基準値未満である複数の移動物体をグループとして相対方向関係を含めた厳格なグループ追跡を行い、移動物体の移動方向が変動しやすい曲進エリアでは移動物体間の相対距離関係の時間変化が所定基準値未満である複数の移動物体をグループとして相対方向関係不問の緩和したグループ追跡を行う。すなわち、各エリアにて可能な限りの厳格さで移動物体のグループを検出し、移動物体間でオクルージョンが生じても当該移動物体を高精度に追跡できるグループ追跡を各エリアで行うことができる。よって、直進エリアと曲進エリアを含む監視領域において厳格且つ高精度な追跡を行うことが可能となる。

さらに、本発明を用いた人物追跡装置１によれば、注目フレームにおける直進エリアでは過去フレームと類似する相対位置関係にてグループを構成する移動物体を検出し易くしてグループ追跡を行い、注目フレームにおける曲進エリアでは過去フレームと類似する相対距離関係にてグループを構成する移動物体を検出し易くしてグループ追跡を行う。このように各エリアにて当該エリアでのグループ検出基準に即してグループを構成する移動物体を検出し易くすることにより、直進エリアと曲進エリアを含む監視領域において厳格且つ高精度な追跡を行うことが可能となる。

＜変形例＞
上記各実施形態では、移動物体のペア（２つの移動物体）を単位として移動物体のグループを管理する例を示したが、３つの移動物体の組を単位として移動物体のグループを管理してもよい。また、２以上の任意数の移動物体の組を移動物体のグループとして管理してもよい。

また、上記各実施形態及びその変形例では、人物毎に候補位置を設定して検出位置を判定したが、候補位置を利用せずに検出位置を判定してもよい。この場合、監視画像全体を探索して各移動物体の画像特徴との類似度が最も高い位置を検出位置と判定すればよい。また、１フレームの間に移動物体が移動可能な範囲を予め定めておき、１フレーム前の検出位置を中心とする当該範囲を探索して各移動物体の画像特徴との類似度が最も高い位置を検出位置と判定してもよい。

また、上記各実施形態及びその変形例では、相対位置グループ強度ｇｒを時間変化量Ｖｒの逆数としたが、相対位置関係を維持しているフレーム数が多いグループほど現フレームでも当該相対位置関係を維持している信頼性が高いと考えられる。そこで、時間変化量Ｖｒが位置関係閾値Ｔ_Vr未満であるフレーム数を相対位置グループ強度としてもよい。また、相対距離グループ強度ｇｄを時間変化量Ｖｄの逆数としたが、相対距離関係を維持しているフレーム数が多いグループほど現フレームでも当該相対距離関係を維持している信頼性が高いと考えられる。そこで、時間変化量ｖｄが位置関係閾値Ｔ_Vd未満であるフレーム数を相対距離グループ強度としてもよい。

また、上記各実施形態及びその変形例では、検出位置を判定しやすくするため存在度補正を行ったが、存在度に適用する閾値を補正してもよい。例えば、存在度補正手段４２は、（数式（１）〜（３）による補正を行わずに）相対位置関係や相対距離関係の誤差に応じた閾値を候補位置毎に設定して、候補位置の存在度を閾値と比較し、閾値を超える存在度が算出された候補位置の平均値を検出位置と判定する。また、例えば、存在度と閾値の差が最大の候補位置を検出位置として判定することもできる。

上記実施形態及びその変形例では、エリアに応じて相対位置関係に基づくグループと相対距離関係に基づく２種類のグループをグループ追跡する例を示したが、相対方向関係に基づくグループを含めた３種類のグループの追跡を行ってもよい。
相対方向関係に基づくグループに対してエリア属性記憶手段３０、グループ抽出手段４４、グループ情報記憶手段３３、存在度補正手段４２は次のように動作する。他の各手段の動作は上記実施形態と同様である。
すなわち、エリア属性記憶手段３０は、予め監視領域において移動物体の移動距離が変動し易く移動方向が変動し難い加減速エリアの座標値を記憶する。例えば、通路の幅が変化する場所を加減速エリアに設定することができる。
グループ抽出手段４４は、移動物体のペアごとに複数の過去フレームにおける検出位置の相対方向を当該ペアの相対方向関係としてグループ情報記憶手段３３に記憶させる。また、グループ抽出手段４４は、各ペアの時間変化量を算出して時間変化量が予め定めた方向関係閾値未満であるペアを相対方向グループであると判定してその情報をグループ情報記憶手段３３に記憶させる。また、グループ抽出手段４４は、各ペアの相対方向の時間変化の逆数を相対方向グループ強度として算出し、グループ情報記憶手段３３に記憶させる。
存在度補正手段４２は、移動物体のペアのうち少なくとも一方が加減速エリアに属し且つ相対方向グループであるペアに対して第３補正手段として動作する。第３補正手段は、グループ情報記憶手段３３から補正対象のペアに関する相対方向関係と相対方向グループ強度を読み出し、読み出した相対方向関係と候補位置の相対方向の角度差を誤差として求め、求めた誤差と読み出した相対方向グループ強度を式（１）〜（３）に適用して候補位置の存在度を補正する。
なお、監視領域は、直進エリア、曲進エリア及び加減速エリアの３種類のエリアに区分してもよいし、直進エリアと加減速エリアの２種類のエリアに区分してもよいし、曲進エリアと加減速エリアの２種類に区分してもよい。

上記実施形態及びその変形例では、監視領域を撮影部２によって撮影した時系列画像を用いて移動物体を追跡する例を示したが、レーザーセンサや距離画像センサーによって計測した計測データを用いて移動物体を追跡してもよい。

１人物追跡装置、２撮影部、３記憶部、４画像処理部、５出力部、３０エリア属性記憶手段、３１画像特徴記憶手段、３１物体位置記憶手段、３２検出位置記憶手段、３３グループ情報記憶手段、４０候補位置設定手段、４１存在度算出手段、４２存在度補正手段、４３物体位置判定手段、４４グループ抽出手段。

Claims

監視領域にて複数の移動物体の位置が所定の関係を有するグループを追跡する移動物体追跡装置であって、
前記監視領域には前記関係が変動する性質によって複数のエリアが設定され、当該性質に応じて移動物体をグループとして追跡する移動物体追跡装置。
請求項１に記載の移動物体追跡装置であって、
前記監視領域には、前記移動物体の移動方向が変動しにくい直進エリアと、前記移動物体の移動方向が変動しやすい曲進エリアが設定され、
前記直進エリアでは前記移動物体間の相対距離及び相対方向からなる相対位置関係の時間変化が所定基準値未満である複数の前記移動物体をグループとして追跡し、
前記曲進エリアでは前記移動物体の相対距離である相対距離関係の時間変化が所定基準値未満である複数の前記移動物体をグループとして追跡することを特徴とする移動物体追跡装置。
請求項２に記載の移動物体追跡装置であって、
前記監視領域を撮影した時系列画像のうちの注目フレームにおける前記直進エリアでは前記注目フレームよりも過去に撮影された過去フレームと類似する前記相対位置関係にて前記グループを構成する移動物体を検出し易くして前記グループを追跡し、
前記注目フレームにおける前記曲進エリアでは前記過去フレームと類似する前記相対距離関係にて前記グループを構成する移動物体を検出し易くして前記グループを追跡することを特徴とする移動物体追跡装置。
請求項３に記載の移動物体追跡装置であって、
前記移動物体の各々の画像特徴、前記過去フレームにおける前記移動物体間の前記相対位置関係及び前記相対距離関係、前記直進エリア及び前記曲進エリアを記憶する記憶手段と、
前記注目フレームに前記移動物体の各々の検出位置の候補となる候補位置を設定する候補位置設定手段と、
前記移動物体の各々に設定された前記候補位置における前記注目フレームの画像と当該移動物体の前記画像特徴との類似性に応じて当該候補位置における当該移動物体の存在度を算出する存在度算出手段と、
前記直進エリアでは前記移動物体間の前記注目フレームにおける前記相対位置関係と前記過去フレームにおける前記相対位置関係との誤差が小さい前記候補位置の組み合わせほど当該移動物体の検出位置として判定され易くなるように当該移動物体の存在度を補正し、前記曲進エリアでは前記移動物体間の前記注目フレームにおける前記相対距離関係と前記過去フレームにおける前記相対距離関係との誤差が小さい前記候補位置の組み合わせほど当該移動物体の検出位置として判定され易くなるように当該移動物体の存在度を補正する補正手段と、
前記移動物体の各々の前記候補位置における前記存在度の高さに応じて前記注目フレームにおける当該移動物体の検出位置を判定する物体位置判定手段と、
を備え、
前記物体位置判定手段において判定された前記移動物体の検出位置を用いて前記移動物体のグループを追跡することを特徴とする移動物体追跡装置。
請求項２〜４のいずれか１項に記載の移動物体追跡装置であって、
２つの前記移動物体の組み合わせごとに前記相対位置関係及び前記相対距離関係を検出し、前記直進エリア及び前記曲進エリアのうち、予めの設定にしたがって前記２つの移動物体のうち少なくとも１つを含むエリアで当該２つの移動物体の組み合わせを前記グループとして追跡することを特徴とする移動物体追跡装置。