JP2010130383A - 移動物体追跡装置 - Google Patents

Abstract

【課題】移動物体を追跡する際に各移動物体の特定の確度を向上させる。
【解決手段】監視画像から移動物体が存在する物体領域を抽出する物体領域抽出手段５０と、物体領域内の画像と移動物体毎の画像上の特徴を表す参照画像情報との類似度に基づいて物体領域と移動物体とを対応付ける対応付け手段５１と、複数の移動物体と対応付けられた物体領域を行列が形成されている行列領域とし、行列領域と対応付けられた移動物体を行列物体とし、行列領域、行列物体及び行列物体の行列への参入順序を含む行列情報を記憶部に記憶させる行列認識手段５２と、行列領域から離脱した物体領域を離脱領域として検出する離脱領域検出手段５１０とを備え、対応付け手段５１は、離脱領域検出手段５１０が離脱領域を検出すると、参入順序が最先の行列物体を優先して対応付ける。
【選択図】図１

Description

本発明は、監視空間内を移動する移動物体を追跡する移動物体追跡装置に関する。

従来、監視空間内を移動する移動物体を追跡処理する場合、物体のテクスチャや色等の特徴量を移動物体のテンプレートとして記憶し、監視空間を撮像した画像上でテンプレートと類似した特徴量を有する領域を移動物体として順次対応付け、対応付けられた各領域を移動物体として処理している。

さらに、過去の移動物体の位置から予測される現在の移動物体の位置周辺に限定して上記対応付けを行うことにより、誤って対応付けされることを防ぐ処理も行われている。

特開２００８−２５０７７２号公報

ところで、自動現金取引装置（ＡＴＭ）が設置されている店舗等の監視空間では、移動物体（人）が複数並んで行列が形成されることがある。この行列は多数の移動物体により形成されるので、特徴が類似する複数の移動物体が行列に含まれる可能性がある。そのため、特徴が互いに類似する移動物体を誤って対応付け合ったりしてしまい、移動物体の追跡の確度が低下する問題が起こり得る。

また、行列が形成されると各移動物体はほぼ静止状態となるため、過去の動きから現在の位置を予測することが困難となり、履歴情報から対応付けるべき移動物体を絞り込むことが難しい。

本発明は、上記問題を鑑みてなされたものであり、移動物体の対応付けの確度を向上させた移動物体追跡装置を提供することを目的とする。

本発明の１つの態様は、移動物体により行列が形成され得る監視空間を順次撮像した監視画像を用いて、前記移動物体を追跡する移動物体追跡装置であって、前記監視画像から前記移動物体が存在する物体領域を抽出する物体領域抽出手段と、前記物体領域内の画像と、前記移動物体毎の画像上の特徴を表す参照画像情報との類似度に基づいて前記物体領域と前記移動物体とを対応付ける対応付け手段と、複数の前記移動物体と対応付けられた物体領域を行列が形成されている行列領域とし、前記行列領域と対応付けられた前記移動物体を行列物体とし、前記行列領域、前記行列物体及び前記行列物体の行列への参入順序を含む行列情報を記憶部に記憶させる行列認識手段と、前記行列領域から離脱した前記物体領域を離脱領域として検出する離脱領域検出手段と、を備え、前記対応付け手段は、前記離脱領域検出手段が離脱領域を検出すると、前記参入順序が最先の前記行列物体を優先して対応付ける移動物体追跡装置である。

ここで、前記対応付け手段は、前記離脱領域と複数の前記参照画像情報との類似度の分布から対応付けのあいまい性を判定し、あいまいと判定された離脱領域に前記参入順序が最先の前記行列物体を対応付けることが好適である。

また、前記離脱領域検出手段は、記憶されている前記行列領域と予め定められた割合未満で重なり合う前記物体領域を前記離脱領域として検出することが好適である。

また、前記対応付け手段は、前記移動物体と対応付けられた物体領域の位置を当該移動物体の移動軌跡として記憶部に記憶させ、前記行列認識手段は、前記移動軌跡を参照して静止状態にある物体領域に対応付けられた前記移動物体のみを前記行列物体とすることが好適である。

また、前記行列認識手段は、前記参入順序が最先の前記行列物体の位置を行列の先頭位置として前記行列情報に含めて記憶させ、前記対応付け手段は、前記先頭位置から予め定めた距離範囲内に検出された前記離脱領域に前記参入順序が最先の前記行列物体を優先して対応付けることが好適である。

また、前記対応付け手段は、前記行列領域と、前記移動物体の利用に供される設備の設置場所に対応する前記監視画像上の設備領域と、の間に検出された前記離脱領域に前記参入順序が最先の前記行列物体を優先して対応付けるものとしてもよい。

本発明によれば、移動物体を追跡する際に各移動物体の特定の確度を向上させることができる。

本発明の実施の形態における移動物体追跡装置１は、図１に示すように、撮像部２、操作部３、記憶部４、制御部５及び表示部６を含んで構成される。移動物体追跡装置１は、監視空間を撮像し、その監視画像を画像処理して画像内に撮像された人や物等の移動物体を追跡処理する。撮像部２、操作部３、記憶部４、制御部５及び表示部６は互いに情報伝達可能に接続される。

なお、本実施の形態では、監視空間であるＡＴＭコーナーにおいて人の移動を追跡する例について説明する。ただし、これに限定されるものではなく、流通化に置かれる商品等の物品、通行する車等の異常行動を検知する場合等にも適用することができる。

撮像部２は、ＣＣＤ素子やＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される所謂監視カメラである。撮像部２は、監視空間を所定時間間隔にて撮像し、その画像（以下、監視画像という）を制御部５へ順次出力する。以下、この所定時間間隔を時間の単位として時刻と称する。本実施の形態において、撮像部２は、監視空間の天井に光軸を鉛直下方に向けて配置されているものとする。なお、撮像部２は、複数台の監視カメラを含んで構成してもよい。

操作部３は、移動物体追跡装置１へ情報を入力するためのキーボードやマウス等の入力装置を含んで構成される。操作部３は、移動物体追跡装置１の管理者による各種設定の入力のために用いられる。

記憶部４は、ＲＯＭやＲＡＭ等のメモリ装置で構成される。記憶部４は、制御部５からアクセス可能に接続される。記憶部４は、各種プログラム、各種データを記憶する。これら各種プログラムや各種データは、制御部５より読み出されて使用される。各種データには、監視画像、物体情報４０、行列情報４１、設備領域４２が含まれる。

物体情報４０は、移動物体のそれぞれの特徴を示す情報である。物体情報４０は、各移動物体を識別する識別子と共に移動物体毎に記憶され、監視画像において移動物体を特定するために参照される。物体情報４０には、移動物体の外見の特徴を表す参照画像情報４００と、移動物体の位置の履歴（時系列データ）であり追跡の結果として生成される移動軌跡４０１が含まれる。参照画像情報４００は、移動物体の色ヒストグラム、形状、大きさ等の画像特徴とすることができる。なお、色ヒストグラムに代えて、又は加えて、輝度ヒストグラムやテクスチャ等を用いてもよい。

行列情報４１は、監視空間において行列が形成されている領域に対応する監視画像内の領域である行列領域、その行列領域内に存在する移動物体（以下、行列物体という）の識別子、各行列物体が行列に参入した順序を表す参入順序、及び、行列の先頭位置を含む。この行列情報４１は、行列毎に記憶される。図６及び図７は、行列情報４１について示した例である。図６及び図７についての説明は後述する。

設備領域４２は、移動物体の利用に供される設備の設置場所と対応する監視画像上の領域である。設備領域４２は、例えば、キャッシュディスペンサ（ＣＤ）や自動現金取引装置（ＡＴＭ）、銀行の窓口等である。監視画像上における設備領域４２は操作部３により予め管理者によって設定することができる。

制御部５は、ＣＰＵ、ＤＳＰ、ＭＣＵ、ＩＣ等の演算回路を含んで構成される。制御部５は、撮像部２、操作部３、記憶部４及び表示部６と情報伝達可能に接続される。制御部５は、物体領域抽出手段５０、対応付け手段５１、行列認識手段５２、不審行動検知手段５３等の各手段での処理を記述したプログラムを記憶部４から読み出して実行することによりコンピュータを各手段として機能させる。制御部５は、撮像部２からの監視画像を処理して移動物体を追跡処理し、追跡処理により得られた移動軌跡の分析により移動物体の不審行動を検出すると異常信号を表示部６へ出力する。

表示部６は、異常信号が入力されると報知音を出力するスピーカー、ブザー等の音響出力手段を含んでなる。また、異常信号が入力されると異常に係る不審者の移動軌跡や画像を表示する表示手段を含んでもよい。

また、移動物体追跡装置１は、コンピュータをネットワークや電話回線に接続するためのインターフェースを含んでもよい。この場合、移動物体追跡装置１は、電話回線やインターネット等の情報伝達手段を介して、センタ装置（図示しない）に情報伝達可能に接続される。移動物体追跡装置１とセンタ装置とは、電話番号やネットワークアドレスを用いて情報の送受信を行う。なお、センタ装置は、監視員等が滞在する監視センタ等に設置されるホストコンピュータである。センタ装置は、移動物体追跡装置１からの通報情報を受信する通信部、通報情報を表示する表示部等を含んで構成される。

以下、移動物体追跡装置１における処理について、図１の機能ブロック図並びに図２〜５のフローチャートを参照しつつ説明する。

移動物体追跡装置１の管理者は監視空間が無人であると確認したうえで移動物体追跡装置１の電源を投入する。これにより各部、各手段としての処理が開始され、所定の初期化が行われる（Ｓ１）。また、撮像部２によって監視空間の撮像が行われ、監視画像が制御部５に出力される。その後、撮像部２から制御部５へ新たな監視画像が入力されるたびにステップＳ２〜Ｓ１３の処理が繰り返される。

新たな監視画像を取得すると（Ｓ１）、制御部５の物体領域抽出手段５０は、監視画像を背景画像と比較して物体領域を抽出する（Ｓ２）。具体的には、監視画像を背景画像と比較して、両画像間で相違する画素を検出し、互いに隣接して検出された画素を纏めて変化領域とし、予め定めた大きさの基準値を超える変化領域を物体領域として抽出する。

相違する画素とは、背景画像と監視画像との間で輝度値若しくは色成分の差が所定値以上である監視画像の画素、又は、背景画像と監視画像との間で輝度値若しくは色成分の相関値が所定値未満である画素とするとよい。

ただし、電源投入直後には背景画像が取得されていないので、物体領域抽出手段５０は、物体領域を抽出せず、電源投入直後に取得した監視画像を背景画像として記憶部４に記憶させる。また、その後の各時刻において、物体領域抽出手段５０は、監視空間の照明変動等による背景の変化に対応させるために、物体領域が抽出されなかった領域について監視画像を背景画像と平均化して背景画像を更新する。

制御部５の対応付け手段５１は、各移動物体の移動軌跡４０１から現時刻の予測位置を算出する（Ｓ３）。現時点の予測位置は、移動軌跡４０１に対して等速運動モデル等の運動モデル、又は、カルマンフィルタ等の予測フィルタを適用して外挿処理を行うことによって得られる。

次に、対応付け手段５１は、各物体領域において各参照画像情報４００を用いたマッチング処理を行い、参照画像情報４００との類似度が極大となる物体領域内の位置を特定する（Ｓ４）。

類似度は、画像類似度と位置類似度とを組み合わせて算出することが好適である。例えば、数式（１）を用いて類似度を求める。

［数１］
類似度＝α×画像類似度＋（１−α）×位置類似度・・・・・（１）
ただし、０＜α＜１とする。

画像類似度は、物体領域内に候補位置を設定し、候補位置を基準に参照画像情報４００が示す形状及び大きさの領域を設定し、当該領域においての監視画像から抽出した色ヒストグラムと参照画像情報４００の色ヒストグラムとの差が小さいほど大きな値となる相関関数を適用することで求められる。位置類似度は、物体情報４０として記憶されている移動軌跡４０１から求められた予測位置と候補位置との距離が小さいほど大きな値となる相関関数を適用することで求められる。対応付け手段５１は、候補位置をずらしながら類似度の算出を極大の類似度が求まるまで繰り返し、極大の類似度が算出された候補位置を特定する。こうして、物体領域と移動物体の全組み合わせに対して、類似度と位置が算出される。

そして、対応付け手段５１は、各移動物体について類似度が最大であり、且つ類似度が予め定められた同定値Ｌ１以上である物体領域と移動物体とを仮に対応付ける（Ｓ６）。また、各移動物体の現在位置を最大の類似度が算出された候補位置と判定する。結果、行列領域においては同一の行列領域に複数の行列物体が対応付けられ、同一の行列領域内に複数の行列物体の位置が判定される。

ここで物体領域に、行列領域から離脱した物体領域（以下、離脱領域という）が含まれる場合がある。

そして、多数の行列物体から形成される行列には外見（人の服装等）が似た行列物体が複数含まれる機会が多く、このとき、複数の行列物体が離脱領域に対して高い画像類似度を示す。さらに、行列において行列物体は近接し、その動きは静止乃至低速となるため、離脱領域に対する行列物体の位置類似度も横並びとなる。そのため、離脱領域に対しては、画像や位置の類似性のみでは正しい対応付けができないことがしばしばある。

そこで、対応付け手段５１は、行列領域から離脱する物体領域を検出する離脱領域検出手段５１０を備え、ステップＳ６における対応付け結果のうち、検出された離脱領域に対する対応付けに適宜補正を加える処理を行う（Ｓ７）。

図３のフローチャートを参照してステップＳ７の処理について説明する。対応付け手段５１の離脱領域検出手段５１０は、前時刻の行列領域との重複度が離脱判定範囲内である物体領域を離脱領域として検出する（Ｓ１００）。

離脱領域は、行列から離脱するという性質上、一部が前時刻の行列領域に重複し、残りの一部が前時刻の行列領域からはみ出す領域として検出される。そこで、離脱領域検出手段５１０は、前時刻の行列領域と各物体領域との重複度を数式（２）により算出し、重複度が予め定められた離脱判定範囲内にある物体領域を離脱領域として検出する。

［数２］
重複度＝行列領域と重複する面積／物体領域の面積 ・・・・（２）

離脱判定範囲は、例えば、（０，０．５］に設定される。すなわち、上限の０．５を離脱判定閾値ＴＨとすると、離脱領域検出手段５１０は、離脱判定閾値ＴＨ以下の割合で行列領域と重複する（物体領域のうち半分以下が行列領域と重複する）物体領域を離脱領域として検出する。なお、離脱判定閾値ＴＨを超える割合で行列領域と重複する（物体領域のうち半分より多い領域が行列領域と重複する）物体領域は行列領域に含まれると判定し、重複度が０（行列領域と重複しない）の物体領域は行列と無関係であると判定する。なお、行列の微小な動きにより、行列の物体領域が離脱領域として誤検出されないように０より大きい下限値（例えば０．１）としてもよい。

別の例では、行列物体と単独で対応付けられた物体領域を離脱領域として検出してもよい。ただし、重複度に基づいて離脱領域を検出する方法では、行列物体間の隙間が撮像された場合であっても、この隙間の影響によって行列の一部が離脱領域として誤検出されることがない点で優れている。特に、行列方向が、撮像方向となす角が大きい行列においては隙間が撮像され易く、効果が大きい。

次に、対応付け手段５１は、離脱領域に関してステップＳ１０１〜Ｓ１０７のループ処理を実行する。

離脱領域には、並び通りに先頭から抜け出した移動物体と、待ち切れずに中抜けした移動物体の領域とがある。対応付け手段５１は、これらを区別するために、離脱領域が検出された行列の先頭位置と離脱領域との位置を比較して位置関係を判定し（Ｓ１０２）、離脱領域が先頭位置から距離範囲閾値Ｄ内の近傍にある場合には先頭からの抜け出しであるとして処理をステップＳ１０４に移行させ、そうでない場合には中抜けであるとしてステップＳ１０７に移行させる（Ｓ１０３）。別の例では、対応付け手段５１は、離脱領域が行列領域と設備領域４２との間にある場合は先頭からの抜け出し、そうでない場合は中抜けとする。

図８は、Ｓ１００〜Ｓ１０３の処理を模式的に示した例である。監視画像として撮像される領域８０に設備領域４２、現時刻に抽出された物体領域８１及び前時刻に認識された行列領域８２が示されている。×（クロス）印は、行列の先頭位置、円８３は距離範囲閾値Ｄを表す。

図８において、物体領域８１−２と行列領域８２との重複度は０．２であり、離脱判定範囲内であり、物体領域８１−２は距離範囲閾値Ｄ内に検出されたため、物体領域８１−２は行列の先頭から抜け出した離脱領域とされる。一方、物体領域８１−１の重複度は０、物体領域８１−３の重複度は１であるため離脱領域として検出されない。

距離範囲閾値Ｄとしては移動物体が初速として採り得る値を設定することが好適である。初速とは、静止していた移動物体が動き出すときの速さであり、具体的には、行列に並んでいた移動物体が行列を抜け出すときの一時刻当りの移動距離に対応する。

対応付け手段５１は、離脱領域と複数の参照画像情報との間で算出された類似度の分布から離脱領域に対する対応付けのあいまい性を判定する。ここで、あいまい性とは、離脱領域と参照画像情報との対応付けの結果の確信度合いを示す性質をいう。あいまいと判定された対応付けは、類似度による対応付けの確度が低く、誤対応付けの可能性がある。

より具体的には、対応付け手段５１は、離脱領域と複数の参照画像情報との最大類似度が同定値Ｌ２未満のとき、言い換えると総ての類似度が同定値Ｌ２未満のときにあいまい性を有するものと判定する。同定値Ｌ２は、ステップＳ６での仮の対応付けに利用した同定値Ｌ１より大きい値とする。

図９はあいまい性判定を説明する図である。丸印は離脱領域と各行列物体に対する参照画像情報との類似度を示す。図９（ａ）では、最大類似度が同定値Ｌ２以上であるのであいまい性が判定されず、図９（ｂ）では、最大類似度が同定値Ｌ２に満たないのであいまい性が判定される。

また、対応付け手段５１は、離脱領域について同定値Ｌ１以上の類似度が複数存在するときにあいまい性があるものと判定してもよい。図９（ｃ）では、同定値Ｌ１以上の類似度が１つであるのであいまい性が判定されず、図９（ｄ）では、同定値Ｌ１以上の類似度が２つであるのであいまい性が判定される。

また、対応付け手段５１は、離脱領域について算出された類似度のうち上位２つの類似度の差ｄが予め定められた値Ｒ未満のときにあいまい性があるものとしてもよい。図９（ｅ）では、差ｄが値Ｒ以上であるのであいまい性が判定されず、図９（ｆ）では、差ｄが値Ｒ未満であるのであいまい性が判定される。

あいまい性が判定されない場合、ステップＳ６における物体領域と移動物体との仮の対応付けの結果をそのまま最終的な対応付けとする（Ｓ１０５のＹＥＳ）。一方、あいまい性が判定された場合（Ｓ１０５のＮＯ）、対応付け手段５１は、離脱領域と対応付ける移動物体を離脱領域が検出された行列において参入順序が最先の行列物体に対応付けし直す（Ｓ１０６）。なお、この場合、ステップＳ６において離脱領域と対応付けられていた行列物体は行列領域と対応付けし直される。対応付けし直された行列物体の位置はステップＳ４にて特定された位置を参照して直される。

行列には専ら先に並んだ物体から順に行列から離脱する性質があるため、以上のように離脱領域への参入順序が最先の行列物体を優先して対応付ける補正を行うことによって、複数の類似した行列物体が行列に含まれている場合でも正しい対応付けが可能となり、各移動物体を特定する確度が上がる。

このとき、対応付けのあいまい性が判定された離脱領域に対し補正を行い、そうでない離脱領域に対して補正を行わないことで、類似度に基づく対応付けを加味でき、各移動物体を特定する確度がさらに上がる。

また、先頭位置から予め定めた範囲内に検出された離脱領域、又は行列領域と設備領域４２との間に検出された離脱領域に対し補正を行い、それ以外の離脱領域には補正を行わないことで中抜けの離脱領域に最先の行列物体を対応付ける誤りを防げる。

対応付け後、対応付け手段５１は、検出された移動物体の位置を物体情報４０の移動軌跡４０１に追加記憶させ、参照画像情報４００を対応付けられた物体候補領域の画像特徴で置き換える（Ｓ８）。なお、行列物体については参照画像情報４００を更新しない。

なお、いずれの物体領域とも対応付けられない状態が所定期間続いた移動物体は監視空間から消失したとして物体情報４０を削除し、追跡対象から除外する。また、いずれの移動物体とも対応付けられなかった物体領域は新規出現の移動物体のものであるとして、その物体領域の画像特徴及び位置を新たに物体情報４０として記憶部４に記憶させ、追跡対象に加える。

次に、制御部５の行列認識手段５２において行列情報４１を生成する（Ｓ９）。図４及び図５を参照して、ステップＳ９の処理について説明する。

まず、行列認識手段５２は、記憶されている行列情報４１に関してステップＳ２００〜Ｓ２０３のループ処理を実行し、離脱に伴う行列情報４１の更新を行う。すなわち、行列認識手段５２は、対応付け結果を参照し、離脱領域に対応付けられた行列物体があれば（Ｓ２０１にてＹＥＳ）、行列情報４１から当該行列物体に関する情報を削除し（Ｓ２０２）する。さらに、行列情報４１に含まれる行列物体数を計数して、行列物体数が２未満となった行列情報４１を削除する（Ｓ２０３にてＹＥＳ，Ｓ２０４）。なお、離脱領域には先頭から抜けた行列物体が対応付けられる場合と、中抜けした行列物体が対応付けられる場合とがある。

離脱領域に対応付けられた行列物体を削除しても行列物体数が２以上である行列は、行列情報４１を現時刻の行列に適合させるように、行列認識手段５２は、現時刻において行列領域内に抽出された物体領域の外接矩形に行列領域を置き換える（Ｓ２０５）。さらに、先頭位置を参入順序が最先の行列物体が対応付けられた位置に置き換える（Ｓ２０６）。

なお、本実施の形態では、処理の簡単化のために行列領域を外接矩形領域として処理するが、行列を構成する行列物体の物体領域の集合の外形を行列領域として処理してもよい。

また、離脱領域に対応付けられた行列物体がない場合（Ｓ２０１にてＹＥＳ）、ステップＳ２０２〜２０６の処理はスキップされる。

全行列に対して処理が終了しているか否かを判定し、全行列に対してステップＳ２００〜Ｓ２０６の処理が施されている場合にはステップＳ２０８に処理を移行させ、そうでない場合にはステップＳ２００に処理を戻して次の行列についての処理を行う。

次に、行列認識手段５２は、対応付け結果を参照して、複数の移動物体と対応付けられた物体領域（多重化領域）を選出し（Ｓ２０８）、選出された多重化領域に関してステップＳ２０９〜Ｓ２２６のループ処理を行い、新規の行列情報４１の生成及び行列情報４１の更新を行う。

行列認識手段５２は、多重化領域と一時刻前に認識されていた行列情報との重複度から多重化領域が既存の行列と同一であるか否かを判定する（Ｓ２１０）。同一でないと判定された場合は新規行列の可能性がある。この場合（Ｓ２１１にてＮＯ）、行列認識手段５２は、移動軌跡４０１を参照して、多重化領域と対応付けられた各移動物体が静止状態であるか否かを判定する（Ｓ２１２）。

なお、本実施の形態では、各移動物体の物体領域の位置が予め設定した静止時間Ｔｓ以上、予め定められた移動範囲を超えずに略変化しない状態である場合に、その移動物体は静止状態であると判定する。

複数の移動物体が静止状態にあると判定されれば（Ｓ２１３にてＹＥＳ）、行列認識手段５２は、多重化領域を新規の行列領域、多重化領域と対応付けられた各移動物体を行列物体と認識する。行列認識手段５２は、認識された行列物体に対して静止状態が長い順に参入順序を付与し（Ｓ２１４）、多重化領域の外接矩形を行列領域として算出する（Ｓ２１５）。さらに、参入順序が最先の行列物体が対応付けられた位置を先頭位置として求め（Ｓ２１６）、認識された行列物体、これらの行列物体に付与された参入順序、演算された行列領域及び求められた先頭位置を新規の行列情報４１として記憶部４に記憶させる（Ｓ２１７）。

一方、多重化領域が既存の行列と同一と判定された場合（Ｓ２１１にてＹＥＳ）、行列認識手段５２は、既存の行列の行列情報４１を参照して多重化領域と対応付けられた移動物体の中から行列物体として記憶されていない移動物体（新規多重化物体）を検出し（Ｓ２１８）、移動軌跡４０１を参照して、新規多重化物体が静止状態にあるか否かを判定する（Ｓ２１９にてＹＥＳ，Ｓ２２０）。

静止状態にあると判定されれば（Ｓ２２１にてＹＥＳ）、行列認識手段５２は、新規多重化物体を行列物体と認識して行列情報４１に加え（Ｓ２２２）、参入順序として既存の行列物体の参入順序の最大値に１を加えた値を付与する（Ｓ２２３）。また、行列認識手段５２は、新規参入した行列物体の領域を行列領域に加えるために同一行列を構成する行列物体と対応付けられた物体領域総てに対する外接矩形に行列領域を置き換え（Ｓ２２４）、先頭位置を参入順序が最先の行列物体が対応付けられた座標に置き換える（Ｓ２２５）。

なお、多重化領域は、行列が発生した場合のみならず、継続的に移動し続けている移動物体の画像が監視画像上で交差した場合にも発生する。したがって、新規多重化物体が静止状態になければ（Ｓ２２１にてＮＯ）、移動物体同士が互いに移動しながら交差している交差状態である可能性があるので行列情報４１の更新（Ｓ２２２〜Ｓ２２５）はスキップする。また、新規多重化物体が検出されなかった場合も（Ｓ２１９にてＮＯ）、行列情報４１の更新（Ｓ２１９〜Ｓ２２５）はスキップする。

図６及び図７に行列認識の様子を例示する。図６及び図７では、時刻ｔ１〜ｔ７における監視画像として撮像される領域７０、設備領域４２、物体領域７２、行列領域７３及び行列情報４１を示している。なお、各物体領域７２の近傍には対応する移動物体を示す識別子＃Ａ〜＃Ｄを付している。また、×印は行列の先頭位置、Ｑは先頭位置の座標、Ｐ１〜Ｐ４は行列領域７３の頂点の座標、矢印は移動軌跡４０１の一部をそれぞれ表している。

時刻ｔ１において移動物体＃Ａが静止し始め、時刻ｔ２において移動物体＃Ｂが移動物体＃Ａの近傍にて静止し始め、物体領域７２−２にはこれらの移動物体が対応付けられている。そして、時刻ｔ２から静止時間Ｔｓが経過した時刻ｔ３において、移動物体＃Ａ及び＃Ｂは共に物体領域７２−３に対応付けられ、且つ、それぞれの移動物体＃Ａ及び＃Ｂは静止状態であるので、行列認識手段５２によって物体領域７２−３は行列領域、移動物体＃Ａ及び＃Ｂは行列物体と判定される。

行列認識手段５２は、物体領域７２−３の外接矩形Ｒｅｃｔ（Ｐ１，Ｐ２）を行列領域７３−３として求め、移動物体＃Ａの位置を先頭位置Ｑとして求め、静止状態がより長い移動物体＃Ａに参入順序１番、移動物体＃Ｂに参入順序２番を付与し、これらを含む行列情報４１−３を記憶部４に記憶させる。

時刻ｔ４では移動物体＃Ｃが行列領域７３−４に重なり、物体領域７２−４には移動物体＃Ａ及び＃Ｂに加えて移動物体＃Ｃが対応付けられる。しかし、この時点では移動物体＃Ｃは静止状態と判定されず、移動物体＃Ｃは行列物体として判定されない。行列情報４１−４の内容は前時刻から更新されない。

移動物体＃Ｃは、時刻ｔ４から静止時間Ｔｓが経過する前の時刻ｔ５において物体領域７２−５ａとは別の物体領域７２−５ｂと対応付けられる。すなわち、移動物体＃Ｃは行列に参入したのではなく、時刻ｔ４にて行列領域と交差しただけであると判定され、行列情報４１−５の内容は前時刻から更新されない。

時刻ｔ６において物体領域＃Ｄが移動物体＃Ａ及び＃Ｂの近傍にて静止し始める。時刻ｔ６から静止時間Ｔｓが経過した時刻ｔ７において物体領域７２−７には移動物体＃Ａ，＃Ｂ及び＃Ｄが対応付けられ、移動物体＃Ｄは静止状態であると判定される。行列認識手段５２は、物体領域７２−７を行列領域として外接矩形Ｒｅｃｔ（Ｐ３，Ｐ４）を求め、先頭位置Ｑを更新し、移動物体＃Ｄに参入順序３番を付して、行列情報４１−７を更新する。

このようにして、行列認識手段５２により行列認識処理が行われ、各行列情報４１が更新される。

次に、制御部５の不審行動検知手段５３は、各移動物体の移動軌跡４０１を分析して不審行動に該当するか否かを判定し（Ｓ１０）、不審行動を検知すると（Ｓ１１にてＹＥＳ）、不審画像情報を含む異常信号を生成して表示部６へ出力する（Ｓ１２）。

なお、不審行動の検知は既存の方法を適用して行うことができる。例えば、移動物体の正常な行動のパターンを集めた正常行動パターンと、各移動物体の移動軌跡４０１と、を比較して、正常行動パターンから乖離した移動物体があれば不審行動として検知するものとすればよい。また、監視空間に予め定めた規定時間以上滞在している移動物体があれば不審行動として検出してもよい。

異常信号が入力された表示部６は、音響出力手段により警報出力し、モニタ装置に不審画像情報を表示する。不審画像情報は、例えば、不審行動が検知された移動軌跡４０１が示す移動物体の位置周辺を監視画像から切り出した静止画若しくは動画、又は、監視画像において不審行動が検知された移動軌跡４０１が示す移動物体の位置を強調する図形や文字を合成した静止画若しくは動画としてもよい。これにより、監視員は不審画像情報を基に案内又は排除といった対処の必要性を把握し、必要であれば監視空間に急行して対処を行う。以上の処理を終えると、処理は再びステップＳ１へ戻される。

また、上記実施の形態では、対応付け手段５１は、あいまい性が判定された場合に参入順序が最先の移動物体を離脱領域に優先的に対応付けるものであった。別の実施の形態では、類似度に対して行列への参入順序が先であるほど高い重み付けを行うことによって優先的な対応付けを行う。この場合、類似度の算出式は、例えば、次式とすればよい。

［数３］
類似度＝α×画像類似度＋β×位置類似度＋（１−α−β）・ｗ
ｗ＝（行列物体の数−参入順序）／（行列物体の数）
但し、０＜α＜１，０＜β＜１，α＋β＝１とする。

以上のように、本実施の形態によれば、移動物体を追跡する際に行列を構成する各移動物体の特定及び行列から離脱する各移動物体の同定の確度を向上させることができる。

また、本実施の形態では、移動物体追跡装置１の各部の機能を１つのコンピュータで実現する態様を説明したがこれに限定されるものではない。移動物体追跡装置１の各部の機能は一般的なコンピュータをプログラムにより制御することによって実現できるものであり、これらの装置の各機能を適宜組み合わせて１つのコンピュータで処理させてもよいし、各機能をネットワーク等で接続された複数のコンピュータで分散処理させてもよい。

本発明の実施の形態における移動物体追跡装置の構成を示す機能ブロック図である。 本発明の実施の形態における移動物体追跡装置における処理を示すフローチャートである。 本発明の実施の形態における移動物体追跡装置における対応付け補正処理を示すフローチャートである。 本発明の実施の形態における移動物体追跡装置における行列認識処理を示すフローチャートである。 本発明の実施の形態における移動物体追跡装置における行列認識処理を示すフローチャートである。 本発明の実施の形態における行列認識処理を説明する図である。 本発明の実施の形態における行列認識処理を説明する図である。 本発明の実施の形態における対応付け補正処理を説明する図である。 本発明の実施の形態におけるあいまい性の判定処理を説明する図である。

符号の説明

１ 移動物体追跡装置、２ 撮像部、３ 操作部、４ 記憶部、５ 制御部、６ 表示部、４０ 物体情報、４１ 行列情報、４２ 設備領域、５０ 物体領域抽出手段、５１ 対応付け手段、５２ 行列認識手段、５３ 不審行動検知手段、７０ 領域、７３ 行列領域、８０ 領域、８１ 物体領域、８２ 行列領域、８３ 距離範囲閾値Ｄ、４００ 参照画像情報、４０１ 移動軌跡、５１０ 離脱領域検出手段。

Claims (6)

1. 移動物体により行列が形成され得る監視空間を順次撮像した監視画像を用いて、前記移動物体を追跡する移動物体追跡装置であって、
   前記監視画像から前記移動物体が存在する物体領域を抽出する物体領域抽出手段と、
   前記物体領域内の画像と、前記移動物体毎の画像上の特徴を表す参照画像情報との類似度に基づいて前記物体領域と前記移動物体とを対応付ける対応付け手段と、
   複数の前記移動物体と対応付けられた物体領域を行列が形成されている行列領域とし、前記行列領域と対応付けられた前記移動物体を行列物体とし、前記行列領域、前記行列物体及び前記行列物体の行列への参入順序を含む行列情報を記憶部に記憶させる行列認識手段と、
   前記行列領域から離脱した前記物体領域を離脱領域として検出する離脱領域検出手段と、を備え、
   前記対応付け手段は、前記離脱領域検出手段が離脱領域を検出すると、前記参入順序が最先の前記行列物体を優先して対応付けることを特徴とする移動物体追跡装置。
2. 前記対応付け手段は、前記離脱領域と複数の前記参照画像情報との類似度の分布から対応付けのあいまい性を判定し、あいまいと判定された離脱領域に前記参入順序が最先の前記行列物体を対応付けることを特徴とする請求項１に記載の移動物体追跡装置。
3. 前記離脱領域検出手段は、記憶されている前記行列領域と予め定められた割合未満で重なり合う前記物体領域を前記離脱領域として検出することを特徴とする請求項１又は２に記載の移動物体追跡装置。
4. 前記対応付け手段は、前記移動物体と対応付けられた前記物体領域内の位置を当該移動物体の移動軌跡として前記記憶部に記憶させ、
   前記行列認識手段は、前記移動軌跡を参照して静止状態にある前記移動物体のみを前記行列物体とすることを特徴とする請求項１から３のいずれか１つに記載の移動物体追跡装置。
5. 前記行列認識手段は、前記参入順序が最先の前記行列物体の位置を行列の先頭位置として前記行列情報に含めて記憶させ、
   前記対応付け手段は、前記先頭位置から予め定めた距離範囲内に検出された前記離脱領域に前記参入順序が最先の前記行列物体を優先して対応付けることを特徴とする請求項１から４のいずれか１つに記載の移動物体追跡装置。
6. 前記対応付け手段は、前記行列領域と、前記移動物体の利用に供される設備の設置場所に対応する前記監視画像上の設備領域と、の間に検出された前記離脱領域に前記参入順序が最先の前記行列物体を優先して対応付けることを特徴とする請求項１から４のいずれか１つに記載の移動物体追跡装置。

Images