JP2012159958A

JP2012159958A - 移動物体追跡装置

Info

Publication number: JP2012159958A
Application number: JP2011018253A
Authority: JP
Inventors: Masahiro Maeda; 昌宏前田
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2011-01-31
Filing date: 2011-01-31
Publication date: 2012-08-23
Anticipated expiration: 2031-01-31
Also published as: JP5687082B2

Abstract

【課題】監視空間内の移動物体を監視画像上にて追跡する装置において、複数の移動物体が接近した場合に取り違えを防止する処理を適切に行うことが容易ではない。
【解決手段】位置予測部５１は複数の物体について現時刻における候補位置を過去位置から予測する。存在度算出部５２は、注目物体に対して、複数の物体のうち当該注目物体を除いた他物体の候補位置の分布範囲に当該他物体の存在蓋然性を表す存在度を設定する。物体位置判定部５３は、注目時刻の画像と、物体の画像特徴を抽出するための参照情報との対比により当該画像において注目物体の候補位置と対応する部分から注目物体の画像特徴が抽出される度合いに応じた評価値を当該候補位置に設定された存在度に応じて低めて算出し、当該候補位置の評価値から当該注目物体の移動先位置を判定する。
【選択図】図１

Description

本発明は、画像処理により複数の移動物体を追跡する移動物体追跡装置に関する。

画像処理により移動物体を追跡する従来技術として、テンプレートマッチング処理を用いるものが知られている。テンプレートマッチング処理では、画像全体を探索範囲とすると処理負荷が大きくなるため、注目する移動物体の前時刻での位置の周辺、或いは過去の運動等に基づく現時刻での予測位置の周辺に探索範囲を設定する。そして、この限定された探索範囲にて入力画像とテンプレートの一致の度合いを調べ、最も一致している位置に注目する移動物体が存在すると判断する。

ここで、追跡領域内に追跡対象の移動物体が複数存在する場合、移動物体が互いに接近した状態では、それらのテンプレートの探索範囲が重なることがあり、注目する人以外の人の位置にて最もテンプレートと一致することがある。この場合、本来追跡すべき人以外の人を追跡し始める取り違えが起こる。

この対策として、テンプレートの候補位置が他のテンプレートに接近している場合にはそれらテンプレートを離す修正を行って一致度を再評価する従来技術がある（特許文献１）。

特開２００９−４８４２８号公報

しかしながら従来技術では３つ以上の物体間の距離が接近したときにテンプレート位置の修正を制御するのが困難であった。例えば、３物体のうちの１つに注目すると、他の２物体に対する２つの距離が指標となる。この場合、一方の距離を離せば他方の距離が近くなる場合がある他、両方の距離が長くなる方向に離したとしてもその方向が必ずしも真の注目物体の位置に近づく保証はない。その結果、修正されたテンプレート位置がローカルミニマムに陥って誤差を生じ、人物の取り違えを生じる場合があった。

このような誤差を生じる可能性は接近している物体が増えるほど増加する。また、接近している物体が増えるほどその組み合わせに応じて修正回数が増え、リアルタイムの追跡が困難となる問題があった。

本発明は上記課題を鑑みてなされたものであり、物体同士が接近したときでもこれらの位置を正確に追跡可能な移動物体追跡装置を提供することを目的とする。

本発明に係る移動物体追跡装置は、所定の空間を撮影した時系列の画像を用いて、前記空間内を移動する複数の物体を追跡するものであって、注目時刻より過去における前記各物体の過去位置の情報、及び前記物体の画像特徴を抽出するための参照情報を記憶する記憶部と、前記過去位置から前記各物体の前記注目時刻における移動先の候補位置を予測する位置予測部と、前記各物体を注目物体とし、前記複数の物体のうち当該注目物体を除いた他物体の前記候補位置の分布範囲に前記他物体の存在蓋然性を表す存在度を設定する存在度設定部と、前記注目時刻の前記画像と前記参照情報との対比により当該画像において前記注目物体の前記候補位置と対応する部分から前記画像特徴が抽出される度合いに応じた評価値を当該候補位置に設定された前記存在度に応じて低めて算出し、当該候補位置の前記評価値から当該注目物体の移動先位置を判定する物体位置判定部と、を備える。

他の本発明に係る移動物体追跡装置においては、前記位置予測部は、前記物体ごとに前記候補位置を複数予測し、前記存在度設定部は、前記他物体の前記候補位置それぞれを中心とし当該他物体の大きさを有する各範囲に当該他物体の存在蓋然性を表す存在度関数を設定し、当該存在度関数の値を前記空間内の位置ごとに加算して前記存在度を算出する。当該移動物体追跡装置においては、前記存在度設定部は、前記物体位置判定部により前記評価値が算出された候補位置の前記存在度関数に当該評価値に応じた重み付けをして前記存在度を算出する構成とすることができる。

さらに他の本発明に係る移動物体追跡装置においては、前記存在度設定部は、前記他物体のうち前記物体位置判定部により前記移動先位置が判定されたものについては当該他物体の前記候補位置の代わりに前記判定された移動先位置を用いて前記存在度を設定する範囲を定める。

別の本発明に係る移動物体追跡装置においては、前記位置予測部は、前記物体ごとに前記候補位置を複数予測し、前記存在度設定部は、前記他物体ごとに前記複数の候補位置の分布に応じた確率密度関数を設定し、前記各他物体の前記確率密度関数の値を前記空間内の位置ごとに加算して前記存在度を算出する。

本発明によれば、注目物体の移動先の候補位置に対する移動先位置としての評価値を、当該位置における他物体の存在度に応じて低めることで、接近する複数の物体の移動先位置を好適に離間させることができる。すなわち、複数の物体が接近したとき、特に３つ以上の物体が接近したときであっても各物体の位置を精度良く判定できる。

本発明の実施形態に係る移動物体追跡装置のブロック構成図である。三次元モデルの一例を模式的に示す斜視図である。複数の移動物体として４人の人物が接近して存在する監視空間の模式的な斜視図である。図３の移動物体の配置に対応した存在度マップの例を説明する模式図である。予測位置から個別存在度マップを作成する方法を説明する模式図である。個別存在度マップから注目物体の物体位置判定用の合成存在度マップを作成する方法を説明する模式図である。物体位置判定用の合成存在度マップの他の作成方法を説明する模式図である。本発明の実施形態に係る移動物体追跡装置の追跡処理の概略のフロー図である。本発明の実施形態に係る移動物体追跡装置による処理例を説明する模式図である。予測位置から個別存在度マップを作成する他の方法を説明する模式図である。

以下、本発明の実施の形態（以下実施形態という）である移動物体追跡装置１について、図面に基づいて説明する。移動物体追跡装置１は、監視空間内を移動する人物を追跡対象物（以下、移動物体と称する）とし、監視空間を撮像した監視画像を処理して移動物体の追跡を行う。移動物体追跡装置１は監視空間に存在する複数の移動物体を追跡可能に構成されている。なお、監視空間は屋内に限定されず屋外であってもよく、移動物体は車両など人物以外であってもよい。

［移動物体追跡装置の構成］
図１は、実施形態に係る移動物体追跡装置１のブロック構成図である。移動物体追跡装置１は、撮像部２、設定入力部３、記憶部４、制御部５及び出力部６を含んで構成される。撮像部２、設定入力部３、記憶部４及び出力部６は制御部５に接続される。

撮像部２は監視カメラであり、監視空間を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は順次、制御部５へ出力される。専ら床面又は地表面等の基準面に沿って移動する人の位置、移動を把握するため、撮像部２は基本的に人を俯瞰撮影可能な高さに設置され、例えば、本実施形態では移動物体追跡装置１は屋内監視に用いられ、撮像部２は天井に設置される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。

設定入力部３は、管理者が制御部５に対して各種設定を行うための入力手段であり、例えば、タッチパネルディスプレイ等のユーザインターフェース装置である。

記憶部４は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶装置である。記憶部４は、各種プログラムや各種データを記憶し、制御部５との間でこれらの情報を入出力する。各種データには、三次元モデル４０、カメラパラメータ４１、予測位置４２、物体位置４３、存在度マップ４４及び背景画像が含まれる。

三次元モデル４０は、監視空間（実空間）を模した仮想空間に移動物体の立体形状を近似した移動物体モデルを配置した状態を記述したデータである。本実施形態では、監視空間及び仮想空間をＸ，Ｙ，Ｚ軸からなる右手直交座標系で表し、鉛直上方をＺ軸の正方向に設定する。また、床面等の基準面は水平であり、Ｚ＝０で表されるＸＹ平面で定義する。仮想空間内での移動物体モデルの配置は任意位置に設定することができる。

図２は、三次元モデル４０の一例を模式的に示す斜視図であり、監視空間をＮ×Ｍ×Ｋの位置座標に離散化した仮想空間の基準面１００、カメラ位置１０１及び移動物体モデル１０３の配置例を示している。

移動物体モデルは、例えば、移動物体を構成する複数の構成部分毎の立体形状を表す部分モデルと、それら部分モデル相互の配置関係とを記述したデータである。移動物体追跡装置１が監視対象とする移動物体は立位の人であり、本実施形態では、例えば、人の頭部胴部、脚部の３部分の立体形状を近似する回転楕円体をＺ軸方向に積み重ねた移動物体モデルを設定する。基準面から頭部中心までの高さをＨ、胴部の最大幅（胴部短軸直径）をＷで表す。本実施形態では説明を簡単にするため、高さＨ、幅Ｗは標準的な人物サイズとし任意の移動物体に共通とする。また、頭部中心を移動物体の代表位置とする。なお、移動物体モデルはより単純化して１つの回転楕円体で近似してもよい。移動物体モデルの立体形状に関するデータは、追跡処理に先立って記憶部４に格納される。

また、記憶部４に移動物体モデルとして格納されるデータは、追跡対象の移動物体を個々に特徴付ける参照情報として、監視画像から抽出された各移動物体の特徴量（例えば色ヒストグラムなどの画像特徴）を含む。当該移動物体の特徴量は、入力画像にて追跡対象となる移動物体が新規に検出されると、当該検出位置に対応した画像領域から抽出され、記憶部４に格納される。なお、移動物体モデルの形状に関するデータも移動物体の画像特徴を抽出する際に参照情報として用いられ監視画像と対比される。

カメラパラメータ４１は、撮像部２が監視空間を投影した監視画像を撮影する際の投影条件に関する情報を含む。例えば、実際の監視空間における撮像部２の設置位置及び撮像方向といった外部パラメータ、撮像部２の焦点距離、画角、レンズ歪みその他のレンズ特性や、撮像素子の画素数といった内部パラメータを含む。実際に計測するなどして得られたこれらのパラメータが予め設定入力部３から入力され、記憶部４に格納される。公知のピンホールカメラモデル等のカメラモデルにカメラパラメータ４１を適用した座標変換式により、三次元モデル４０を監視画像の座標系（撮像部２の撮像面；ｘｙ座標系）に投影できる。

予測位置４２（仮説）は、各時刻における移動物体の位置の予測値（予測位置）に関する情報である。確率的に移動物体の位置（物体位置）を判定するために予測位置は移動物体ごとに多数（その個数をαで表す。例えば１移動物体あたり２００個）設定される。具体的には、予測位置４２は、移動物体の識別子と、各時刻における予測位置のインデックス（０〜α−１）及びその位置座標（ＸＹＺ座標系）とを対応付けた時系列データである。

物体位置４３は各時刻における移動物体の位置に関する情報であり、具体的には、移動物体の識別子と位置座標（ＸＹＺ座標系）とを対応付けた時系列データである。すなわち、物体位置４３には、時刻ごとに判定される各移動物体の位置が順次、追記され、各移動物体の過去位置の情報が保持される。

なお、予測位置４２、物体位置４３を監視空間の水平面座標（ＸＹ座標系）で特定する構成として処理を高速化することができる。本実施形態では、理解を容易にするために当該構成を例に説明する。

存在度マップ４４は、監視空間の各位置において各移動物体が存在し得る度合い（蓋然性）を表す存在度を当該位置及び当該移動物体の識別符号と対応付けたデータである。存在度は予測位置４２又は物体位置４３を中心位置にして設定される。移動物体は監視空間の一部を占有し、複数の移動物体の占有空間は排他的に存在することに対応させて、任意の移動物体の存在度を他の移動物体の物体位置を判定する際のペナルティ値として用いることで物体間に排他作用を奏させる。

図３は複数の移動物体として４人の人物（移動物体＃１〜＃４）が接近して存在する監視空間の模式的な斜視図である。図４は存在度マップ４４の例を説明する模式図であり、図３の移動物体の配置に対応した例を示している。存在度マップ４４は、基準面に対応して位置を表すＸ軸及びＹ軸と、Ｘ軸及びＹ軸と直交して存在度を表すＰ軸とを有する。存在度マップ４４には移動物体ごとの個別存在度マップと複数の個別存在度マップを合成した合成存在マップとがある。図４（ａ）は、移動物体＃１の個別存在度マップ２０１、移動物体＃２の個別存在度マップ２０２、移動物体＃３の個別存在度マップ２０３、移動物体＃４の個別存在度マップ２０４を示している。個別存在度マップ２０１〜２０４においてそれぞれ左上に示す雲形の領域が、有意な存在度の分布範囲を示している。図４（ｂ）はこれら４つの個別存在度マップ２０１〜２０４を合成した合成存在度マップ２１０を示している。

個別存在度マップのそれぞれはＸＹ座標を変数とする複数の二次元正規分布の確率密度関数を加算合成した関数の出力値（図４（ａ）はこの場合の例を示している。）、又はＸＹ座標を変数とする１つの二次元正規分布の確率密度関数の出力値で表される。本実施形態では基準面をＮ×Ｍに離散化しているので、個別存在度マップは実態的にはＸ＝［０，Ｎ−１］、Ｙ＝［０，Ｍ−１］の範囲で各ＸＹ座標における上記関数の出力値が個別存在度として並び、これら個別存在度の集まりに移動物体の識別符号が対応付けられたデータである。個別存在度マップは、各二次元正規分布の平均値μ及び分散値σ^２と当該各分布の重みωとの組が移動物体の識別符号と対応付けられたデータとすることもできる。

合成存在度マップは複数の個別存在度マップを重ね合わせたものであり、個別存在度マップと同じＸＹ座標範囲に合成存在度が並んだデータである。合成存在度マップは、加算された各二次元正規分布の平均値μ及び分散値σ^２と当該分布の重みωとの組からなるデータとすることもできる。

制御部５は、ＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部４からプログラムを読み出して実行し、変化画素抽出部５０、位置予測部５１、存在度算出部５２、物体位置判定部５３及び異常判定部５４として機能する。

変化画素抽出部５０は、撮像部２から新たに入力された監視画像から変化画素を抽出し、抽出された変化画素の情報を物体位置判定部５３へ出力する。そのために変化画素抽出部５０は、新たに入力された監視画像と背景画像との差分処理を行って差が予め設定された差分閾値以上である画素を変化画素として抽出する。変化画素は背景画像を参照情報として監視画像との対比により抽出される移動物体の画像特徴である。なお、差分処理に代えて新たに入力された監視画像と背景画像との相関処理によって変化画素を抽出してもよいし、背景画像に代えて背景モデルを学習して当該背景モデルとの差分処理によって変化画素を抽出してもよい。

位置予測部５１（仮説設定部）は、移動物体の過去の位置情報（物体位置又は予測位置）を用いて当該移動物体の動き予測を行い、移動物体の現時刻における移動先候補位置である複数の予測位置を求める。

まず、位置予測部５１は、過去に判定された各移動物体の物体位置又は過去に設定された各移動物体の予測位置から動き予測を行なって、新たに監視画像が入力された時刻において移動物体が存在する位置を予測し、予測された位置（予測位置）を存在度算出部５２及び物体位置判定部５３へ出力する。上述したように予測位置は各移動物体に対してα個設定される。このように多数の予測位置を順次設定して確率的に移動物体の位置（物体位置）を判定する方法はパーティクルフィルタなどと呼ばれ、設定される予測位置は仮説などと呼ばれる。予測位置は監視画像のｘｙ座標系で設定することもできるが、本実施形態では監視空間のＸＹＺ座標系で設定する。動き予測は過去の位置データに所定の運動モデルを適用するか、又は所定の予測フィルタを適用することで行なわれる。

存在度算出部５２（存在度設定部）は、位置予測部５１により設定された予測位置４２又は／及び物体位置判定部５３により判定された物体位置４３を参照して存在度マップ４４を作成し、作成された存在度マップ４４を記憶部４に記憶させる。また、存在度算出部５２は注目物体の識別符号及び当該注目物体の候補位置を入力されると存在度マップ４４から当該候補位置における注目物体を除いた他物体の存在度を出力する。

個別存在度マップを作成する２つの方法（Ａ１）及び（Ａ２）を以下に説明する。
（Ａ１）本方法は予測位置４２から個別存在度マップを作成する方法である。存在度算出部５２は、作成対象の移動物体の予測位置４２を記憶部４から読み出して本方法により当該移動物体の個別存在度を算出する。本方法は各予測位置に対して未だ尤度が算出されていない状態で用いることができる。図５は本方法による個別存在度マップの作成例を説明する模式図である。作成対象の移動物体の各予測位置（図５（ａ）にて基準平面１００上に示す小円の中心）に対して、当該予測位置を平均値μとし、３σが移動物体の幅の２分の１（Ｗ／２）と合致する分散値σ^２を設定した二次元正規分布の確率密度関数（図５（ｂ）の山型の関数）を作成する。存在度として有意な値は移動物体の大きさと対応する範囲内に設定される。そして、これらの二次元正規分布をそれぞれ重み１．０で加算合成して得られる関数の各ＸＹ座標における出力値をそれらの最大値で除する正規化を行い、その正規化後の各ＸＹ座標における値を作成対象の移動物体の個別存在度マップと定義する。図５（ｃ）にて基準面１００に示す雲形の領域は、作成対象の移動物体の各予測位置に対する二次元正規分布の３σの範囲であり、個別存在度が実質的に設定される範囲に相当する。また、図５（ｄ）は図５（ｃ）の一点鎖線に沿った個別存在度の変化を示す模式的なグラフである。
（Ａ２）本方法は物体位置４３から個別存在度マップを作成する方法である。存在度算出部５２は、作成対象の移動物体の物体位置４３を記憶部４から読み出して本方法により当該移動物体の個別存在度を算出する。作成対象の移動物体の物体位置を平均値μとし、３σが移動物体の幅の２分の１（Ｗ／２）と合致する分散値σ^２を設定した二次元正規分布の確率密度関数を作成する。存在度として有意な値は移動物体の大きさと対応する範囲内に設定される。そして当該関数の各ＸＹ座標における出力値を作成対象の移動物体の個別存在度マップと定める。

本実施形態の存在度算出部５２は、未だ物体位置が判定されていない移動物体に対しては（Ａ１）の方法で個別存在度マップを作成し、物体位置が判定された移動物体に対しては（Ａ２）の方法で個別存在度マップを更新する。

次に、個別存在度マップから注目物体の物体位置判定用の合成存在度マップを作成する方法について説明する。図６は当該方法を、注目物体＃１の物体位置判定に用いる他物体＃２〜＃４についての合成存在度マップの生成を例に説明する模式図である。まず、存在度算出部５２は、全物体の個別存在度マップ２０１〜２０４において互いに対応する位置同士で値を加算し、加算結果のＸＹ座標内での最大値で各位置の加算値を除して正規化することで全物体の合成存在度マップ２１０を作成する。次に、全物体の合成存在度マップ２１０における各位置の合成存在度から、注目物体＃１の個別存在度マップ２０１における当該位置の個別存在度を減算して他物体＃２〜＃４についての合成存在度マップ４００を作成する。なお、合成存在度マップ２１０から注目物体の個別存在度マップ２０１を減算する際に、当該個別存在度マップ２０１には合成存在度マップ２１０の作成時と同じ正規化を行う。

図７は物体位置判定用の合成存在度マップの他の作成方法を説明する模式図であり、移動物体＃１を注目物体とした例を示している。この方法では存在度算出部５２は、移動物体＃１〜＃４のうち注目物体＃１だけを除いた残りの他物体＃２〜＃４の個別存在度マップ２０２〜２０４について、それぞれの対応する位置同士で値を加算し、加算結果のＸＹ座標内での最大値で各位置の加算値を除して正規化することで注目物体の物体位置判定用の合成存在度マップ４０１を作成する。

図６を用いて説明した方法で作成される合成存在度マップ４００は、図７を用いて説明した方法で作成される合成存在度マップ４０１と、ＸＹ座標内での合成存在度の分布の本質的な特徴は同じであるが正規化に違いがある。具体的には図６で説明した方法では、一度、全物体の合成存在度マップ２１０を作成して正規化しておくことで、全物体に共通の尺度で物体位置判定時のペナルティ値を設定することが容易となる。

上述の注目物体の物体位置判定用の合成存在度マップは、複数の移動物体のうち当該注目物体だけを除いた他物体の候補位置に基づいて作成された、他物体の存在度を注目時刻の監視空間の各位置にて与える存在度関数に当たる。存在度算出部５２は、注目物体の識別符号とその候補位置を入力されると、当該注目物体に対応した物体位置判定用の合成存在度マップに基づいて、当該候補位置での他物体の存在度を出力する。

なお、什器等が設置されて移動物体が存在し得ないことが予め分かっている位置に合成存在度１．０を上書き設定することもできる。

物体位置判定部５３は、監視画像及び監視空間内において対象物が存在し得る候補位置を入力され、監視画像において各候補位置と対応する部分の画像特徴を評価して評価値を算出する。そして、各候補位置の当該評価値に基づいて移動物体の物体位置を判定し、判定結果を記憶部４に記憶させる。候補位置は位置予測部５１から入力された予測位置である。

物体位置判定部５３は、ペナルティ値を加味して各予測位置を評価する評価値算出部５３０（尤度算出部）及び各予測位置の評価から移動物体ごとに１つの物体位置を判定する物体位置算出部５３１を含んで構成される。以下、評価値算出部５３０及び物体位置算出部５３１について詳説する。

評価値算出部５３０は、監視画像において各移動物体の予測位置に対応する領域から当該移動物体の特徴量を抽出し、特徴量の抽出度合いに応じた、当該予測位置の物体位置としての尤度（評価値）を算出して物体位置算出部５３１へ出力する。このとき評価値算出部５３０は、注目物体の識別符号とその候補位置を存在度算出部５２に入力して、当該候補位置での注目物体以外の他物体の存在度を算出させ、当該存在度により当該予測位置の尤度を低める補正を行なう。

予測位置のＸＹ座標を（Ｘ，Ｙ）、当該予測位置に対する補正前の尤度をＬ０（Ｘ，Ｙ）、当該位置における他物体の存在度をＰ（Ｘ，Ｙ）とすると、当該予測位置に対する補正後の尤度Ｌ（Ｘ，Ｙ）は次式（１）のように補正前の尤度からペナルティ値として存在度を減算することによって算出される。
Ｌ（Ｘ，Ｙ）＝Ｌ０（Ｘ，Ｙ）−Ｐ（Ｘ，Ｙ）・・・（１）

ちなみに存在度の値域は上述した正規化により［０，１］に設定され、尤度の値域［０，１］と一致している。存在度の値域を［０，１］に正規化していない場合には、（１）式の右辺の減算結果が０未満となり得るが、その場合のＬ（Ｘ，Ｙ）は０と定義する。

また、補正後の尤度Ｌ（Ｘ，Ｙ）は次式（２）のように、存在度の上限値Ｐｍａｘ（ここでは“１”に正規化されているとする。）から存在度を減算した値を補正係数として、補正前の尤度に乗じて算出してもよい。
Ｌ（Ｘ，Ｙ）＝Ｌ０（Ｘ，Ｙ）×｛１−Ｐ（Ｘ，Ｙ）｝・・・（２）

なお、ここでは存在度は［０，Ｐｍａｘ］なる範囲で定義している。一方、ペナルティ値自体はＰｍａｘを越えて設定することを許容し、（２）式で示す補正段階にて、Ｐ（Ｘ，Ｙ）＞ＰｍａｘのときはＬ（Ｘ，Ｙ）は０と定義することにしてもよい。

補正前の尤度Ｌ０は次のように算出される。評価値算出部５３０は、予測位置に移動物体モデルを仮想的に配置した三次元モデル４０を生成する。そして、カメラパラメータ４１を用いて三次元モデル４０を撮像部２の撮像面に投影して移動物体モデルの非隠蔽領域を求め、下記（１）〜（３）の方法で類似度、包含度及びエッジの抽出度を算出してこれらの重み付け加算値に応じた尤度を算出する。ここで、非隠蔽領域は、注目している移動物体モデルが他の移動物体により隠蔽されずに監視画像上に像として現れる領域である。なお、仮想空間に什器等の設置物のモデルを含ませておくことで、設定物による隠蔽をさらに考慮した非隠蔽領域を求めることができる。
（１）各移動物体の過去の物体位置における非隠蔽領域から抽出された特徴量を当該移動物体の参照情報として記憶部４に記憶する。予測位置が現に移動物体が存在する位置に近いほど背景や他の移動物体の特徴量が混入しなくなるため、非隠蔽領域から抽出された特徴量と参照情報との類似度は高くなり、一方、遠ざかるほど類似度は低くなりやすい。そこで、監視画像から非隠蔽領域内の特徴量を抽出し、抽出された特徴量と参照情報との類似度を算出する。ここでの特徴量として例えば、エッジ分布、色ヒストグラム又はこれらの両方など、種々の画像特徴量を利用することができる。
（２）変化画素抽出部５０により抽出された変化画素に非隠蔽領域を重ね合わせ、変化画素が非隠蔽領域に含まれる割合（包含度）を求める。包含度は、予測位置が現に移動物体が存在する位置に近いほど高くなり、遠ざかるほど低くなりやすい。
（３）監視画像における非隠蔽領域の輪郭に対応する部分からエッジを抽出する。予測位置が現に移動物体が存在する位置に近いほど、非隠蔽領域の輪郭がエッジ位置と一致するため、エッジの抽出度（例えば抽出されたエッジ強度の和）は高くなり、一方、遠ざかるほど抽出度は低くなりやすい。

なお、上述した類似度、包含度、エッジの抽出度のうちいずれか１つに応じた尤度を算出してもよいし、これらのうちの２つの度合いの重み付け加算値に応じて尤度を算出してもよい。

また、尤度を評価値にする代わりに上述した類似度、包含度、エッジの抽出度又はこれらの２以上を組み合わせた値を評価値とすることもできる。

物体位置算出部５３１は移動物体の各予測位置、及び当該予測位置ごとに算出された尤度から当該移動物体の位置（物体位置）を判定し、判定結果を記憶部４に移動物体ごとに時系列に蓄積する。なお、全ての尤度が所定の下限値（尤度下限値）未満の場合は物体位置なし、つまり消失したと判定する。下記（１）〜（３）は物体位置の算出方法の例である。
（１）移動物体ごとに、尤度を重みとする予測位置の重み付け平均値を算出し、これを当該移動物体の物体位置とする。
（２）移動物体ごとに、最大の尤度が算出された予測位置を求め、これを物体位置とする。
（３）移動物体ごとに、予め設定された尤度閾値以上の尤度が算出された予測位置の平均値を算出し、これを物体位置とする。ここで、尤度閾値＞尤度下限値である。

異常判定部５４は、記憶部４に蓄積された時系列の物体位置を参照し、長時間滞留する不審な動きや通常動線から逸脱した不審な動きを異常と判定し、異常が判定されると出力部６へ異常信号を出力する。

出力部６は警告音を出力する音響出力手段、異常が判定された監視画像を表示する表示手段、又は通信回線を介して警備会社のセンタ装置へ送信する通信手段などを含んでなり、異常判定部５４から異常信号が入力されると異常発生の旨を外部へ出力する。

［移動物体追跡装置の動作］
次に、移動物体追跡装置１の追跡動作を説明する。図８は移動物体追跡装置１の追跡処理の概略のフロー図である。

追跡処理が開始されると、制御部５は、撮像部２が監視空間を撮像するたびに監視画像を入力される（Ｓ１）。以下、最新の監視画像が入力された時刻を現時刻、最新の監視画像を現画像と呼ぶ。

現画像は変化画素抽出部５０により背景画像と比較され、変化画素抽出部５０は変化画素を抽出する（Ｓ２）。ここで、孤立した変化画素はノイズによるものとして抽出結果から除外する。なお、背景画像が無い動作開始直後は、現画像を背景画像として記憶部４に記憶させ、便宜的に変化画素なしとする。

また、位置予測部５１は追跡中の各移動物体に対して動き予測に基づきα個の予測位置を設定する（Ｓ３）。なお、後述するステップＳ１８にて新規出現であると判定された移動物体の予測位置は動き予測不能なため出現位置を中心とする広めの範囲にα個の予測位置を設定する。また、後述するステップＳ１８にて消失と判定された移動物体の予測位置は削除する。

制御部５は、ステップＳ２にて変化画素が抽出されず、かつステップＳ３にて予測位置が設定されていない（追跡中の移動物体がない）場合（Ｓ４にて「ＹＥＳ」の場合）はステップＳ１に戻り、次の監視画像の入力を待つ。

一方、ステップＳ４にて「ＮＯ」の場合は、ステップＳ５〜Ｓ１８の処理を行う。存在度算出部５２は、各移動物体の予測位置を基に上述した（Ａ１）の方法で当該移動物体の個別存在度マップを作成し、記憶部４に上書き保存する（Ｓ５）。さらに存在度算出部５２は全物体の合成存在度マップを作成し、記憶部４に上書き保存する（Ｓ６）。

制御部５は移動物体の前後関係を判定する（Ｓ７）。具体的には、移動物体ごとに予測位置の重心（平均値）とカメラ位置との距離を算出し、距離の昇順に対象物の識別子を並べた前後関係リストを作成する。そして、制御部５は追跡中の各移動物体を前後関係リストに基づいて手前のものから順次、注目物体に設定する（Ｓ８）。続いて、制御部５は注目物体の各予測位置を順次、注目位置に設定する（Ｓ９）。但し、監視画像の視野外である予測位置は注目位置の設定対象から除外し、当該予測位置における物体領域は推定せず、尤度を０に設定する。

評価値算出部５３０は仮想空間にて注目位置に移動物体モデルを配置し、移動物体モデルが配置された三次元モデル４０を生成する。そして、カメラパラメータ４１を用いて三次元モデル４０を撮像部２の撮像面に投影して移動物体モデルの非隠蔽領域を求め、これを実空間における移動物体の非隠蔽領域と推定する（Ｓ１０）。そして、推定した非隠蔽領域に基づいて、注目位置に対応した補正前の尤度Ｌ０を算出する（Ｓ１１）。

存在度算出部５２は、例えば、上述したように、全物体の合成存在度マップ及び注目物体の個別存在度マップから当該注目物体に対応した合成存在度マップを作成する。評価値算出部５３０は、存在度算出部５２が作成した物体位置判定用の合成存在度マップにより、注目位置における他物体の存在度Ｐを取得する（Ｓ１２）。なお、評価値算出部５３０は、この注目位置における他物体の存在度Ｐを、全物体の合成存在度マップから注目位置における全物体の合成存在度を読み出すとともに、注目物体の個別存在度マップにおける個別存在度を読み出し、読み出した合成存在度から個別存在度を減算することによって求めることもできる。評価値算出部５３０は他物体の存在度Ｐを用い、上述の（１）式等に基づく尤度補正を行い補正された尤度Ｌを算出する（Ｓ１３）。

制御部５は、尤度が算出されていない予測位置が残っている場合（Ｓ１４にて「ＮＯ」の場合）、ステップＳ９〜Ｓ１３を繰り返す。α個全ての予測位置について尤度が算出されると（Ｓ１４にて「ＹＥＳ」の場合）、物体位置算出部５３１が注目物体の各予測位置（Ｘ，Ｙ）と当該予測位置のそれぞれについて算出された尤度Ｌ（Ｘ，Ｙ）とを用いて注目物体の物体位置を算出する（Ｓ１５）。現時刻について算出された物体位置は１時刻前までに記憶部４に記憶させた注目物体の物体位置と対応付けて追記される。なお、新規出現した移動物体の場合は新たな識別子を付与して登録する。また、全ての予測位置での尤度が尤度下限値未満の場合は物体位置なしと判定する。

存在度算出部５２は、ステップＳ１５にて算出された物体位置を用いて、上記（Ａ２）の方法で注目物体の個別存在度マップを更新するとともに、更新された個別存在度マップを用いて全物体の合成存在度マップも更新する（Ｓ１６）。これにより、或る注目物体の物体位置の判定処理（ステップＳ８〜Ｓ１６）では、それより前に処理された他の移動物体の物体位置の判定結果が反映される。物体位置に基づく存在度は予測位置に基づく存在度より精度が高いと期待できるので、上述の存在度マップの更新によって後続の物体位置判定の精度が向上し、ひいては、ループ処理（ステップＳ８〜Ｓ１７）を全移動物体について一回繰り返せば移動物体相互の位置関係について好適に収束した状態が求まることが期待できる。また、手前の物体から物体位置を判定することで、手前の物体による後ろの物体の隠蔽状態が精度良く評価されステップＳ１１にて算出される尤度の精度が向上する。このことも物体位置の判定精度を向上させる。

制御部５は未処理の移動物体が残っている場合（Ｓ１７にて「ＮＯ」の場合）、当該移動物体について物体位置を判定する処理（ステップＳ８〜Ｓ１６）を繰り返す。一方、全ての移動物体について物体位置の判定が完了すると（Ｓ１７にて「ＹＥＳ」の場合）、物体の新規出現と消失を判定する（Ｓ１８）。具体的には、物体位置算出部５３１は各物体位置に対して推定された物体領域を合成して、変化画素抽出部５０により抽出された変化画素のうち合成領域外の変化画素を検出し、検出された変化画素のうち近接する変化画素同士をラベリングする。ラベルが移動物体とみなせる大きさであれば新規出現の旨をラベルの位置（出現位置）とともに記憶部４に記録する。また、物体位置なしの移動物体があれば当該移動物体が消失した旨を記憶部４に記録する。以上の処理を終えると、次時刻の監視画像に対する処理を行うためにステップＳ１へ戻る。

図９は、移動物体追跡装置１による処理例を説明する模式図であり、Ｙ軸と平行に切り取った監視空間の断面図に尤度Ｌ，Ｌ０及び存在度Ｐのグラフを重ねて示したものである。ここでは、説明を簡単にするため監視空間における２つの移動物体（人物＃１，＃２）の例を取り上げ、図９には一時刻前の人物を実線、現時刻の人物を点線で示し、これら人物＃１，＃２がそれぞれＹ軸方向に移動して現時刻では互いに接近した状態となった様子を表している。またグラフとして、断面に沿ったＹ軸方向の直線上での人物＃１の各予測位置に対して算出された補正前の尤度Ｌ０の分布を近似的に表したグラフ７０、人物＃１以外の他物体となる人物＃２の存在度Ｐの分布を近似的に表したグラフ７１、及び人物＃１の各予測位置に対して算出された補正後の尤度Ｌの分布を近似的に表したグラフ７２が示されている。なお、これらグラフ７０〜７２の基準線（値が“０”のレベル）はそれぞれ基準面Ｚ＝０を示す直線に一致させている。また、補正後の尤度Ｌが補正前の尤度Ｌ０からペナルティ値Ｐを減算して生成されることに対応させて、Ｌ（及びＬ０）の正方向は上向きとし、Ｐの正方向は下向きに設定している。また、３人以上の人物が存在する場合には、人物＃１以外の他物体の存在度Ｐは、人物＃１以外の全ての人物の存在度を加算して算出される。

補正前の尤度Ｌ０のグラフ７０には、人物＃１の位置に分布のピーク位置が１つ現れるだけでなく、人物＃２の位置にも分布のピークが現れ、また人物＃２の位置のピークの方が高くなっている。そのため、この補正前の尤度で判定すると人物＃１の人物位置は誤って人物＃２の位置に判定されてしまう不都合が生じる。

この点、移動物体追跡装置１は、人物＃１の尤度Ｌ０を人物＃２の存在度Ｐで補正し、この補正後の尤度Ｌを用いて人物＃１の位置を判定する。人物＃２の存在度Ｐは、グラフ７１が示すように人物＃２の位置にピークを生じる。この存在度Ｐを尤度Ｌ０から減算すして得られる補正後の尤度Ｌ（太線のグラフ７２）では、人物＃２の位置のピークは低められ、人物＃１の位置のピークより小さくなる。すなわち、尤度Ｌの分布の最大のピーク位置が人物＃１の位置に補正されている。この補正後の尤度Ｌを用いることで、移動物体追跡装置１は、当該補正後のピーク位置乃至当該ピーク位置のごく近くであるほぼ真の人物＃１の位置を人物＃１の物体位置と判定することができる。

なお、予測位置４２から個別存在度マップを作成する方法である上述の（Ａ１）の代替方法として下に述べる（Ａ３）を、また、物体位置４３から個別存在度マップを作成する方法である上述の（Ａ２）の代替方法として下に述べる（Ａ４）又は（Ａ５）を、それぞれ用いることもできる。
（Ａ３）移動物体ごとに予測位置の分布を関数近似し、当該関数でＸＹ座標の各位置での個別存在度を算出する。具体的には、存在度算出部５２は、移動物体ごとに予測位置の平均値と分散を算出し、算出された平均値及び分散を設定した二次元正規分布の確率密度関数で予測位置の分布を近似する。そして、監視空間の各位値での当該関数の値を各位置における当該物体の個別存在度として設定する。図１０はこの予測位置の分布を二次元正規分布で近似した様子を示す模式図であり、ＸＹ平面上の多数の小円がそれぞれ予測位置を示し、二次元正規分布（平均値μ，分散値σ^２）を平均位置μにてＰ軸方向のピークを有する山型の形状と、３σの範囲を示すＸＹ面上の円とで表している。この方法は（Ａ１）と比べると複雑な形状を表現できないため精度は低くなるが、処理量が少ないため高速処理が可能である。
（Ａ４）上記（Ａ１）の各予測位置に対応する二次元正規分布に対し、重みωとして当該予測位置の尤度を付与する。そして各予測位置に設定された二次元正規分布それぞれを当該尤度で重み付け加算した合成関数を、作成対象の移動物体について物体位置から作成した個別存在度マップとして用いる。このとき存在度算出部５２は全個別存在度の最大値で各個別存在度を除して正規化を行う。
（Ａ５）処理対象の移動物体の各予測位置を尤度で重み付けし、当該重み付きの予測位置を用いた平均値及び分散を算出し、算出された平均値及び分散を設定した二次元正規分布の関数を個別存在度マップとする。

相互関係を有する移動物体の数が３つを超えて多数になるほど、それらのうちの２つの組み合わせが増加するため、それらの位置関係を比較的取り扱いが容易な２体問題に分解して決定する手法は困難となる。この点、本発明に係る移動物体追跡装置１は、注目物体の位置を決定する際に、当該注目物体以外の他物体をその数に関係なく、合成存在度マップという、いわば監視空間内での単一の「場」に置き換えることで、多数の移動物体が接近した場合でも試行錯誤を抑えて速やかに好適な精度で位置判定を行うことを可能としている。

上記実施形態において位置予測部５１は移動物体ごとに多数の予測位置を設定し、物体位置判定部５３はこれらの尤度を算出して統合判定した。別の実施形態において、位置予測部５１は各移動物体に１つの予測位置とそれを中心とする誤差範囲を設定し、物体位置判定部５３は誤差範囲内で予測位置をずらしながら探索的に誤差範囲内の各所における評価値を算出して、最も高い評価値が算出される位置を物体位置と判定する。この場合、存在度算出部５２は中心の予測位置を平均とし、誤差範囲の周上で３σとなる二次元正規分布関数等を設定して個別存在度を求めればよい。

１移動物体追跡装置、２撮像部、３設定入力部、４記憶部、５制御部、６出力部、４０三次元モデル、４１カメラパラメータ、４２予測位置、４３物体位置、４４存在度マップ、５０変化画素抽出部、５１位置予測部、５２存在度算出部、５３物体位置判定部、５４異常判定部、１００基準面、１０１カメラ位置、１０３移動物体モデル、２０１〜２０４個別存在度マップ、２１０全物体の合成存在度マップ、４００，４０１注目物体の物体位置判定用の合成存在度マップ、５３０評価値算出部、５３１物体位置算出部。

Claims

所定の空間を撮影した時系列の画像を用いて、前記空間内を移動する複数の物体を追跡する移動物体追跡装置であって、
注目時刻より過去における前記各物体の過去位置の情報、及び前記物体の画像特徴を抽出するための参照情報を記憶する記憶部と、
前記過去位置から前記各物体の前記注目時刻における移動先の候補位置を予測する位置予測部と、
前記各物体を注目物体とし、前記複数の物体のうち当該注目物体を除いた他物体の前記候補位置の分布範囲に前記他物体の存在蓋然性を表す存在度を設定する存在度設定部と、
前記注目時刻の前記画像と前記参照情報との対比により当該画像において前記注目物体の前記候補位置と対応する部分から前記画像特徴が抽出される度合いに応じた評価値を当該候補位置に設定された前記存在度に応じて低めて算出し、当該候補位置の前記評価値から当該注目物体の移動先位置を判定する物体位置判定部と、
を備えたことを特徴とする移動物体追跡装置。
請求項１に記載の移動物体追跡装置において、
前記位置予測部は、前記物体ごとに前記候補位置を複数予測し、
前記存在度設定部は、前記他物体の前記候補位置それぞれを中心とし当該他物体の大きさを有する各範囲に当該他物体の存在蓋然性を表す存在度関数を設定し、当該存在度関数の値を前記空間内の位置ごとに加算して前記存在度を算出すること、
を特徴とする移動物体追跡装置。
請求項２に記載の移動物体追跡装置において、
前記存在度設定部は、前記物体位置判定部により前記評価値が算出された候補位置の前記存在度関数に当該評価値に応じた重み付けをして前記存在度を算出すること、を特徴とする移動物体追跡装置。
請求項１に記載の移動物体追跡装置において、
前記存在度設定部は、前記他物体のうち前記物体位置判定部により前記移動先位置が判定されたものについては当該他物体の前記候補位置の代わりに前記判定された移動先位置を用いて前記存在度を設定する範囲を定めること、を特徴とする移動物体追跡装置。
請求項１に記載の移動物体追跡装置において、
前記位置予測部は、前記物体ごとに前記候補位置を複数予測し、
前記存在度設定部は、前記他物体ごとに前記複数の候補位置の分布に応じた確率密度関数を設定し、前記各他物体の前記確率密度関数の値を前記空間内の位置ごとに加算して前記存在度を算出すること、
を特徴とする移動物体追跡装置。