JP2007272436A - 物体追跡装置、異常状態検知装置及び物体追跡方法 - Google Patents

Abstract

【課題】長時間にわたる追跡対象の遮蔽や、遮蔽後に遮蔽物が追跡対象と一体となって移動する場合にも追跡を可能とする。
【解決手段】本発明の物体追跡装置１は、カメラ装置２から取り込まれた画像から、追跡対象の尤度に基づく仮説より追跡対象の動作予測をしながら追跡対象の尤度を生成して、物体の追跡処理を行う追跡処理部４を有し、さらに、異常状態検知部８で追跡対象の尤度と予め定められた閾値との比較により物体の追跡処理の異常状態を検知し、異常状態が検知されたときに尤度モデル作成部９で追跡対象と異なる他の追跡対象の尤度モデルを作成する。従って、追跡の異常があったときに、追跡の対象を本来の対象から遮蔽物に移して、遮蔽物を仮の追跡対象と認識して追跡を続行することができる。
【選択図】図１

Description

本発明は、例えば、画像中の物体を追跡する物体追跡装置、異常状態検知装置及び物体追跡方法に関する。

従来から、動画像中の注目すべき物体を追跡する技術が数多く提案されている。この技術では、追跡対象の部分的な遮蔽に対して見失うことなくある程度頑健な追跡を行うものや（特許文献１）、追跡対象の短時間の遮蔽により追跡対象を見失った状態からスムーズに追跡を再開するものが提案されている（非特許文献１、２）。

また、異なる複数のアングルからの動画像情報を統合し、この統合された動画像情報を用いて追跡対象の物体を追跡する技術も提案されている（非特許文献３）。さらに、標準的な対象物追跡法を示すパーティクルフィルタを拡張することによりベイズ理論に基づいた推論を用いて複数対象物の追跡を行う技術も提案されている（特許文献２）。
特開２００５−２５０９８９号公報 特開２００５−１６５６８８号公報 K.Nummiaro, et al., "An adaptive color‐based particle filter," Image and Vision Computing, Vol.21, No.1, pp.99‐110, 2002. A.D. Jepson, et al., "Robust online appearance models for visual tracking," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.25, No.10, 2003. 鈴木ら、「環境モデルの導入による人物追跡の安定化」、電子情報通信学会論文誌D‐II, Vol.J88‐D‐II, No.8, pp.1592−1600, 2005.

しかし、上述した特許文献１及び非特許文献１、２に記載の技術では、追跡対象が別の物体に完全に遮蔽された場合の処理が不十分であり、特に、長時間にわたる追跡対象の遮蔽や、遮蔽後に遮蔽物が追跡対象と一体となって移動する場合、具体的には、遮蔽物として箱状物体やカバン、乗り物等の内部に追跡対象が含まれた状態で移動する場合には対応できず、追跡の継続が困難であった。

また、非特許文献３に記載の技術では、異なる複数のアングルからの動画像情報を得るための複数のカメラを利用できる限定された状況下でしか、統合された動画像情報を追跡に用いることができなかった。
さらに、特許文献２に記載の技術では、全く重なり合いのない対象物及び多数の重なり合いのある対象物を取り扱うのみで、上述したような長時間にわたる追跡対象の遮蔽や、遮蔽後に遮蔽物が追跡対象と一体となって移動する場合には追跡の継続が困難であった。

そこで、本発明は、長時間にわたる追跡対象の遮蔽や、遮蔽後に遮蔽物が追跡対象と一体となって移動する場合にも追跡を可能とする物体追跡装置、異常状態検知装置及び物体追跡方法を提供することを目的とするものである。

上記課題を解決し、本発明の目的を達成するため、本発明の物体追跡装置は、追跡対象となる物体の画像を取り込む画像取込手段と、取り込まれた画像から、追跡対象の尤度モデルに基づく仮説より追跡対象の動作予測をしながら追跡対象の尤度を生成して、物体の追跡処理を行う追跡処理手段と、生成された追跡対象の尤度と予め定められた閾値との比較により物体の追跡処理の異常状態を検知する異常状態検知手段と、異常状態が検知されたときに追跡対象と異なる他の追跡対象の尤度モデルを作成する尤度モデル作成手段と、を備える。

これにより、生成された追跡対象の尤度と予め定められた閾値との比較により、異常状態検知手段が物体の追跡処理の異常状態を検知したときに、尤度モデル作成手段は追跡対象と異なる他の追跡対象の尤度モデルを作成する。従って、追跡の異常があったときに、追跡の対象を本来の対象から遮蔽物に移して、遮蔽物を仮の追跡対象と認識して追跡を続行することができる。

また、本発明の異常状態検知装置は、生成された追跡対象の尤度と予め定められた閾値との比較により物体の追跡処理の異常状態を検知する異常状態検知手段と、異常状態が検知されたときに追跡対象と異なる他の追跡対象の尤度モデルを作成する尤度モデル作成手段と、異常状態が一定時間継続されたときに追跡対象は他の追跡対象により遮蔽された状態であると判定する遮蔽状態判定手段と、遮蔽状態であると判定されたときに作成された尤度モデルを追加登録すると共に閾値を追加登録された回数毎に低下させて更新する尤度モデル更新手段と、を備える。

これにより、異常状態が一定時間継続されたときに遮蔽状態判定手段が追跡対象は他の追跡対象により遮蔽された状態であると判定する。遮蔽状態であると判定されたときに尤度モデル更新手段は作成された尤度モデルを追加登録すると共に閾値を追加登録された回数毎に低下させて更新する。従って、異常状態の継続時間を監視し、正常状態への復帰がないとき追跡対象は遮蔽物に覆われたと判定し、異常判定の閾値を下げて尤度モデルを追加登録することにより、追跡対象の遮蔽状態が解消したときに、尤度の小さい遮蔽物から尤度の大きい本来の対象物に追跡の対象を戻して、追跡を続行することができる。

また、本発明の物体追跡方法は、追跡対象となる物体の画像から、追跡対象の尤度モデルに基づく仮説より追跡対象の動作予測をしながら追跡対象の尤度を生成して、物体の追跡処理を行う追跡処理ステップと、生成された追跡対象の尤度と予め定められた閾値との比較により物体の追跡処理の異常状態を検知する異常状態検知ステップと、異常状態が検知されたときに追跡対象と異なる他の追跡対象の尤度モデルを作成する尤度モデル作成ステップと、を含む。

さらに、本発明の物体追跡方法は、異常状態が一定時間継続されたときに追跡対象は他の追跡対象により遮蔽された状態であると判定する遮蔽状態判定ステップと、遮蔽状態であると判定されたときに作成された尤度モデルを追加すると共に閾値を追加された回数毎に低下させて更新する尤度モデル追加ステップと、遮蔽状態であると判定された後に、最後に上記追加された上記尤度モデルよりも大きな尤度が生成された上記尤度モデルが存在するときに遮蔽状態が解消されたと判定する遮蔽状態解消判定ステップと、遮蔽状態が解消されたと判定されたときに尤度モデルを削除すると共に閾値を削除された尤度モデルの個数毎に増大させて更新する尤度モデル削除ステップと、を含む。

従って、追跡の異常があったときに、追跡の対象を本来の対象から遮蔽物に移して、遮蔽物を仮の追跡対象と認識して追跡を続行することができる。さらに、異常状態の継続時間を監視し、正常状態への復帰がないとき追跡対象は遮蔽物に覆われたと判定し、異常判定の閾値を下げて尤度モデルを追加登録することにより、追跡対象の遮蔽状態が解消したときに、尤度の小さい遮蔽物から尤度の大きい本来の対象物に追跡の対象を戻して、追跡を続行することができる。

本発明によれば、長時間にわたり追跡対象が遮蔽された場合や、遮蔽後に遮蔽物が追跡対象と一体となって移動する場合にも追跡が可能となる。従って、一般的な街頭、ビル内やオフィス空間等、遮蔽物となる可能性が高い物体が多く存在する場面での物体の追跡をより確実に実現することが可能となる。さらに、本発明は、人間共存型ロボットや監視カメラ等、生活空間での物体追跡の利用が想定されるシステムに応用する際に多大な効果を奏することができる。

また、どの物体が遮蔽物となるかを事前に知ることができないため、遮蔽物に対する尤度モデルを事前に準備しておくことは現実的に不可能であった。しかし、本発明によれば、取得された画像情報の変化から追跡対象とカメラとの間に遮蔽物が現れたと判断して、動的に尤度モデルを構築することができるので、遮蔽物についての事前情報を用いることなく、確実な物体追跡を行うことが可能となる。特に、画像内の環境が動的に変化する場合や、環境自体は静的であってもカメラ自体が移動するものも含む相対的な移動環境に応用する際に多大な効果を奏することができる。また、カメラから得られる画像情報と距離情報とを融合させて動的な尤度モデルを構築することも可能である。

また、複数の尤度モデル生成時に尤度の低下更新及び異常判定の閾値の低下を行うことにより、尤度の低い遮蔽物から尤度の高い本来の追跡対象に自律的に注目を切り替えるという柔軟な処理が可能となる。このような柔軟な処理は、例えば、遮蔽物の追跡をするのと同時に本来の追跡対象に対しても注意を払いながら、遮蔽状態が解消されて本来の追跡対象が現れる場合などの追跡処理に特に有効なものとなる。これにより、例えば、知的ロボットへの応用において、より人間に近い、自然で柔軟なインタラクションの実現を可能とすることができる。

以下に、本発明の実施の形態について、適宜、図面を参照しながら説明する。
図１は、物体追跡装置のシステム構成を示す図である。
図１において、物体追跡装置１は、追跡対象となる物体の画像を取り込むカメラ装置２と、各種初期設定を行う初期設定部３と、カメラ装置２により取り込まれた画像から、追跡対象の尤度に基づく仮説より追跡対象の動作予測をしながら追跡対象の尤度を生成して、物体の追跡処理を行う物体追跡処理部４とを備えている。

ここで、カメラ装置２は追跡対象となる物体の画像と共に距離情報を取得することができるものである。初期設定部３は、追跡対象の尤度モデル設定、物体追跡処理部４の後述するパーティクルフィルタで利用する仮説群の初期化等、追跡開始に必要な諸処理を行う。これらの処理は必要に応じて外部からの入力装置１４より設定するようにしてもよい。

物体追跡処理部４には、汎用のパーティクルフィルタが利用される。ここでは最も基本的な構成のパーティクルフィルタを想定しているが、適宜、構成を入れ替えることが可能となっている。物体追跡処理部４は、仮説生成部５と、動作予測部６と、観測・評価部７の３つの構成部分からなる。

仮説生成部５は、各仮説（パーティクル）をその尤度に比例する確率でサンプリングすることにより、新たな仮説群を生成する。動作予測部６は、予め定義された動作モデルを適用することで追跡対象の画像上の位置を予測し、各仮説を更新する。動作モデルとしては、任意のものが利用可能である。すなわち、追跡対象の動作に関して事前知識があれば、それを動作モデルに盛り込むことも可能だが、そうでなければ一般的なモデルを利用することができる。また、これに限らず、動作のダイナミクスを学習する任意の機構を動作モデルに導入することも可能である。

観測・評価部７は、画像情報を観測し、更新された仮説の尤度を評価する。仮説ｓに対する尤度Ｌ（ｓ）は以下の数１式のように算出される。
［数１］
^Ｎ
Ｌ（ｓ）＝Σ［Ｌ_ｉ（ｓ）／α^ｉ］
_ｉ＝０

ここで、Ｌ_ｉ（ｓ）は初期設定部３及び尤度モデル更新部１１により「システム追跡対象尤度モデル」に登録されている各尤度モデルの尤度関数、αは事前に設定した１以上の実数である。このような尤度評価を行うと、先に「システム追跡対象尤度モデル」に登録されたモデルの尤度関数がより大きな影響をもつことになるため、尤度の小さい現在の対象を追跡しつつ、尤度の大きい先に登録された対象が現れた場合には尤度の大きい方を優先して追跡することが可能になる。初期設定部３では追跡対象の尤度モデルのみをＬ_０（ｓ）として登録する。
また、システム全体の代表となる仮説（以下、代表仮説と呼ぶ）とその尤度を算出する。代表仮説としては、仮説群の平均に相当する仮説、仮説群が近似する確率密度関数のモードに相当する仮説、あるいは最大の尤度を持つ仮説等、応用に応じて選択することが可能である。

数１式の尤度関数でαのｉ乗を用いている点について、以下に理由を説明する。
これは、遮蔽する側（第ｉ番目のモデル）の尤度が常に遮蔽される側（第ｉ−１番目のモデル）の尤度の１／α倍のレベルになるという関係を保つためである。例えばα＝１０とした場合、遮蔽される側の尤度は遮蔽する側の尤度よりも一桁高くなることになり、遮蔽される側の物体が遮蔽物の陰から再び現れた場合に一桁高い尤度をもつ物体の出現により追跡対象の注意を戻すことを可能にする。

また、物体追跡装置１は、物体追跡処理部４により生成された追跡対象の尤度と予め閾値設定部１２で定められた閾値との比較により物体の追跡処理の異常状態を検知する異常状態検知部８と、異常状態検知部８により異常状態が検知されたときに追跡対象と異なる他の追跡対象の尤度モデルを作成する尤度モデル作成部９とを備えている。

また、物体追跡装置１は、異常状態検知部８の検知により異常状態が一定時間継続されたときに追跡対象は他の追跡対象により遮蔽された状態であると判定する遮蔽状態判定部１０と、遮蔽状態判定部１０により遮蔽状態であると判定されたときに尤度モデル作成部９により作成された尤度モデルを「システム追跡対象尤度モデル」に追加登録すると共に閾値更新部１３を用いて閾値設定部１２で設定された閾値を尤度モデルが追加登録された回数毎に低下させて更新する尤度モデル更新部１１とを備えている。

また、遮蔽状態判定部１０は、遮蔽状態であると判定された後に、最後に登録された尤度モデルの尤度関数の値よりも大きな尤度関数の値をもつ尤度モデルが存在するときに遮蔽状態が解消されたと判定し、尤度モデル更新部１１は、最大の尤度をもつ尤度モデルよりも後に追加された尤度モデルの登録をすべて削除すると共に、閾値更新部１３を用いて閾値設定部１２で設定された閾値を削除された尤度モデルの個数毎に増大させて更新する。
物体追跡装置１の追跡状態等の出力は外部の出力装置１５に出力される。

上述した異常状態検知部８による異常状態か否かの判定には、事前に閾値設定部１２に設定した閾値を用いるが、ここで、尤度モデル更新部１１で遮蔽物のモデルが一つ登録されるたびに、閾値更新部１３を用いて閾値設定部１２で設定された閾値の値が１／α倍される。これは、「正常に遮蔽物を追跡している」状態では、その尤度はモデルを追加する前の１／αのレベルになるためである。逆に遮蔽状態判定部１０で遮蔽状態が解消されたと判定された場合には、尤度モデル更新部１１で削除するモデルの数だけ閾値更新部１３を用いて閾値設定部１２で設定された閾値をα倍することになる。
なお、上述した物体追跡装置１のうち、カメラ装置２以外の初期設定部３〜閾値更新部１３までは、例えば、制御部としてのＣＰＵとプログラムや制御データの記憶部としてのメモリとにより、上述した各機能を有するように構成される。

以下、このように構成される物体追跡装置の動作について、図２に示すフローチャートに基づいて説明する。
図２のフローチャートは、図１に示した各部の処理を一連の流れとして連続的に示すものである。
図２において、まず、初期設定の処理が行われる（ステップＳ１）。具体的には図１に示した初期設定部３がシステムのデフォルト値を設定する。例えば、初期設定部３は物体追跡処理部４の仮説生成部５で生成される追跡対象の尤度モデルを「システム追跡対象尤度モデル」に「第０番目のモデル」として登録し、尤度モデルの数Ｎ＝０とする。また、初期設定部３はシステムの「追跡状態」を「正常」に設定する。

「尤度モデル」は尤度関数によって「仮説」が追跡対象の位置をどれほど的確に表しているかを数値（尤度）として評価可能とするものである。尤度関数は最大値が１、最小値が０をとるように正規化されている。尤度モデルとしては任意のものが使用可能であるが、「対象の事前知識を必要とせずに汎用的に使用可能である」という条件をみたすことが望ましい。ここでは、「仮説が表す画像領域内での色分布」を尤度モデルとして利用することを想定している。この場合、モデルの持つ色分布と仮説が表す画像領域で観測した色分布との類似度が判定され、近いものほど高い尤度が与えられるようになされる。

次に、物体追跡処理の各処理が行われる（ステップＳ２）。具体的には図１に示した物体追跡処理部４の仮説生成部５が追跡対象の仮説の尤度モデルを生成し（ステップＳ３）、動作予測部６が予め定義された動作モデルを適用することで追跡対象の画像上の位置を予測・更新し（ステップＳ４）、観測・評価部７が画像情報を観測し、更新された仮説の尤度を評価する。また、それをもとに代表仮説とその尤度を算出する（ステップＳ５）。

次に、追跡する対象物の直前の状態が正常であるか異常であるかを判断する（ステップＳ６）。具体的には、図１に示した物体追跡処理部４は、観測・評価部７で仮説の尤度が評価された際に、システムの「追跡状態」が「正常」又は「異常」のどちらに設定されているかを判断する。この判断ステップＳ６の判断結果に応じてそれ以降の処理の流れが分岐する。

判断ステップＳ６で直前の状態が正常であると判断されたときは、続いて異常状態が検知されているか否かの判定をする（ステップＳ７）。具体的には図１に示した異常状態検知部８が、物体追跡処理部４により生成された追跡対象の代表仮説の尤度と予め閾値設定部１２で定められた閾値との比較により物体の追跡処理が異常状態であるか否かを検知する。
例えば、ステップＳ２で生成された代表仮説の尤度が予め定められた閾値を上回る場合には、追跡処理は正常に実行されているとみなして、追跡処理を続行する。

判断ステップＳ７で異常状態検知判定の結果が正常であると判断された場合は、続いて遮蔽状態が解消されたか否かが判断される（ステップＳ８）。そして、この判断ステップＳ８で未解消であると判断された場合、つまり遮蔽状態にない場合は、次に終了条件であるか否かの判断をする（ステップＳ９）。具体的には、終了条件の例として、次のようなものが考えられる。第１に、事前に設定した時間（ループ回数）に達した場合、第２に、追跡対象が画面外へ移動して追跡不可能となり、一定時間が経過した場合、第３に、ロボットや監視カメラ等への応用において、ユーザから追跡終了の入力指示があった場合などである。

判断ステップＳ９で終了条件でないと判定されたときは、ステップＳ３へ戻って、ステップＳ３〜ステップＳ９までの処理及び判断を繰り返す。

判断ステップＳ６で直前の状態が正常であると判定されたものの、判断ステップＳ７で異常状態検知判定が異常であると判断された場合は、図１に示す尤度モデル作成部９が尤度モデル作成処理を行う（ステップＳ１７）。具体的には、異常状態検知部８が、物体追跡処理部４により生成された追跡対象の代表仮説の尤度と予め閾値設定部１２で定められた閾値との比較により物体の追跡処理が異常状態であるか否かを検知する。そして、例えば、ステップＳ２の物体追跡処理で生成された尤度が予め定められた閾値を下回る場合には、何らかの原因で追跡対象を見失った状態であると判断する。この場合、追跡対象の物体が急激な動作をした等の理由で一時的に見失っただけの可能性と、他の物体により追跡対象の物体が遮蔽された可能性の２つが考えられる。

ステップＳ１７の尤度モデル作成処理は、上述したようにステップＳ６で追跡対象物の直前の状態が正常であって、ステップＳ７で異常状態検知部８により現在の状態が異常であると検知された場合の処理であるが、実際には、現在の追跡対象の物体が遮蔽された可能性に備えて、図１に示した尤度モデル作成部９は追跡対象と異なる他の追跡対象である遮蔽物の尤度モデルを作成する。
そして、判断ステップＳ６で正常であると判断された状態を「異常」に設定する（ステップＳ１８）。具体的には図１に示した異常状態検知部８がこのシステムの「追跡状態」を「正常」から「異常」に設定する。

上述したステップＳ１７の尤度モデル作成処理は、異常状態検知部８が追跡処理の異常を検知した時点で行う。ただし、ステップＳ１７で作成された尤度モデルは、後述するステップＳ１４で示す追跡処理の異常が一定時間継続するまでは、「システム追跡対象尤度モデル」に登録されない。

具体的な尤度モデル作成処理は、以下の通りである。
まず、図１に示した尤度モデル作成部９はカメラ装置２から取得される距離情報を利用して、追跡対象とする画像領域を抽出する。より詳細に言えば、尤度モデル作成部９は、物体追跡処理部４の仮説生成部５で生成された代表仮説が表す画像領域内で、追跡対象の前時刻での平均距離よりも手前側、つまりカメラ装置２に近い側にある画像領域を抽出する。この抽出された画像領域は追跡対象の物体に対する遮蔽物である可能性が高い物体が存在する領域を表している。
次に、尤度モデル作成部９は、抽出された画像領域内の画像情報を基に、遮蔽物の尤度モデルを作成する。

また、判断ステップＳ６で追跡対象物の直前の状態が異常であると判断されたときにも、判断ステップＳ７と同様に、異常状態が検知されているか否かの判断が行われる（ステップＳ１０）。具体的には図１に示した異常状態検知部８が、物体追跡処理部４により生成された追跡対象の代表仮説の尤度と予め閾値設定部１２で定められた閾値との比較により物体の追跡処理が異常状態であるか否かを検知する。

この判断ステップＳ１０で異常状態検知判定が正常であると判断されたときは、判断ステップＳ６で異常であると判断された状態を「正常」に設定する（ステップＳ１１）。具体的には図１に示した異常状態検知部８がシステムの「追跡状態」を「異常」から「正常」に設定する。そして、尤度モデル廃棄処理を行う（ステップＳ１２）。具体的には図１に示した尤度モデル更新部１１がステップＳ１７で作成した尤度モデルを廃棄する。

判断ステップＳ１０で異常状態検知判定が異常であると判断された場合は、次にこの異常状態を監視して、異常状態が一定時間継続しているか否かの判定をする（ステップＳ１３）。具体的には直前の状態が異常であって、図１に示した異常状態検知部８により現在の状態も異常であると検知されたときは、現在も追跡対象の物体を見失った状態を継続している可能性に備えて、異常状態が継続している時間が事前に設定されている一定時間を越えたか否かを判定する。

判断ステップＳ１３で異常状態が一定時間継続していると判断されたときは、図１に示した尤度モデル更新部１１は追跡対象と異なる他の追跡対象である遮蔽物の尤度モデルを作成して「システム追跡対象尤度モデル」に追加登録する（ステップＳ１４）。
具体的には、図１に示した遮蔽状態判定部１０は、異常状態検知部８の検知により異常状態が一定時間継続されたときに追跡対象は他の追跡対象により遮蔽された状態であると判定し、尤度モデル更新部１１は尤度モデル作成部９により作成された尤度モデルを追加登録する。このように追跡処理の異常が一定時間継続された場合に、ステップＳ１４の尤度モデルの追加処理が実行される。このとき、尤度モデル更新部１１は登録モデル数Ｎの値を１つ増加させ、「システム追跡対象尤度モデル」に追加登録させる。

そして、閾値の値を１／α倍する（ステップＳ１５）。具体的には図１に示した尤度モデル更新部１１は、遮蔽状態判定部１０により遮蔽状態であると判定されたときに尤度モデル作成部９により作成された尤度モデルを追加登録すると共に、閾値更新部１３を用いて閾値設定部１２で設定された閾値を尤度モデルが追加登録された回数毎に低下させて更新する。
さらに、判断ステップＳ１０で異常であると判断された状態を「正常」に設定する（ステップＳ１６）。具体的には図１に示した異常状態検知部８がシステムの「追跡状態」を「異常」から「正常」に設定する。

判断ステップＳ１３で異常状態が一定時間継続していないと判断されたときは、判断ステップＳ１３の異常状態のまま、判断ステップＳ８，Ｓ９の処理を経て、ステップＳ２の物体追跡処理に移行する。そして、引き続きステップＳ２の物体追跡処理及び判断ステップＳ１３の監視処理を継続する。この処理を継続するのは、追跡対象の物体が遮蔽されたのではなく、一時的に見失った場合には、一定時間内にこのシステムの追跡状態が正常な状態に復帰することが予想されるからである。

ステップＳ１８で追跡状態が「異常」に設定された場合、ステップＳ１２で尤度モデルが廃棄処理された場合、ステップＳ１６で追跡状態が「正常」に設定された場合、及び判断ステップＳ１３で異常状態が一定時間継続していないと判断された場合には、続いて、判断ステップＳ８に進み、遮蔽状態が解消されているか否かが判断される。

この判断ステップＳ８において、遮蔽状態が解消していないと判断された場合は、既に説明したステップＳ９の終了条件の判定に移行する。そして、終了条件が満たされていないと判断された場合は、ステップＳ３の仮設生成処理に戻り、終了条件が満たされていると判定された場合は処理を終了する。

また、判断ステップＳ８において、遮蔽状態が解消していると判断された場合は、尤度モデルの削除が行われる（ステップＳ１９）。そして、閾値更新部１３により閾値設定部１２で設定された閾値の値を削除した尤度モデルの個数だけα倍する処理が実行される（ステップＳ２０）。そして、ステップＳ９の終了条件が満たされているかどうかの判断に移行する。

以上の処理をさらに詳細に説明する。判断ステップＳ７で異常判定であったが追跡対象の物体を一時的に見失っただけの場合を考える。このとき、ステップＳ１７で尤度モデルが作成され、ステップＳ１８のシステムの「追跡状態」が「異常」に設定された後に、判断ステップＳ８、Ｓ９を経て、判断ステップＳ２の物体追跡処理に戻る。このような場合は、次回の判断ステップＳ１０では正常に戻ったと判断されるので、ステップＳ１１で状態が「正常」に設定され、ステップＳ１２の尤度モデルの廃棄が行われる。そして、終了条件（ステップＳ９）を満たすまで、次回以降追跡処理が続行される。

また、上述したように、判断ステップＳ１３で異常状態が一定時間継続して追跡対象の物体が遮蔽状態であると判断されて、ステップＳ１４で遮蔽物の尤度モデルが追加されたとき、ステップＳ１５で閾値の値が１／α倍される。そして、ステップＳ１６のシステムの「追跡状態」が「正常」に設定された後に、遮蔽状態が解消しているか否かが判定される（ステップＳ８）。具体的には図１に示した遮蔽状態判定部１０は、遮蔽状態であると判定された後に、最後に上記追加された上記尤度モデルよりも大きな尤度が生成された上記尤度モデルが存在するときに遮蔽状態が解消されたと判定する。

これを詳細に説明すると、遮蔽状態判定部１０は、尤度モデル作成部９による登録モデル数Ｎの値が１以上であること、及び物体追跡処理部４による代表仮説に対する数１式の尤度評価において、各尤度関数Ｌ_ｉ（ｓ）の中で最大値をとるものが第Ｎ番目のモデル以外のモデルの尤度関数であることの２つの条件をすべて満たすとき、追跡対象がその最大値をとる尤度関数を持つモデルに移り、遮蔽状態が解消されたと判断する。

判断ステップＳ８で遮蔽状態が解消していると判断されたときは、尤度モデル削除処理を行う（ステップＳ１９）。具体的には、図１に示した尤度モデル更新部１１が、ステップＳ１４で追加された尤度モデルの削除を行う。ここでは、判断ステップＳ８で最大尤度を有するモデル以降にステップＳ１４で登録されたモデルすべてを削除対象として尤度モデルの削除処理を行う。この処理をさらに詳細に説明すれば、尤度モデル更新部１１は、まず、削除対象となる尤度モデルの登録を「システム追跡対象尤度モデル」からすべて削除し、登録モデル数Ｎの値を削除したモデルの数だけ減少させる処理を実行することを意味している。

そして、閾値の値を削除した尤度モデルの個数だけα倍する（ステップＳ２０）。具体的には図１に示した尤度モデル更新部１１は、閾値更新部１３を用いて閾値設定部１２で設定された閾値を遮蔽状態が解消された回数毎に増大させて更新する。ここで、尤度モデル更新部１１で遮蔽物のモデルが一つ削除されるたびに、閾値更新部１３を用いて閾値設定部１２で設定された閾値の値がα倍される。

判断ステップＳ８で遮蔽状態が未解消のとき、及び判断ステップＳ８で遮蔽状態が解消し、ステップＳ９で尤度モデル削除処理を行い、ステップＳ１０で閾値の値を削除した尤度モデルの個数だけα倍した後には、判断ステップＳ９で終了条件の判断を行い、上述した終了条件を満たすときは処理を終了する。

上述した本実施の形態によれば、追跡対象に対する遮蔽の判断は、何重に起こった場合でも対応することができる。例えば、本来の追跡対象の物体を遮蔽した物体を追跡しているときに、さらに新たな遮蔽が発生した場合、その新たな遮蔽物の尤度モデルを「システム追跡対象尤度モデル」に登録することによって追跡を続行することが可能となり、複数の遮蔽が解除されて本来の追跡対象が出現することを判定することが可能となる。
上述した本実施の形態に限らず、本発明の要旨を逸脱しない限り、適宜、変更しうることはいうまでもない。

物体追跡装置のシステム構成を示す図である。 物体追跡装置の動作を示すフローチャートである。

符号の説明

１…物体追跡装置、２…カメラ装置、３…初期設定部、４…物体追跡処理部、５…仮説生成部、６…動作予測部、７…観測・評価部、８…異常状態検知部、９…尤度モデル作成部、１０…遮蔽状態判定部、１１…尤度モデル更新部、１２…閾値設定部、１３…閾値更新部、１４…入力装置、１５…出力装置

Claims (6)

1. 追跡対象となる物体の画像を取り込む画像取込手段と、
   上記取り込まれた画像から、上記追跡対象の尤度モデルに基づく仮説より上記追跡対象の動作予測をしながら上記追跡対象の尤度を生成して、上記物体の追跡処理を行う追跡処理手段と、
   上記生成された上記追跡対象の尤度と予め定められた閾値との比較により上記物体の追跡処理の異常状態を検知する異常状態検知手段と、
   上記異常状態が検知されたときに上記追跡対象と異なる他の追跡対象の尤度モデルを作成する尤度モデル作成手段と、
   を備えたことを特徴とする物体追跡装置。
2. 上記異常状態が一定時間継続されたときに上記追跡対象は他の追跡対象により遮蔽された状態であると判定する遮蔽状態判定手段と、
   上記遮蔽状態であると判定されたときに上記作成された上記尤度モデルを追加登録すると共に上記閾値を上記追加登録された回数毎に低下させて更新する尤度モデル更新手段と、
   を備えたことを特徴とする請求項１に記載の物体追跡装置。
3. 上記遮蔽状態判定手段は、上記遮蔽状態であると判定された後に、最後に上記追加登録された上記尤度モデルよりも大きな尤度が生成された上記尤度モデルが存在するときに上記遮蔽状態が解消されたと判定し、
   上記尤度モデル更新手段は、最大の尤度が生成された上記尤度モデルよりも後に上記追加登録された上記尤度モデルの登録をすべて削除し、上記閾値を上記削除された尤度モデルの個数毎に増大させて更新することを特徴とする請求項２に記載の物体追跡装置。
4. 追跡対象となる物体の画像から、上記追跡対象の尤度モデルに基づく仮説より上記追跡対象の動作予測をしながら上記追跡対象の尤度を生成して、上記物体の追跡処理を行う際の異常状態を検知する異常状態検知装置であって、
   上記生成された上記追跡対象の尤度と予め定められた閾値との比較により上記物体の追跡処理の異常状態を検知する異常状態検知手段と、
   上記異常状態が検知されたときに上記追跡対象と異なる他の追跡対象の尤度モデルを作成する尤度モデル作成手段と、
   上記異常状態が一定時間継続されたときに上記追跡対象は他の追跡対象により遮蔽された状態であると判定する遮蔽状態判定手段と、
   上記遮蔽状態であると判定されたときに上記作成された上記尤度モデルを追加登録すると共に上記閾値を上記追加登録された回数毎に低下させて更新する尤度モデル更新手段と、
   を備えたことを特徴とする異常状態検知装置。
5. 上記遮蔽状態判定手段は、上記遮蔽状態であると判定された後に、最後に上記追加登録された上記尤度モデルよりも大きな尤度が生成された上記尤度モデルが存在するときに上記遮蔽状態が解消されたと判定し、
   上記尤度モデル更新手段は、最大の尤度が生成された上記尤度モデルよりも後に上記追加登録された上記尤度モデルの登録をすべて削除し、上記閾値を上記削除された尤度モデルの個数毎に増大させて更新することを特徴とする請求項４に記載の異常状態検知装置。
6. 追跡対象となる物体の画像から、上記追跡対象の尤度モデルに基づく仮説より上記追跡対象の動作予測をしながら上記追跡対象の尤度を生成して、上記物体の追跡処理を行う追跡処理ステップと、
   上記生成された上記追跡対象の尤度と予め定められた閾値との比較により上記物体の追跡処理の異常状態を検知する異常状態検知ステップと、
   上記異常状態が検知されたときに上記追跡対象と異なる他の追跡対象の尤度モデルを作成する尤度モデル作成ステップと、
   上記異常状態が一定時間継続されたときに上記追跡対象は他の追跡対象により遮蔽された状態であると判定する遮蔽状態判定ステップと、
   上記遮蔽状態であると判定されたときに上記作成された上記尤度モデルを追加すると共に上記閾値を上記追加された回数毎に低下させて更新する尤度モデル追加ステップと、
   上記遮蔽状態であると判定された後に、最後に上記追加された上記尤度モデルよりも大きな尤度が生成された上記尤度モデルが存在するときに上記遮蔽状態が解消されたと判定する遮蔽状態解消判定ステップと、
   上記遮蔽状態が解消されたと判定されたときに上記尤度モデルを削除すると共に上記閾値を上記削除された上記尤度モデルの個数毎に増大させて更新する尤度モデル削除ステップと、
   を含むことを特徴とする物体追跡方法。

Images