JP2010122734A - 対象物追跡装置、対象物追跡方法及び対象物追跡プログラム - Google Patents

Abstract

【課題】粒子法を用いて動画像に撮影されている対象物を高速に追跡可能な対象物追跡装置、対象物追跡方法及び対象物追跡プログラムを提供することを課題とする。
【解決手段】粒子法における予測モデルの処理と観測モデルの処理との間に平均値シフト法を導入し、平均値シフト法により追跡対象である対象物の画像特徴量に最も類似する画像特徴量の位置を探索し、探索後の位置にサンプルを移動させるので、観測モデルにおける重み付け計算量が低減され、高速な対象物追跡装置を提供することができる。
【選択図】図１

Description

本発明は、粒子法を用いて動画像に撮影されている対象物を追跡する対象物追跡装置、対象物追跡方法及び対象物追跡プログラムの技術に関する。

車、人、魚などの追跡に関する応用分野は多岐に渡り、追跡対象である対象物の重心を検出し、線形モデルを用いて該重心を追跡していく方法などが例として挙げられる。しかしながら、実環境下では建物や他の対象物との重なり等により、追跡中の対象物を見失う場合が多いことが知られている。

そこで、映像（動画像）を構成している時系列な画像フレームを用いてカルマンフィルタや粒子法（パーティクル法）を適用した追跡方法が利用されている（非特許文献１、２参照）。特に、粒子法は対象物の状態変数が非ガウス分布にしたがって変化することをモデル化する技術であるため、対象物の急峻な位置変化に対応することが可能である。以下、従来の粒子法について説明する。

粒子法とは、追跡対象である対象物の状態（位置、大きさ）を直接知ることができない場合に、その状態を統計的に効率よく推定する方法である。通常、対象物の状態は観測された映像の変化、分布からのみ推定することができ、ノイズ等の影響により真の状態を直接把握することは不可能である。

具体的には、図７に示すように、予測モデルと観測モデルの２つの処理体系を通じて、映像から対象物の状態を再帰的に最尤推定する。粒子法では対象物の状態（位置、大きさ）を近似させた数百〜数万のサンプル（追跡指標）を用いるが、一般的には、ある再帰過程において前の時刻ｔ−１の画像フレームのリサンプリング過程から所定数のサンプルＳが選択される。

そして、予測モデルにおいて、所定のシステムモデルに従って時刻ｔにおける各サンプルＳの位置が動的にそれぞれ予測される。このとき、予測先に位置付けられるサンプルＳ’の大きさは均一であり、予測前のサンプルＳの大きさ（重み）に応じて１つのサンプルから複数のサンプルに拡散される場合もある。これにより、サンプルの分布密度に変化が生じ、見掛け上、サンプルが拡散、移動することになる。

その後、観測モデルにおいて、時刻ｔの画像フレームから予測先の位置に対応する重みを求め、予測先に位置付けられている各サンプルＳ’に対して重み付けをそれぞれ行う。その重みに応じた大きさのサンプルを表示することにより、対象物を追跡することが可能となる。
Greg Welch、外１名、"An Introduction to the Kalman Filter"、TR 95-041、Department of Computer Science University of North Carolina at Chapel Hill、NC 27599-3175、2006年7月24日 北川源四郎 著、"時系列解析入門"、岩波書店、2005年2月24日、p.216-223 "ブラウン運動"、［online］、［平成20年10月27日検索］、インターネット＜URL : http://www1.parkcity.ne.jp/yone/math/mathB03_11.htm＞

しかしながら、前述した粒子法において対象物を高精度で追跡するには非常に多くのサンプルを必要とするため、サンプル数の増加に伴って予測モデルや観測モデルでの処理時間が増大し、実時間性が失われるという問題があった。具体的には、サンプルＳの増加に伴って予測されるサンプルＳ’も増加するため、結果として観測モデルでの重み付けに時間がかかるという問題があった。

本発明は、上記を鑑みてなされたものであり、粒子法を用いて動画像に撮影されている対象物を高速に追跡可能な対象物追跡装置、対象物追跡方法及び対象物追跡プログラムを提供することを課題とする。

第１の請求項に係る発明は、粒子法を用いて動画像に撮影されている対象物を追跡する対象物追跡装置において、時系列な複数の画像フレームで構成された動画像を蓄積しておく蓄積手段と、粒子法で用いる所定のシステムモデルに従って、任意時刻の前記画像フレームに撮影されている対象物を表した追跡指標が次時刻に移動する位置を予測する予測手段と、前記次時刻の画像フレームから任意の探索領域を特定し、平均値シフト法を用いて前記対象物の画像特徴量と当該探索領域の画像特徴量との類似度が大きくなる方向に前記探索領域をシフトさせ、当該類似度が最大となる位置を探索する探索手段と、前記探索位置を用いて前記予測位置を修正し、前記次時刻の画像フレームを用いて修正後の予測位置に対応する画像特徴量を計算し、当該画像特徴量を用いて修正後の予測位置に移動させた前記追跡指標に重み付けを行って、次時刻の追跡指標として推定する推定手段と、を有することを要旨とする。

第２の請求項に係る発明は、前記画像特徴量は画素の輝度値であって、前記探索手段は、前記探索領域を構成する画素の輝度値が一定値以下の場合に前記類似度を計算しないことを要旨とする。

第３の請求項に係る発明は、粒子法を用いて動画像に撮影されている対象物を追跡する対象物追跡装置で処理する対象物追跡方法において、前記対象物追跡装置により、時系列な複数の画像フレームで構成された動画像を蓄積手段に蓄積しておく第１のステップと、粒子法で用いる所定のシステムモデルに従って、任意時刻の前記画像フレームに撮影されている対象物を表した追跡指標が次時刻に移動する位置を予測する第２のステップと、前記次時刻の画像フレームから任意の探索領域を特定し、平均値シフト法を用いて前記対象物の画像特徴量と当該探索領域の画像特徴量との類似度が大きくなる方向に前記探索領域をシフトさせ、当該類似度が最大となる位置を探索する第３のステップと、前記探索位置を用いて前記予測位置を修正し、前記次時刻の画像フレームを用いて修正後の予測位置に対応する画像特徴量を計算し、当該画像特徴量を用いて修正後の予測位置に移動させた前記追跡指標に重み付けを行って、次時刻の追跡指標として推定する第４のステップと、を有することを要旨とする。

第４の請求項に係る発明は、前記画像特徴量は画素の輝度値であって、前記第３のステップは、前記探索領域を構成する画素の輝度値が一定値以下の場合に前記類似度を計算しないことを要旨とする。

第５の請求項に係る発明は、請求項３又は４に記載の対象物追跡方法における各ステップをコンピュータによって実行させることを要旨とする。

本発明によれば、粒子法を用いて動画像に撮影されている対象物を高速に追跡可能な対象物追跡装置、対象物追跡方法及び対象物追跡プログラムを提供することができる。

図１は、本実施の形態に係る対象物追跡装置の機能構成を示す機能構成図である。この対象物追跡装置１００は、入力部１１と、予測部１２と、探索部１３と、推定部１４と、表示部１５と、蓄積部３１とを備えた構成である。

入力部１１は、水槽で泳ぐ魚や交差点を渡っている人等の移動している対象物が撮影された映像の入力を受け付ける機能を備えている。

蓄積部３１は、入力部１１で受け付けた後に入力された映像を、時系列な複数の画像フレームとして蓄積しておく機能を備えている。このような蓄積部３１としては、例えばメモリ、ハードディスク等の記憶装置を用いることが一般的であり、対象物追跡装置１００の内部のみならず、通信ネットワークを介して電気的に接続可能な外部の記憶装置を用いることも可能である。

予測部１２は、粒子法における予測モデルの処理と同じ処理を行うものであって、具体的には、粒子法で用いる所定のシステムモデルに従って、時刻ｔ−１の画像フレームに撮影されている追跡対象としての対象物を示したサンプル（追跡指標）が、次の時刻ｔに移動する位置を予測する機能を備えている。以下、具体的な処理について説明する。

サンプルとは、前述したように対象物の状態（位置、大きさ）を近似させたものであり、通常、数百〜数万のサンプルで構成されている。予測部１２は、ある再帰過程において、前の時刻ｔ−１の画像フレームＺ_ｔ−１のリサンプリング過程からＮ個のサンプルＳ_ｔ−１ ^（ｎ）を選択する。ここで、各サンプルに対する重み付け量をπ_ｔ−１ ^（ｎ）とし、画像フレームがＺ_ｔ−１である場合にサンプルの状態（位置、大きさ）がＸ_ｔ−１である条件付確立をｐ（Ｘ_ｔ−１｜Ｚ_ｔ−１）とすると、選択後のサンプルの状態を図２の最上段に示すように模式化することができる。図２の最上段に示すサンプルは、重み付け量に応じた大きさで示されている。重み付け量とは、画像フレームから得られる対象物の画像特徴量であって、具体的には、画像強度，エッジ強度，色，テクスチャ強度等を用いることができる。なお、各再帰過程における重み付け量の総和は１になるようにしている。

その後、予測部１２は、前述した所定のシステムモデルに従って、選択後のＮ個のサンプルＳ_ｔ−１ ^（ｎ）が次の時刻ｔに移動する予測位置を計算する。ここで、画像フレームがＺ_ｔ−１である場合に時刻ｔにおける予測されたサンプルの状態（位置、大きさ）がＸ_ｔである条件付確立をｐ（Ｘ_ｔ｜Ｚ_ｔ−１）とすると、予測後の状態を図２の上から二段目に示すように模式化することができる。なお、各予測位置に位置付けられる各サンプルの大きさは均一であり、予測前のサンプルの大きさ（重み）に応じて１つのサンプルから複数のサンプルに拡散されている。また、所定のシステムモデルとしては、例えばランダムウォークモデル（非特許文献３参照）や運動モデルを用いることができる。これにより、サンプルの分布密度に変化が生じ、見掛け上、サンプルが拡散、移動することになる。

探索部１３は、時刻ｔの画像フレームから任意の探索領域を特定し、平均値シフト法（Ｍｅａｎ Ｓｈｉｆｔ法）を用いて時刻ｔ−１における対象物の画像特徴量と時刻ｔにおける探索領域の画像特徴量との類似度を計算し、この類似度が大きくなる方向に探索領域をシフトさせ、この類似度が最大となる位置を探索する機能を備えている。以下、具体的な処理について説明する。

平均値シフト法は、通常、ノイズ除去を高速に行う方法として知られているが、画像中の対象物をヒストグラムに基づく画像特徴量に置き換えて追跡する方法にも応用されている。ヒストグラムに基づく画像特徴量としては、色彩に関する勾配値（一次微分値：以降、「色分布」と称する）等を用いることができる。すなわち、平均値シフト法とは、追跡対象である対象物の色分布をモデル特徴として、前時刻の画像フレームの追跡結果を中心として次時刻の画像フレーム内で類似領域の探索を行って、対象物を随時追跡していく方法である。ここで、類似領域を単純に探索した場合には探索範囲が膨大となって探索時間の増大や誤検出の可能性があるため、平均値シフト法では、等方的なカーネル（例えば、ガウス分布）で畳み込み積分を行って色分布の平滑化を行い、余分なノイズを抑制して計算の安定化を図ることも可能となっている。以下、より具体的な処理の流れについて説明する。

最初に、探索部１３は、時刻ｔの画像フレームから任意の探索領域を特定し、時刻ｔ−１における対象物の色分布を計算すると共に、時刻ｔにおける探索領域の色分布を計算する（ステップＳ１０１）。ここで、対象物の色分布を式（１）とし、探索領域の色分布を式（２）とする。なお、ｍは色分布における画素濃淡値の量子化レベルに相当する。また、式（２）のｙは探索領域の位置を示している。

次に、探索部１３は、対象物の色分布と探索領域の色分布との類似度を計算し、山登り計算によって類似度が最大となる方向に探索領域を移動する（ステップＳ１０２）。具体的には、色分布間の類似度を表す指標として、式（３）に示すバッタチャアア係数を用いる。

この係数は２つの色分布間の類似度が高いほど大きな値となり、完全に一致すると１を返す。この係数を最大化する位置ｙを探索することにより、追跡を実現する。ここで、追跡処理について具体的に説明する。最初に、式（４）を用いて位置ｙ_０における色分布を計算し、式（５）を評価する（ステップＳ１０２ａ）。

続いて、式（６）を用いて移動先の位置ｙ_１を計算する（ステップＳ１０２ｂ）。なお、ｇ（ｘ）はｋ（ｘ）の一次微分である。また、ｄの値は２とし、ｈは２〜６の範囲で適宜選択されるものとする。なお、ｈは探索領域の半径であり、ｉは半径ｈ内に含まれる画素の番号（ｉ＝１〜ｎ_ｈ）を示している。

その後、式（７）を用いて位置ｙ_１における色分布を評価し、式（８）を計算する（ステップＳ１０２ｃ）。

式（８）の計算結果が式（５）の計算結果よりも小さくなるまでｙ_０にｙ_１を代入して反復計算を繰り返す（ステップＳ１０２ｄ）。

最後に、探索部１３は、ステップＳ１０２によって類似度が最大となった探索領域の位置を探索位置とする（ステップＳ１０３）。

なお、前述したように平均値シフト法における類似度の計算にはバッタチャアア（Ｂｈａｔｔａｃｈａｒｙｙａ）係数が用いられるので、類似度分布が滑らかとなり、図３に示すように、極値に陥ることなく初期位置（○印）から最も類似している収束位置（▽点）を迅速に探索することが可能となっている。即ち、単純な類似度計算の場合には複数の極大値が存在するが、バッタチャアア係数を用いて類似度を計算する場合には単峰性の極大値（最大値）が得られるので、類似度の平滑化に基づく高速化という効果を得ることができる。

また、ステップＳ１０２の処理において、探索部１３は、半径ｈの領域内に含まれる画素の輝度値が一定値以下の場合に、類似度を計算することなく次の探索領域にシフトすることも可能である。例えば、８ビット階調（２５６階調）の場合において、輝度値が１０未満の画素が含まれる探索領域については類似度を計算しないことや、探索領域に含まれる画素のうち１０未満の画素については無いものとして取り扱うことことが可能である。類似度計算の対象となる探索領域が少なくなるので、類似度が最大となる探索領域の位置を高速に探索することが可能となる。

推定部１４は、粒子法における観測モデルの処理と同じ処理を行うものであって、具体的には、探索部１３によって探索された探索位置を用いて予測部１２によって予測された予測位置を修正し、時刻ｔの画像フレームを用いて修正後の予測位置に対応する画像特徴量を計算し、この画像特徴量を用いて修正後の予測位置に移動させたサンプルに重み付けを行って、時刻ｔの追跡指標として推定する機能を備えている。

粒子法の観測モデルは、前述したように予測モデルで予測された位置のサンプルを用いて重み付けを行うが、本実施の形態に係る推定部１４は、図２の下半分に示すように、探索部１３で探索された探索位置になるように予測位置を修正する。そして、時刻ｔの画像フレームＺ_ｔから予測位置に対応する重みを計算して重み付けを行う。その結果、画像フレームがＺ_ｔである場合にサンプルの状態（位置、大きさ）がＸ_ｔである条件付確立をｐ（Ｘ_ｔ｜Ｚ_ｔ）とすると、重み付け後の状態を図２の最下段に示すように模式化することができる。

表示部１５は、重み付け後のサンプルの状態を表示する機能を備えている。

続いて、本実施の形態に係る対象物推定装置の処理フローについて説明する。図４は、本実施の形態に係る対象物推定装置の処理フローを示すフロー図である。最初に、入力部１１が、移動している対象物が撮影された映像の入力を受け付けて、時系列な複数の画像フレームとして蓄積部３１に蓄積する（ステップＳ２０１）。

次に、予測部１２が、粒子法で用いる所定のシステムモデルに従って、時刻ｔ−１の画像フレームに撮影されている追跡対象としての対象物を示したサンプルが、次の時刻ｔに移動する位置を予測する（ステップＳ２０２）。

続いて、探索部１３が、時刻ｔの画像フレームから任意の探索領域を特定し、平均値シフト法を用いて時刻ｔ−１における対象物の色分布と時刻ｔにおける探索領域の色分布との類似度を計算し、この類似度が大きくなる方向に探索領域をシフトさせ、この類似度が最大となる位置を探索する（ステップＳ２０３）。

その後、推定部１４が、探索位置を用いて予測位置を修正し、時刻ｔの画像フレームを用いて修正後の予測位置に対応する画像特徴量を計算し、この画像特徴量を用いて修正後の予測位置に移動させたサンプルに重み付けを行って、時刻ｔのサンプルとして推定する（ステップＳ２０４）。

最後に、表示部１５が、重み付け後のサンプルの状態を表示する（ステップＳ２０５）。

このようなステップＳ２０１〜ステップＳ２０５の処理を蓄積部３１に蓄積されている全ての画像フレームを用いて行うことで、映像に映された対象物を逐次追跡することが可能となる。

図５は、バッタチャアア係数による類似度に対する各サンプルの位置関係を示す図である。３次元表示された分布は、時刻ｔ−１における対象物の色分布と時刻ｔにおける画像フレームの色分布とのバッタチャアア係数による類似度を示している。また、○印はサンプルを示し、☆印は類似度が最大となる位置を示している。ステップＳ２０３及びステップＳ２０４の処理により、複数のサンプルが類似度が最大である位置に移動している状態を示している。

図６は、水槽の中で急峻に泳ぐ２匹の魚を追跡した結果を示す図である。図６（ａ）は従来法での追跡結果を示し、（ｂ）は本実施の形態での追跡結果を示している。従来法の場合には、追跡結果としての○印が２匹の魚のうち１匹の魚についてのみしか表示されていないが、本実施の形態では２匹の魚について表示されているので、急峻に移動する移動体の場合であっても迅速かつ安定的に追跡できていることが理解できる。なお、この追跡では、探索部１３での探索処理において、色のヒストグラム分布を用いて類似度を計算している。特に、ロバスト性を高めるためにＲＧＢの色彩情報をＨＳＶのカラー変換モデルを適用し、Ｈ（色相）情報を用いて類似計算を行った。Ｈに関する対象物の画素を０〜３６０度の範囲でヒストグラム化して３０度づつ１２分割しておく。そして、１２個の分割データを用いて画像フレーム間での探索を行っている。なお、色に代えて対象物の輪郭を追跡する方法もあるが、対象物が魚の場合には観察方向によって大きく形状が変化するため、対象物を見失う場合がある。そのため、画像特徴量として色を用いることで、より安定的に対象物を追跡することが可能となる。

本実施の形態によれば、粒子法における予測モデルの処理と観測モデルの処理との間に平均値シフト法を導入し、平均値シフト法により追跡対象である対象物の画像特徴量に最も類似する画像特徴量の位置を探索し、探索後の位置にサンプルを移動させるので、図２の最下段に示すように観測モデルにおける重み付け計算量が低減され、高速な対象物追跡装置を提供することができる。

最後に、各実施の形態で説明した対象物追跡装置は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、各実施の形態で説明した対象物追跡装置の各処理動作をプログラムとして例えばコンパクトディスクやフロッピー（登録商標）ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を対象物追跡装置として機能させることができるのは勿論である。

なお、本実施の形態で説明した対象物追跡装置は、特にマルチメディア分野，符号化分野，通信分野，映像監視分野の技術分野において応用可能であることを付言しておく。

本実施の形態に係る対象物追跡装置の機能構成を示す機能構成図である。 本実施の形態におけるサンプルの状態を説明するための説明図である。 平均値シフト法におけるバッタチャアア係数の類似度分布を示す図である。 本実施の形態に係る対象物推定装置の処理フローを示すフロー図である。 バッタチャアア係数による類似度に対する各サンプルの位置関係を示す図である。 水槽の中で急峻に泳ぐ２匹の魚を追跡した結果を示す図である。 従来のサンプルの状態を説明するための説明図である。

符号の説明

１１…入力部
１２…予測部
１３…探索部
１４…推定部
１５…表示部
３１…蓄積部
１００…対象物追跡装置
Ｓ１０１〜Ｓ１０３，Ｓ１０２ａ〜Ｓ１０２ｄ…ステップ
Ｓ２０１〜Ｓ２０５…ステップ

Claims (5)

1. 粒子法を用いて動画像に撮影されている対象物を追跡する対象物追跡装置において、
   時系列な複数の画像フレームで構成された動画像を蓄積しておく蓄積手段と、
   粒子法で用いる所定のシステムモデルに従って、任意時刻の前記画像フレームに撮影されている対象物を表した追跡指標が次時刻に移動する位置を予測する予測手段と、
   前記次時刻の画像フレームから任意の探索領域を特定し、平均値シフト法を用いて前記対象物の画像特徴量と当該探索領域の画像特徴量との類似度が大きくなる方向に前記探索領域をシフトさせ、当該類似度が最大となる位置を探索する探索手段と、
   前記探索位置を用いて前記予測位置を修正し、前記次時刻の画像フレームを用いて修正後の予測位置に対応する画像特徴量を計算し、当該画像特徴量を用いて修正後の予測位置に移動させた前記追跡指標に重み付けを行って、次時刻の追跡指標として推定する推定手段と、
   を有することを特徴とする対象物追跡装置。
2. 前記画像特徴量は画素の輝度値であって、
   前記探索手段は、前記探索領域を構成する画素の輝度値が一定値以下の場合に前記類似度を計算しないことを特徴とする請求項１に記載の対象物追跡装置。
3. 粒子法を用いて動画像に撮影されている対象物を追跡する対象物追跡装置で処理する対象物追跡方法において、
   前記対象物追跡装置により、
   時系列な複数の画像フレームで構成された動画像を蓄積手段に蓄積しておく第１のステップと、
   粒子法で用いる所定のシステムモデルに従って、任意時刻の前記画像フレームに撮影されている対象物を表した追跡指標が次時刻に移動する位置を予測する第２のステップと、
   前記次時刻の画像フレームから任意の探索領域を特定し、平均値シフト法を用いて前記対象物の画像特徴量と当該探索領域の画像特徴量との類似度が大きくなる方向に前記探索領域をシフトさせ、当該類似度が最大となる位置を探索する第３のステップと、
   前記探索位置を用いて前記予測位置を修正し、前記次時刻の画像フレームを用いて修正後の予測位置に対応する画像特徴量を計算し、当該画像特徴量を用いて修正後の予測位置に移動させた前記追跡指標に重み付けを行って、次時刻の追跡指標として推定する第４のステップと、
   を有することを特徴とする対象物追跡方法。
4. 前記画像特徴量は画素の輝度値であって、
   前記第３のステップは、前記探索領域を構成する画素の輝度値が一定値以下の場合に前記類似度を計算しないことを特徴とする請求項３に記載の対象物追跡方法。
5. 請求項３又は４に記載の対象物追跡方法における各ステップをコンピュータによって実行させることを特徴とする対象物追跡プログラム。