JP2010141668A

JP2010141668A - 移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラム

Info

Publication number: JP2010141668A
Application number: JP2008316812A
Authority: JP
Inventors: Hidetomo Sakaino; 英朋境野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 2008-12-12
Filing date: 2008-12-12
Publication date: 2010-06-24
Anticipated expiration: 2028-12-12
Also published as: JP4879257B2

Abstract

【課題】移動対象の数や見かけ上の形状変化が生じる場合であっても移動対象を確実に追跡する移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラムを提供することを課題とする。
【解決手段】マルコフ連鎖を用いて移動対象を追跡するので、見かけの変形や変化が生じた場合であっても移動対象を確実に追跡することができる。また、色（色彩）や２値（モノクロ）に関する結合確率関数を用いているため、高速性とロバスト性を高めることが可能となる。更に、追跡指標のパラメータを確率関数を用いて近似しているため、揺らぎ変動分を吸収することも可能となる
【選択図】図２

Description

本発明は、撮影された映像を構成している画像フレーム上で移動している移動対象を追跡する移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラムの技術に関する。

実環境下において、カメラ等で撮影された人や魚などの移動対象を画像上で追跡する場合には、多少のノイズ影響は残るものの、一般的には移動対象の数を一定と仮定したり、移動対象の形状を見かけの変化が少ない剛体とみなすことにより追跡する方法が用いられている。
"マルコフ連鎖モンテカルロ"、［online］、［平成20年12月1日検索］、インターネット＜URL : http://d.hatena.ne.jp/keyword/%A5%DE%A5%EB%A5%B3%A5%D5%CF%A2%BA%BF%A5%E2%A5%F3%A5%C6%A5%AB%A5%EB%A5%ED?kid=4365＞ "Expectation-maximization algorithm"、［online］、［平成20年12月1日検索］、インターネット＜URL : http://en.wikipedia.org/wiki/Expectation-maximization_algorithm＞

しかしながら、複数の移動対象が撮影されている場合には移動対象同士が重なり合う問題や、壁の後ろなどで見え隠れする隠蔽（オクルージョン）が発生する問題や、定点カメラから見た場合に移動対象の見かけの形状が変化するという問題があった。

本発明は、上記を鑑みてなされたものであり、移動対象の数や見かけ上の形状変化が生じる場合であっても移動対象を確実に追跡する移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラムを提供することを課題とする。

第１の請求項に係る発明は、マルコフ連鎖を用いて移動対象を追跡する移動対象追跡装置において、少なくとも２つの移動対象が撮影された映像を時系列な複数の画像フレームとして記憶する記憶手段と、前記画像フレームを前記記憶手段から読み出して、前記２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する解析手段と、前記２つの移動対象の動きが正規分布に従うものとして、前記２つの追跡指標の次状態を仮推定する仮推定手段と、前記現在状態から前記次状態に遷移する遷移コストを求め、当該遷移コストに基づいて前記２つの追跡指標が重複しているかいないかを判定する判定手段と、重複していないと判定された場合には、仮推定された前記次状態で前記２つの追跡指標の次状態をそれぞれ本推定し、重複していると判定された場合には、仮推定された互いの前記次状態を交換して本推定する本推定手段と、本推定された次状態に対する次確率分布と前記現在状態に対する現在確率分布とを前記画像フレームの画像濃淡値を用いて解析し、当該現在確率分布に対する当該次確率分布の比率を受容率として計算し、当該受容率に基づいて本推定された前記次状態を採用するか否かを決定する状態決定手段と、を有し、前記画像フレームの画像濃淡値は、前記移動対象である前景と当該移動対象でない背景との２値で表現されるものであって、前記次確率分布は、前記前景と前記次状態の追跡指標との重複率と、前記背景と当該次状態の追跡指標との重複率とに基づいて求められ、前記現在確率分布は、前記前景と前記現在状態の追跡指標との重複率と、前記背景と当該現在状態の追跡指標との重複率とに基づいて求められることを要旨とする。

第２の請求項に係る発明は、前記次確率分布及び前記現在確率分布は、色彩に関する画像特徴量を更に用いて求められることを要旨とする。

第３の請求項に係る発明は、前記仮推定手段は、確率関数を前記追跡指標のパラメータに用いて前記２つの追跡指標の次状態を仮推定することを要旨とする。

第４の請求項に係る発明は、前記状態決定手段は、前記重複していないと判定された場合には、

を用いて前記２つの追跡指標についてぞれぞれ前記受容率を計算し、前記重複していると判定された場合には、

を用いて前記受容率を計算することを要旨とする。

第５の請求項に係る発明は、マルコフ連鎖を用いて移動対象を追跡する移動対象追跡装置で処理する移動対象追跡方法において、前記移動対象追跡方法により、少なくとも２つの移動対象が撮影された映像を時系列な複数の画像フレームとして記憶手段に記憶する第１ステップと、前記画像フレームを前記記憶手段から読み出して、前記２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する第２ステップと、前記２つの移動対象の動きが正規分布に従うものとして、前記２つの追跡指標の次状態を仮推定する第３ステップと、前記現在状態から前記次状態に遷移する遷移コストを求め、当該遷移コストに基づいて前記２つの追跡指標が重複しているかいないかを判定する第４ステップと、重複していないと判定された場合には、仮推定された前記次状態で前記２つの追跡指標の次状態をそれぞれ本推定し、重複していると判定された場合には、仮推定された互いの前記次状態を交換して本推定する第５ステップと、本推定された次状態に対する次確率分布と前記現在状態に対する現在確率分布とを前記画像フレームの画像濃淡値を用いて解析し、当該現在確率分布に対する当該次確率分布の比率を受容率として計算し、当該受容率に基づいて本推定された前記次状態を採用するか否かを決定する第６ステップと、を有し、前記画像フレームの画像濃淡値は、前記移動対象である前景と当該移動対象でない背景との２値で表現されるものであって、前記次確率分布は、前記前景と前記次状態の追跡指標との重複率と、前記背景と当該次状態の追跡指標との重複率とに基づいて求められ、前記現在確率分布は、前記前景と前記現在状態の追跡指標との重複率と、前記背景と当該現在状態の追跡指標との重複率とに基づいて求められることを要旨とする。

第６の請求項に係る発明は、前記次確率分布及び前記現在確率分布は、色彩に関する画像特徴量を更に用いて求められることを要旨とする。

第７の請求項に係る発明は、前記第３ステップは、確率関数を前記追跡指標のパラメータに用いて前記２つの追跡指標の次状態を仮推定することを要旨とする。

第８の請求項に係る発明は、請求項５乃至７のいずれか１項に記載の移動対象追跡方法における各ステップをコンピュータによって実行させることを要旨とする。

本発明によれば、移動対象の数や見かけ上の形状変化が生じる場合であっても移動対象を確実に追跡する移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラムを提供することができる。

本実施の形態に係る移動対象追跡装置の構成及び処理について説明する前に、本発明のベースに用いるマルコフ連鎖モンテカルロ（ＭＣＭＣ：Markov Chain Monte Calro）法（非特許文献１参照。以下、「ＭＣＭＣ」と称する）と、後述する状態決定部で用いる移動対象の重なり率（重複率）に関する技術について説明する。

＜ＭＣＭＣについて＞
ＭＣＭＣを用いた移動対象の動きモデルは、各時間ステップにおいて動的に推定すべき状態が構成されていくことを特徴としている。このＭＣＭＣを適用することにより、移動対象を追跡する際において移動対象の見かけの複雑な変形や変化に対応させる効果を得ることができる。

ＭＣＭＣでは、通常、ＭＨアルゴリズム（Metropolis-Hastings algorithm）が適用され、新しい状態（変数）を選択していく。このＭＨアルゴリズムを用いて確率分布Ｐ（Ｘ）に従う変数Ｘのサンプリングを行う手順は、以下の通りである。

まず、現在の値Ｘ_０から次の値Ｘ_１を確率Ｔ（Ｘ_０｜Ｘ_１）で選択する。次に、選択された値Ｘ_１を採用するか否かを式（１）を用いて決定する。

式（１）の値が１以上の場合には常に採用し、１未満の場合には確率Ａ（Ｘ_０｜Ｘ_１）で採用（採用しない場合にはそのままで更新しない）するというステップを繰り返していくと、変数Ｘは確率分布Ｐ（Ｘ）に従うことになる。

すなわち、式（１）は、マルコフ連鎖過程が定常状態になるための詳細釣り合い条件に基づいており、Ａ＝１の場合に完全な定常状態となる。従って、Ａが１以上か又は１未満かで各過程での状態が判別できると共に、Ｘ_０とＸ_１との間での状態推移を調整することができる。

＜移動対象の重なり率（重複率）について＞
次に、移動対象の重なり率（重複率）に関する技術について説明する。移動対象の重なりとは、一つの移動対象に他の移動対象が覆い被さることから「ハイジャック問題」として知られている。従来法では、それぞれの移動対象を追跡している場合において、互いの移動対象が重なり合った後に、一方の移動対象を追跡している追跡指標が他方の追跡指標に入れ替わるという問題がある（図１（ｂ）参照）。

撮影された映像の画像フレームで移動している２つの移動対象ｉと移動対象ｊとの状態（位置、大きさ、形状）をそれぞれＳ_ｔ ^Ｘｉ、Ｓ_ｔ ^Ｘｊで表現した場合に、双方の重なりについては以下２つの評価指数を用いて定義することができる。なお、ｔは時間であり、Ｘは空間的な大きさを意味している。一つには、移動対象ｉから見て、どれだけ移動対象ｉであるかという重なり率（空振り率）を式（２）を用いて定義することができる。

また、移動対象ｉよりも移動対象ｊである重なり率（見逃し率）を式（３）を用いて定義することができる。

式（２）と式（３）とは右辺の分母が異なるのみであり、換言すれば、前者は移動対象ｉとしての可能性の高さを表し、後者は移動対象ｉではないことの可能性の高さを表している。

そして、式（２）及び式（３）に基づいて、２つの移動対象ｉと移動対象ｊとの全体的な重なり率については、調和平均を用いて統合した評価式（式（４））を利用して評価することができる。

このＦ_ｍ値を用いると、２つの移動対象の相互の重なり合いに関する確率（類似度）は、式（５）で与えられることになる。なお、λはハイパーパラメータである。

式（５）示すポテンシャルは、移動対象同士に重なりがない場合、すなわち、双方の距離が一定以上離れている場合にゼロ値となり、重なりがある場合には非ゼロ値となる。

従って、式（５）を用いて移動対象同士の重なり率を計算し、その計算結果がゼロか否かを重複に関する基準に用いることにより、２つ以上の対象が重なり合った後に、一方の対象と他方の対象とが不自然に入れ替わることを防止することが可能となる（図１（ａ）参照）。

＜移動対象追跡装置の構成について＞
続いて、本実施の形態に係る移動対象追跡装置の構成について説明する。図２は、移動対象追跡装置の機能構成を示す図である。この移動対象追跡装置１００は、入力部１１と、解析部１２と、仮推定部１３と、判定部１４と、本推定部１５と、状態決定部１６と、表示部１７と、記憶部３１とを備えている。

入力部１１は、カメラ等で撮影された複数の移動対象の映像の入力を受け付ける機能を備えている。なお、本実施の形態では、２つの移動対象を一例として以下説明する。

記憶部３１は、入力部１１で受け付けた後に入力された映像を時系列な複数の画像フレームをとして記憶する機能を備えている。このような記憶部３１としては、例えばメモリ、ハードディスク等の記憶装置を用いることが一般的であり、移動対象追跡装置１００の内部のみならず、インターネットや電話回線等の通信ネットワークを介して電気的に接続可能な外部の記憶装置を用いることも可能である。

解析部１２は、記憶部３１から画像フレームを読み出して、２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する機能を備えている。なお、本実施の形態で用いる追跡指標は楕円モデルであり、追跡指標の状態とは楕円モデルの形状・位置・大きさを意味するものである。具体的には、記憶部３１から読み出した画像フレームが撮影された時刻をｔ、２つの移動対象のインデックス（番号）をＩ_ｔ、画像フレーム内における移動対象の位置をベクトルＸ_ｔ＝｛Ｘ_ｔ，ｉ，ｉ∈Ｉ_ｔ｝、移動対象の数をｍ_ｔ＝｜Ｉ_ｔ｜（但し、ｍ_ｔ＜Ｍ（移動対象の最大数））とした場合に、この楕円モデルは式（６）に示す五次元ベクトルで表現することができる。

ただし、（Ｘ_ｔ，ｉ ^ｘ，Ｘ_ｔ，ｉ ^ｙ）は楕円モデルの中心座標であり、Ｘ_ｔ，ｉ ^ｗとＸ_ｔ，ｉ ^ｈは楕円モデルの短経と長経であり、Ｘ_ｔ，ｉ ^ｒは水平軸からみたときの楕円モデルの回転角度である。

仮推定部１３は、２つの移動対象の動きが正規分布に従うものとして、２つの追跡指標の次状態を仮推定する機能を備えている。解析部１２で解析された楕円モデルの現在状態をＸ_ｔ，ｉと、仮推定される次状態をＸ_{ｔ＋１，ｉ}との関係は、式（７）に示すシステムモデルを用いることができる。

ただし、［Δｘ，Δｙ，Δｗ，Δｈ，Δｒ］〜［Ｎ（０，σ_ｘ ^２），Ｎ（０，σ_ｙ ^２），Ｎ（０，σ_ｗ ^２），Ｎ（０，σ_ｈ ^２），Ｎ（０，σ_ｒ ^２）］であり、Ｎ（ａｖｅ，ｄｅｖ）は、平均値ａｖｅと分散値ｄｅｖを持つ正規分布関数である。本発明では、各移動対象を近似した楕円モデルに関するパラメータを全て確率関数により近似しているだめ、各移動対象の見かけの形状や大きさ等が時々刻々と変化した場合であっても、安定かつロバストに追跡することができると共に、揺らぎ変動分を吸収することもできる。

判定部１４は、現在状態から仮推定部１３で仮推定された次状態に遷移する遷移コストを求め、求めた遷移コストに基づいて追跡指標が重複しているかいないかを判定する機能を備えている。現在状態Ｘ_ｔ，ｉから、仮推定された次状態Ｘ_{ｔ＋１，ｉ}に遷移する遷移コストとしては、例えば式（８）を用いて計算することができる。

そして、式（８）の計算結果が一様乱数ｒ（∈［０，１］）以下の場合には重複していないと判定（更新タイプ）し、その計算結果が一様乱数ｒより大きい場合には重複していると判定（交換タイプ）する。なお、式（８）以外にも、μ〜Ｕ［０，１］の分布を用いることも可能である。但し、Ｕは一様分布の確率関数であり、平均値０、分散値１の乱数を発生させる関数である。

本推定部１５は、判定部１４で重複していないと判定（更新タイプ）された場合には、仮推定された次状態で各追跡指標の次状態をそれぞれ本推定する。即ち、仮推定された追跡指標のパラメータが、そのまま次状態における追跡指標のパラメータとなる。一方、重複していると判定（交換タイプ）された場合には、仮推定された互いの次状態を交換して本推定する機能を備えている。即ち、２つの追跡指標が重複している場合には、一方の追跡指標のパラメータを他方の追跡指標のパラメータで置換して、次状態における追跡指標のパラメータとする。

状態決定部１６は、本推定部１５で本推定された次状態に対する次確率分布と現在状態に対する現在確率分布とを画像フレームの画像濃淡値を用いて解析し、現在確率分布に対する次確率分布の比率を受容率として計算し、計算した受容率に基づいて本推定された次状態を採用するか否かを決定する機能を備えている。具体的には、次状態と現在状態との尤度比を受容率ａとし、更新タイプの場合には式（９）を用いて各楕円モデルについてそれぞれ受容率ａを計算し、交換タイプの場合には式（１０）を用いて受容率ａを計算する。

なお、式（９）及び式（１０）の分子に示された次確率分布と、分母に示された現在確率分布の計算については後述にて説明する。

そして、状態決定部１６は、ａ≧１の場合に本推定された状態Ｘ_ｔ，ｉ ^＊を採用し、そうでない場合には受容率を採用する。

表示部１７は、最終的に推定された次状態の楕円モデルをモニタ等に表示・出力する機能を備えている。

＜状態決定部における次確率分布や現在確率分布の計算について＞
本実施の形態では、観測モデルとして、２値及び色の２種類の画像特徴量を用いるものとする。これを条件付確率モデルでは、式（１１）に示すように表現することができる。

式（１１）は左辺の事象Ｘが生じた場合にＺが生じる確率を表現しており、右辺の２つは色モデル（ｃｏｌ）と２値化モデル（ｂｉｎ）との結合確率である。すなわち、事象Ｘが生じた時に２値化の画像特徴量Ｚ^ｂｉｎが生じ、この条件の下で色の画像特徴量Ｚ^ｃｏｌが生じる確率を表している。２値化モデルは移動対象のロバストな追跡を行うため、色モデルは同一の移動対象を終始追跡し続けるために用いられる。また、双方とも確率モデルなので、環境光やノイズによる色ムラ等の色彩変化について許容することができ、安定的に移動対象を追跡することができる。特に２値化モデルの場合には、極めて少ない情報量で演算することができ、高速に移動対象を追跡することが可能となる。なお、本実施の形態では２値と色とを結合させた結合確率を用いているが、２値化モデル又は色モデルを単独で用いることも可能である。また、テクスチャや他の画像特徴量を更に用いて結合確率とすることも可能である。

最初に２値化モデルについて説明する。２値化モデルの確率モデルは、移動対象である前景と移動対象でない背景とに関する結合確率モデルを用いる。ある画像フレームは、背景と前景の割合（確率）を用いて式（１２）に示すようにモデル化することができる。

なお、前景をＦとし、背景をＢとしている。また、前景モデルｐ（Ｚ_ｉ ^{ｂｉｎ，Ｆ}｜Ｘ_ｉ）は正規分布（ガウス分布）であるものとする。ここで、移動対象ｉを追跡する楕円モデルの状態をＳ^Ｘｉで表現すると、移動対象を追跡している楕円モデルがどれだけ前景Ｆ（移動対象）であるかを示す割合を式（１３）で定義することができる。

また、前景Ｆ（移動対象）に属する画素がどれだけの割合であるかを式（１４）で定義することができる。

なお、Ｓ^ＸｉはＸ_ｉについての空間情報であり、｜Ｆ｜は前景の面積である。一方、背景モデルｐ（Ｚ_ｉ ^{ｂｉｎ，Ｂ}｜Ｘ_ｉ）についても同様に、移動対象を追跡している楕円モデルがどれだけ背景Ｂであるかを示す割合を式（１５）で定義する。

また、背景Ｂに属する画素がどれだけの割合であるかを式（１６）で定義する。

すなわち、式（１３）〜式（１６）を用いて式（１２）を計算することで、次確率分布や現在確率分布を計算することができる。

また、式（１３）〜式（１６）を用いて式（４）や式（５）に示すような評価式を導出することにより、前景と楕円モデルとの重なり合いと、背景と楕円モデルとの重なり合いとを評価することが可能となる。例えば、移動対象である人を追跡する場合に、図３（ａ）に示すように一部を追跡（検出）したものとする。人と楕円モデルとの重なり合いについては式（１３）を用いて計算し、楕円モデルと人とが完全に一致する場合には１となり、全く重なっていない場合には０となる。背景と楕円モデルとの重なり合いについても同様である。そして、両者の調和平均において、Ｆｍ＞ｔｈ（閾値）の場合に、前景と背景そして楕円領域の重なりが最もよい状態とし、これ以外の場合には無視することができる。

なお。上述したｐ（Ｚ_ｉ ^{ｂｉｎ，Ｆ}｜Ｘ_ｉ）やｐ（Ｚ_ｉ ^{ｂｉｎ，Ｂ}｜Ｘ_ｉ）の確率分布は、例えば混合ガウスモデルを用いて具体的に計算することができる。ｍ次元の混合ガウスモデルについては、式（１７）で表現することができる。

ただし、ａ_ｋは平均値、Ｓ_ｋは共分散行列、π_ｋはｋ番目のガウス分布への重み付け量である。ＧＭＭにおける未知数は、ＥＭ（Expectation Maximization）法（非特許文献２参照）を用いて計算することができる。しかし、一般的には、収束性から二次元から五次元のＧＭＭを用いることが多い。

ＥＭ法は最尤推定法の一つであり、ＥステップとＭステップと称される２段階の数値解法からなり、一定の収束条件に到達するまでＥステップとＭステップとの間を反復的に計算し、上記３つのパラメータ（ａ_ｋ，Ｓ_ｋ，π_ｋ）を推定していく。ＥＭ法は極小解に陥りにくく最小値を導くことが可能である。Ｅステップにおいて、ある反復回数での確率α_ｋｉは式（１８）で表現できる。

そして、Ｍステップにおいて、ＧＭＭにおける３つのパラメータを更新する。

次に、色モデルについて説明する。移動対象を構成している画像濃淡値の画素の頻度数をヒストグラムと称する。ここでは、ＲＧＢの３色それぞれをＨ_ｉ（Ｘ）とする。但し、Ｘは移動対象ｉに関する画像濃淡値（Ｒ，Ｇ，Ｂ）である。

正規化したヒストグラムは式（２２）で表現することができる。なお、Ａ_ｉは移動対象ｉを囲む楕円の画素数である。

ある時刻ｉと次の時刻ｊとの間における色のヒストグラムに基づく移動移動対象の類似性は式（２３）を用いて計算することが可能となる。

なお、画像濃淡値はＲＧＢ分布において８ビットであって、１つの移動対象について２^２４ビットとなるが、色階調を粗く量子化することにより計算の効率化を図ることも可能である。

＜移動対象追跡装置の処理について＞
次に、本実施の形態に係る移動対象追跡装置の処理について説明する。なお、ある時刻ｔにおいて、一つ前の時刻での事前分布をｐ（Ｘ_ｔ−１｜Ｚ_ｔ−１）≒｛Ｘ_ｔ−１ ^（ｎ）｝_ｎ＝１ ^Ｎで表すものとする。但し、右辺はＮ個の状態変数からなるものとする。一方、現在の分布ｐ（Ｘ_ｔ｜Ｚ_ｔ）の近似表現は、マルコフ連鎖によってＮ_ｍ＋Ｎ_Ｂ個のサンプルデータが得られるものとする。なお、Ｎ_Ｂはｂｕｒｎ−ｉｎサンプルと称され、Ｎ_ｍはｂｕｒｎ−ｉｎで少なくなった数を補うためのサンプル数である。一般的に、ＭＣＭＣを適用した場合には、Ｎ_Ｂ＋Ｎ_ｍ個のサンプルで学習した後に、前半のデータＮ_Ｂ個については精度が安定しないことから、このデータを捨てて後半のデータＮ_ｍ個だけを用いることで精度を安定化することが可能となっている。

最初に、時刻ｔ−１からのサンプルデータを用いて初期化する（Ｓ１０１）。なお、サンプル数ｎ＝０とする。

次に、解析部１２が、２つの移動対象をそれぞれ示した２つの楕円モデルの現在状態を解析する（Ｓ１０２）。

続いて、仮推定部１３が、式（７）を利用して２つの楕円モデルの次時刻における次状態を仮推定する（Ｓ１０３）。

その後、判定部１４が、式（１０）を利用した計算結果に基づいて、更新タイプか交換タイプかを判定する（Ｓ１０４）。

本推定部１５が、更新タイプの場合には、仮推定された次状態で各追跡指標の次状態をそれぞれ本推定し、一方、交換タイプの場合には、仮推定された２つの次状態を交換して本推定する（Ｓ１０５）。

そして、状態決定部１６が、更新タイプの場合には、式（９）を用いて受容率を計算し、一方、交換タイプの場合には、式（１０）を用いて受容率を計算する（Ｓ１０６）。

状態決定部１６が、受容率の計算結果に基づいて、本推定した次状態を採用するか否かを決定する（Ｓ１０７）。

Ｓ１０７の処理と同時に、状態決定部１６が、サンプル数ｎをｎ＋１とし、マルコフ連鎖において、Ｘ_ｔ ^（ｎ）＝Ｘ_ｔ ^＊（ｎ）を付け加える。もし、本推定された状態Ｘ_ｔ，ｉ ^＊を採用しない場合には、マルコフ連鎖において前の時刻のサンプルを現在状態Ｘ_ｔ ^（ｎ）＝Ｘ_ｔ ^{（ｎ−１）}に加える（Ｓ１０８）。これは、前述した詳細釣り合い条件に基づいた処理である。

その後、状態決定部１６は、サンプル全体にわたって平均ベクトルを計算し、時刻ｔ＋１における楕円モデルの状態を推定する（Ｓ１０９）。なお、移動対象を増加する場合には、移動対象の総数を新しい移動対象が検出されるごとに増加させる。逆に、移動対象が減る場合には、所定の閾値を超えた場合にその追跡対象を消去して、現時点まで追加した移動対象の数を減少させることも可能である。

最後に、表示部１７が、推定された楕円モデルを画面に出力する（Ｓ１１０）。

＜実験結果について＞
本実施の形態で説明した移動対象追跡装置を用いて、水槽中を泳ぐ魚と屋外で歩いている人との追跡結果について説明する。

魚の追跡問題においては更新タイプを適用した。複数の魚がいる場合には群れをなすことが多い。そのため、単純に色の画像特徴量のみでは個体識別することは困難である。また、交換タイプを魚の群れに適応した場合には、絶えず置換処理が生じるため、置換型は魚の群れ追跡問題では適切でないと言える。そのため、魚の追跡問題ではオクルージョン問題は考慮しない。オクルージョンが生じた場合には消滅したものと捉え、再び見えるようになったときには新しい移動対象として検出される。なお、人の追跡問題では、オクルージョンを考慮している。

図４は、二人の歩行者が交錯する場合の実験結果である。二人が向かい合っている状態から次第に近づいてすれ違うときにオクルージョンが生じるが、交錯後においても、追跡指標である楕円Ｍ１，Ｍ２は、交錯前に追跡していた移動対象を追跡している検出結果を得ることができた。

図５は、一人の歩行者が壁に完全に隠れてしまう場合の実験結果である。左側から中央に近づいて数秒間壁の裏側で立ち止まり、右側へ歩行し始めている。この場合であっても、追跡指標である楕円は、移動対象を確実に追従する検出結果を得ることができた。

図６は、従来法の場合と本実施の形態の場合とにおける魚の追跡結果を示す図である。従来法では、中央の魚が急に移動する向きを変えたため、追跡することを失敗している。一方、本実施の形態では、２匹の魚について確実に追跡している。

なお、従来法の場合と本実施の形態の場合との追跡率の評価結果についても説明しておく。人と魚について２０種類以上の異なるシーンの映像を用いて実験を行った結果、平均的中率の改善率は、人の場合に４０％向上し、魚の場合に３０％向上した。なお。これら実験には、σ_ｘとσ_ｙは２〜５である。σ_ｗとσ_ｈとは０．０５〜０．５である。そして、σ_ｒについては、人の場合に０．０５〜０．３とし、魚の場合に０．５〜１．５とした。λは２〜２０であり、Ｎ_ｍ＋Ｎ_Ｂは２５０〜４００である。

本実施の形態によれば、マルコフ連鎖を用いて移動対象を追跡するので、見かけの変形や変化が生じた場合であっても移動対象を確実に追跡することができる。また、色（色彩）や２値（モノクロ）に関する結合確率関数を用いているため、高速性とロバスト性を高めることが可能となる。更に、追跡指標のパラメータを確率関数を用いて近似しているため、揺らぎ変動分を吸収することもできる。

最後に、各実施の形態で説明した移動対象追跡装置は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、各実施の形態で説明した移動対象追跡装置の各処理動作をプログラムとして例えばコンパクトディスクやフロッピー（登録商標）ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を移動対象追跡装置として機能させることができるのは勿論である。

なお、本実施の形態で説明した移動対象追跡装置は、マルチメディア分野、符号化分野、通信分野や、複数の対象を視覚的な情報を利用して追従することを必要とする産業分野において応用可能であることを付言しておく。

本実施の形態の場合と従来の場合とにおける２つの移動対象の追跡状況を説明する図である。移動対象追跡装置の機能構成を示す図である。楕円モデルと前景又は背景との重なりを説明する図である。本実施の形態における第１実験結果である。本実施の形態における第２実験結果である。本実施の形態における第３実験結果である。

符号の説明

１１…入力部
１２…解析部
１３…仮推定
１４…判定部
１５…本推定
１６…状態決定部
１７…表示部
３１…記憶部
１００…移動対象追跡装置
Ｓ１０１〜Ｓ１１０…ステップ

Claims

マルコフ連鎖を用いて移動対象を追跡する移動対象追跡装置において、
少なくとも２つの移動対象が撮影された映像を時系列な複数の画像フレームとして記憶する記憶手段と、
前記画像フレームを前記記憶手段から読み出して、前記２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する解析手段と、
前記２つの移動対象の動きが正規分布に従うものとして、前記２つの追跡指標の次状態を仮推定する仮推定手段と、
前記現在状態から前記次状態に遷移する遷移コストを求め、当該遷移コストに基づいて前記２つの追跡指標が重複しているかいないかを判定する判定手段と、
重複していないと判定された場合には、仮推定された前記次状態で前記２つの追跡指標の次状態をそれぞれ本推定し、重複していると判定された場合には、仮推定された互いの前記次状態を交換して本推定する本推定手段と、
本推定された次状態に対する次確率分布と前記現在状態に対する現在確率分布とを前記画像フレームの画像濃淡値を用いて解析し、当該現在確率分布に対する当該次確率分布の比率を受容率として計算し、当該受容率に基づいて本推定された前記次状態を採用するか否かを決定する状態決定手段と、を有し、
前記画像フレームの画像濃淡値は、前記移動対象である前景と当該移動対象でない背景との２値で表現されるものであって、
前記次確率分布は、前記前景と前記次状態の追跡指標との重複率と、前記背景と当該次状態の追跡指標との重複率とに基づいて求められ、前記現在確率分布は、前記前景と前記現在状態の追跡指標との重複率と、前記背景と当該現在状態の追跡指標との重複率とに基づいて求められることを特徴とする移動対象追跡装置。
前記次確率分布及び前記現在確率分布は、
色彩に関する画像特徴量を更に用いて求められることを特徴とする請求項１に記載の移動対象追跡装置。
前記仮推定手段は、
確率関数を前記追跡指標のパラメータに用いて前記２つの追跡指標の次状態を仮推定することを特徴とする請求項１又は２に記載の移動対象追跡装置。
前記状態決定手段は、
前記重複していないと判定された場合には、
を用いて前記２つの追跡指標についてぞれぞれ前記受容率を計算し、
前記重複していると判定された場合には、
を用いて前記受容率を計算することを特徴とする請求項１乃至３のいずれか１項に記載の移動対象追跡装置。
マルコフ連鎖を用いて移動対象を追跡する移動対象追跡装置で処理する移動対象追跡方法において、
前記移動対象追跡方法により、
少なくとも２つの移動対象が撮影された映像を時系列な複数の画像フレームとして記憶手段に記憶する第１ステップと、
前記画像フレームを前記記憶手段から読み出して、前記２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する第２ステップと、
前記２つの移動対象の動きが正規分布に従うものとして、前記２つの追跡指標の次状態を仮推定する第３ステップと、
前記現在状態から前記次状態に遷移する遷移コストを求め、当該遷移コストに基づいて前記２つの追跡指標が重複しているかいないかを判定する第４ステップと、
重複していないと判定された場合には、仮推定された前記次状態で前記２つの追跡指標の次状態をそれぞれ本推定し、重複していると判定された場合には、仮推定された互いの前記次状態を交換して本推定する第５ステップと、
本推定された次状態に対する次確率分布と前記現在状態に対する現在確率分布とを前記画像フレームの画像濃淡値を用いて解析し、当該現在確率分布に対する当該次確率分布の比率を受容率として計算し、当該受容率に基づいて本推定された前記次状態を採用するか否かを決定する第６ステップと、を有し、
前記画像フレームの画像濃淡値は、前記移動対象である前景と当該移動対象でない背景との２値で表現されるものであって、
前記次確率分布は、前記前景と前記次状態の追跡指標との重複率と、前記背景と当該次状態の追跡指標との重複率とに基づいて求められ、前記現在確率分布は、前記前景と前記現在状態の追跡指標との重複率と、前記背景と当該現在状態の追跡指標との重複率とに基づいて求められることを特徴とする移動対象追跡方法。
前記次確率分布及び前記現在確率分布は、
色彩に関する画像特徴量を更に用いて求められることを特徴とする請求項５に記載の移動対象追跡方法。
前記第３ステップは、
確率関数を前記追跡指標のパラメータに用いて前記２つの追跡指標の次状態を仮推定することを特徴とする請求項５又は６に記載の移動対象追跡方法。
請求項５乃至７のいずれか１項に記載の移動対象追跡方法における各ステップをコンピュータによって実行させることを特徴とする移動対象追跡プログラム。