JP2016071872A - 対象追跡方法と装置、追跡特徴選択方法 - Google Patents

Abstract

【課題】対象追跡方法、装置及び対象追跡に用いる追跡特徴選択方法を提供する。【解決手段】前記対象追跡方法は、対象の前フレームの画像中における位置に基づき訓練サンプルを生成すること、各訓練サンプルについて前フレームの画像中で前記対象の追跡に用いた各特徴の値を計算すること、各特徴について、その前の所定数のフレームの画像中の統計情報を取得すること、算出した前記各特徴の値およびその統計情報を利用して前記特徴の信頼性を確定すること、各特徴の信頼性に基づき、現在の画像中での対象追跡に用いる特徴を新たに確定すること、ならびに新たに確定した前記特徴を用いて前記対象の現在の画像中における位置を確定することを含む。【選択図】図１

Description

本発明は全体として画像識別に関し、より具体的には対象追跡方法と装置、ならびに対象追跡に用いる追跡特徴の選択方法に関する。

対象追跡技術はモニタリング、マン・マシン・インタラクション、車載ナビゲーション、ビデオ・インデックス等、多くの分野で幅広く応用されている。周知のとおり、対象追跡に使用される特徴は、追跡過程において非常に重要な役割を果たしている。今では、研究者が既に膨大な研究を行い、例えばグラデーション特徴、SIFT特徴、SURF特徴等を用いた対象追跡方法が提出されている。このような対象追跡方法の大多数で使用する特徴は、全て人が予め設定したもので、また追跡過程全体を通して変わることはない。しかし、例えば光線等の環境攪乱要因の影響、ならびに被追跡対象の運動過程で形状、運動速度等に変化が生じる可能性があるため、予め設定した固定特徴が追跡過程で常に被追跡対象の情報を良好に表すことができるとは言えない。

本発明の目的は、少なくとも上記問題を解決することにあり、具体的に言えば、追跡過程で、終始、被追跡対象を比較的良好に表すことのできる特徴を用いて対象を追跡し、対象追跡の正確度を高めることのできる対象追跡方法と装置、ならびに追跡特徴選択方法を提供することにある。

本発明の一つの面における実施例によると、対象の前フレームの画像中における位置に基づき訓練サンプルを生成すること、各訓練サンプルについて前フレームの画像中で前記対象の追跡に用いた各特徴の値を計算すること、各特徴について、その前の所定数のフレームの画像中の統計情報を取得すること、算出した前記各特徴の値およびその統計情報を利用して前記特徴の信頼性を確定すること、各特徴の信頼性に基づき、現在の画像中での対象追跡に用いる特徴を新たに確定すること、ならびに新たに確定した前記特徴を用いて前記対象の現在の画像中における位置を確定することを含む対象追跡方法を提供する。

本発明の別の面における実施例によると、対象の前フレームの画像中における位置に基づき訓練サンプルを生成するために配置するサンプル生成ユニット、各訓練サンプルについて、前フレームの画像での前記対象の追跡に用いた各特徴の値を計算するために配置する第一計算ユニット、各特徴について、その前の所定数のフレームの画像中における統計情報を取得するために配置する統計ユニット、算出した前記各特徴の値およびその統計情報を用いて前記特徴の信頼性を確定するために配置する信頼性確定ユニット、各特徴信頼性に基づき、現在の画像での対象追跡に用いる特徴を新たに確定するために配置する特徴選択ユニット、ならびに新たに確定した前記特徴を用いて、前記対象の現在の画像における位置を確定するために配置する検出ユニットを含む対象追跡装置を提供する。

本発明の第三の面における実施例によると、対象の前フレームの画像における位置に基づき訓練サンプルを生成すること、各訓練サンプルについて、前フレームの画像での前記対象の追跡に用いた各追跡特徴の値を計算すること、各追跡特徴について、その前の所定数のフレームの画像中の統計情報を取得すること、算出した前記各追跡特徴の値およびその統計情報を利用して、前記追跡特徴の信頼性を確定すること、各追跡特徴の信頼性に基づき、現在の画像中での対象追跡に用いる追跡特徴を選択することを含む、対象追跡に用いる追跡特徴選択方法を提供する。

本発明の実施例による対象追跡および追跡特徴選択技術は、追跡過程において、表現が比較的劣る特徴を絶えずオンラインで更新し、追跡過程で、終始、比較的良好に被追跡対象を表すことのできる特徴を用いた対象追跡が可能になり、対象追跡の正確度を向上することができる。

本発明の実施例による対象追跡方法のフローチャートを示した図である。 画像中で訓練サンプルを生成する概念画像の例を示した図である。 正の訓練サンプルに対しアフィン変換を行った後に得られた、複数例のアフィン変換後の正の訓練サンプルを示した図である。 は負の訓練サンプルに対しアフィン変換を行った後に得られた、複数例のアフィン変換後の負の訓練サンプルを示した図である。 一般ハール特徴の概念画像の例を示した図である。 複数の一般ハール特徴の概念画像の例を示した図である。 正の訓練サンプル序列と負の訓練サンプル序列、および特徴の正の訓練サンプル序列と負の訓練サンプル序列上におけるガウス分布を例示した図である。 本発明の実施例による対象追跡方法で、各特徴の信頼性に基づき、現在の画像中で行う対象追跡に用いる特徴を新たに確定する処理のフローチャートを示した図である。 特徴更新過程の概念図の例を示した図である。 本発明の実施例による対象追跡方法で、新たに確定した特徴を用いて、対象の現在の画像における位置を確定する処理のフローチャートを示した図である。 現在の画像の所定区域から複数の候補画像ブロックを選択する概念画像を例示した図である。 本発明の実施例による対象追跡装置の機能構成ブロック図を示した図である。 本発明の実施例による対象追跡システムの全体ハードウェア・ブロック図を示した図である。

当業者に本発明をより良く理解していただくために、以下、添付図と具体的な実施方法を結合させ、本発明について更に詳細に説明する。

先ず、本発明の実施例による対象追跡技術の基本思想について簡潔な説明を行う。前述のように、予め設定した固定特徴は、追跡過程において、常に良好に被追跡目標対象の情報を表現できるというわけではないので、本発明の実施例では、各画像中で対象追跡を行う時、全て先ずオンラインで特徴更新プロセスを行い、その後、更新後の特徴を用いて本画像中で対象追跡を行う。具体的には、現在のフレーム（例えば第Tフレーム）中で対象追跡を行おうとする時に、先ず、現在、追跡に用いている各特徴（即ち、一つ前のフレーム（第T-1フレーム）で対象追跡を行った時に用いた各特徴）が適当か否かを判断し、その中に表現の良くない特徴が幾つかあれば、新しい特徴を用いて、これら表現の良くない特徴を差し替え、特徴の更新を行い、それから、更新後の特徴を用いて現在のフレーム（第Tフレーム）中で対象追跡を行う。このように、追跡過程において、表現の比較的劣る特徴を絶えずオンラインで更新することにより、追跡過程で終始、比較的良好に被追跡対象を表現することのできる特徴を用いて対象を追跡し、これにより対象追跡の正確度を高めた。

図1は本発明の実施例による対象追跡方法のフローチャートを示した。

図1に示すように、ステップS110で、対象の前フレームの画像中における位置に基づき、訓練サンプルを生成する。

対象の画像中の位置は、如何なる適当な方式で表してもよく、本実施例では、前記対象の最小外接四角枠を用いて前記対象の画像中の位置区域を表す。当該ステップで、対象の前フレームの画像中の位置区域にある画像ブロックに基づき、前記前フレームの画像中で複数の訓練サンプルを生成する。

前記訓練サンプルの生成には、如何なる適当な方式を用いることもでき、例えば、選択的に、前フレームの画像中で、対象の前フレームの画像中における位置との距離が第一距離より小さい各画像ブロックを選択し正の訓練サンプルとし、対象の前フレームの画像中における位置との距離が第二距離より大きく、かつ第三距離より小さい各画像ブロックを選択し負の訓練サンプルとすることができ、このうち第二距離は前記第一距離より大きいか或いは等しい。図2は画像中で訓練サンプルを生成する概念画像の例を示した。具体的には、図2に示すように、仮に被追跡対象を車両とすると、画像中の四角枠は、前記車両の一つ前のフレーム（第T-1フレーム）の画像中の位置区域を表し、前記四角枠の中心点Aは車両の中心を表す。図2では、中心点Aを円心とし、長さR1、R2およびR3をそれぞれ半径とする三個の点線円C1、C2およびC3も示した。前記例では、中心点が円C1にある区域内で、画像中の四角枠と同じ大きさの任意の四角枠を選択し正の訓練サンプルとし、中心点が円C2およびC3の間にある区域内で、画像中の四角枠と同じ大きさの任意の四角枠を選択し負の訓練サンプルとすることができる。

その他、より多くの訓練サンプルを取得するため、選択的に、上記のように生成した正の訓練サンプルと負の訓練サンプル中の各訓練サンプルに対してアフィン変換を行い、複数のアフィン変換後訓練サンプルを得ることができる。各訓練サンプルにアフィン変換を行った後に生成する訓練サンプルの個数は、具体的な状況に応じて任意に設定することができる。図3aは正の訓練サンプルに対しアフィン変換を行った後に得られた複数例のアフィン変換後の正の訓練サンプルを示し、図3bは負の訓練サンプルに対しアフィン変換を行った後に得られた複数例のアフィン変換後の負の訓練サンプルを示した。

ステップS120で、各訓練サンプルについて、前フレームの画像中で前記対象の追跡に用いた各特徴の値を計算する。

前に述べたように、現在、研究者は、例えばグラデーション特徴、SIFT、SURF等の各種特徴を用いた対象追跡方法を既に提供してきた。本発明の実施例では、任意の前記特徴を用いて対象追跡を行うことができる。以下の文中では、generalized haar（一般ハール）特徴を用いて例とし説明を行う。

一般ハール特徴は公知の常用的なグラデーション特徴で、画像中の一連の小画像ブロック内の画素の和の加重合計を表す。例えば、一般ハール特徴iの値f_iは公式（1）により計算できる。

このうち、p_kは小画像ブロックkの画素の和を表し、θ _k は小画像ブロックkのウェイトを表す。ウェイト値θ _k は任意に設定でき、例えば、θ _k =−1,0,1、かつ画像中の一連の小画像ブロックについて、大部分の小画像ブロックのウェイトを0と設定し、ただランダムに選択した若干の小画像ブロックのウェイトだけを−1或いは1とすることができる。その他、任意の小画像ブロックkについては、0<k_w≦w,0<k_h≦hを満足しなければならず、このうちk_w,k_hはそれぞれ小画像ブロックkの幅と高さであり、wとhはそれぞれ画像の幅と高さである。

ウェイト値が0である小画像ブロックは、一般ハール特徴の値に対して、実際上、如何なる貢献もないので、一般ハール特徴は画像中のウェイト値が0でない若干の小画像ブロックから形成されると理解することもできる。例えば、図4は一般ハール特徴の概念画像の例を示した。図4に示すように、f_iは画像中の5個の小画像ブロック内の画素の和の加重合計であり、このうち実線で示した3個の小画像ブロックのウェイト値は−1或いは1に設定され、点線で示した2個の小画像ブロックのウェイト値は0に設定されているので、この状態については、f_iは画像中に実線で示した3個の小画像ブロックの形成する一般ハール特徴の値であると考えることもできる。画像に対して、ランダムに異なる小画像ブロック（これらの小画像ブロックのウェイト値は0でない）を選択することにより、複数の一般ハール特徴を得られるということが理解できる。

当該ステップでは、図3aと3bの例示するような各訓練サンプルについて、一つ前のフレーム（第T-1フレーム）の画像中で対象追跡に用いた各特徴の値を計算する。例えば、第T-1画像中で対象を追跡する時に、図5に示す3個の一般ハール特徴を用いたと仮定すると、ステップS110中で生成した各訓練サンプルについて、図5に示すような3個の一般ハール特徴の値を計算する、即ち、各前記訓練サンプルについて、図5に示す一般ハール特徴を形成する画像ブロックの対応位置にある画像ブロック内の画素の和の加重合計を計算する。

図1に戻り、ステップS130で、各特徴について、その前の所定数のフレームの画像中の統計情報を取得する。

統計情報は如何なる適当な情報でもよく、以下の文中では、特徴のガウス分布パラメータを用いてその統計情報とする例で説明する。追跡過程で、画像序列中の各画像で追跡するものは終始、同じ目標対象なので、理想的状態では、同じ一般ハール特徴の各画像の各正の訓練サンプル中での対応値は基本的に同じはずであり、即ち、ガウス分布を満足し、同じ一般ハール特徴の各画像の各負の訓練サンプル中での対応値も、背景画像の変化に連れて異なるところがあるとしても、やはりガウス分布を満足し、ただガウス分布の分散が少し大きいだけである。この認識に基づき、本実施例では、ガウス分布を使って各一般ハール特徴の時間序列上の分布を表す。例えば、図6に示すように、図の左側の二つの画像序列はそれぞれ前の所定数のフレームの画像の正の訓練サンプル序列と負の訓練サンプル序列であり、F_jは画像のフレーム番号を表し、iはある一般ハール特徴を表し、図の右側部分はそれぞれ前記特徴の正の訓練サンプル序列と負の訓練サンプル序列上のガウス分布を示す。具体的には、特徴iについて、前記特徴の正の訓練サンプル序列上のガウス分布、ならびに負の訓練サンプル序列上のガウス分布は、公式（2）により表すことができる。

このうち、
（外１）

と
（外２）

はガウス分布のパラメータで、それぞれ特徴iの正の訓練サンプル上の平均値と分散、ならびに特徴iの負の訓練サンプル上の平均値と分散を表す。

ステップS140で、算出した前記各特徴の値およびその統計情報を利用して、前記特徴の信頼性を確定する。

ステップS140では、先ず、ステップS120で算出した各特徴の値を利用し、前記各特徴中の各特徴の、前の所定数のフレームの画像におけるガウス分布のパラメータ（即ち、平均値と分散）を更新する。一つの選択的な方法として、各特徴に対し、以下の公式（3）に示すように、カルマン・フィルタに類似した更新メカニズムを用いて前記特徴のガウス分布パラメータを更新することができる。

公式（3）に示すような更新が、特徴の正の訓練サンプル序列上のガウス分布と負の訓練サンプル序列上のガウス分布に等しく適用されるので、前記公式（3）では正負の訓練サンプルに対する区別がない。具体的には、公式（3）において、μ_t-1とμ_tはそれぞれ更新前後の特徴iの訓練サンプル上での平均値を表し、σ² _t-1とσ² _tはそれぞれ更新前後の特徴iの訓練サンプル上での分散を表し、f_iはステップS120で算出した特徴値、Kはカルマンゲイン、Rはノイズ共分散、Pは誤差共分散で、RとPの初期値は具体的なニーズに応じて予め設定できる。

上記カルマン・フィルタ更新メカニズムは、ただの一例に過ぎず、如何なる他の適当な方式も用いても、ステップS120で算出した各特徴の値を利用して、各特徴のガウス分布のパラメータを更新することができる。例えば、最も直接的な方法としては、公式（4）に示すように、平均値と分散の数学的意味に基づき、直接、ガウス分布の平均値と分散パラメータを更新することができる。

その他、当該ステップでは、各特徴について、各訓練サンプルに対して1回、ガウス分布パラメータの更新を行うことも、全訓練サンプルに1回だけガウス分布パラメータの更新を行うこともできる。例えば、特徴mを例にすると、ステップS120で、ステップS110で生成した各訓練サンプルに対し、等しく前記特徴mの値f_mを計算したので、仮に100個の訓練サンプルが存在すると仮定すると、100個のf_m値が計算される。前記状況では、当該ステップS130で、この100個の訓練サンプルに対し100回のガウス分布パラメータの更新を行うことも、即ち、前記100個のf_m値をそれぞれ応用して、例えば公式（3）或いは（4）に示す更新計算を行うことも、前記100個のf_m値の平均値を算出し、前記平均値を応用して例えば公式（3）或いは（4）に示す更新計算を1回、行うこともできる。

各特徴のガウス分布パラメータを更新した後、各特徴について、その更新後のガウス分布パラメータに基づき、前記特徴の信頼性を確定する。

特徴の信頼性は、前記特徴を用いて対象追跡を行い取得した追跡結果の信用度を反映する。特徴が信頼できるか否かは、多くの面から評価することができる。例えば、一例として、特徴の安定性と区分可能性を用いて特徴の信頼性を確定することができる。

特徴の安定とは、特徴の対象追跡過程全体での変化が大きくないことを指す。特徴が安定していれば、その正の訓練サンプル序列上での値の分散は小さいはずであり、またその負の訓練サンプル上での値の分散も比較的小さいに違いない。区分可能性とは、特徴の正の訓練サンプル上での値と負の訓練サンプル上での値の差が比較的大きいこと、即ち、前記特徴が被追跡対象に特有で、背景或いはその他の対象は前記特徴をもっていないことを示しており、このようにして、前記特徴により被追跡対象を容易に検出することができる。特徴が区分可能であれば、その正の訓練サンプル序列上の平均値と負の訓練サンプル序列上の平均値の差は比較的大きいに違いない。特徴の安定性と区分可能性に基づき、前記特徴の信頼性V_fを確定する方式の例を以下のように示す。

このうち、σ_p ²とσ_n ²はそれぞれある特徴の正の訓練サンプル上および負の訓練サンプル上の分散を表し、μ_pとμ_nはそれぞれ前記特徴の正の訓練サンプルおよび負の訓練サンプル上での平均値を表し、N_σ(σ_p ²,λ_σ ^p)、N_σ(σ_n ²,λ_σ ⁿ)およびN_μ((μ_p−μ_n)²,λ_μ)は等しく正規化関数で、それぞれσ_p ²、σ_n ²、(μ_p−μ_n)²を、例えば(0,1)の範囲内に正規化するために用いるものであり、λ_σ ^p、λ_σ ⁿとλ_μは相応するズームファクタである。この三個の正規化関数は、任意の適当な関数公式を用いることができ、ただN_σ(σ_p ²,λ_σ ^p)とN_σ(σ_n ²,λ_σ ⁿ)が逓減関数で、N_μ((μ_p−μ_n)²,λ_μ)が逓増関数であるか、或いはN_σ(σ_p ²,λ_σ ^p)とN_σ(σ_n ²,λ_σ ⁿ)が逓増関数で、N_μ((μ_p−μ_n)²,λ_μ)が逓増関数でありさえすればよい。例として、以下のような関数公式を用いることができる。

ズームファクタλ_σ ^p、λ_σ ⁿとλ_μの取る値は、用いる具体的な関数公式で決まり、またどのようにこれらのズームファクタの値を確定するかは本分野では公知のものである。ここでは、ただ説明の形を整えるために、公式（6）のズームファクタλ_σ ^p、λ_σ ⁿとλ_μを確定する方法の例を簡単に説明する。

仮に、ある特徴の形成に用いる各小画像ブロック中の画素の和p_lが全てp_l∈[s_min,s_max]を満足すると仮定すると、前記特徴の、正の訓練サンプルおよび負の訓練サンプルを含む各サンプル中の値の範囲は全て

と表される。

このうち、n_-1とn₁はそれぞれウェイトθが-1と1に等しい画像ブロックの個数である。

とすると、公式（7）は

と書き改めることができる。

このようにして、前記特徴の各訓練サンプル中の平均値の範囲は、

と表すことができる。

このうち、sは訓練サンプルの番号、f_i ^sは特徴iの訓練サンプルs中での値である。

前記特徴の各訓練サンプル中での分散の範囲は、

と表せる。

ここで、

である。

ズームファクタλ_σ ^p、λ_σ ⁿは等式（10）に示すような分散範囲[0,σ² _max]内の任意の値を取ることができ、ズームファクタλ_μは等式（9）に示すような平均値範囲[f_min,f_max]内の任意の値を取ることができる。

以上、例を挙げて特徴の安定性と区分可能性を用いて特徴の信頼性を確定することを説明した。以上の説明で、特徴の正の訓練サンプル序列上での値の分散、および負の訓練サンプル上での値の分散の度合いにより、前記特徴が安定しているか否かを判断するが、これは特徴が安定しているか否かを判断する方法の一例に過ぎず、他の方式によっても特徴が安定しているか否かを判断することができる。例えば、ある特徴の正の訓練サンプル序列上でのガウス分布確率の和、ならびに負の訓練サンプル序列上でのガウス分布確率の和をそれぞれ計算し、前記ガウス分布確率の和が大きいほど、前記特徴は安定していると説明することができる。同様に、特徴の区分可能性についても、上記文中で説明した方式以外の他の方式により、特徴が区分可能性を有しているか否かを判断することができる。例えば、ある特徴の正の訓練サンプル序列上でのガウス分布確率の和と、前記特徴の負の訓練サンプル序列上でのガウス分布確率の和の比率を計算して、前記比率が大きいほど前記特徴の区分可能性は良好であると説明することができる。

別の面では、上記文中で説明した、特徴の安定性と区分可能性を用いて特徴の信頼性を確定することは一例に過ぎず、事実上、他の適当な要素を用いて特徴の信頼性を評価することもでき、例えば、安定性のみを用いて、或いは区分可能性のみを用いて特徴の信頼性を確定することができる。

ステップS150では、各特徴の信頼性に基づき、現在の画像中での対象追跡に用いる特徴を新たに確定する。

以下、図7を参考に当該ステップでの処理について詳細な説明を行う。

図7に示すように、ステップS710で、信頼性に基づき、前記各特徴をソートする。

当該ステップでは、ステップS140で確定した各特徴の信頼性の高低に従い特徴をソートする。例えば、ステップS140で公式（5）を用いて各特徴の信頼性を確定したとすると、当該ステップS710で信頼性が大きい特徴ほどソートが前になり、信頼性が小さい特徴ほどソートが後ろになる。

ステップS720で、後ろの所定位置に並んだ特徴を取り除く。

後ろに並んだ特徴は信頼性が比較的劣り、前記特徴を用いて対象追跡を行った追跡結果の信頼性が比較的劣る。このため、追跡結果の正確性を保証するため、これら、信頼性の劣る特徴を取り除くことができる。

具体的には、ステップS710で得られたソート結果に基づき、後ろの所定位置に並んだ特徴を取り除く。前記後ろの所定位置は、具体的な状況に応じて任意に設定でき、例えば、後ろ三分の一の特徴、後ろ四分の一の特徴、後ろ五分の一の特徴等でよい。

選択として、ある特徴の信頼性が比較的低いのは、取得した画像中にノイズ等、他の攪乱要因が存在したために生じたのかも知れないことを考慮し、後ろに並んだ特徴について、直ちにこれらの特徴を取り除くのでなく、これらの特徴が一定時間の追跡過程で、終始、比較的低い信頼性なのか否か、即ち、現在のソートならびに前の所定数のフレームの画像中での追跡に対応するソートで、全て後ろの所定位置に並んだのか否かを観察し、そのような場合にのみ初めてこれらの特徴を取り除く。前記前の所定数のフレームの画像の具体的数は、実際状況により任意に設定でき、例えば5フレーム、10フレーム、15フレーム等でよい。以下、例を挙げて、これについて説明する。

具体的に、仮に、現在、第T画像中で目標対象を追跡していて、前記後ろの所定位置は後ろ四分の一の特徴とし、また上記の文中で説明したような各ステップにより、既に第T-1画像中で前記目標対象を追跡するのに用いる12個の特徴のうちの特徴6-8の信頼性が、ソート第10-12位、即ち後ろ四分の一に確定したと仮定する。この時、直ちに特徴6-8を取り除くのではなく、それらの一定時間の追跡過程、例えば前5フレーム（即ち、第T-1フレームから第T-5フレームまで）の画像中での追跡のオンライン特徴更新過程（より具体的には、オンライン特徴更新過程での特徴ソート）でも第10-12位に並んでいるか否かを見る。仮に特徴8が前5フレームの画像中での追跡に対応するソートにおいて、全て第10-12位に並んだとすると、特徴6と7は全く第10-12位に並んではいないので、特徴8だけを取り除く。

ステップS730で、除去した特徴数に相当する特徴を選択し除去した前記特徴と差し替える。

当該ステップでは、ランダムに前記特徴を選ぶことも、各種所定ルールに従って前記特徴を選ぶこともでき、例えば、各特徴の関連度を計算することにより、それとの関連度が最も大きい特徴を選ぶことができる。選択する前記特徴は、予め生成した特徴で組成した特徴プールから抽出することも、当該ステップで生成することもできる。選択する前記特徴は、除去した特徴と同じ類型の特徴である。例えば、上記の文中では、一般ハール特徴を用いて追跡を行うことを例として説明したので、即ち、除去した特徴は一般ハール特徴であり、当該ステップでは、除去した一般ハール特徴の数と等しい一般ハール特徴を選択する。選択した前記特徴とまだ取り除かれていない特徴は、現在の画像中で対象追跡を行うのに用いる特徴を形成する。

図8は図7に示すような特徴更新プロセスの概念図の例を示した。図8に示すように、図の第一行目の円の各円は、前フレームの画像で対象追跡に用いた特徴を表し、これらの特徴にステップS140の処理を行うことにより、各特徴の信頼性を計算し、図に示した第二行目の円が得られ、このうち、大きい円ほど、その表す特徴の信頼性が高くなり、逆であれば信頼性が低くなる。これらの特徴にステップS710の処理を行うことにより、即ち、信頼性に応じて特徴をソートすることにより、図に示した第三行目の円が得られる。第三行目の円の上の点線の四角枠は、今回、後ろの所定位置（後部二位）に並んだ特徴を選択し囲んだものである。仮に、後ろ二個の特徴のうち、最後の特徴が、前の所定数のフレームの画像中での追跡に対応するソートにおいても後部二位に並んだとすれば、ステップS720で前記最後の特徴を取り除き、またステップS730でランダムに一つの特徴を選び前記特徴に差し替え、これにより図8の第四行目の円を得る。

図1に戻り、ステップS160で、前記の新たに確定した特徴を用いて、前記対象の現在の画像での位置を確定する。

前の文中で述べたように、例えば一般ハール特徴の画像特徴を用いて対象追跡を行うことに関しては、本分野に既に大量の研究があるため、当該ステップS160では、如何なる適当な方法を用いても、新たに確定した特徴に基づき、前記対象の現在の画像における位置を確定することができる。ここでは、ただ説明の形を整えるために、図9を参考に当該ステップについて簡単な説明を行う。勿論、以下、図9を参考に説明することは、実現可能な方式の一例に過ぎず、また本発明に対する制限でもない。

図9は本発明の実施例による、新たに確定した特徴を用いて、対象の現在の画像中における位置を確定する処理のフローチャートを示した。

図9に示すように、ステップS910で、現在の画像の所定区域から複数の候補画像ブロックを選択し、各候補画像ブロックについて、新たに確定した各特徴の値を計算する。

前記所定区域は任意に設定した関心区域であり、例えば、対象の一つ前のフレームでの位置ならびに対象の運動情報に基づき予測した、現在の画像中で前記対象を含む区域でもよく、対象の一つ前のフレーム中での位置区域が現在のフレーム中で対応する位置区域でも、或いは前記対応位置区域に比べ大きい所定サイズの区域でもよく、更には現在のフレームの区域全体でもよい。

前に述べたように、本実施例では、対象の最小外接四角枠を用いて前記対象の画像における位置区域を表す。このため、当該ステップで選択した候補画像ブロックは、実際には対象の現在の画像での候補位置区域にある画像ブロックである。如何なる所定ルールに従って複数の前記画像ブロックを選択してもよい。選択的に、全ての可能な候補画像ブロックをできるだけ取得し、対象の現在の画像中の位置区域にある画像ブロックを漏らすことがないようにするため、本実施例では、大きさの異なるスライディング四角枠を用いて現在の画像の所定区域をスライディングさせ、前記所定区域全域を移動するまで行う。より明確に言えば、仮にS種の大きさの異なるスライディング四角枠を選択したとすると、その中の各スライディング四角枠を全て用い、所定の長さで、現在の画像の所定区域内で所定区域全域を万遍なく移動するまでスライディングさせ、その中で前記スライディング四角枠がスライドした各位置にある画像ブロックを候補画像ブロックとする。選択した各種の大きさのスライディング四角枠は、等しく0<w≦I_w、0<h≦I_hを満足しなければならないが、このうちwとhはそれぞれ四角枠の幅と高さであり、I_w、I_hはそれぞれ所定区域の幅と高さである。所定の長さは一つの画素でも、複数の画素でもよく、それは演算量、追跡精度、追跡効率等の要素を考慮し、具体的な状況に応じて設定することができる。

図10は前記のように現在の画像の所定区域から複数の候補画像ブロックを選択する概念画像を例示した。図10に示すように、左側の画像の大きな四角枠は現在の画像の所定区域、小さい四角枠はスライディング四角枠の一例であり、右側の画像は各種の大きさのスライディング四角枠をスライドさせて得られた複数の候補画像ブロックの例を示した。

候補画像ブロックを確定した後、各候補画像ブロックについて前記の新たに確定した各特徴（一般ハール特徴）の値を計算する。前記計算処理の具体的操作は、上記文中で説明した図1のステップS120の操作と基本的に同じであり、ここで再び詳細な説明は行わない。

ステップS920で、各候補画像ブロックについて計算して得られた各特徴の値に基づき、前記対象の現在の画像中における位置を確定する。

本実施例では、対象の最小外接四角枠を用いて前記対象の画像における位置区域を表し、候補画像ブロックは対象の現在の画像中での候補位置区域にある画像ブロックであるため、当該ステップでは実際に、各候補画像ブロックについて計算して得られた各特徴の値に基づき、対象の現在の画像における位置区域に対応する候補画像ブロックを確定する。この操作は分類器により実現することができる。

具体的には、先ず前記の新たに確定した特徴を用いて分類器を構築する。どのように分類器を構築するかは当業者には公知のことなので、以下では構築方式の例を簡単に紹介する。

前の文中での記載により分かるように、新たに確定した各特徴の信頼性は同じではなく、追跡の正確性を高めるため、図7のステップS710で信頼性に従ってソートする時に、前L位に並ぶ特徴だけを用いて分類器を構築することができる。Lの値は具体的な状況に応じて設定でき、例えばLはN/2に等しくてもよく、或いはLはN/2より大きく、かつN-Mの値より小さくてもよく、このうちNは新たに確定した特徴の総数、Mは図7のステップS720で述べた「後ろの所定位置」の数である。

別の面で、構築した分類器は、例えばSVM、ada boost、ベイズ等、各種の適当な分類器でよい。単純なベイズ分類器を例に用いて、以下のような分類器を構築することができる。

このうち、Cは判定点数、y∈{0,1}は二分変量で、訓練サンプルの正負を表し、1は正の訓練サンプル、0は負の訓練サンプルを表す。ここで正負の訓練サンプルの先験的確率が同じと仮定すると、即ち、P(y=1)=P(y=0)となる。

信頼性の高い特徴ほど最後の判定点数Cに対する影響が重要となることを考慮すると、選択的に、図1のステップS140で計算した各特徴の信頼性をウェイトとすることができ、これから以下のような分類器を構築する。

このうち、V_fiは特徴iの信頼性である。

上記のように分類器を構築した後、構築した分類器を利用して複数の候補画像ブロックを分類し、これによって対象の現在の画像における位置区域に対応した候補画像ブロックを確定し、これから対象の現在の画像中における位置を確定する。具体的には、公式（11）或いは（12）に示すように、各候補画像ブロックについて計算して得られた各特徴の値を利用し、構築した分類器で複数の候補画像ブロック中の各候補画像ブロックについて判定点数Cを計算し、そのうち判定点数Cが最も高い候補画像ブロックを、対象の現在の画像における位置区域に対応した候補画像ブロックとし、これにより対象の現在の画像中における位置を確定する。

以上、分類器を用いて、当該ステップS920の、対象の現在の画像中における位置を確定する処理を説明したが、これは実現方式の一例に過ぎず、例えばテンプレート・マッピング、状態空間モデリング等、他の適当な方式によっても、対象の現在の画像における位置を確定することができる。

以上で既に、図1を参考に、本発明の実施例による対象追跡方法を説明した。追跡最初フレームを除く後続の各フレームに前記対象追跡方法を行うことにより、持続的に対象を追跡することができる。追跡最初フレームについては、予めその中に追跡する対象をマーキングしておくので、図1を参考にして説明した対象追跡方法を行う必要はない。しかしながら、前記追跡最初フレーム中で、所定数の特徴を生成して前記最初フレーム中で前記対象の追跡に用いる各特徴とみなし、これによりその後の第二フレームで追跡を行う時に、これらの生成した特徴を基礎にオンラインで特徴更新プロセスを行い、更新後の特徴を用いて、前記第二フレーム中で対象追跡プロセスを行う。前記追跡最初フレーム中でどのように前記所定数の特徴を生成するかについては、ランダムに生成してもよいし、追跡対象の違いに応じて予め設定した望ましい追跡特徴等、予め設定したルールに基づき生成してもよい。追跡最初フレーム中に生成した特徴は前に述べたような一般ハール特徴、SIFT、SURF等、各種の適当な特徴でよく、具体的に、本実施例では、一般ハール特徴を採用する。

本発明の実施例による上記対象追跡方法は、追跡過程で絶えずオンラインで表現の比較的劣る特徴を更新し、追跡過程で、終始、比較的良好に被追跡対象を表せる特徴を用いて対象を追跡することができ、これにより対象追跡の正確度を高めた。

以下、図11を参考に本発明の実施例による対象追跡装置を説明する。

図11は本発明の実施例による対象追跡装置1100の機能配置ブロック図を示した。

図11に示すように、対象追跡装置1100は、対象の前フレームの画像における位置に基づき訓練サンプルを生成するために配置するサンプル生成ユニット1110、各訓練サンプルについて、前フレームの画像中で前記対象の追跡に用いた各特徴の値を計算するために配置する第一計算ユニット1120、各特徴について、その前の所定数のフレームの画像中の統計情報を取得するために配置する統計ユニット1130、算出した前記各特徴の値およびその統計情報を利用して、前記特徴の信頼性を確定するために配置する信頼性確定ユニット1140、各特徴の信頼性に基づき、現在の画像中での対象追跡に用いる特徴を新たに確定するために配置する特徴選択ユニット1150、ならびに前記の新たに確定した特徴を用いて、前記対象の現在の画像中における位置を確定するために配置する検出ユニット1160を含むことができる。

選択的に、前記特徴選択ユニット1150は更に、信頼性に応じて前記各特徴をソートするために配置するソート・ユニット1151、後ろの所定位置に並んだ特徴を取り除くために配置する除去ユニット1152、取り除いた特徴数に相当する特徴をランダムに選択し、取り除いた前記特徴と差し替えるために配置する差し替えユニット1153を含む。

選択的に、前記検出ユニット1160は更に、現在の画像の所定区域から複数の候補画像ブロックを選択し、各候補画像ブロックについて新たに確定した各特徴の値を計算するために配置する第二計算ユニット1161、計算して得られた各特徴の値に基づき、現在の画像中で前記対象を追跡し、前記対象の現在の画像中における位置を確定するために配置する位置確定ユニット1162を含む。

上記のサンプル生成ユニット1110、第一計算ユニット1120、統計ユニット1130、信頼性確定ユニット1140、特徴選択ユニット1150、検出ユニット1160、ソート・ユニット1151、除去ユニット1152、差し替えユニット1153、第二計算ユニット1161、ならびに位置確定ユニット1162の具体的な機能と操作は、上記図1から図10までの関連説明を参考にすることができ、ここで再び重複しては説明しない。

以下、図12を参考に、本発明の実施例による対象追跡システム1200の全体ハードウェア・ブロック図を説明する。図12に示すように、追跡指向システム1200は、例えばカメラで撮影した画像序列等、関係画像或いは情報を外部から入力するために用い、例えば、キーボード、マウス、カメラ等である入力装置1210、本発明の実施例に従った上記対象追跡方法を実施し、或いは上記対象追跡装置を実現するために用い、例えば、コンピュータの中央処理器、或いは処理能力を有する他のチップ等である処理装置1220、上記対象追跡プロセスを実施して得られた、例えば確定した対象の位置等の結果を外部に出力するために用い、例えばディスプレー、プリンター等である出力装置1230、ならびに、揮発性或いは非揮発性方式で上記対象追跡プロセスに関係する、例えば画像フレーム、訓練サンプル、追跡特徴、追跡特徴の値、ガウス分布のパラメータ、追跡特徴の信頼性等を保存するために用い、例えばランダム・アクセス・メモリー（RAM）、読み取り専用メモリー（ROM）、ハードディスク、或いは半導体メモリー等の各種揮発性或いは非揮発性メモリーである記憶装置1240を含むことができる。

以上、具体的実施例と結合して本発明の基本原理を説明したが、指摘すべきことは、当業者にとって、本発明の方法と装置の全部或いはどのステップないし部材も理解可能なものであり、どのコンピュータ（プロセッサー、記憶媒体等を含む）或いはコンピュータ・ネットワーク中でも、ハードウェア、ファームウェア、ソフトウェア或いはそれらの組合せによって実現できることであり、これは当業者が本発明の説明を読んだならば彼らの基本的コンピュータプログラム技術を使って実現することができる。

このため、本発明の目的はどのコンピュータ上でもプログラム或いはプログラムの組合せによって実現することができる。前記コンピュータは通用している公知の通用的装置で構わない。このため、本発明の目的は前記方法或いは装置を実現するプログラム・コードを含むプログラム製品を提供するだけで実現することができる。つまり、このようなプログラム製品も本発明を構成しており、このようなプログラム製品を有する記憶媒体も本発明を構成する。前記記憶媒体が公知のあるいは将来開発されて来る如何なる記憶媒体でも良いことは言うまでもない。

更に指摘すべきことは、本発明の装置と方法においては、明らかに、各部材或いは各ステップの分解および/または新たな組合せが可能なことである。これらの分解および/または新たな組み合わせは本発明と同等の効果を有する方案と見做されなければならない。かつ、上記一連の処理を実行するステップはそのまま説明順序に従い時間を追って実行することができるが、必ずしも時間順に実行する必要はない。あるステップは平行して、或いは互いに独立して実行することができる。

上記の具体的実施方式は、本発明の保護範囲に対する制限となるものではない。当業者が理解すべきことは、設計要求や他の要因如何で、各種各様の修正、組合せ、サブ組合せおよび代替が起こり得ることである。本発明の精神と原則の中で行われる如何なる修正、同等の代替や改良等は、全て本発明の保護範囲に含まれなければならない。

Claims (10)

1. 対象の前フレームの画像中における位置に基づき、訓練サンプルを生成すること、
   各訓練サンプルについて、前フレームの画像中で前記対象の追跡に用いた各特徴の値を計算し、各特徴について、その前の所定数のフレームの画像中の統計情報を取得すること、
   算出した前記各特徴の値およびその統計情報を利用して前記特徴の信頼性を確定すること、
   各特徴の信頼性に基づき、現在の画像中で対象追跡に用いる特徴を新たに確定すること、及び
   新たに確定した前記特徴を用いて、前記対象の現在の画像中における位置を確定することを含む、対象追跡方法。
2. 対象の前フレームの画像中における位置に基づき、訓練サンプルを生成することが、
   前フレームの画像中で、対象の前フレームの画像中における位置との距離が第一距離より小さい各画像ブロックを選択し正の訓練サンプルとすること、及び
   前フレームの画像中で、対象の前フレームの画像中における位置との距離が第二距離より大きく、かつ第三距離より小さい各画像ブロックを選択し負の訓練サンプルとすること、をさらに含み、
   前記第二距離は、前記第一距離よりも大きいかそれに等しい、請求項1に記載の対象追跡方法。
3. 前記正の訓練サンプルと前記負の訓練サンプル中の各訓練サンプルに対してアフィン変換を行い、複数のアフィン変換後訓練サンプルを得るステップをさらに含む、請求項2に記載の対象追跡方法。
4. 対象追跡の最初フレーム中で、所定数の特徴を生成し、前記最初フレーム中の前記対象の追跡に用いる各特徴とする、請求項1に記載の対象追跡方法。
5. 前記統計情報は前記特徴のガウス分布パラメータであり、前記の、算出した前記各特徴の値およびその統計情報を利用して前記特徴の信頼性を確定することが、
   算出した前記各特徴の値を利用して各特徴のガウス分布パラメータを更新すること、前記更新後のガウス分布パラメータに基づき、前記特徴の区分可能性と安定性のうちの少なくとも一つを確定すること、及び
   前記区分可能性および/または安定性に基づき前記特徴の信頼性を確定することを含む、請求項1に記載の対象追跡方法。
6. 各特徴の信頼性に基づき、現在の画像中で対象追跡に用いる特徴を新たに確定することが、更に
   信頼性に応じて前記各特徴をソートすること、
   前記ソートならびに前の所定数のフレームの画像中の追跡で行われた各ソートにおいて全て後ろの所定位置に並んだ特徴を取り除くこと、
   除去した特徴数に相当する特徴を選択して除去した特徴と差し替えることを更に含む、請求項1に記載の対象追跡方法。
7. 前記の、新たに確定した前記特徴を用いて前記対象の現在の画像中における位置を確定することが、
   現在の画像の所定区域から複数の候補画像ブロックを選択し、各候補画像ブロックについて、新たに確定した前記各特徴の値を計算すること、及び
   各候補画像ブロックについて計算して得られた各特徴の値に基づき、前記対象の現在の画像中における位置を確定することを更に含む、請求項1に記載の対象追跡方法。
8. 新たに確定した前記特徴を用いて分類器を構築することを更に含み、
   前記の、各候補画像ブロックについて計算して得られた各特徴の値に基づき、前記対象の現在の画像中における位置を確定することが、
   構築した分類器を利用して前記複数の候補画像ブロックを分類し、対象の現在の画像における位置区域に対応した候補画像ブロックを確定し、これにより対象の現在の画像中における位置を確定することを更に含む、請求項7に記載の対象追跡方法。
9. 対象の前フレームの画像中における位置に基づき訓練サンプルを生成するサンプル生成ユニット、
   各訓練サンプルについて、前フレームの画像での前記対象の追跡に用いた各特徴の値を計算する第一計算ユニット、
   各特徴について、その前の所定数のフレームの画像中における統計情報を取得する統計ユニット、
   算出した前記各特徴の値およびその統計情報を利用して前記特徴の信頼性を確定する信頼性確定ユニット、
   各追跡特徴の信頼性に基づき、現在の画像での対象追跡に用いる特徴を新たに確定する特徴選択ユニット、及び
   新たに確定した前記追跡特徴を用いて、前記対象の現在の画像における位置を確定する検出ユニットを含む、対象追跡装置。
10. 対象の前フレームの画像中における位置に基づき、訓練サンプルを生成すること、
    各訓練サンプルについて、前フレームの画像中で前記対象の追跡に用いた各特徴の値を計算すること、
    各追跡特徴について、その前の所定数のフレームの画像中の統計情報を取得すること、
    算出した前記各追跡特徴の値およびその統計情報を利用して、前記追跡特徴の信頼性を確定すること、及び
    各追跡特徴の信頼性に基づき、現在の画像中での対象追跡に用いる追跡特徴を選択することを含む、対象追跡に用いる追跡特徴選択方法。

Images