JP2018077807A - 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法 - Google Patents

Abstract

【課題】追跡の信頼度に関する様々な状況下でも、より適切に物体を追跡することができる物体追跡装置を提供する。【解決手段】時系列画像群の各画像において対象物体に係る画像領域を決定していくことによってこの物体を追跡する本装置は、１つの時点の前の時点において決定された１つの物体に係る画像領域から決定される探索領域につき、相関フィルタを用いてこの１つの時点での応答マップを生成する応答マップ生成手段と、応答マップの値の変化点を判定する変化点判定手段と、この１つの時点での応答マップの値が変化点であると判定された際、応答マップの値から直接的に正解を決定することに代えて、複数の候補画像領域を設定し、応答マップとは直接に関係しない指標を含む少なくとも１つの画像領域決定用の指標に基づいて、複数の候補画像領域の中からこの１つの時点での正解とされるこの物体に係る画像領域を決定する追跡決定手段とを有する。【選択図】図２

Description

本発明は、追跡対象の物体が含まれ得る時系列の画像群を解析して当該物体を追跡する物体追跡技術に関する。

物体追跡は、監視カメラ、ヒューマンコンピュータインタラクションや、ロボティクス等の基礎となる重要な技術である。時系列画像群が与えられたとき、初期画像（フレーム）において追跡対象物体に係る画像領域が決定され、それ以降のフレームではこの物体の画像領域が順次求められる。

この物体追跡は、コンピュータビジョン分野の中でも最も実施困難な問題の１つであり、物体に遮蔽、回転や、変形が加わったり、画像にブレや輝度変化が生じたりする場合でもロバスト性の高い追跡性能が要求される。このように、各フレームで変動が生じている状況においても正確に物体を追跡できるように、種々の技術が考案されてきた。

例えば、特許文献１には、遮蔽へのロバスト性を向上させるべく、物体の構成部分であるパーツを追跡し、さらに、これらのパーツを組み合わせて構成される物体の全体を、複数の仮説を立てて追跡する物体追跡装置が開示されている。

また、非特許文献１は、行列の巡回性、フーリエ変換、及びカーネルトリックを利用した相関フィルタに基づく物体追跡技術を提案している。この技術では、フレームごとに相関フィルタを適用して応答マップを算出し、その応答値が最大となる位置を検出結果（物体位置）とする。

さらに、非特許文献２には、長時間の物体追跡を可能にすべく、検出器の値が閾値を下回った場合に再検出を行い、正しい位置への修正処理を行う物体追跡技術が開示されている。

また、非特許文献３に開示された物体追跡技術では、信頼性を有するパッチを複数用いて追跡を行っている。具体的には、パッチが物体を効果的に追跡できるか否か、及びパッチが物体上に存在しているか否かの指標を尤度として、パーティクルフィルタの枠組みで物体を追跡している。

特開２０１４−１９１３９３号公報

Henriques, J. F., Caseiro, R., Martins, P., and Batista, J., "High-speed tracking with kernelized correlation filters", IEEE Transactions on Pattern Analysis and Machine Intelligence, 37(3), ２０１５年, ５８３〜５９６頁 Ma, C., Yang, X., Zhang, C., and Yang, M. H., "Long-term correlation tracking", In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, ２０１５年, ５３８８〜５３９６頁 Liu, T., Wang, G., and Yang, Q., "Real-time part-based visual tracking via adaptive correlation filters", In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, ２０１５年, ４９０２〜４９１２頁

しかしながら、以上の公知文献に記載されたような従来技術では、依然、追跡の信頼度に関する様々な状況下でも、適切に物体追跡を続行することが困難となっている。

例えば、特許文献１に記載された技術では、複数のパーツを組み合わせて構成される物体の全体については、常に、複数の全体仮説を立てて追跡処理を行っている。このため、検出の信頼度が高い場合にも不要な仮説を考慮してしまうケースもあり、追跡結果が不安定になってしまう可能性がある。

また、非特許文献１に記載された技術では、仮説を設定することは行わず、フレーム毎に応答マップを算出し、追跡対象のみの情報を用いて追跡を行っている。その結果、追跡結果に位置のずれが生じた場合に、この位置ずれを補正することは非常に困難となる。

これに対し、非特許文献２に記載された技術では、検出の信頼度が低い場合に物体位置の再検出を行い、位置ずれを補正している。しかしながら、同じく複数の仮説を立てて追跡を行うわけではないため、フレーム毎に一意的に位置を決定する必要が生じてしまう。

さらに、非特許文献３に記載された技術では、物体追跡器をベースにして追跡を行っており、やはり追跡結果にずれが生じた場合に、このずれを補正することは困難となる。

そこで、本発明は、追跡の信頼度に関する様々な状況下でも、より適切に物体を追跡することができる装置、プログラム及び方法を提供することを目的とする。

本発明によれば、追跡対象の物体が含まれ得る時系列の画像群の各画像において、当該物体に係る画像領域を決定していくことによって当該物体を追跡する装置であって、
１つの時点の前の時点において決定された１つの物体に係る画像領域から決定される探索領域につき、相関フィルタを用いて当該１つの時点での応答マップを生成する応答マップ生成手段と、
当該応答マップの値の変化点を判定する変化点判定手段と、
当該１つの時点での当該応答マップの値が変化点であると判定された際、当該応答マップの値から直接的に正解を決定することに代えて、複数の候補画像領域を設定し、当該応答マップとは直接に関係しない指標を含む少なくとも１つの画像領域決定用の指標に基づいて、当該複数の候補画像領域の中から当該１つの時点での正解とされる当該物体に係る画像領域を決定する追跡決定手段と
を有する物体追跡装置が提供される。

この本発明による物体追跡装置における一実施形態として、追跡決定手段は、当該応答マップとは直接に関係しない指標として、当該候補画像領域と、当該物体についての物体らしさを有する画像領域との重複率を採用することも好ましい。

さらに、追跡決定手段は、当該画像領域決定用の指標として、当該候補画像領域と、当該前の時点で正解とされる画像領域との位置関係で決まる特定位置における当該応答マップの値を採用することも好ましい。

また、本発明による物体追跡装置の変化点判定手段は、
（ａ）当該１つの時点までの複数の時点の各々での当該応答マップの最大値から、又は
（ｂ）当該１つの時点での当該応答マップの極大値から、
当該１つの時点における変化点度合いを示す変化点信頼度を算出し、当該変化点信頼度に基づいて、当該１つの時点での当該応答マップの値が変化点であるか否かを判定することも好ましい。

さらに、本発明による物体追跡装置の追跡決定手段は、当該複数の候補画像領域として、当該前の時点において決定された当該物体に係る画像領域から決定される範囲内に、各々重みを有する複数のパーティクルを設定し、当該画像領域決定用の指標に基づいて当該重みを更新し、更新された当該重みに基づいて、正解とされる画像領域を決定することも好ましい。

また、上記のパーティクルを設定する実施形態において、追跡決定手段は、当該画像領域決定用の指標として、
（ａ）当該パーティクルの領域と、当該物体についての物体らしさを有する画像領域との重複率と、
（ｂ）当該パーティクルの領域と、当該前の時点で正解とされる画像領域との位置関係で決まる特定位置における当該応答マップの値と
を採用し、当該重複率と当該特定位置における当該応答マップの値との重み付き和を当該パーティクルの重みの更新値とすることも好ましい。

さらに、この重み付き和を用いてパーティクル重み更新を実施する形態において、追跡決定手段は、当該重み付き和における重み係数を、正解とされる当該物体に係る画像領域から算出された物体らしさに係る値に基づいて決定することも好ましい。

また、上記のパーティクルを設定する実施形態において、追跡決定手段は、当該時系列の画像群の各画像について、予め設定された又は当該応答マップの値から決定されたパーティクルフィルタ適用期間の間は、当該画像に係る時点の前の時点で決定された複数のパーティクルを、更新された当該重みに基づいてリサンプリングして、さらに当該重みを更新し、正解とされる画像領域を決定することも好ましい。

また、本発明による物体追跡装置における他の実施形態として、
本物体追跡装置は、当該１つの時点での正解とされる画像領域が決定された際、当該決定された画像領域に基づいて、当該相関フィルタのパラメータを更新する相関フィルタ学習手段を更に有し、
応答マップ生成手段は、当該１つの時点において決定された正解とされる画像領域から決定される探索領域に基づき、当該相関フィルタの更新されたパラメータによって当該１つの時点の後の時点での応答マップを生成することも好ましい。

本発明によれば、また、追跡対象の物体が含まれ得る時系列の画像群の各画像において、当該物体に係る画像領域を決定していくことによって当該物体を追跡する装置に搭載されたコンピュータを機能させるプログラムであって、
１つの時点の前の時点において決定された１つの物体に係る画像領域から決定される探索領域につき、相関フィルタを用いて当該１つの時点での応答マップを生成する応答マップ生成手段と、
当該応答マップの値の変化点を判定する変化点判定手段と、
当該１つの時点での当該応答マップの値が変化点であると判定された際、当該応答マップの値から直接的に正解を決定することに代えて、複数の候補画像領域を設定し、当該応答マップとは直接に関係しない指標を含む少なくとも１つの画像領域決定用の指標に基づいて、当該複数の候補画像領域の中から当該１つの時点での正解とされる当該物体に係る画像領域を決定する追跡決定手段と
としてコンピュータを機能させる物体追跡プログラムが提供される。

本発明によれば、さらに、追跡対象の物体が含まれ得る時系列の画像群の各画像において、当該物体に係る画像領域を決定していくことによって当該物体を追跡する装置に搭載されたコンピュータによる物体追跡方法であって、
１つの時点の前の時点において決定された１つの物体に係る画像領域から決定される探索領域につき、相関フィルタを用いて当該１つの時点での応答マップを生成するステップと、
当該応答マップの値の変化点を判定するステップと、
当該１つの時点での当該応答マップの値が変化点であると判定された際、当該応答マップの値から直接的に正解を決定することに代えて、複数の候補画像領域を設定し、当該応答マップとは直接に関係しない指標を含む少なくとも１つの画像領域決定用の指標に基づいて、当該複数の候補画像領域の中から当該１つの時点での正解とされる当該物体に係る画像領域を決定するステップと
を有する物体追跡方法が提供される。

本発明の物体追跡装置、プログラム及び方法によれば、追跡の信頼度に関する様々な状況下でも、より適切に物体を追跡することが可能となる。

本発明による物体追跡装置を含む物体追跡システムの一実施形態を示す模式図である。 本発明による物体追跡装置の一実施形態における機能構成を示す機能ブロック図である。 特徴量抽出部における応答マップ生成用の特徴量抽出処理の一実施形態を示す模式図である。 応答マップ生成部における応答マップ生成処理の一実施形態を示す模式図である。 変化点判定部における変化点判定処理の一実施形態を示す模式図である。 追跡決定部における応答マップに基づく正解画像領域決定処理の一実施形態を示す模式図である。 パーティクル生成部におけるパーティクル生成処理の一実施形態を示す模式図である。 重み更新・位置決定部における重み更新処理の一実施形態で使用される指標の１つを説明するための模式図である。 重み更新・位置決定部における重み更新処理の一実施形態で使用される指標の他の１つを説明するための模式図である。 相関フィルタ学習部における相関フィルタのパラメータ更新処理の一実施形態を示す模式図である。 本発明による物体追跡方法の一実施形態の概略を示すフローチャートである。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

［物体追跡システム］
図１は、本発明による物体追跡装置を含む物体追跡システムの一実施形態を示す模式図である。

図１に示した、本実施形態の物体追跡システムは、
（ａ）追跡対象の物体を撮影可能であり、撮影した画像の情報を、通信ネットワークを介して時系列で送信可能な１つ又は複数のカメラ２と、
（ｂ）カメラ２から通信ネットワークを介して取得される時系列の画像群を用い、当該物体の位置情報を予測して当該物体を追跡可能な物体追跡装置１と
を備えている。

ここで、追跡対象となる物体には、人物、動物、乗り物や、その他移動可能な物理対象等、撮影可能であれば様々なものが該当する。また、撮影される場所も、特に限定されるものではなく、例えば、（追跡対象人物である）観客、通勤者、買い物客、労働者、歩行者や、ランナー等が映り得る屋外、さらには会社、学校、家庭や、店舗の内部といった屋内とすることもできる。特に、追跡対象となり得る物体（人物）が複数又は多数であって、同行したり互いにすれ違ったり、さらには撮影範囲の内外に移動したりし得る環境であってもよい。

物体追跡装置１は、追跡対象の物体が含まれ得る時系列画像群の各画像において、この物体に係る画像領域を決定していくことによってこの物体を追跡する。その際、追跡に失敗する可能性の高まる状況、例えば、追跡対象の物体（人物）について、遮蔽、回転や、変形、さらには、対象画像のブレや輝度変化等が生じた状況に対しても、複数の候補画像領域（複数の仮説）を設定するモードに切り替えて適切に対応することが可能となっている。

また、画像情報の伝送路である通信ネットワークは、例えばＷｉ−Ｆｉ（登録商標）等の無線ＬＡＮ(Local Area Network)とすることができる。または、ＬＴＥ(Long Term Evolution)、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）又は３Ｇ（3rd Generation）等の無線系アクセスネットワークを介し、インターネットを経由してカメラ２と物体追跡装置１とを通信接続させるものであってもよい。

さらに、光ファイバ網若しくはＡＤＳＬ（Asymmetric Digital Subscriber Line）等の固定系アクセスネットワークを介しインターネットを経由して、又はプライベートネットワークを介してカメラ２と物体追跡装置１とが通信接続されてもよい。また、変更態様として、カメラ２と物体追跡装置１とは直接有線で接続されてもよい。さらに、複数のカメラ２から出力される画像情報を取りまとめて物体追跡装置１に送信可能な（図示していない）カメラ制御装置が設けられていてもよい。

同じく図１に示す物体追跡装置１は、具体的にその特徴として、
（Ａ）１つの時点の前の時点において決定された１つの物体に係る画像領域から決定される探索領域につき、相関フィルタを用いて当該１つの時点での「応答マップ」を生成する相関フィルタ適用部１２と、
（Ｂ）生成した「応答マップ」の値の「変化点」を判定する変化点判定部１３と、
（Ｃ）当該１つの時点での「応答マップ」の値が「変化点」であると判定された際、「応答マップ」の値から直接的に正解を決定することに代えて、複数の候補画像領域（複数の仮説）を設定し、「応答マップ」とは直接に関係しない指標を含む少なくとも１つの「画像領域決定用の指標」に基づいて、設定した複数の候補画像領域（複数の仮説）の中から当該１つの時点での正解とされる当該物体に係る画像領域を決定する追跡決定部１４と
を備えている。

すなわち、物体追跡装置１は、例えば「応答マップ」の値から直接的に正解を決定する追跡モードをとっている状況においても、「変化点」であるとの判定を行って、追跡に失敗する可能性が高まったと判断した際には、追跡の失敗を防止すべく複数の仮説（候補画像領域）を立てる追跡モードに切り替えるのである。

これにより、例えば、追跡対象物体の遮蔽、回転や、変形、さらには対象画像のブレや輝度変化等が生じて追跡の信頼度が低下した状況において、追跡結果に位置のずれが生じた場合に、適宜この位置ずれの補正を行うことも可能となる。一方、追跡の信頼度が高い場合には、不要な仮説を考慮することがなく、追跡結果を安定的に出力することができるのである。このように、本発明による物体追跡装置１によれば、追跡の信頼度に関する様々な状況下でも、より適切に物体を追跡し、追跡失敗を抑制することが可能となる。

ここで、上記構成（Ｃ）における複数の候補画像領域（複数の仮説）をパーティクルとし、同構成での正解画像領域決定処理を、パーティクルフィルタを用いて実行することも好ましい。また、上記構成（Ｃ）における、「応答マップ」とは直接に関係しない「画像領域決定用の指標」として、候補画像領域と、追跡対象物体についての「物体らしさ」を有する画像領域との「重複率」を採用することも好ましい。

上記の好適な形態のように、「物体らしさ」に係る指標を採用することによって、「応答マップ」に係る情報だけでは追跡に失敗する可能性の高い状況を打破し、さらに、複数の候補から、追跡対象物体らしい正解画像領域をより確実に選択することができるのである。

ちなみに、複数の候補画像領域（複数の仮説）を設定する手法は、当然に上記のパーティクルフィルタを利用した方法に限定されるものではない。例えば、グラフベースの物体追跡手法を利用することもできる。この場合、例えば、グラフ構造を生成して複数のパスのうち、最もコストの小さいパスを正解として選択していくことになる。また、その他の公知である複数の候補画像領域（複数の仮説）を設定する手法を適用することも可能である。

なお、物体追跡装置１で取り扱われる時系列画像群は、本実施形態のようなカメラ撮影によって生成された画像データに限定されるものではない。追跡対象の実際の位置や見かけに関係するデータであれば、様々なものが該当する。例えば、デプスカメラによって生成される（対象の各画素の）デプス値情報を、画像データとして利用することも可能である。

また、本実施形態の物体追跡装置１は、刻々と取得される画像内に張られた画像座標系x-yでの位置座標(x, y)を、実空間に張られた世界座標系G_x-G_y-G_zでの位置座標(g_x, g_y, g_z)へ変換する座標変換操作を用いて、追跡対象物体の映った画像情報から、実空間での位置やその変化分等の位置情報を算出する。例えば、追跡対象物体の画像内における前時刻（1つ前の時点）t−1での位置(x, y)が、現時刻（１つの時点）tでの位置(x', y')へ変化した場合、この物体は、実空間（観測対象空間）において前時刻t−1での位置(g_x, g_y, g_z)から現時刻tでの位置(g_x', g_y', g_z')へ移動したことが推定され、実空間での位置や当該位置の前時刻t−1からの変化分を取得することが可能となる。

ここで、使用する時刻は、単位時間を１としてこの単位時間経過毎に設定される時刻であり、時刻tの1つ前となる時刻はt−1となる。また、上記のような画像座標系から世界座標系への座標変換は、予めキャリブレーションにより各カメラ２についての設置位置及び撮影向きに係る外部パラメータを設定しておくことによって決定することが可能である。なお、複数のカメラ２のそれぞれから画像が取得される場合でも、これらの画像を統合して１つの画像空間を構築し、この画像空間に画像座標系を適用することができる。

このように、物体追跡装置１は、刻々と取得される画像情報（画像座標系x-yでの位置情報）に基づき、追跡対象物体の実空間での位置情報（世界座標系G_x-G_y-G_zでの位置情報）を推定することができるのである。

［装置構成、物体追跡方法］
図２は、本発明による物体追跡装置の一実施形態における機能構成を示す機能ブロック図である。

図２によれば、物体追跡装置１は、１つ又は複数のカメラ２と通信接続可能な通信インタフェース１０１と、画像蓄積部１０２と、物体領域蓄積部１０３と、追跡モード蓄積部１０４と、回帰パラメータ蓄積部１０５と、テンプレート蓄積部１０６と、パーティクル蓄積部１０７と、最大応答値列蓄積部１０８と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、物体追跡装置１のコンピュータを機能させるプログラムを実行することによって、物体追跡機能を実現させる。

さらに、プロセッサ・メモリは、機能構成部として、特徴量抽出部１１と、応答マップ生成部１２１及び相関フィルタ学習部１２２を含む相関フィルタ適用部１２と、変化点判定部１３と、パーティクル生成部１４１、リサンプリング・状態予測部１４２及び重み更新・位置決定部１４３を含む追跡決定部１４と、通信制御部１５とを有する。なお、図２における物体追跡装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による物体追跡方法の一実施形態としても理解される。

同じく図２において、カメラ２は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影デバイスである。なお、上述したように、カメラ２としてデプスカメラを用いることも可能である。また、カメラ２又は（図示していない）カメラ制御装置は、カメラ２で撮影された物体の画像を含む撮影画像データを生成し、当該データを時系列に又はバッチで物体追跡装置１に送信する機能を有する。また、カメラ２は、可動であって設置位置、撮影向きや高さを変更することができ、この変更のための制御信号を受信し処理する機能を有していることも好ましい。

通信インタフェース１０１は、カメラ２又はカメラ制御装置から時系列の画像群である撮影画像データを、通信ネットワークを介して受信する。通信インタフェース１０１を使用した送受信及び通信データ処理の制御は、通信制御部１５によって行われ、取得された撮影画像データ（画像ファイル）は、画像蓄積部１０２に蓄積される。ここで、この撮影画像データは、カメラ２又はカメラ制御装置から時系列順に呼び出されて取得されたものであってもよく、予め撮影され保存された画像ファイルを時系列順に呼び出して取得してもよく、さらには、リアルタイムに一定時間間隔でキャプチャされた画像を順次取得したものであってもよい。

特徴量抽出部１１は、追跡当初に物体を検出する処理と、検出又は推定された画像領域に基づいて応答マップ生成のための特徴量Zを抽出する処理とを実行する。このうち、追跡当初の物体検出処理としては、所定の特徴量を用いて学習を行った物体識別器によって、物体識別対象の画像に表れた追跡対象物体を検出してもよい。具体的には、画像蓄積部１０２に蓄積された画像において、追跡対象となる物体に対応する画像領域を検出する。ここで、例えば人物を追跡対象とする場合、学習には人物検出に適した特徴量を用いる。

この人物検出のための特徴量としては、例えばＨＯＧ特徴量を使用することも好ましい。ＨＯＧ特徴量は、画像の局所領域における輝度の勾配方向をヒストグラム化し、各度数を成分としたベクトル量である。ＨＯＧ特徴量を用いた物体検出技術については、例えば、非特許文献であるDalal. N and Triggs. B, "Histograms of Oriented Gradients for Human Detection", Proceedings of IEEE Computer Vision and Pattern Recognition (CVPR), ２００５年, ８８６〜８９３頁に記載されている。

また、Faster-RCNN法を用いて人物に対応する画像領域を検出することも可能である。Faster-RCNN法による物体検出技術については、例えば、Shaoqing Ren, Kaiming He, Ross Girshick and Jian Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", Advances in Neural Information Processing Systems (NIPS), ２０１５年に記載されている。

この特徴量抽出部１１で当初検出された、追跡対象となる物体に対応する画像領域は、本実施形態において矩形に設定される。なお当然に、矩形以外の形状の画像領域を設定することも可能である。本実施形態においては、状態を、物体に係る矩形の画像領域（物体領域矩形）と定義し、時刻tにおける状態を、次式
（１） s^t＝(x, y, w, h)∈Ｒ⁴
で表現する。ここで、状態s^tにおけるx及びyはそれぞれ、（x軸正方向が右向きでありy軸正方向が下向きである）画像座標系x-yにおける画像領域矩形の左上の頂点のx座標及びy座標であり、ｗ及びhはそれぞれ当該矩形の横幅及び縦幅（高さ）である。さらに、観測（結果）を画像と定義し、時刻tまでの観測を、画像oの群である
（２） O_t＝(o₁, o₂, ・・・, o_t-1, o_t)
とする。本実施形態では、時刻tにおける推定状態（正解画像領域）であるs_C ^t、すなわち、
（３）s_C ^t＝(x_Ct, y_Ct, w_Ct, h_Ct)
を（時間経過とともに順次）算出することによって物体追跡を実現するのである。ちなみに、追跡対象物体の画像領域矩形は、適宜、物体領域蓄積部１０３に格納されることも好ましい。

次に、図３を用いて、特徴量抽出部１１における、検出又は推定された画像領域（矩形）に基づいて応答マップを生成する際に用いる特徴量Zを抽出する処理を説明する。

図３は、特徴量抽出部１１における応答マップ生成用の特徴量抽出処理の一実施形態を示す模式図である。

図３によれば、時刻tにおける取得された画像o_tにおいて、1つ前の時刻t−1で推定された物体画像領域（矩形）s_C ^t-1の中心を固定したまま、当該画像領域（矩形）を定数倍（例えば２倍）に拡大したものを、「s_C ^tの中心探索領域」に設定している。この中心「探索領域」は、時刻tの正解画像領域s_C ^tの中心をその中で探索すべき範囲となる。特徴量抽出部１１は、この「探索領域」内の画像についての特徴量Zを抽出（算出）する。この特徴量Zとしては、例えば上述したＨＯＧ特徴量を計算し、それに対しさらに公知の主成分分析（ＰＣＡ）によって次元削減処理を施した量を用いることができる。

なお、上記の主成分分析については、例えば、非特許文献であるJolliffe, I. T., "Principal Component Analysis", 2nd edition, Springer, ２００２年に記載されている。また当然に、特徴量Zは、上記以外の公知の方法で抽出されることも可能である。

図２に戻って、相関フィルタ適用部１２は、応答マップ生成部１２１及び相関フィルタ学習部１２２を有している。このうち、応答マップ生成部１２１は、１つの時点の前の時点において決定された１つの物体に係る画像領域から決定される「探索領域」につき、相関フィルタを用いて当該１つの時点での応答マップを生成する。次に、図４を用いて、この応答マップ生成処理の一実施形態を詳細に説明する。ちなみに、もう１つの構成要素である相関フィルタ学習部１２２については、後に図１０を用いて詳細に説明する。

図４は、応答マップ生成部１２１における応答マップ生成処理の一実施形態を示す模式図である。

図４に示したように本実施形態では、応答マップYは、その生成プロセスの概略として、特徴量抽出部１１で抽出された特徴量Zに対し、カーネル化処理及びパラメータαとの積算処理を実施することによって生成される。

具体的には、ＫＣＦ（Kernelized Correlation Filter）をベースに物体追跡を行うべく相関フィルタが適用される。ここで、学習されている（学習済みの）パラメータをαとし、保持しているベースサンプルをXとすると、応答マップYは、次式
（４） Y＝F^-1(k^XZ _F＊α_F)
を用いて算出される。上式（４）において、下付きFはフーリエ変換を表し、＊は両ベクトルの要素毎の積を要素とするベクトルを生成する演算であり、F^-1は逆フーリエ変換を行う関数である。また、ベースサンプルXは、例えば時刻t−1で推定された物体画像領域（矩形）s_C ^t-1の画像とすることができる。

さらに、上式（４）におけるk^XZ _Fのフーリエ変換前のk^XZは、ガウシアンカーネルであって、次式
（５） k^XZ＝exp(-σ^-2(|X|²＋|Z|²−2F^-1(Σ_cX_c ^* _F＊Z_cF)))
で表される。ここで、下付きcはＨＯＧ特徴量におけるチャネル成分であることを表している（すなわち、X_cはＨＯＧ特徴量ベクトルのcチャネル成分である）。また、上付き*は複素共役を表し、Σ_cはc（チャネル）についての総和（summation）である。

このように、上式（４）及び（５）を用いて算出された応答マップYは、図３に示した中心探索領域上の各位置について応答値を有する量となる。

なお、実装上、応答マップY生成の際に実施されるフーリエ変換及び逆フーリエ変換は、図４に示したように、ＦＦＴ（Fast Fourier Transform）及びＩＦＦＴ（Inverse FFT）アルゴリズムを用いて高速に処理されることも好ましい。また、当然に、応答マップYは、上記以外の公知の方法で算出されることも可能である。

図２に戻って、変化点判定部１３は、算出された応答マップYの応答値の変化点、すなわち対象画像フレームの変化点を判定する。ここで、変化点であることは、追跡の信頼度が低下しており追跡に失敗する可能性が高まった状態又は時点であることに相当する。

変化点判定部１３は、具体的には、
（ａ）１つの時点（時刻t）までの複数の時点の各々での応答マップYの応答値の最大値（最大応答値）から、または、
（ｂ）１つの時点（時刻t）での応答マップYの応答値の極大値から、
１つの時点（時刻t）における変化点度合いを示す変化点信頼度Dを算出し、この変化点信頼度に基づいて、１つの時点（時刻t）での応答マップYの応答値が変化点であるか否かを判定する。

ここで、上記（ａ）として、時系列解析によく用いられる公知のChangeFinderを用い、過去を含めた最大応答値列に基づいて変化点検出を行う手法をとることができる。一方、上記（ｂ）としては、応答マップY中の極大値に基づいて変化点検出を行う手法をとることが可能である。最初に、図５を用いて、ChangeFinderによる変化点検出の手法を説明する。

図５は、変化点判定部１３における変化点判定処理の一実施形態を示す模式図である。

図５には、各時刻における応答マップY中の最大値（最大応答値）を示すグラフと、各時刻における変化点信頼度Dを示すグラフとが示されている。本実施形態においては、上側グラフで表される初期時刻（1）から時刻tまでの最大応答値列に対し、公知の変化点検出手法であるChangeFinderを用い、時刻tのフレームが、過去のフレーム群と比較して変化点に相当するか否かを示す変化点信頼度Dを求める。次いで、この変化点信頼度Dに基づき、時刻tにおける最大応答値が、それ以前の時刻の値と比較して所定以上変化しているか否かを判定する。ここで、各時刻における相関フィルタ（応答マップY）の最大応答値は、順次、最大応答値列蓄積部１０８（図２）に蓄積されることも好ましい。

具体的には、ChangeFinderによって、時刻tにおける最大応答値についての変化点信頼度Dが導出され、この変化点信頼度Dが所定の閾値未満であれば、時刻tの最大応答値（従って、フレーム）は変化点ではないと判定され、一方、この閾値以上であれば、変化点であると判定される。ちなみに、ChangeFinderは、二段階平滑化を用いた自己回帰モデルを仮定し、値の正規化を行うことによって変化点の検出を行う手法である。このChangeFinderについては、例えば、山西健司, 「データマイニングによる異常検知」, 共立出版, ２００９年に記載されている。

次に、以上に説明したChangeFinderを用いた手法とは異なる手法として、上述した応答マップ中の極大値に基づいて変化点検出を行う手法を説明する。この手法においては、時刻tにおける応答マップY_t中の極大値を算出し、２番目に大きい極大値である第２極大値と、最大の極大値である第１極大値との比（第２極大値／第１極大値）を変化点信頼度D'とする。ここで、この変化点信頼度D'が所定の閾値未満であれば、時刻tのフレームは変化点ではないと判定され、一方、この所定の閾値以上であれば、変化点であると判定される。

以上、いずれの手法によっても、変化点判定部１３では、現時刻tのフレーム（応答マップY_tの応答値）が変化点であるか否か、すなわち追跡の信頼度が低下し追跡失敗の可能性が高まっているか否か、を見極めることができる。このような判定結果を利用することによって、追跡を失敗しそうな状況では追跡信頼度を向上させるべく、直ちに複数の候補画像領域（仮説）を設定する追跡モードに切り替えることが可能となるのである。ちなみに、追跡モード蓄積部１０４（図２）に、各時刻又は期間における追跡モードが格納されることも好ましい。

図２に戻って、追跡決定部１４は、
（ａ）１つの時点（時刻t）でのフレーム（応答マップY_tの応答値）が変化点ではないと判定された際、応答マップY_tの値から直接に且つ一意的に、１つの時点（時刻t）での正解とされる追跡対象物体に係る画像領域を決定する。
（ｂ）一方、１つの時点（時刻t）でのフレーム（応答マップY_tの応答値）が変化点であると判定された際、複数の候補画像領域を設定し、応答マップとは直接に関係しない指標を含む少なくとも１つの画像領域決定用の指標に基づいて、複数の候補画像領域の中から１つの時点（時刻t）での正解とされる追跡対象物体に係る画像領域を決定する。

図６は、追跡決定部１４における応答マップに基づく正解画像領域決定処理の一実施形態を示す模式図である。この実施形態は、追跡決定部１４における上記（ａ）の処理に相当する。

図６に示すように、応答マップ生成部１２１で生成された時刻tの応答マップYt中における最大値（最大応答値）をとる位置を、時刻tにおける物体検出位置（正解位置）とする。次いで、決定された物体検出位置を中心とする矩形の画像領域を、追跡対象物体の正解画像領域に決定する。この正解となる画像領域矩形の左上の頂点(x_C, y_C)、並びに横幅w_C及び縦幅（高さ）h_Cは、画像座標系x-yにおける物体検出位置を(i_C, j_C)とすると、次式
（６） w_C＝w₁， h_C＝h₁
（７） x_C＝i_C−w_C／2， y_C＝ j_C−h_C／2
を用いて決定することができる。ここで、w₁及びh₁はそれぞれ、初期フレームにおいて指定された画像領域矩形の横幅及び縦幅（高さ）である。

なお、w₁及びh₁として他の値、例えば、時刻t−1における正解の画像領域矩形の横幅及び縦幅（高さ）を用いることも可能である。さらに、実装の際、最大応答値をとる位置（正解位置）は、パラボラフィッティングに基づくサブピクセル推定によって決定することも好ましい。これにより、ピクセル単位と比較してより細かな（より正確な）位置座標値を決定することができる。ちなみに、サブピクセル推定については、例えば、Tian, Q., and Huhns, M. N., "Algorithms for subpixel registration", Computer Vision, Graphics, and Image Processing, 35(2), １９８６年, ２２０〜２３３頁に記載されている。

以上、図６を用いて、フレーム（応答マップY_tの応答値）が変化点ではないと判定された際における正解画像領域を決定する処理の一実施形態を説明した。以下、追跡決定部１４における、上記（ｂ）に示したもう一方の処理、すなわち、フレーム（応答マップY_tの応答値）が変化点であると判定された際における正解画像領域を決定する処理の一実施形態を説明する。

図２に戻って、追跡決定部１４は、パーティクル生成部１４１、リサンプリング・状態予測部１４２及び重み更新・位置決定部１４３を含む。このうち、パーティクル生成部１４１は、複数の候補画像領域（複数の仮説）として、前の時点（時刻t−1）において決定（推定）された追跡対象物体に係る画像領域から決定される範囲内に、各々重みを有する複数のパーティクルを設定（生成）する。

すなわち、本実施形態において、変化点では、複数の仮説を考慮するべくパーティクルフィルタを採用し、その仮説の尤度には（応答マップYの応答値だけでなく）物体らしさを表す指標も使用する。次に、このパーティクル生成処理の一実施形態を説明する。

図７は、パーティクル生成部１４１におけるパーティクル生成処理の一実施形態を示す模式図である。

図７によれば、時刻tの画像o_tが取得されており、この画像o_t上において、時刻t−1で推定された正解とされる画像領域（矩形）s_C ^t-1に基づいて設定された範囲内に、様々な状態のパーティクルがランダムに生成されている。１つのパーティクルを状態s^t＝(x_t, y_t, w_t, h_t)として表記すると、各要素は、例えば次式
（８） x_t-1−w_t-1／2≦x_t≦x_t-1＋w_t-1／2
（９） y_t-1−h_t-1／2≦y_t≦y_t-1＋h_t-1／2
（１０） w_t＝w₁， h_t＝h₁
の条件を満たすようにランダムに決定される。ここで、w₁及びh₁はそれぞれ、初期フレームにおいて指定された画像領域矩形の横幅及び縦幅（高さ）である。なお、w₁及びh₁として他の値、例えば、時刻t−1における正解の画像領域矩形の横幅及び縦幅（高さ）を用いることも可能である。

さらに、各パーティクルには重みが設定される。生成されるパーティクルの数をN（例えば200）とすると、各パーティクルの重みは当初、1／Nに設定されてもよい。

図２に戻って、追跡決定部１４のリサンプリング・状態予測部１４２は、生成された全てのパーティクルについて、設定された重みに基づきリサンプリング処理を行う。このリサンプリングは、より大きな重みを有するパーティクルほど、その周囲により多くのパーティクルが配置されるようにパーティクルを撒きなおす処理である。

具体的に、リサンプリングを実装する際には、累積重み曲線を用いて乱数に基づきパーティクルの再配置・再構成を行うルーレット選択を用いることができる。ルーレット選択については、例えば、Holland, J. H., "Adaptation in natural and artificial systems: an introductory analysis with applications to biology, control, and artificial intelligence", U Michigan Press, １９７５年に記載されている。

次いで、リサンプリング・状態予測部１４２はさらに、状態予測処理を行う。この状態予測は、リサンプリングされた各パーティクルを所定の方程式に基づいて移動（遷移）させる処理である。本実施形態では、時刻t−1におけるパーティクル（状態）s^t-1から時刻tにおけるパーティクル（状態）s^tへの遷移は、正規分布に基づくランダムウォークを仮定し、次式
（１１） P(s^t|s^t-1)＝N(s^t;s^t-1, Σ)
を用いて決定（予測）される。ここで、Pは条件付き確率、Nは正規分布であり、Σは分散共分散行列である。このΣは対角行列であり、パーティクル（矩形）の大きさを変化させない場合には、次式
（１２） diag(Σ)＝[σ_x, σ_y, 0, 0]
で表すことができる。なお、上式（１２）において、σ_x及びσ_yはそれぞれ、入力画像の横幅をL_wとし縦幅（高さ）をL_hとして、
（１３） σ_x＝L_w／r，及びσ_y＝L_h／r
ここで、rは1≦r≦min(L_w, L_h)を満たす実数
と設定される値となっている。

同じく図２において、追跡決定部１４の重み更新・位置決定部１４３は、
（ａ）状態予測処理を施されたパーティクルの重みを、「画像領域決定用の指標」に基づいて更新する処理と、
（ｂ）更新された当該重みに基づいて、正解画像領域（正解パーティクル）の位置を決定する処理と
を実施する。

ここで、上記（ａ）の「画像領域決定用の指標」として、
（ａ１）応答マップYとは直接に関係しない指標としての、候補画像領域と、追跡対象物体についての物体らしさを有する画像領域との「重複率」
を採用することも好ましく、さらに、
（ａ２）候補画像領域と、前の時点（時刻t−1）で正解とされた画像領域との位置関係で決まる特定位置における応答マップYの「応答値」
を合わせて採用することも好ましい。上記（ａ１）及び（ａ２）を採用する場合、「重複率」と上記特定位置における応答マップYの「応答値」との重み付き和を、パーティクルの重みの更新値とすることができる。以下、最初に、このような指標を用いた重み更新処理の一実施形態を説明する。

図８は、重み更新・位置決定部１４３における重み更新処理の一実施形態で使用される指標の１つを説明するための模式図である。

図８に示すように、本実施形態では、時刻tの画像o_t上での画像領域s_C ^t-1に基づいて生成された応答マップYにおける、重み更新対象パーティクルの画像領域s_tと画像領域s_C ^t-1とから決定される特定位置(x_res, y_res)での値resを、次式
（１４） res(o_t, s^t)＝Y(x_res, y_res)
ここで、
(x_res, y_res)＝((x_t−x_Ct-1)／cellSize＋wY/2, (y_t−y_Ct-1)／cellSize＋hY/2)
を用いて算出する。この値resが応答マップ値に係る指標となる。上式（１４）において、cellSizeは、特徴量Z抽出の際のパラメータの１つであり、設定されたcellのサイズとなる（例えば３ピクセル（画素）に設定される）。応答マップYはcellSizeの値に依存して大きさが変化する。また、wY及びhYはそれぞれ、応答マップYの領域の横幅及び縦幅（高さ）である。なお、各パーティクルについて算出されたres値は、全パーティクルについての和が１となるように正規化されることも好ましい。

図９は、重み更新・位置決定部１４３における重み更新処理の一実施形態で使用される指標の他の１つを説明するための模式図である。

図９に示すように、本実施形態では、公知の手法、例えばBINGを用いて、時刻tの画像o_tから、追跡対象物体についてその物体らしい画像領域propを複数抽出し、重み更新対象パーティクルの画像領域s_tとの面積の重複率を算出して、物体らしさに係る指標objを求める。ここで、BINGについては、例えば、Cheng, M. M., Zhang, Z., Lin, W. Y., and Torr, P., "BING: Binarized normed gradients for objectness estimation at 300fps", In Proceedings of the IEEE conference on computer vision and pattern recognition, ２０１４年, ３２８６〜３２９３頁に記載されている。

具体的には、抽出されたｋ番目の物体らしい画像領域を、次式
（１５） prop_k＝(x, y, w, h, c)
のように表す。ここで、要素cはその物体らしさの信頼度であり、例えばBINGを用いた場合に算出される値である。次いで、この物体らしい領域prop_kと、パーティクルの状態s^tの示す画像領域との間における面積の重複率Overlapを、次式
（１６） Overlap(prop_k, s^t)＝AreaO／AreaA
ここで、AreaO＝area(prop_k)∩area(s^t)
AreaA＝area(prop_k)∪area(s^t)
を用いて算出する。ここで、areaは画像領域の面積を表す。

このように、k毎に算出された重複率のうち最大のものに、その信頼度cを乗算した値を物体らしさobjとする。すなわち、物体らしさの指標objは、次式
（１７） obj(o_t, s^t)＝c・max_k(Overlap(prop_k, s^t))
を用いて算出される。なお、各パーティクルについて算出されたobj値は、上述したres値と同様、全パーティクルについての和が１となるように正規化されることも好ましい。

以上、重み更新のための指標として、応答値に係る値res（図８）と、物体らしさに係る値obj（図９）を説明したが、本実施形態において、重み更新・位置決定部１４３は、パーティクルの重みWの更新値を、これらの値res及びobjの重みつき和、すなわち次式
（１８） W(o_t, s^t)＝β・res(o_t, s^t)＋(1−β)・obj(o_t, s^t)
として算出する。ここで、βは0≦β≦1を満たす実数である。

このように、「物体らしさ」をも考慮してパーティクルの重みを決定していくことによって、「応答マップ」に係る情報だけでは追跡に失敗する可能性の高い状況を打破し、複数の候補であるパーティクルから、追跡対象物体らしい正解画像領域をより確実に選択することが可能となるのである。

ちなみに、上式（１８）における重み付き和の重み係数βは、予め適切な値を設定し、固定値としてもよく、または、パーティクルフィルタモードへの切り替えの際、撮像画像から適切なβを推定し自動的に設定してもよい。さらには、追跡中もβの推定を継続し、βを適宜変更することも可能である。

このβの具体的な推定方法としては、追跡対象物体の正解画像領域から算出された物体らしさに係る値に基づいて決定してもよい。例えば、最初に、追跡位置における物体らしさobj_aと、撮像画像中の追跡位置の周辺画像領域から算出した物体らしさobj_bとの比率Rを、次式
（１９） R＝obj_a／obj_b
を用いて算出する。次に、このRが上限閾値σ_hより大きい場合、物体らしさの利用効果が期待できるため、βをより小さく設定する（重みW に対するobj(o_t, s^t)項の寄与をより高くする）。一方、Rが下限閾値σ_l（＜σ_h）より小さい場合、物体らしさの利用効果が期待できないため、βをより大きく設定する。これにより、背景の複雑度に影響されない物体追跡が可能となるのである。

次いで、重み更新・位置決定部１４３は、算出されたパーティクルの重みWに基づいて（重みの更新されたパーティクルに基づいて）、時刻tにおける物体領域矩形s_C ^tを推定する。具体的には、全パーティクルの中で、最大の重みWを有するパーティクルの状態s^tを正解画像領域s_C ^tとすることができる。

ちなみに、重み更新・位置決定部１４３は、例えば、
（ａ）物体追跡対象となった画像（群）と、
（ｂ）各画像における推定（検出）した追跡対象物体の画像領域、例えば当該領域を囲む矩形枠と
を（図示していない）ディスプレイに出力し表示させてもよい。また、上記（ａ）及び（ｂ）の追跡結果を、通信制御部１５及び通信インタフェース１０１を介して外部の情報処理装置に送信してもよい。

以上、図７、８及び９を用いて説明した追跡決定部１４での処理は、パーティクルフィルタを適用して正解画像領域s_C ^tを導出するモードであるパーティクルフィルタモードでの処理となる。追跡決定部１４は、取得された時系列画像群の各画像について、予め設定された又は応答マップYの値から決定されたパーティクルフィルタ適用期間（パーティクルフィルタモード発動期間）の間は、処理対象の画像に係る時点（例えば時刻t）の前の時点（例えば時刻t−1）で決定された複数のパーティクルを、更新された重みに基づいてリサンプリングしてさらに重みを更新し、正解とされる画像領域を決定していくことも好ましい。このモードの切り替えについては、後に、図１１のフローチャートを用いて具体的に説明する。

図２において、相関フィルタ学習部１２２は、１つの時点（例えば時刻t）での正解とされる画像領域が決定された際、決定された画像領域に基づいて、相関フィルタのパラメータαを更新する。また、これを受け、応答マップ生成部１２１は、１つの時点（例えば時刻t）において決定された正解とされる画像領域から決定される探索領域に基づき、相関フィルタの更新された（学習済みの）パラメータαによってこの１つの時点の後の時点（例えば時刻t＋1）での応答マップYを生成する。

図１０は、相関フィルタ学習部１２２における相関フィルタのパラメータ更新処理の一実施形態を示す模式図である。

図１０には、時刻tの画像o_tにおける推定された正解の物体画像領域s_C ^tに基づき、ＫＣＦのパラメータαの更新を行う手順の概略が示されている。最初に、推定された物体領域矩形s_C ^tについてのＨＯＧ特徴量を算出し、これに対し更にＰＣＡによって次元削減処理を施した量をXとする。次いで、次式
（２０） k^XX＝exp(-σ^-2(2|X|²−2F^-1(Σ_cX_c ^* _F＊X_cF)))
を用いてカーネルk^XXを算出し、この算出されたカーネルを用いて、次式に示すようにパラメータαの更新を行う。
（２１） α_F＝y_F／(k_F ^XX＋λ)
上式において、α、y及びk^XXにおける下付きのFはフーリエ変換を表す。また、yは公知の手法であるリッジ（Ridge）回帰における教師データであって、λはリッジ回帰の方程式における正則化項の係数である。

ちなみに、追跡の信頼度が低下している場合、上記のように相関フィルタの学習を行うことによって追跡位置のずれが増大してしまう可能性が生じる。これに対処するため、パーティクルフィルタモードの発動中は上記の相関フィルタ学習処理をスキップすることも好ましい。または、この学習処理を実行する頻度を、例えば数フレームに１回といった頻度にまで低下させることも可能である。これにより、追跡位置のずれの増大を抑制することが可能となる。

なお、パーティクル蓄積部１０７（図２）には、上述した複数の仮説の状態（パーティクル）と重みWとが適宜格納されることも好ましい。また、回帰パラメータ蓄積部１０５（図２）には、各時刻又は期間における相関フィルタのパラメータαが格納されることも好ましい。さらに、テンプレート蓄積部１０６（図２）には、各時刻又は期間における追跡対象の映っている画像が格納されることも好ましい。

［物体追跡方法］
図１１は、本発明による物体追跡方法の一実施形態の概略を示すフローチャートである。以下、各ステップでの処理の概略を説明する。

（Ｓ１０１）時系列画像群から画像（フレーム）o_tを取得する。
（Ｓ１０２）フレームo_tについて特徴量Zを算出する。
（Ｓ１０３）相関フィルタを適用し、特徴量Zを用いて応答マップYを生成する。
（Ｓ１０４）追跡モードがパーティクルフィルタモードであるか否かを判定する。ここで、パーティクルフィルタモードであると判定した場合、ステップＳ１０５へ移行し、そうでない場合、ステップＳ１０６に移行する。

（Ｓ１０５）パーティクルフィルタモードを解除するか否かを判定する。この判定方法としては、例えば、以下の２つが挙げられる。
（ア）経過時間に基づく判定方法：パーティクルフィルタモードの開始から所定の時間内であれば解除せず、当該所定の時間が経過していればパーティクルフィルタモードを解除する。
（イ）応答マップの極大値を用いた信頼度に基づく方法：時刻tにおける応答マップY_t中の極大値を算出し、最大の極大値である第１極大値と、２番目に大きい第２極大値との比（第１極大値／第２極大値）を信頼度D''とする。ここで、この信頼度D''が所定の閾値未満であれば、応答マップの信頼度が低いとしてパーティクルフィルタモードの解除は行わず（モードを継続し）、一方、当該閾値以上であればパーティクルフィルタモードを解除する。

いずれにしても、このステップＳ１０５でパーティクルフィルタモードを解除した場合、ステップＳ１０６に移行し、一方、パーティクルフィルタモードを解除しない場合、ステップＳ１０８に移行する。このような手順により、例えば、追跡の信頼度が低下した際にパーティクルフィルタモードを発動させた場合には、追跡の失敗を抑制すべく、それ以降の数フレーム（例えば５フレーム）では複数のパーティクル（仮説）を設定して追跡を続行していくことになる。

（Ｓ１０６）応答マップYの最大値（最大応答値）を用いて変化点判定を行う。ここで変化点であるとの判定を行った際、ステップＳ１０７に移行する。一方、変化点ではないとの判定を行った際、ステップＳ１１２に移行する。
（Ｓ１０７）パーティクルフィルタモードを発動させ、複数のパーティクルを生成する。
（Ｓ１０８）各パーティクルの重みWに基づいてリサンプリングを実行する。
（Ｓ１０９）各パーティクルの状態を遷移させる状態予測を実行する。
（Ｓ１１０）遷移させた各パーティクルの重みWを、応答マップに基づく値resと物体らしさに係る値objとを用いて更新する。

（Ｓ１１１）パーティクルの中で重みWの最も大きいものの状態を、追跡対象物体の推定（検出）位置とする。
（Ｓ１１２）一方、ステップＳ１０６で偽の判定が行われた際、応答マップYの値が最大となる位置を、追跡対象物体の推定（検出）位置とする。

（Ｓ１１３）ステップＳ１１１又はＳ１１２で決定された物体推定（検出）位置を利用して、相関フィルタの学習（更新）を実行する。
（Ｓ１１４）全フレーム（画像）を処理したか否かを判定する。全フレームに対して処理が終了していれば本物体追跡方法を終了し、そうでなければ、未処理のフレームを処理すべくステップＳ１０１に移行する。

以上詳細に説明したように、本発明においては、例えば応答マップの値から直接的に正解を決定する追跡モードをとっている状況においても、変化点であるとの判定を行って追跡の信頼度が低下したと判断した際には、追跡の失敗を防止すべく「複数の候補画像領域（複数の仮説）」を立てる追跡モードに切り替える。

これにより、例えば、追跡対象物体の遮蔽、回転や、変形、さらには対象画像のブレや輝度変化等が生じて追跡の信頼度が低下した状況において、追跡結果に位置のずれが生じた場合に、適宜この位置ずれの補正を行うことも可能となる。すなわちこのように、追跡の信頼度に関する様々な状況下でも、より適切に物体を追跡し、追跡失敗を抑制することができるのである。

また、本発明において、応答マップとは直接に関係しない「画像領域決定用の指標」として、「物体らしさ」に係る指標を採用する場合、応答マップに係る情報だけでは追跡に失敗する可能性の高い状況を打破し、さらに、複数の候補から、追跡対象物体らしい正解画像領域をより確実に選択することができるのである。

ちなみに、本発明の構成及び方法は、例えば、多数の人物が移動・滞留したり出入りしたりする場を監視する監視システム、さらには、商店街や商業・サービス施設内における人物の入店、休憩、観戦・イベント参加や移動の状況を調査するためのマーケティング調査システム等、様々な系に適用可能である。また、本発明は、ヒューマンコンピュータインタラクションや、ロボティクス等の技術分野においても、例えば、ロボット側の物体認識能力の向上に大きく貢献し得る技術となっている。

以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 物体追跡装置
１０１ 通信インタフェース
１０２ 画像蓄積部
１０３ 物体領域蓄積部
１０４ 追跡モード蓄積部
１０５ 回帰パラメータ蓄積部
１０６ テンプレート蓄積部
１０７ パーティクル蓄積部
１０８ 最大応答値列蓄積部
１１ 特徴量抽出部
１２ 相関フィルタ適用部
１２１ 応答マップ生成部
１２２ 相関フィルタ学習部
１３ 変化点判定部
１４ 追跡決定部
１４１ パーティクル生成部
１４２ リサンプリング・状態予測部
１４３ 重み更新・位置決定部
１５ 通信制御部
２ カメラ

Claims (11)

1. 追跡対象の物体が含まれ得る時系列の画像群の各画像において、当該物体に係る画像領域を決定していくことによって当該物体を追跡する装置であって、
   １つの時点の前の時点において決定された１つの物体に係る画像領域から決定される探索領域につき、相関フィルタを用いて当該１つの時点での応答マップを生成する応答マップ生成手段と、
   当該応答マップの値の変化点を判定する変化点判定手段と、
   当該１つの時点での当該応答マップの値が変化点であると判定された際、当該応答マップの値から直接的に正解を決定することに代えて、複数の候補画像領域を設定し、当該応答マップとは直接に関係しない指標を含む少なくとも１つの画像領域決定用の指標に基づいて、当該複数の候補画像領域の中から当該１つの時点での正解とされる当該物体に係る画像領域を決定する追跡決定手段と
   を有することを特徴とする物体追跡装置。
2. 前記追跡決定手段は、当該応答マップとは直接に関係しない指標として、当該候補画像領域と、当該物体についての物体らしさを有する画像領域との重複率を採用することを特徴とする請求項１に記載の物体追跡装置。
3. 前記追跡決定手段は、当該画像領域決定用の指標として、当該候補画像領域と、当該前の時点で正解とされる画像領域との位置関係で決まる特定位置における当該応答マップの値を採用することを特徴とする請求項１又は２に記載の物体追跡装置。
4. 前記変化点判定手段は、当該１つの時点までの複数の時点の各々での当該応答マップの最大値から、又は当該１つの時点での当該応答マップの極大値から、当該１つの時点における変化点度合いを示す変化点信頼度を算出し、当該変化点信頼度に基づいて、当該１つの時点での当該応答マップの値が変化点であるか否かを判定することを特徴とする請求項１から３のいずれか1項に記載の物体追跡装置。
5. 前記追跡決定手段は、当該複数の候補画像領域として、当該前の時点において決定された当該物体に係る画像領域から決定される範囲内に、各々重みを有する複数のパーティクルを設定し、当該画像領域決定用の指標に基づいて当該重みを更新し、更新された当該重みに基づいて、正解とされる画像領域を決定することを特徴とする請求項１から４のいずれか１項に記載の物体追跡装置。
6. 前記追跡決定手段は、当該画像領域決定用の指標として、
   当該パーティクルの領域と、当該物体についての物体らしさを有する画像領域との重複率と、
   当該パーティクルの領域と、当該前の時点で正解とされる画像領域との位置関係で決まる特定位置における当該応答マップの値と
   を採用し、当該重複率と当該特定位置における当該応答マップの値との重み付き和を当該パーティクルの重みの更新値とすることを特徴とする請求項５に記載の物体追跡装置。
7. 前記追跡決定手段は、当該重み付き和における重み係数を、正解とされる当該物体に係る画像領域から算出された物体らしさに係る値に基づいて決定することを特徴とする請求項６に記載の物体追跡装置。
8. 前記追跡決定手段は、当該時系列の画像群の各画像について、予め設定された又は当該応答マップの値から決定されたパーティクルフィルタ適用期間の間は、当該画像に係る時点の前の時点で決定された複数のパーティクルを、更新された当該重みに基づいてリサンプリングして、さらに当該重みを更新し、正解とされる画像領域を決定することを特徴とする請求項５から７のいずれか１項に記載の物体追跡装置。
9. 当該１つの時点での正解とされる画像領域が決定された際、当該決定された画像領域に基づいて、当該相関フィルタのパラメータを更新する相関フィルタ学習手段を更に有し、
   前記応答マップ生成手段は、当該１つの時点において決定された正解とされる画像領域から決定される探索領域に基づき、当該相関フィルタの更新されたパラメータによって当該１つの時点の後の時点での応答マップを生成する
   ことを特徴とする請求項１から８のいずれか１項に記載の物体追跡装置。
10. 追跡対象の物体が含まれ得る時系列の画像群の各画像において、当該物体に係る画像領域を決定していくことによって当該物体を追跡する装置に搭載されたコンピュータを機能させるプログラムであって、
    １つの時点の前の時点において決定された１つの物体に係る画像領域から決定される探索領域につき、相関フィルタを用いて当該１つの時点での応答マップを生成する応答マップ生成手段と、
    当該応答マップの値の変化点を判定する変化点判定手段と、
    当該１つの時点での当該応答マップの値が変化点であると判定された際、当該応答マップの値から直接的に正解を決定することに代えて、複数の候補画像領域を設定し、当該応答マップとは直接に関係しない指標を含む少なくとも１つの画像領域決定用の指標に基づいて、当該複数の候補画像領域の中から当該１つの時点での正解とされる当該物体に係る画像領域を決定する追跡決定手段と
    としてコンピュータを機能させることを特徴とする物体追跡プログラム。
11. 追跡対象の物体が含まれ得る時系列の画像群の各画像において、当該物体に係る画像領域を決定していくことによって当該物体を追跡する装置に搭載されたコンピュータによる物体追跡方法であって、
    １つの時点の前の時点において決定された１つの物体に係る画像領域から決定される探索領域につき、相関フィルタを用いて当該１つの時点での応答マップを生成するステップと、
    当該応答マップの値の変化点を判定するステップと、
    当該１つの時点での当該応答マップの値が変化点であると判定された際、当該応答マップの値から直接的に正解を決定することに代えて、複数の候補画像領域を設定し、当該応答マップとは直接に関係しない指標を含む少なくとも１つの画像領域決定用の指標に基づいて、当該複数の候補画像領域の中から当該１つの時点での正解とされる当該物体に係る画像領域を決定するステップと
    を有することを特徴とする物体追跡方法。

Images