JP2015041383A - 対象追跡方法及び対象追跡装置 - Google Patents

Abstract

【課題】対象追跡方法及び装置を提供する。
【解決手段】対象追跡方法は、画像を順次に入力するステップと、１つ又は複数の特徴を有する第１特徴集合に基づいて形成された第１追跡テンプレートを用いて対象の入力画像における第１位置を決定し、第１特徴集合と異なり、且つ１つ又は複数の特徴を有する第２特徴集合に基づいて形成された第２追跡テンプレートを用いて対象の入力画像における第２位置を決定するステップと、第１位置及び第２位置に基づいて、対象の入力画像における最終位置を決定するステップと、を含み、第１追跡テンプレートは所定数のフレームごとに更新され、第２追跡テンプレートは予め設定された規則に基づいて更新され、第２追跡テンプレートと第１追跡テンプレートとは個別に更新され、第２追跡テンプレートの更新頻度は第１追跡テンプレートの更新頻度よりも低い。
【選択図】図２

Description

本発明は、画像処理に関し、具体的にはコンピュータ視覚技術における対象追跡方法及び装置に関する。

現在、人間とコンピュータのインタラクション制御システムは、操作モードがユーザーにとって非常に容易かつ便利であることから、人々に幅広く重視されている。特に、手振り制御システムはユーザーにとって、特に便利である。有効な手振り認識システムは自然かつ有効なインタラクション形態を提供することができる。手振り認識システムにおいて、非常に重要且つキーとなる部分は手の追跡である。

手追跡システムは、ユーザーの操作を便利にさせるためには、ユーザーにいかなる特殊な設備、例えば特殊手袋、カラーマーカー等の着用を要求すべきではない。同時に、手は非剛性物体であり、動きが速く、歪みやすく、自己遮蔽等の特徴を有し、従って、手追跡技術は非常に挑戦的な仕事である。

米国特許出願公開第ＵＳ２０１００３１０１２７Ａ１号（特許文献１）には、物体追跡方法が開示されている。該特許においては、初期テンプレートと動的テンプレートの２種の異なるテンプレートを用いて追跡を行う。追跡結果は初期テンプレート追跡結果と動的テンプレート追跡結果のうちの１つ又は２つに決定される。同時に方策マークユニットは動的テンプレートを更新する必要があるかどうかを判断する。動的テンプレートは初期テンプレートと現在目標画像により更新を行う。該特許においては、初期テンプレートはいつでも更新せず、動的テンプレートは初期テンプレートと目標画像に応じて更新を行う。従って、追跡環境の変化が非常に速い時、初期テンプレートは現在環境に適用しなくなる可能性があり、従って、該追跡方法は堅牢ではない。

２００８年２月にＩｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓｏｎ（Ｖｏｌｕｍｅ：１７、Ｉｓｓｕｅ：２）に発表された、作者がＪｕｎｑｉｕ Ｗａｎｇ等で名称が「Ｉｎｔｅｇｒａｔｉｎｇ Ｃｏｌｏｒ ａｎｄ Ｓｈａｐｅ−Ｔｅｘｔｕｒｅ Ｆｅａｔｕｒｅｓ ｆｏｒ Ａｄａｐｔｉｖｅ Ｒｅａｌ−Ｔｉｍｅ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ」（非特許文献１）の文章においては適応性のある特徴基づいて選択された新目標テンプレート更新方法を提案した。該追跡方法は、連合ヒストグラムにより最もよい２種特徴を組み合わせる。該文章においては、８〜１２フレームごとに一回の特徴選択を行う。現在テンプレートと初期テンプレートの間の類似度を計算することにより、目標テンプレートに対して更新を行う。該文章に二者択一の更新方法を提案し、初期テンプレート、以前テンプレート及び現在候補画像の間の関係を配慮する。該文章においては、初期テンプレートは固定テンプレートであり、追跡スタートアップ前に人工画定された、又は検出して得られた対象で形成され、全過程においていつでも更新されない。

従来の技術中、多くの研究者は追跡過程全体においては、初期追跡テンプレートが信頼され、且つ汚染されず、従って初期追跡テンプレートが普通追跡過程全体に使用され且つ変化しないと考えている。しかし、発明者は、追跡環境が多く変化した時、初期追跡テンプレートはノイズになる可能性があり、これによりシステムの堅牢性を低下させることが発見した。

一方、追跡方法の堅牢性を向上させるために、追跡テンプレートの更新は特に必要である。現在、２類のよく用いられるテンプレート更新方法がある。第１類は現在追跡結果画像によりテンプレート更新を行い、該方法は強い環境適応性を有するが、ノイズを導入しやすくて追跡シフトをもたらす。第２類方法は現在候補画像と以前テンプレートによりテンプレート更新を行い、該方法は更新する過程においては、目標と背景の不完全分類のため、ノイズをゆっくり導入して、テンプレートシフトをもたらす。

従って、安定性と自己適応性とをともに確保できる対象追跡方法の提供を要求されている。

本発明の一の態様によれば、画像を順次に入力するステップと、１つ又は複数の特徴を有する第１特徴集合に基づいて形成された第１追跡テンプレートを用いて対象の入力画像における第１位置を決定し、前記第１特徴集合と異なり、且つ１つ又は複数の特徴を有する第２特徴集合に基づいて形成された第２追跡テンプレートを用いて対象の入力画像における第２位置を決定するステップと、前記第１位置及び前記第２位置に基づいて、対象の入力画像における最終位置を決定するステップと、を含み、前記第１追跡テンプレートは所定数のフレームごとに更新され、前記第２追跡テンプレートは予め設定された規則に基づいて更新され、前記第２追跡テンプレートと前記第１追跡テンプレートとは個別に更新され、前記第２追跡テンプレートの更新頻度は前記第１追跡テンプレートの更新頻度よりも低い、対象追跡方法を提供する。

本発明の他の態様では、画像を順次に入力する画像入力部と、１つ又は複数の特徴を有する第１特徴集合に基づいて形成された第１追跡テンプレートを用いて対象の入力画像における第１位置を決定する第１追跡テンプレート位置決定部と、前記第１特徴集合と異なり、且つ１つ又は複数の特徴を有する第２特徴集合に基づいて形成された第２追跡テンプレートを用いて対象の入力画像における第２位置を決定する第２追跡テンプレート位置決定部と、前記第１位置及び前記第２位置に基づいて、対象の入力画像における最終位置を決定する対象最終位置決定部と、所定数のフレームごとに前記第１追跡テンプレートを更新する第１追跡テンプレート更新部と、予め設定された規則に基づいて前記第２追跡テンプレートを更新する第２追跡テンプレート更新部と、を含み、前記第２追跡テンプレートと前記第１追跡テンプレートとは個別に更新され、前記第２追跡テンプレートの更新頻度は前記第１追跡テンプレートの更新頻度よりも低い、対象追跡装置を提供する。

本発明に記載の対象追跡方法及び装置は２種の追跡テンプレート、即ち第１追跡テンプレートと第２追跡テンプレートをコンバインした。第１追跡テンプレートと第２追跡テンプレートは異なる特徴を用いて作成して得られた。同時に、本発明における２種の追跡テンプレートの更新頻度は異なり、両者は個別に更新を行い、第２追跡テンプレートの更新の頻度は第１追跡テンプレートよりも低く、このように第１追跡テンプレートはより多く自己適応性を体現し、第２追跡テンプレートはより多く安定性を配慮すると同時に状況に応じて必要な時更新を行う。従って最終に形成された追跡テンプレートはより良好に異なる環境に適応し且つ十分な堅牢を保証することができ、互いに補完することで追跡方法の堅牢性を向上させる。

さらに、発明者は、実際に、追跡成功又は失敗が、物体をその周囲背景からどう分離するかに依存し、有効に物体と背景を分離することは使用する特徴に直接かかわる、と認識した。従って、異なる時刻、異なる背景下でいずれも最適な特徴を得るように、リアルタイムに特徴の選択を行うことは特に必要であり、同時に追跡シフト問題を応対するために、追跡テンプレートを更新することも特に必要である。

このために、さらに、１つの実施例において、該対象追跡方法（及び装置）は、決定された対象の入力画像における最終位置に基づいて、対象領域と背景領域を分割するステップと、対象領域と背景領域を分析することにより、各候補特徴集合の対象領域と背景領域を区分する能力を評価するステップと、区分能力が最も強い第１候補特徴集合と第２候補特徴集合を決定するステップと、前記第１候補特徴集合を用いて前記第１特徴集合を更新するか否かを判断し、前記第２候補特徴集合を用いて前記第２特徴集合を更新するか否かを判断するステップと、前記第１候補特徴集合を用いて前記第１特徴集合を更新すると判断された場合、前記第１特徴集合を更新し、該更新された第１特徴集合及び直前の所定数のフレームの追跡結果に基づいて前記第１追跡テンプレートを再構築し、そうでない場合は、所定数のフレームの画像ごとに前記第１追跡テンプレートを更新し、前記第１特徴集合をそのままにするステップと、前記第２候補特徴集合を用いて前記第２特徴集合を更新すると判断された場合、前記第２特徴集合を更新し、該更新された第２特徴集合及び直前の所定数のフレームの追跡結果に基づいて前記第２追跡テンプレートを再構築するステップと、をさらに含む。

これによって、前記対象追跡方法及び装置は、リアルタイムに特徴の選択を行い、従って、異なる時刻と異なる環境に適応して最適な特徴を採用することができるとともに、追跡するテンプレートを更新することで、追跡システムをさらに堅牢させることができる。

以下、図面を参照した本発明の実施例の詳細説明から、本発明のこれらの及び／又は他の面及びメリットはさらにはっきりになって、より理解しやすくなる。
本発明の１つの実施例による手追跡技術を人間とコンピュータのインタラクションに用いられるシーンを模式的に示す模式図である。 本発明の実施例による対象追跡装置１００を示す配置ブロック図である。 本発明１つの実施例による対象追跡方法２００を示す全体フローチャートである。 図４（ａ）〜（ｃ）は手の位置情報を決定し、奥行き情報を過程中の手部領域と背景領域の分割に用いられる分割方法を示す模式図である。 図５（ａ）〜（ｄ）は例示性特徴評価過程の１つを示す模式図である。 本発明の実施例による入力画像に基づいて対象位置決めを行う例示性過程を示す図である。 図７（ａ）〜（ｃ）は本発明の実施例による第１追跡テンプレートと第２追跡テンプレートに基づいて入力画像に対して対象位置決めを行う過程をパータン的に模式的に示す図である。 本発明第２実施例による例示性対象追跡方法３００を示す全体フローチャートである。 別の視点から第３実施例の対象追跡方法の過程を模式的に示す図である。 本発明実施形態を実現するための例示性計算システム６００を示すブロック図である。

当業者により良好に更好地理解本発明、以下、図面と具体的には実施形態を参照しながら、本発明をさらに詳しく説明する。

下記の順序で説明を行う。

１、応用シーン例示
２、対象追跡装置
３、対象追跡方法の第１実施例
４、対象追跡方法の第２実施例
５、対象追跡を行うための計算システム
下記の説明中、追跡対象を手として説明し、これは例示に過ぎず、実際に、本発明は追跡する対象が制限されない。

＜１、応用シーン例示＞
図１は本発明の１つの実施例による手追跡技術を人間とコンピュータのインタラクションに用いられるシーンを模式的に示す模式図である。図１に示すように、一台のカメラをコンピュータ上方に置き、ユーザーはカメラ範囲内に立つ。ユーザーがカメラ範囲内に彼／彼女の手を移動する時、コンピュータは手の真実の位置情報を計算して、手に対するリアルタイム追跡の目的を達することができ、手の異なる時刻での位置点は図１に示す。

好適的に、該カメラはカラー図と奥行きマップの採集を行い、例えば双眼カメラである。本領域要員が公知したように、奥行き画像（Ｄｅｐｔｈ ｉｍａｇｅ）は画像中の画素点の値が奥行きである画像である。グレー画像に比べて、奥行き画像は物体の奥行き（距離）情報を有することで特に立体情報が必要な各種応用に適合である。また、公知のように、１つの画素点の奥行き値と視差値との間に簡単な換算関係を有することで本発明の奥行き情報の意味は広義的であり、視差情報を含む。

ただし、図１は１つの示意性例示であり、手を追跡するための設備はコンピュータに限らず、例えばゲーム機、プロジェクター、テレビ等であってもよい。

＜２、対象追跡装置＞
以下、図２を参照しながら本発明の実施例による対象追跡装置の配置例示を説明する。

図２は本発明の実施例による対象追跡装置１００を示す配置ブロック図である。

図２に示すように、対象追跡装置１００は、順次に画像、例えば、双眼カメラからカラー画像及び奥行き画像を入力する画像入力部１１０、第１特徴集合に基づく第１追跡テンプレート１８０を用いて対象の入力画像中の第１位置を決定する第１追跡テンプレート位置決定部１２０、第１特徴集合と異なる第２特徴集合に基づく第２追跡テンプレート１９０を用いて対象の入力画像中の第２位置を決定する第２追跡テンプレート位置決定部１３０、該第１位置と第２位置に基づいて、対象の入力画像中の最終位置を決定する対象最終位置決定部１４０、所定数のフレームの画像ごとに第１追跡テンプレート１８０を更新する第１追跡テンプレート更新部１５０、及び予め設定された規則に基づいて第２追跡テンプレート１９０を更新する第２追跡テンプレート更新部１６０を備えてもよい。第２追跡テンプレート１９０と第１追跡テンプレート１８０は個別に更新され、第２追跡テンプレート１９０の更新頻度は第１追跡テンプレート１８０よりも低い。また、第１特徴集合と第２特徴集合のそれぞれが１つ又は複数の特徴を有する。

好ましくは、対象追跡装置１００は、特徴適応更新部１７０を備え、図２における破線ボックスと破線矢印に示すように、該特徴適応更新部１７０は、対象最終位置決定部１４０が決定した対象の入力画像における最終位置に基づいて、対象と背景領域を分割し、対象と背景領域を分析することにより、各候補特徴集合の対象と背景領域を区分する能力を評価し、区分能力が最も強い第１候補特徴集合と第２候補特徴集合を決定し、第１候補特徴集合を用いて第１特徴集合を更新するかを判断し、第２候補特徴集合を用いて第２特徴集合を更新するかを判断し、第１候補特徴集合を用いて第１特徴集合を更新すると決定した場合、第１特徴集合を更新し、及び第１追跡テンプレート更新部１５０は該更新された第１特徴集合に基づいて第１追跡テンプレートを再構築し、第２候補特徴集合を用いて第２特徴集合を更新すると決定した場合、第２特徴集合を更新し、及び第２追跡テンプレート更新部１６０は該更新された第２特徴集合に基づいて第２追跡テンプレートを再構築してもよい。

なお、前記対象追跡装置１００の各部はソフトウェアプログラムで実現することができ、例えば汎用コンピュータにおけるＣＰＵによりＲＡＭとＲＯＭ等、及びそのうち運行しているソフトウェアコードを結合して実現することができる。ソフトウェアプログラムは例えばフラッシュメモリ、フロッピー（登録商標）ディスク、ハードディスク、光ディスク等の記憶媒体上に記憶してもよく、運行する時例えばランダムアクセスメモリＲＡＭ上にローディングしてＣＰＵで実行される。また、汎用コンピュータのほか、さらに専用集積回路とソフトウェアの間の協力により実現することができる。前記集積回路は、例えばＭＰＵ（マイクロプロセッサユニット）、ＤＳＰ（デジタル信号プロセッサー）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＡＳＩＣ（専用集積回路）等のうちの少なくとも１つを備える。このような汎用コンピュータ又は専用集積回路等は例えば結像設備例えばカメラと通信して、カメラが撮影して取得したカラー画像及び／又は斜視図像を処理して対象追跡結果を取得することができ、及び選択可能に、対象追跡結果に基づいて運行している応用を制御することができる。また、対象追跡装置１００の各部は専門のハードウェア、例えば特定のフィールドプログラマブルゲートアレイ、専用集積回路等で実現することができる。また、対象追跡装置１００の各部はソフトウェアとハードウェアの結合により実現することができる。

なお、図２に示す矢印は２つの構成部の機能の間にロジック関係が存在していることのみを意味し、２つの構成部の間は直接又は間接に操作的に接続することができる。また、図２中のある２つの構成部の間にある方向の矢印接続を示していなくても、両者の間に必ず該方向のロジック関係が存在していないと意味せず、逆に、両者の間は操作的な接続関係が存在してもよく、例えば第１追跡テンプレート更新部１５０及び第２追跡テンプレート更新部１６０と、画像入力部１１０との間にはロジック関連が存在してもよく、そのうち第１追跡テンプレート更新部１５０と第２追跡テンプレート更新部１６０は操作過程においては画像入力部１１０が入力された一フレーム又はマルチフレーム画像を利用する必要がある可能性がある。

前記対象追跡装置１００における各ユニットの構成と数量は本発明の範囲を制限しない。本発明の１つの実施例によれば、前記画像入力部１１０、第１追跡テンプレート位置決定部１２０、第２追跡テンプレート位置決定部１３０、対象最終位置決定部１４０、第１追跡テンプレート更新部１５０と第２追跡テンプレート更新部１６０は１つの独立した部に合併して相応な機能及び操作を実行して実現することができ、又は画像入力部１１０、第１追跡テンプレート位置決定部１２０、第２追跡テンプレート位置決定部１３０、対象最終位置決定部１４０、第１追跡テンプレート更新部１５０と第２追跡テンプレート更新部１６０をさらにより小さいユニットに分割してこれらの各自の機能と操作を実現することができる。

なお、図２中に示す構成は排他的ではなく、逆に、対象追跡装置１００他の部、例えば対象最終位置決定部１４０が処理した後の結果を表示するための表示部、及び例えば関連情報及び／又は中間処理結果を外部等に伝達するための通信部を備えてもよい。

＜３、対象追跡方法の第１実施例＞
以下、詳しく対象追跡装置１００の各部の機能と操作の例示を説明する。上記のように、手を追跡対象として説明する。

図３は本発明１つの実施例による対象追跡方法２００を示す全体フローチャートである。

図３に示すように、ステップＳ２１０においては、画像入力部１１０は順次に画像を入力する。

例えば普通カメラ、双眼カメラ、双眼カメラ、ステレオカメラにより画像を撮影し、次に画像入力部１１０に入力することができる。画像入力部１１０に入力された画像はＲＧＢカラー画像のみを備えてもよく、ＲＧＢカラー画像とともに奥行き画像を備えてもよい。

選択可能に、ローカルで直接にカメラから画像を入力することの代わりに、有線ネットワーク又は無線ネットワークによりリモートから画像を受信することもできる。

ステップＳ２２０においては、第１追跡テンプレート位置決定部１２０は第１追跡テンプレートを用いて対象の入力画像中の第１位置を決定し、及び第２追跡テンプレート位置決定部１３０は第２追跡テンプレートを用いて対象の入力画像中の第２位置を決定し、そのうち第１追跡テンプレートが第１特徴集合に基づいて形成され、第２追跡テンプレートが第２特徴集合に基づいて形成され、第１特徴集合が第２特徴集合と異なり、第１特徴集合と第２特徴集合のそれぞれが１つ又は複数の特徴を有する。

＜３．１特徴集合の評価及び追跡テンプレート的決定＞
追跡スタート前の初期第１と第２追跡テンプレートの決定に対して、まず対応する第１特徴集合と第２特徴集合を決定することができる。

そのため、１枚又は複数枚画像に対して自動の手検出結果又は人工画定により手及びその周囲背景画像を取得し、即ち対象領域と背景領域の分けを実現し、こうして１つ又は複数の標識又は分類された手部領域画像と背景領域画像のサンプルを得る。次にこれらのサンプルに基づいて関連候補特徴集合の対象と背景の区分能力を評価することができる。

以下、図４（ａ）〜（ｃ）を参照しながら手の位置情報を決定し、奥行き情報を過程中の手部領域と背景領域の分割に用いられる分割方法例示を説明する。

まず初歩的に手と背景領域を位置決めし、例えば従来の「中央リングサラウンド法」を用いて初歩的に手領域及び手の対応する背景領域を分け、図４中の（ａ）図に示すように、記号１が示す矩形枠（以下、長方形枠１と略称する）内に初歩的に手領域として分け、長方形枠１と記号２が示す長方形枠（以下、長方形枠２と略称する）の間の領域は背景領域として分ける。図４の（ａ）においては、観察できるように、長方形枠１内に、真の手に属する画像画素の他、さらに部分背景領域画素を備え、長方形枠１全体内の画素を手前景画素とすると、部分ノイズを導入する。効果的に背景ノイズを削除するために、本実施例は奥行き情報を加え、奥行き情報に基づいて、真の手領域画素を得ることができ、図４中の（ｂ）に示す通りである。従って、図４中の（ｃ）に示すように、長方形枠２内に、真の手画素のほか、残りの画素は背景画素として定義される。図４中の（ｃ）においては定義された手領域画素と背景画素に基づいて、最も手及びその背景画素を区分できる画像特徴を選択することができる。

手の有効特徴に基づいて、１つのシード特徴ライブラリを決定することができ、各シード特徴、例えば色特徴、形状特徴、輪郭特徴、面積特徴等はいずれも一定の状況下で手を背景から区分する可能性がある。各シード特徴の間の可能組合せは各候補特徴集合を形成する。各候補特徴集合の形成においては、事先にいくつの制限を加えて検索範囲を小さくして計算効率を向上させることができ、例えば特徴集合中の元素点数が１個又は２個である、特徴集合の元素が色特徴と形状特徴から選択される等と制限することができる。１つの例示においては、予めに興味のある各候補特徴集合を形成することができ、例えば色特徴で１つの候補特徴集合を形成し、形状特徴で別の候補特徴集合を形成し、輪郭特徴でさらに別の候補特徴集合を形成し、又はある特徴組合せで他の候補特徴集合を形成する。後続の第１特徴集合と第２特徴集合はこのような予め形成した興味のある各候補特徴集合から選択し、こうして検索効率を向上させることができる。

このように、手部領域と背景領域画像のサンプルを有し、及び候補特徴集合を有し、初期の第１特徴集合と第２特徴集合の選択を行うことができる。ただし、最初の第１特徴集合と第２特徴集合の決定に対して、人工で経験により決定することができ、特徴集合の対象と背景領域区分の能力（以下、適当に特徴又は特徴集合の区分能力と略称する）を自動評価し、区分能力が最も強い第１候補特徴集合と第２候補特徴集合を決定してそれぞれ第１特徴集合と第２特徴集合とする。

１つの実施例においては、後続の追跡過程中に、絶え間なく新たに各候補特徴集合の対象と背景領域区分の能力を評価し、予め決められた規則に基づいて第１特徴集合と第２特徴集合の更新を行うことができる。

特徴集合の対象と背景領域区分の能力の評価方法に対して、例えば開放試験（ＣＨＩ）、情報ゲイン（ｉｎｆｏｒｍａｔｉｏｎ ｇａｉｎ、ＩＧ）、相互情報量（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ、ＭＩ）、主成分分析（Ｐｒｉｎｃｉｐｌｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、ＰＣＡ）等の方法を利用することができる。

能力区分を評価することにより第１特徴集合と第２特徴集合を選定した後、これらの特徴に基づいて、訓練サンプルを学習することにより、対応する第１追跡テンプレートと第２追跡テンプレートを取得することができる。例えば、訓練サンプルに基づいて、すべての特徴の平均値と分散を計算して追跡テンプレートを形成することができる。

以下、対数類似度関数の分散比を最適特徴評価裏付けとして第１特徴集合と第２特徴集合を決定する方法例示を紹介し、及びさらにその後対象と背景のヒストグラム分布の対数尤度比（ｌｏｇ ｌｉｋｅ ｌｉｈｏｏｄ ｒａｔｉｏ）を用いて追跡テンプレートを構造する方法例示を紹介する。対数類似度関数の分散比を用いて最適評価裏付けとすることに関する詳しい紹介は作者がＲｏｂｅｒｔ Ｔ．Ｃｏｌｌｉｎｓ等のＩＥＥＥ ｔｒａｎｓａｃｔｉ ｏｎ ｓｏｎｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ、ｖｏｌ．２７、ｎｏ．１０、２００５年１０月に発表されたテーマが「Ｏｎｌｉｎｅ Ｓｅｌｅｃｔｉｏｎ ｏｆ Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ Ｔｒａｃｋｉｎｇ Ｆｅａｔｕｒｅｓ」の文章を参照することができる。

以下、シード特徴ライブラリがＲ、Ｇ、Ｂ三種類の色特徴を有し、最後に選択した特徴集合中に１種色特徴のみを含むと仮定し、図５を参照しながら特徴選択過程（後続追跡過程中にオンライン使用することができる）の１つの方法例示を説明する。

図５（ａ）〜（ｄ）は例示性特徴評価過程の１つを示す模式図である。
（１）まず、対象画素領域と背景画素領域を分割し、図５（ａ）に示すように、具体的な過程は例えば図４に示す通りである。

（２）シード特徴ライブラリから１種特徴ｆを抽出し、それぞれ該特徴ｆの対象画素と背景画素上のヒストグラム分布を計算する。以下、それぞれＨ_ｏｂｊとＨ_ｂｇを用いて被追跡対象と背景領域画素の各特徴値での対応するヒストグラム分布を表す。図５（ａ）においては対応する対象と背景画素を例とし、Ｒ、Ｇ、Ｂ三種類の色特徴を算用して例示とすると仮定し、そのヒストグラム分布を計算し、図５（ｂ）に示すように、その記号１が示す曲線は対象画素の異なる特徴値での対応するヒストグラム分布を表し、記号２が示す曲線はその背景画素の異なる特徴値上の対応するヒストグラム分布を表す。

（３）特徴評価関数により計算してスコアしてシーケンスして、最も区分能力を有する特徴を見つける。本実施例においては分散比（ｖａｒｉａｎｃｅ ｒａｔｉｏ）評価方法を用いて、まず各特徴の各特徴値ｉの対応する対数類似度割合値Ｌ（ｉ）を計算し、計算公式は式（１）に示すように、次に公式（２）により分散比（ｖａｒｉａｎｃｅ ｒａｔｉｏ）を計算し、最後に分散比基づいて、区分能力順位が前である特徴を見つけ、そのうち分散比が大きくなるほど、該特徴区分能力が強くなることを表す。

公式（１）においては、Ｈ_ｏｂｊ（ｉ）とＨ_ｂｇ（ｉ）はそれぞれ対応する特徴の対象と背景上の特徴値がｉであるヒストグラム統計値を表す。例えば、特徴値ｉ＝１００と仮定し、対応する追跡対象上で特徴値が１００の画素個数は２００個であり、このようにＨ_Ｏｂｊ（１００）＝２００である。通常の状況下で、ヒストグラム統計値を正規化させる必要があり、正規化範囲は［０、１］の間である。例えばＨ_ｏｂｊ（１００）＝２００と仮定し、対象画素トータルが１０００であり、このように正規化された後Ｈ_Ｏｂｊ（１００）＝０．２である。Ｓは非常に小さい数であり、主に除数が０であることを防止、Ｓは０．０００１又はさらに小さい値に設定してもよい。

公式（２）は分散比（ｖａｒｉａｎｃｅｒａｔｉｏ）を計算することに用いられる。公式（３）は公式（２）中に示すｖａｒ（Ｌ、Ｈ）を計算することに用いられる。

前記分散比公式（２）裏の直観物理意義は、対象と背景上の画素の対数尤度値が緊密的にクラスタリング（言い換えれば、同一類間の分散が低い）されると同時に、２つのクラスタリング（即ち対象と背景）の間ができる限り分離（異なる類間の分散が高い）することを我々が希望している。

分散比に基づいて、シード特徴ライブラリ中のすべてのシード特徴の現在画像中での区分能力を評価し、現在画像にとって最も区分特性を有する特徴を見つける。例えば、図５（ｄ）においては、Ｒ、Ｇ、Ｂ三種類の簡単な色特徴を例とし、分散比計算結果に基づいて、現在画像中物体と背景に対して最もよい区分能力を有する特徴はＢ、その次はＲ、最後はＧである。

１つの例示においては、信頼度図（ｃｏｎｆｉｄｅｎｃｅ ｍａｐ）を用いて異なる特徴の同一画像上で表す区分能力を表し、例えば図５（ｃ）と図５（ｄ）に示す通りである。信頼度図は明らかほど、該特徴区分特性がよくなると表す。最終に生成された信頼度図の明瞭度に基づいて、分散比を用いて特徴区分能力を評価する効果性を検証し、最終にシーケンス結果は図５（ｄ）に示す。

このように、第１特徴集合と第２特徴集合内に元素個数が１である場合、言い換えれば、第１追跡テンプレートと第２追跡テンプレートそれぞれ１つの特徴是に基づいて構築された場合、区分能力が最も強い前の２つの特徴を選択して第１最適特徴と第２最適特徴とし、それぞれ第１追跡テンプレートと第２追跡テンプレートを構築することができる。

サンプル数がＳ１（Ｓ１フレーム画像）である場合、即ちＳ１個対象と背景ヒストグラム分布対（Ｈ_ｏｂｊ１、Ｈ_ｂｇ１）、（Ｈ_ｏｂｊ２、Ｈ_ｂｇ２）、．．．、（Ｈ_{ｏｂｊＳ１}、Ｈ_ｂｇＳ１）が存在し、言い換えれば、（Ｈ_ｏｂｊ１、Ｈ_０ｂｊ２、．．．Ｈ_{０ｂｊｓ１}）はＳ１フレームにおいては対象画素の異なる特徴値で対応するヒストグラム分布であり、（Ｈ_ｂｇ１、Ｈ_ｂｇ２、．．．Ｈ_ｂｇｓ１）はＳ１フレームにおける背景画素の異なる特徴値上の対応するヒストグラム分布である。なお、フレーム数Ｓ１は１フレームであってもよい。好ましくは、該Ｓ１個サンプルにおいて、各サンプル特徴に対する評価結果は、いずれも第１最適特徴が、区分能力が最も強い特徴である。しかし、必ずそうではなく、必要に応じて、第１最適特徴がすべてのＳ１個サンプル中にいずれも区分能力が最も強い特徴として表現することを要求しない。

第１追跡テンプレートが基づく第１最適特徴、及び第１サンプル集合（Ｈ_ｏｂｊ１、Ｈ_ｂｇ１）、（Ｈ_ｏｂｊ２、Ｈ_ｂｇ２）、．．．、（Ｈ_{ｏｂｊＳ１}、Ｈ_ｂｇＳ１）を決定した場合、訓練学習により初期第１追跡テンプレートＴ１を作成することができ、公式（４）に示す通りである。訓練学習方法に関して、例えばサポートベクターマシン、ランダムフォレスト等がある。

公式（４）中のＦ１は該第１追跡テンプレートＴ１の構築が第１最適特徴Ｆ１に基づくことを表す。

本発明の１つの実施例において、公式（１）に類似する下記の式（５）により第１追跡テンプレートＴ１を構築する。

（γ_１、γ_２、．．．γ_Ｓ１）は異なる物体ヒストグラム統計（Ｈ_ｏｂｊ１、Ｈ_ｏｂｊ２、．．．Ｈ_{ｏｂｊＳ１}）が対応する重み係数を表し、（ρ_１、ρ_２、．．．ρ_ｓ１）は異なる背景ヒストグラム（Ｈ_ｂｇ１、Ｈ_ｂｇ２、．．．Ｈ_ｂｇｓ１）が対応する重み系数値を表す。１つの例示においては、Ｓ１個サンプル中の各サンプルは初期追跡テンプレートの形成に対して同等作用を有すると仮定することで、（γ_１、γ_２、．．．γ_Ｓ１）と（ρ_１、ρ_２、．．．ρ_ｓ１）の重み係数値は同じ且つ１／Ｓｌと設定される。

類似的に、Ｓ２個の第２追跡テンプレートを構築するためのサンプル（即ちＳ２フレーム画像）が存在すると仮定し、即ちＳ２個対象と背景のヒストグラム分布対（Ｈ_Ｏｂｊ１、Ｈ_ｂｇ１）、（Ｈ_ｏｂｊ２、Ｈ_ｂｇ２）、．．．、（Ｈ_{ｏｂｊｓ２}、Ｈ_ｂｇＳ２）が存在し、言い換えれば、（Ｈ_０ｂｊ１、Ｈ_ｏｂｊ２、．．．Ｈ_{ｏｂｊＳ２}）はＳ２フレームにおいては対象画素の対応するヒストグラム分布であり、（Ｈ_ｂｇ１、Ｈ_ｂｇ２、．．．Ｈ_ｂｇＳ２）はＳ２フレームにおいては背景画素の対応するヒストグラム分布である。ただし、Ｓ２は１であってもよい。好ましくは、該Ｓ２個サンプルにおいては、各サンプル特徴を評価する結果、いずれも第２最適特徴は区分能力が第２の強い特徴である。しかし、これは必要不可欠なものではなく、実際の必要と制限等によるものであり、必ず第２最適特徴が、すべてのＳ２個サンプルにおいていずれも区分能力が第２強い特徴として表現されることを要求するものではない。

公式（４）に類似し、第２最適特徴Ｆ２と第２サンプル集合Ｓ２に基づいて、下記公式（６）に基づいて訓練学習により第２追跡テンプレートＴ２を構造することができる。

公式（６）中のＦ_２は該追跡テンプレート構築が第２最適特徴Ｆ２に基づくことを表す。

特に、公式（５）に類似し、１つの例示においては、下記の式（７）に基づいて第２追跡テンプレートＴ２を構築することができる。

（α_１、α_２、．．．α_Ｓ２）は異なる物体ヒストグラム統計（Ｈ_ｏｂｊ１、Ｈ_ｏｂｊ２、．．．Ｈ_{ｏｂｊＳ２}）の対応する重み係数であり、（β_１、β_２、．．β_Ｓ２）は異なる背景ヒストグラム（Ｈ_ｂｇ１、Ｈ_ｂｇ２、．．．Ｈ_ｂｇＳ２）の対応する重み係数値である。１つの例示においては、Ｓ２個サンプル中の各サンプルは初期追跡テンプレートの形成に対して同等作用を有すると仮定することで（α_１、α_２、．．．α_Ｓ２）と（β_１、β_２、．．β_Ｓ２）の重み係数値は同じ且つ１／Ｓ２と設定される。

また、第１追跡テンプレートと第２追跡テンプレートの構築は同じ又は異なる（又は独立的な）サンプル集合に基づくことができる。しかし、第１追跡テンプレートが基づく特徴又は特徴集合はかならず第２追跡テンプレートが基づく特徴又は特徴集合と異なる。

また、上記説明中、第１追跡テンプレートは第１最適特徴（区分能力が最も強い特徴）に基づき、第２追跡テンプレートは第２最適特徴（区分能力が第２強い特徴）に基づくと説明した。しかし、これらは例示に過ぎず、実際上に、両者は互いに交換してもよく、即ち第１追跡テンプレートは第２最適特徴（区分能力が第２強い特徴）に基づき、第２追跡テンプレートは第１最適特徴（区分能力が最も強い特徴）に基づくと説明してもよく。さらに又は、第１追跡テンプレートと第２追跡テンプレートはかならず区分能力が前の２名の特徴に基づくことがなく、ある配慮のため区分能力さらに次の他の特徴に基づいてもよい。普通、毎回選択した特徴は好ましくが区分能力が比較的強い特徴であり、しかし、特徴が比較的強い区分能力を持つかどうかを判断するには、異なる評価標準を有してもよく、従ってこの評価標準は異なり、得られた特徴区分能力シーケンスも異なる。例えば、色特徴が一定状況下で比較的強い区分能力有するがいくつの状況下で非常に弱いと仮定し、形状特徴区分能力が強くなく、しかし、いつでも一定の区分能力を有することで、安定性を重視する状況下で、形状特徴は区分能力が色特徴より強いと見なす。

また、ヒストグラムの具体形式、例えば画素の値を取る可能な数に基づいて、数学から見れば、Ｈ_Ｏｂｊは実際上に多次元ベクトルであり、例えば選択したのがＲ色特徴である場合、その特徴値が２５６個、０〜２５５であり、Ｈ_Ｏｂｊは実際上にＲの値が０の画素個数、Ｒ値が１の画素個数、．．．、Ｒ値が２５５の画素個数のような２５６次元ベクトルの形式と表現する。もちろん、必要に応じて、値区間を設定して、統計を行うことができ、例えばＲの値は［０、７］、［８、１５］、．．．［２４８、２５５］の区間に分けられ、この時Ｈ_Ｏｂｊは３２次元ベクトルと表現する。注意すべきなのは、公式（１）、（５）、（７）の演算は各次元に対していずれも独立に行われる。

また、前記例示は各特徴集合内の元素が１つの特徴であることを例として説明を行ったが、これらは例示に過ぎず、実際上に各特徴集合内の元素は１つより多くてもよい。依然として上記のＲ、Ｇ、Ｂ色特徴を例として、この時２つの色特徴を選択して特徴集合を構成する。依然として上記のヒストグラム分布で特徴の対象と背景の区分能力を計算して及び特徴を選択する場合、２つの特徴のヒストグラムでジョイントヒストグラム（ｊｏｉｎｔ ｈｉｓｔｏｇｒａｍ）又は二次元ヒストグラムを構成して、次に前記の類似の処理を行うことができる。類似的に、３つ又は更に多い特徴を選択して特徴集合を構成してもよく、例えば３つ又はそれ以上の特徴のヒストグラムでジョイントヒストグラム又は対応次元数のヒストグラムを構成して、次に前記の類似の処理を行うことができる。

以上、第１特徴集合と第２特徴集合を選択し、及び初期第１追跡テンプレートと第２追跡テンプレートを構築する方法の例を説明した。前述したように、これらは例示に過ぎず、他の特徴選択方法とテンプレート構築方法も本発明に用いることができる。

＜３．２手の位置決め＞
第１追跡テンプレートと第２追跡テンプレートを決定した後、入力画像に対して、それぞれ第一追跡テンプレートと第２追跡テンプレートを用いて対象の入力画像中の位置を決定又は検索し、第１位置と第２位置を取得することができる。

１つの例示においては、第１追跡テンプレートと第２追跡テンプレートを用いて対象の入力画像中の位置を決定又は検索することは、対象出現領域の予測操作を行い、次に後続で該予測して得られた対象出現領域内に対象を検索することを含んでもよい。

例えば、対象の以前の運動情報、例えば速度、加速度等に基づいて、対象の入力画像中の候補出現領域を予測することができる。

具体的には、例えば、局所範囲内に、手運動が等速運動に近似し、運動速度を予測裏付けとすると、現在画像中、手が出現する可能性のある位置は公式（８）と（９）に基づいて計算することができる。現在、よく使われる運動予測方法はｋａｌｍａｎフィルタリング、粒子フィルタリング等があり、本実施例はいずれか１種予測方法を用いてもよい。

公式（８）において、（Ｓ_{ｘ、ｔ-１}、Ｓ_{ｙ、ｔ-１}）は前の１つのフレーム中（ｔ−１時刻）における手の位置点の横座標と縦座標であり、（Ｓ_ｘ、ｔ、Ｓ_ｙ、ｔ）は現在画像（ｔ時刻）において手が出現する可能性のある位置点の横座標と縦座標である。Δｔは連続的な両フレームの間の時間間隔である。公式（９）は運動速度計算公式を示す。

別の例示において、位置領域の予測は奥行き（又は距離）の予測をさらに備える。この場合、前記公式（８）と（９）はそれぞれ以下の公式（１０）と（１１）に変化する。

候補領域の予測により、処理時間を低下させると同時にシステムの堅牢性を増強させることができ、本発明の１つの実施例においては常用のｋａｌｍａｎ予測方法を採用し、予測して得られた候補領域は図６に示す画像中の長方形枠を参照することができる。本発明の実施例による入力画像に基づいて対象位置決めを行う例示性過程を示す図である
次に、対象候補領域内に、２種の異なる追跡テンプレートに基づいて、それぞれ対象の位置を位置決めする。

追跡テンプレートの相違に基づいて、対象位置決め方法も異なってもよい。例えば、一般的な対象位置決め方法又は検索方法は、所定の大きさの摺動ウインドで対象候補領域を遍歴し、追跡テンプレートと摺動ウインドの所在する領域の間のマッチング度（又は類似度）を計算し、マッチング度（類似度）が最も高いウインド領域を検索された対象領域とし、さらに対象位置を決定することができる。

１つの例示において、それぞれ第１追跡テンプレートと第２追跡テンプレートに基づいて逆投影法を用いて候補領域に対応する第１信頼度図と第２信頼度図を計算し、図６中の段階２を参照する。次に異なる信頼度図に基づいて、平均値シフト法（ｍｅａｎ ｓｈｉｆｔ）を用いて信頼度図の重心即ち手の可能な追跡位置点を計算し、図６中の段階３を参照する。逆投影法で計算して得られた信頼度図は現在画像領域の対応する画素が目標画像のヒストグラム分布程度を満たすことを反映し、目標ヒストグラム分布に符合するほど、該画素が目標画素に属する可能性がより大きいことを表明する。図７（ａ）は１つの例示において第１追跡テンプレートと第２追跡テンプレートで現在候補領域（左図のボックスに示す）を計算してそれぞれ得られた第１信頼度図と第２信頼度図を模式的に示す図である。信頼度図において対応する画素値が大きければ大きいほど（明るければ明るいほど）、該画素が目標物体に属する可能性が大きくなることを表明し、画素値が小さければ小さいほど（暗ければ暗いほど）、該画素が背景に属する可能性が大きくなることを表明する。図７（ｂ）は該例示において平均値シフト法で計算して得られた第１信頼度図の重心（手の第１位置に対応する）と第２信頼度図の信頼度図（手の第２位置に対応する）を模式的に示す図である。

対数尤度比特徴に基づいて対象と背景区分の能力と平均値シフト（ｍｅａｎｓｈｉｆｔ）を評価する追跡アルゴリズムに関する詳しい紹介は、２００８年２月Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ（Ｖｏｌｕｍｅ：１７、Ｉｓｓｕｅ：２）に発表された、作者がＪｕｎｑｉｕ Ｗａｎｇ等、テーマが「Ｉｎｔｅｇｒａｔｉｎｇ Ｃｏｌｏｒ ａｎｄ Ｓｈａｐｅ−Ｔｅｘｔｕｒｅ Ｆｅａｔｕｒｅｓ ｆｏｒ Ａｄａｐｔｉｖｅ Ｒｅａｌ−Ｔｉｍｅ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ」の文章を参照することができる。

図３に戻り、ステップＳ２２０においてそれぞれ第１追跡テンプレートと第２追跡テンプレートを用いて対象の入力画像中の位置を決定することで第１位置と第２位置を取得した後、図３に示す過程はステップＳ２３０に移行する。
ステップＳ２３０において、該第１位置と第２位置に基づいて、対象の入力画像中の最終位置を決定する。

このステップは第１位置と第２位置を組み合せ、最後の位置点を取得し、図６における段階４を参照する。

１つの例示において、公式（１２）を用いて第１位置ｌｏｃａｔｉｏｎ_{ｆｉｒｓｔ}と第２位置ｌｏｃａｔｉｏｎ_{ｓｅｃｏｎｄ}を組み合わせ、最後の位置点ｎｅｗ ｌｏｃａｔｉｏｎを取得する。

公式（１２）に、αとβはそれぞれ第１位置ｌｏｃａｔｉｏｎ_{ｆｉｒｓｔ}と第２位置ｌｏｃａｔｉｏｎ_{ｓｅｃｏｎｄ}の対応する重み係数を表し、そのうちα、β∈［０、１］且つα＋β＝１である。第１位置ｌｏｃａｔｉｏｎ_{ｆｉｒｓｔ}と第２位置ｌｏｃａｔｉｏｎ_{ｓｅｃｏｎｄ}はいずれも同等で信頼的だと判断された時、α＝β＝０．５に設定してもよく、それ以外の場合はリアルタイムに重み係数を調整することができる。図７（ｃ）に第１位置と第２位置を組み合わせることにより得られた最終位置点を示す模式図である。第１位置ｌｏｃａｔｉｏｎ_{ｆｉｒｓｔ}と第２位置ｌｏｃａｔｉｏｎ_{ｓｅｃｏｎｄ}の信頼性に対して、主に追跡結果の信頼性に基づいて判断することができ、例えば主に先験的な知識法を用いて追跡結果、例えば形状情報（手のアスペクト比例値）、面積情報、奥行き情報、手領域全体の平均奥行き値等を判断することができる。

ステップＳ２３０の後、ステップＳ２４０に移行する。

ステップＳ２４０において、所定数のフレームごとに第１追跡テンプレート更新を行い、及び予め設定された規則に基づいて、第２追跡テンプレートを更新し、第２追跡テンプレートと第１追跡テンプレートは個別に更新を行い、且つ第２追跡テンプレートの更新頻度は第１追跡テンプレートよりも低い。

第１追跡テンプレートの自己適応性を保証するために、所定フレーム数ごとに第１追跡テンプレート更新を行い、例えばフレームごとに第１追跡テンプレート更新を行い、又は計算経営資源とリアルタイムニーズ等の要素を配慮して、例えば両フレームごと又はさらに多いフレームごとに第１追跡テンプレートの更新を行うことができる。

具体的には、１つの例示において、公式（１３）に基づいて第１追跡テンプレート更新を行うことができる。

公式（１３）において、Ｔｌ_ｉは更新された後の第１追跡テンプレートであり、Ｔｌ_{ｃａｎｄｉｄａｔｅ}は現在候補目標であり、Ｔｌ_ｉ-１は前の１つのフレームに使用する追跡テンプレートであり、αは類似度重み値であり、その値はＴｌ_{ｃａｎｄｉｄａｔｅ}とＴｌ_ｉ-１の間の類似度に基づいて決定することができる。

初期第１追跡テンプレートＴｌ_１は例えば前記公式（４）を用いて学習して得ることができる。

また、第２追跡テンプレートの堅牢性を保障するために、且つ同時に始終に不変な第２追跡テンプレートを用いて環境等の変化に適合しなくなることをもたらすことを防止するために、予め設定された規則に基づいて第２追跡テンプレートを更新し、第２追跡テンプレートと第１追跡テンプレートは独立に更新を行い、且つ第２追跡テンプレートの更新頻度は第１追跡テンプレートより低い。

例えば、１つの例示において、ｎ２フレームおきに第２追跡テンプレートを更新することができ、且つ、ｎｌフレームおきに第１追跡テンプレートを更新すると仮定し、ｎ２＞ｎｌを保証すべきである。

別の例示において、第２追跡テンプレートが追跡した追跡結果の信頼性を評価することができ、該信頼性が所定閾値より低いと、第２追跡テンプレートを更新することを決定する。

別の例示において、下記のように、第２追跡テンプレートが基づく第２特徴集合を更新するかどうかを評価することができ、且つ第２特徴集合を更新すると判定し且つすでに第２特徴集合を更新した場合のみで、更新された第２特徴集合に基づいて第２追跡テンプレートを更新する（又は再構築する）。

どの予め設定された規則に基づいて第２追跡テンプレートを更新するにもかかわらず、第２追跡テンプレートと第１追跡テンプレートの間の更新はいずれも独立的であり、且つ第２追跡テンプレートの更新頻度は第１追跡テンプレートより低い。

ステップＳ２４０において第１と第２追跡テンプレートを更新するかどうかを判断し、及び必要があれば第１と第２追跡テンプレートを更新した後、処理を終了させることができ、又は必要があれば続けて追跡を行い、ステップＳ２１０に戻って、前記処理を繰り返すことができる。

本発明の前述の実施例の対象追跡方法は、２種の追跡テンプレート、即ち第１追跡テンプレートと第２追跡テンプレートを総合し、第１追跡テンプレートと第２追跡テンプレートは異なる特徴集合を用いて作成して得られたものである。同時に、本発明の実施例中の２種の追跡テンプレートの更新頻度は異なり、両者は独立に更新を行い、第２追跡テンプレート更新の頻度は第１追跡テンプレートより低い。このように、第１追跡テンプレートはより多く自己適応性を保証し、環境の変化、例えば光照条件変化、形状変化、背景変化等に適応し、第２追跡テンプレートは一定の範囲で追跡テンプレートの安定性を維持し且つノイズに汚染されず、同時に状況に応じて必要な時に更新を行うことができる。従って最終に形成された追跡テンプレートはより良好に異なる環境に適応し且つ十分な安定を保証し、互いに補完することで追跡方法の堅牢性を向上させることができる。

＜４、対象追跡方法の第２実施例＞
前記第１実施例ではテンプレート更新を行うことのみを説明した。以下、説明しようとする第２実施例の対象追跡方法はオンラインテンプレート更新を行うとともにオンライン特徴更新も行う。

以下、図８を参照しながら本発明第２実施例による例示性対象追跡方法３００の全体フローチャートを説明する。

図８は本発明第２実施例による例示性対象追跡方法３００を示す全体フローチャートである。図８に示す第２実施例の対象追跡方法３００は図３に示す対象追跡方法２００の相違がステップＳ３４０〜Ｓ３９０にあり、以下、ステップＳ３４０〜Ｓ３９０を重点として説明し、他のステップＳ３１０、Ｓ３２０及びＳ３３０は図３を参照しながら説明したステップＳ２１０、Ｓ２２０及びＳ２３０とほとんど同じ、ここでは繰り返して説明しない。

図に示すように、ステップＳ３４０において、第１特徴集合を更新するかどうかを判断する。

１つの実施例において、第１特徴集合を更新するかどうかを判断することは、現在追跡結果（ステップＳ３３０に得られた対象位置）に基づいて、新たに各候補特徴集合の対象と背景領域区分の能力を評価し、且つ評価して得られた最も強い特徴集合が以前使用する第１特徴集合と異なると発見したと、特徴更新を配慮することができる。別の実施例に、連続的にマルチフレームの特徴集合の新たに評価して得られた最も強い特徴集合はいずれも同じ、且つ以前使用する特徴集合と異なることを配慮し、且つ同時に満たす場合のみで、特徴集合更新を配慮する。

具体的には、１つの例示において、下記のように第１特徴集合を更新するかどうかを判定することができる。

（１）決定された対象の入力画像中の最終位置に基づいて、対象と背景領域を分割すること、
（２）対象と背景領域を分析することにより、各候補特徴集合の対象と背景領域を区分する能力を評価すること、
（３）区分能力が最も強い第１候補特徴集合を決定すること、
（４）現在に決定された区分能力が最も強い第１候補特徴集合は現在に使用している第１特徴集合と異なると、該区分能力が最も強い第１候補特徴集合を保存し、且つ現在画像を候補サンプルとして保存する。該第１候補特徴集合が後続の連続のｍｌフレームにおいていずれも区分能力が最も強い候補特徴集合であると評価されると、現在に使用する第１特徴集合が現在追跡環境に適合しなくなったと考えられ、第１特徴集合を更新することを決定し、それ以外の場合は第１特徴集合を更新しないと考えられる。ｍｌは正整数であり、その大きさは人工設定され又は学習により決定されてもよい。

ステップＳ３４０において第１特徴集合を更新すると判定した場合、ステップＳ３５０に移行する。

ステップＳ３５０において、現在の第１特徴集合の代わりに、第１候補特徴集合を使用し、且つ相応的に第１追跡テンプレートを再構築する。本文中に、更新は広義的に解釈されてもよく、従って再構築も更新の１種と見なす。

第１追跡テンプレートを再構築する方法について、第１特徴集合とサンプル集合（前記各候補サンプルからなる）を有するため、１つの例示中に、前記の初期第１追跡テンプレートを構築する方法に基づいて第１追跡テンプレート（例えば、前記公式（４）と（５）を参照）を再構築することができる。

ステップＳ３５０が完成した後、ステップＳ３７０に移行する。

一方、ステップＳ３４０において第１特徴集合を更新する必要がないと決定した場合、ステップＳ３６０に移行する。

ステップＳ３６０において、図３を参照したステップＳ２４０中の一部に説明したことに類似し、所定フレーム数ごとに第１追跡テンプレートを更新する。

ただし、第１特徴集合更新と第１追跡テンプレート更新を経たと、この時のフレーム数カウントはクリアして新たに統計することができる。

次に、ステップＳ３７０において、第２特徴集合を更新するかどうかを判定する。前記ステップＳ３４０と類似し、１つの例示において、下記のように第２特徴集合を更新するかどうかを判定することができる。

（１）決定された対象の入力画像中の最終位置に基づいて、対象と背景領域を分割すること、
（２）対象と背景領域を分析することにより、各候補特徴集合の対象と背景領域を区分する能力を評価すること、
（３）区分能力が第２強い第２候補特徴集合を決定すること、
（４）現在に決定された区分能力が第２強い第１候補特徴集合は現在に使用している第２特徴集合と異なると、該区分能力が最も強い第２候補特徴集合を保存し、且つ現在画像を候補サンプルとして保存する。該第２候補特徴集合が後続の連続のｍ２フレームにおいていずれも区分能力が第２強い候補特徴集合であると評価されると、現在に使用する第２特徴集合が現在追跡環境に適合しなくなったと考えられ、第２特徴集合を更新することを決定し、それ以外の場合は第２特徴集合を更新しないと考えられる。ｍ２は正整数であり、その大きさは人工設定され又は学習により決定されてもよい。

ただし、本ステップＳ３７０と前記ステップＳ３４０に、それぞれ、区分能力が第１強い特徴集合を第１特徴集合の代替候補とし、区分能力が第２強い特徴集合を第２特徴集合の代替候補とする。しかし、これらは例示に過ぎず、実際上に初期の第１特徴集合と第２特徴集合を選択する規則の相違に基づいて、後続の代替候補として決定する規則も異なる。

ステップＳ３７０において、第２特徴集合を更新すると決定した場合、ステップＳ３８０に移行する。

ステップＳ３８０において、現在の第１特徴集合の代わりに、第２候補特徴集合を使用し、且つ相応的に第２追跡テンプレートを再構築する。注意すべきなのは、本文中に、更新は広義的に解釈されてもよく、従って再構築も更新の１種と見なす。

第２追跡テンプレートの再構築方法について、第２特徴集合とサンプル集合（前記各候補サンプルからなる）有するため、１つの例示中に、前記の初期第２追跡テンプレートを構築する方法に基づいて第２追跡テンプレート（例えば、前記公式（６）と（７）を参照）を再構築することができる。

ステップＳ３７０中に、第２特徴集合を更新する必要がないと決定した場合、ステップＳ３９０に移行する。

ステップＳ３９０中に、図３を参照したステップＳ２４０中と第２追跡テンプレート更新に関連する一部に説明したことに類似し、予め設定された規則に基づいて第２追跡テンプレートを更新する。例えば、前記したように、１つの例示中に、ｎ２フレームおきに第２追跡テンプレートを更新することができ、且つｎｌフレームおきに第１追跡テンプレートを更新すると仮定し、ｎ２＞ｎ１を保証すべきである。

別の例示において、第２追跡テンプレートが追跡した追跡結果の信頼性を評価することができ、該信頼性が所定閾値より低いと、第２追跡テンプレートを更新することを決定する。

また、前述したように、予め設定された規則は、第２特徴集合を更新すると判定し且つすでに第２特徴集合を更新した場合のみで、更新された第２特徴集合に基づいて第２追跡テンプレートを更新する（又は再構築する）ことであると、ステップＳ３８０においてすでに第２追跡テンプレートを再構築（又は更新）したため、この時ステップＳ３８０とＳ３９０は１つのステップに合併することができ、又はステップＳ３９０にいかなる更新操作を行わない。

ステップＳ３８０又はＳ３９０の後に、処理を終了させることができ、又は引き続き対象追跡を行う必要があると、ステップＳ３１０中に戻り、次に前記処理を繰り返すことができる。

理解の便宜上、図９は別の視点から第３実施例の対象追跡方法の過程を模式的に示す図である。図９に示すように、現在位置で、画像中の長方形枠に示す対象と背景の分割結果を取得し、次に各候補特徴集合の対象と背景区分の能力を評価することにより、第１候補特徴集合と第２候補特徴集合を取得し、第１候補特徴集合で第１特徴集合を更新する条件を満たすかどうかを判断し、満たすと、第１特徴集合を更新し且つ第１追跡テンプレートを新たに構築し、それ以外の場合は所定フレーム数ごとに第１追跡テンプレートを更新し、類似的に第２候補特徴集合で第２特徴集合を更新する条件を満たすかどうかを判断し、満たすと、第２特徴集合を更新し且つ第２追跡テンプレートを新たに構築し、それ以外の場合は予め設定された規則に基づいて第２追跡テンプレート（第２追跡テンプレートを更新しないことを含む）を更新する。

こうして、前記対象追跡方法はリアルタイムに特徴の選択を行い、従って異なる時刻と異なる環境に適応して最適の特徴を採用すると同時に、追跡するテンプレートを更新することができ、さらにさらなるバランスの自己適応性と安定性を提供することができる。

＜５、対象追跡を行うための計算システム＞
本発明はさらに対象追跡を行うための計算システムにより実施することができる。図１０は本発明実施形態を実現するための例示性計算システム６００を示すブロック図である。図１０に示すように、計算システム６００は、ＣＰＵ（中央処理ユニット）６０１、ＲＡＭ（ランダムアクセスする記憶器）６０２、ＲＯＭ（読み出し専用メモリ）６０３、システムバス６０４、ハードディスクコントローラ６０５、キーボードコントローラ６０６、シリアルインタフェースコントローラ６０７、並行インタフェースコントローラ６０８、表示コントローラ６０９、ハードディスク６１０、キーボード６１１、シリアル外部設備６１２、並行外部設備６１３及びディスプレイ６１４を備えても良い。これらの設備において、システムバス６０４にカップリングされたのはＣＰＵ６０１、ＲＡＭ６０２、ＲＯＭ６０３、ハードディスクコントローラ６０５、キーボードコントローラ６０６、シリアルコントローラ６０７、並行コントローラ６０８及び表示コントローラ６０９である。ハードディスク６１０はハードディスクコントローラ６０５にカップリングされ、キーボード６１１はキーボードコントローラ６０６にカップリングされ、シリアル外部設備６１２はシリアルインタフェースコントローラ６０７にカップリングされ、並行外部設備６１３は並行インタフェースコントローラ６０８にカップリングされ、及びディスプレイ６１４は表示コントローラ６０９にカップリングされる。図１６に記載の構成ブロック図は例示の目的のために過ぎず、本発明範囲を制限するものではないと理解すべきである。いくつの場合、具体的な状況に応じていくつの設備を増加又は減少させることができる。

属する技術分野の当業者は、本発明がシステム、装置、方法又はコンピュータプログラム製品として実現することができると分かる。従って、本発明の具体的な実現は以下の形式であり、即ち、完全なハードウェアであってもよく、完全なソフトウェア（ファームウエア、常駐ソフトウェア、マイクロコード等を含む）であってもよく、さらにハードウェアとソフトウェアの結合形式であってもよく、本文は普通「回路」、「モジュール」、「装置」又は「システム」と称する。また、いくつの実施例において、本発明は１つの又は複数のコンピュータ可読媒体中のコンピュータプログラム製品の形式として実現することもでき、該コンピュータ可読媒体中にコンピュータ可読のプログラムコードを含む。

１つの又は複数のコンピュータ可読媒体を用いて任意に組み合わせることができる。コンピュータ可読媒体はコンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は例えば電、磁、光、電磁、赤外線、又は半導体のシステム、装置又はデバイス、又は任意の上記の組合せであってもよいがそれらに限らない。コンピュータ可読記憶媒体の更なる具体的な例（非網羅的なリスト）は、１つの又は複数のリード線を有する電気接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、携帯型コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光メモリ件、磁記憶装置、又は前記の任意の適切な組合せを含む。本ファイルにおいて、コンピュータ可読記憶媒体はいかなるプロクラムを含む又は記憶する有形媒体であってもよく、該プログラムは命令実行システム、装置又はデバイスに使用され又はそれと結合して使用されることができる。

コンピュータ可読の信号媒体はベースバンド中に又は搬送波の一部として伝播するデータ信号を含んでも良く、そのうちコンピュータ可読のプログラムコードを携帯している。このような伝播するデータ信号は多種の形式を用いてもよく、電磁信号、光信号又は前記の任意の適切な組合せを含むがこれらに限らない。コンピュータ可読の信号媒体はさらにコンピュータ可読記憶媒体の他のいかなるコンピュータ可読媒体であってもよく、該コンピュータ可読媒体は命令実行システム、装置又はデバイスに使用され又はそれと結合して使用されるプログラムを送信、伝播又は伝送することができる。

コンピュータ可読媒体上に含むプログラムコードはいかなる適当な媒体伝送に用いてもよく、無線、電線、光ファイバーケーブル、光ケーブル、ＲＦ等、又は前記のいかなる適切な組合せを含むが、これらに限らない。

１種又は多種プログラミング言語又はその組合せで本発明操作を実行するためのコンピュータプログラムコードを書くことができ、前記プログラミング言語は対象向けのプログラミング言語―――例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋を備え、通常の過程式プログラミング言語―――例えば「Ｃ」言語又は類似するプログラミング言語をさらに備える。プログラムコードは完全にユーザーコンピュータ上に実行され、一部がユーザーコンピュータ上に実行され、１つの独立したソフトウェアパッケージとして実行され、一部がユーザーコンピュータ上に一部がリモートコンピュータ上に実行され、又は完全にリモートコンピュータ又はサーバー上に実行されてもよい。リモートコンピュータにかかわる場合、リモートコンピュータはいかなる種類のネットワーク―――ローカルエリアネットワーク（ＬＡＮ）又はウィメンズアクションネットワーク（ＷＡＮ）を含む―――によりユーザーコンピュータ、又は、外部コンピュータ（例えばインターネットサービス提供者を用いてインターネットにより接続する）に接続することができる。

以上、本発明の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら本発明を説明した。フローチャート及び／又はブロック図の各ボックス及びフローチャート及び／又はブロック図における各ボックスの組合せは、コンピュータプログラム命令により実現することができると理解すべきである。これらのコンピュータプログラム命令は汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置の処理器に提供して１種の機器を生産することができ、これらのコンピュータプログラム命令はコンピュータ又は他のプログラマブルデータ処理装置により実行され、フローチャート及び／又はブロック図におけるボックス中に規定の機能／操作を実現する装置を生じる。

これらのコンピュータプログラム命令をコンピュータ又は他のプログラマブルデータ処理装置を特定形態で作動させるコンピュータ可読媒体中に記憶してもよく、このように、コンピュータ可読媒体中に記憶している命令はフローチャート及び／又はブロック図中のボックスに規定の機能／操作を実現する命令装置（ｉｎｓｔｒｕｃｔｉｏｎ ｍｅａｎｓ）を含む製造品（ｍａｎｕｆａｃｔｕｒｅ）を生じる。

コンピュータプログラム命令をコンピュータ、他のプログラマブルデータ処理装置、又は他の設備上にローディングして、コンピュータ、他のプログラマブルデータ処理装置又は他の設備上に一連の操作ステップを行わせ、コンピュータ実現の過程を発生させ、従ってコンピュータ又は他のプログラマブル装置上に実行する命令にフローチャート及び／又はブロック図中のボックス中に規定の機能／操作を実現する過程を提供させることができる。

前記は説明用に過ぎず、多くの修正及び／又は取り替えを行うことができる。
例えば、前記説明において、追跡対象例示は手であり、しかし、これは例示に過ぎず、追跡対象は人の顔、体全体、他の能動的な物体等であってもよい。

さらに例えば、前記説明において、色特徴を例として特徴評価、特徴選択及びテンプレート構築を説明したが、これは例示に過ぎない。実際上に、採用する特徴は特に制限されず、形状特徴、輪郭特徴、面積特徴等であってもよい。
さらに前記説明において、分散比率を用いて特徴の対象と背景区分の能力を評価し、実際上に他の方法、例えば開放試験（ＣＨＩ）、情報ゲイン（ｉｎｆｏｒｍａｔｉｏｎｇａｉｎ、ＩＧ）、相互情報量（ｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎ、ＭＩ）、主成分分析（ＰｒｉｎｃｉｐｌｅＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ、ＰＣＡ）等の方法を用いて特徴を評価してもよい。

さらに例えば、前記説明において、対象位置決め方法は逆投影を用いて、信頼度を取得し、次に平均値シフト方法を用いて対象の位置を決定するように説明した。実際上に他の対象位置きめ方法、例えばユークリッド距離計算、他の類似度計算方法等を採用することができる。

図面中のフローチャート及びブロック図は本発明の複数の実施例によるシステム、方法及びコンピュータプログラム製品が実現可能なシステムアーキテクチャ、機能及び操作を示す。この点で、フローチャート又はブロック図における各ボックスは１つのモジュール、ブロック又はコードの一部を代表することができ、前記モジュール、ブロック又はコードの一部は１つの又は複数の所定のロジック機能を実現するための実行可能な命令を含む。注意すべきなのは、いくつの取り替えとしての実現において、ボックス中にマークする機能は図面中にマークした順序と異なる順序で発生することができる。例えば、２つの連続的なボックスは実際上に基本的に並行して実行することができ、これらは逆の順序で実行できる場合もあり、これはかかわる機能により決まる。ともに注意すべきなのは、ブロック図及び／又はフローチャート中の各ボックス、及びブロック図及び／又はフローチャート中のボックスの組合せは、所定の機能又は操作を実行するための専用的なハードウェアに基づくシステムで実現してもよく、又は専用ハードウェアとコンピュータ命令の組合せで実現してもよい。

以上は、本発明の各実施例を説明したが、前記説明は例示的であり、網羅的ではなく、且つ披露した各実施例に限らない。説明した各実施例の範囲と趣旨から脱逸しない場合、本技術分野の一般の当業者にとって、多くの修正及び変更は容易に想到しえるものである。本文中に使用する用語の選択は、最善的に各実施例の原理、実際応用又は市場における技術への改良を解釈し、又は本技術分野の他の一般の当業者に本文に披露した各実施例を理解させられることを目的とする。

米国特許出願公開第ＵＳ２０１００３１０１２７Ａ１号

Ｊｕｎｑｉｕ Ｗａｎｇら、「Ｉｎｔｅｇｒａｔｉｎｇ Ｃｏｌｏｒ ａｎｄ Ｓｈａｐｅ−Ｔｅｘｔｕｒｅ Ｆｅａｔｕｒｅｓ ｆｏｒ Ａｄａｐｔｉｖｅ Ｒｅａｌ−Ｔｉｍｅ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ」、Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓｏｎ、２００８年２月、Ｖｏｌｕｍｅ１７、Ｉｓｓｕｅ２

Claims (18)

1. 画像を順次に入力するステップと、
   １つ又は複数の特徴を有する第１特徴集合に基づいて形成された第１追跡テンプレートを用いて対象の入力画像における第１位置を決定し、前記第１特徴集合と異なり、且つ１つ又は複数の特徴を有する第２特徴集合に基づいて形成された第２追跡テンプレートを用いて対象の入力画像における第２位置を決定するステップと、
   前記第１位置及び前記第２位置に基づいて、対象の入力画像における最終位置を決定するステップと、を含み、
   前記第１追跡テンプレートは所定数のフレームごとに更新され、前記第２追跡テンプレートは予め設定された規則に基づいて更新され、前記第２追跡テンプレートと前記第１追跡テンプレートとは個別に更新され、前記第２追跡テンプレートの更新頻度は前記第１追跡テンプレートの更新頻度よりも低い、対象追跡方法。
2. 決定された対象の入力画像における最終位置に基づいて、対象領域と背景領域を分割するステップと、
   対象領域と背景領域を分析することにより、各候補特徴集合の対象領域と背景領域を区分する能力を評価するステップと、
   区分能力が最も強い第１候補特徴集合と第２候補特徴集合を決定するステップと、
   前記第１候補特徴集合を用いて前記第１特徴集合を更新するか否かを判断し、前記第２候補特徴集合を用いて前記第２特徴集合を更新するか否かを判断するステップと、
   前記第１候補特徴集合を用いて前記第１特徴集合を更新すると判断された場合、前記第１特徴集合を更新し、該更新された第１特徴集合及び直前の所定数のフレームの追跡結果に基づいて前記第１追跡テンプレートを再構築し、そうでない場合は、所定数のフレームの画像ごとに前記第１追跡テンプレートを更新し、前記第１特徴集合をそのままにするステップと、
   前記第２候補特徴集合を用いて前記第２特徴集合を更新すると判断された場合、前記第２特徴集合を更新し、該更新された第２特徴集合及び直前の所定数のフレームの追跡結果に基づいて前記第２追跡テンプレートを再構築するステップと、をさらに含む請求項１に記載の対象追跡方法。
3. 前記第１追跡テンプレートを用いて対象の入力画像における第１位置を決定し、第２追跡テンプレートを用いて対象の入力画像における第２位置を決定するステップは、
   対象の運動情報に基づいて、対象の入力画像における候補出現領域を予測するステップと、
   前記候補出現領域において、前記第１追跡テンプレートを用いて対象の入力画像における第１位置を決定し、前記第２追跡テンプレートを用いて対象の入力画像における第２位置を決定するステップと、を含む請求項１に記載の対象追跡方法。
4. 所定数のフレームごとに前記第１追跡テンプレートを更新する際に、各フレームの入力画像ごとに前記第１追跡テンプレートを更新する請求項１に記載の対象追跡方法。
5. 前記第１追跡テンプレートを用いて対象の入力画像における第１位置を決定し、第２追跡テンプレートを用いて対象の入力画像における第２位置を決定するステップは、
   それぞれ前記第１追跡テンプレート及び前記第２追跡テンプレートに基づいて、対象の入力画像における候補領域に対応する第１信頼度図及び第２信頼度図を計算するステップと、
   それぞれ前記第１信頼度図及び前記第２信頼度図に基づいて、平均値シフト法により対象の前記第１信頼度図における第１位置及び対象の前記第２信頼度図における第２位置を前記対象の入力画像における第１位置と前記対象の入力画像における第２位置として取得するステップと、を含む請求項１に記載の対象追跡方法。
6. 前記第１位置及び前記第２位置に基づいて、対象の入力画像における最終位置を決定するステップは、
   それぞれ前記第１位置の信頼性及び前記第２位置の信頼性を決定するステップと、
   前記第１位置の信頼性及び前記第２位置の信頼性に基づいて、前記第１位置が占める重み及び前記第２位置が占める重みを決定するステップと、
   前記第１位置の重み及び前記第２位置の重みに基づいて、前記第１位置と前記第２位置の加重和を、前記対象の入力画像における最終位置として計算するステップと、を含む請求項１に記載の対象追跡方法。
7. 前記所定数のフレームごとに第一追跡テンプレートを更新する際に、
   現在の追跡テンプレート及び現在の追跡された対象の加重和に基づいて、更新された第１追跡テンプレートを取得する請求項１に記載の対象追跡方法。
8. 前記各候補特徴集合は独立した１つの特徴又は複数の特徴の組合せからなり、
   前記対象領域と背景領域を分析することにより、各候補特徴集合の対象領域と背景領域を区分する能力を評価するステップは、
   それぞれ各候補特徴集合の対象領域及び背景領域画素についてのヒストグラム分布を計算するステップと、
   特徴評価関数により前記各候補特徴集合の対象領域と背景領域を区分する能力を評価するステップと、を含む請求項２に記載の対象追跡方法。
9. 前記入力された画像は奥行き情報を含み、
   前記決定された対象の入力画像における最終位置に基づいて、対象領域と背景領域を分割するステップは、奥行き情報に基づいて前記対象領域と背景領域を分割するステップを含む請求項２に記載の対象追跡方法。
10. 画像を順次に入力する画像入力部と、
    １つ又は複数の特徴を有する第１特徴集合に基づいて形成された第１追跡テンプレートを用いて対象の入力画像における第１位置を決定する第１追跡テンプレート位置決定部と、
    前記第１特徴集合と異なり、且つ１つ又は複数の特徴を有する第２特徴集合に基づいて形成された第２追跡テンプレートを用いて対象の入力画像における第２位置を決定する第２追跡テンプレート位置決定部と、
    前記第１位置及び前記第２位置に基づいて、対象の入力画像における最終位置を決定する対象最終位置決定部と、
    所定数のフレームごとに前記第１追跡テンプレートを更新する第１追跡テンプレート更新部と、
    予め設定された規則に基づいて前記第２追跡テンプレートを更新する第２追跡テンプレート更新部と、を含み、
    前記第２追跡テンプレートと前記第１追跡テンプレートとは個別に更新され、前記第２追跡テンプレートの更新頻度は前記第１追跡テンプレートの更新頻度よりも低い、対象追跡装置。
11. 決定された対象の入力画像における最終位置に基づいて、対象領域と背景領域を分割する分割部と、
    対象領域と背景領域を分析することにより、各候補特徴集合の対象領域と背景領域を区分する能力を評価する評価部と、
    区分能力が最も強い第１候補特徴集合と第２候補特徴集合を決定する決定部と、
    前記第１候補特徴集合を用いて前記第１特徴集合を更新するか否かを判断し、前記第２候補特徴集合を用いて前記第２特徴集合を更新するか否かを判断する判断部と、
    前記第１候補特徴集合を用いて前記第１特徴集合を更新すると判断された場合、前記第１特徴集合を更新し、該更新された第１特徴集合及び直前の所定数のフレームの追跡結果に基づいて前記第１追跡テンプレートを再構築し、そうでない場合は、所定数のフレームの画像ごとに前記第１追跡テンプレートを更新し、前記第１特徴集合をそのままにする第１更新部と、
    前記第２候補特徴集合を用いて前記第２特徴集合を更新すると判断された場合、前記第２特徴集合を更新し、該更新された第２特徴集合及び直前の所定数のフレームの追跡結果に基づいて前記第２追跡テンプレートを再構築する第２更新部と、をさらに含む請求項１０に記載の対象追跡装置。
12. 対象の運動情報に基づいて、対象の入力画像における候補出現領域を予測し、
    前記第１追跡テンプレート位置決定部は、前記候補出現領域において、前記第１追跡テンプレートを用いて対象の入力画像における第１位置を決定し、
    前記第２追跡テンプレート位置決定部は、前記候補出現領域において、前記第２追跡テンプレートを用いて対象の入力画像における第２位置を決定する請求項１０に記載の対象追跡装置。
13. 前記第１追跡テンプレート更新部は、各フレームの入力画像ごとに前記第１追跡テンプレートを更新する請求項１０に記載の対象追跡装置。
14. それぞれ前記第１追跡テンプレート及び前記第２追跡テンプレートに基づいて、対象の入力画像における候補領域に対応する第１信頼度図及び第２信頼度図を計算し、
    前記第１追跡テンプレート位置決定部は、前記第１信頼度図に基づいて、平均値シフト法により対象の前記第１信頼度図における第１位置を、前記対象の入力画像における第１位置として取得し、
    前記第２追跡テンプレート位置決定部は、前記第２信頼度図に基づいて、平均値シフト法により対象の前記第２信頼度図における第２位置を、前記対象の入力画像における第２位置として取得する請求項１０に記載の対象追跡装置。
15. 対象最終位置決定部は、
    それぞれ前記第１位置の信頼性及び前記第２位置の信頼性を決定し、
    前記第１位置の信頼性及び前記第２位置の信頼性に基づいて、前記第１位置が占める重み及び前記第２位置が占める重みを決定し、
    前記第１位置の重み及び前記第２位置の重みに基づいて、前記第１位置と前記第２位置の加重和を、前記対象の入力画像における最終位置として計算する請求項１０に記載の対象追跡装置。
16. 前記第１追跡テンプレート更新部は、現在の追跡テンプレート及び現在の追跡された対象の加重和に基づいて、更新された第１追跡テンプレートを取得する請求項１０に記載の対象追跡装置。
17. 前記各候補特徴集合は独立した１つの特徴又は複数の特徴の組合せからなり、
    前記評価部は、
    それぞれ各候補特徴集合の対象領域及び背景領域画素についてのヒストグラム分布を計算し、
    特徴評価関数により前記各候補特徴集合の対象領域と背景領域を区分する能力を評価する請求項１１に記載の対象追跡装置。
18. 前記入力された画像は奥行き情報を含み、
    前記分割部は、奥行き情報に基づいて前記対象領域と背景領域を分割する請求項１１に記載の対象追跡装置。