JP2012226403A - 画像領域追跡装置、画像領域追跡方法、および、コンピュータ・プログラム - Google Patents
画像領域追跡装置、画像領域追跡方法、および、コンピュータ・プログラム Download PDFInfo
- Publication number
- JP2012226403A JP2012226403A JP2011090613A JP2011090613A JP2012226403A JP 2012226403 A JP2012226403 A JP 2012226403A JP 2011090613 A JP2011090613 A JP 2011090613A JP 2011090613 A JP2011090613 A JP 2011090613A JP 2012226403 A JP2012226403 A JP 2012226403A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- image
- input image
- unit
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】画像特徴の類似する追跡対象領域と非追跡対象領域とが近接する画像を含む動画像において、追跡対象領域の追跡をより精度よく行う画像領域追跡装置を提供すること。
【解決手段】時系列的に連続する入力画像が入力される画像入力部１０１と、任意の入力画像において追跡対象モデルを取得する追跡対象モデル取得部１０２と、各入力画像において、該入力画像および他の入力画像間のフローベクトルに基づいて、該他の入力画像における追跡対象領域からの移動ベクトルを推定することにより該入力画像における追跡対象領域の概略位置を表す第１追跡位置を求める第１追跡部１０３と、各入力画像において追跡対象モデルの画像特徴に基づく追跡処理を用いて第１追跡位置を補正することにより第２追跡位置を求めるとともに、該入力画像における統合的な追跡位置である統合追跡位置を第２追跡位置に基づいて決定する第２追跡部１０４と、を備える。
【選択図】図２
【解決手段】時系列的に連続する入力画像が入力される画像入力部１０１と、任意の入力画像において追跡対象モデルを取得する追跡対象モデル取得部１０２と、各入力画像において、該入力画像および他の入力画像間のフローベクトルに基づいて、該他の入力画像における追跡対象領域からの移動ベクトルを推定することにより該入力画像における追跡対象領域の概略位置を表す第１追跡位置を求める第１追跡部１０３と、各入力画像において追跡対象モデルの画像特徴に基づく追跡処理を用いて第１追跡位置を補正することにより第２追跡位置を求めるとともに、該入力画像における統合的な追跡位置である統合追跡位置を第２追跡位置に基づいて決定する第２追跡部１０４と、を備える。
【選択図】図２
Description
本発明は、時系列的に連続する画像において、動きのある領域を追跡する画像領域追跡装置、画像領域追跡方法、および、コンピュータ・プログラムに関する。
時系列的に連続する画像において、動きのある画像領域を追跡する画像領域追跡装置が知られている。このような画像領域追跡装置は、例えば、ジェスチャ認識装置で用いられる。ここで、ジェスチャ認識装置は、人物がカメラに向けて掌を動かすと、カメラから得られる動画像中の掌位置を追跡することによりジェスチャを認識する装置である。
このようなジェスチャ認識装置として、例えば、特許文献１に記載されたものが知られている。この特許文献１に記載された装置は、カメラ画像中の人物の手の位置を検出し、仮想的なキー配列等を手の位置に対応させて割り当てる。特許文献１では、このようにして割り当てたキー配列等を、コンピュータ等の他の機器に対して入力情報として与えるユーザインタフェースが提案されている。
また、このような他のジェスチャ認識装置として、例えば、特許文献２に記載された動的計画（Dynamic Programming、DP）法を適用するものが知られている。ＤＰ法を適用した装置は、掌等の位置の変化の時間的な系列を読み取る。そして、このような装置は、読み取った位置の変化の時系列を、予め登録されたパタンと照合することによりジェスチャを認識する。
このようなジェスチャ認識の用途だけでなく、様々な用途で利用される画像領域追跡装置として、特許文献３に記載されたものが知られている。この特許文献３に記載された装置は、まず、追跡対象領域の運動モデルに基づく動き予測を行う。続いて、この装置は、予測位置周辺の探索領域において、追跡対象領域に類似する画像特徴を持つ領域を抽出する。また、この装置は、複数の追跡対象領域がすれ違い時に重なる場合にも追跡を可能としている。このため、この装置は、複数の追跡対象領域の重なりの有無を判別し、重なり時には探索領域を拡大する。
また、このような画像領域追跡装置において、動きのある領域を検出する手法としては、オプティカルフローを用いる手法が一般的に知られている（非特許文献１参照）。
また、このような画像領域追跡装置において、追跡対象の位置を計算する手法としては、MeanShift法（非特許文献２参照）やパタンマッチングが知られている。MeanShift法やパタンマッチングを用いる場合、画像領域追跡装置は、追跡対象領域の画像特徴のモデルを予め登録する。そして、このような装置は、モデルに対して類似する画像特徴を示す領域を画像上で探索することにより、追跡対象領域の位置を計算する。
Bruce D. Lucas and Takeo Kanade, "An Iterative Image Registration Technique with an Application to Stereo Vision", Proceedings DARPA Image Understanding Workshop, 1981, pp. 121-130.
Dorin Comaniciu, Visvanathan Ramesh and Peter Meer, "Kernel-Based Object Tracking", IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 25, No. 5, 2003.
上述のような画像領域追跡装置において、追跡対象領域をその他の背景となる非追跡対象領域と誤認せずにロバストに追跡することが課題とされている。
例えば、このような画像領域追跡装置を上述のジェスチャ認識装置で用いる場合、ジェスチャ動作を行なう身体の部位である追跡対象の入力画像上での位置を、連続的に追跡する必要がある。
このとき、特許文献３に記載された装置は、動き推定に線形モデルによるKalmanフィルタを用いている。線形モデルによる動き予測は、ほぼ一定の速度で移動する歩行者などの追跡には適しているが、動きのベクトルが急激に変化する非線形の動きの追従には適していない。このため、特許文献３に記載された装置は、追跡対象領域の動作方向が急変した場合、元の動作方向の延長に近接した位置に追跡対象領域と類似の画像特徴を持つ画像領域があったとすると、その画像領域を追跡対象領域として認識してしまう場合がある。
また、特許文献３に記載された装置は、複数の追跡対象領域のすれ違い時の重なりを検知し、動き推定と探索領域の拡大によって重なりによる追跡失敗を防ぐものである。しかしながら、特許文献３に記載された装置は、画像特徴の類似した追跡対象（例えば掌）領域と非追跡対象の背景（例えば顔）領域とが重なった場合には、重なりの有無を判別出来ない。このような場合には、特許文献３に記載された装置は、精度良く追跡を行うことができない。
また、非特許文献１に記載されたオプティカルフローによる動き推定では、追跡対象領域と、近接する非追跡対象領域との画像特徴が類似する場合、時系列画像間で精度良く２点間を対応させることができない場合がある。
また、非特許文献２に記載された技術は、局所的な画像特徴の比較により追跡を行うため、追跡対象領域が、類似の画像特徴を持つ非追跡対象領域と近接した場合には、追跡対象以外の領域を追跡対象領域と認識してしまう問題があった。
また、特許文献１〜２には、このような画像特徴の類似する追跡対象領域と非追跡対象領域とが近接する場合の追跡処理については記載されていない。
本発明は、上述の課題を解決するためになされたもので、画像特徴の類似する追跡対象領域と非追跡対象領域とが近接する画像を含む動画像において、追跡対象領域の追跡をより精度よく行う画像領域追跡装置を提供することを目的とする。
本発明の画像領域追跡装置は、時系列的に連続する入力画像が入力される画像入力部と、任意の前記入力画像において追跡対象が映された追跡対象領域に関する情報を追跡対象モデルとして取得する追跡対象モデル取得部と、前記各入力画像において、該入力画像および他の前記入力画像の間で算出されるフローベクトルに基づいて、該他の入力画像における追跡対象領域からの移動ベクトルを推定することにより、該入力画像における追跡対象領域の概略位置を表す第１追跡位置を求める第１追跡部と、前記各入力画像において、前記第１追跡位置を事前知識として用いながら、前記追跡対象モデルの画像特徴と該入力画像に含まれる画像領域の画像特徴との比較結果に基づく追跡処理を用いて前記第１追跡位置を補正することにより、該入力画像における追跡対象領域の補正位置を表す第２追跡位置を求めるとともに、該入力画像における統合的な追跡位置である統合追跡位置を前記第２追跡位置に基づいて決定する第２追跡部と、を備える。
また、本発明の画像領域追跡方法は、時系列的に連続する入力画像のうち任意の入力画像において、追跡対象が映された追跡対象領域に関する情報を追跡対象モデルとして取得し、前記各入力画像において、該入力画像および他の前記入力画像の間で算出されるフローベクトルに基づいて、該他の入力画像における追跡対象領域からの移動ベクトルを推定することにより、該入力画像における追跡対象領域の概略位置を表す第１追跡位置を求め、前記各入力画像において、前記第１追跡位置を事前知識として用いながら、前記追跡対象モデルの画像特徴と該入力画像に含まれる画像領域の画像特徴との比較結果に基づく追跡処理を用いて前記第１追跡位置を補正することにより、該入力画像における追跡対象領域の補正位置を表す第２追跡位置を求め、該入力画像における統合的な追跡位置である統合追跡位置を前記第２追跡位置に基づいて決定する。
また、本発明のコンピュータ・プログラムは、時系列的に連続する入力画像のうち任意の入力画像において、追跡対象が映された追跡対象領域に関する情報を追跡対象モデルとして取得する追跡対象モデル取得ステップと、前記各入力画像において、該入力画像および他の前記入力画像の間で算出されるフローベクトルに基づいて、該他の入力画像における追跡対象領域からの移動ベクトルを推定することにより、該入力画像における追跡対象領域の概略位置を表す第１追跡位置を求める第１追跡ステップと、前記各入力画像において、前記第１追跡位置を事前知識として用いながら、前記追跡対象モデルの画像特徴と該入力画像に含まれる画像領域の画像特徴との比較結果に基づく追跡処理を用いて前記第１追跡位置を補正することにより、該入力画像における追跡対象領域の補正位置を表す第２追跡位置を求める第２追跡ステップと、該入力画像における統合的な追跡位置である統合追跡位置を前記第２追跡位置に基づいて決定する統合追跡ステップと、をコンピュータ装置に実行させる。
本発明は、画像特徴の類似する追跡対象領域と非追跡対象領域とが近接する画像を含む動画像において、追跡対象領域の追跡をより精度よく行う画像領域追跡装置を提供することができる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１の実施の形態）
本発明の第１の実施の形態としての画像領域追跡装置１０のハードウェア構成を図１に示す。図１において、画像領域追跡装置１０は、中央演算装置（CPU）１００１と、メモリ（Mem）１００２と、記憶装置（DB）１００３と、インタフェース（I/F）１００４と、インタフェース１００５と、を有する。なお、図１には、メモリ１００２と記憶装置１００３とを便宜上分けて示しているが、これらは一つの記憶デバイスによって構成されてもよい。また、これらは、中央演算装置１００１を含むコンピュータ装置の外部に接続された記憶装置であっていてもよい。
本発明の第１の実施の形態としての画像領域追跡装置１０のハードウェア構成を図１に示す。図１において、画像領域追跡装置１０は、中央演算装置（CPU）１００１と、メモリ（Mem）１００２と、記憶装置（DB）１００３と、インタフェース（I/F）１００４と、インタフェース１００５と、を有する。なお、図１には、メモリ１００２と記憶装置１００３とを便宜上分けて示しているが、これらは一つの記憶デバイスによって構成されてもよい。また、これらは、中央演算装置１００１を含むコンピュータ装置の外部に接続された記憶装置であっていてもよい。
また、画像領域追跡装置１０は、インタフェース１００４を介して画像出力装置８０に接続されている。ここで、画像出力装置８０は、撮像する画像をリアルタイムで出力する装置であってもよい。例えば、画像出力装置８０は、ＮＴＳＣ（National Television Standards Committee）形式やＰＡＬ（Phase Alternating Line）形式の動画像を出力するビデオカメラであってもよい。あるいは、画像出力装置８０は、記憶媒体に保存された画像情報を読み出してＮＴＳＣ出力やＰＡＬ出力等に変換する画像キャプチャ装置であってもよい。
また、画像領域追跡装置１０は、インタフェース１００５を介して端末装置９０に接続されている。ここで、端末装置９０は、画像領域追跡装置１０に対する指示情報等が入力されるとともに、画像領域追跡装置１０による処理結果を出力する装置である。なお、画像領域追跡装置１０と端末装置９０とは、同一のコンピュータ装置によって構成されてもよい。
インタフェース１００４は、中央演算装置１００１、メモリ１００２、および、記憶装置１００３と、画像出力装置８０との間で情報のやり取りを仲介する装置である。なお、図１では、インタフェース１００４は、画像出力装置８０と中央演算装置１００１との間を接続しているが、メモリ１００２および記憶装置１００３と、画像出力装置８０との間を接続していてもよい。
インタフェース１００５は、中央演算装置１００１と端末装置９０との間で情報のやりとりを仲介する装置である。インタフェース１００５は、画像領域追跡装置１０の内部で行なわれた情報処理の結果を端末装置９０に出力する。また、インタフェース１００５は、中央演算装置１００１に対する入力情報を端末装置９０から受け取る。
メモリ１００２は、一時的なデータを記憶する装置であり、中央演算装置１００１が処理を行う際に作業領域として利用される。
記憶装置１００３は、コンピュータ装置を画像領域追跡装置１０として機能させるための各種コンピュータ・プログラムモジュールや、画像領域追跡装置１０の機能に必要なデータをあらかじめ記憶する装置である。
中央演算装置１００１は、情報処理を行う装置である。このため、中央演算装置１００１は、インタフェース１００４、インタフェース１００５、メモリ１００２、および、記憶装置１００３と電気的に接続されている。また、中央演算装置１００１は、記憶装置１００３に記憶されたコンピュータ・プログラムモジュールを、メモリ１００２を作業領域として記憶装置１００３に記憶されたデータを適宜参照しながら実行する。
次に、本発明の第１の実施の形態としての画像領域追跡装置１０の機能ブロック構成を図２に示す。図２において、画像領域追跡装置１０は、画像入力部１０１と、追跡対象モデル取得部１０２と、第１追跡部１０３と、第２追跡部１０４とを備えている。画像入力部１０１は、インタフェース１００４、および、記憶装置１００３に記憶されたコンピュータ・プログラムモジュールを、メモリ１００２を作業領域として記憶装置１００３に記憶されたデータを適宜参照しながら実行する中央演算装置１００１によって構成される。追跡対象モデル取得部１０２、第１追跡部１０３、および、第２追跡部１０４は、記憶装置１００３に記憶されたコンピュータ・プログラムモジュールを、メモリ１００２を作業領域として記憶装置１００３に記憶されたデータを適宜参照しながら実行する中央演算装置１００１によって構成される。なお、画像領域追跡装置１０を構成する各機能ブロックは、集積回路によってそれぞれ構成されてもよい。また、画像領域追跡装置１０を構成する各機能ブロックのハードウェア構成は上述の構成に限定されない。
画像入力部１０１は、画像出力装置８０から画像領域追跡装置１０へ出力された入力画像を取得する。この入力画像は、時系列的に連続して入力される。このとき、画像入力部１０１は、画像領域の切り出し、解像度やサイズの調整、ＮＴＳＣ形式画像からの奇数（あるいは偶数）フィールドの抽出等、取得画像形式の調整を行ってもよい。
追跡対象モデル取得部１０２は、画像入力部１０１によって取得された任意の入力画像において、追跡対象が映された画像領域（以下、追跡対象領域という）に関する情報を追跡対象モデルとして取得する。例えば、追跡対象モデル取得部１０２は、任意の入力画像において、追跡対象領域の画像、その位置、および、その大きさを、初期の追跡対象モデルとして記憶してもよい。ここで、追跡対象モデル取得部１０２は、追跡対象モデルを取得するため任意の技術を適用可能である。例えば、追跡対象モデル取得部１０２は、端末装置９０のディスプレイに提示された入力画像に対してマウス等を用いて入力される矩形領域に基づいて、追跡対象モデルを取得してもよい。また、追跡対象モデル取得部１０２は、入力画像における所定の矩形領域に追跡対象が映るようユーザによって追跡対象の位置合わせが行われることにより、その所定領域に基づいて追跡対象モデルを取得してもよい。また、追跡対象モデル取得部１０２は、入力画像において所定条件を満たす領域を検知する処理を行うことにより、ユーザ操作によらずに追跡対象モデルを取得してもよい。例えば、追跡対象モデル取得部１０２は、人物の顔等を検出し、検出した領域の位置から計算される所定の領域において、肌色等の所定の画像特徴や、手振り動作等所定の動き特徴を検知してもよい。これにより、追跡対象モデル取得部１０２は、検知した領域を追跡対象モデルとしてユーザ操作によらずに取得可能となる。
なお、追跡対象モデルを取得した時刻を初期フレームとすると、追跡対象モデル取得部１０２は、初期フレーム以降の時刻では通常機能しないものとする。
ここで、フレームとは、画像出力装置８０から時系列的に連続して各入力画像が画像領域追跡装置１０に取り込まれるタイミングの時刻をいう。また、初期フレームを第１フレームと数えたとき、ｎ番目の入力画像が取得された時刻を第ｎフレームと呼ぶ。
第１追跡部１０３および第２追跡部１０４は、画像入力部１０１から時系列的に取得される各入力画像において追跡位置を計算する。ここで、追跡位置とは、追跡対象領域の位置である。なお、追跡位置は、例えば、追跡対象領域の中心座標であってもよい。第１追跡部１０３は、フローベクトルに基づいて、追跡対象領域の概略位置を表す第１の追跡位置を計算する。また、第２追跡部１０４は、追跡対象モデルの画像特徴に基づいて第１追跡位置を補正する追跡処理を行うことにより、追跡対象領域の補正位置を表す第２追跡位置を計算する。そして、第２追跡部１０４は、第２追跡位置に基づいて統合追跡位置を計算する。次に、第１追跡部１０３および第２追跡部１０４の詳細について述べる。
第１追跡部１０３は、初期フレームにおいては、現時刻における入力画像を記憶する。
また、第１追跡部１０３は、第２フレーム以降において、現時刻の入力画像と、他の時刻の入力画像（例えば、１つ前の時刻のフレームの入力画像）との間のフローベクトルに基づいて、当該他の時刻の入力画像における追跡対象領域からの移動ベクトルを推定する。そして、第１追跡部１０３は、当該他の時刻の入力画像における追跡位置に対して、推定した移動ベクトルを適用することにより、第１追跡位置を求める。ここで、フローベクトルとは、カメラの移動乃至対象物の動きにより生じる入力画像の時刻間の変化に対し、各時刻における入力画像上の各点の時刻間での対応を求めることによって得られる、各点の移動ベクトルである。
例えば、第１追跡部１０３は、現時刻の入力画像と前時刻の入力画像との比較に基づくフローベクトルを計算してもよい。そして、第１追跡部１０３は、入力画像間の対応点を求めることにより、フローベクトルを計算してもよい。このような入力画像間の対応点を求める手法としては、例えば、非特許文献１に記載のＬｕｃａｓ-Ｋａｎａｄｅの手法、Ｈｏｒｎ−Ｓｃｈｕｎｃｋの手法、あるいは、これらの両手法を組み合わせたＣｏｍｂｉｎｅｄ Ｌｏｃａｌ−Ｇｌｏｂａｌ法等が適用可能である。Ｌｕｃａｓ-Ｋａｎａｄｅの手法は、２画像間において局所領域での明るさの変化を最小とする拘束条件の下にフローベクトルを求める手法である。また、Ｈｏｒｎ−Ｓｃｈｕｎｃｋの手法は、フローベクトルの変化量を最小とする拘束条件を用いるものである。また、第１追跡部１０３は、フローベクトルを、入力画像のピクセル毎に求めてもよい。あるいは、第１追跡部１０３は、任意のサイズのメッシュ毎にフローベクトルを求めてもよい。
また、第１追跡部１０３は、このようにして求めた各フローベクトルに基づいて、現時刻の入力画像において、前時刻の統合追跡位置からの移動ベクトルを求める。ここで、前時刻の統合追跡位置とは、前フレームで第２追跡部１０４によって出力された統合追跡位置である。統合追跡位置の詳細については後述する。そして、第１追跡部１０３は、現時刻の入力画像において、前時刻の統合追跡位置から移動ベクトル分移動した位置を第１追跡位置として出力する。
例えば、第１追跡部１０３は、算出したフローベクトル全体の平均値を代表フローベクトルとして、代表フローベクトルを、前時刻の統合追跡位置からの移動ベクトルとみなしてもよい。あるいは、第１追跡部１０３は、現時刻の入力画像において、前時刻の追跡対象領域の中心座標を中心とするガウス関数等で重み付けしたフローベクトル全体の重み付平均を、代表フローベクトルとして採用しても良い。あるいは、第１追跡部１０３は、ベクトルの方向を８分割等の所定数に量子化し、フローベクトル全体をベクトル方向で分類して投票することにより、投票数の最も多かったベクトル方向を持つフローベクトルの平均値を代表フローベクトルとしてもよい。あるいは、第１追跡部１０３は、これらに限らず、算出したフローベクトルに対するその他の統計処理に基づいて代表フローベクトルを決定しても良い。
また、第１追跡部１０３は、現時刻の入力画像を記憶しておく。これは、次の時刻での入力画像においてフローベクトルを求める際に用いるためである。
第２追跡部１０４は、初期フレームにおいては、以下で述べる初期化処理を実行する。初期フレームにおいて、第２追跡部１０４は、追跡対象モデルが取得された入力画像における追跡対象モデルの画像特徴およびサイズを記憶する。また、第２追跡部１０４は、初期フレームにおいては、追跡対象モデル取得部１０２によって取得された追跡対象領域の位置（初期位置）を、当該フレームにおける統合追跡位置として出力する。
第２追跡部１０４は、第２フレーム以降においては、第１追跡位置を事前知識として用いながら、追跡対象モデルの画像特徴と、入力画像中の追跡対象モデルと同サイズの領域における画像特徴との比較結果に基づく追跡処理を行うことにより、第１追跡位置の補正を行う。そして、第２追跡部１０４は、補正した追跡位置を第２追跡位置とする。さらに第２追跡部１０４は、算出した第２追跡位置に基づいて、現時刻における統合追跡位置を決定する。
ここで、第２追跡部１０４が用いる画像特徴としては、既存の手法によって求められる画像特徴を適用可能である。例えば、画像特徴は、画像領域内の全画素の色空間における分布のヒストグラムから生成した特徴ベクトルであってもよい。具体的には、画像特徴は次のようにして求められたものであってもよい。まず、ＲＧＢ（Red, Green, Blue）色空間が（各輝度値0-255を整数等分するなどして）適当に量子化される。そして、当該の画像領域に含まれる各ピクセルがそのＲＧＢ値に基づき量子化したＲＧＢ色空間のどのビンに所属しているかが分類される。そして、当該の画像領域の全てのピクセルの個数に対する各ビンに所属するピクセル数の割合によって表現される相対ヒストグラムが求められる。このとき、色空間は、ＲＧＢに限らず、ＨＳＶ（Hue, Saturation, Brightness）等の任意の色空間であってもよい。また、このとき、第２追跡部１０４は、画像特徴として、中心からの距離に反比例した重み付相対ヒストグラムを利用してもよい。この重み付相対ヒストグラムとは、当該画像領域の中心に近いピクセル程大きく、遠いピクセル程小さい重み付け係数を用いた相対ヒストグラムである。
また、第２追跡部１０４で用いる画像特徴の比較結果に基づく追跡処理には、既存の関連技術を用いることができる。例えば、第２追跡部１０４は、初期位置を中心とした近傍領域で画像特徴のパタンマッチングを行う手法を用いてもよい。また、第２追跡部１０４は、非特許文献２で用いられているMeanShift法を用いてもよい。MeanShift法を用いる場合、第２追跡部１０４は、例えば、前述した追跡対象領域の色空間による、中心からの距離に反比例した重み付相対ヒストグラムを画像特徴として用いてもよい。そして、この場合、第２追跡部１０４は、追跡対象モデルの画像特徴と、前時刻の追跡位置における追跡対象モデルと同サイズの画像領域における同種の画像特徴とに基づいて、初期位置からの移動ベクトルを求める。さらに、第２追跡部１０４は、求めた移動ベクトルの先で再び同様の操作を繰り返す。これにより、第２追跡部１０４は、移動ベクトルの大きさが一定以下に収束すると、その時点での位置を追跡位置とする。若しくは、第２追跡部１０４は、移動ベクトルの移動先の画像特徴と、追跡対象モデルの画像特徴との間における類似度が閾値を超えた場合に、その時点での位置を追跡位置としてもよい。なお、このような類似度は、例えば、Bhattacharya距離等の基準に基づき算出可能である。
また、第２追跡部１０４は、追跡対象モデルを、時間経過に応じて更新してもよい。例えば、第２追跡部１０４は、一定フレーム区間の追跡位置における画像特徴を保存しておき、その平均値を新たに追跡対象モデルの画像特徴とすることもできる。このとき、第２追跡部１０４は、一定フレーム区間の各時刻における画像特徴に対して、時間経過に応じた重み付けを施した上でその平均値を新たな追跡対象モデルの画像特徴としてもよい。この場合、現時刻tにおける追跡対象モデルの画像特徴は、次式（１）で表される。
ここで、ｔは現時刻のフレームインデックスである。また、Ｔは、追跡対象モデル更新に用いるフレーム区間長である。また、wi（iは現時刻からの経過フレーム数、i=0,…,T）は、時間経過に応じた重みである。また、VMjは、追跡対象モデルの画像特徴であり、Ｖj（j=t,t-1,…,t-T）は、各時刻における追跡位置の画像特徴である。
このようにして、第２追跡部１０４は、第１追跡部１０３によって計算された現時刻における第１追跡位置を、追跡処理を開始する前の初期位置として設定することにより、画像特徴の比較に基づいて第２追跡位置を求める。
また、第２追跡部１０４は、第２追跡位置に基づいて、統合追跡位置を決定する。例えば、第２追跡部１０４は、第２追跡位置が評価基準を満たす場合には、これを統合追跡位置として決定してもよい。一方、第２追跡部１０４は、第２追跡位置が評価基準を満たさない場合には、これを統合追跡位置として採用しなくてもよい。例えば、第２追跡部１０４は、第２追跡位置が評価基準を満たさない場合、前時刻の統合追跡位置を現時刻の統合追跡位置としてもよい。あるいは、第２追跡部１０４は、第１追跡位置を初期位置として画像特徴の比較に基づく追跡処理を行なった結果得られた第２追跡位置が評価基準を満たさない場合に、前時刻の統合追跡位置を初期位置として画像特徴の比較に基づく追跡処理を行なった結果得られた第２追跡位置に対し、同様の評価基準を満たすか否かを判断してもよい。
ここで、第２追跡部１０４が統合追跡位置を決定する際に用いる評価基準について説明する。画像特徴は、一般にＮ次元の特徴ベクトルとして表現できる（Ｎは特徴の要素数）。そこで、このような評価基準として、例えば、第２追跡位置の画像領域の画像特徴Vcandと、追跡対象モデルの画像特徴Vmodelとの間の類似度の閾値を用いてもよい。この類似度としては、Bhattacharya距離などによって定義した類似度を用いてもよい。この場合、第２追跡部１０４は、VcandおよびVmodel間の類似度が閾値を超えた場合には、第２追跡位置を統合追跡位置として採用することが出来る。
以上のように構成された画像領域追跡装置１０の動作について、図３〜図５を参照して説明する。
まず、画像領域追跡装置１０の動作の概略について、図３のフローチャートを用いて説明する。
まず、画像入力部１０１は、画像出力装置８０から入力画像を取得する（ステップＳ１）。
次に、追跡対象モデル取得部１０２は、追跡対象モデルを取得済みであるか否かを判断する（ステップＳ２）。
ここで、追跡対象モデルが取得済みである場合、画像領域追跡装置１０の動作はステップＳ４へ移る（ステップＳ２）。
一方、追跡対象モデルが取得済みで無い場合、追跡対象モデル取得部１０２は、追跡対象が映された画像領域に関する情報を追跡対象モデルとして取得する（ステップＳ３）。
次に、第１追跡部１０３は、ステップＳ３で取得された追跡対象モデルに基づき、このフレームの入力画像における第１追跡位置を計算する（ステップＳ４）。
次に、第２追跡部１０４は、ステップＳ４で取得された第１追跡位置を事前知識として用いながら、追跡対象モデルの画像特徴と、現時刻の入力画像における同サイズの画像領域の画像特徴との比較結果に基づく追跡処理を行うことにより、第１追跡位置を補正する。そして、第２追跡部１０４は、補正した位置を第２追跡位置とする（ステップＳ５）。
次に、第２追跡部１０４は、第２追跡位置に基づいて、統合追跡位置を決定する（ステップＳ６）。
画像領域追跡装置１０は、画像出力装置８０から入力画像が入力される度にステップ１〜Ｓ６の動作を繰り返し実行する。
以上で、画像領域追跡装置１０の動作の概略の説明を終了する。
次に、ステップＳ４〜Ｓ６の動作の詳細について、図４および図５を参照して説明する。
まず、ステップＳ４における第１追跡部１０３の動作について、図４のフローチャートを参照して説明する。
ここでは、まず、第１追跡部１０３は、入力画像が初期フレームであるか否かを判断する（ステップＳ１０１）。
ここで、入力画像が初期フレームであれば、第１追跡部１０３の動作はステップＳ１０４へ移る。
一方、入力画像が初期フレーム以外であれば、第１追跡部１０３は、現時刻の入力画像と、前時刻の入力画像との間でフローベクトルを計算する（ステップＳ１０２）。
次に、第１追跡部１０３は、ステップＳ１０２で計算されたフローベクトルに基づき、代表フローベクトルを決定する。そして、第１追跡部１０３は、前時刻の統合追跡位置から代表フローベクトル分移動した位置を、第１追跡位置として出力する（ステップＳ１０３）。
次に、現時刻における入力画像を記憶する（ステップＳ１０４）。
以上で、ステップＳ４における第１追跡部１０３の動作の説明を終了する。
次に、ステップＳ５およびＳ６における第２追跡部１０４の動作について、図５のフローチャートを参照して説明する。
ここでは、まず、第２追跡部１０４は、入力画像が初期フレームであるか否かを判断する（ステップＳ２０１）。
ここで、入力画像が初期フレームであれば、第２追跡部１０４は、初期フレームにおいて、ステップＳ３で取得された追跡対象モデルとして指定された画像領域の縦横のサイズおよび画像特徴を計算する（ステップＳ２０２）。
次に、第２追跡部１０４は、初期フレームにおいて、ステップＳ３で取得された追跡対象モデルの位置を、初期フレームの統合追跡位置として出力する（ステップＳ２０３）。
一方、ステップＳ２０１において、入力画像が初期フレーム以外であれば、第２追跡部１０４は、図４のステップＳ１０３で記憶された第1追跡位置を追跡の初期位値として設定する。そして、第２追跡部１０４は、ステップＳ３で取得された追跡対象モデルと現時刻の入力画像中の領域との画像特徴の比較結果に基づく追跡処理により得られる第２追跡位置を記憶する（ステップＳ２０４）。
次に、第２追跡部１０４は、ステップＳ２０４で記憶した第２追跡位置が所定の評価基準を満たす場合、第２追跡位置を統合追跡位置として出力する（ステップＳ２０５）。
以上で、ステップＳ５およびＳ６における第２追跡部１０４の動作の説明を終了する。
次に、本発明の第１の実施の形態の効果について述べる。
本発明の第１の実施の形態としての画像領域追跡装置１０は、画像特徴の類似する追跡対象領域と非追跡対象領域とが近接する画像を含む動画像において、追跡対象領域の追跡をより精度よく行うことができる。
その理由は、第１追跡部が、追跡対象領域の動きをフローベクトルに基づいて推定することにより第１追跡位置を求め、第２追跡部が、第１追跡位置を初期位置として画像特徴に基づく追跡を行うためである。これにより、本発明の第１の実施の形態としての画像領域追跡装置は、追跡対象領域の動き予測により追跡対象領域の概略位置を算出した上で、第２追跡部が、画像特徴に基づく追跡を行うことにより概略位置を補正することになる。したがって、追跡対象が映された画像領域と近接する背景領域との画像特徴が類似する場合であっても動きの異なる領域を追跡することを抑制できるからである。
（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。本実施の形態では、本発明の画像領域追跡装置を、ジェスチャ認識装置に適用した例について説明する。例えば、本発明の第２の実施の形態におけるジェスチャ認識装置２は、図６に模式的に示すような入力画像を取得する。この入力画像には、追跡対象として人物の掌が映されている。ジェスチャ認識装置２は、このような入力画像を時系列的に連続して取得することにより、掌の動きによるジェスチャを認識するものである。
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。本実施の形態では、本発明の画像領域追跡装置を、ジェスチャ認識装置に適用した例について説明する。例えば、本発明の第２の実施の形態におけるジェスチャ認識装置２は、図６に模式的に示すような入力画像を取得する。この入力画像には、追跡対象として人物の掌が映されている。ジェスチャ認識装置２は、このような入力画像を時系列的に連続して取得することにより、掌の動きによるジェスチャを認識するものである。
なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
まず、本発明の第２の実施の形態におけるジェスチャ認識装置２の構成を図７に示す。図７において、ジェスチャ認識装置２は、画像領域追跡装置２０と、ジェスチャ判定部２０５とを含む。画像領域追跡装置２０は、本発明の第１の実施の形態としての画像領域追跡装置１０に対して、第１追跡部１０３に替えて第１追跡部２０３と、第２追跡部１０４に替えて第２追跡部２０４とを備える点が異なる。
なお、本発明の第２の実施の形態におけるジェスチャ認識装置２のハードウェア構成は、本発明の第１の実施の形態としての画像領域追跡装置１０のハードウェア構成と同様に図１を参照して説明される。ジェスチャ判定部２０５は、記憶装置１００３に記憶されたコンピュータ・プログラムモジュールを、メモリ１００２を作業領域として記憶装置１００３に記憶されたデータを適宜参照しながら実行する中央演算装置１００１によって構成される。なお、ジェスチャ認識装置２を構成する各機能ブロックは、専用の集積回路によってそれぞれ構成されてもよい。また、ジェスチャ認識装置２は、インタフェース１００４を介して画像出力装置８０に接続されている。また、ジェスチャ認識装置２は、インタフェース１００５を介して端末装置９０に接続されている。
ジェスチャ判定部２０５は、第２追跡部２０４によって出力された統合追跡位置および統合追跡位置の系列と、予め定義されたパタンとを照合することにより、所定のジェスチャが行なわれたかどうかを判定する。このとき、ジェスチャ判定部２０５は、既存のジェスチャ判定手法を用いることができる。
例えば、ジェスチャ判定部２０５は、ある一定期間において、統合追跡位置の時系列情報を保持しておく。そして、ジェスチャ判定部２０５は、統合追跡位置の軌跡と、上、下、左、右、回転などにより予め定義されたパタンとを、非特許文献２に記載の連続ＤＰ法（Continuous Dynamic Programming）を用いて随時照合してもよい。これにより、ジェスチャ判定部２０５は、特定のパタンのジェスチャが行なわれたかどうかを判定してもよい。
第１追跡部２０３は、本発明の第１の実施の形態における第１追跡部１０３と同様に構成されるが、フローベクトルを求める領域をフローベクトル演算領域内とする点と、複数の代表フローベクトルを求める点とが異なる。
ここで、フローベクトル演算領域とは、処理対象の入力画像において、他の入力画像（例えば、１つ前の時刻のフレームの入力画像）における統合追跡位置を含む周辺領域である。第１追跡部２０３は、フローベクトル演算領域において、そのフローベクトル演算領域よりも小さいサイズの格子点毎に求めた複数のフローベクトルを統計的に処理することにより代表フローベクトルを求める。そして、第１追跡部２０３は、他の入力画像における追跡位置と代表フローベクトルとの和を第１追跡位置としてもよい。
また、第１追跡部２０３は、複数の代表フローベクトルを求める。例えば、第１追跡部２０３は、次のようにして複数の代表フローベクトルを求めることができる。まず、第１追跡部２０３は、前述のようにベクトル方向を量子化して、フローベクトル演算領域内部のフローベクトルを分類する。そして、第１追跡部２０３は、全フローベクトル数に対する投票数の割合が閾値を越えるベクトル方向を求める。そして、第１追跡部２０３は、そのような各ベクトル方向において、分類されたフローベクトルの平均のフローベクトルを求める。そして、第１追跡部２０３は、各ベクトル方向における平均のフローベクトルを、それぞれ代表フローベクトルとする。そして、第１追跡部２０３は、各代表フローベクトルと、前時刻の統合追跡位置との和を、それぞれ第１追跡位置として求めればよい。このとき、第１追跡部２０３は、投票数の多いベクトル方向における平均フローベクトルから順に、代表フローベクトル（第１位）、代表フローベクトル（第２位）、等として複数の代表フローベクトルに順位付けを行っておいてもよい。この場合、第１追跡部２０３は、順位付けされた各代表フローベクトルと、前時刻の統合追跡位置との和を、第１追跡位置（第１位）、第１追跡位置（第2位）、等とすることにより、順位付けされた複数の第１追跡位置を求めてもよい。
また、第１の実施の形態における第１追跡部１０３は、次時刻におけるフローベクトルの演算のために現時刻の入力画像の全領域を記憶していた。本実施の形態における第２追跡部２０４は、次時刻におけるフローベクトルの演算に必要な領域（フローベクトル演算領域）のみを選択して記憶しておいてもよい。
第２追跡部２０４は、本発明の第１の実施の形態における第２追跡部１０４と同様に構成されるのに加えて、複数の第２追跡位置を求める。具体的には、第２追跡部２０４は、第１追跡部２０３によって求められた各第１追跡位置をそれぞれ初期位値として画像特徴の比較に基づく追跡結果である複数の第２追跡位置を求める。そして、第２追跡部２０４は、複数の第２追跡位置に基づいて統合追跡位置を決定する。例えば、第２追跡部２０４は、複数の第２追跡位置の中から評価基準を満たすものを統合追跡位置として選択してもよい。例えば、第２追跡部２０４は、評価値が最も高い第２追跡位置を統合追跡位置としてもよい。
また、第１追跡部２０３が、順位付けされた第１追跡位置を求めている場合、第２追跡部２０４は、第１追跡位置の順位に対応して、複数の第２追跡位置に順位付けを行ってもよい。そして、この場合、第２追跡部２０４は、複数の第２追跡位置の順位および評価基準に基づいて、統合追跡位置を決定してもよい。例えば、第２追跡部２０４は、評価基準を満たす第２追跡位置のうち、より順位が高いものを統合追跡位置としてもよい。
以上のように構成されたジェスチャ認識装置２の動作について、図面を参照して詳細に説明する。
まず、ジェスチャ認識装置２の概略動作について、図８を参照して説明する。ジェスチャ認識装置２は、ステップＳ１〜Ｓ３まで本発明の第１の実施の形態としての画像領域追跡装置１０と同様に動作して、追跡対象モデルを取得する。
次に、第１追跡部２０３および第２追跡部２０４は、複数の第１追跡位置から複数の第２追跡位置を求め、複数の第２追跡位置の中から統合追跡位置を決定する（ステップＳ２４）。
具体的には、第２追跡部２０４は、複数の第１追跡位置をそれぞれ初期位置として画像特徴の比較による追跡を行うことにより、複数の第２追跡位置を求める。そして、例えば、第２追跡部２０４は、各第２追跡位置の追跡対象領域と追跡対象モデルとの画像特徴間の類似度を評価値として求めてもよい。そして、第２追跡部２０４は、最も評価値の高い第２追跡位置を統合追跡位置として採用してもよい。
次に、ジェスチャ判定部２０５は、ステップＳ２４で決定された統合追跡位置の系列を用いて、ジェスチャの判定を行う。なお、ジェスチャ判定部２０５は、ステップＳ２５を実行する度に統合追跡位置を記憶しておく。そして、ジェスチャ判定部２０５は、統合追跡位置の系列をあらかじめ記憶したパタンと照合することによりジェスチャを判定してもよい（ステップＳ２５）。
以上で、ジェスチャ認識装置２の概略動作の説明を終了する。
次に、このように動作するジェスチャ認識装置２において、画像領域追跡装置２０の追跡動作（ステップＳ１〜Ｓ３およびＳ２４）の具体例について、図９および図１０のフローチャートを参照して説明する。
まず、画像入力部１０１は、画像出力装置８０から入力画像を取得する（ステップＳ３０１）。
次に、追跡対象モデル取得部１０２は、追跡対象を新規登録するか否かを決める初期化フラグが１であるか否かを判断する。（ステップＳ３０２）。
ここで、初期化フラグが１の場合、追跡対象モデル取得部１０２は、掌を含む画像領域を取得する。そして追跡対象モデル取得部１０２は、初期化フラグを０にする（ステップＳ３０３）。このとき、追跡対象モデル取得部１０２は、端末装置９０を介してユーザから指定される矩形領域を、掌を含む画像領域として取得してもよい。あるいは、追跡対象モデル取得部１０２は、入力画像における人物の顔等を検出し、検出した領域の位置から計算される所定の領域において、肌色等の所定の画像特徴や、手振り動作等所定の動き特徴を検知することにより、その領域を、掌を含む画像領域として取得してもよい。
次に、追跡対象モデル取得部１０２は、追跡対象モデルとして指定された領域のサイズ（Width、Height）および画像特徴を記憶する。そして、追跡対象モデル取得部１０２は、現時刻の統合追跡位置として、追跡対象モデルとして指定された領域の位置を記憶する（ステップＳ３０４）。
例えば、追跡対象モデル取得部１０２は、画像特徴として、ＨＳ色特徴を用いてもよい。ＨＳ色特徴は、次のようにして求められる。まず、追跡対象モデル取得部１０２は、追跡対象領域の各画素をＨＳＶ色空間で表現する。そして、追跡対象モデル取得部１０２は、Ｈ成分を８分割（h1,…,h8）、Ｓ成分を４分割（s1,…,s4）することにより、追跡対象の全画素を（h1,s1）,(h1,s2),(h1,s3),(h1,s4),(h2,s1),…,(h4,s4)の8ｘ4=32通りに分類する。そして、追跡対象モデル取得部１０２は、各画素を３２通りに分類して投票し、全体数に対する投票数の割合を分類順に並べた32次元ベクトルを、ＨＳ色特徴の特徴ベクトルとしてもよい。
次に、第１追跡部２０３は、入力画像を記憶する（ステップＳ３０５）。そして、画像領域追跡装置２０の追跡処理は終了する。
一方、ステップＳ３０２で初期化フラグが０であった場合、第１追跡部２０３は、前時刻の統合追跡位置の周辺（フローベクトル演算領域）で格子点毎にフローベクトルを計算する（ステップＳ３０６）。
ここで、第１追跡部２０３によって計算されたフローベクトルの模式図を図１１に示す。図１１において、第１追跡部２０３は、前時刻の統合追跡位置の追跡対象領域を中心に含み、サイズが縦横２倍の領域をフローベクトル演算領域としている。そして、第１追跡部２０３は、図の破線のように入力画像を３×３画素の格子で分割する。そして、第１追跡部２０３は、フローベクトル演算領域に含まれる格子点について、前時刻と現時刻の入力画像間において、フローベクトルを計算する。このとき、第１追跡部２０３は、画像左上を原点として各格子点を（i,j）で表現したときのi+jが偶数になる格子点のうち、フローベクトル演算領域に含まれる格子点についてフローベクトルを計算してもよい。このとき、第１追跡部２０３は、フローベクトルを算出するのにLucas-Kanadeの手法を用いてもよい。
次に、第１追跡部２０３は、各フローベクトルから代表フローベクトルを計算する（ステップＳ３０７）。
ここで、第１追跡部２０３が代表フローベクトルを計算する例を、図１２および図１３を参照して説明する。図１２に示すように、第１追跡部２０３は、量子化したベクトルの方向で全フローベクトルを分類する。そして、図１３に示すように、第１追跡部２０３は、各方向に分類されたフローベクトルの数（頻度）を用いてヒストグラムを生成する。次に、第１追跡部２０３は、各方向におけるフローベクトルの平均値を求める。そして、第１追跡部２０３は、最も多くのフローベクトルが分類された方向から順にその平均フローベクトルを前時刻の統合追跡位置に加えた位置を、第１追跡位置（第１位）、第１追跡位置（第２位）のように順次決定する。ただし、第１追跡部２０３は、各フローベクトルのサイズが閾値に満たないものは全て０ベクトルとして分類し、ヒストグラムには第０方向として投票を行ってもよい。この場合、第１追跡位置のいずれかに、前時刻の統合追跡位置と一致するものが含まれることになる。このステップにおける処理の最後に、第１追跡部２０３は、次のステップで利用される第１追跡位置（第i位）の順位インデックスiを１に初期化する。
次に、第２追跡部２０４は、第１追跡位置（第i位）を初期位置として、ＨＳ色特徴で表される画像特徴を用いて、MeanShift法による第２追跡位置の計算を行なう（ステップＳ３０８）。
次に、第２追跡部２０４は、ステップＳ３０８で計算した第２追跡位置と、追跡対象モデルとの画像特徴間の類似度をBhattacharya距離によって計算し、これを評価値Ｖａｌとする（ステップＳ３０９）。
次に、第２追跡部２０４は、評価値Ｖａｌが閾値を超えているか否かを判断する（ステップＳ３１０）。
ここで、評価値Ｖａｌが閾値を超えている場合、第２追跡部２０４は、この第２追跡位置を現時刻の統合追跡位置として記憶する（ステップＳ３１１）。そして、第２追跡部２０４は、追跡の失敗が連続何フレーム継続したかを表す追跡失敗継続カウンタを０に初期化する。そして、画像領域追跡装置２０の動作はステップＳ３０５に移行する。
一方、評価値Ｖａｌが閾値に満たない場合、第２追跡部２０４は、順位インデックスiを加算する。そして、第２追跡部２０４は、iが、第１追跡位置の個数Ｎ以下であるか否かを判断する（ステップＳ３１２）。
ここで、順位インデックスiがＮより大きい場合、第２追跡部２０４は、前時刻の統合追跡位置を現時刻の統合追跡位置として記憶する（ステップＳ３１３）。
次に、第２追跡部２０４は、追跡失敗継続カウンタを加算する（ステップＳ３１４）。
次に、第２追跡部２０４は、追跡失敗継続カウンタが閾値を超えるか否かを判断する（ステップＳ３１５）。
ここで、追跡失敗継続カウンタが閾値を超えない場合、画像領域追跡装置２０の追跡処理は終了する。
一方、追跡失敗継続カウンタが閾値を超える場合、第２追跡部２０４は、次のフレームにおいて追跡対象を新規登録させるための初期化フラグを１とする（ステップＳ３１６）。そして、画像領域追跡装置２０の追跡処理は終了する。
以上で、画像領域追跡装置２０の追跡処理の説明を終了する。
次に、本発明の第２の実施の形態の効果について説明する。
本発明の第２の実施の形態における画像領域追跡装置は、画像特徴の類似する追跡対象領域と非追跡対象領域とが近接する画像を含む動画像において、追跡対象領域の追跡精度をさらに向上させることができる。
その理由は、第１追跡部が複数の代表フローベクトルを求めることにより複数の第１追跡位置を計算し、第２追跡部が複数の第１追跡位置をそれぞれ初期位置として画像特徴に基づく追跡処理を行うことにより複数の第２追跡位置を計算し、複数の第２追跡位置に基づいて統合追跡位置を決定するからである。
また、このような画像領域追跡装置は、本発明の第２の実施の形態におけるジェスチャ認識装置に適用されることにより、図１４に一例を示すような、ジェスチャを行う掌等の身体部位が、顔等の他の身体部位に、ある時刻において近接するような軌道で動作する動画像であっても、ジェスチャ認識精度を向上させることができる。
その理由は、本発明の画像領域追跡装置が、ジェスチャを行う身体部位が映された領域を、ある時刻において近接する他の身体部位が映された領域と混同することなく、追跡を継続可能だからである。すなわち、本発明の画像領域追跡装置が、追跡対象としての掌が映された画像領域の動き方向の予測による概略位置を算出した上で、画像特徴に基づく追跡を行って概略位置を補正するためである。これにより、本発明の画像領域追跡装置を適用したジェスチャ認識装置は、画像特徴が類似する掌の画像領域と顔の画像領域とが近接しても、掌が映された画像領域と顔等が映された画像領域とは動きが異なるため、顔等が映された画像領域を追跡することを抑制することができるからである。
なお、本発明の各実施の形態としての画像領域追跡装置は、ジェスチャ認識装置に限らず、さまざまな用途の装置に適用可能である。
また、上述した本発明の各実施の形態において、各フローチャートを参照して説明した画像領域追跡装置の動作を、本発明のコンピュータ・プログラムとしてコンピュータ装置の記憶装置（記憶媒体）に格納しておき、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコード或いは記憶媒体によって構成される。
また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
時系列的に連続する入力画像が入力される画像入力部と、
任意の前記入力画像において追跡対象が映された追跡対象領域に関する情報を追跡対象モデルとして取得する追跡対象モデル取得部と、
前記各入力画像において、該入力画像および他の前記入力画像の間で算出されるフローベクトルに基づいて、該他の入力画像における追跡対象領域からの移動ベクトルを推定することにより、該入力画像における追跡対象領域の概略位置を表す第１追跡位置を求める第１追跡部と、
前記各入力画像において、前記第１追跡位置を事前知識として用いながら、前記追跡対象モデルの画像特徴と該入力画像に含まれる画像領域の画像特徴との比較結果に基づく追跡処理を用いて前記第１追跡位置を補正することにより、該入力画像における追跡対象領域の補正位置を表す第２追跡位置を求めるとともに、該入力画像における統合的な追跡位置である統合追跡位置を前記第２追跡位置に基づいて決定する第２追跡部と、
を備えた画像領域追跡装置。
（付記２）
前記第１追跡部は、前記各入力画像において、該入力画像より前の時刻の他の入力画像における統合追跡位置を含む周辺領域であるフローベクトル演算領域において、前記フローベクトル演算領域よりも小さいサイズの格子点毎に求めた複数のフローベクトルを統計的に処理することによって求めた代表フローベクトルと、前記他の入力画像における統合追跡位置との和を前記第１追跡位置とすることを特徴とする付記１に記載の画像領域追跡装置。
（付記３）
前記第１追跡部は、前記各入力画像において、複数の前記フローベクトルの前記統計処理において統計量に基づき複数の代表フローベクトルを求め、各代表フローベクトルと、前記他の入力画像における統合追跡位置との和を求めることにより、複数の第１追跡位置を取得することを特徴とする付記２に記載の画像領域追跡装置。
（付記４）
前記第１追跡部は、前記複数のフローベクトルを、方向および大きさで量子化して分類し、分類された各ビンへの投票数から生成されるヒストグラムの大きさに基づき、前記代表フローベクトルを決定することを特徴とする付記２または付記３に記載の画像領域追跡装置。
（付記５）
前記第２追跡部は、前記第１追跡部において取得された前記複数の第１追跡位置の各々を事前知識として用いることにより複数の前記第２追跡位置を求め、求めた複数の第２追跡位置に基づいて前記統合追跡位置を決定することを特徴とする付記３または付記４に記載の画像領域追跡装置。
（付記６）
前記第１追跡部は、前記統計処理に基づき順位付けされた前記複数の代表ベクトルを求めることにより、順位付けされた前記複数の第１追跡位置を求め、
前記第２追跡部は、前記複数の第１追跡位置の順位にしたがって順位付けされた前記第２追跡位置を求め、前記第２追跡位置およびその順位に基づいて前記統合追跡位置を決定することを特徴とする付記５に記載の画像領域追跡装置。
（付記７）
前記第２追跡部は、着目する画像領域内の全画素の色空間における分布のヒストグラムから生成した特徴ベクトルを前記画像特徴として用いることを特徴とする付記１から付記６のいずれかに記載の画像領域追跡装置。
（付記８）
前記第２追跡部は、前記各入力画像において前記第１追跡部によって取得された第１追跡位置を追跡の初期位置として、MeanShift法を用いて求めた追跡位置を前記第２追跡位置とすることを特徴とする付記１から付記７のいずれかに記載の画像領域追跡装置。
（付記９）
前記第２追跡部は、前記第２追跡位置および前記追跡対象モデル間の画像特徴の類似度に基づいて、前記統合追跡位置を決定することを特徴とする付記１から付記８のいずれかに記載の画像領域追跡装置。
（付記１０）
時系列的に連続する入力画像のうち任意の入力画像において、追跡対象が映された追跡対象領域に関する情報を追跡対象モデルとして取得し、
前記各入力画像において、該入力画像および他の前記入力画像の間で算出されるフローベクトルに基づいて、該他の入力画像における追跡対象領域からの移動ベクトルを推定することにより、該入力画像における追跡対象領域の概略位置を表す第１追跡位置を求め、
前記各入力画像において、前記第１追跡位置を事前知識として用いながら、前記追跡対象モデルの画像特徴と該入力画像に含まれる画像領域の画像特徴との比較結果に基づく追跡処理を用いて前記第１追跡位置を補正することにより、該入力画像における追跡対象領域の補正位置を表す第２追跡位置を求め、
該入力画像における統合的な追跡位置である統合追跡位置を前記第２追跡位置に基づいて決定する画像領域追跡方法。
（付記１１）
時系列的に連続する入力画像のうち任意の入力画像において、追跡対象が映された追跡対象領域に関する情報を追跡対象モデルとして取得する追跡対象モデル取得ステップと、
前記各入力画像において、該入力画像および他の前記入力画像の間で算出されるフローベクトルに基づいて、該他の入力画像における追跡対象領域からの移動ベクトルを推定することにより、該入力画像における追跡対象領域の概略位置を表す第１追跡位置を求める第１追跡ステップと、
前記各入力画像において、前記第１追跡位置を事前知識として用いながら、前記追跡対象モデルの画像特徴と該入力画像に含まれる画像領域の画像特徴との比較結果に基づく追跡処理を用いて前記第１追跡位置を補正することにより、該入力画像における追跡対象領域の補正位置を表す第２追跡位置を求める第２追跡ステップと、
該入力画像における統合的な追跡位置である統合追跡位置を前記第２追跡位置に基づいて決定する統合追跡ステップと、
をコンピュータ装置に実行させるコンピュータ・プログラム。
（付記１２）
前記第１追跡位置を求める際に、前記各入力画像において、該入力画像より前の時刻の他の入力画像における統合追跡位置を含む周辺領域であるフローベクトル演算領域において、前記フローベクトル演算領域よりも小さいサイズの格子点毎に求めた複数のフローベクトルを統計的に処理することによって求めた代表フローベクトルと、前記他の入力画像における統合追跡位置との和を前記第１追跡位置とすることを特徴とする付記１０に記載の画像領域追跡方法。
（付記１３）
前記第１追跡ステップにおいて、前記各入力画像において、該入力画像より前の時刻の他の入力画像における統合追跡位置を含む周辺領域であるフローベクトル演算領域において、前記フローベクトル演算領域よりも小さいサイズの格子点毎に求めた複数のフローベクトルを統計的に処理することによって求めた代表フローベクトルと、前記他の入力画像における統合追跡位置との和を前記第１追跡位置とすることを特徴とする付記１１に記載のコンピュータ・プログラム。
（付記１）
時系列的に連続する入力画像が入力される画像入力部と、
任意の前記入力画像において追跡対象が映された追跡対象領域に関する情報を追跡対象モデルとして取得する追跡対象モデル取得部と、
前記各入力画像において、該入力画像および他の前記入力画像の間で算出されるフローベクトルに基づいて、該他の入力画像における追跡対象領域からの移動ベクトルを推定することにより、該入力画像における追跡対象領域の概略位置を表す第１追跡位置を求める第１追跡部と、
前記各入力画像において、前記第１追跡位置を事前知識として用いながら、前記追跡対象モデルの画像特徴と該入力画像に含まれる画像領域の画像特徴との比較結果に基づく追跡処理を用いて前記第１追跡位置を補正することにより、該入力画像における追跡対象領域の補正位置を表す第２追跡位置を求めるとともに、該入力画像における統合的な追跡位置である統合追跡位置を前記第２追跡位置に基づいて決定する第２追跡部と、
を備えた画像領域追跡装置。
（付記２）
前記第１追跡部は、前記各入力画像において、該入力画像より前の時刻の他の入力画像における統合追跡位置を含む周辺領域であるフローベクトル演算領域において、前記フローベクトル演算領域よりも小さいサイズの格子点毎に求めた複数のフローベクトルを統計的に処理することによって求めた代表フローベクトルと、前記他の入力画像における統合追跡位置との和を前記第１追跡位置とすることを特徴とする付記１に記載の画像領域追跡装置。
（付記３）
前記第１追跡部は、前記各入力画像において、複数の前記フローベクトルの前記統計処理において統計量に基づき複数の代表フローベクトルを求め、各代表フローベクトルと、前記他の入力画像における統合追跡位置との和を求めることにより、複数の第１追跡位置を取得することを特徴とする付記２に記載の画像領域追跡装置。
（付記４）
前記第１追跡部は、前記複数のフローベクトルを、方向および大きさで量子化して分類し、分類された各ビンへの投票数から生成されるヒストグラムの大きさに基づき、前記代表フローベクトルを決定することを特徴とする付記２または付記３に記載の画像領域追跡装置。
（付記５）
前記第２追跡部は、前記第１追跡部において取得された前記複数の第１追跡位置の各々を事前知識として用いることにより複数の前記第２追跡位置を求め、求めた複数の第２追跡位置に基づいて前記統合追跡位置を決定することを特徴とする付記３または付記４に記載の画像領域追跡装置。
（付記６）
前記第１追跡部は、前記統計処理に基づき順位付けされた前記複数の代表ベクトルを求めることにより、順位付けされた前記複数の第１追跡位置を求め、
前記第２追跡部は、前記複数の第１追跡位置の順位にしたがって順位付けされた前記第２追跡位置を求め、前記第２追跡位置およびその順位に基づいて前記統合追跡位置を決定することを特徴とする付記５に記載の画像領域追跡装置。
（付記７）
前記第２追跡部は、着目する画像領域内の全画素の色空間における分布のヒストグラムから生成した特徴ベクトルを前記画像特徴として用いることを特徴とする付記１から付記６のいずれかに記載の画像領域追跡装置。
（付記８）
前記第２追跡部は、前記各入力画像において前記第１追跡部によって取得された第１追跡位置を追跡の初期位置として、MeanShift法を用いて求めた追跡位置を前記第２追跡位置とすることを特徴とする付記１から付記７のいずれかに記載の画像領域追跡装置。
（付記９）
前記第２追跡部は、前記第２追跡位置および前記追跡対象モデル間の画像特徴の類似度に基づいて、前記統合追跡位置を決定することを特徴とする付記１から付記８のいずれかに記載の画像領域追跡装置。
（付記１０）
時系列的に連続する入力画像のうち任意の入力画像において、追跡対象が映された追跡対象領域に関する情報を追跡対象モデルとして取得し、
前記各入力画像において、該入力画像および他の前記入力画像の間で算出されるフローベクトルに基づいて、該他の入力画像における追跡対象領域からの移動ベクトルを推定することにより、該入力画像における追跡対象領域の概略位置を表す第１追跡位置を求め、
前記各入力画像において、前記第１追跡位置を事前知識として用いながら、前記追跡対象モデルの画像特徴と該入力画像に含まれる画像領域の画像特徴との比較結果に基づく追跡処理を用いて前記第１追跡位置を補正することにより、該入力画像における追跡対象領域の補正位置を表す第２追跡位置を求め、
該入力画像における統合的な追跡位置である統合追跡位置を前記第２追跡位置に基づいて決定する画像領域追跡方法。
（付記１１）
時系列的に連続する入力画像のうち任意の入力画像において、追跡対象が映された追跡対象領域に関する情報を追跡対象モデルとして取得する追跡対象モデル取得ステップと、
前記各入力画像において、該入力画像および他の前記入力画像の間で算出されるフローベクトルに基づいて、該他の入力画像における追跡対象領域からの移動ベクトルを推定することにより、該入力画像における追跡対象領域の概略位置を表す第１追跡位置を求める第１追跡ステップと、
前記各入力画像において、前記第１追跡位置を事前知識として用いながら、前記追跡対象モデルの画像特徴と該入力画像に含まれる画像領域の画像特徴との比較結果に基づく追跡処理を用いて前記第１追跡位置を補正することにより、該入力画像における追跡対象領域の補正位置を表す第２追跡位置を求める第２追跡ステップと、
該入力画像における統合的な追跡位置である統合追跡位置を前記第２追跡位置に基づいて決定する統合追跡ステップと、
をコンピュータ装置に実行させるコンピュータ・プログラム。
（付記１２）
前記第１追跡位置を求める際に、前記各入力画像において、該入力画像より前の時刻の他の入力画像における統合追跡位置を含む周辺領域であるフローベクトル演算領域において、前記フローベクトル演算領域よりも小さいサイズの格子点毎に求めた複数のフローベクトルを統計的に処理することによって求めた代表フローベクトルと、前記他の入力画像における統合追跡位置との和を前記第１追跡位置とすることを特徴とする付記１０に記載の画像領域追跡方法。
（付記１３）
前記第１追跡ステップにおいて、前記各入力画像において、該入力画像より前の時刻の他の入力画像における統合追跡位置を含む周辺領域であるフローベクトル演算領域において、前記フローベクトル演算領域よりも小さいサイズの格子点毎に求めた複数のフローベクトルを統計的に処理することによって求めた代表フローベクトルと、前記他の入力画像における統合追跡位置との和を前記第１追跡位置とすることを特徴とする付記１１に記載のコンピュータ・プログラム。
２ ジェスチャ認識装置
１０、２０ 画像領域追跡装置
８０ 画像出力装置
９０ 端末装置
１０１ 画像入力部
１０２ 追跡対象モデル取得部
１０３、２０３ 第１追跡部
１０４、２０４ 第２追跡部
２０５ ジェスチャ判定部
１００１ 中央演算装置
１００２ メモリ
１００３ 記憶装置
１００４、１００５ インタフェース
１００５ インタフェース
１０、２０ 画像領域追跡装置
８０ 画像出力装置
９０ 端末装置
１０１ 画像入力部
１０２ 追跡対象モデル取得部
１０３、２０３ 第１追跡部
１０４、２０４ 第２追跡部
２０５ ジェスチャ判定部
１００１ 中央演算装置
１００２ メモリ
１００３ 記憶装置
１００４、１００５ インタフェース
１００５ インタフェース
Claims (10)
- 時系列的に連続する入力画像が入力される画像入力部と、
任意の前記入力画像において追跡対象が映された追跡対象領域に関する情報を追跡対象モデルとして取得する追跡対象モデル取得部と、
前記各入力画像において、該入力画像および他の前記入力画像の間で算出されるフローベクトルに基づいて、該他の入力画像における追跡対象領域からの移動ベクトルを推定することにより、該入力画像における追跡対象領域の概略位置を表す第１追跡位置を求める第１追跡部と、
前記各入力画像において、前記第１追跡位置を事前知識として用いながら、前記追跡対象モデルの画像特徴と該入力画像に含まれる画像領域の画像特徴との比較結果に基づく追跡処理を用いて前記第１追跡位置を補正することにより、該入力画像における追跡対象領域の補正位置を表す第２追跡位置を求めるとともに、該入力画像における統合的な追跡位置である統合追跡位置を前記第２追跡位置に基づいて決定する第２追跡部と、
を備えた画像領域追跡装置。 - 前記第１追跡部は、前記各入力画像において、該入力画像より前の時刻の他の入力画像における統合追跡位置を含む周辺領域であるフローベクトル演算領域において、前記フローベクトル演算領域よりも小さいサイズの格子点毎に求めた複数のフローベクトルを統計的に処理することによって求めた代表フローベクトルと、前記他の入力画像における統合追跡位置との和を前記第１追跡位置とすることを特徴とする請求項１に記載の画像領域追跡装置。
- 前記第１追跡部は、前記各入力画像において、複数の前記フローベクトルの前記統計処理において統計量に基づき複数の代表フローベクトルを求め、各代表フローベクトルと、前記他の入力画像における統合追跡位置との和を求めることにより、複数の第１追跡位置を取得することを特徴とする請求項２に記載の画像領域追跡装置。
- 前記第１追跡部は、前記複数のフローベクトルを、方向および大きさで量子化して分類し、分類された各ビンへの投票数から生成されるヒストグラムの大きさに基づき、前記代表フローベクトルを決定することを特徴とする請求項２または請求項３に記載の画像領域追跡装置。
- 前記第２追跡部は、前記第１追跡部において取得された前記複数の第１追跡位置の各々を事前知識として用いることにより複数の前記第２追跡位置を求め、求めた複数の第２追跡位置に基づいて前記統合追跡位置を決定することを特徴とする請求項３または請求項４に記載の画像領域追跡装置。
- 前記第２追跡部は、着目する画像領域内の全画素の色空間における分布のヒストグラムから生成した特徴ベクトルを前記画像特徴として用いることを特徴とする請求項１から請求項５のいずれかに記載の画像領域追跡装置。
- 前記第２追跡部は、前記各入力画像において前記第１追跡部によって取得された第１追跡位置を追跡の初期位置として、MeanShift法を用いて求めた追跡位置を前記第２追跡位置とすることを特徴とする請求項１から請求項６のいずれかに記載の画像領域追跡装置。
- 前記第２追跡部は、前記第２追跡位置および前記追跡対象モデル間の画像特徴の類似度に基づいて、前記統合追跡位置を決定することを特徴とする請求項１から請求項７のいずれかに記載の画像領域追跡装置。
- 時系列的に連続する入力画像のうち任意の入力画像において、追跡対象が映された追跡対象領域に関する情報を追跡対象モデルとして取得し、
前記各入力画像において、該入力画像および他の前記入力画像の間で算出されるフローベクトルに基づいて、該他の入力画像における追跡対象領域からの移動ベクトルを推定することにより、該入力画像における追跡対象領域の概略位置を表す第１追跡位置を求め、
前記各入力画像において、前記第１追跡位置を事前知識として用いながら、前記追跡対象モデルの画像特徴と該入力画像に含まれる画像領域の画像特徴との比較結果に基づく追跡処理を用いて前記第１追跡位置を補正することにより、該入力画像における追跡対象領域の補正位置を表す第２追跡位置を求め、
該入力画像における統合的な追跡位置である統合追跡位置を前記第２追跡位置に基づいて決定する画像領域追跡方法。 - 時系列的に連続する入力画像のうち任意の入力画像において、追跡対象が映された追跡対象領域に関する情報を追跡対象モデルとして取得する追跡対象モデル取得ステップと、
前記各入力画像において、該入力画像および他の前記入力画像の間で算出されるフローベクトルに基づいて、該他の入力画像における追跡対象領域からの移動ベクトルを推定することにより、該入力画像における追跡対象領域の概略位置を表す第１追跡位置を求める第１追跡ステップと、
前記各入力画像において、前記第１追跡位置を事前知識として用いながら、前記追跡対象モデルの画像特徴と該入力画像に含まれる画像領域の画像特徴との比較結果に基づく追跡処理を用いて前記第１追跡位置を補正することにより、該入力画像における追跡対象領域の補正位置を表す第２追跡位置を求める第２追跡ステップと、
該入力画像における統合的な追跡位置である統合追跡位置を前記第２追跡位置に基づいて決定する統合追跡ステップと、
をコンピュータ装置に実行させるコンピュータ・プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011090613A JP2012226403A (ja) | 2011-04-15 | 2011-04-15 | 画像領域追跡装置、画像領域追跡方法、および、コンピュータ・プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011090613A JP2012226403A (ja) | 2011-04-15 | 2011-04-15 | 画像領域追跡装置、画像領域追跡方法、および、コンピュータ・プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012226403A true JP2012226403A (ja) | 2012-11-15 |
Family
ID=47276537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011090613A Withdrawn JP2012226403A (ja) | 2011-04-15 | 2011-04-15 | 画像領域追跡装置、画像領域追跡方法、および、コンピュータ・プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012226403A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017228303A (ja) * | 2017-08-08 | 2017-12-28 | 株式会社東芝 | 移動物体追跡装置、方法及びプログラム |
| CN111339855A (zh) * | 2020-02-14 | 2020-06-26 | 睿魔智能科技（深圳）有限公司 | 基于视觉的目标跟踪方法、系统、设备及存储介质 |
-
2011
- 2011-04-15 JP JP2011090613A patent/JP2012226403A/ja not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017228303A (ja) * | 2017-08-08 | 2017-12-28 | 株式会社東芝 | 移動物体追跡装置、方法及びプログラム |
| CN111339855A (zh) * | 2020-02-14 | 2020-06-26 | 睿魔智能科技（深圳）有限公司 | 基于视觉的目标跟踪方法、系统、设备及存储介质 |
| CN111339855B (zh) * | 2020-02-14 | 2023-05-23 | 睿魔智能科技（深圳）有限公司 | 基于视觉的目标跟踪方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9179071B2 (en) | Electronic device and image selection method thereof | |
| CN108292362B (zh) | 用于光标控制的手势识别 | |
| US10373052B2 (en) | Method and system for tracking an object | |
| US10354129B2 (en) | Hand gesture recognition for virtual reality and augmented reality devices | |
| US9710698B2 (en) | Method, apparatus and computer program product for human-face features extraction | |
| US11037325B2 (en) | Information processing apparatus and method of controlling the same | |
| JP5483961B2 (ja) | 画像処理装置、被写体判別方法、プログラム及び記憶媒体 | |
| KR20200130440A (ko) | 이미지 내 객체를 식별하기 위한 방법 및 상기 방법을 실행하기 위한 모바일 디바이스(method for identifying an object within an image and mobile device for executing the method) | |
| KR101409810B1 (ko) | 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법 | |
| KR102199094B1 (ko) | 관심객체 검출을 위한 관심영역 학습장치 및 방법 | |
| CN110782433A (zh) | 基于时序的动态信息暴力抛物检测方法、装置及存储介质 | |
| US10891740B2 (en) | Moving object tracking apparatus, moving object tracking method, and computer program product | |
| US20230394792A1 (en) | Information processing device, information processing method, and program recording medium | |
| JP7165353B2 (ja) | 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム | |
| US9842260B2 (en) | Image processing apparatus and image processing method of performing image segmentation | |
| JP6384167B2 (ja) | 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム | |
| JP2012226403A (ja) | 画像領域追跡装置、画像領域追跡方法、および、コンピュータ・プログラム | |
| CN111524086A (zh) | 运动物体检测装置、运动物体检测方法、存储介质 | |
| Jaiswal et al. | Survey paper on various techniques of recognition and tracking | |
| JP2015049702A (ja) | 対象認識装置、対象認識方法、およびプログラム | |
| US11875518B2 (en) | Object feature extraction device, object feature extraction method, and non-transitory computer-readable medium | |
| JP2001307104A (ja) | 動画像のオブジェクト抽出装置 | |
| JP6717769B2 (ja) | 情報処理装置及びプログラム | |
| Goyal et al. | Moving Object Detection in Video Streaming Using Improved DNN Algorithm | |
| Mudjirahardjo | A Study on Human Motion Detection-Toward Abnormal Motion Identification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |