JP2017097554A - 特徴点追跡装置、特徴点追跡方法及びプログラム - Google Patents

Abstract

【課題】追跡点の誤認識に対して頑健な特徴点追跡を行う特徴点追跡装置、特徴点追跡方法及びプログラムを提供する。【解決手段】抽出部100は、連続する複数の画像のうち一の画像から特徴点を抽出する。指定部110は、複数の画像のうち一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する。追跡部120は、他の画像における特徴点の追跡点の候補である候補点の座標を算出する。判定部130は、候補点が、第１条件と第２条件とを満たすか否かを判定する。決定部140は、判定の結果に基づいて、候補点を特徴点の追跡点として採用するか否かを決定する。構築部150は、採用すると決定した場合に、候補点を連続する複数の画像中の特徴点の軌跡である特徴点軌道の構成点として取得すると共に、複数の画像のうち指定部110が指定する画像を変えて、以上の処理を繰り返すことにより、特徴点軌道を構築する。【選択図】図２

Description

本発明は、特徴点追跡装置、特徴点追跡方法及びプログラムに関する。

動画中の特徴点を時間的に追跡する技術が知られている。例えば、特許文献１は、ビデオ画像中の特徴点を追跡することにより移動物体を追跡する画像処理装置を開示している。

特開２００５−２５０９８９号公報

特許文献１に開示された画像処理装置は、特徴点を追跡している際、真正な追跡点ではない点を追跡点として誤認識してしまう場合がある。このような場合、特許文献１に開示された画像処理装置は、真正な追跡点ではないにも関わらず追跡点として誤認識した点を採用してしまうことも、この点に基づいて特徴点の追跡を続行することにより特徴点を不正確に追跡してしまうことも、防げなかった。

本発明は、上記事情に鑑みてなされたものであり、追跡点の誤認識に対して頑健な特徴点追跡を行う特徴点追跡装置、特徴点追跡方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る特徴点追跡装置は、
連続する複数の画像のうち一の画像から特徴点を抽出する抽出手段と、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段と、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を算出する追跡手段と、
前記候補点が、第１条件と、前記第１条件とは異なる第２条件と、を満たすか否かを判定する判定手段と、
前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段と、
前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段と、を備えることを特徴とする。

本発明によれば、追跡点の誤認識に対して頑健な特徴点追跡を行う特徴点追跡装置、特徴点追跡方法及びプログラムを提供できる。

本発明の実施形態に係る特徴点追跡装置の物理的構成例を示すブロック図である。 本発明の実施形態に係る特徴点追跡装置の機能的構成例を示すブロック図である。 本発明の実施形態に係る特徴点追跡装置が実行する特徴点追跡処理を説明するためのフローチャートである。 (ａ）、（ｂ）は、何れも、本発明の実施形態に係る特徴点追跡装置の特長を説明するための図である。（ａ）は、対比例に係る特徴点追跡装置による特徴点の追跡を説明するための図である。（ｂ）は、本発明の実施形態に係る特徴点追跡装置による特徴点の追跡を説明するための図である。 （ａ）、（ｂ）は、何れも、本発明の実施形態に係る特徴点追跡装置の特長を説明するための他の図である。（ａ）は、他の対比例に係る特徴点追跡装置による特徴点の追跡を説明するための図である。（ｂ）は、本発明の実施形態に係る特徴点追跡装置による特徴点の追跡を説明するための他の図である。

以下、本発明の実施形態に係る特徴点追跡装置の機能及び動作を、図面を参照しながら詳細に説明する。図中、互いに同一又は同等の部分に同一の符号を付す。

特徴点追跡装置は、連続する複数の画像中の特徴点を時間的に追跡し、連続する複数の画像中のこの特徴点の軌跡である特徴点軌道を構築する。この連続する複数の画像は、時間的に連続した複数の画像であり、以下、動画と称する。特徴点の定義は、ユーザの必要に応じて、任意に設定できる。本実施形態において、特徴点は、動画を構成する画像が含む画素のうち、その画素の輝度値と周囲の画素の輝度値との差が所定の閾値以上の画素である。

特徴点追跡装置１は、図１に示すように、ＣＰＵ（Central Processing Unit）１０と、記憶部２０と、入力部３０と、出力部４０と、外部インタフェース５０と、を備えている。

ＣＰＵ１０は、記憶部２０に記憶された各種プログラムを実行する。具体的に、ＣＰＵ１０は、記憶部２０に記憶された制御プログラムを実行することにより、特徴点追跡装置１全体を制御する。また、ＣＰＵ１０は、記憶部２０に記憶された特徴点追跡プログラムを実行することにより、後述する抽出部１００、指定部１１０、追跡部１２０、判定部１３０、決定部１４０及び構築部１５０の機能を実現する。

記憶部２０は、ＲＯＭ（Read-Only Memory）及び不揮発性メモリ（例えば、フラッシュメモリ）を備え、各種データ及び各種プログラムを記憶する。具体的に、本実施形態において、記憶部２０は、特徴点追跡装置１が図示しない外部装置から取得した動画を予め記憶している。また、記憶部２０は、制御プログラム及び特徴点追跡プログラムを含む各種プログラムを記憶している。また、記憶部２０は、ＲＡＭ（Random Access Memory）を備え、ＣＰＵ１０のワークメモリとして機能する。

入力部３０は、ユーザの操作に従って入力を受け付ける。入力部３０は、受け付けた入力をＣＰＵ１０へ供給する。

出力部４０は、各種データを出力する。具体的に、出力部４０は、ディスプレイを備え、記憶部２０に記憶された動画及び特徴点追跡装置１が構築した特徴点軌道を示す画像を含む各種動画像を出力する。

外部インタフェース５０は、図示しない外部装置との間でデータをやり取りする。例えば、外部インタフェース５０は、外部装置から動画を取得する。

上記の物理的構成を有する特徴点追跡装置１は、機能的に、図２に示すように、抽出部１００と、指定部１１０と、追跡部１２０と、判定部１３０と、決定部１４０と、構築部１５０と、を備えている。

抽出部１００は、動画を構成する複数の画像のうちＣＰＵ１０が指定した第ｎフレームの画像から追跡対象となる特徴点Ｐｎを抽出する。第ｎフレームの画像は、請求項中の「一の画像」に相当する。特徴点Ｐｎは、請求項中の「抽出手段」が抽出する「特徴点」に相当する。抽出部１００は、任意の公知技術を用いて画像から特徴点Ｐｎを抽出すればよい。特徴点Ｐｎの抽出に利用可能な公知技術の例としては、Harris/Plessey法、KLT法、Hessian法等が挙げられる。

本実施形態において、抽出部１００は、画像中の点のうち、この点の座標（ｘ、ｙ）が下記の式（１）を満たす点を特徴点として抽出する。式（１）中、Ｔｈ１、Ｔｈ２及びＴｈ３は、何れも所定の閾値である。閾値Ｔｈ１、Ｔｈ２及びＴｈ３は、実験等の任意の手法を用いて、適宜設定すればよい。本実施形態において、閾値Ｔｈ３は、３に設定されている。式（１）中、λｍａｘとλｍｉｎとは、点の座標（ｘ、ｙ）に対して式（２）を満たす行列の固有値λである。なお、λｍａｘは、λｍｉｎより大きいものとする。式（２）を満たす行列の固有値λであるλｍａｘ及びλｍｉｎは、式（３）で表される。式（２）、（３）中、Ｉｘは、画像の輝度値のｘ軸方向における微分値を表す。Ｉｙは、画像の輝度値のｙ軸方向における微分値を表す。ｗは、ガウス関数で表される重みを表す。Σは、座標（ｘ、ｙ）を中心とする所定範囲内で積算することを表す。

指定部１１０は、動画を構成する複数の画像のうち、第ｎフレームの画像よりも撮像時刻が新しい第ｓフレームの画像を指定する。「第ｓフレームの画像」は、請求項中の「他の画像」に相当する。

また、指定部１１０は、動画を構成する複数の画像のうち、第ｎフレームの画像と第ｓフレームの画像との何れよりも撮像時刻の新しい第ｔフレームの画像を指定する。「第ｔフレームの画像」は、請求項中の「さらに他の画像」に相当する。

本実施形態において、指定部１１０は、第ｎフレームの画像の次に撮像時刻が新しい画像、すなわち第ｎフレームの次のフレームの画像を、第ｓフレームの画像として指定する。また、指定部１１０は、第ｓフレームの画像の次に撮像時刻が新しい画像、すなわち第ｓフレームの次のフレームの画像を、第ｔフレームの画像として指定する。

追跡部１２０は、第ｓフレームの画像における特徴点Ｐｎの追跡点の候補である候補点Ｑｓの座標を算出する。「候補点Ｑｓ」は、請求項中の「候補点」に相当する。

また、追跡部１２０は、候補点Ｑｓが、後述する第１条件を満たすものの後述する第２条件を満たさないと判定部１３０が判定した場合、第ｔフレームの画像における特徴点Ｐｎの追跡点の候補である候補点Ｑｔの座標を算出する。「候補点Ｑｔ」は、請求項中の「他の候補点」に相当する。

追跡部１２０は、任意の公知技術を用いて候補点Ｑｓ及び候補点Ｑｔの座標を算出すればよい。本実施形態において、追跡部１２０は、公知技術である差分絶対値和（以下、ＳＡＤ（Sum of Absolute Difference）と称する。）の評価に基づいたブロックマッチング法を用いて候補点の座標を算出する。以下、ある画像（以下、追跡元の画像と称する。）が含む点（以下、追跡対象の点と称する。）の別の画像（以下、追跡先の画像と称する。）における候補点の座標を、ＳＡＤの評価に基づいたブロックマッチング法を用いて算出する方法を説明する。

まず、追跡元の画像から、追跡対象の点を中心とし、所定の形状及びサイズを有する画像領域を切り出す。以下、この画像領域をテンプレートと称する。次に、追跡先の画像において、テンプレートとの間の相違度が最も小さい画像領域を特定する。そして、特定した画像領域の中心の座標を、候補点の座標として算出する。なお、本実施形態において、追跡部１２０は、追跡先の画像中のテンプレートとの間の相違度が最も小さい画像領域を探索するための方法として、処理負荷を抑制しつつ広範囲において探索を行える、粗密探索法を用いる。粗密探索法は公知技術であるため、説明は省略する。

ＳＡＤの評価に基づいたブロックマッチング法において、追跡先の画像が含む画像領域とテンプレートとの間の相違度は、下記の式（４）で表されるＳＡＤによって表される。式（４）で表されるＳＡＤの値が最も小さい画像領域が、テンプレートとの間の相違度が最も小さい画像領域である。式（４）中、Ｉ（ｘ，ｙ）は、追跡先の画像中の座標（ｘ，ｙ）における画素の輝度を表す。Ｔ（ｘ，ｙ）は、テンプレート中の座標（ｘ，ｙ）における画素の輝度を表す。Σは、テンプレートの全領域にわたって積算することを表す。

判定部１３０は、候補点Ｑｓ又は候補点Ｑｔが、第１条件と、第１条件とは異なる第２条件と、を満たすか否かを判定する。ユーザは、入力部３０を介し、真正な追跡点を識別する上で有効な、互いに異なる任意の２つの条件を、第１条件及び第２条件としてそれぞれ設定できる。

本実施形態において、第１条件は、特徴点Ｐｎの追跡点であるための必要条件である。本実施形態において、候補点Ｑｓ又は候補点Ｑｔが特徴点Ｐｎの追跡点であるための必要条件は、追跡部１２０がＳＡＤの評価に基づくブロックマッチング法を用いてこれらの候補点の座標を算出した際に取得したＳＡＤの最小値が、下記の条件（Ａ）〜（Ｃ）の何れにも該当しないことである。なお、条件（Ａ）における閾値と、条件（Ｃ）におけるエラー範囲は、実験等の任意の公知技術を用い、予め適宜設定しておけばよい。
（Ａ）ＳＡＤの最小値が所定の閾値以下である。
（Ｂ）隣り合わない複数の点が、ＳＡＤの最小値を有する。
（Ｃ）ＳＡＤの最小値を有する点が、探索範囲の外周部に予め設定されたエラー範囲内に含まれている。

また、本実施形態において、第２条件は、特徴点であるための十分条件である。本実施形態において、候補点Ｑｓ又は候補点Ｑｔが特徴点であるための十分条件は、これらの候補点の座標が、上記の式（１）を満たすことである。

決定部１４０は、判定部１３０による判定の結果に基づいて、候補点Ｑｓ又は候補点Ｑｔを、特徴点Ｐｎの追跡点として採用するか否かを決定する。

具体的に、決定部１４０は、候補点Ｑｓが第１条件及び第２条件を満たすと判定部１３０が判定した場合、候補点Ｑｓを特徴点Ｐｎの追跡点として採用すると決定する。決定部１４０は、候補点Ｑｓが第１条件を満たさないと判定部１３０が判定した場合、候補点Ｑｓを特徴点Ｐｎの追跡点として採用しないと決定する。

前述したとおり、候補点Ｑｓが、第１条件を満たすものの第２条件を満たさないと判定部１３０が判定した場合、追跡部１２０は、候補点Ｑｔの座標を算出する。決定部１４０は、候補点Ｑｔが第１条件と第２条件とを満たすと判定部１３０が判定した場合、候補点Ｑｔと、第１条件を満たすものの第２条件を満たさないと判定部１３０が判定した候補点Ｑｓと、を特徴点Ｐｎの追跡点として採用すると決定する。決定部１４０は、候補点Ｑｔが第１条件と第２条件とのうち少なくとも何れか一方を満たさないと判定部１３０が判定した場合、候補点Ｑｔと、第１条件を満たすものの第２条件を満たさないと判定部１３０が判定した候補点Ｑｓと、を特徴点Ｐｎの追跡点として採用しないと決定する。

すなわち、決定部１４０は、候補点Ｑｓが第１条件は満たすものの第２条件は満たさないと判定された場合であっても、候補点Ｑｔが第１条件と第２条件を満たしたことを条件として、候補点Ｑｔと共に候補点Ｑｓも特徴点Ｐｎの追跡点として採用すると決定する。

構築部１５０は、決定部１４０が候補点Ｑｓを特徴点Ｐｎの追跡点として採用すると決定した場合に、候補点Ｑｓを動画中の特徴点Ｐｎの軌跡である特徴点軌道の構成点として取得する。具体的に、構築部１５０は、追跡点として採用されると決定された候補点Ｑｓの座標を、特徴点軌道の第ｓフレームにおける構成点として記憶部２０に記憶させる。また、構築部１５０は、決定部１４０が候補点Ｑｔを特徴点Ｐｎの追跡点として採用すると決定した場合に、候補点Ｑｔを動画中の特徴点Ｐｎの軌跡である特徴点軌道の構成点として取得する。具体的に、構築部１５０は、追跡点として採用されると決定された候補点Ｑｔの座標を、特徴点軌道の第ｔフレームにおける構成点の座標として取得し、記憶部２０に記憶させる。

また、構築部１５０は、動画が含む複数の画像のうち指定部１１０が第ｎフレームの画像として指定する画像を変えて、追跡部１２０、判定部１３０及び決定部１４０の処理を繰り返すことにより、追跡開始フレームから追跡終了フレームにわたって特徴点軌道を構築する。追跡開始フレームは、特徴点追跡装置１が特徴点の追跡を開始するフレームである。追跡終了フレームは、特徴点追跡装置１が特徴点の追跡を終了するフレームである。ユーザは、入力部３０を介し、任意のフレームを追跡開始フレーム及び追跡終了フレームとして設定できる。本実施形態では、動画の最初のフレームが追跡開始フレームとして、動画の最後のフレームが追跡終了フレームとして、それぞれ予め設定されている。

以下、上記の物理的・機能的構成を有する特徴点追跡装置１が実行する特徴点追跡処理を、図３のフローチャートを参照して説明する。特徴点追跡装置１は、特徴点追跡処理を実行することにより、動画中の特徴点を時間的に追跡し、動画中のこの特徴点の軌跡である特徴点軌道を構築する。

なお、特徴点追跡装置１は任意の個数の特徴点を追跡できるものの、以下の説明では、理解を容易にするため、特徴点追跡装置１が１個の特徴点を追跡する場合を例に用いて説明する。

特徴点追跡装置１は、外部インタフェース５０を介して外部装置から動画を予め取得し、記憶部２０に記憶している。動画は、時間的に連続して撮像された複数の画像を含んでいる。この状態において、特徴点の追跡を所望するユーザが入力部３０を介して特徴点の追跡を指示すると、ＣＰＵ１０は、この指示に応答し、図３のフローチャートに示す特徴点追跡処理を開始する。

まず、ＣＰＵ１０は、追跡開始フレームを第ｎフレームとして指定する（ステップＳ１０１）。抽出部１００は、動画の第ｎフレームの画像を取得し（ステップＳ１０２）、この画像から特徴点Ｐｎを抽出する（ステップＳ１０３）。具体的に、抽出部１００は、第ｎフレームの画像が含む点のうち、その点の座標（ｘ、ｙ）が上記の式（１）を満たす点を、特徴点Ｐｎとして抽出する。

以下の説明では、理解を容易にするため、ステップＳ１０３で１個の特徴点が抽出されたものとして説明する。ステップＳ１０３において複数の特徴点が抽出された場合には、抽出部１００が、抽出された複数の特徴点のうち任意の１個を、任意の基準に基づいて、追跡対象として選択すればよい。あるいは、ユーザが、入力部３０を介し、追跡対象の特徴点を指定してもよい。

次に、指定部１１０が、第ｎフレームの次のフレームである第（ｎ＋１）フレームを、第ｓフレームとして指定する（ステップＳ１０４）。

追跡部１２０は、動画の第ｓフレームの画像を取得する（ステップＳ１０５）。追跡部１２０は、ステップＳ１０３で抽出した特徴点Ｐｎの座標に基づいて、特徴点Ｐｎの第ｓフレームの画像における追跡点の候補である候補点Ｑｓの座標を算出する（ステップＳ１０６）。具体的に、追跡部１２０は、特徴点Ｐｎの座標に基づき、ＳＡＤの評価に基づくブロックマッチング法を用いて、候補点Ｑｓの座標を算出する。

判定部１３０は、候補点Ｑｓが第１条件を満たすか否かを判定する。すなわち、判定部１３０は、候補点Ｑｓが特徴点Ｐｎの追跡点であるための必要条件を満たすか否かを判定する（ステップＳ１０７）。具体的に、判定部１３０は、ステップＳ１０６でＳＡＤの評価に基づくブロックマッチング法を用いて候補点Ｑｓの座標を算出した際に取得されたＳＡＤの最小値が、上記（Ａ）〜（Ｃ）の何れの条件にも該当しないか否かを判定する。

候補点Ｑｓが特徴点Ｐｎの追跡点であるための必要条件を満たさないと判定された場合（ステップＳ１０７；ＮＯ）、特徴点追跡装置１が、特徴点Ｐｎの第ｎフレームから第ｓフレームにわたる移動の追跡に失敗した可能性が高い。この場合、特徴点追跡装置１は、追跡を中止し、それまで追跡していた特徴点とは異なる特徴点の追跡を開始する。

具体的に、候補点Ｑｓが特徴点Ｐｎの追跡点であるための必要条件を満たさないと判定部１３０が判定すると（ステップＳ１０７；ＮＯ）、決定部１４０は、候補点Ｑｓを特徴点Ｐｎの追跡点として採用しないと決定する（ステップＳ１２１）。そして、ＣＰＵ１０が値ｎを１だけインクリメントし（ステップＳ１２０）、終了条件が成立したか否かを判定する（ステップＳ１１９）。終了条件が成立していないとＣＰＵ１０が判定すると（ステップＳ１１９；ＮＯ）、処理はステップＳ１０２へ戻る。特徴点追跡装置１は、値ｎをインクリメントした上でステップＳ１０２及びＳ１０３の処理を実行することにより、直前に第ｎフレームとして指定していたフレームとは異なるフレームの画像から、直前に追跡していた特徴点とは異なる特徴点を抽出し、この特徴点の追跡を開始する。ＣＰＵ１０は、終了条件が成立したと判定すると（ステップＳ１１９；ＹＥＳ）、特徴点追跡処理を終了する。

「値ｎを１だけインクリメントする」とは、直前に第ｎフレームとして指定されていたフレームの次のフレームを新たに第ｎフレームとして指定する処理を指す。終了条件は、特徴点追跡処理を終了する契機となる条件である。ユーザは、入力部３０を介し、任意の条件を終了条件として設定できる。本実施形態では、下記の（ａ）〜（ｃ）のうち少なくとも何れかが成立することを終了条件として予め設定している。
（ａ）インクリメント後の第ｎフレームと追跡終了フレームとが一致する。
（ｂ）インクリメント後の第ｓフレームと追跡終了フレームとが一致する。
（ｃ）入力部３０を介し、ユーザによる終了指示を受け付けた。

候補点Ｑｓが特徴点Ｐｎの追跡点であるための必要条件を満たすと判定すると（ステップＳ１０７；ＹＥＳ）、判定部１３０は、候補点Ｑｓが第２条件を満たすか否かを判定する。すなわち、判定部１３０は、候補点Ｑｓが特徴点であるための十分条件を満たすか否かを判定する（ステップＳ１０８）。具体的に、判定部１３０は、候補点Ｑｓの座標が、上記式（１）を満たすか否かを判定する。

候補点Ｑｓが特徴点であるための十分条件を満たすと判定部１３０が判定した場合（ステップＳ１０８；ＹＥＳ）、候補点Ｑｓは特徴点Ｐｎの真正な追跡点である可能性が高い。そこで、決定部１４０は、候補点Ｑｓを特徴点Ｐｎの追跡点として採用すると決定する（ステップＳ１１８）。構築部１５０は、特徴点Ｐｎの追跡点として採用された候補点Ｑｓの座標を、第ｓフレームにおける特徴点軌道の構成点の座標として取得し、記憶部２０に記憶させ（ステップＳ１１７）、処理はステップＳ１１６へ移る。

構築部１５０は、指定部１１０を制御して、値ｎを１だけインクリメントさせる（ステップＳ１１６）。次に、ＣＰＵ１０が、終了条件が成立したか否かを判定する（ステップＳ１１５）。終了条件が成立したと判定すると（ステップＳ１１５；ＹＥＳ）、ＣＰＵ１０は、特徴点追跡処理を終了する。終了条件が成立していないとＣＰＵ１０が判定すると（ステップＳ１１５；ＮＯ）、処理はステップＳ１０４へ戻り、直前に第ｓフレームとして指定していたフレームの次のフレームを新たに第ｓフレームとして指定する。特徴点追跡装置１は、値ｓをインクリメントしながらステップＳ１０４〜Ｓ１１５の処理を繰り返すことにより、動画中の複数フレームにわたって特徴点Ｐｎを追跡し、特徴点軌道を構築する。

なお、本実施形態では、ステップＳ１１５の後に実行されるステップＳ１０６の処理において、追跡部１２０は、直前のステップＳ１１８又はステップＳ１１４で特徴点Ｐｎの追跡点として採用された候補点Ｑｓの座標に基づき、ＳＡＤの評価に基づくブロックマッチング法を用いて、新たな候補点Ｑｓの座標を算出する。すなわち、新たな候補点Ｑｓは、ステップＳ１１６とステップＳ１０４で値ｓがインクリメントされた後の第ｓフレームの画像における、直前のステップＳ１１８又はステップＳ１１４で特徴点Ｐｎの追跡点として採用された候補点Ｑｓの追跡点の候補である。また、本実施形態では、ステップＳ１１５の後に実行されるステップＳ１１１の処理において、追跡部１２０は、直前のステップＳ１１８又はステップＳ１１４で特徴点Ｐｎの追跡点として採用された候補点Ｑｓの座標に基づき、ＳＡＤの評価に基づくブロックマッチング法を用いて、新たな候補点Ｑｔの座標を算出する。すなわち、新たな候補点Ｑｔは、第ｔフレームの画像における直前のステップＳ１１８又はステップＳ１１４で特徴点Ｐｎの追跡点として採用された候補点Ｑｓの追跡点の候補である。なお、新たな候補点Ｑｓ及び候補点Ｑｔの座標を以前の処理において既に算出していた場合、改めて座標を算出することなく、記憶部２０に記憶されている算出済みの座標を取得することとすればよい。

候補点Ｑｓが特徴点であるための十分条件を満たさないと判定部１３０が判定すると（ステップＳ１０８；ＮＯ）、指定部１１０は、第ｓフレームの次のフレームである第（ｓ＋１）フレームを第ｔフレームとして指定する（ステップＳ１０９）。

追跡部１２０は、動画の第ｔフレームの画像を取得し（ステップＳ１１０）、特徴点Ｐｎの座標に基づき、特徴点Ｐｎの第ｔフレームの画像における追跡点の候補である候補点Ｑｔの座標を算出する（ステップＳ１１１）。具体的に、追跡部１２０は、特徴点Ｐｎの座標に基づき、ＳＡＤの評価に基づくブロックマッチング法を用いて、候補点Ｑｔの座標を算出する。

判定部１３０は、候補点Ｑｔが第１条件を満たすか否かを判定する。すなわち、判定部１３０は、候補点Ｑｔが特徴点Ｐｎの追跡点であるための必要条件を満たすか否かを判定する（ステップＳ１１２）。具体的に、判定部１３０は、ステップＳ１１１でＳＡＤの評価に基づくブロックマッチング法を用いて候補点Ｑｔの座標を算出した際に取得されたＳＡＤの最小値が、上記（Ａ）〜（Ｃ）の何れの条件にも該当しないか否かを判定する。

候補点Ｑｔが特徴点Ｐｎの追跡点であるための必要条件を満たさないと判定された場合（ステップＳ１１２；ＮＯ）、特徴点追跡装置１が、特徴点Ｐｎの第ｎフレームから第ｔフレームにわたる移動の追跡に失敗した可能性が高い。この場合、特徴点追跡装置１は、ステップＳ１０６においても、特徴点Ｐｎの第ｎフレームから第ｓフレームにわたる移動の追跡に失敗していた可能性が高い。そこで、特徴点追跡装置１は、候補点Ｑｓと候補点Ｑｔとの何れも特徴点Ｐｎの追跡点として採用することなく、特徴点の追跡を中止して、それまで追跡していた特徴点とは異なる特徴点の追跡を開始する。

具体的に、候補点Ｑｔが特徴点Ｐｎの追跡点であるための必要条件を満たさないと判定部１３０が判定した場合（ステップＳ１１２；ＮＯ）、決定部１４０は、候補点Ｑｓ及び候補点Ｑｔを特徴点軌道の構成点として採用しないと決定し（ステップＳ１２２）、処理はステップＳ１２０へ移る。特徴点追跡装置１は、ステップＳ１２０で値ｎをインクリメントした上でステップＳ１０２及びＳ１０３の処理を実行することにより、直前に追跡していた特徴点とは異なる特徴点の追跡を開始する。

候補点Ｑｔが特徴点Ｐｎの追跡点であるための必要条件を満たすと判定すると（ステップステップＳ１１２；ＹＥＳ）、判定部１３０は、候補点Ｑｔが第２条件を満たすか否かを判定する。すなわち、判定部１３０は、候補点Ｑｔが特徴点であるための十分条件を満たすか否かを判定する（ステップＳ１１３）。具体的に、判定部１３０は、候補点Ｑｔの座標が上記式（１）を満たすか否かを判定する。

候補点Ｑｔが特徴点であるための十分条件を満たさないと判定された場合（ステップＳ１１３；ＮＯ）、候補点Ｑｔは、特徴点Ｐｎの真正な追跡点ではない可能性が高い。また、候補点Ｑｓも、特徴点Ｐｎの真正な追跡点ではない可能性が高い。この場合、特徴点追跡装置１は、候補点Ｑｓと候補点Ｑｔとの何れも特徴点Ｐｎの追跡点として採用することなく、特徴点の追跡を中止して、それまで追跡していた特徴点とは異なる特徴点の追跡を開始する。

具体的に、候補点Ｑｔが特徴点であるための十分条件を満たさないと判定部１３０が判定すると（ステップＳ１１３；ＮＯ）、決定部１４０は、候補点Ｑｓ及び候補点Ｑｔを特徴点Ｐｎの追跡点として採用しないと決定し（ステップＳ１２２）、処理はステップＳ１２０へ移る。特徴点追跡装置１は、ステップＳ１２０で値ｎをインクリメントした上でステップＳ１０２及びＳ１０３の処理を実行することにより、直前に追跡していた特徴点とは異なる特徴点の追跡を開始する。

候補点Ｑｔが特徴点であるための十分条件を満たすと判定された場合（ステップＳ１１３；ＹＥＳ）、候補点Ｑｔは、特徴点Ｐｎの真正な追跡点である可能性が高い。また、候補点Ｑｓも、特徴点であるための十分条件を満たさないとステップＳ１０８において判定されたものの、特徴点Ｐｎの真正な追跡点である可能性が高い。そこで、候補点Ｑｔが特徴点であるための十分条件を満たすと判定部１３０が判定すると（ステップＳ１１３；ＹＥＳ）、決定部１４０は、候補点Ｑｓ及び候補点Ｑｔを特徴点Ｐｎの追跡点として採用すると決定し（ステップＳ１１４）、特徴点追跡装置１は、ステップＳ１２３で値ｎをインクリメントする。そして、構築部１５０が、候補点Ｑｓ及び候補点Ｑｔの座標を、それぞれ、第ｓフレーム及び第ｔフレームにおける特徴点軌道の構成点の座標として取得し、記憶部２０に記憶させ（ステップＳ１１７）、処理はステップＳ１１６へ移る。

このように、特徴点追跡装置１は、候補点Ｑｓが第１条件は満たすものの第２条件は満たさないと判定された場合（ステップＳ１０７；ＹＥＳかつステップＳ１０８；ＮＯ）であっても、候補点Ｑｔが第１条件と第２条件とを満たすことを条件として（ステップＳ１１２；ＹＥＳかつステップＳ１１３；ＹＥＳ）、候補点Ｑｔと共に候補点Ｑｓも特徴点Ｐｎの追跡点として採用する。

以上説明したように、本実施形態に係る特徴点追跡装置１は、特徴点Ｐｎを時間的に追跡し、特徴点軌道を構築する。特徴点追跡装置１は、第１条件と第２条件とを満たした追跡点の候補を追跡点として採用することにより、追跡点の誤認識に対して頑健な特徴点追跡を行っている。以下、この点について、図４を参照しながら詳細に説明する。

図４は、本実施形態に係る特徴点追跡装置１と対比例に係る特徴点追跡装置とが、同一の特徴点Ｐ_１を、同一の動画において、第１フレームから第５フレームにわたってそれぞれ追跡する動作を示している。

図４（ａ）は、対比例に係る特徴点追跡装置による特徴点追跡を説明するための図である。対比例に係る特徴点追跡装置は、動画の任意のフレームにおける特徴点Ｐ_１の追跡点の候補である候補点の座標を、このフレームの直前のフレームにおける追跡点の座標に基づいて算出するものとする。対比例に係る特徴点追跡装置は、追跡対象の特徴点の追跡点であるための必要条件を満たす候補点を、追跡点として採用するものとする。

対比例に係る特徴点追跡装置は、図４（ａ）に示すように、特徴点Ｐ_１の真正な追跡点の座標を第２フレームにおける候補点Ｑ_２の座標として算出したものとする。しかしながら、動画の第３フレームにおいて、図４（ａ）に示すように、モーションブラーが発生したことが原因で、対比例に係る特徴点追跡装置は、特徴点Ｐ_１の真正な追跡点ではない点の座標を第３フレームにおける候補点Ｑ_３の座標として算出してしまったものとする。候補点Ｑ_３は、追跡対象の特徴点の追跡点であるための必要条件は満たすものの、特徴点であるための十分条件は満たさないものとする。

この場合、対比例に係る特徴点追跡装置は、真正な追跡点ではないものの、追跡点であるための必要条件は満たす候補点Ｑ_３を追跡点として採用してしまう。対比例に係る特徴点追跡装置は、真正な追跡点ではない候補点Ｑ_３の座標に基づいて、真正な追跡点ではない点の座標を候補点Ｑ_４及び候補点Ｑ_５の座標として算出してしまう。そして、候補点Ｑ_４及び候補点Ｑ_５が追跡点であるための必要条件を満たす場合、対比例に係る特徴点追跡装置は、これらの真正な追跡点ではない点を追跡点として採用してしまう。この結果、対比例に係る特徴点追跡装置は、特徴点Ｐ_１を不正確に追跡し、不正確な特徴点軌道を構築してしまう。すなわち、対比例に係る特徴点追跡装置は、真正な追跡点ではないにも関わらず追跡点であると誤認識した候補点Ｑ_３を追跡点として採用してしまうことも、候補点Ｑ_３に基づいて真正な追跡点ではない候補点Ｑ_４及び候補点Ｑ_５を追跡点として採用してしまうことも、防げなかった。

図４（ｂ）は、本実施形態に係る特徴点追跡装置１による特徴点追跡を説明するための図である。特徴点追跡装置１は、図４（ｂ）に示すように、特徴点Ｐ_１の真正な追跡点の座標を第２フレームにおける候補点Ｑ_２の座標として算出したものとする。しかしながら、動画の第３フレームにおいて、図４（ｂ）に示すように、モーションブラーが発生したことが原因で、特徴点追跡装置１は、特徴点Ｐ_１の真正な追跡点ではない点の座標を第３フレームにおける候補点Ｑ_３の座標として算出してしまったものとする。候補点Ｑ_３は、追跡対象の特徴点の追跡点であるための必要条件は満たすものの、特徴点であるための十分条件は満たさないものとする。

この場合、特徴点追跡装置１は、追跡点であるための必要条件は満たすものの（ステップＳ１０７；ＹＥＳ）、特徴点であるための十分条件を満たさない（ステップＳ１０８；ＮＯ）候補点Ｑ_３を、特徴点Ｐｎの追跡点として直ちには採用しない。特徴点追跡装置１は、候補点Ｑ_３が特徴点ではないと判定すると（ステップＳ１０８；ＮＯ）、特徴点Ｐ_１の座標に基づいて候補点Ｑ_４の座標を算出する（ステップＳ１１１）。そして、特徴点追跡装置１は、候補点Ｑ_４が、特徴点Ｐ_１の追跡点であるための必要条件を満たすか否かと（ステップＳ１１２）、特徴点であるための十分条件を満たすか否かと（ステップＳ１１３）、を判定する。ステップＳ１１１において、特徴点Ｐ_１の追跡点であるための必要条件は満たすものの（ステップＳ１１２；ＹＥＳ）、特徴点であるための十分条件は満たさない（ステップＳ１１３；ＮＯ）ような点の座標が候補点Ｑ_４の座標として算出されたものとする。この場合、特徴点追跡装置１は、候補点Ｑ_４が特徴点であるための十分条件を満たさないと判定した（ステップＳ１１３；ＮＯ）ことに応答して、候補点Ｑ_３及び候補点Ｑ_４の何れも特徴点Ｐｎの追跡点として採用しないと決定する（ステップＳ１２２）。

以上説明したように、特徴点追跡装置１は、対比例に係る特徴点追跡装置と同様に、第３フレームにおいて真正な追跡点ではない点を追跡点として誤認識した。しかし、特徴点追跡装置１は、対比例に係る特徴点追跡装置とは異なり、特徴点であるための十分条件を満たさない候補点を特徴点軌道の構成点として採用しないと決定した。このため、特徴点追跡装置１は、追跡点として誤認識した候補点Ｑ_３を追跡点の採用を防ぐことができた。また、特徴点追跡装置１は、候補点Ｑ_３に基づいて不正確に特徴点を追跡することも防いでいる。すなわち、特徴点追跡装置１は、真正な追跡点ではない点を追跡点として誤って認識してしまう誤認識に対して頑健な特徴点追跡を行っている。

さらに、本実施形態に係る特徴点追跡装置１は、候補点Ｑｓが第１条件は満たすものの第２条件を満たさないと判定された場合であっても、候補点Ｑｔが第１条件と第２条件とを満たすと判定されたことを条件に、候補点Ｑｔと共に候補点Ｑｓも特徴点Ｐｎの追跡点として採用する。この態様によれば、特徴点追跡装置１は、誤認識に対して頑健な特徴点追跡を行うことができる。以下、この点について、図５を参照しながら詳細に説明する。

図５は、本実施形態に係る特徴点追跡装置１と他の対比例に係る特徴点追跡装置とが、同一の特徴点Ｐ_１を、同一の動画において、第１フレームから第５フレームにわたってそれぞれ追跡する動作を示している。

図５（ａ）は、他の対比例に係る特徴点追跡装置による特徴点追跡を説明するための図である。他の対比例に係る特徴点追跡装置は、動画の任意のフレームにおける特徴点Ｐ_１の追跡点の候補である候補点の座標を、このフレームの直前のフレームにおける追跡点の座標に基づいて算出するものとする。他の対比例に係る特徴点追跡装置は、追跡対象の特徴点の追跡点であるための必要条件を満たし、かつ、特徴点であるための十分条件を満たす候補点を、追跡点として採用するものとする。

他の対比例に係る特徴点追跡装置は、図５（ａ）に示すように、特徴点Ｐ_１の真正な追跡点の座標を第２フレーム及び第３フレームにおける候補点Ｑ_２及び候補点Ｑ_３の座標としてそれぞれ算出したものとする。しかしながら、動画の第３フレームにおいて、図５（ａ）に示すように、モーションブラーが発生したことが原因で、特徴点Ｐ_１の真正な追跡点である候補点Ｑ_３は、特徴点であるための十分条件を満たさなくなるに至ったものとする。

この場合、他の対比例に係る特徴点追跡装置は、特徴点であるための十分条件を満たさない候補点Ｑ_３を、特徴点Ｐ_１の真正な追跡点であるにも関わらず、追跡点として採用しないと決定してしまう。この場合、第３フレームにおける追跡点に基づいて第４フレーム及び第５フレームにわたって特徴点Ｐ_１の追跡を続行することは不可能なので、他の対比例に係る特徴点追跡装置は、特徴点の追跡を中止する。すなわち、他の対比例に係る特徴点追跡装置は、第３フレームにおいて、真正な追跡点である候補点Ｑ_３を追跡点ではないと誤って認識したため、特徴点の追跡に失敗した。

図５（ｂ）は、本実施形態に係る特徴点追跡装置１による特徴点追跡を説明するための図である。特徴点追跡装置１は、図５（ｂ）に示すように、特徴点Ｐ_１の真正な追跡点の座標を第２フレーム及び第３フレームにおける候補点Ｑ_２及び候補点Ｑ_３の座標としてそれぞれ算出したものとする。しかしながら、動画の第３フレームにおいて、図５（ｂ）に示すように、モーションブラーが発生したことが原因で、特徴点Ｐ_１の真正な追跡点である候補点Ｑ_３は、特徴点であるための十分条件を満たさなくなるに至ったものとする。

この場合、特徴点追跡装置１は、追跡点であるための必要条件は満たすものの（ステップＳ１０７；ＹＥＳ）、特徴点であるための十分条件を満たさない（ステップＳ１０８；ＮＯ）候補点Ｑ_３を、特徴点軌道の構成点として採用しないと直ちには決定しない。特徴点追跡装置１は、候補点Ｑ_３が特徴点ではないと判定すると（ステップＳ１０８；ＮＯ）、特徴点Ｐ_１の座標に基づいて候補点Ｑ_４の座標を算出する（ステップＳ１１１）。そして、特徴点追跡装置１は、候補点Ｑ_４が、特徴点Ｐ_１の追跡点であるための必要条件を満たすか否かと（ステップＳ１１２）、特徴点であるための十分条件を満たすか否かと（ステップＳ１１３）、を判定する。ステップＳ１１１において、特徴点Ｐ_１の追跡点であるための必要条件を満たし（ステップＳ１１２；ＹＥＳ）、特徴点であるための十分条件も満たす（ステップＳ１１３；ＹＥＳ）ような点の座標が候補点Ｑ_４の座標として算出されたものとする。この場合、特徴点追跡装置１は、候補点Ｑ_４が特徴点であるための十分条件を満たすと判定した（ステップＳ１１３；ＹＥＳ）ことに応答して、候補点Ｑ_３及び候補点Ｑ_４の両方を特徴点Ｐ_１の追跡点として採用すると決定する（ステップＳ１１４）。

以上説明したように、特徴点追跡装置１は、候補点Ｑ_３が第１条件を満たすものの第２条件を満たさない場合であっても、候補点Ｑ_４が第１条件と第２条件とを満たしたことに応答して、候補点Ｑ_４と共に候補点Ｑ_３を追跡点として採用している。これにより、特徴点追跡装置１は、他の対比例に係る特徴点追跡装置とは異なり、真正な追跡点である候補点Ｑ_３を見落とすことを防いでいる。この結果、特徴点追跡装置１は、他の対比例に係る特徴点追跡装置よりも長時間にわたって特徴点Ｐ_１を追跡し、より多数のフレームにわたって特徴点軌道を構築している。すなわち、特徴点追跡装置１は、真正な追跡点を追跡点ではないと誤って認識してしまう誤認識に対して頑健な特徴点追跡を行っている。

以上、本発明の実施形態について説明したが、この実施形態は一例に過ぎず、本発明の範囲はこの実施形態に限定されるものではない。本発明は、種々の形態で実施可能であり、あらゆる実施形態が本発明の範囲に含まれる。

上記の実施形態において、特徴点追跡装置１は、動画を外部装置から予め取得し、記憶していた。しかし、これは一例に過ぎず、特徴点追跡装置１は、動画を任意の方法で取得することができる。例えば、特徴点追跡装置１は、撮像部（図示せず）を備え、この撮像部で被写体を撮像することにより自ら動画を生成してもよい。

上記の実施形態において、第１条件は、特徴点Ｐｎの追跡点であるための必要条件であり、第２条件は、特徴点であるための十分条件であった。しかし、これは一例に過ぎない。ユーザは、入力部３０を介し、真正な追跡点の識別に有効な、互いに異なる２つの任意の条件を、第１条件及び第２条件としてそれぞれ設定できる。

上記の実施形態において、指定部１１０は、第ｎフレームの次のフレームの画像を、請求項中の「他の画像」に相当する第ｓフレームの画像として指定した。また、指定部１１０は、第ｓフレームの次の画像を、請求項中の「さらに他の画像」に相当する第ｔフレームの画像として指定した。しかし、これは一例に過ぎない。指定部１１０は、第ｎフレームの画像よりも撮像時刻の新しい任意の画像を第ｓフレームの画像として指定できる。また、指定部１１０は、第ｎフレーム及び第ｓフレームの画像の何れよりも撮像時刻の新しい任意の画像を第ｔフレームの画像として指定できる。

上記の実施形態において、特徴点追跡装置１は、候補点Ｑｔが第１条件及び第２条件を満たすか否かに応じて、候補点Ｑｔとは異なる１つの候補点、すなわち候補点Ｑｓを特徴点Ｐｎの追跡点として採用するか否かを決定した。しかし、これは一例に過ぎない。特徴点追跡装置１は、候補点Ｑｔが第１条件及び第２条件を満たすか否かに応じて、第ｎフレームの画像よりも撮像時刻が新しく、かつ、第ｔフレームの画像よりも撮像時刻が古い任意の数の画像における特徴点Ｐｎの追跡点の候補である点について、特徴点Ｐｎの追跡点として採用するか否かを決定できる。

具体的に、特徴点追跡装置１は、次のような態様により、候補点Ｑｔが第１条件及び第２条件を満たすか否かに応じて、第ｎフレームの画像よりも撮像時刻が新しく、かつ、第ｔフレームの画像よりも撮像時刻が古い任意の数の画像における特徴点Ｐｎの追跡点の候補である点について、特徴点Ｐｎの追跡点として採用するか否かを決定すればよい。まず、追跡部１２０が、請求項中の「一の画像」に相当する第ｎフレームの画像よりも撮像時刻が新しく、かつ、請求項中の「さらに他の画像」に相当する第ｔフレームの画像よりも撮像時刻が古い少なくとも１つ以上の画像それぞれにおける特徴点Ｐｎの追跡点の候補である少なくとも１つ以上の候補点の座標を算出する。次に、判定部１３０が、追跡部１２０が座標を算出した少なくとも１つ以上の候補点が、それぞれ、第１条件と第２条件とを満たすか否かを判定する。決定部１４０は、請求項中の「他の候補点」に相当する候補点Ｑｔが第１条件と第２条件とを満たすと判定部１３０が判定した場合、追跡部１２０が座標を算出した少なくとも１つ以上の候補点のうち、第１条件を満たすものの第２条件を満たさないと判定部１３０が判定した候補点を、特徴点Ｐｎの追跡点として採用すると決定する。決定部１４０は、候補点Ｑｔが第１条件と第２条件とのうち少なくとも何れか一方を満たさないと判定部１３０が判定した場合、追跡部１２０が座標を算出した少なくとも１つ以上の候補点のうち、第１条件を満たすものの第２条件を満たさない判定部１３０が判定した候補点を、特徴点Ｐｎの追跡点として採用しないと決定する。なお、決定部１４０が少なくとも１つ以上の候補点を特徴点Ｐｎの追跡点として採用すると決定した場合には、構築部１５０が、これらの候補点を特徴点軌道の構成点として取得することとしてもよい。

上記の実施形態において、指定部１１０は、動画を構成する複数の画像のうち、第ｎフレームの画像よりも撮像時刻が新しいフレームの画像を指定したが、第ｎフレームの画像よりも撮像時刻が古いフレームの画像を指定して、特徴点を追跡してもよい。

本発明に係る特徴点追跡装置は、カメラやコンピュータ、スマートフォン、ＰＤＡ（Personal Digital Assistance）等の任意の電子機器によって実現できる。具体的には、これらの電子機器を本発明に係る特徴点追跡装置として動作させるためのプログラムを、これらの電子機器が読み取り可能な記録媒体（例えば、メモリカードやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read-Only Memory）等）に格納して配布し、これらの電子機器にインストールすることにより本発明に係る特徴点追跡装置を実現できる。

あるいは、上記プログラムを、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置（例えば、ディスク装置等）に格納しておき、カメラやコンピュータ、スマートフォン、ＰＤＡ等の電子機器がこのプログラムをダウンロードすることによって本発明に係る特徴点追跡装置を実現してもよい。

また、本発明に係る特徴点追跡装置の機能を、ＯＳ（Operating System）とアプリケーションプログラムとの協働又は分担により実現する場合には、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、アプリケーションプログラムを搬送波に重畳し、通信ネットワークを介して配信してもよい。例えば、通信ネットワーク上の掲示板（BBS：Bulletin Board System）にアプリケーションプログラムを掲示し、ネットワークを介してアプリケーションプログラムを配信してもよい。そして、このアプリケーションプログラムをコンピュータにインストールして起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、本発明に係る特徴点追跡装置を実現してもよい。

以上、本発明の好ましい実施の形態について説明したが、本発明は係る特定の実施の形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。

（付記１）
連続する複数の画像のうち一の画像から特徴点を抽出する抽出手段と、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段と、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を算出する追跡手段と、
前記候補点が、第１条件と、前記第１条件とは異なる第２条件と、を満たすか否かを判定する判定手段と、
前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段と、
前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段と、を備えることを特徴とする特徴点追跡装置。

（付記２）
前記決定手段は、前記候補点が前記第１条件及び前記第２条件を満たすと前記判定手段が判定した場合、前記候補点を前記特徴点の追跡点として採用すると決定することを特徴とする付記１に記載の特徴点追跡装置。

（付記３）
前記決定手段は、前記候補点が前記第１条件を満たさないと前記判定手段が判定した場合、前記候補点を前記特徴点の追跡点として採用しないと決定することを特徴とする付記１又は２に記載の特徴点追跡装置。

（付記４）
前記追跡手段は、前記候補点が前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した場合、前記一の画像と前記他の画像との何れよりも撮像時刻の新しい、又は古いさらに他の画像における前記特徴点の追跡点の候補である他の候補点の座標を算出し、
前記判定手段は、前記他の候補点が前記第１条件と前記第２条件とを満たすか否かを判定し、
前記決定手段は、前記判定手段による判定の結果に基づいて、前記他の候補点を前記特徴点の追跡点として採用するか否かを決定し、
前記構築手段は、前記決定手段が前記他の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記他の候補点を前記特徴点軌道の構成点として取得することを特徴とする付記１乃至３の何れか一つに記載の特徴点追跡装置。

（付記５）
前記決定手段は、前記他の候補点が前記第１条件と前記第２条件とを満たすと前記判定手段が判定した場合、前記他の候補点と、前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した前記候補点と、を前記特徴点の追跡点として採用すると決定することを特徴とする付記４に記載の特徴点追跡装置。

（付記６）
前記決定手段は、前記他の候補点が前記第１条件と前記第２条件とのうち少なくとも何れか一方を満たさないと前記判定手段が判定した場合、前記他の候補点と、前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した前記候補点と、を前記特徴点の追跡点として採用しないと決定することを特徴とする付記４又は５に記載の特徴点追跡装置。

（付記７）
前記追跡手段は、前記一の画像よりも撮像時刻が新しく、かつ、前記さらに他の画像よりも撮像時刻が古い少なくとも１つ以上の画像それぞれにおける前記特徴点の追跡点の候補である少なくとも１つ以上の候補点の座標を算出し、
前記判定手段は、前記少なくとも１つ以上の候補点が、それぞれ、前記第１条件と前記第２条件とを満たすか否かを判定し、
前記決定手段は、
前記他の候補点が前記第１条件と前記第２条件とを満たすと前記判定手段が判定した場合、前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した前記少なくとも１つ以上の候補点を、前記特徴点の追跡点として採用すると決定し、
前記他の候補点が前記第１条件と前記第２条件とのうち少なくとも何れか一方を満たさないと前記判定手段が判定した場合、前記第１条件を満たすものの前記第２条件を満たさない前記判定手段が判定した前記少なくとも１つ以上の候補点を、前記特徴点の追跡点として採用しないと決定し、
前記構築手段は、前記少なくとも１つ以上の候補点を、前記決定手段が前記少なくとも１つ以上の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記特徴点軌道の構成点として取得することを特徴とする付記４乃至６の何れか一つに記載の特徴点追跡装置。

（付記８）
前記他の画像は、前記一の画像の次に撮像時刻が新しい、又は古い画像であり、
前記さらに他の画像は、前記他の画像の次に撮像時刻が新しい、又は古い画像であることを特徴とする付記４乃至６の何れか一つに記載の特徴点追跡装置。

（付記９）
前記第１条件は、前記特徴点の追跡点であるための必要条件であり、
前記第２条件は、特徴点であるための十分条件であることを特徴とする付記１乃至８の何れか一つに記載の特徴点追跡装置。

（付記１０）
連続する複数の画像のうち一の画像から特徴点を抽出する抽出ステップと、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定ステップと、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を算出する追跡ステップと、
前記候補点が、第１条件と、前記第１条件とは異なる第２条件と、を満たすか否かを判定する判定ステップと、
前記判定ステップにおける判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定ステップと、
前記決定ステップにおいて前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定ステップにおいて指定する画像を変えて、前記追跡ステップ、前記判定ステップ及び前記決定ステップの処理を繰り返すことにより、前記特徴点軌道を構築する構築ステップと、を含むことを特徴とする特徴点追跡方法。

（付記１１）
コンピュータを、
連続する複数の画像のうち一の画像から特徴点を抽出する抽出手段、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を算出する追跡手段、
前記候補点が、第１条件と、前記第１条件とは異なる第２条件と、を満たすか否かを判定する判定手段、
前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段、
前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段、として機能させることを特徴とするプログラム。

１…特徴点追跡装置、１０…ＣＰＵ、２０…記憶部、３０…入力部、４０…出力部、５０…外部インタフェース、１００…抽出部、１１０…指定部、１２０…追跡部、１３０…判定部、１４０…決定部、１５０…構築部、Ｐｎ，Ｐ_１…特徴点、Ｑｔ，Ｑｓ，Ｑ_２〜Ｑ_５…候補点

Claims (11)

1. 連続する複数の画像のうち一の画像から特徴点を抽出する抽出手段と、
   前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段と、
   前記他の画像における前記特徴点の追跡点の候補である候補点の座標を算出する追跡手段と、
   前記候補点が、第１条件と、前記第１条件とは異なる第２条件と、を満たすか否かを判定する判定手段と、
   前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段と、
   前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段と、を備えることを特徴とする特徴点追跡装置。
2. 前記決定手段は、前記候補点が前記第１条件及び前記第２条件を満たすと前記判定手段が判定した場合、前記候補点を前記特徴点の追跡点として採用すると決定することを特徴とする請求項１に記載の特徴点追跡装置。
3. 前記決定手段は、前記候補点が前記第１条件を満たさないと前記判定手段が判定した場合、前記候補点を前記特徴点の追跡点として採用しないと決定することを特徴とする請求項１又は２に記載の特徴点追跡装置。
4. 前記追跡手段は、前記候補点が前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した場合、前記一の画像と前記他の画像との何れよりも撮像時刻の新しい、又は古いさらに他の画像における前記特徴点の追跡点の候補である他の候補点の座標を算出し、
   前記判定手段は、前記他の候補点が前記第１条件と前記第２条件とを満たすか否かを判定し、
   前記決定手段は、前記判定手段による判定の結果に基づいて、前記他の候補点を前記特徴点の追跡点として採用するか否かを決定し、
   前記構築手段は、前記決定手段が前記他の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記他の候補点を前記特徴点軌道の構成点として取得することを特徴とする請求項１乃至３の何れか一項に記載の特徴点追跡装置。
5. 前記決定手段は、前記他の候補点が前記第１条件と前記第２条件とを満たすと前記判定手段が判定した場合、前記他の候補点と、前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した前記候補点と、を前記特徴点の追跡点として採用すると決定することを特徴とする請求項４に記載の特徴点追跡装置。
6. 前記決定手段は、前記他の候補点が前記第１条件と前記第２条件とのうち少なくとも何れか一方を満たさないと前記判定手段が判定した場合、前記他の候補点と、前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した前記候補点と、を前記特徴点の追跡点として採用しないと決定することを特徴とする請求項４又は５に記載の特徴点追跡装置。
7. 前記追跡手段は、前記一の画像よりも撮像時刻が新しく、かつ、前記さらに他の画像よりも撮像時刻が古い少なくとも１つ以上の画像それぞれにおける前記特徴点の追跡点の候補である少なくとも１つ以上の候補点の座標を算出し、
   前記判定手段は、前記少なくとも１つ以上の候補点が、それぞれ、前記第１条件と前記第２条件とを満たすか否かを判定し、
   前記決定手段は、
   前記他の候補点が前記第１条件と前記第２条件とを満たすと前記判定手段が判定した場合、前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した前記少なくとも１つ以上の候補点を、前記特徴点の追跡点として採用すると決定し、
   前記他の候補点が前記第１条件と前記第２条件とのうち少なくとも何れか一方を満たさないと前記判定手段が判定した場合、前記第１条件を満たすものの前記第２条件を満たさない前記判定手段が判定した前記少なくとも１つ以上の候補点を、前記特徴点の追跡点として採用しないと決定し、
   前記構築手段は、前記少なくとも１つ以上の候補点を、前記決定手段が前記少なくとも１つ以上の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記特徴点軌道の構成点として取得することを特徴とする請求項４乃至６の何れか一項に記載の特徴点追跡装置。
8. 前記他の画像は、前記一の画像の次に撮像時刻が新しい、又は古い画像であり、
   前記さらに他の画像は、前記他の画像の次に撮像時刻が新しい、又は古い画像であることを特徴とする請求項４乃至６の何れか一項に記載の特徴点追跡装置。
9. 前記第１条件は、前記特徴点の追跡点であるための必要条件であり、
   前記第２条件は、特徴点であるための十分条件であることを特徴とする請求項１乃至８の何れか一項に記載の特徴点追跡装置。
10. 連続する複数の画像のうち一の画像から特徴点を抽出する抽出ステップと、
    前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定ステップと、
    前記他の画像における前記特徴点の追跡点の候補である候補点の座標を算出する追跡ステップと、
    前記候補点が、第１条件と、前記第１条件とは異なる第２条件と、を満たすか否かを判定する判定ステップと、
    前記判定ステップにおける判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定ステップと、
    前記決定ステップにおいて前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定ステップにおいて指定する画像を変えて、前記追跡ステップ、前記判定ステップ及び前記決定ステップの処理を繰り返すことにより、前記特徴点軌道を構築する構築ステップと、を含むことを特徴とする特徴点追跡方法。
11. コンピュータを、
    連続する複数の画像のうち一の画像から特徴点を抽出する抽出手段、
    前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段、
    前記他の画像における前記特徴点の追跡点の候補である候補点の座標を算出する追跡手段、
    前記候補点が、第１条件と、前記第１条件とは異なる第２条件と、を満たすか否かを判定する判定手段、
    前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段、
    前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段、として機能させることを特徴とするプログラム。