JP2003115052A

JP2003115052A - 画像処理方法及び画像処理装置

Info

Publication number: JP2003115052A
Application number: JP2001310956A
Authority: JP
Inventors: Naoyuki Ichimura; 直幸市村
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2001-10-09
Filing date: 2001-10-09
Publication date: 2003-04-18

Abstract

(57)【要約】【課題】特徴点の追加や削除を前提として構成された汎
用性の高い、さらに、計算効率も高い、画像処理方法お
よび装置を提供することである。【解決手段】時系列画像内に含まれる物体の特徴点を追
跡する画像処理方法において、時系列画像のフレーム毎
に特徴点抽出を行い、その結果の特徴点位置に基づいて
対応点を求めるためのマッチング処理を行うこと。

Description

【発明の詳細な説明】【産業上の利用分野】

【０００１】本発明は、画像処理技術に関し、詳しくは
時系列画像に含まれる特徴点の追跡手段に特徴を有する
画像処理方法および画像処理装置に関する。

【従来の技術】

【０００２】時系列画像からのパノラマ画像の合成や撮
影対象物体の３次元構造の復元、また、時系列画像に仮
想３元物体を実際の物体の動きに合わせてスーパーイン
ポーズするなどの処理を行う際、時系列画像を撮影した
カメラの３次元運動を計算する必要がある。その３次元
運動の計算には、撮影対象物体上の特徴点を追跡し、そ
の軌跡を得る必要がある。従来の特徴点の追跡方法の基
本は、最初のフレーム（初期フレーム）で特徴点を抽出
し、次のフレームでは前フレームの特徴点の位置の近傍
領域内（探索領域内）でマッチング処理を行い対応点を
見つけることである。これを各フレームで繰り返すこと
によって、初期フレームで抽出された特徴点の時系列画
像内での追跡が行われる。マッチング処理では、前フレ
ームでの特徴点の位置を中心とした正方もしくは長方領
域の画像データを切り出すことによってテンプレートを
構成し、そのテンプレートと探索領域内の画像データと
の類似性を計算することが行われる。

【０００３】従来の特徴点追跡方法は、マッチング処理
におけるテンプレートと探索領域内の画像データとの類
似性に相関を用いた方法（L.P.Lewis：“Fast Template
Matching,”Vision Interface, pp.120-123,1995; Q.
Zhang and R. Chellappa：“Automatic feature point
extraction and tracking in image sequences for arb
itrary camera motion,”International Journal of Co
mputer Vision, Vol.15, pp.31-76, 1995; 村松、大
塚、小林、清水：“テンプレートマッチングの高速化戦
略とＧＡによる最適化”、電子情報通信学会論文誌、Ｄ
−ＩＩ、Ｖｏｌ。Ｊ８３−Ｄ−ＩＩ、Ｎｏ．６、
ｐｐ．１４８７−１４９７、２０００）、テンプレー
トと画像データの差の絶対値の和（ＳＳＤ）を用いた方
法（例えば、N.P.Papanikolopoulos, P.K. Khosla and
T. Kanade：“Visual tracking ofa moving target by
a camara mounted on a robot: A combination of cont
roland vision,”IEEE Trans. Robotics and Automatio
n, Vol.9, No.1, pp.14-35, 1993; B.D. Lucas and T.
Kanade：“An iterative image registration techniqu
e with an application to stereo vision,” Proc. 7t
h International Joint Conference on Artificial In
telligence, pp.674-679, 1981）、ＳＳＤを用いた方法
に視点位置の変更に伴う物体の見え方の変化に関する考
慮を加えた方法（例えば、J.Shi and C. Tomasi:“Good
feature to track,”Proc. IEEE International Confe
rence on Compuber Vision and Pattern Recognition,
pp.593-600, 1994: T. Tommasini, A. Fusiello, E. Tr
ucco and V. Roverto:“Makinggood features track be
tter,” Proc. IEEE International Conference on Co
mputer Vision and Pattern Recognition, pp.178-183,
1998）などがある。

【０００４】しかし、これらの方法では、特徴点抽出は
初期フレームのみで行われ、そこで見えていた特徴点の
みが後のフレームにおける追跡対象として取り扱われて
いた。つまり、視点が移動することによって新たに視野
内に現れる物体の特徴点を追跡対象とする処理が前提と
して考慮されていないかった。しかし、実際に家庭用ビ
デオカメラ等で時系列画像を撮影するという通常に行わ
れている行動を考えても、視点の移動に伴って見える物
体が入れ替わることは頻繁に生じる。このことから、特
徴点の追加や削除を前提として構成された特徴点の追跡
方法およびそのための装置が求められていた。

【発明が解決しようとする課題】

【０００５】しかしながら、従来、特徴点の追加や削除
を前提として構成された汎用性の高い特徴点の追跡方法
およびそのための装置は具体的に提案されていなかっ
た。その大きな要因は、初期フレームのみで画像全体で
の処理を必要とする特徴点抽出を行い、その後のフレー
ムでは特徴点の近傍領域のみで処理を行う、という従来
の方法が他の方法に比べその計算効率が高いと考えられ
てきたことである。つまり、全てのフレームで特徴点抽
出を行うと計算効率が悪化すると考えられてきたためで
ある。本発明の目的は、この点に鑑みてなされたもの
で、特徴点の追加や削除を前提として構成された汎用性
の高い、さらに、計算効率も高い、画像処理方法および
画像処理装置を提供することである。

【課題を解決するための手段】

【０００６】本発明は上記課題を達成するために以下の
解決手段を採用する。（１）時系列画像内に含まれる物体の特徴点を追跡する
画像処理方法において、時系列画像のフレーム毎に特徴
点抽出を行い、その結果の特徴点位置に基づいて対応点
を求めるためのマッチング処理を行うことを特徴とす
る。（２）上記（１）記載の画像処理方法において、時系列
画像のフレーム毎に特徴点抽出を行い、その結果の特徴
点位置に基づいて対応点を求めるためのマッチング処理
を行った結果に基づき、現フレームにおける特徴点の中
で前フレームにおける特徴点との対応が得られなかった
特徴点を、新たにシーンに現れた特徴点として追跡対象
に加えることを特徴とする。（３）上記（１）記載の画像処理方法において、時系列
画像のフレーム毎に特徴点抽出を行い、その結果の特徴
点位置に基づいて対応点を求めるためのマッチング処理
を行った結果に基づき、前フレームにおける特徴点の中
で現フレームにおける特徴点との対応が得られなかった
特徴点を削除することを特徴とする。

【０００７】（４）上記（１）記載の画像処理方法にお
いて、時系列画像のフレーム毎に特徴点抽出を行い、そ
の結果の特徴点位置に基づいて対応点を求めるためのマ
ッチング処理を行う際、マッチングの評価値の比較によ
って一対一対応を得ることを特徴とする。（５）画像処理装置において、時系列画像のフレーム毎
に特徴点抽出を行い、その結果の特徴点位置に基づいて
対応点を求めるためのマッチング処理を行う手段を備え
たことを特徴とする。（６）上記（５）記載の画像処理装置において、時系列
画像のフレーム毎に特徴点抽出を行い、その結果の特徴
点位置に基づいて対応点を求めるためのマッチング処理
を行った結果に基づき、現フレームにおける特徴点の中
で前フレームにおける特徴点との対応が得られなかった
特徴点を、新たにシーンに現れた特徴点として追跡対象
に加える手段を備えたことを特徴とする。

【０００８】（７）上記（５）記載の画像処理装置にお
いて、時系列画像のフレーム毎に特徴点抽出を行い、そ
の結果の特徴点位置に基づいて対応点を求めるためのマ
ッチング処理を行った結果に基づき、前フレームにおけ
る特徴点の中で現フレームにおける特徴点との対応が得
られなかった特徴点を削除する手段を備えたことを特徴
とする。（８）上記（５）記載の画像処理装置において、時系列
画像のフレーム毎に特徴点抽出を行い、その結果の特徴
点位置に基づいて対応点を求めるためのマッチング処理
を行う際、マッチングの評価値の比較によって一対一対
応を得る手段を備えたことを特徴とする。（９）画像処理装置において、時系列画像内に含まれる
物体の特徴点を追跡する画像処理装置において、入力さ
れた時系列画像の各フレームにおいて物体の特徴点を抽
出する特徴点抽出部と、現フレームと前フレームにおい
て抽出された特徴点間での近傍領域探索に基づき対応候
補を求める対応候補抽出部と、前記抽出した対応候補か
ら一対一対応を得るために対応候補を選ぶ対応候補選択
部と、前フレームにおける特徴点の中で現フレームにお
ける特徴点との対応が得られなかった特徴点を削除する
特徴点削除部と、現フレームにおける特徴点の中で前フ
レームにおける特徴点と対応が付かなかった特徴点を新
たに追跡対象として加える特徴点追加部と、特徴点抽出
結果を出力する出力部と、から成ることを特徴とする。

【０００９】

【発明の実施の形態】以下、時系列画像上の複数の特徴
点を追跡する場合を例にとり、本発明の一実施の形態を
図面に従い説明する。上記の課題を解決するため、本発
明は、時系列画像内の特徴点を追跡する画像処理方法及
び処理装置において、時系列画像のフレーム毎に特徴点
抽出を行い、その結果の特徴点位置に基づいて対応点を
求めるためのマッチング処理を行い、さらにそのマッチ
ング処理の結果に基づいて現フレームにおける特徴点の
中で前フレームにおける特徴点との対応が得られなかっ
た特徴点を新たにシーンに現れた特徴点として追跡対象
に加えること、および、前フレームにおける特徴点の中
で現フレームにおける特徴点との対応が得られなかった
特徴点を削除することを特徴とする。

【００１０】また、本発明は、時系列画像内の特徴点を
追跡する画像処理方法及び装置において、各フレーム毎
に特徴点を抽出し探索領域内での対応候補を絞ることに
より、特徴点数の増加に対する特徴点の追跡の計算時間
の増加を従来方法に比べて極めて少なくすることを特徴
とする。また、本発明は、時系列画像内の特徴点を追跡
する画像処理方法及び装置において、入力された時系列
画像において各フレームでの物体の特徴点を抽出する特
徴点抽出部と、現フレームと前フレームにおいて抽出さ
れた特徴点間での近傍領域探索に基づき対応候補を求め
る対応候補抽出部と、前記抽出した対応候補から一対一
対応を得るために対応候補を選ぶ対応候補選択部と、前
フレームにおける特徴点の中で現フレームにおける特徴
点との対応が得られなかった特徴点を削除する特徴点削
除部と、現フレームにおける特徴点の中で前フレームに
おける特徴点と対応が付かなかった特徴点を新たに追跡
対象として加える特徴点追加部と、特徴点抽出結果を出
力する出力部とを備えることを特徴とする。

【００１１】本発明によれば、各フレーム毎に特徴点抽
出を行うため、視点の移動に伴って視野内に入ってきた
物体の特徴点を自然に新たな追跡対象として加えること
が可能になると共に、特徴点数の増加に対する計算時間
の増加を従来方法に比べて極めて少なくできる。これら
は実用上、重要な性質である。図１は、本発明に係る特
徴点追跡の一実施の形態の概略構成を示すブロック図で
ある。１は画像の入力部、２は入力された画像を処理し
追跡に用いる特徴点を抽出する特徴点抽出部、３は２で
抽出された特徴点の対応候補を抽出する対応候補抽出
部、４は対応候補の中から対応点を選択し一対一対応を
得る対応候補選択部、５は前フレームの特徴点の中で現
フレームの特徴点との対応が得られなかった特徴点を削
除する特徴点削除部、６は現フレームの特徴点の中で前
フレームの特徴点との対応点が得られなかった特徴点を
新たに追跡対象として加える特徴点追加部、７は追跡結
果である各特徴点の現フレームでの座標値の出力部であ
り、以下それぞれの構成を具体的に説明する。

【００１２】入力部１は、処理対象となる時系列画像の
入力装置、または、すでに取得された時系列画像の蓄積
装置である。特徴点抽出部２では、入力された画像にお
いて物体のコーナーなどに対応する特徴点を抽出する。
特徴点の抽出の仕方は設計的に行う、例えば、画素単
位、ブロック単位、任意形状単位等任意に設定した領域
毎に、隣接画素、隣接ブロック、および隣接の任意形状
と比較し、またはフレーム平均画素値等比較し、所定濃
度、鮮鋭度等の閾値により行う。

【００１３】特徴点抽出の例を図２を用いて示す。図２
は本発明の一実施の形態における特徴点抽出結果の一例
を示す図である。図２（ａ）は、正方形が書かれている
物体を示す図であり、図２（ｂ）は図２（ａ）の画像か
ら特徴点を抽出した結果を示す図である。図２（ｂ）に
おいて小さな四角形が特徴点の位置を表している。この
ようにして抽出された特徴点の各フレームでの位置を得
ることが特徴点の追跡の目的である。対応候補抽出部３
では、前フレームで抽出された特徴点に対する対応候補
を現フレームで抽出する。その対応候補抽出の例を図３
を用いて示す。図３は本発明の一実施の形態における対
応候補抽出処理の一例を示す図である。図３（ａ）は本
発明の実施の形態を示す図であり、図３（ｂ）は従来例
を示す図である。現フレームにおいて前フレ─ムの特徴
点の位置（四角印）の周りに探索領域を設定する。

【００１４】そして、その中にある現フレームの特徴点
（丸印）を前フレームの特徴点の対応候補と考える（図
３（ａ））。従来の方法では、特徴点は初期フレームで
しか抽出されていなかったため、前フレ─ムの特徴点の
位置の周りの探索領域内の全ての画素の位置が対応候補
となる（図３（ｂ））。本発明では、全てのフレームに
対して特徴点抽出を行う必要はあるが、そのために従来
の方法に比べて探索領域内の対応候補数が減少するのが
利点となる。対応候補選択部４では、対応候補抽出部３
で得られた対応候補の中から一つを選び、一対一対応が
得られるようにする。図４は本発明の一実施の形態にお
ける対応候補抽出処理の一例を示す図である。図４
（ａ）は処理の概念を説明する図であり、図４（ｂ）は
処理手順を説明する図である。その対応候補選択の例を
図４を用いて示す。図４（ａ）では、前フレームでの特
徴点Ａに対して現フレームでの特徴点Ａ’とＢ’が候補
であり、また、前フレームでの特徴点Ｂに対しては現フ
レームでの特徴点Ｂ’とＣ’が候補である。これらの候
補から一つを選択し、一対一対応を得る。その選択の基
準として、画像データのマッチング処理を行う。

【００１５】つまり、前フレームから前フレームでの特
徴点の位置を中心とした正方もしくは長方領域の画像デ
ータを切り出し、また、現フレームから現フレームでの
候補特徴点の位置を中心として同様に画像データを切り
出す（図４（ｂ））。そして、それぞれの切り出された
画像データの類似性を計算し（マッチング処理を行
い）、現フレームの候補の中で前フレームの画像データ
と最も似ているものを選び、候補を選択する。図４
（ｂ）は、前フレームでの特徴点Ａと、その対応候補で
ある現フレームでの特徴点Ａ’ とＢ’の間のマッチン
グの様子を表している。図中の点線の四角が切り出され
た画像データであり、これらの間の類似度は、例えば、
正規化相関や画像データの差の絶対値の和で求められ
る。従来の方法では、前フレ─ムの特徴点の位置の周り
の探索領域内の全ての画素の位置が対応候補となるため
（図３（ｂ））、その全ての点に対しこのマッチング処
理を行う。図４（ａ）の前フレームでの特徴点Ｂに対し
ても図４（ｂ）と同様の処理を対応候補Ｂ’とＣ’に対
して行い、対応候補を選択する。この際、場合によって
はＡとＢ’が対応し、かつ、ＢとＢ’が対応するとい
う多対一の状況にもなり得る。

【００１６】このような場合は、ＡとＢ’の間の類似度
とＢとＢ’の間の類似度を比較し、より類似性が高い方
の対応を優先する。例えば図４（ａ）でＡとＢ’がＢ
とＢ’より類似していると判断されたとする。その場
合、Ｂは残った対応候補Ｃ’を対応点として選択する
（もしここでＣ’のように残っている対応候補が無い場
合は、Ｂは対応点を持たないものと判断し、次の特徴点
削除部で削除される）。特徴点削除部５では、前フレー
ムの特徴点の中で現フレームの特徴点との対応が得られ
なかった特徴を削除する。対応候補選択部４の説明にお
いて図４（ａ）を例として、ＡとＢ’が対応し、かつ、
ＢとＢ’が対応するという多対一の状況にもなり得るこ
とを述べた。この場合には、ＡとＢ’の間の類似度とＢ
とＢ’の間の類似度を比較し、その結果、例えば図４
（ａ）でＡとＢ’がＢとＢ’より類似していると判
断された場合には、Ｂは残った対応候補Ｃ’を対応点と
して選択するとした。しかし、もしＣ’が存在せずＢ’
のみがＢの対応候補であった場合には、Ｂ’がＡの対応
点として選択されるとＢの対応候補なくなる。この場合
には、Ｂに対応する特徴点は現フレームではないものと
判断する。このような状況は、例えば、視点の移動に伴
って今まで視野内にあった物体が視野外に出た場合など
に生じる。このように現フレームの中には対応する特徴
点がないと判断された前フレームの特徴点を、特徴点削
除部で追跡対象から削除する。

【００１７】特徴点追加部６では、現フレームの特徴点
の中で前フレームの特徴点との対応点が得られなかった
特徴を新たに追跡対象として加える。再び図４（ａ）を
例として、処理を説明する。ここで、前フレームでの特
徴点Ａに対し現フレームでの特徴点Ｂ’が、また、前フ
レームでの特徴点Ｂに対し現フレームでの特徴点Ｃ’
が、対応点として選択されたとする。この場合、現フレ
ームでの特徴点Ａ’とＤ’は前フレームの特徴点とは対
応つかない。このような状況は、例えば、視点の移動に
伴って今まで視野外にあった物体が視野内に現れた場合
などに生じる。このように、前フレームの特徴点の対応
点として選択されなかった現フレームの特徴点を、特徴
点追加部で追跡対象として追加し、以後のフレームで追
跡を行う。出力部７では、現フレームでの特徴点の位置
を追跡結果として出力する。この結果各フレームでの特
徴点の位置が得られ、それらを用いることによって、時
系列画像を撮影した時のカメラの３次元運動を計算する
ことが出来る。そして、その３次元運動より、時系列画
像からのパノラマ画像の合成や、写っている物体の３次
元形状の復元等の処理が実現できる。

【００１８】次に上記に示した本発明の手順と従来の方
法とでの計算効率の比較を行う。計算効率を比較する上
で重要な本発明と従来の方法との差は、次の２点であ
る。（１）本発明では全てのフレームで特徴点抽出処理を行
うのに対し、従来の方法では最初のフレーム（初期フレ
ーム）でのみ特徴点抽出を行うこと、（２）本発明で
は特徴点抽出の結果に基づいて対応候補抽出部３で対応
候補を抽出するのに対し、従来の方法では特徴点抽出を
全てのフレームで行わないため、図３（ｂ）にあるよう
に探索領域内の全ての画素の位置が対応候補となる。特
徴点抽出は画像全体に対して処理を行う必要があるため
処理量が多く、そのために従来の方法ではそれを初期フ
レームのみで行っていた。そして、さらに処理量を押さ
えるために、その後の処理でも特徴点の近傍の探索領域
内のみに対応点候補を絞ってマッチング処理を行い対応
点を求めてきた。一方本発明では、処理量の多い特徴点
抽出を初期フレームだけでなく全てのフレームで行う
が、その分、対応点候補数を従来の方法に比べ少なく出
来る。つまり、マッチング処理に関しては従来の方法よ
りも計算量が少なくてすむ。

【００１９】ここで問題となるのは、探索領域内の位置
全てを対応候補とする従来の方法に比べ、本発明がどの
くらい対応候補を減らすことができるかということであ
る。これに関しては、画像内での特徴点の分布に対する
統計的な解析が必要となる。以下、それについて述べ
る。以下において、Ｐは特徴点数、Ｓｉは画像の面積
（画像全画素数）、Ｓｓは探索領域の面積（探索領域の
全画素数）である。図５は本発明の一実施の形態におけ
る探索領域内に存在する対応候補数の統計的解析の説明
のための図である。まず、Ｐ個の特徴点が画像内にラン
ダムに（一様に）存在すると仮定する。そして、図５の
ようにＰ個の特徴点のうち１つに注目し、その対応候補
の探索領域を考える。この状況で、注目している特徴点
以外のＰ−１個の特徴点のうち、探索領域内に存在する
特徴点の数ｘの確率分布を考える。Ｐ−１個の特徴点の
１個１個が探索領域の面積Ｓｓの中に存在する確率をｐ
とする。ｐは画像の面積ＳｉとＳｓの比、つまりｐ＝Ｓ
ｉ／Ｓｓとして与えられる。例えば、探索領域の面積が
画像の面積の半分であれば、１個１個の特徴点は５０％
の確率で探索領域内に存在する。

【００２０】ここで、ｘ個の特徴点が同時に探索領域内
に存在する確率分布を考える。ｘ個が探索領域内に、残
りの（Ｐ−１）−ｘ個が探索領域外に存在し、探索領域
内に入るｘ個がＰ−１個の中から選ばれる組合わせ数を
Ｃ（Ｐ−１、ｘ）とすると、求める確率分布はＣ（Ｐ−１、ｘ）ｐ＾ｘ（１−ｐ）＾（Ｐ−１−ｘ）となる。ここで、Ｃ（Ｐ−１、ｘ）はＰ−１個からｘを
取り出す組合わせ数を、ｐ＾ｘはｐのｘ乗を、（１−
ｐ）＾（Ｐ−１−ｘ）は（１−ｐ）の（Ｐ−１−ｘ）乗
を表す。上式は２項分布を表す。よって、探索領域内の
特徴点数ｘは２項分布Ｂ（Ｐ−１、ｐ）に従う。よっ
て、本発明において、探索領域内に平均どのくらいの数
の対応候補が生じるかは、この２項分布の平均を用いて
推定できる。２項分布Ｂ（Ｐ−１、ｐ）の平均は、（Ｐ
−１）ｐで与えられる。よって、探索領域内の対応候補
の数は平均（Ｐ−１）ｐ個となる。例えば、Ｐ＝１０
０、画像の大きさを縦２４０ピクセル、横３２０ピクセ
ル、探索領域の大きさを縦２１ピクセル、横２１ピクセ
ルとする。この場合、Ｓｉ＝２４０ｘ３２０＝７６８０
０、Ｓｓ＝４４１となり、ｐ＝４４１／７６８００＝
０．００５７４。よって、対応候補数は平均９９＊０．
００５７４＝０．５６８個となる。

【００２１】つまり対応候補数は平均１個にも満たな
い。つまり、注目している特徴点以外の特徴点が探索領
域内に現れる確率は極めて低いのである。探索領域内の
画素位置が全てが対応候補となる従来の方法では、対応
候補数がＳｓ＝４４１個となるので、これに比較すると
本発明では候補数を極めて少なくできる。よって、本発
明を用いると、全てのフレームでの特徴点抽出は必要に
なるものの、各特徴点に対する対応候補の数は従来の方
法に比べ極めて少なくできる。より具体的に計算時間の
見積りも行う。上記の解析により、本発明で対応候補か
ら対応点を選択するために必要となる平均マッチング回
数は、注目している特徴点と対応候補数の平均の和とな
るので、１＋（Ｐ−１）ｐとなる。全ての特徴点を必ず
一度注目する特徴点とし、このマッチングを行うことに
よって追跡を進めることから、１フレームにおける平均
マッチング回数は上記の数のＰ倍、つまり、Ｐ｛１＋
（Ｐ−１）ｐ｝となる。

【００２２】一方、探索領域内の画素位置が全てが対応
候補となる従来の方法での１フレームにおけるマッチン
グ回数は、各探索領域の対応候補数Ｓｓを全特徴点数Ｐ
倍すればよいので、ＰＳｓとなる。１回のマッチング
（類似度の計算）に必要な計算時間をＴｍ、１フレーム
に対する特徴点抽出に必要な計算時間をＴｆとする。本
発明での１フレームにおいて対応点選択までに必要な平
均計算時間Ｔ１は、平均マッチング回数にＴｍをかけ、
さらに特徴点抽出に必要な計算時間を足すことによって
得られる。つまり、Ｔ１＝Ｐ｛１＋（Ｐ−１）ｐ｝Ｔｍ
＋Ｔｆ一方、従来の方法での１フレームにおいて対応点選択ま
でに必要な計算時間Ｔ２は、マッチング回数にＴｍをか
ければ得られる。つまり、Ｔ２＝ＰＳｓＴｍとなる。さ
て、現存するあるパーソナルコンピュータでの１回のマ
ッチング（類似度の計算）に必要な計算時間Ｔｍ、およ
び、１フレームに対する特徴点抽出に必要な計算時間Ｔ
ｆを求めると、Ｔｍ＝２７ｘ１０＾（−６）秒、Ｔｆ＝
１２５ｘ１０＾（−３）秒となった。

【００２３】そのパーソナルコンピュータで、大きさが
縦２４０ピクセル、横３２０ピクセルの画像を用い、探
索領域の大きさを縦２１ピクセル、横２１ピクセルとし
た場合に、特徴点数Ｐを１から１００まで変化させた場
合のＴ１およびＴ２を求めた結果が図６である。図６は
本発明と従来の方法の追跡に必要な計算時間をシュミレ
ートした結果の一例である。点線が本発明の平均計算時
間の特徴点数に対する推移を、実線が従来の方法におけ
る計算時間の推移を表している。この図より明らかなこ
とは、特徴点数が２０個以下と少ない場合には従来の方
法の方が計算時間が短いが、それ以上になると本発明の
方が計算時間が短くなる。これは、先に述べたように対
応候補の数が本発明の方が非常に少なくなり、マッチン
グに要する計算時間が非常に短くなるためである。さら
に注目すべき事は、従来の方法の特徴点数の変化に対す
る計算時間の増加に比べると、本発明の特徴点数の変化
に対する計算時間の増加は極めて少ないことである。

【００２４】このことは、いくつ特徴点が抽出されるか
前もって限定することが出来ない状況下での本発明の優
位性を表すものであり、よって、本発明の汎用性は従来
の方法より高いものとなる。従来の方法が本発明より優
位になる状況は、前もってある定められた少数の特徴点
のみを追跡すれば良く、新たに特徴点を加える必要も、
特徴点を削除する必要もない、という限定された状況と
言える。上記あくまで画像内に特徴点がランダムに存在
すると仮定した場合の平均的な本発明の振る舞いである
が、実際にもこれに非常に近い振る舞いを本発明はす
る。図７は実際に本発明と従来の方法の計算時間の特徴
点数に対する変化を調べた結果であるが、図６のシュミ
レーションと当然数値は違うものの、非常に良く似た振
る舞いをする（図６において、点線が本発明、実線が従
来の方法）。つまり、従来の方法の特徴点数の変化に対
する計算時間の増加に比べると、本発明の特徴点数の変
化に対する計算時間の増加は極めて少ないことは明らか
にわかる。この実験例は、上記の解析を支持すると共
に、本発明の現実における優位性を顕著に表している。
追跡の結果得られる特徴点の運動軌跡から、時系列画像
の各フレーム間でどのように特徴点が対応しているかと
いう情報が得られる。この特徴点の対応情報を用いて、
時系列画像からパノラマ画像を合成した結果を本発明の
一応用として示す。

【００２５】図８は本発明を視点の移動を伴う実際の時
系列画像に適用した結果の一例を示す図である。即ち、
図８は合成に使用した時系列画像での特徴点の追跡結果
を示している。図８（ａ）は１フレームから３０フレー
ムまでの特徴点の運動軌跡を表す図である。以下同じ
く、図８（ｂ）は３１フレームから６０フレームまで、
図８（ｃ）は６１フレームから９０フレームまで、図８
（ｄ）は９１フレームから１２０フレームまで、図８
（ｅ）は１２１フレームから１５０フレームまで、図８
（ｆ）は１５１フレームから１８０フレームまでの特徴
点の運動軌跡を表す図である。図中の白い四角はその時
点でのフレームの特徴点の位置であり、それから延びて
いる線はそれ以前の30フレームでの特徴点の運動軌跡を
表している。この結果から、追跡の過程で特徴点が視点
の移動に伴い追加されていることがわかる。図９は本発
明による特徴点の追跡結果を用いて時系列画像より作成
したパノラマ画像の一例である。図８の追跡結果を用い
て合成したパノラマ画像を図９に示す。図９では大きな
歪などなく合成が行われており、この結果は本発明の有
効性を示している。

【００２６】

【発明の効果】以上要するに、この発明では、時系列画
像のフレーム毎に特徴点抽出を行い、その結果の特徴点
位置に基づいて対応点を求めるためのマッチング処理を
行う。フレーム毎に特徴点抽出を行うことによって、視
点の移動に伴って視野内に出てきた新しい特徴点を容易
に追跡対象として追加出来ると共に、マッチング処理を
行う対象となる対応候補数を従来の方法よりも非常に少
なくできる。よって、特徴点数が少ない場合（例えば２
０個以下）を除けば、従来の方法よりも高速に追跡処理
が出来ると共に、特徴点数の増加に対する計算時間の増
加が従来の方法よりも非常に少なくできる。新しい特徴
点が容易に追加可能なこと、および、特徴点数の増加に
対する計算時間の増加が従来の方法よりも非常に少なく
できることは、本発明の汎用性の観点から非常に重要で
ある。

【図面の簡単な説明】

【図１】本発明に係る特徴点追跡の一実施の形態の概略
構成を示すブロック図である。

【図２】本発明の一実施の形態における特徴点抽出結果
の一例を示す図である。

【図３】本発明の一実施の形態における対応候補抽出処
理の一例を示す図である。

【図４】本発明の一実施の形態における対応候補抽出処
理の一例を示す図である。

【図５】本発明の一実施の形態における探索領域内に存
在する対応候補数の統計的解析の説明のための図であ
る。

【図６】本発明と従来の方法の追跡に必要な計算時間を
シュミレートした結果の一例である。

【図７】本発明と従来の方法の追跡に必要な計算時間を
実験により求めた結果の一例である。

【図８】本発明を視点の移動を伴う実際の時系列画像に
適用した結果の一例である。

【図９】本発明による特徴点の追跡結果を用いて時系列
画像より作成したパノラマ画像の一例である。

【符号の説明】

１入力部２特徴点抽出部３対応候補抽出部４対応候補選択部５特徴点削除部６特徴点追加部７出力部

Claims

【特許請求の範囲】

【請求項１】時系列画像内に含まれる物体の特徴点を追
跡する画像処理方法において、時系列画像のフレーム毎
に特徴点抽出を行い、その結果の特徴点位置に基づいて
対応点を求めるためのマッチング処理を行うことを特徴
とする画像処理方法。
【請求項２】時系列画像のフレーム毎に特徴点抽出を行
い、その結果の特徴点位置に基づいて対応点を求めるた
めのマッチング処理を行った結果に基づき、現フレーム
における特徴点の中で前フレームにおける特徴点との対
応が得られなかった特徴点を、新たにシーンに現れた特
徴点として追跡対象に加えることを特徴とする請求項１
記載の画像処理方法。
【請求項３】時系列画像のフレーム毎に特徴点抽出を行
い、その結果の特徴点位置に基づいて対応点を求めるた
めのマッチング処理を行った結果に基づき、前フレーム
における特徴点の中で現フレームにおける特徴点との対
応が得られなかった特徴点を削除することを特徴とする
請求項１記載の画像処理方法。
【請求項４】時系列画像のフレーム毎に特徴点抽出を行
い、その結果の特徴点位置に基づいて対応点を求めるた
めのマッチング処理を行う際、マッチングの評価値の比
較によって一対一対応を得ることを特徴とする請求項１
記載の画像処理方法。
【請求項５】時系列画像のフレーム毎に特徴点抽出を行
い、その結果の特徴点位置に基づいて対応点を求めるた
めのマッチング処理を行う手段を備えたことを特徴とす
る画像処理装置。
【請求項６】時系列画像のフレーム毎に特徴点抽出を行
い、その結果の特徴点位置に基づいて対応点を求めるた
めのマッチング処理を行った結果に基づき、現フレーム
における特徴点の中で前フレームにおける特徴点との対
応が得られなかった特徴点を、新たにシーンに現れた特
徴点として追跡対象に加える手段を備えたことを特徴と
する請求項５記載の画像処理装置。
【請求項７】時系列画像のフレーム毎に特徴点抽出を行
い、その結果の特徴点位置に基づいて対応点を求めるた
めのマッチング処理を行った結果に基づき、前フレーム
における特徴点の中で現フレームにおける特徴点との対
応が得られなかった特徴点を削除する手段を備えたこと
を特徴とする請求項５記載の画像処理装置。
【請求項８】時系列画像のフレーム毎に特徴点抽出を行
い、その結果の特徴点位置に基づいて対応点を求めるた
めのマッチング処理を行う際、マッチングの評価値の比
較によって一対一対応を得る手段を備えたことを特徴と
する請求項５記載の画像処理装置。
【請求項９】時系列画像内に含まれる物体の特徴点を追
跡する画像処理装置において、入力された時系列画像の
各フレームにおいて物体の特徴点を抽出する特徴点抽出
部と、現フレームと前フレームにおいて抽出された特徴
点間での近傍領域探索に基づき対応候補を求める対応候
補抽出部と、前記抽出した対応候補から一対一対応を得
るために対応候補を選ぶ対応候補選択部と、前フレーム
における特徴点の中で現フレームにおける特徴点との対
応が得られなかった特徴点を削除する特徴点削除部と、
現フレームにおける特徴点の中で前フレームにおける特
徴点と対応が付かなかった特徴点を新たに追跡対象とし
て加える特徴点追加部と、特徴点抽出結果を出力する出
力部と、から成ることを特徴とする時系列画像内に含ま
れる物体の特徴点を追跡する画像処理装置。