JP2013218396A - 対応点探索装置、そのプログラム及びカメラパラメータ推定装置 - Google Patents

Abstract

【課題】本発明は、対応点を正確に探索できる対応点探索装置を提供する。
【解決手段】対応点探索装置１は、被写体の初期特徴点の特徴ベクトルを予め記憶するデータベースと１０と、現在画像特徴点の特徴ベクトルを記述するＳＩＦＴ特徴ベクトル記述手段１１と、ＳＩＦＴのオリエンテーション算出法により、過去画像に対する現在画像の画像回転量を算出する画像回転量算出手段１２と、画像回転量が全ての現在画像特徴点のオリエンテーションとして反映されるように、現在画像特徴点の回転特徴ベクトルを記述する回転特徴ベクトル記述手段１３と、現在画像と、過去画像と、データベース１０とを用いて、対応点探索を行う対応点探索手段１４と、対応点探索手段１４が探索した対応点のうち、正解の対応点を出力する対応点出力手段１５と、対応点を追加する対応点追加手段１６とを備える。
【選択図】図３

Description

本発明は、被写体を撮影した現在画像と、現在画像より前の過去画像との間で対応点探索を行う対応点探索装置及びそのプログラム、並びに、カメラパラメータを推定するカメラパラメータ推定装置に関する。

カメラパラメータ推定や被写体の認識、追跡等の画像処理を行う際、ＳＩＦＴ（Scale Invariant Feature Transform）等の特徴量により各画像から特徴点を検出し（非特許文献１）、画像間での対応点探索が行われている。このとき、対応点の誤対応を防ぐための従来技術が提案されている。

例えば、従来技術として、特徴点を比較する際に、各特徴点の特徴ベクトルからユークリッド距離を算出し、そのユークリッド距離に対する閾値を設定し、ユークリッド距離が閾値以上で対応点でないと評価する誤対応防止手法が知られている。
この他、従来技術として、ＲＡＮＳＡＣのように、対応点の外れ値を除外する対応点誤対応除外手法も知られている（非特許文献２）。

"Gradientベースの特徴抽出-SIFTとHOG-"、藤吉他、情報処理学会 研究報告CVIM 160、pp.211-224,2007. "Random Sample Consensus:A Paradigm for Model Fitting with Applicationsto Image Analysis and Automated Cartography",M.A Fischler and R.C.Bolles,Communications of the ACM,Vol.24,pp.381-395,1981.

しかし、前記した従来技術では、ＳＩＦＴ等で用いられるオリエンテーション（特徴点の方向）が誤差を含む場合、この誤差を補償することができない。
図８を参照して、ＳＩＦＴにおけるオリエンテーションの誤差について、説明する。
例えば、図８（ａ）に示すように、ＳＩＦＴにより、被写体９０の撮影画像から、３つの特徴点Ｋ_１，Ｋ_２，Ｋ_３が検出されたこととする。この場合、ＳＩＦＴでは、特徴点Ｋ_１，Ｋ_２，Ｋ_３のそれぞれで、オリエンテーションＯ_１，Ｏ_２，Ｏ_３を算出する。

ここで、図８（ｂ）に示すように、撮影画像で被写体９０が回転した場合、正しいオリエンテーションＯ_１，Ｏ_２，Ｏ_３が算出されず、オリエンテーションＯ_ａ１，Ｏ_ａ２，Ｏ_ａ３のように誤差が含まれることがある。このとき、オリエンテーションＯ_ａ１，Ｏ_ａ２，Ｏ_ａ３の誤差が特徴ベクトルに反映され、図８（ａ）及び図８（ｂ）の画像間において、対応点探索が行えないことや対応点の誤対応を招く。その結果、カメラパラメータ推定の正確性が低下することになる。

なお、図８（ｂ）では、正しいオリエンテーションＯ_１，Ｏ_２，Ｏ_３を実線で図示し、誤差を有するオリエンテーションＯ_ａ１，Ｏ_ａ２，Ｏ_ａ３を破線で図示した。
また、図８（ｂ）では、被写体９０を撮影したカメラ（不図示）の光軸を回転中心として、被写体９０又はカメラ（不図示）の何れかが回転した状態を図示している。

そこで、本発明は、前記した問題を解決し、対応点を正確に探索できる対応点探索装置及びそのプログラム、並びに、カメラパラメータを正確に推定できるカメラパラメータ推定装置を提供することを課題とする。

本願発明者は、画像内の特徴点が同じように回転する傾向に着目し、画像内の各特徴点でオリエンテーションを個別に算出する代わりに、画像回転量を画像内の全特徴点で共通するオリエンテーションとして算出することで、前記課題を解決できることを見出し、本発明を完成させた。

具体的には、本願第１発明に係る対応点探索装置は、被写体を撮影した現在画像と、前記現在画像より前の過去画像との間で対応点探索を行う対応点探索装置であって、データベースと、第１特徴ベクトル算出手段と、第１対応点探索手段と、画像回転量算出手段と、第２特徴ベクトル算出手段と、第２対応点探索手段と、対応点出力手段と、データベース書込手段とを備えることを特徴とする。

かかる構成によれば、対応点探索装置は、データベースによって、被写体の特徴点として予め検出された初期特徴点の特徴ベクトルと、初期特徴点の３次元座標とを予め記憶する。また、データベースは、過去画像から検出された特徴点である過去画像特徴点の近似特徴ベクトルと、過去画像の算出済回転特徴ベクトルと、過去画像特徴点の算出済特徴ベクトルとが書き込まれる。

また、対応点探索装置は、第１特徴ベクトル算出手段によって、ＳＩＦＴ、ＳＵＲＦ（Speeded Up Robust Features）等の局所特徴量算出手法により、現在画像の特徴点である現在画像特徴点を検出して特徴ベクトルを算出する。そして、第１特徴ベクトル算出手段は、算出した現在画像特徴点の特徴ベクトルを、現在画像より後の画像で対応点探索を行うときの過去画像特徴点の算出済特徴ベクトルとしてデータベースに書き込む。

また、対応点探索装置は、第１対応点探索手段によって、データベースを参照して、現在画像特徴点と初期特徴点との特徴ベクトル、及び、現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、最短距離と当該最短距離の次に短い距離との比である第１評価値を算出し、算出した第１評価値が最小になる特徴点の対を、現在画像−データベース対応点として探索する。つまり、第１対応点探索手段は、データベースに記憶された特徴点と、現在画像から検出された特徴点との対応点を求める。

また、対応点探索装置は、画像回転量算出手段によって、現在画像内の全特徴点が同じように回転するとみなし、位相限定相関法又はオリエンテーション算出法により、過去画像に対する現在画像の画像回転量を算出する。そして、対応点探索装置は、第２特徴ベクトル算出手段によって、局所特徴量算出手法を用いて、予め設定された基準角度を基準に画像回転量が現在画像から検出された全特徴点で共通するオリエンテーションとして反映されるように、現在画像特徴点の回転特徴ベクトルを算出する。さらに、第２特徴ベクトル算出手段は、算出した現在画像特徴点の回転特徴ベクトルを、現在画像より後の画像で対応点探索を行うときの過去画像の算出済回転特徴ベクトルとしてデータベースに書き込む。

また、対応点探索装置は、第２対応点探索手段によって、データベースを参照して、現在画像特徴点の回転特徴ベクトルと過去画像特徴点の算出済回転特徴ベクトルとについて、第１評価値を算出し、算出した第１評価値が最小になる特徴点の対を、現在画像−過去画像対応点として探索する。つまり、第２対応点探索手段は、過去画像から検出された特徴点と、現在画像の特徴点との対応点を求める。

また、対応点探索装置は、対応点出力手段によって、現在画像−過去画像対応点に含まれ、かつ、現在画像−データベース対応点に含まれる現在画像特徴点について、現在画像特徴点の特徴ベクトル及び過去画像特徴点の算出済特徴ベクトルの距離と、現在画像特徴点及び初期特徴点の特徴ベクトルの距離との比である第２評価値が予め設定された第１閾値を超えるか否かを判定する。そして、対応点出力手段は、誤対応の可能性が低い方を正解の対応点とするために、第２評価値が第１閾値を超えるときに現在画像−データベース対応点を対応点として出力し、第２評価値が第１閾値を超えないときに現在画像−過去画像対応点を対応点として出力する。

ここで、撮影環境（例えば、カメラ位置・姿勢や照明の明暗）は、時間の経過と共に、徐々に変化する。そして、第２評価値が予め設定された第２閾値を超えるときに、データベースに予め記憶した初期特徴点の特徴ベクトルより、現在画像から検出した特徴点の特徴ベクトルの方が、撮影環境により近い状態で求められたものと言える。そこで、対応点探索装置は、データベース書込手段によって、撮影環境により近い状態で求められた現在画像特徴点の特徴ベクトルを、次の現在画像で対応点探索を行うときの過去画像特徴点の特徴ベクトルとしてデータベースに書き込む。

また、本願第２発明に係る対応点探索装置は、対応点追加手段によって、現在画像特徴点と初期特徴点との特徴ベクトル、及び、現在画像特徴点の特徴ベクトルと過去画像特徴点の算出済特徴ベクトルとについて、第１評価値が予め設定された第３閾値未満であるか否かを判定し、第１評価値が第３閾値未満である特徴点の対を、対応点に追加する。
かかる構成によれば、対応点探索装置は、算出した画像回転量と異なる回転の特徴点が存在する場合でも、この特徴点が含まれる対応点を拾い上げることができる。

また、本願第３発明に係る対応点探索装置は、対応点出力手段が、第２評価値が第１閾値を超えないとき、現在画像−過去画像対応点と共に、初期特徴点を出力することを特徴とする。
かかる構成によれば、対応点探索装置が初期特徴点を出力することで、被写体の認識や追跡等の画像処理が行い易くなり、対応点探索装置の利便性が向上する。

また、本願第４発明に係る対応点探索装置は、第１対応点探索手段が、算出した第１評価値が最小になり、かつ、予め設定された第４閾値を超える特徴点の対を、現在画像−データベース対応点として探索し、第２対応点探索手段が、算出した第１評価値が最小になり、かつ、予め設定された第５閾値を超える特徴点の対を、現在画像−過去画像対応点として探索することを特徴とする。
かかる構成によれば、対応点探索装置は、誤対応の可能性が高い特徴点の対を閾値処理で除外できるため、対応点を正確に探索することができる。

また、前記した課題に鑑みて、本願第５発明に係るカメラパラメータ推定装置は、本願第４発明に係る対応点探索装置を備え、カメラパラメータを推定するカメラパラメータ推定装置であって、３次元座標抽出手段と、カメラパラメータ推定手段とを備えることを特徴とする。

かかる構成によれば、カメラパラメータ推定装置は、対応点探索装置の第１対応点探索手段によって、探索した前記現在画像−データベース対応点を、次の現在画像で対応点探索を行うときの過去画像−データベース対応点として一時記憶する。

また、カメラパラメータ推定装置は、３次元座標抽出手段によって、現在画像−過去画像対応点に含まれ、かつ、現在画像−データベース対応点に含まれない現在画像特徴点について、現在画像−過去画像対応点及び前記過去画像−データベース対応点に基づいて、データベースに記憶された初期特徴点の３次元座標を、現在画像特徴点の３次元座標として抽出する。そして、カメラパラメータ推定装置は、カメラパラメータ推定手段によって、対応点探索装置で探索された対応点と、３次元座標抽出手段で抽出された３次元座標とを用いて、カメラパラメータを推定する。

これによって、カメラパラメータ推定装置は、現在画像特徴点がデータベースの特徴点に対応せずに、現在画像特徴点の３次元座標が求められない場合でも、過去画像特徴点に紐付けて、データベースから３次元座標を抽出して、カメラパラメータを推定することができる。

なお、本願第１発明に係る対応点探索装置は、ＣＰＵ、データベース等のハードウェア資源を備える一般的なコンピュータを、前記した各手段として協調動作させる対応点探索プログラムによって実現することもできる。この対応点探索プログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

本発明によれば、以下のような優れた効果を奏する。
本願第１発明によれば、画像内の全特徴点が同じように回転するとみなし、全特徴点で共通するオリエンテーションを算出するため、各特徴点でオリエンテーションを個別に算出した場合に比べて、オリエンテーションの誤差が少なく、対応点を正確に探索することができる。

本願第２発明によれば、算出した画像回転量と異なる回転の特徴点が存在する場合でも、この特徴点が含まれる対応点を拾い上げるため、対応点の数が減少し過ぎることで対応点探索が行えない事態を防止することができる。
本願第３発明によれば、現在画像−過去画像対応点と共に初期特徴点を出力するため、被写体の認識や追跡等の画像処理が行い易くなり、対応点探索装置の利便性が向上する。

本願第４発明によれば、誤対応の可能性が高い特徴点の組み合わせを閾値処理で除外するため、対応点をより正確に探索することができる。
本願第５発明によれば、データベースから現在画像の特徴点における３次元座標が抽出できない場合でも、過去画像の特徴点に紐付けて、データベースから３次元座標を取得できるため、カメラパラメータをより正確に推定することができる。

本発明の実施形態において、カメラの移動と画像の回転との関係を説明する図である。 本発明の実施形態において、対応点の探索を説明する図である。 本発明の実施形態に係るカメラパラメータ推定装置の構成を示すブロック図である。 本発明の実施形態において画像回転量の算出を説明する図であり、（ａ）は特徴点の周辺領域での輝度勾配方向を示し、（ｂ）は輝度勾配方向のヒストグラムを示す。 本発明の実施形態において、回転特徴ベクトルの記述を説明する図である。 図３のカメラパラメータ推定装置が、先頭のフレーム画像からカメラパラメータを推定する動作を示すフローチャートである。 図３のカメラパラメータ推定装置が、２番目以降のフレーム画像からカメラパラメータを推定する動作を示すフローチャートである。 従来技術において、画像の回転を説明する図である。

［本発明の概略］
図１，図２を参照して、本発明の実施形態に係る対応点探索装置１及びカメラパラメータ推定装置２の概略について、説明する（適宜図３参照）。
図１に示すように、動画像を撮影する一般的なカメラＣが、立方体状の物体である被写体９０を撮影する場合を考える。まず、カメラＣが、現在のフレームｔからｎフレーム前（０＜ｎ＜ｔ）、図１の符号Ｃ_ｔ−ｎで図示したように、被写体９０に対して斜めに位置している。次に、カメラＣが、フレームｔにおいて、図１の符号Ｃ_ｔで図示したように、被写体９０の正面まで移動したとする。この場合、時刻ｔ−ｎの画像９１_ｔ−ｎと、時刻ｔの画像９１_ｔとを比較すると、被写体９０は、カメラＣの移動に伴って画像内で回転することになる。

以後、時刻ｔの画像９１_ｔを現在画像と呼び、時刻ｔ−ｎの画像９１_ｔ−ｎを過去画像と呼ぶ。
また、本実施形態では、ｎ＝１、つまり、過去画像が現在画像の１フレーム前の画像であることとする。

図２に示すように、対応点探索装置１は、現在画像９１_ｔと、過去画像９１_ｔ−ｎと、データベース１０との間で対応点探索を行う。
この図２では、説明を簡易にするため、特徴点が２個であることとする（“●”、“▲”で図示）。

対応点探索装置１が備えるデータベース１０には、初期特徴点Ｋ_４，Ｋ_５の特徴ベクトル（“●の特徴記述子Ａ”、“▲の特徴記述子Ａ”）と、初期特徴点Ｋ_４，Ｋ_５の３次元座標とが予め記憶されている。
なお、データベース１０は、特徴記述子Ａ以外も記憶するが、説明を簡易にするため、図２では省略した。

まず、対応点探索装置１は、過去画像９１_ｔ−ｎと、データベース１０との間で、対応点探索を行う。ここでは、初期特徴点Ｋ_４と特徴点Ｋ_４ｔ−ｎとの対、及び、初期特徴点Ｋ_５と特徴点Ｋ_５ｔ−ｎとの対が、対応点として探索されたこととする（実線矢印で図示）。

また、対応点探索装置１は、現在画像９１_ｔと、データベース１０との間で、対応点探索を行う。ここでは、初期特徴点Ｋ_４と特徴点Ｋ_４ｔとの対が、対応点として探索されたこととする。一方、初期特徴点Ｋ_５と特徴点Ｋ_５ｔとの対が、対応点として探索されなかったこととする（破線矢印で図示）。

そして、対応点探索装置１は、現在画像９１_ｔと、過去画像９１_ｔ−ｎとの間で、対応点探索を行う。このとき、各特徴点でオリエンテーションを個別に算出すると、オリエンテーションの誤差により、対応点探索の正確性が低下する。従って、対応点探索装置１は、過去画像９１_ｔ−ｎの全特徴点Ｋ_４ｔ−ｎ，Ｋ_５ｔ−ｎで共通するオリエンテーションを算出する。また、対応点探索装置１は、現在画像９１_ｔの全特徴点Ｋ_４ｔ，Ｋ_５ｔで共通するオリエンテーションを算出する。そして、対応点探索装置１は、過去画像９１_ｔ−ｎと現在画像９１_ｔとのオリエンテーションの差分を画像回転量として算出し、この画像回転量が反映された回転特徴ベクトルを記述する。その後、対応点探索装置１は、記述した回転特徴ベクトルを用いて、対応点探索を行う。ここでは、特徴点Ｋ_４ｔと特徴点Ｋ_４ｔ−ｎとの対、及び、特徴点Ｋ_５ｔと特徴点Ｋ_５ｔ−ｎとの対が、対応点として探索されたこととする。

特徴点Ｋ_４ｔは、現在画像９１_ｔと過去画像９１_ｔ−ｎとの間、及び、現在画像９１_ｔとデータベース１０との間の両方で対応している。この場合、対応点探索装置１は、現在画像９１_ｔと過去画像９１_ｔ−ｎとの対応点、又は、現在画像９１_ｔとデータベース１０との対応点の何れかを正解の対応点として出力する。

一方、特徴点Ｋ_５ｔは、現在画像９１_ｔとデータベース１０との間で対応していないため、データベース１０から特徴点Ｋ_５ｔの３次元座標を抽出できず、カメラパラメータの推定に好ましくない。そこで、カメラパラメータ推定装置２は、現在画像９１_ｔと過去画像９１_ｔ−ｎとの対応点を遡って、現在画像９１_ｔの特徴点Ｋ_５ｔに対応する過去画像９１_ｔ−ｎの特徴点Ｋ_５ｔ−ｎを求める。さらに、カメラパラメータ推定装置２は、過去画像９１_ｔ−ｎとデータベース１０との対応点を遡って、過去画像９１_ｔ−ｎの特徴点Ｋ_５ｔ−ｎに対応するデータベース１０の初期特徴点Ｋ_５を求める。さらに、カメラパラメータ推定装置２は、データベース１０から初期特徴点Ｋ_５の３次元座標を、特徴点Ｋ_５ｔの３次元座標として抽出する。

その後、カメラパラメータ推定装置２は、対応点探索装置１で探索された対応点（Ｋ_４ｔ，Ｋ_４ｔ−ｎ），（Ｋ_５ｔ，Ｋ_５ｔ−ｎ）と、抽出した３次元座標とを用いて、カメラパラメータを推定する

［カメラパラメータ推定装置の構成］
図３を参照して、カメラパラメータ推定装置２の構成について、説明する。
図３に示すように、カメラパラメータ推定装置２は、カメラＣのカメラパラメータを推定するものであり、対応点探索装置１と、３次元座標抽出手段２１と、カメラパラメータ推定手段２２とを備える。

対応点探索装置１は、現在画像と、過去画像と、データベース１０との間で対応点探索を行うものであって、データベース１０と、ＳＩＦＴ特徴ベクトル記述手段（第１特徴ベクトル算出手段）１１と、画像回転量算出手段１２と、回転特徴ベクトル記述手段（第２特徴ベクトル算出手段）１３と、対応点探索手段１４と、対応点出力手段１５と、対応点追加手段１６と、特徴記述子Ｂ書込手段（データベース書込手段）１７とを備える。

データベース１０は、外部から、被写体９０の特徴点として予め検出された初期特徴点の特徴ベクトルと、初期特徴点の３次元座標とが入力され、入力された初期特徴点及び３次元座標を対応付けて予め記憶するものである。

この初期特徴点の特徴ベクトルは、ＳＩＦＴ等の局所特徴量算出手法により、被写体９０の撮影画像から特徴点を検出して、特徴ベクトルを記述したものである。この初期特徴点及び初期特徴点の特徴ベクトルは、それぞれ、特徴点及び特徴ベクトルの初期値として扱われる。

初期特徴点は、図３のカメラＣの撮影画像から求めてもよく、図示を省略した他のカメラの撮影画像から求めてもよい。また、初期特徴点の特徴ベクトルは、特徴記述子Ａと呼ばれることがある。

初期特徴点の３次元座標は、例えば、位置関係が既知のステレオカメラで三角測量を行うことにより、初期特徴点の位置（座標）を求めたものである。また、初期特徴点の３次元座標は、被写体９０を撮影した大量の画像からＳＩＦＴで特徴ベクトルを求め、各画像間で対応点を探索し、その探索結果にバンドルアジャストメント等の最適化手法を適用し、求めてもよい。

なお、バンドルアジャストメントは、例えば、ホームページ「http://phototour.cs.washington.edu/bundler/」に詳細に記載されている。
また、データベース１０に記憶させる初期特徴点の数は任意であり、対応点探索の正確性を向上させるために、初期特徴点の数を多くすることが好ましい。

また、データベース１０は、後記する特徴記述子Ｂ書込手段１７から、初期特徴点の特徴ベクトルに対応付けて、過去画像特徴点の近似特徴ベクトルが書き込まれる。
この近似特徴ベクトルは、初期特徴点の特徴ベクトルよりも撮影環境により近似した状態で求められた特徴ベクトルであり、特徴記述子Ｂと呼ばれることがある。
また、過去画像特徴点とは、過去画像から検出された特徴点のことである。

また、データベース１０は、後記する回転特徴ベクトル記述手段１３から、現在画像特徴点の回転特徴ベクトルと、過去画像特徴点の算出済回転特徴ベクトルとが書き込まれる。
この回転特徴ベクトルは、後記する画像回転量算出手段１２で算出された画像回転量がオリエンテーションとして反映された特徴ベクトルであり、特徴記述子Ｃと呼ばれることがある。
この算出済回転特徴ベクトルは、過去画像から繰り返し回転特徴ベクトルを算出することを防止するための回転特徴ベクトルであり、特徴記述子Ｃ’と呼ばれることがある。

また、データベース１０は、後記するＳＩＦＴ特徴ベクトル記述手段１１から、過去画像特徴点の算出済特徴ベクトルが書き込まれる。
この算出済特徴ベクトルは、過去画像から繰り返し特徴ベクトルを算出することを防止するための特徴ベクトルであり、特徴記述子Ｔとよばれることがある。

なお、データベース１０は、現在画像が先頭のフレーム画像の場合、特徴記述子Ｂ〜Ｔが書き込まれていない。
また、図３では、特徴記述子Ａ〜Ｔを記述子Ａ〜Ｔと略記した。

ＳＩＦＴ特徴ベクトル記述手段１１は、カメラＣから現在画像が入力され、ＳＩＦＴ等の局所特徴量算出手法により、入力された現在画像から特徴点を検出して、特徴ベクトルを記述（算出）するものである。
以後、現在画像から検出された特徴点を現在画像特徴点と呼ぶ。

そして、ＳＩＦＴ特徴ベクトル記述手段１１は、記述した現在画像特徴点の特徴ベクトルを、画像回転量算出手段１２と、対応点探索手段１４と、対応点出力手段１５と、対応点追加手段１６と、特徴記述子Ｂ書込手段１７と、３次元座標抽出手段２１とに出力する。
さらに、ＳＩＦＴ特徴ベクトル記述手段１１は、記述した現在画像特徴点の特徴ベクトルを、次の現在画像で対応点探索を行うときの過去画像特徴点の算出済特徴ベクトルとして、データベース１０に書き込む。

画像回転量算出手段１２は、ＳＩＦＴ特徴ベクトル記述手段１１から、現在画像特徴点の特徴ベクトルが入力され、データベース１０から過去画像特徴点の算出済特徴ベクトルを読み出す。そして、画像回転量算出手段１２は、入力された現在画像特徴点の特徴ベクトル及び過去画像特徴点の算出済特徴ベクトルを用いて、ＳＩＦＴのオリエンテーション算出法により、過去画像に対する現在画像の画像回転量を算出するものである。

＜画像回転量の算出＞
図４を参照して、画像回転量算出手段１２による画像回転量の算出について、具体的に説明する（適宜図３参照）。
画像回転量算出手段１２は、後記する現在画像−ＤＢ対応点探索手段１４ａと同様の手法で、現在画像特徴点の特徴ベクトルと過去画像特徴点の算出済特徴ベクトル（つまり、通常のＳＩＦＴで記述された特徴記述子Ｔ）との評価値Ｔ１を算出し、現在画像と過去画像との対応点に含まれる現在画像特徴点及び過去画像特徴点を全て求める。

そして、画像回転量算出手段１２は、図４（ａ）に示すように、対応点に含まれる過去画像特徴点Ｋ_ｔ−ｎについて、その周辺領域を８×８の小領域に分割し、各小領域の輝度勾配方向を求める。この図４（ａ）では、矢印の向きが輝度勾配方向を示し、矢印の大きさが輝度勾配強度を示す。そして、図４（ｂ）に示すように、画像回転量算出手段１２は、輝度勾配方向を３６ビンのヒストグラムで表現し、そのピーク（最高値）を過去画像特徴点Ｋ_ｔ−ｎのオリエンテーションＯとして算出する。さらに、画像回転量算出手段１２は、過去画像特徴点Ｋ_ｔ−ｎと同様、対応点に含まれる現在画像特徴点Ｋ_ｔのオリエンテーションＯを算出する。

そして、画像回転量算出手段１２は、対応点に含まれる過去画像特徴点Ｋ_ｔ−ｎと現在画像特徴点Ｋ_ｔとの全てについて、過去画像特徴点Ｋ_ｔ−ｎのオリエンテーションと、現在画像特徴点Ｋ_ｔのオリエンテーションとの差分平均値を画像回転量として算出する。その後、画像回転量算出手段１２は、算出した画像回転量を回転特徴ベクトル記述手段１３に出力する。
なお、画像回転量算出手段１２は、現在画像が先頭のフレーム画像の場合、何の処理を行わなくともよい。

図３に戻り、対応点探索装置１の構成について、説明を続ける。
回転特徴ベクトル記述手段１３は、画像回転量算出手段１２から画像回転量が入力される。そして、回転特徴ベクトル記述手段１３は、ＳＩＦＴ等の局所特徴量算出手法によって、入力された画像回転量が全ての現在画像特徴点のオリエンテーションとして反映されるように、現在画像特徴点の回転特徴ベクトルを記述（算出）するものである。

＜回転特徴ベクトルの記述＞
図５を参照して、回転特徴ベクトル記述手段１３による回転特徴ベクトルの記述について、具体的に説明する。（適宜図３参照）。
回転特徴ベクトル記述手段１３は、予め設定された基準角度（例えば、水平を示す０°）を基準として、全ての現在画像特徴点について、現在画像特徴点の周辺領域を算出したオリエンテーションだけ、予め設定された回転方向（例えば、右回り）に回転させる。

そして、回転特徴ベクトル記述手段１３は、図５に示すように、回転後の周辺領域を４×４の合計１６ブロックに分割し、ブロックごとに、４５度間隔の８方向での輝度勾配方向のヒストグラムを作成する。このとき、回転特徴ベクトル記述手段１３は、８方向で１６ブロックのヒストグラムを作成したため、１６×８＝１２８次元の特徴ベクトルとして、現在画像特徴点の回転特徴ベクトルを記述する。その後、回転特徴ベクトル記述手段１３は、記述した現在画像特徴点の回転特徴ベクトルを、データベース１０に書き込む。
さらに、回転特徴ベクトル記述手段１３は、記述した現在画像特徴点の回転特徴ベクトルを、次の現在画像で対応点探索を行うときの過去画像特徴点の算出済回転特徴ベクトルとして、データベース１０に書き込む。

なお、回転特徴ベクトル記述手段１３は、現在画像が先頭のフレーム画像の場合、何の処理を行わなくともよい。
また、ＳＩＦＴによるオリエンテーション算出及び回転特徴ベクトルの記述は、例えば、文献「“Gradientベースの特徴抽出-SIFTとHOG-”、藤吉他、情報処理学会 研究報告CVIM 160、pp.211-224,2007.」に詳細に記載されている。

図３に戻り、対応点探索装置１の構成について、説明を続ける。
対応点探索手段１４は、対応点探索を行うものであり、現在画像−ＤＢ対応点探索手段（第１対応点探索手段）１４ａと、現在画像−過去画像対応点探索手段（第２対応点探索手段）１４ｂとを備える。

ここで、対応点探索手段１４は、ＳＩＦＴ特徴ベクトル記述手段１１から現在画像特徴点の特徴ベクトルが入力される。また、対応点探索手段１４は、データベース１０から、初期特徴点の特徴ベクトル（特徴記述子Ａ）と、過去画像特徴点の近似特徴ベクトル（特徴記述子Ｂ）と、現在画像特徴点の回転特徴ベクトル（特徴記述子Ｃ）と、過去画像特徴点の算出済特徴ベクトル（特徴記述子Ｔ）とを読み出す。

＜対応点の探索＞
対応点探索手段１４による対応点探索について、具体的に説明する。
現在画像−ＤＢ対応点探索手段１４ａは、現在画像特徴点と初期特徴点との特徴ベクトル、及び、現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、後記する評価値Ｔ１（第１評価値）を算出し、算出した評価値Ｔ１が最小になる特徴点の対を、現在画像−データベース対応点として探索するものである。

まず、現在画像−ＤＢ対応点探索手段１４ａは、現在画像特徴点の特徴ベクトルと、初期特徴点の特徴ベクトルとについて、以下の式（１）により、評価値Ｔ１を算出する。
Ｔ１＝ｌ１／ｌ２ ・・・式（１）

具体的には、現在画像−ＤＢ対応点探索手段１４ａは、現在画像特徴点ごとに、この現在画像特徴点の特徴ベクトルと、初期特徴点の特徴ベクトルとの全組み合わせのうち、最短のユークリッド距離ｌ１を算出する。また、現在画像−ＤＢ対応点探索手段１４ａは、現在画像特徴点ごとに、この現在画像特徴点の特徴ベクトルと、初期特徴点の特徴ベクトルと全組み合わせのうち、ユークリッド距離ｌ１の次に短いユークリッド距離ｌ２を算出する。そして、現在画像−ＤＢ対応点探索手段１４ａは、現在画像特徴点ごとに、最短のユークリッド距離ｌ１と、次に短いユークリッド距離ｌ２との比である評価値Ｔ１を算出する。

つまり、評価値Ｔ１は、現在画像特徴点の特徴ベクトルが、データベース１０に記憶された何れの特徴点ベクトルに近いかを評価するものである。また、この評価値Ｔ１は、最短のユークリッド距離ｌ１と、次に短いユークリッド距離ｌ２とが一定の値でならなければ、正解の対応点でなく、誤対応の可能性が高いことを示す。

次に、現在画像−ＤＢ対応点探索手段１４ａは、現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、前記した式（１）で評価値Ｔ１を算出する。
なお、初期特徴点の特徴ベクトルの代わりに、過去画像特徴点の近似特徴ベクトルを用いる以外、評価値１を同様に算出できるため、説明を省略する。

そして、現在画像−ＤＢ対応点探索手段１４ａは、現在画像特徴点ごとに、現在画像特徴点と初期特徴点との全組み合わせ、及び、現在画像特徴点と過去画像特徴点との全組み合わせのうち、算出した評価値Ｔ１が最小になる特徴点の対を、現在画像−データベース対応点として探索する。このとき、現在画像−ＤＢ対応点探索手段１４ａは、誤対応を低減するため、評価値Ｔ１が最小になり、かつ、閾値α（第４閾値）を超える特徴点の対を、現在画像−データベース対応点として探索することが好ましい。この閾値αは、任意の値（例えば、０．５）で予め設定される。

なお、現在画像−ＤＢ対応点探索手段１４ａは、現在画像が先頭のフレーム画像の場合、過去画像特徴点の近似特徴ベクトルがデータベース１０に記憶されていないため、初期特徴点のみを探索対象とすればよい。

現在画像−過去画像対応点探索手段１４ｂは、現在画像特徴点の回転特徴ベクトルと過去画像特徴点の算出済回転特徴ベクトルとについて、前記した式（１）で評価値Ｔ１を算出し、算出した評価値Ｔ１が最小になる特徴点の対を、現在画像−過去画像対応点として探索するものである。
なお、現在画像−過去画像対応点探索手段１４ｂは、現在画像−ＤＢ対応点探索手段１４ａと同様に評価値Ｔ１を算出できるため、説明を省略する。

そして、現在画像−過去画像対応点探索手段１４ｂは、現在画像特徴点と、過去画像特徴点との全組み合わせのうち、算出した評価値Ｔ１が最小になる特徴点の対を現在画像−過去画像対応点として探索する。このとき、現在画像−過去画像対応点探索手段１４ｂは、誤対応を低減するため、評価値Ｔ１が最小になり、かつ、閾値α’（第５閾値）を超える特徴点の対を、現在画像−過去画像対応点として探索することが好ましい。この閾値α’は、閾値α以下の任意の値（例えば、０．１）で予め設定される。

その後、対応点探索手段１４は、現在画像−データベース対応点と、現在画像−過去画像対応点とを、対応点出力手段１５と、３次元座標抽出手段２１とに出力する。
また、対応点探索手段１４は、現在画像−過去画像対応点探索手段１４ｂで探索された現在画像−データベース対応点を一時記憶メモリ（不図示）に記憶する。そして、対応点探索手段１４は、現在画像より後の画像で対応点探索を行うとき、一時記憶メモリに一時記憶された現在画像−データベース対応点を、過去画像−データベース対応点として対応点出力手段１５に出力する。

対応点出力手段１５は、ＳＩＦＴ特徴ベクトル記述手段１１から、現在画像特徴点の特徴ベクトルが入力される。また、対応点出力手段１５は、対応点探索手段１４から、現在画像−データベース対応点と、現在画像−過去画像対応点と、過去画像−データベース対応点とが入力される。さらに、対応点出力手段１５は、データベース１０から、過去画像特徴点の算出済特徴ベクトル（特徴記述子Ｔ）を読み出す。

この対応点出力手段１５は、入力された現在画像特徴点のそれぞれが、現在画像−過去画像対応点に含まれ、かつ、現在画像−データベース対応点に含まれるか否かを判定するものである。そして、対応点出力手段１５は、両対応点に含まれると判定された現在画像特徴点について、以下の式（２）により評価値τ（第２評価値）を算出する。
τ＝Ｌ１／Ｌ２ ・・・式（２）

この距離比τは、その値が“１”で分母側と分子側の特徴ベクトル同士の類似度が等しいことを示し、“１”より増加するほど分母側の特徴ベクトル同士の類似度が高いことを示し、“１”から減少するほど分子側の特徴ベクトル同士の類似度が高いことを示す。

具体的には、対応点出力手段１５は、現在画像−過去画像対応点に含まれる現在画像特徴点及び過去画像特徴点について、この現在画像特徴点の特徴ベクトルと、この過去画像特徴点の算出済特徴ベクトルとのユークリッド距離Ｌ１を算出する。また、対応点出力手段１５は、現在画像−データベース対応点に含まれる現在画像特徴点と初期特徴点とについて、特徴ベクトル同士のユークリッド距離Ｌ２を算出する。そして、対応点出力手段１５は、ユークリッド距離Ｌ１，Ｌ２の比を示す評価値τを算出する。

さらに、対応点出力手段１５は、算出した評価値τが閾値β（第１閾値）を超えるか否かを判定する。
この閾値βは、被写体の絵柄や撮影環境を考慮して、任意の値（例えば、２）で予め設定される。

評価値τが閾値βを超える場合、対応点出力手段１５は、現在画像−データベース対応点を、正解の対応点として対応点追加手段１６に出力する。このとき、対応点出力手段１５は、被写体の認識や追跡等の画像処理が行い易くするため、現在画像−データベース対応点と共に、初期特徴点を出力することが好ましい。
一方、評価値τが閾値β以下の場合、対応点出力手段１５は、現在画像−過去画像対応点を、正解の対応点として対応点追加手段１６に出力する。

対応点追加手段１６は、ＳＩＦＴ特徴ベクトル記述手段１１から、現在画像特徴点の特徴ベクトルが入力され、対応点出力手段１５から、正解の対応点が入力される。また、対応点追加手段１６は、データベース１０から、初期特徴点の特徴ベクトル（特徴記述子Ａ）と、過去画像特徴点の算出済特徴ベクトル（特徴記述子Ｔ）とを読み出す。

この対応点追加手段１６は、現在画像−ＤＢ対応点探索手段１４ａと同様、現在画像特徴点と初期特徴点との特徴ベクトル、及び、現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、前記した式（１）で評価値Ｔ１を算出する。

また、対応点追加手段１６は、現在画像特徴点と初期特徴点との対について、算出した評価値Ｔ１が閾値γ（第３閾値）未満であるか否かを判定する。そして、評価値Ｔ１が閾値γ未満の場合、対応点追加手段１６は、現在画像特徴点と初期特徴点との対を、正解の対応点として追加する。
この閾値γは、閾値α以下の任意の値（例えば、０．１）で予め設定される。

さらに、対応点追加手段１６は、現在画像特徴点と過去画像特徴点との対についても、算出した評価値Ｔ１が閾値γ未満であるか否かを判定する。そして、評価値Ｔ１が閾値γ未満の場合、対応点追加手段１６は、現在画像特徴点と過去画像特徴点との対を、正解の対応点として追加する。

その後、対応点追加手段１６は、追加した対応点をカメラパラメータ推定手段２２に出力する。これによって、対応点探索装置１は、画像回転量算出手段１２が算出した画像回転量と異なる回転の特徴点の対が存在する場合でも、この特徴点の対を対応点として拾うことができる。
なお、対応点追加手段１６は、追加しようとする対応点が、対応点出力手段１５から入力された対応点に既に含まれている場合、追加しなくともよい。

特徴記述子Ｂ書込手段１７は、ＳＩＦＴ特徴ベクトル記述手段１１から、現在画像特徴点の特徴ベクトルが入力される。また、特徴記述子Ｂ書込手段１７は、対応点探索手段１４から、現在画像−データベース対応点と、現在画像−過去画像対応点とが入力される。さらに、特徴記述子Ｂ書込手段１７は、データベース１０から、初期特徴点の特徴ベクトル（特徴記述子Ａ）を読み出す。

この特徴記述子Ｂ書込手段１７は、対応点出力手段１５と同様、入力された現在画像特徴点のそれぞれが、現在画像−過去画像対応点に含まれ、かつ、現在画像−データベース対応点に含まれるか否かを判定する。そして、特徴記述子Ｂ書込手段１７は、対応点出力手段１５と同様、両対応点に含まれると判定された現在画像特徴点について、前記した式（２）で評価値τを算出し、算出した評価値τが閾値δ（第２閾値）を超えるか否かを判定するものである。
この閾値δは、閾値α以下で任意の値（例えば、０．１）に設定することができる。

ここで、評価値τが閾値δを超える場合、特徴記述子Ｂ書込手段１７は、入力された現在画像特徴点の特徴ベクトルを、初期特徴点の特徴ベクトルに対応付けて、過去画像特徴点の近似特徴ベクトル（特徴記述子Ｂ）として、データベース１０に書き込む。

このように、対応点探索装置１は、過去画像特徴点の近似特徴ベクトルを利用することで、撮影環境が変化した場合でも、正確に対応点を探索できる。さらに、対応点探索装置１は、撮影環境が初期状態に急峻に戻った場合でも、初期特徴点の特徴ベクトルを利用することで、対応点探索の正確性を維持できる。

３次元座標抽出手段２１は、ＳＩＦＴ特徴ベクトル記述手段１１から、現在画像特徴点の特徴ベクトルが入力される。また、３次元座標抽出手段２１は、対応点探索手段１４から、現在画像−データベース対応点と、現在画像−過去画像対応点と、過去画像−データベース対応点とが入力される。さらに、３次元座標抽出手段２１は、データベース１０から、初期特徴点の特徴ベクトル（特徴記述子Ａ）と、３次元座標とを読み出す。

この３次元座標抽出手段２１は、入力された現在画像特徴点が、現在画像−過去画像対応点に含まれ、かつ、現在画像−データベース対応点に含まれる判定条件を満たすか否かを判定する。そして、３次元座標抽出手段２１は、この判定条件を満たす現在画像特徴点について、現在画像−過去画像対応点及び過去画像−データベース対応点に基づいて、初期特徴点に対応付けられた３次元座標を、現在画像特徴点の３次元座標として抽出するものである。

具体的には、３次元座標抽出手段２１は、現在画像−過去画像対応点を遡って、現在画像特徴点に対応する過去画像特徴点を求める。次に、３次元座標抽出手段２１は、過去画像−データベース対応点を遡って、過去画像特徴点に対応する初期特徴点を求める。最後に、３次元座標抽出手段２１は、データベース１０から、求めた初期特徴点の３次元座標を、現在画像特徴点の３次元座標として抽出する。その後、３次元座標抽出手段２１は、抽出した現在画像特徴点の３次元座標をカメラパラメータ推定手段２２に出力する。

なお、３次元座標抽出手段２１は、現在画像−データベース対応点に含まれる現在画像特徴点について、この現在画像−データベース対応点を遡って、現在画像特徴点に対応する初期特徴点を求める。そして、３次元座標抽出手段２１は、求めた初期特徴点の３次元座標を、現在画像特徴点の３次元座標として抽出してもよい。

カメラパラメータ推定手段２２は、対応点追加手段１６から対応点が入力され、３次元座標抽出手段２１から３次元座標が入力され、入力された対応点及び３次元座標を用いて、カメラパラメータ（例えば、カメラの位置、姿勢等の外部パラメータと、光学中心、レンズ歪等の内部パラメータ）を推定するものである。

例えば、カメラパラメータ推定手段２２は、３個以上の対応点からカメラパラメータを推定する。このとき、カメラパラメータ推定手段２２は、対応点に外れ値と呼ばれる誤対応点が含まれる場合があるため、ＲＡＮＳＡＣ、ＬＭｅｄＳ等のロバスト推定により外れ値を除外し、最適化によりカメラパラメータを推定する。このとき、カメラパラメータ推定手段２２は、最適化の評価関数として、仮定したカメラパラメータで特徴記述子Ａの３次元座標を画像に投影した座標と、対応点の座標との距離差の総和を用いることができる。この場合、カメラパラメータ推定手段２２は、最適化の評価関数の計算値が最小になるカメラパラメータを繰り返し処理で推定する。その後、カメラパラメータ推定手段２２は、推定したカメラパラメータを外部に出力する。
この他、カメラパラメータ推定手段２２は、ＯｐｅｎＣＶ（http://opencv.jp/）を用いて、カメラパラメータを推定することもできる。

［カメラパラメータ推定装置の動作：先頭のフレーム画像］
図６，図７を参照して、カメラパラメータ推定装置２の動作について、説明する（適宜図３参照）。
なお、カメラパラメータ推定装置２は、現在画像が先頭のフレーム画像の場合と、２番目以降のフレーム画像の場合で動作が異なるため、それぞれ説明する。
また、カメラパラメータ推定装置２は、データベース１０に初期特徴点の特徴ベクトルと、初期特徴点の３次元座標とを記憶していることとする。

図６に示すように、カメラパラメータ推定装置２は、カメラＣから、現在画像（先頭のフレーム画像）が入力される（ステップＳ１）。
ＳＩＦＴ特徴ベクトル記述手段１１は、ＳＩＦＴ等の局所特徴量算出手法により、現在画像から特徴点を検出して、特徴ベクトルを記述する（ステップＳ２）。

現在画像−ＤＢ対応点探索手段１４ａは、データベース１０から初期特徴点（特徴記述子Ａ）を読み出して、現在画像特徴点と初期特徴点との特徴ベクトルについて、評価値Ｔ１を算出する（ステップＳ３）。
現在画像−ＤＢ対応点探索手段１４ａは、算出した評価値Ｔ１が最小になり、かつ、閾値αを超える特徴点の対を、現在画像−データベース対応点として探索する（ステップＳ４）。

３次元座標抽出手段２１は、現在画像−データベース対応点から、現在画像特徴点に対応する初期特徴点を求め、データベース１０から、求めた初期特徴点の３次元座標を抽出する。そして、カメラパラメータ推定手段２２は、現在画像−データベース対応点及び３次元座標を用いて、カメラパラメータを推定する（ステップＳ５）。

ＳＩＦＴ特徴ベクトル記述手段１１は、記述した現在画像特徴点の特徴ベクトルを、次の現在画像で対応点探索を行うときの過去画像特徴点の算出済特徴ベクトル（特徴記述子Ｔ）として、データベース１０に書き込む。
特徴記述子Ｂ書込手段１７は、評価値τが閾値δを超える場合、現在画像特徴点の特徴ベクトルを、初期特徴点の特徴ベクトルに対応付けて、過去画像特徴点の近似特徴ベクトル（特徴記述子Ｂ）として、データベース１０に書き込む（ステップＳ６）。
以上のように、カメラパラメータ推定装置２は、現在画像が先頭のフレームの場合、従来技術と同様の手法で対応点探索を行い、カメラパラメータを推定する。

［カメラパラメータ推定装置の動作：２番目以降のフレーム画像］
図７に示すように、カメラパラメータ推定装置２は、カメラＣから現在画像（２番目以降のフレーム画像）が入力される（ステップＳ１１）。
ＳＩＦＴ特徴ベクトル記述手段１１は、ＳＩＦＴ等の局所特徴量算出手法により、現在画像から特徴点を検出して、特徴ベクトルを記述する（ステップＳ１２）。

現在画像−ＤＢ対応点探索手段１４ａは、データベース１０から初期特徴点（特徴記述子Ａ）と近似特徴ベクトル（特徴記述子Ｂ）とを読み出して、現在画像特徴点と初期特徴点との特徴ベクトル、及び、現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、評価値Ｔ１を算出する（ステップＳ１３）。

現在画像−ＤＢ対応点探索手段１４ａは、算出した評価値Ｔ１が最小になり、かつ、閾値αを超える特徴点の対を、現在画像−データベース対応点として探索する（ステップＳ１４）。

画像回転量算出手段１２は、現在画像特徴点の特徴ベクトル及び過去画像特徴点の算出済特徴ベクトルを用いて、ＳＩＦＴのオリエンテーション算出法により、過去画像に対する現在画像の画像回転量を算出する（ステップＳ１５）。
回転特徴ベクトル記述手段１３は、ＳＩＦＴ等の局所特徴量算出手法によって、予め設定された基準角度を基準として、画像回転量が全ての現在画像特徴点のオリエンテーションとして反映されるように、現在画像特徴点の回転特徴ベクトル（特徴記述子Ｃ）を記述する（ステップＳ１６）。

現在画像−過去画像対応点探索手段１４ｂは、データベース１０から算出済初期特徴点（特徴記述子Ｔ）を読み出して、現在画像特徴点の回転特徴ベクトルと過去画像特徴点の算出済特徴ベクトルとについて、評価値Ｔ１を算出する（ステップＳ１７）。
現在画像−過去画像対応点探索手段１４ｂは、算出した評価値Ｔ１が最小になり、かつ、閾値αを超える特徴点の対を、現在画像−過去画像対応点として探索する（ステップＳ１８）。

対応点出力手段１５は、現在画像特徴点が、現在画像−過去画像対応点に含まれ、かつ、現在画像−データベース対応点に含まれるか否かを判定する。そして、対応点出力手段１５は、両対応点に含まれると判定された現在画像特徴点について、評価値τを算出する（ステップＳ１９）。
対応点出力手段１５は、評価値τが閾値βを超えるか否かにより、現在画像−データベース対応点、又は、現在画像−過去画像対応点を、正解の対応点として出力する（ステップＳ２０）。

対応点追加手段１６は、現在画像特徴点と初期特徴点との特徴ベクトル、及び、現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、評価値Ｔ１を算出する（ステップＳ２１）。
対応点追加手段１６は、現在画像特徴点と初期特徴点との対について、評価値Ｔ１が閾値γ未満の場合、この特徴点の対を正解の対応点として追加する。また、対応点追加手段１６は、現在画像特徴点と過去画像特徴点との対について、評価値Ｔ１が閾値γ未満の場合、この特徴点の対を正解の対応点として追加する（ステップＳ２２）。

３次元座標抽出手段２１は、前記した判定条件を満たす現在画像特徴点について、現在画像−過去画像対応点及び過去画像−データベース対応点に基づいて、初期特徴点に対応付けられた３次元座標を、現在画像特徴点の３次元座標として抽出する（ステップＳ２３）。
カメラパラメータ推定手段２２は、現在画像−データベース対応点及び３次元座標を用いて、カメラパラメータを推定する（ステップＳ２４）。

ＳＩＦＴ特徴ベクトル記述手段１１は、記述した現在画像特徴点の特徴ベクトルを、次の現在画像で対応点探索を行うときの過去画像特徴点の算出済特徴ベクトル（特徴記述子Ｔ）として、データベース１０に書き込む。
特徴記述子Ｂ書込手段１７は、評価値τが閾値δを超える場合、現在画像特徴点の特徴ベクトルを、初期特徴点の特徴ベクトルに対応付けて、過去画像特徴点の近似特徴ベクトル（特徴記述子Ｂ）として、データベース１０に書き込む（ステップＳ２５）。

回転特徴ベクトル記述手段１３は、記述した現在画像特徴点の回転特徴ベクトルを、次の現在画像で対応点探索を行うときの過去画像特徴点の算出済回転特徴ベクトル（特徴記述子Ｃ’）として、データベース１０に書き込む（ステップＳ２６）。

以上のように、本発明の実施形態に係るカメラパラメータ推定装置２は、画像内の全特徴点が同じように回転するとみなし、全特徴点で共通するオリエンテーションを算出するため、各特徴点でオリエンテーションを個別に算出した場合に比べて、オリエンテーションの誤差が少なく、対応点を正確に探索することができる。

なお、カメラパラメータ推定装置２は、画像内での被写体９０の回転が制限されるものでない。
例えば、カメラＣをアフィンカメラと仮定し、現在画像と過去画像とが時間的に近い場合、被写体の動き（回転）が僅かになる。この場合、カメラパラメータ推定装置２は、全特徴点での画像回転量が同程度になるため、対応点を極めて正確に探索することができる。

なお、本実施形態では、ＳＩＦＴのオリエンテーションにより画像回転量を算出することとして説明したが、本発明は、これに限定されない。例えば、画像回転量算出手段１２は、位相限定相関法により画像回転量を算出してもよい。
この位相限定相関法は、例えば、文献「”１次元位相限定相関法に基づく画像の高精度回転計測アルゴリズムとその評価”,長嶋他、第20回 回路とシステム 軽井沢ワークショップ、http://www.aoki.ecei.tohoku.ac.jp/~ito/p173_Bd1-2-4.pdf」に詳細に記載されている。

なお、本実施形態では、ＳＩＦＴを用いることとして説明したが、本発明は、これに限定されない。例えば、本発明は、ＳＵＲＦやＤＡＩＳＹのように、一定のルールに基づいてオリエンテーションを算出し、特徴ベクトルを記述する手法であれば、利用可能である。

なお、本実施形態では、図５の手法で回転特徴ベクトルを記述することとして説明したが、本発明は、これに限定されない。例えば、回転特徴ベクトル記述手段１３は、２回目以降の処理の場合（現在画像が３番目以降のフレーム画像の場合）、基準角度と、算出済回転特徴ベクトルのオリエンテーションと、現在画像の画像回転量とを加えた角度を、現在画像のオリエンテーションとすることで、現在画像特徴点の回転特徴ベクトルを記述してもよい。

１ 対応点探索装置
１０ データベース
１１ ＳＩＦＴ特徴ベクトル記述手段（第１特徴ベクトル算出手段）
１２ 画像回転量算出手段
１３ 回転特徴ベクトル記述手段（第２特徴ベクトル算出手段）
１４ 対応点探索手段
１４ａ 現在画像−ＤＢ対応点探索手段（第１対応点探索手段）
１４ｂ 現在画像−過去画像対応点探索手段（第２対応点探索手段）
１５ 対応点出力手段
１６ 対応点追加手段
１７ 特徴記述子Ｂ書込手段（データベース書込手段）
２ カメラパラメータ推定装置
２１ ３次元座標抽出手段
２２ カメラパラメータ推定手段

Claims (6)

1. 被写体を撮影した現在画像と、前記現在画像より前の過去画像との間で対応点探索を行う対応点探索装置であって、
   前記被写体の特徴点として予め検出された初期特徴点の特徴ベクトルと、前記初期特徴点の３次元座標とを予め記憶し、過去画像から検出された特徴点である過去画像特徴点の近似特徴ベクトルと、前記過去画像の算出済回転特徴ベクトルと、前記過去画像特徴点の算出済特徴ベクトルとが書き込まれるデータベースと、
   局所特徴量算出手法により、前記現在画像の特徴点である現在画像特徴点を検出して特徴ベクトルを算出し、算出した前記現在画像特徴点の特徴ベクトルを、前記現在画像より後の画像で対応点探索を行うときの過去画像特徴点の算出済特徴ベクトルとして前記データベースに書き込む第１特徴ベクトル算出手段と、
   前記データベースを参照して、前記現在画像特徴点と前記初期特徴点との特徴ベクトル、及び、前記現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、最短距離と当該最短距離の次に短い距離との比である第１評価値を算出し、算出した当該第１評価値が最小になる特徴点の対を、現在画像−データベース対応点として探索する第１対応点探索手段と、
   位相限定相関法又はオリエンテーション算出法により、前記過去画像に対する前記現在画像の画像回転量を算出する画像回転量算出手段と、
   前記局所特徴量算出手法によって、予め設定された基準角度を基準に前記画像回転量がオリエンテーションとして反映されるように、前記現在画像特徴点の回転特徴ベクトルを算出し、算出した前記現在画像特徴点の回転特徴ベクトルを、前記現在画像より後の画像で対応点探索を行うときの前記過去画像の算出済回転特徴ベクトルとして前記データベースに書き込む第２特徴ベクトル算出手段と、
   前記データベースを参照して、前記現在画像特徴点の回転特徴ベクトルと前記過去画像特徴点の算出済回転特徴ベクトルとについて、前記第１評価値を算出し、算出した当該第１評価値が最小になる特徴点の対を、現在画像−過去画像対応点として探索する第２対応点探索手段と、
   前記現在画像−過去画像対応点に含まれ、かつ、前記現在画像−データベース対応点に含まれる現在画像特徴点について、当該現在画像特徴点の特徴ベクトル及び前記過去画像特徴点の算出済特徴ベクトルの距離と、当該現在画像特徴点及び前記初期特徴点の特徴ベクトルの距離との比である第２評価値が予め設定された第１閾値を超えるか否かを判定し、前記第２評価値が前記第１閾値を超えるときに前記現在画像−データベース対応点を前記対応点として出力し、前記第２評価値が前記第１閾値を超えないときに前記現在画像−過去画像対応点を前記対応点として出力する対応点出力手段と、
   前記第２評価値が予め設定された第２閾値を超えるときに、前記現在画像特徴点の特徴ベクトルを、前記現在画像より後の画像で対応点探索を行うときの過去画像特徴点の近似特徴ベクトルとして前記データベースに書き込むデータベース書込手段と、
   を備えることを特徴とする対応点探索装置。
2. 前記現在画像特徴点と前記初期特徴点との特徴ベクトル、及び、前記現在画像特徴点の特徴ベクトルと前記過去画像特徴点の算出済特徴ベクトルとについて、前記第１評価値が予め設定された第３閾値未満であるか否かを判定し、前記第１評価値が前記第３閾値未満である特徴点の対を、前記対応点に追加する対応点追加手段、
   をさらに備えることを特徴とする請求項１に記載の対応点探索装置。
3. 前記対応点出力手段は、前記第２評価値が前記第１閾値を超えないとき、前記現在画像−過去画像対応点と共に、前記初期特徴点を出力することを特徴とする請求項１又は請求項２に記載の対応点探索装置。
4. 前記第１対応点探索手段は、算出した前記第１評価値が最小になり、かつ、予め設定された第４閾値を超える特徴点の対を、前記現在画像−データベース対応点として探索し、
   前記第２対応点探索手段は、算出した前記第１評価値が最小になり、かつ、予め設定された第５閾値を超える特徴点の対を、前記現在画像−過去画像対応点として探索することを特徴とする請求項１から請求項３の何れか一項に記載の対応点探索装置。
5. 被写体を撮影した現在画像と、前記現在画像より前の過去画像との間で対応点探索を行うために、
   前記被写体の特徴点として予め検出された初期特徴点の特徴ベクトルと、前記初期特徴点の３次元座標とを予め記憶し、過去画像から検出された特徴点である過去画像特徴点の近似特徴ベクトルと、前記過去画像の算出済回転特徴ベクトルと、前記過去画像特徴点の算出済特徴ベクトルとが書き込まれるデータベースを備えるコンピュータを、
   局所特徴量算出手法により、前記現在画像の特徴点である現在画像特徴点を検出して特徴ベクトルを算出し、算出した前記現在画像特徴点の特徴ベクトルを、前記現在画像より後の画像で対応点探索を行うときの過去画像特徴点の算出済特徴ベクトルとして前記データベースに書き込む第１特徴ベクトル算出手段、
   前記データベースを参照して、前記現在画像特徴点と前記初期特徴点との特徴ベクトル、及び、前記現在画像特徴点の特徴ベクトルと過去画像特徴点の近似特徴ベクトルとについて、最短距離と当該最短距離の次に短い距離との比である第１評価値を算出し、算出した当該第１評価値が最小になる特徴点の対を、現在画像−データベース対応点として探索する第１対応点探索手段、
   位相限定相関法又はオリエンテーション算出法により、前記過去画像に対する前記現在画像の画像回転量を算出する画像回転量算出手段、
   前記局所特徴量算出手法によって、予め設定された基準角度を基準に前記画像回転量がオリエンテーションとして反映されるように、前記現在画像特徴点の回転特徴ベクトルを算出し、算出した前記現在画像特徴点の回転特徴ベクトルを、前記現在画像より後の画像で対応点探索を行うときの前記過去画像の算出済回転特徴ベクトルとして前記データベースに書き込む第２特徴ベクトル算出手段、
   前記データベースを参照して、前記現在画像特徴点の回転特徴ベクトルと前記過去画像特徴点の算出済回転特徴ベクトルとについて、前記第１評価値を算出し、算出した当該第１評価値が最小になる特徴点の対を、現在画像−過去画像対応点として探索する第２対応点探索手段、
   前記現在画像−過去画像対応点に含まれ、かつ、前記現在画像−データベース対応点に含まれる現在画像特徴点について、当該現在画像特徴点の特徴ベクトル及び前記過去画像特徴点の算出済特徴ベクトルの距離と、当該現在画像特徴点及び前記初期特徴点の特徴ベクトルの距離との比である第２評価値が予め設定された第１閾値を超えるか否かを判定し、前記第２評価値が前記第１閾値を超えるときに前記現在画像−データベース対応点を前記対応点として出力し、前記第２評価値が前記第１閾値を超えないときに前記現在画像−過去画像対応点を前記対応点として出力する対応点出力手段、
   前記第２評価値が予め設定された第２閾値を超えるときに、前記現在画像特徴点の特徴ベクトルを、前記現在画像より後の画像で対応点探索を行うときの過去画像特徴点の近似特徴ベクトルとして前記データベースに書き込むデータベース書込手段、
   として機能させるための対応点探索プログラム。
6. 請求項４に記載の対応点探索装置を備え、カメラパラメータを推定するカメラパラメータ推定装置であって、
   前記対応点探索装置は、
   前記第１対応点探索手段が、探索した前記現在画像−データベース対応点を、前記現在画像より後の画像で対応点探索を行うときの過去画像−データベース対応点として一時記憶し、
   前記カメラパラメータ推定装置は、
   前記現在画像−過去画像対応点に含まれ、かつ、前記現在画像−データベース対応点に含まれない前記現在画像特徴点について、前記現在画像−過去画像対応点及び前記過去画像−データベース対応点に基づいて、前記データベースに記憶された前記初期特徴点の３次元座標を、当該現在画像特徴点の３次元座標として抽出する３次元座標抽出手段と、
   前記対応点探索装置で探索された対応点と、前記３次元座標抽出手段で抽出された３次元座標とを用いて、前記カメラパラメータを推定するカメラパラメータ推定手段と、
   を備えることを特徴とするカメラパラメータ推定装置。

Images