JP2016009391A - 情報処理装置ならびにその特徴点選択方法、装置およびプログラム - Google Patents

Abstract

【課題】画像間の類似度算出に好適な特徴点として、撮影対象の回転やスケール変化のみならず射影変化に対しても頑健な特徴点を、量子化誤りの影響を抑えながら適正に選択する。
【解決手段】射影変換画像作成部１０１は、参照画像の射影変換画像を作成する。局所特徴抽出部１０２は、参照画像および各射影変換画像から特徴点およびその局所特徴量を抽出して特徴ベクトル化する。量子化部１０３は、特徴ベクトルを代表ベクトルに量子化する。マッチング部１０４は、同一の代表ベクトルに量子化された特徴点同士を、その特徴ベクトルに基づいて対応付ける。幾何検証部１０５は、対応付けられた特徴点組を対象に、幾何的な拘束条件を満たす組において参照画像から検出された特徴点に対してスコアの投票を行う。特徴点選択部１０６は、参照画像から抽出された各特徴点をスコアの大きい順に並び替えてその上位を選択する。
【選択図】図１

Description

本発明は、情報処理装置ならびにその特徴点選択方法、装置およびプログラムに係り、特に、画像が有する多数の特徴点の中から画像間の類似度算出に好適な特徴点を選択する情報処理装置ならびにその特徴点選択方法、装置およびプログラムに関する。

画像間で特徴点を比較して物体認識を行う技術が知られている。非特許文献１には、物体をカメラ等の撮影手段で撮影した画像から特徴点を抽出し、予め登録されたデータベース(DB)内の物体毎の特徴点と比較することによって、物体を特定する技術が開示されている。非特許文献１では、特徴ベクトルをVisual Wordsと呼ばれる代表ベクトルに量子化することで高速化が実現されている。その際、一般的に特徴点の持つ特徴ベクトルと距離（例えば、ハミング距離）が最も近いVisual Wordに量子化される。

撮影した画像に写る物体を検索する場合、予め検索対象となる物体を撮影した画像から特徴点を検出し、DBに登録しておく必要がある。検索対象が大規模になる場合、DBサイズの削減が重要な問題となる。特に、計算資源の限られたモバイル端末にDBを保持する場合には顕著な問題である。DBサイズを削減する方針の一つとして、検索対象ごとに登録する特徴点数を削減することが挙げられる。

画像から抽出される特徴点の中には、物体の撮影視点の違いによって抽出できなくなる不安定な点が存在するため、DBに登録する際にそれらを除外することによって、認識精度を保ちつつDB サイズを削減することができる。

特許文献１では、ある１枚の画像を参照画像、それを縮小・拡大した画像群を学習画像とし、両者から特徴点を抽出している。そして、参照画像から抽出された特徴点のうち、それと対応する特徴点が学習画像群から抽出される頻度の高い特徴点、すなわち再現性の高い特徴点が選別されてDBに登録される。

一方、局所特徴点をVisual Wordに量子化する際には、物体の撮影視点の違いによって、物体の同一点から抽出された特徴量であるにも関わらず、異なるVisual Wordに量子化されてしまう点が存在する。このような技術課題に対して、非特許文献２には、ある物体を様々な視点から撮影した画像から特徴点を抽出し、特徴点を量子化した上でマッチングさせ、物体の同一点でマッチしている特徴点を選別する技術が開示されている。

特開２０１０−７９５４５号公報

J. Philbin, O. Chum, M. Isard, J. Sivic, and A. Zisserman, "Object Retrieval with Large Vocabularies and Fast Spatial Matching", CVPR, 2007. TURCOT, Panu; LOWE, David G. Better matching with fewer features: The selection of useful features in large database recognition problems. In: Computer Vision Workshops (ICCV Workshops), 2009 IEEE 12th International Conference on. IEEE, 2009. p. 2109-2116.

上述の従来技術では、画像検索の用途において、単一の画像のみを用いて射影変化に対して頑健な特徴点を選別することは出来ない。

特許文献１では量子化誤りについて考慮されておらず、量子化を用いる物体認識に対する有効性は保証されない。また、撮影対象の回転やスケール変化に対しての考慮はされているが、対象を斜め方向から撮影した場合の、射影変換で表現されるような画像から抽出される特徴点の再現性については保証されていない。

特許文献２では、特徴点を選別する際に同一の物体を様々な視点から撮影した学習用画像群が必要となる。そのため、例えば数万枚のデータベースから画像を検索するシステムへの適用を考えた場合、作業量の観点から見て現実的ではない。

本発明の目的は、上記の技術課題を解決し、画像から画像間の類似度算出に好適な特徴点として、撮影対象の回転やスケール変化のみならず射影変化に対しても頑健な特徴点を、量子化誤りの影響を抑えながら適正に選択する情報処理装置ならびにその特徴点選択方法、装置およびプログラムを提供することにある。

上記の目的を達成するために、本発明の情報処理装置およびその特徴点選択装置（方法およびプログラム）は、以下の構成を具備した点に特徴がある。

(1) 参照画像の射影変換画像を作成する画像作成手段と、参照画像および各射影変換画像から特徴点を検出して、その局所特徴量を特徴ベクトル化する局所特徴量抽出手段と、各特徴ベクトルを代表ベクトルに量子化する量子化手段と、参照画像の各特徴点と各射影変換画像の各特徴点とを代表ベクトルに基づいて対応付けるマッチング手段と、参照画像の各特徴点を、当該特徴点と対応付けられて幾何的な正当性が検証された射影変換画像の特徴点数に基づいて評価する幾何的検証手段と、評価結果に基づいて参照画像の特徴点の一部を選択する特徴点選択手段とを具備した。

(2) 本発明の特徴点選択装置はさらに、前記マッチング手段が、局所特徴量の特徴ベクトルが同一の代表ベクトルに量子化された参照画像の特徴点および射影変換画像の特徴点を対象に、特徴ベクトルの比較結果が所定の条件を満足する特徴点同士を対応付けるようにした。

(3) 本発明の特徴点選択装置はさらに、複数の参照画像のそれぞれから選択された特徴点に対して、より多くの参照画像から選択される特徴点をより低く評価する重み付けを行い、重み付け後の評価結果に基づいて一部の特徴点を更に選択するウェイティング手段を具備した。

本発明の効果によれば、以下のような効果が達成される。

(1) 参照画像ごとに予め蓄積する特徴点を、射影変化やスケール変化に対して頑健であり、対応点として選択され易く、かつ量子化誤りを起こしにくい特徴点のみに絞り込めるので、参照画像ごとに特徴点に関する情報を記憶するために確保すべき記憶容量を削減でき、かつ類似度算出の処理負荷が軽減されて検索時間を短縮できるようになる。

(2) 特徴点のマッチングでは、局所特徴量の特徴ベクトルが同一の代表ベクトルに量子化された参照画像の特徴点および射影変換画像の特徴点を対象に、特徴ベクトルに基づいて対応付けが行われるので、量子化誤りに起因する特徴点の誤った対応付けが防止される。

(3) 複数の参照画像のそれぞれから選択された特徴点に対して、より多くの参照画像から選択される特徴点を低く評価して排除するようにしたので、参照画像単位では高い評価が得られる特徴点であっても、多数の参照画像から抽出されるような画像識別力の低い特徴点は排除することができ、真に画像識別力の高い特徴点のみを選択できるようになる。

本発明の一実施形態に係る特徴点選択装置の構成を示した機能ブロック図である。 参照画像を射影変換する際の仮想視点の設定例を模式的に示した図である。 参照画像を射影変換して作成される射影変換画像の例を示した図である。 局所特徴抽出部の動作を模式的に示した図である。 量子化部の動作を模式的に示した図である。 マッチング部の動作を模式的に示した図である。 幾何検証部の動作を模式的に示した図である。 特徴点選択部の動作を模式的に示した図である。 本発明の第２実施形態に係る特徴点選択装置の構成を示した機能ブロック図である。 ウェイティング部の動作を模式的に示した図である。 本発明の第３実施形態に係る情報処置装置の構成を示した機能ブロック図である。 本発明の第４実施形態に係る情報処置装置の構成を示した機能ブロック図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る特徴点選択装置の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。

本発明の特徴点選択装置は、携帯電話、スマートフォン、パーソナルコンピュータあるいはサーバなどの情報処理装置に実装され、後述する各機能を実現するアプリケーション（プログラム）や、このアプリケーションをハードウェア化またはROM化して構成できる。

本発明の特徴点選択装置は、画像検索等において参照される画像（参照画像）から画像間の類似度算出に好適な特徴点として、射影変化やスケール変化に対して頑健な特徴点を予め選択して登録し、後の画像検索において、当該特徴点を類似度算出の対象とすることにより、小さな記憶容量および処理負荷で確度の高い類似度算出を実現する。

射影変換画像作成部１０１は、参照画像を複数の異なる距離および方向から観察して仮想的なスクリーンに透視投影された射影変換画像を作成し、これを射影変換画像群DBに蓄積する。具体的には、参照画像の周囲に仮想的な視点を滞りなく配置し、視野角等の透視投影パラメータを任意に設定して射影変換行列を算出し、この射影変換行列を用いて参照画像を射影変換する。

仮想的な視点の配置には、例えば図２に示したように、参照画像を原点に置き、空間的に均等に配置されるとされるGeodesic Domeの各頂点を用いても良いし、３次元格子状構造の各頂点を用いても良い。また、この際算出された射影変換行列は、作成された射影変換画像を一意に識別するIDと共に蓄積される。

図３は、参照画像から作成される射影変換画像の例を示した図であり、ここでは、複数種類の角度（横軸）および距離（縦軸）の組み合わせから変換した透視投影パラメータを用いて多数の射影変換画像が作成されている。

図１へ戻り、局所特徴抽出部１０２は、特徴点検出器１０２ａおよび特徴量抽出器１０２ｂを含み、図４に示したように、参照画像および各射影変換画像から特徴点を検出し、さらにその局所特徴量を抽出して特徴ベクトル化する。

前記特徴点検出器１０２ａは、参照画像および各射影変換画像から特徴点を検出する。前記特徴量抽出器１０２ｂは、前記各特徴点の位置における画像の特徴量を局所特徴量と呼ばれるベクトル形式で抽出する。前記特徴点検出器１０２ａおよび特徴量抽出器１０２ｂとしては、Harris，Hessian，SIFT，SURF，FAST，BRIEF，ORB，BRISK，FREAK等のアルゴリズムを用いることができる。

これらの局所特徴量は、座標p=(x,y)、方向θおよび特徴ベクトルfにより特徴付けられる。また、各画像から検出された特徴群は、プログラム上では配列に格納され、その配列の添え字を特徴点IDとして識別される。

量子化部１０３は、前記特徴量抽出部１０２ｂで抽出された特徴ベクトルfと、予め用意されている多数の代表ベクトルとを比較照合し、図５に示したように、特徴ベクトルfとの距離が最も近い代表ベクトルを識別して当該代表ベクトルに固有の代表ベクトルIDと対応付ける。ここで対応付けられる代表ベクトルIDは、特徴ベクトルfとのハミング距離が最も近い１つのみであっても良いし、距離の近い上位k個であっても良い。

マッチング部１０４は、図６に示したように、参照画像から検出された各特徴点と、射影変換画像ごとに検出された各特徴点との間で、前記量子化部１０３により同一の代表ベクトルに量子化された特徴点同士を対象に、それぞれの特徴ベクトルｆを比較し、所定の条件を満足する特徴点同士を対応付けて特徴点組とする。

このように、本実施形態では局所特徴量の特徴ベクトルが同一の代表ベクトルに量子化された参照画像の特徴点および射影変換画像の特徴点を対象に、特徴ベクトルに基づいて対応付けが行われるので、量子化誤りに起因する特徴点の誤った対応付けが防止される。

対応付けの基準としては、例えば特徴ベクトル同士のハミング距離が最も近いものを選んでも良いし、ハミング距離以外の公知の距離（例えばL2ノルム）を採用しても良い。距離以外にも、方向θの角度差が最も小さいものを選んでも良いし、座標pにおける色情報が最も類似するものを選んでも良いし、半径rの点密度など他の情報を基準としても良い。また、特徴点の対応付けは１対１に限定されず、１対N、N対１あるいはN対Nのいずれであっても良い。

幾何検証部１０５は、前記マッチング部１０４により対応付けられた特徴点組を対象に、幾何的な拘束条件を満たす組を選別し、条件を満たす組の参照画像から検出された特徴点のIDに対してスコアの投票を行う。

具体的には、図７に示したように、前記射影変換画像作成部１０１において各射影変換画像を作成する際に用いた射影変換行列の逆行列H^-1を用いて、射影変換画像から検出された特徴点の座標を、参照画像から検出された特徴点と同一の座標系に射影して配列する。これにより、参照画像及び各射影変換画像から検出された特徴点を同一の座標上で比較できるようになる。

なお、上記の逆行列H^-1に代えて、前記マッチング結果からRANSAC(Random Sample Consensus)等のロバスト推定法により射影変換行列を推定しても良い。

次に、各特徴点組の参照画像から検出された特徴点の座標と、射影変換画像の射影された特徴点の座標とのユークリッド距離を算出し、これが所定の閾値以下であればinlier、そうでなければoutlierと判定する。そして、inlierと判定された特徴点組の参照画像から検出された特徴点のIDにスコアを加算する。スコアは固定値であっても良いし、特徴点組の特徴ベクトル間のハミング距離や、他の基準による重みづけを行っても良い。

以上の処理により、射影変換画像のより多くの特徴点との間でinlier判定された参照画像の特徴点ほど、より高いスコアを獲得できるようになる。換言すれば、視点に関わらず対応点としてより選択され易い特徴点に対して、より高いスコアが付与される。

特徴点選択部１０６は、図８に示したように、参照画像から抽出された各特徴点を、前記幾何検証部１０５で投票されたスコアの大きい順に並び替え、その上位を選択して当該参照画像に固有の特徴点として登録する。特徴点を選択する基準は、スコアの上位N個を選んでも良いし、スコアが所定の閾値以上である全ての点を選んでも良いし、スコアに加えて他の条件、例えば参照画像における点密度等を考慮して選択しても良い。

本実施形態によれば、参照画像ごとに予め蓄積する特徴点を、射影変化やスケール変化に対して頑健であり、対応点として選択され易く、かつ量子化誤りを起こしにくい特徴点のみに絞り込めるので、参照画像ごとに特徴点に関する情報を記憶するために確保すべき記憶容量を削減でき、かつ画像間の類似度算出の処理負荷が軽減されて検索時間を短縮できるようになる。

図９は、本発明の第２実施形態に係る特徴点選択装置の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。

本実施形態では、複数の参照画像に対して、前記特徴点選択部１０６により参照画像単位での特徴点選択が終了した後、ウェイティング部１０７が、図１０に示したように、参照画像の同異という制限を外して各参照画像から選択された特徴点の全てを対象にして、その代表ベクトルがより多くの参照画像から抽出される特徴点ほどスコアが低くなる重み付を行うことにより、画像識別力の高い特徴点の更なる選択を行う。

本実施形態では、全ての参照画像から得られた特徴点のスコアについて、tf-idfの手法により重みづけを行う。具体的には、以下の値をあるVisual Wordに量子化された特徴点の持つ投票スコアに乗算する。

ここで、n_i,jは画像j内でのVisual Word iの出現回数、Σ_kn_k,jは画像j内での全てのVisual Wordの出現回数の和、Dは全参照画像数、df_iはあるVisual Word iが出現する画像の数である。上記の値を全ての特徴点の投票スコアに乗算することで、多くの射影変換画像に出現する特徴点はスコアが下がり、特定の画像にしか出現しない特徴点はスコアが高くなる。そして、参照画像ごとに投票スコアのリランキングを行い、上位M(<N)件の特徴点を選択する。

本実施形態によれば、参照画像単位では高い評価が得られる特徴点であっても、多数の参照画像から抽出されるような画像識別力の低い特徴点を排除できる一方、少数の参照画像からしか抽出されない画像識別力の高い特徴点を優先できるので、真に画像識別力の高い特徴点のみを選択できるようになる。

図１１，１２は、本発明の特徴点選択装置を備えた情報処理装置の主要部の構成を示した機能ブロック図であり、それぞれ図１，９に関して説明した実施例の各特徴点選択装置を備えている。本実施形態では、上記の各実施形態で選択された特徴点集合が既にDB１０８に蓄積されている。

なお、図１１に示した実施形態では、前記特徴点選択部１０６が前記選択された各特徴点を、当該特徴点選択部１０６で投票された前記スコアを重み値としてDB１０８上で管理する。

これに対して、図１２に示した実施形態では、前記ウェイティング部１０７が前記選択された各特徴点を、当該ウェイティング部１０７で投票された前記スコアを重み値としてDB１０８上で管理する。

内蔵カメラ（図示省略）により検索対象物が撮影され、そのカメラ画像が取得されると、前記局所特徴抽出部１０２では当該カメラ画像の特徴点が前記特徴点検出器１０２ａにより検出される。さらに各特徴点の局所特徴量が前記特徴量抽出器１０２ｂにより抽出され、各局所特徴量は前記量子化部１０３によりVisual Wordsへ量子化される。

識別部１０９は、カメラ画像の各特徴点から得られたVisual WordsヒストグラムとDB１０８に蓄積されている前記選択された特徴点のVisual Wordsヒストグラムとの類似度を算出する。この際、前記選択された各特徴点の重み値がDB１０８から読み出されて前記類似度の算出結果に反映される。そして、最終的に最も類似度の高い参照画像が前記カメラ画像に対応した参照画像として出力される。

本実施形態によれば、小さな記憶容量および処理負荷で、カメラ画像と同一の参照画像を正確に検索できるようになる。

なお、上記の各実施形態では特徴点選択装置が、入力画像と参照画像との間で類似度算出を行う情報処理端末に実装される場合を例にして説明したが、本発明はこれのみに限定されるものではなく、ネットワーク上のサーバに実装し、選択された特徴点のみを情報処理端末へ送信するようにしても良い。

１０１…射影変換画像作成部，１０２…局所特徴抽出部，１０２ａ…特徴点検出器，１０２ｂ…特徴量抽出器，１０３…量子化部，１０４…マッチング部，１０５…幾何検証部，１０６…特徴点選択部，１０７…ウェイティング部，１０８…特徴点集合BD，１０９…識別部

Claims (16)

1. 参照画像から特徴点を選択する特徴点選択装置において、
   参照画像を射影変換して複数の射影変換画像を作成する画像作成手段と、
   参照画像および各射影変換画像から特徴点を検出して、その局所特徴量を特徴ベクトル化する局所特徴量抽出手段と、
   各特徴ベクトルを予め用意された複数の代表ベクトルのいずれかに量子化する量子化手段と、
   参照画像の各特徴点と各射影変換画像の各特徴点とを量子化された代表ベクトルに基づいて対応付けるマッチング手段と、
   参照画像の各特徴点を、当該特徴点と対応付けられて幾何的な正当性が検証された射影変換画像の特徴点数に基づいて評価する幾何的検証手段と、
   前記評価結果に基づいて、前記参照画像の特徴点の一部を選択する特徴点選択手段とを具備したことを特徴とする特徴点選択装置。
2. 前記マッチング手段は、局所特徴量の特徴ベクトルが同一の代表ベクトルに量子化された参照画像の特徴点および射影変換画像の特徴点を対象に、特徴ベクトルの比較結果が所定の条件を満足する特徴点同士を対応付けることを特徴とする請求項１に記載の特徴点選択装置。
3. 前記幾何的検証手段は、射影変換画像の各特徴点を参照画像の各特徴点と同一の座標系へ射影し、参照画像の各特徴点を、当該特徴点との距離が所定の閾値内である射影変換画像の特徴点数に基づいて評価することを特徴とする請求項１または２に記載の特徴点選択装置。
4. 複数の参照画像のそれぞれから選択された前記特徴点に対して、より多くの参照画像から選択される特徴点をより低く評価する重み付けを行い、重み付け後の評価結果に基づいて一部の特徴点を更に選択するウェイティング手段を具備したことを特徴とする請求項１ないし３のいずれかに記載の特徴点選択装置。
5. 前記ウェイティング手段は、より少数の参照画像から選択される特徴点をより高く評価する重み付けを行うことを特徴とする請求項４に記載の特徴点選択装置。
6. 参照画像から選択した特徴点とカメラ画像から検出した特徴点との類似度に基づいて前記カメラ画像に対応する参照画像を識別する情報処理装置において、
   参照画像を射影変換して複数の射影変換画像を作成する画像作成手段と、
   参照画像、各射影変換画像およびカメラ画像から特徴点を検出して、その局所特徴量を特徴ベクトル化する局所特徴量抽出手段と、
   参照画像および各射影変換画像の特徴ベクトルを予め用意された複数の代表ベクトルのいずれかに量子化する量子化手段と、
   参照画像の各特徴点と各射影変換画像の各特徴点とを量子化された代表ベクトルに基づいて対応付けるマッチング手段と、
   参照画像の各特徴点を、当該特徴点と対応付けられて幾何的な正当性が検証された射影変換画像の特徴点数に基づいて評価する幾何的検証手段と、
   前記評価結果に基づいて、前記参照画像の特徴点の一部を選択する特徴点選択手段と、
   前記カメラ画像から検出された特徴点と前記選択された特徴点とのマッチング結果に基づいて、前記カメラ画像に対応する参照画像を識別する識別手段とを具備したことを特徴とする情報処理装置。
7. 前記マッチング手段は、局所特徴量の特徴ベクトルが同一の代表ベクトルに量子化された参照画像の特徴点および射影変換画像の特徴点を対象に、特徴ベクトルの比較結果が所定の条件を満足する特徴点同士を対応付けることを特徴とする請求項６に記載の情報処理装置。
8. 前記特徴点選択手段は、前記選択された各特徴点を、その評価結果を重み値として管理し、
   前記識別手段は、前記カメラ画像から検出された特徴点と前記選択された特徴点とのマッチング結果に前記重み値を反映することを特徴とする請求項６または７に記載の情報処理装置。
9. 複数の参照画像のそれぞれから選択された前記特徴点に対して、より多くの参照画像から選択される特徴点を低く評価する重み付けを行い、重み付け後の評価結果に基づいて一部の特徴点を更に選択するウェイティング手段を具備したことを特徴とする請求項６ないし８のいずれかに記載の情報処理装置。
10. 前記ウェイティング手段は、前記選択された各特徴点を、その評価結果を重み値として管理し、
    前記識別手段は、前記カメラ画像から検出された特徴点と前記選択された特徴点とのマッチング結果に前記重み値を反映することを特徴とする請求項９に記載の情報処理装置。
11. 参照画像から特徴点を選択する特徴点選択方法において、
    参照画像を射影変換して複数の射影変換画像を作成する手順と、
    参照画像および各射影変換画像の特徴点から局所特徴量を抽出して特徴ベクトル化する手順と、
    各特徴ベクトルを予め用意された複数の代表ベクトルのいずれかに量子化する手順と、
    参照画像の各特徴点と各射影変換画像の各特徴点とを量子化された代表ベクトルに基づいて対応付ける手順と、
    参照画像の各特徴点を、当該特徴点と対応付けられて幾何的な正当性が検証された射影変換画像の特徴点数に基づいて評価する手順と、
    前記評価結果に基づいて、前記参照画像の特徴点の一部を選択する手順とを含むことを特徴とする特徴点選択方法。
12. 前記対応付ける手順では、局所特徴量の特徴ベクトルが同一の代表ベクトルに量子化された参照画像の特徴点および射影変換画像の特徴点を対象に、特徴ベクトルの比較結果が所定の条件を満足する特徴点同士を対応付けることを特徴とする請求項１１に記載の特徴点選択方法。
13. 複数の参照画像のそれぞれから選択された前記特徴点に対して、より多くの参照画像から選択される特徴点をより低く評価する重み付けを行い、重み付け後の評価結果に基づいて一部の特徴点を更に選択するウェイティング手順を含むことを特徴とする請求項１１または１２に記載の特徴点選択方法。
14. 参照画像から特徴点を選択する特徴点選択プログラムにおいて、
    参照画像を射影変換して複数の射影変換画像を作成する手順と、
    参照画像および各射影変換画像の特徴点から局所特徴量を抽出して特徴ベクトル化する手順と、
    各特徴ベクトルを予め用意された複数の代表ベクトルのいずれかに量子化する手順と、
    参照画像の各特徴点と各射影変換画像の各特徴点とを量子化された代表ベクトルに基づいて対応付ける手順と、
    参照画像の各特徴点を、当該特徴点と対応付けられて幾何的な正当性が検証された射影変換画像の特徴点数に基づいて評価する手順と、
    前記評価結果に基づいて、前記参照画像の特徴点の一部を選択する手順とを、コンピュータに実行させる特徴点選択プログラム。
15. 前記対応付ける手順では、局所特徴量の特徴ベクトルが同一の代表ベクトルに量子化された参照画像の特徴点および射影変換画像の特徴点を対象に、特徴ベクトルの比較結果が所定の条件を満足する特徴点同士を対応付けることを特徴とする請求項１４に記載の特徴点選択プログラム。
16. 複数の参照画像のそれぞれから選択された前記特徴点に対して、より多くの参照画像から選択される特徴点を低く評価する重み付けを行い、重み付け後の評価結果に基づいて一部の特徴点を更に選択する手順を含むことを特徴とする請求項１４または１５に記載の特徴点選択プログラム。