JP2015138413A - 画像照合方法、画像処理システム、及びプログラム - Google Patents

Abstract

【課題】画像照合の対象の特徴点を絞り込む。【解決手段】画像処理装置は、生成された第１のペア候補のうちの第１の特徴点ペアに対し、１つ以上の第２の特徴点ペアについて以下の処理を行う。すなわち、第１のベクトルは、第１の特徴点ペアの第１の特徴点と第２の特徴点ペアの第１の特徴点とを結ぶベクトルとする。第２のベクトルは、第１の特徴点ペアの第２の特徴点と第２の特徴点ペアの第２の特徴点とを結ぶベクトルとする。このとき、画像処理装置は、第１のベクトルと第２のベクトルとのなす角度と所定の角度との比較の結果に基づき、第１のペア候補から削除する第１の特徴点ペアを判定する。また、画像処理装置は、第１のペア候補から、削除すると判定された第１の特徴点ペアを除いた第２のペア候補に含まれる特徴点ペアに基づき第１の画像と第２の画像との照合を行う。【選択図】図１

Description

本発明は、画像照合方法、画像処理システム、及びプログラムに関する。

画像をクエリとする画像検索や、画像の合成によるパノラマ画像の作成など、画像から求めた特徴点を用いて画像の照合を行う技術が広く使用されている。例えば、２つの画像のうちの一方の画像の特徴点の座標が、他方の画像の特徴点の座標と一致するように座標変換処理するための座標変換係数を決定する方法がある。互いに異なる角度から検査対象物体を撮影した第１及び第２の画像において、第１の画像から第２の画像への画像の平面的な射影変換を実行して得られる変換座標と、第２の画像における特徴点座標との誤差が一定値以下の場合、なりすましが試みられたと判定する方法も知られている。異なるカテゴリに属する部分空間の間の類似度を大きくする一方で、同じカテゴリに属する部分空間の間の類似度は小さくするような線形変換行列が得られる線形変換行列算出装置や、指紋照合に用いる画像検索なども知られている。局所不変特徴量の使用により得られた誤対応や混合した対応点を含む対応付け結果から、個々の認識対象の対応点を分離し、それに基づいて認識を行うことができる映像内の複数広告看板の認識方法も知られている。このとき、視点位置や認識対象の姿勢の変化では生じ得ない変形を除去するようにしている。（例えば、特許文献１〜５参照）。

画像照合に用いられる２画像間の射影変換行列推定方法としては、例えば、Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ（ＲＡＮＳＡＣ）がある（例えば、非特許文献１参照）。また、クラスタリングを用いてｍ個の特徴点ペアの選択範囲を限定する方法が知られている（例えば、非特許文献２参照）。異なる景色などを撮影した画像において、信頼できる照合を行う方法も知られている（例えば、非特許文献３参照）。

特開２０１０−２７２０９１号公報 国際公開ＷＯ２０１０／０５０２０６号公報 特表２００８−５２９１５６号公報 特開２０１０−１８２０１３号公報 特開２００７−１４０６１３号公報

M. A. Fischler and R. C. Bolles, "Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography," Communications of the ACM, 24(6):381-395, 1981. Kai Ni, Hailin Jin, and Frank Dellaert, "GroupSAC: Efficient Consensus in the Presence of Groupings," IEEE Interational Conference on Computer Vision (ICCV), 2009. David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2 (2004), pp. 91-110.

画像の照合等において撮影画像を用いる場合、背景や遮蔽物、光の反射や影などのノイズが多く含まれることにより、特徴点のペア候補群の中に誤った特徴点ペア（ｏｕｔｌｉｅｒ）が増加する場合がある。ペア候補群の中のｏｕｔｌｉｅｒの割合が高くなると、特徴点ペアの全てが正しいペア（ｉｎｌｉｅｒ）である確率が減少する。このため、照合対象の画像間の変換行列を推定するための行列計算を複数回行っても、行列が計算できなかったり、推定精度が悪化したりするという問題が生じる。

ひとつの側面によれば、本発明の目的は、画像照合の対象の特徴点を絞り込むことを可能とすることである。

ひとつの態様である画像照合方法は、画像処理装置が、第１の画像と第２の画像とにおいてそれぞれ抽出された複数の特徴点から、互いに対応する第１の画像の第１の特徴点と第２の画像の第２の特徴点との特徴点ペアを複数含む第１のペア候補を生成する。画像処理装置は、生成された第１のペア候補のうちの第１の特徴点ペアに対し、１つ以上の第２の特徴点ペアについて以下の処理を行う。すなわち、第１のベクトルは、第１の特徴点ペアの第１の特徴点と第２の特徴点ペアの第１の特徴点とを結ぶベクトルとする。第２のベクトルは、第１の特徴点ペアの第２の特徴点と第２の特徴点ペアの第２の特徴点とを結ぶベクトルとする。このとき、画像処理装置は、第１のベクトルと第２のベクトルとのなす角度と所定の角度との比較の結果に基づき、第１のペア候補から削除する第１の特徴点ペアを判定する。また、画像処理装置は、第１のペア候補から、削除すると判定された第１の特徴点ペアを除いた第２のペア候補に含まれる特徴点ペアに基づき第１の画像と第２の画像との照合を行う。

実施形態の画像照合方法、画像処理システム及びプログラムによれば、画像照合の対象の特徴点を絞り込むことが可能になる。

画像処理システムの構成の一例を示す図である。 画像処理システムの機能の一例を示すブロック図である。 ペア判定の一例を示す図である。 ペア判定の一例を示す図である。 ペア判定におけるセットの判定方法を説明する図である。 ペア判定におけるセットの判定方法を説明する図である。 ペア判定の効果の一例を示す図である。 ペア候補テーブルの一例を示す図である。 行列推定テーブルの一例を示す図である。 画像処理システムの動作を説明するフローチャートである。 ペア判定処理の一例を示すフローチャートである。 行列推定処理の一例を示すフローチャートである。 第１の変形例によるペア選択処理を説明する図である。 第１の変形例によるペア選択処理の一例を示すフローチャートである。 第２の変形例によるペア選択処理において適切なセットを選択する例を示す図である。 第２の変形例によるペア選択処理の一例を示すフローチャートである。 第３の変形例によるセット選択処理の一例を示すフローチャートである。 標準的なコンピュータのハードウエア構成の一例を示す図である。

（一実施の形態）
以下、図面を参照しながら、一実施の形態による画像処理システム１について説明する。図１は、本実施の形態による画像処理システム１の構成の一例を示す図である。図１に示すように、画像処理システム１は、サーバ３、クライアント１１がネットワーク８を介して接続されたシステムである。サーバ３は、例えば標準的なコンピュータなどの情報処理装置である。ネットワーク８は、有線または無線による通信ネットワークである。クライアント１１は、例えば多機能携帯電話、携帯情報端末などである。

サーバ３は、演算処理装置５、通信装置７、および記憶装置９を有している。演算処理装置５は、サーバ３における演算処理を行う例えば中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）等のプロセッサである。演算処理装置５は、例えば記憶装置９に記憶されたプログラムを読み込んで実行することにより、サーバ３の動作に必要な演算処理を行う。通信装置７は、ネットワーク８を介して外部との情報の送受信を行う装置であり、アンテナ、送受信回路などを含む。記憶装置９は、サーバ３の動作を制御するプログラムや、処理に必要な情報等を記憶する記憶装置である。記憶装置９は、例えば、半導体記憶装置、外部記憶装置などを含むようにしてもよく、複数の画像情報、または画像の特徴点及び特徴量を含む情報を記憶するようにしてもよい。

クライアント１１は、演算処理装置１３、入力装置１５、表示装置１７、記憶装置１９、通信装置２１、カメラ２２を有している。演算処理装置１３は、クライアント１１の動作を制御するプロセッサであり、例えば記憶装置１９に記憶されたプログラムを読み込んで実行することにより、クライアント１１の動作を制御する。入力装置１５は、クライアント１１に対する処理等を入力するための装置であり、例えば、キーボード装置、タッチパネル、マイク等である。表示装置１７は、情報を表示する装置であり、例えば液晶表示装置などである。通信装置２１は、ネットワーク８を介して情報を送受信する装置であり、アンテナ、送受信回路などを含む。カメラ２２は、画像を撮影する装置である。

画像処理システム１では、例えばクライアント１１で撮影された第１の画像を、ネットワーク８を介してサーバ３に送信し、サーバ３が記憶装置９から読み出した第２の画像と照合処理を行う。

図２は、本実施の形態による画像処理システム１の機能の一例を示すブロック図である。図２に示すように画像処理システム１は、特徴点抽出部２３、ペア生成部２５、ペア判定部２７、ペア選択部２９、行列推定部３１、照合部３３を有している。

特徴点抽出部２３は、照合対象の第１の画像及び第２の画像から特徴点及び特徴点における特徴量を抽出する。このとき、例えば、特徴点抽出部２３は、第１の画像については、クライアント１１で特徴点及び特徴量を抽出し、第２の画像については、記憶装置１９から読み出し、サーバ３側で特徴点及び特徴量を抽出してもよい。このとき、サーバ３では、第１の画像については、クライアント１１からネットワーク８を介して特徴点及び特徴量を受信するようにしてもよい。

特徴点には、画像中におけるコーナなど、同じ画像から繰り返し求められる顕著な部分を用いる。各特徴点を表す特徴量には、例えば回転不変の特徴を用いる。例えば特徴点、特徴量には非特許文献３に記載のＳｃａｌ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）やＳｐｒｅａｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）などを用いることができる。ただし、あらかじめ想定できる２画像間の撮影対象に対する撮影装置の位置関係から、２画像間の位置関係において回転角度が小さいと判断できる場合は、特徴量は回転不変でなくてもよい。

ペア生成部２５は、第１の画像及び第２の画像から抽出された特徴点及び特徴量に基づき、互いに対応する第１の特徴点及び第２の特徴点を特徴点ペアとして生成する。ペアの生成は、例えば、第１の画像と第２の画像の特徴量の類似度の高い特徴点を対応付けることにより行うことができる。例えば、ＳＩＦＴ特徴を用いる場合、第１の画像の特徴点と第２の画像の特徴点との特徴量の距離を求め、最も距離が小さい特徴点の組み合わせを特徴点ペアとして対応付ける。ペア生成部２５は、複数の特徴点ペアを生成し、第１のペア候補として記憶装置９にそれぞれの画像における特徴点の座標位置を記憶させる。このとき、ペア生成部２５は、後述するペア候補テーブル１４０に特徴点ペアを記憶させるようにしてもよい。

ペア判定部２７は、ペア生成部２５で生成された第１のペア候補に含まれる各特徴点ペアを、第１の画像と第２の画像との照合を行うための行列を推定するために用いるのが適切か否かを判定する。例えばペア判定部２７は、第１のペア候補から第１の特徴点ペアを選択する。ペア判定部２７は、第１の特徴点ペアと異なる第２の特徴点ペアを第１のペア候補から選択し、第１の特徴点ペアと第２の特徴点ペアとのそれぞれの画像における特徴点同士を結んだベクトルのなす角度（以下、判定角度という）に基づき、ペアが適切か否かを判定する。すなわち、第１のベクトルは、第１の特徴点ペアの第１の画像の第１の特徴点と第２の特徴点ペアの第１の画像の第１の特徴点とを結ぶベクトルである。また、第２のベクトルは、第１の特徴点ペアの第２の画像の第２の特徴点と第２の特徴点ペアの第２の画像の第２の特徴点とを結ぶベクトルである。このとき、判定角度は、第１のベクトルと第２のベクトルとのなす角度である。

具体的な判定としては、例えば判定角度が所定角度以下の第２の特徴点ペアの数の割合が、判定角度を算出した第２の特徴点ペアの数に対し所定値以上であれば、第１の特徴点は、行列を算出するために適切な特徴点ペアであると判定する。ペア判定部２７は、適切であると判定されなかった第１の特徴点ペアを、第１のペア候補から削除する。削除後の第１のペア候補を、第２のペア候補という。なお、判定角度は、対象となる２つの特徴点ペアの各画像上の特徴点同士を結ぶ第１のベクトルと第２のベクトルとのなす、０度から１８０度以下の角度と定義することができる。

ペア選択部２９は、第２のペア候補から、例えばランダムに、予め定められた２以上の有限個（ｍ個：ｍは２以上の整数）の特徴点ペアを選択する。行列推定部３１は、ｍ個の特徴点ペアに基づき、第１の画像と第２の画像との関係を示す変換行列を算出する。この、第１の画像と第２の画像との間の変換行列を推定する処理は、ロバスト推定法である非特許文献１に記載のＲａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ（ＲＡＮＳＡＣ）を用いることで、ノイズを除きながら行うことが可能となる。具体的には、ｍ個の対応する特徴点ペアの座標を基に、２画像間の変換行列（回転変換、相似変換、平行移動：ｍ＝２、アフィン変換：Ｍ＝３、射影変換：ｍ＝４）を求める。さらに、行列推定部３１は、例えば第２のペア候補の上記ｍ個以外の特徴点ペアを用いて、行列の尤もらしさを表す評価値を求める。

照合部３３は、算出された評価値に基づき、第１の画像と第２の画像との照合を行う。例えば、評価値が予め決められた値より大きければ、尤もらしい行列が推定されたと判定し、第１の画像と第２の画像とは一致していると判定するようにしてもよい。

図３、図４は、本実施の形態によるペア判定の一例を示す図である。図３、図４では、第１の画像における特徴点Ａ〜Ｄ、第２の画像における特徴点Ａ’〜Ｄ’を示している。

図３に示すように、第１の画像における特徴点Ａと、第２の画像における特徴点Ａ’が、ペア６１で表されている。同様に、この例ではペア６３〜ペア６９が示されている。このとき、第１の画像において第１の特徴点は特徴点Ａであり、第１の画像における第２の特徴点は、特徴点Ｂ〜Ｅであるとする。例えば、第１のベクトルがベクトルＡＢ、第２のベクトルがベクトルＡ’Ｂ’のとき、ペア判定部２７は、第１のベクトルと第２のベクトルとのなす判定角度が予め決められた角度より大きいか否かを判別する。同様に、ベクトルＡＣとベクトルＡ’Ｃ’、ベクトルＡＤとベクトルＡ’Ｄ’、ベクトルＡＥとベクトルＡ’Ｅ’がなす判定角度をそれぞれ判別する。

図３の例では、ベクトル４３とベクトル５３、ベクトル４５とベクトル５５の組合せでは、ベクトル同士のなす判定角度が決められた角度より大きい。よって、対応する特徴点ペアＡＡ’と特徴点ペアＢＢ’との組合せ（セットという）、および特徴点ペアＡＡ’と特徴点ペアＣＣ’とのセットとが、不適切な特徴点ペアのセットとなる。また、ベクトル４７とベクトル５７、ベクトル４９とベクトル５９の組合せが適切な特徴点ペアのセット（特徴点ペアＡＡ’と特徴点ペアＤＤ’とのセット、および特徴点ペアＡＡ’と特徴点ペアＥＥ’とのセット）を示している。この例では、４つのセットに対し、適切なセットは２つである。よって、特徴点ペアＡＡ’に関して、適切なセットの割合は５０％となる。このとき、予め決められた閾値が５０％未満であれば、第１の特徴点ペアである特徴点ペアＡＡ’は、適切な特徴点ペア（ｉｎｌｉｅｒ）であると判別される。

図４は、ベクトル７３〜７９とベクトル８３〜８９との組合せに対応する全てのセットが不適切なセットであることを示している。閾値は０％を超えていると考えられるので、この場合には、特徴点ペアＡＡ’は、不適切な特徴点ペア（ｏｕｔｌｉｅｒ）であると判別される。

図５、図６は、上記ペア判定におけるセットの判定方法をさらに説明する図である。図５に示すように、第１の特徴点ペアとして特徴点ペアＡＡ’（ペア１１１）が選択され、第２の特徴点ペアとして、特徴点ペアＢＢ’、ＣＣ’（ペア１１３、１１５）が選択されている。このとき、図６に示すように、第２の特徴点ペアＢＢ’について、ベクトルＡＢ（ベクトル１０３）とベクトルＡ’Ｂ’（ベクトル１０８）とのなす角θ_ＡＢは、予め決められた例えば閾値θｔｈ以下である。よって、特徴点ペアＡＡ’と特徴点ペアＢＢ’とのセットは適切であると判定される。一方、第２の特徴点ペアＣＣ’について、ベクトルＡＣ（ベクトル１０５）とベクトルＡ’Ｃ’（ベクトル１０９）とのなす角θ_ＡＣは、予め決められた例えば閾値θｔｈより大きい。よって、特徴点ペアＡＡ’と特徴点ペアＣＣ’とのセットは不適切であると判定される。

図７は、ペア判定の効果の一例を示す図である。上記のようにペア判定が行われることにより、判定前の第１のペア候補同士のセットがなす角度と、ペア判定で適切と判定された特徴点ペア同士のセットがなす角度との分布は相違がある。図７は、ペア判定前の全特徴ペアから選択されたセットにおける判定角度と、適切であると判定された特徴点ペアから選択されたセットにおける判定角度とを、横軸に角度、縦軸に頻度をとって表している。なお、図７においては、説明の都合上、横軸の角度は、例えば第１のベクトルに対して一方の方向の角度を正の角度、他方の方向の角度を負の角度として示している。図７に示すように、適切と判定された特徴点ペア（ｉｎｌｉｅｒ）同士のセットは、明らかに判定角度θがゼロ度付近に集中している。

図８は、ペア候補テーブル１４０の一例を示す図である。図８に示すように、ペア候補テーブル１４０は、縦横に特徴点抽出部２３で抽出された特徴点ペアを、第１の画像における特徴点の名称で代表して示している。この例では、各行（縦に並べられた）の特徴点が第１の特徴点ペアを表し、各列（横に並べられた）特徴点が第２の特徴点ペアを表している。

例えば、ペア候補テーブル１４０は、第１の特徴点がＡ、第２の特徴点がＣのとき、判定角度は、予め決められた角度θｔｈ以下の角度θ_ＡＣであることを示している。例えば、ペア候補テーブル１４０は、第１の特徴点がＡ、第２の特徴点がＢのとき、判定角度は、予め決められた角度θｔｈより大きいことを「×」で示している。取り消し線１４２、特定の第１の特徴点ペアについて、判定角度が角度θｔｈを超えているセットの割合が所定値を超えている場合、対応する第１の特徴点ペアが不適切な特徴点ペアであることを示している。ペア候補テーブル１４０の各行の特徴点ペアのうち、取り消し線１４２が引かれていない第１の特徴点ペアが、第２のペア候補となる。

図９は、行列推定テーブルの一例を示す図である。図９に示すように、ここで、整数ｍ（ｍは、２以上の整数）は、第３のペア候補のそれぞれに含まれる特徴点ペアの数を示し、整数Ｌ（Ｌは、１以上の整数）は、第３のペア候補の組の数を表わす。図９の例では、Ｌ組のｍ個の特徴点ペアから、行列Ｋ１〜ＫＬ（Ｌ＝１〜Ｌ）が推定されることを示している。

以下、図１０から図１２を参照しながら、画像処理システム１による処理を説明する。以下、クライアント１１は、取得した画像をサーバ３に送信し、サーバ３で特徴量抽出を行う場合について説明する。また、以下の処理は、サーバ３の演算処理装置５またはクライアント１１の演算処理装置１３が所定のプログラムをそれぞれ読み込んで実行することにより行われる処理であるが、図２に示した各部が処理を行うとして説明する。

図１０は、本実施の形態による画像処理システム１の動作を説明するフローチャートである。図１０に示すように、特徴点抽出部２３は、第１の画像及び第２の画像のそれぞれについて、特徴点（Ｓ１５１）及び特徴量（Ｓ１５２）を抽出する。ペア生成部２５は、抽出された特徴点の座標、および特徴量に基づき、互いに対応する特徴点を特徴点ペアとして生成する（Ｓ１５３）。このとき、生成された特徴点をペア候補テーブル１４０に第１のペア候補として記憶させることが好ましい。さらにペア生成部２５は、生成された特徴点ペアが、行列を推定するために必要な所定数（ｍ個）以上か否かを判別し、ｍ個に満たない場合には、行列が計算できないためリジェクトと判断して（Ｓ１５４：ＹＥＳ）、Ｓ１５１に処理を戻す。特徴点ペアがｍ個以上抽出された場合には（Ｓ１５４：ＮＯ）、ペア判定部２７は、抽出された第１のペア候補が適切か否かを判定する（Ｓ１５５）。ペア判定の詳細は後述する。

ペア選択部２９は、Ｓ１５５で適切と判定された第２のペア候補から、例えばランダムにｍ個の特徴点ペアを抽出する。行列推定部３１は、抽出された特徴点ペアに基づき、第１の画像と第２の画像との変換行列を算出すると共に、算出された変換行列に関する評価値を算出する（Ｓ１５６）。行列推定部３１は、このとき、最も高い評価値が算出された行列を、２画像間の変換行列とすることができる。行列推定の詳細は後述する。照合部３３は、算出された評価値に基づき、第１の画像と第２の画像との照合を行う（Ｓ１５７）。このとき、照合部３３は、最も高い評価値が、予め決められた閾値を越えているか否かなどにより、２画像間の適合度を判断することもできる。

図１１は、本実施の形態によるペア判定処理の一例を示すフローチャートである。ペア判定処理は、図１０のＳ１５５の処理である。図１１に示すように、ペア判定部２７は、例えばペア候補テーブル１４０に記憶されている第１のペア候補において、未判定の第１の特徴点ペアがあるか否かを判定し、ない場合には（Ｓ１９１：ＮＯ）、図１０の処理に戻って処理を継続する。未判定の第１の特徴点ペアがある場合には（Ｓ１９１：ＹＥＳ）、ペア判定部２７は、第１のペア候補から、第１の特徴点ペアとして特徴点ペアを一つ選択する（Ｓ１９２）。ペア判定部２７は、適切なセット数ｓ＝０（Ｓは、０以上の整数）、試行回数ｎ＝０（ｎは、０以上の整数）と初期化を行う（Ｓ１９３）。適切なセット数ｓとは、以下に説明するセット判定に基づき適切と判断される特徴点ペアの組（セット）の数である。試行回数ｎとは、セット判定処理の試行回数である。

ペア判定部２７は、第１のペア候補から、第１の特徴点ペア以外の特徴点ペアを第２の特徴点ペアとして一つ選択する（Ｓ１９４）。ペア判定部２７は、選択した第１の特徴点ペアと第２の特徴点ペアとについて、上述のように判定角度θ（例えば、第１のベクトルＡＢと第２のベクトルＡ’Ｂ’との角度）を算出し、判定角度θが閾値θｔｈより大きいか否かを判別する（ステップ１９５）。例えばこのとき、判定角度θは０度−１８０度とすることができる。また、角度の正負を一意に決めるため、基準となる第１の画像（図５では画像１０１)において、例えば原点に近い特徴点（図５では点Ａ）を基準としてベクトルを求めるようにしてもよい。このとき、例えば判定角度θの範囲は、−１８０度から１８０度であるとすることができ、ペア判定部２７は、判定角度θの絶対値が閾値θｔｈより絶対値が大きいか否かを判別するようにすればよい。

ここで、画像同士の撮影時の撮影対象と撮影装置との位置関係に応じた角度（以下、画像間の角度ともいう）が一定値以内に含まれると事前に想定できる場合、判定角度θは一定範囲（例えば０〜θｔｈ、あるいは−θｔｈ〜θｔｈ）に収まる。したがって、｜θ｜＞θｔｈの場合、セットに含まれる２つの特徴点ペアの内、少なくとも１つの特徴点ペアはｏｕｔｌｉｅｒであることが分かる。よって、Ｓ１９５において、ペア判定部２７は、｜θ｜≦θｔｈであれば適切なセット、｜θ｜＞θｔｈあれば不適切なセットであると判定する。

すなわち、判定角度θの絶対値が閾値θｔｈ以下の場合（Ｓ１９５：ＮＯ）、ペア判定部２７は、選択された第１の特徴点ペアと第２の特徴点ペアとのセットは適切であると判定してｓ＝ｓ＋１とする（Ｓ１９６）。さらにペア判定部２７は、ペア候補テーブル１４０に、そのときの判定角度θ（θ_ＡＢという）を記憶させる。なお、セット判定において、例えば｜θ｜＜θｔｈであれば適切なセット、｜θ｜≧θｔｈであれば不適切なセットとしてもよい。

例えば、判定角度θの絶対値が閾値θｔｈより大きい場合（Ｓ１９５：ＹＥＳ）、ペア判定部２７は、選択された第１の特徴点ペアと第２の特徴点ペアとのセットは不適切であると判定する。さらにペア判定部２７は、ペア候補テーブル１４０において、対応する欄に不適切であることを「×」などと記憶させる（Ｓ１９８）。

ペア判定部２７は、ｎ＝ｎ＋１とし（Ｓ１９９）、試行回数ｎが閾値ｎｔｈ未満である間、Ｓ１９４に戻って処理を繰り返す（Ｓ２００：ＮＯ）。試行回数ｎが閾値ｎｔｈ以上になると（Ｓ２００：ＹＥＳ）、ペア判定部２７は、ｓ＜ｍ×ｎ／Ｎ（Ｎは、第１のペア候補の数）であるか否かを判別する（Ｓ２０１）。

ｓ＜ｍ×ｎ／Ｎでない場合（Ｓ２０１：ＮＯ）、ペア判定部２７は、Ｓ１９１に戻って処理を繰り返す。ｓ＜ｍ×ｎ／Ｎである場合（Ｓ２０１：ＹＥＳ）、ペア判定部２７は、第１の特徴点ペアはｏｕｔｌｉｅｒであると判別する（Ｓ２０２）。また、ペア判定部２７は、ペア候補テーブル１４０において、例えば取り消し線１４２のように、第１のペア候補から第１の特徴点ペアを削除し（Ｓ２０３）、処理をＳ１９１に戻す。

ここで、閾値θｔｈの決定方法について説明する。あらかじめ、使用方法から２画像間の角度の範囲を想定して、照合対象物の中心点を原点とする直交する３軸周りに最大ｘ、ｙ、ｚ度回転すると設定する。また、カメラなど撮影機器の傾きを取得して、動的にｘ、ｙ、ｚを設定することも可能である。このようにして設定した画像の回転角度ｘ、ｙ、ｚを基に四角形の４隅の座標を回転・透視投影変換する。そして、変換前後の座標のペアを２つ組み合わせてセットおよびセットがなす角度を求める。組み合わせを変えながら求めた複数のセットの内、最大角度を閾値θｔｈとする。

例えば、平面画像上の座標（ｈ，ｖ）を、想定角度ｘ、ｙ、ｚで下記式１のロール・ピッチ・ヨーの回転行列を用いて回転すると、３次元空間上の座標（Ｘ，Ｙ，Ｚ）に変換される。この座標を２次元平面上に下記式２で変換した座標を（ｈ’，ｖ’）とする。ここでＦは視点からの距離で任意の値とする。

変換前後の座標を２組用いて、各画像上の座標同士を結ぶ第１のベクトルと第２のベクトルとがなす判定角度θを求める。複数の座標から求めた判定角度θのうち、最も大きい値を閾値θｔｈとする。

また、閾値ｎｔｈは、例えば以下の式３で求められる。

ここで、比率Ｐは、予想される母比率（母集団におけるある条件を満たす対象の比率）である。比率Ｐが事前に推定することが困難な場合、例えばＰ＝０．５（＝５０％）などとすることもできる。

εは、ｎｔｈ回セット判定を試行したときに、第２の特徴点ペアとして適切な第２の特徴点ペアが選択される割合と、第１のペア候補に含まれる適切な特徴点ペアとの誤差として容認できる割合とする。

μ（α）は、信頼度（１００−α）によって定まる値で、信頼度を９５％と定める場合μ（α）＝１．９６、信頼度を９９％とする場合、μ（α）＝２．５８を用いる。例えば信頼度が９５％である場合、ｎｔｈ回セット判定を試行したときに適切な特徴点ペアが選択される割合が９５％の確率で（適切である特徴点ペアの割合の平均値（試行により得られる値）‐ε×１．９６）〜（適切である特徴点ペアの割合の平均値＋ε×１．９６）の範囲に収まることを意味する。

図１２は、本実施の形態による行列推定処理の一例を示すフローチャートである。行列推定処理は、図１０のＳ１５６の処理である。図１２に示すように、ペア選択部２９は、ペア候補テーブル１４０を参照して、適切と判断された特徴点ペア（削除されていない特徴点ペア）である第２のペア候補を入力する（Ｓ２２１）。ペア選択部２９は、第２のペア候補の数がｍに満たない場合には、行列の推定が行えないためリジェクトと判別し、処理を打ち切って、図１０の処理に処理を戻す（Ｓ２２２：ＹＥＳ）。

第２のペア候補の数がｍ以上の場合には（Ｓ２２２：ＮＯ）、ペア選択部２９は、試行回数ｌ＝０とし（Ｓ２２３）、第２のペア候補から特徴点ペアをｍ個選択する（Ｓ２２４）。このとき、ペア選択部２９は、第２のペア候補からランダムに、重複しないｍ個の特徴点ペア（第３のペア候補という）を選択することができる。

行列推定部３１は、選択されたｍ個の特徴点ペアを含む第３のペア候補に基づき、第１の画像と第２の画像との関係を示す変換行列を計算する（Ｓ２２５）。行列推定部３１は、計算された行列に応じて評価値を計算する（Ｓ２２６）。

評価値計算では、まず、Ｓ２２５で求めた行列を用いて、第２のペア候補に含まれる第３のペア候補以外の特徴点ペアのそれぞれについて、第１の画像の第１の特徴点の座標を座標変換する。次に、変換後の座標と、第２の画像における対応する第２の特徴点の座標との距離が閾値以内である特徴点ペアの数を求め、これを評価値とする。

行列推定部３１は、試行回数ｌが閾値Ｌｔｈより大きいか否か判別し（Ｓ２２７）、閾値Ｌｔｈ以下の場合には（Ｓ２２７：ＮＯ）、ｌ＝ｌ＋１とし（Ｓ２２８）、Ｓ２２４から処理を繰り返す。試行回数Ｌが閾値Ｌｔｈを超えた場合には（Ｓ２２７：ＹＥＳ）、行列推定部３１は、Ｌ個の評価値のうち、最も高い評価値が算出された行列を、第１の画像と第２の画像との関係を示す変換行列と決定し（Ｓ２２９）、図１０の処理に処理を戻す。

ここで、試行回数の閾値Ｌｔｈについて説明する。閾値Ｌｔｈは、１以上の整数とすることもできるが、例えば下記の式４で表される値を用いることもできる。

ここで、Ｐ_ｆａｉｌはＬｔｈ回試行を行った場合に正しい行列を全く求められない確率である。Ｐ_ｆａｉｌの閾値Ｐ_ｔｈ（容認できる誤り率）をあらかじめ決めておき、Ｐ_ｆａｉｌ＜Ｐ_ｔｈを満たすＬｔｈを試行回数の閾値とする。また、Ｐ_{ｉｎｌｉｅｒ}は選択した特徴点ペアがｉｎｌｉｅｒである確率であり、評価値／第２のペア候補数とすることができる。なおこのとき、第３のペア候補の組数Ｌは、閾値Ｌｔｈを超えない整数となる。

以上説明したように、一実施の形態による画像処理システム１によれば、ペア生成部２５は、第１の画像と第２の画像とにおいて、互いに対応する第１の画像の第１の特徴点と第２の画像の第２の特徴点との複数の特徴点ペアを含む第１のペア候補を生成する。ペア判定部２７は、生成された第１のペア候補のうちの第１の特徴点ペアに対し、第１の特徴点ペアと異なる第２の特徴点ペアを選択する。ペア判定部２７は、第１の画像における上記第１及び第２の特徴点ペアの第１の特徴点同士を結ぶ第１のベクトルと、第２の画像における第２の特徴点同士を結ぶ第２のベクトルとのなす判定角度θと閾値θｔｈとを比較する。ペア判定部２７は、複数の第２の特徴点ペアについて第１の特徴点ペアに対する判定角度θの絶対値が閾値θｔｈを超える割合が所定値以上の場合に、第１の特徴点ペアを第１のペア候補から削除すると判定する。削除されなかった第１のペア候補が、第２のペア候補となる。

ペア選択部２９は、第２のペア候補から２以上の第１の所定数（ｍ）の特徴点ペアを含む第３のペア候補を選択する。このとき、ペア選択部２９は、一以上の組数Ｌ、好ましくは閾値Ｌｔｈを超えない最大の整数Ｌの組の第３のペア候補を選択することができる。行列推定部３１は、第３のペア候補に基づき、第１の画像と第２の画像との関係を示す行列を推定する。照合部３３は、推定された行列を用いて変換を実行した結果と特徴点ペアとに基づく行列の確からしさを示す評価値を用いて第１の画像と第２の画像との照合を行う。

以上のように、本実施の形態による画像処理システム１によれば、第１の画像と第２の画像とにおける、２組の特徴点ペアの各画像における特徴点同士を結ぶベクトルのなす判定角度に応じて、ペア候補を削除するか否かを判別できる。画像処理システム１では、行列推定に用いる第３のペア候補を、適切でない特徴点ペアを削除した第２のペア候補から選択する。よって、第２のペア候補の数を削減でき、第３のペア候補を選択するための処理を削減することが可能になる。また、不適切な特徴点ペアを予め除外するため、選択されたｍ個の特徴点ペアにおける適切な特徴点ペアの割合を増加させることができる。よって、より確からしい変換行列を推定することができる。さらに、そのようにして推定された変換行列に基づき評価値を算出して画像の照合を行うので、より適確に画像照合が可能である。

本実施の形態による画像処理システム１では、行列推定に不適切な特徴点ペアを特定して除去することができ、また、重複しない特徴点ペアを選択することが可能である。さらに、２つの画像に反転やねじれが生じた場合等、適切な特徴点ペアの数が所定数ｍより少ない場合には処理を打ち切るので、不適切な変換行列が計算されることが防止できる。さらに、特徴点ペアの候補の組を複数選択して、最も高い評価値を有する行列を変換行列と推定することができる。

逆に、上下左右の反転やねじれのない画像を第１及び第２の画像として利用する場合には、不適切と判定される特徴点ペアが少ないことが期待されるので、より精度よく行列の推定及び画像の照合を行うことができる。上下左右の判定やねじれのない場合とは、例えば、固定されたカメラ位置から画像を撮影する場合などが該当する。

なお、図７で説明したように、適切と判定されたセットがなす角度と、その頻度の関係の例から、適切と判定された特徴点ペア同士を組み合わせたセットでは、セットのなす角度の多くが一定範囲の角度に収束する。したがって、頻度が顕著に高い角度がなく一様な分布である場合は、適切な特徴点ペアが含まれていないとみなして、リジェクトとすることもできる。例えば、頻度を正規化したときの最大頻度が閾値未満であればリジェクトとするようにしてもよい。第１のペア候補の中に含まれるｏｕｔｌｉｅｒの割合が多い場合、図１２のＳ２２４からＳ４０４の反復処理数が多くなるが、リジェクト処理により処理を打ち切ることで、処理量を削減することができる。

（第１の変形例）
以下、第１の変形例について説明する。第１の変形例において、上記実施の形態による画像処理システム１と同様の構成及び動作については、同一番号を付し、詳細説明を省略する。本変形例は、上記実施の形態の例えば、図１２のＳ２２４のペア選択処理の変形例である。第１の変形例において、システムの構成は画像処理システム１と同様である。

図１３は、第１の変形例によるペア選択処理を説明する図である。図１３において、頻度Ｗ（θｊ）は、角度θｊをなすセットの存在頻度の予測値を示す。総和Ｗｓｕｍは、例えばペア候補テーブル１４０において、適切と判定された（「×」とされていない）全セットの重みの総和を示す。図７に示したように、セットがなす判定角度θとその頻度をヒストグラムで表すと、ｉｎｌｉｅｒ同士を組み合わせたセットでは、セットのなす角度の多くが一定範囲の角度に収束する。したがって、頻度が高い角度を持つセットに重みを多く掛けることで、ｉｎｌｉｅｒ同士を組み合わせたセットが優先的に選択されるようにする。

図１３に戻って、あるセットがなす角度をθとしたとき、このセットの重みＷ（θｉ）を式５に示す正規分布と設定する。ここで、θｍは頻度が最も大きい角度、σは頻度の分散を表す。なお、このとき正規分布は、適切な特徴点ペア同士のセットに応じた判定角度の予測される分布として設定される。

このとき、重みの総和Ｗｓｕｍは、下記式６で表される。なお、ｓは、適切と判定された特徴点ペアのセット数である。

ここで、０＜ｊ＜ｓの整数とすると、ｊ番目のセットは総和Ｗｓｕｍのうち、下記式７のｒの範囲に含まれると仮定される。

よって、次に、０〜Ｗｓｕｍの範囲からランダムに選択した数を数ｒとし、上記式７を満たすｊを求めることにより、ｊ番目のセットをペア候補テーブル１４０における不適切とされていない候補の中から選択する。これにより、重みが大きいセットが選択されやすくなる。

図１４は、第１の変形例によるペア選択処理の一例を示すフローチャートである。図１４に示すように、本変形例においては、ペア選択部２９は、重みＷ（θｉ）に応じてランダムにセットを複数選択し、ｍ個のペアを取得する。

ペア選択部２９は、例えばペア候補テーブル１４０を参照し、適切と判定されたセットを入力する（Ｓ２３１）。ペア選択部２９は、入力されたセットのそれぞれについて、式３に基づき重みＷ（θｉ）を計算する（Ｓ２３２）。ペア選択部２９は、計算された重みＷ（θｉ）に基づき、重みの総和Ｗｓｕｍを計算する（Ｓ２３３）。

ペア選択部２９は、保存済ペア数＝０と初期化する（Ｓ２３４）。ペア選択部２９は、０からＷｓｕｍの中から乱数ｒを決定する（Ｓ２３５）。ペア選択部２９は、乱数ｒに対応するセットｊを決定する（Ｓ２３６）。

ペア選択部２９は、セットｊのいずれの特徴点ペアも、第３のペア候補として保存された特徴点ペアか否かを判別する（Ｓ２３７）。いずれも保存済の場合には（Ｓ２３７：ＹＥＳ）、Ｓ２３５に戻って処理を繰り返す。

ペア選択部２９は、セットｊのいずれかの特徴点ペアと、第３のペア候補として保存された特徴点ペアとが重複しているか否かを判別する（Ｓ２３８）。いずれも重複していない場合には（Ｓ２３８：ＮＯ）、ペア選択部２９は、セットｊの２組の特徴点ペアを第３のペア候補として保存し（Ｓ２３９）、ｉ＝ｉ＋２とする（Ｓ２４０）。いずれかの特徴点ペアが重複している場合には（Ｓ２３８：ＹＥＳ）、ペア選択部２９は重複していない特徴点ペアを保存し（Ｓ２４１）、ｉ＝ｉ＋１とする（Ｓ２４２）。

ペア選択部２９は、ｉ＜ｍの場合には（Ｓ２４３：ＮＯ）、Ｓ２３６から処理を繰り返し、ｉ≧ｍの場合には（Ｓ２４３：ＹＥＳ）、図１２のＳ２２５に処理を進める。

以上説明したように、第１の変形例によれば、上記実施の形態による画像処理システム１の効果に加え、頻度が高い判定角度ほど大きい重みを掛けて特徴点ペアのセットを選択するので、適切な特徴点ペアが優先的に選択されることが期待される。よって、さらに適切に第３のペア候補を選択することが可能になる。

なお、重みは、正規分布を例にして説明したが、同様に頻度が高い判定角度を有するセットが選択される他の関数などを重みに用いることもできる。

（第２の変形例）
以下、第２の変形例について説明する。第２の変形例において、上記実施の形態、または第１の変形例による画像処理システム１と同様の構成及び動作については、同一番号を付し、詳細説明を省略する。第２の変形例も、第１の変形例と同様に、上記実施の形態の例えば、Ｓ２２４のペア選択処理の変形例である。第２の変形例において、システムの構成は画像処理システム１と同様である。

図１５は、ペア選択処理において、適切なセットを選択する例を示す図である。図１５に示すように、第１の画像１２１における特徴点Ａ〜Ｅと、第２の画像１２９における特徴点Ａ’〜Ｅ’とがそれぞれペア１３５〜１３９と判別されている。このとき、例えば、特徴点ペアＡＡ’を第１の特徴点ペアとすると、特徴点ペアＡＡ’と特徴点ペアＢＢ’とのセットは、第１のベクトルＡＢと第２のベクトルＡ’Ｂ’とがなす角度が閾値θｔｈを超えているため、不適切なセットとなる。このとき、ｍ＝４である場合に可能な組合せ、すなわち第３のペア候補は、以下の２組となる。２組とは、特徴点ペアＡＡ’、ＣＣ’、ＤＤ’、ＥＥ’の組合せ、および、特徴点ペアＢＢ’、ＣＣ’、ＤＤ’、ＥＥ’の組合せである。

図１６は、第２の変形例によるペア選択処理の一例を示すフローチャートである。図１６に示すように、ペア選択部２９は、例えばペア候補テーブル１４０を参照して、適切と判定されたセットからランダムに１つのセットを選択する（Ｓ２５１）。ペア選択部２９は、選択したセットに含まれる２つの特徴点ペアを第３のペア候補として保存し、保存済ペア数ｉ＝２とする（Ｓ２５２）。

ペア選択部２９は、ｉ≧ｍの場合には（Ｓ２５３：ＹＥＳ）、図１２のＳ２２５に処理を進め、ｉ＜ｍの場合には（Ｓ２５３：ＮＯ）、Ｓ２５４に処理を進める。ペア選択部２９は、例えばペア候補テーブル１４０を参照して、不適切と判定されていない第２のペア候補から、ランダムにペアを一つ選択する（Ｓ２５４）。

ペア選択部２９は、選択したペアが保存済ペアと適切な組合せか判定する。すなわち、ペア選択部２９は、選択したペアが、保存済ペアのいずれかと重複している場合には（Ｓ２５５：ＹＥＳ）、Ｓ２５４から処理を繰り返す。ペア選択部２９は、選択したペアが第３のペア候補の保存済ペアと重複していない場合には（Ｓ２４５：ＮＯ）、保存済みペアと不適切なセットとなる組合せがあるか否か判別する（Ｓ２５６）。不適切なセットとは、上述したように、判定角度θが閾値θｔｈを超えている場合である。

例えば、図１５において、特徴点ペアＢＢ’と特徴点ペアＣＣ’とが保存されている場合、Ｓ２５４で、特徴点ペアＤＤ’が選択されたとする。このとき、ペア選択部２９は、特徴点ペアＢＢ’と特徴点ペアＤＤ’のセット、および 特徴点ペアＣＣ’と特徴点ペアＤＤ’のセットが適切なセットであるか否か判定する。不適切な組合せがある場合には（Ｓ２５６：ＹＥＳ）、ペア選択部２９は、Ｓ２５４から処理を繰り返す。

不適切な組合せがない場合には（Ｓ２５６：ＮＯ）、例えばペア候補テーブル１４０を参照し、対象のセットがなす角度の角度差φ＝θ１−θ２が閾値φｔｈを超えているか否かを判別する（Ｓ２５７）。このときθ１及びθ２は、２つのセットのそれぞれの判定角度である。角度差φが閾値φｔｈを超えている場合には（Ｓ２５７：ＹＥＳ）、ペア選択部２９は、Ｓ２５４から処理を繰り返す。超えていない場合には（Ｓ２５７：ＮＯ）、選択したペアを第３のペア候補として保存し、ｉ＝ｉ＋１として、処理をＳ２５３に戻す（Ｓ２５８）。

２画像間がなす角度が一定値以内であるという前提条件が定められたとき、判定角度θは、上述のように閾値θｔｈ以内に収まる。さらに、適切な２つのセットに注目したとき、２つのセットの角度差の最大値φｔｈは、φｔｈ＜２θｔｈとなる。したがって、Ｓ２５６において不適切なセットがない場合、Ｓ２５７において保存済ペアの中のいずれかの２つのセットの角度差を求め、φ＞φｔｈであれば、ペア選択部２９は、Ｓ２５４に処理を戻す。φ≦φｔｈとなる場合は、ペア選択部２９は、処理をＳ２５８に進める。Ｓ２５４〜Ｓ２５８の処理は、第３のペア候補としての保存済ペア数がｍ以上になるまで繰り返され、結果は、図１２のＳ２２５の処理に引き渡される。

２つのセットの判定角度の角度差の最大値φｔｈは、判定角度の閾値θｔｈと同様に、２画像間の想定角度ｘ、ｙ、ｚを用いて決定することができる。例えば、四角形の４隅の座標をｘ、ｙ、ｚを用いて回転・透視投影変換し、変換前後の座標のペアを２つ組み合わせてセット、およびセットがなす角度を求める。セットを２つ組み合わせて角度差φ＝｜θｉ―θｊ｜（θｉ、θｊは、互いに異なるセットの判定角度）を、求める処理をセットの組み合わせを変えながら行い、最大角度を最大値φｔｈとする。

以上説明したように、第２の変形例による画像処理システム１によれば、上記実施の形態による画像処理システム１の効果に加え、第３のペア候補の中に、不適切なセットが含まれなくなる。よって、さらに適切に第３のペア候補を選択することが可能になり、精度の高い画像照合が可能になる。なお例えば、Ｓ２５７の処理を行わず、Ｓ２５６の処理の後にＳ２５８の処理に進むようにしても、上記効果を得ることは可能である。

（第３の変形例）
以下、第３の変形例について説明する。第３の変形例において、上記実施の形態、第１の変形例、または第２の変形例による画像処理システム１と同様の構成及び動作については、同一番号を付し、詳細説明を省略する。第３の変形例は、第２の変形例のＳ２４１のセット選択処理の変形例である。第３の変形例において、システムの構成は画像処理システム１と同様である。

図１７は、第３の変形例によるセット選択の一例を示すフローチャートである。図１７に示すように、ペア選択部２９は、例えばペア候補テーブル１４０を参照し、適切と判定されたセットを入力する（Ｓ２６１）。ペア選択部２９は、入力されたセットのそれぞれについて、式３に基づき重みＷ（θｉ）を計算する（Ｓ２６２）。ペア選択部２９は、計算された重みＷ（θｉ）に基づき、重みの総和Ｗｓｕｍを計算する（Ｓ２６３）。ペア選択部２９は、０からＷｓｕｍの中から乱数ｒを決定する（Ｓ２６４）。ペア選択部２９は、乱数ｒに対応するセットｊを決定する（Ｓ２３５）。

以上説明したように、第３の変形例による画像処理システム１によれば、第２の変形例の効果に加え、頻度が高い判定角度を持つセットが優先的に選択されることが期待されるので、さらに適切に第３のペア候補を選択することが可能になり、精度の高い画像照合が可能になる。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、第２の画像もクライアント１１からサーバ３に送信するようにしてもよい。また、カメラ２２により撮影された画像でなく記憶装置１９に記憶された画像を第１の画像または第２の画像としてサーバ３に送信するようにしてもよい。さらに、サーバ３またはクライアント１１に記憶される画像は、特徴点の座標と特徴量のみでもよい。また、上記実施の形態及び第１から第３の変形例は、互いに論理の矛盾がない限り様々に組み合わせることが可能である。

以下、上記実施の形態及び変形例１〜３による画像照合方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１８は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図１８に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。

ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。

外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬記録媒体３１６に記録されている所定の制御プログラムを、媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｍｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。

上記実施の形態及び変形例１〜３による画像照合方法をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶させる。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、コンピュータ３００に画像照合の動作を行なわせる。このとき、まず、画像照合の処理をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。

以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
画像処理装置が、
第１の画像と第２の画像とにおいてそれぞれ抽出された複数の特徴点から、互いに対応する前記第１の画像の第１の特徴点と前記第２の画像の第２の特徴点との特徴点ペアを複数含む第１のペア候補を生成し、
生成された前記第１のペア候補のうちの第１の特徴点ペアに対し、１つ以上の第２の特徴点ペアについて、前記第１の特徴点ペアの前記第１の特徴点と前記第２の特徴点ペアの前記第１の特徴点とを結ぶ第１のベクトルと、前記第１の特徴点ペアの前記第２の特徴点と前記第２の特徴点ペアの前記第２の特徴点とを結ぶ第２のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第１のペア候補から削除する前記第１の特徴点ペアを判定し、
前記第１のペア候補から、削除すると判定された前記第１の特徴点ペアを除いた第２のペア候補に含まれる前記特徴点ペアに基づき前記第１の画像と前記第２の画像との照合を行う
ことを特徴とする画像照合方法。
（付記２）
前記判定する処理においては、前記比較を行う前記第２の特徴点ペアの数に対する、前記角度が前記所定の角度を超えた場合の数の割合が所定値以上の場合に、前記第１のペア候補から削除する第１の特徴点ペアであると判定することを特徴とする付記１に記載の画像照合方法。
（付記３）
さらに、
前記第２のペア候補から２以上の第１の所定数の特徴点ペアを含む第３のペア候補を選択し、
前記第３のペア候補に基づき、前記第１の画像と前記第２の画像との照合に用いる行列を推定し、
前記判定する処理は、前記第３のペア候補に含まれる特徴点ペアが前記行列の推定を行うのに適切である確率として期待する確率に応じた個数以上の前記第２の特徴点に対して実行されることを特徴とする付記１または付記２に記載の画像照合方法。
（付記４）
前記行列を推定する処理は、前記第１の所定数の特徴点ペアの、第２の所定数の組に基づき行われ、前記第２の所定数は、前記第２の所定数の組に基づき前記行列を全く求められない確率として容認できる確率と、前記判定の結果、削除すると判定される確率とに応じた数であることを特徴とする付記２または付記３に記載の画像照合方法。
（付記５）
前記判定する処理により削除対象とならない互いに異なる２組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに前記第２のペア候補から選択される、１以上の所定数の前記第１の特徴点ペア及び前記第２の特徴点ペアに基づき前記第３のペア候補を選択することを特徴とする付記２から付記４のいずれかに記載の画像照合方法。
（付記６）
前記第３のペア候補を選択する処理は、前記第２のペア候補から選択された第１の特徴点ペアに対し、第２の特徴点ペアについて、前記第１の特徴点ペアの前記第１の特徴点と前記第２の特徴点ペアの前記第１の特徴点とを結ぶ第１のベクトルと、前記第１の特徴点ペアの前記第２の特徴点と前記第２の特徴点ペアの前記第２の特徴点とを結ぶ第２のベクトルとのなす角度が前記所定の角度以内の場合であって、既に選択された前記第３のペア候補と重複しない前記第１及び前記第２の特徴点ペアを、前記第３のペア候補として選択する
ことを特徴とする付記３から付記５のいずれかに記載の画像照合方法。
（付記７）
前記第３のペア候補を選択する処理は、前記第２のペア候補から選択された２組の第１の特徴点ペアと第２の特徴点ペアの一方に応じた第１の前記角度と、他方に応じた第２の前記角度との差が所定条件を満たす場合に、２組の前記第１の特徴点ペアと前記第２の特徴点ペアを、前記第３のペア候補として選択する
ことを特徴とする付記３から付記６のいずれかに記載の画像照合方法。
（付記８）
前記第２のペア候補から前記第１の特徴点ペアおよび前記第２の特徴点ペアを選択する処理は、前記判定する処理により削除対象とならない互いに異なる２組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに選択されることを特徴とする付記６または付記７に記載の画像照合方法。
（付記９）
第１の画像と第２の画像とにおいてそれぞれ抽出された複数の特徴点及び前記特徴点における特徴量を記憶した少なくとも一つの記憶装置と、
前記特徴点及び前記特徴量から、互いに対応する前記第１の画像の第１の特徴点と前記第２の画像の第２の特徴点との複数の特徴点ペアを含む第１のペア候補を生成し、いずれかの前記記憶装置に記憶させるペア生成部と、
生成された前記第１のペア候補のうちの第１の特徴点ペアに対し、１つ以上の第２の特徴点ペアについて、前記第１の特徴点ペアの前記第１の特徴点と前記第２の特徴点ペアの前記第１の特徴点とを結ぶ第１のベクトルと、前記第１の特徴点ペアの前記第２の特徴点と前記第２の特徴点ペアの前記第２の特徴点とを結ぶ第２のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第１のペア候補から削除する前記第１の特徴点ペアを判定し、判定結果を前記記憶部に記憶させるペア判定部と、
前記第１のペア候補から、削除すると判定された前記第１の特徴点ペアを除いた第２のペア候補に含まれる特徴点ペアに基づき前記第１の画像と前記第２の画像との照合を行う照合部と
を有することを特徴とする画像処理システム。
（付記１０）
前記ペア判定部は、前記比較を行う前記第２の特徴点ペアの数に対する、前記角度が前記所定の角度を超えた場合の数の割合が所定値以上の場合に、前記第１のペア候補から削除する第１の特徴点ペアであると判定することを特徴とする付記９に記載の画像処理システム。
（付記１１）
前記第２のペア候補から２以上の第１の所定数の特徴点ペアを含む第３のペア候補を選択するペア選択部と、
前記第３のペア候補に基づき、前記第１の画像と前記第２の画像との照合に用いる行列を推定する行列推定部と、
をさらに有し、
前記ペア判定部は、前記第３のペア候補に含まれる特徴点ペアが前記行列の推定を行うのに適切である確率として期待する確率に応じた個数以上の前記第２の特徴点に対して判定を行うことを特徴とする付記１０に記載の画像処理システム。
（付記１２）
前記行列推定部は、前記第１の所定数の特徴点ペアの、第２の所定数の組に基づき推定を行い、前記第２の所定数は、前記第２の所定数の組に基づき前記行列を全く求められない確率として容認できる確率と、前記判定の結果、削除すると判定される確率とに応じた数であることを特徴とする付記９または付記１０に記載の画像処理システム。
（付記１３）
前記ペア選択部は、前記判定する処理により削除対象とならない互いに異なる２組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに前記第２のペア候補から選択される、１以上の所定数の前記第１の特徴点ペア及び前記第２の特徴点ペアに基づき前記第３のペア候補を選択することを特徴とする付記１０から付記１２のいずれかに記載の画像処理システム。
（付記１４）
前記ペア選択部は、前記第２のペア候補から選択された第１の特徴点ペアに対し、第２の特徴点ペアについて、前記第１の特徴点ペアの前記第１の特徴点と前記第２の特徴点ペアの前記第１の特徴点とを結ぶ第１のベクトルと、前記第１の特徴点ペアの前記第２の特徴点と前記第２の特徴点ペアの前記第２の特徴点とを結ぶ第２のベクトルとのなす角度が前記所定の角度以内の場合であって、既に選択された前記第３のペア候補と重複しない前記第１及び前記第２の特徴点ペアを、前記第３のペア候補として選択する
ことを特徴とする付記１１から付記１３のいずれかに記載の画像処理システム。
（付記１５）
第１の画像と第２の画像とにおいてそれぞれ抽出された複数の特徴点から、互いに対応する前記第１の画像の第１の特徴点と前記第２の画像の第２の特徴点との特徴点ペアを複数含む第１のペア候補を生成し、
生成された前記第１のペア候補のうちの第１の特徴点ペアに対し、１つ以上の第２の特徴点ペアについて、前記第１の特徴点ペアの前記第１の特徴点と前記第２の特徴点ペアの前記第１の特徴点とを結ぶ第１のベクトルと、前記第１の特徴点ペアの前記第２の特徴点と前記第２の特徴点ペアの前記第２の特徴点とを結ぶ第２のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第１のペア候補から削除する前記第１の特徴点ペアを判定し、
前記第１のペア候補から、削除すると判定された前記第１の特徴点ペアを除いた第２のペア候補に含まれる前記特徴点ペアに基づき前記第１の画像と前記第２の画像との照合を行う
処理をコンピュータに実行させるプログラム。

１ 画像処理システム
３ サーバ
５ 演算処理装置
７ 通信装置
９ 記憶装置
１１ クライアント
１３ 演算処理装置
１５ 入力装置
１７ 表示装置
１９ 記憶装置
２１ 通信装置
２２ カメラ
２３ 特徴点抽出部
２５ ペア生成部
２７ ペア判定部
２９ ペア選択部
３１ 行列推定部
３３ 照合部

具体的な判定としては、例えば判定角度が所定角度以下の第２の特徴点ペアの数の割合が、判定角度を算出した第２の特徴点ペアの数に対し所定値以上であれば、第１の特徴点ペアは、行列を算出するために適切な特徴点ペアであると判定する。ペア判定部２７は、適切であると判定されなかった第１の特徴点ペアを、第１のペア候補から削除する。削除後の第１のペア候補を、第２のペア候補という。なお、判定角度は、対象となる２つの特徴点ペアの各画像上の特徴点同士を結ぶ第１のベクトルと第２のベクトルとのなす、０度から１８０度以下の角度と定義することができる。

例えば、ペア候補テーブル１４０は、第１の特徴点がＡ、第２の特徴点がＣのとき、判定角度は、予め決められた角度θｔｈ以下の角度θ_ＡＣであることを示している。例えば、ペア候補テーブル１４０は、第１の特徴点がＡ、第２の特徴点がＢのとき、判定角度は、予め決められた角度θｔｈより大きいことを「×」で示している。取り消し線１４２は、特定の第１の特徴点ペアについて、判定角度が角度θｔｈを超えているセットの割合が所定値を超えている場合、対応する第１の特徴点ペアが不適切な特徴点ペアであることを示している。ペア候補テーブル１４０の各行の特徴点ペアのうち、取り消し線１４２が引かれていない第１の特徴点ペアが、第２のペア候補となる。

εは、ｎｔｈ回セット判定を試行したときに、第２の特徴点ペアとして適切な第２の特徴点ペアが選択される割合と、第１のペア候補に含まれる適切な特徴点ペアの割合との誤差として容認できる割合とする。

行列推定部３１は、試行回数ｌが閾値Ｌｔｈより大きいか否か判別し（Ｓ２２７）、閾値Ｌｔｈ以下の場合には（Ｓ２２７：ＮＯ）、ｌ＝ｌ＋１とし（Ｓ２２８）、Ｓ２２４から処理を繰り返す。試行回数ｌが閾値Ｌｔｈを超えた場合には（Ｓ２２７：ＹＥＳ）、行列推定部３１は、ｌ個の評価値のうち、最も高い評価値が算出された行列を、第１の画像と第２の画像との関係を示す変換行列と決定し（Ｓ２２９）、図１０の処理に処理を戻す。

逆に、上下左右の反転やねじれのない画像を第１及び第２の画像として利用する場合には、不適切と判定される特徴点ペアが少ないことが期待されるので、より精度よく行列の推定及び画像の照合を行うことができる。上下左右の反転やねじれのない場合とは、例えば、固定されたカメラ位置から画像を撮影する場合などが該当する。

以上の実施形態に対し、さらに以下の付記を開示する。
（付記１）
画像処理装置が、
第１の画像と第２の画像とにおいてそれぞれ抽出された複数の特徴点から、互いに対応する前記第１の画像の第１の特徴点と前記第２の画像の第２の特徴点との特徴点ペアを複数含む第１のペア候補を生成し、
生成された前記第１のペア候補のうちの第１の特徴点ペアに対し、１つ以上の第２の特徴点ペアについて、前記第１の特徴点ペアの前記第１の特徴点と前記第２の特徴点ペアの前記第１の特徴点とを結ぶ第１のベクトルと、前記第１の特徴点ペアの前記第２の特徴点と前記第２の特徴点ペアの前記第２の特徴点とを結ぶ第２のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第１のペア候補から削除する前記第１の特徴点ペアを判定し、
前記第１のペア候補から、削除すると判定された前記第１の特徴点ペアを除いた第２のペア候補に含まれる前記特徴点ペアに基づき前記第１の画像と前記第２の画像との照合を行う
ことを特徴とする画像照合方法。
（付記２）
前記判定する処理においては、前記比較を行う前記第２の特徴点ペアの数に対する、前記角度が前記所定の角度を超えた場合の数の割合が所定値以上の場合に、前記第１のペア候補から削除する第１の特徴点ペアであると判定することを特徴とする付記１に記載の画像照合方法。
（付記３）
さらに、
前記第２のペア候補から２以上の第１の所定数の特徴点ペアを含む第３のペア候補を選択し、
前記第３のペア候補に基づき、前記第１の画像と前記第２の画像との照合に用いる行列を推定し、
前記判定する処理は、前記第３のペア候補に含まれる特徴点ペアが前記行列の推定を行うのに適切である確率として期待する確率に応じた個数以上の前記第２の特徴点に対して実行されることを特徴とする付記１または付記２に記載の画像照合方法。
（付記４）
前記行列を推定する処理は、前記第１の所定数の特徴点ペアの、第２の所定数の組に基づき行われ、前記第２の所定数は、前記第２の所定数の組に基づき前記行列を全く求められない確率として容認できる確率と、前記判定の結果、前記第１の特徴点ペアが削除すると判定される確率とに応じた数であることを特徴とする付記２または付記３に記載の画像照合方法。
（付記５）
前記判定する処理により削除対象とならない互いに異なる２組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに前記第２のペア候補から選択される、１以上の所定数の前記第１の特徴点ペア及び前記第２の特徴点ペアに基づき前記第３のペア候補を選択することを特徴とする付記２から付記４のいずれかに記載の画像照合方法。
（付記６）
前記第３のペア候補を選択する処理は、前記第２のペア候補から選択された第１の特徴点ペアに対し、第２の特徴点ペアについて、前記第１の特徴点ペアの前記第１の特徴点と前記第２の特徴点ペアの前記第１の特徴点とを結ぶ第１のベクトルと、前記第１の特徴点ペアの前記第２の特徴点と前記第２の特徴点ペアの前記第２の特徴点とを結ぶ第２のベクトルとのなす角度が前記所定の角度以内の場合であって、既に選択された前記第３のペア候補と重複しない前記第１及び前記第２の特徴点ペアを、前記第３のペア候補として選択する
ことを特徴とする付記３から付記５のいずれかに記載の画像照合方法。
（付記７）
前記第３のペア候補を選択する処理は、前記第２のペア候補から選択された２組の第１の特徴点ペアと第２の特徴点ペアの一方に応じた第１の前記角度と、他方に応じた第２の前記角度との差が所定条件を満たす場合に、２組の前記第１の特徴点ペアと前記第２の特徴点ペアを、前記第３のペア候補として選択する
ことを特徴とする付記３から付記６のいずれかに記載の画像照合方法。
（付記８）
前記第２のペア候補から前記第１の特徴点ペアおよび前記第２の特徴点ペアを選択する処理は、前記判定する処理により削除対象とならない互いに異なる２組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに選択されることを特徴とする付記６または付記７に記載の画像照合方法。
（付記９）
第１の画像と第２の画像とにおいてそれぞれ抽出された複数の特徴点及び前記特徴点における特徴量を記憶した少なくとも一つの記憶装置と、
前記特徴点及び前記特徴量から、互いに対応する前記第１の画像の第１の特徴点と前記第２の画像の第２の特徴点との複数の特徴点ペアを含む第１のペア候補を生成し、いずれかの前記記憶装置に記憶させるペア生成部と、
生成された前記第１のペア候補のうちの第１の特徴点ペアに対し、１つ以上の第２の特徴点ペアについて、前記第１の特徴点ペアの前記第１の特徴点と前記第２の特徴点ペアの前記第１の特徴点とを結ぶ第１のベクトルと、前記第１の特徴点ペアの前記第２の特徴点と前記第２の特徴点ペアの前記第２の特徴点とを結ぶ第２のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第１のペア候補から削除する前記第１の特徴点ペアを判定し、判定結果を前記記憶装置に記憶させるペア判定部と、
前記第１のペア候補から、削除すると判定された前記第１の特徴点ペアを除いた第２のペア候補に含まれる特徴点ペアに基づき前記第１の画像と前記第２の画像との照合を行う
を有することを特徴とする画像処理システム。
（付記１０）
前記ペア判定部は、前記比較を行う前記第２の特徴点ペアの数に対する、前記角度が前記所定の角度を超えた場合の数の割合が所定値以上の場合に、前記第１のペア候補から削除する第１の特徴点ペアであると判定することを特徴とする付記９に記載の画像処理システム。
（付記１１）
前記第２のペア候補から２以上の第１の所定数の特徴点ペアを含む第３のペア候補を選択するペア選択部と、
前記第３のペア候補に基づき、前記第１の画像と前記第２の画像との照合に用いる行列を推定する行列推定部と、
をさらに有し、
前記ペア判定部は、前記第３のペア候補に含まれる特徴点ペアが前記行列の推定を行うのに適切である確率として期待する確率に応じた個数以上の前記第２の特徴点に対して判定を行うことを特徴とする付記１０に記載の画像処理システム。
（付記１２）
前記行列推定部は、前記第１の所定数の特徴点ペアの、第２の所定数の組に基づき推定を行い、前記第２の所定数は、前記第２の所定数の組に基づき前記行列を全く求められない確率として容認できる確率と、前記判定の結果、前記第１の特徴点ペアが削除すると判定される確率とに応じた数であることを特徴とする付記９または付記１０に記載の画像処理システム。
（付記１３）
前記ペア選択部は、前記判定する処理により削除対象とならない互いに異なる２組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに前記第２のペア候補から選択される、１以上の所定数の前記第１の特徴点ペア及び前記第２の特徴点ペアに基づき前記第３のペア候補を選択することを特徴とする付記１０から付記１２のいずれかに記載の画像処理システム。
（付記１４）
前記ペア選択部は、前記第２のペア候補から選択された第１の特徴点ペアに対し、第２の特徴点ペアについて、前記第１の特徴点ペアの前記第１の特徴点と前記第２の特徴点ペアの前記第１の特徴点とを結ぶ第１のベクトルと、前記第１の特徴点ペアの前記第２の特徴点と前記第２の特徴点ペアの前記第２の特徴点とを結ぶ第２のベクトルとのなす角度が前記所定の角度以内の場合であって、既に選択された前記第３のペア候補と重複しない前記第１及び前記第２の特徴点ペアを、前記第３のペア候補として選択する
ことを特徴とする付記１１から付記１３のいずれかに記載の画像処理システム。
（付記１５）
第１の画像と第２の画像とにおいてそれぞれ抽出された複数の特徴点から、互いに対応する前記第１の画像の第１の特徴点と前記第２の画像の第２の特徴点との特徴点ペアを複数含む第１のペア候補を生成し、
生成された前記第１のペア候補のうちの第１の特徴点ペアに対し、１つ以上の第２の特徴点ペアについて、前記第１の特徴点ペアの前記第１の特徴点と前記第２の特徴点ペアの前記第１の特徴点とを結ぶ第１のベクトルと、前記第１の特徴点ペアの前記第２の特徴点と前記第２の特徴点ペアの前記第２の特徴点とを結ぶ第２のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第１のペア候補から削除する前記第１の特徴点ペアを判定し、
前記第１のペア候補から、削除すると判定された前記第１の特徴点ペアを除いた第２のペア候補に含まれる前記特徴点ペアに基づき前記第１の画像と前記第２の画像との照合を行う
処理をコンピュータに実行させるプログラム。

例えば、ペア候補テーブル１４０は、第１の特徴点がＡ、第２の特徴点がＣのとき、判定角度は、予め決められた角度θｔｈ以下の角度θ_ＡＣであることを示している。例えば、ペア候補テーブル１４０は、第１の特徴点がＡ、第２の特徴点がＢのとき、判定角度は、予め決められた角度θｔｈより大きいことを「×」で示している。取り消し線１４２は、特定の特徴点ペアについて、判定角度が角度θｔｈを超えているセットの割合が所定値を超えている場合、対応する特徴点ペアが不適切な特徴点ペアであることを示している。ペア候補テーブル１４０の特徴点ペアのうち、取り消し線１４２が引かれていない特徴点ペアが、第２のペア候補となる。

Claims (10)

1. 画像処理装置が、
   第１の画像と第２の画像とにおいてそれぞれ抽出された複数の特徴点から、互いに対応する前記第１の画像の第１の特徴点と前記第２の画像の第２の特徴点との特徴点ペアを複数含む第１のペア候補を生成し、
   生成された前記第１のペア候補のうちの第１の特徴点ペアに対し、１つ以上の第２の特徴点ペアについて、前記第１の特徴点ペアの前記第１の特徴点と前記第２の特徴点ペアの前記第１の特徴点とを結ぶ第１のベクトルと、前記第１の特徴点ペアの前記第２の特徴点と前記第２の特徴点ペアの前記第２の特徴点とを結ぶ第２のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第１のペア候補から削除する前記第１の特徴点ペアを判定し、
   前記第１のペア候補から、削除すると判定された前記第１の特徴点ペアを除いた第２のペア候補に含まれる前記特徴点ペアに基づき前記第１の画像と前記第２の画像との照合を行う
   ことを特徴とする画像照合方法。
2. 前記判定する処理においては、前記比較を行う前記第２の特徴点ペアの数に対する、前記角度が前記所定の角度を超えた場合の数の割合が所定値以上の場合に、前記第１のペア候補から削除する第１の特徴点ペアであると判定することを特徴とする請求項１に記載の画像照合方法。
3. さらに、
   前記第２のペア候補から２以上の第１の所定数の特徴点ペアを含む第３のペア候補を選択し、
   前記第３のペア候補に基づき、前記第１の画像と前記第２の画像との照合に用いる行列を推定し、
   前記判定する処理は、前記第３のペア候補に含まれる特徴点ペアが前記行列の推定を行うのに適切である確率として期待する確率に応じた個数以上の前記第２の特徴点に対して実行されることを特徴とする請求項１または請求項２に記載の画像照合方法。
4. 前記行列を推定する処理は、前記第１の所定数の特徴点ペアの、第２の所定数の組に基づき行われ、前記第２の所定数は、前記第２の所定数の組に基づき前記行列を全く求められない確率として容認できる確率と、前記判定の結果、削除すると判定される確率とに応じた数であることを特徴とする請求項２または請求項３に記載の画像照合方法。
5. 前記判定する処理により削除対象とならない互いに異なる２組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに前記第２のペア候補から選択される、１以上の所定数の前記第１の特徴点ペア及び前記第２の特徴点ペアに基づき前記第３のペア候補を選択することを特徴とする請求項２から請求項４のいずれかに記載の画像照合方法。
6. 前記第３のペア候補を選択する処理は、前記第２のペア候補から選択された第１の特徴点ペアに対し、第２の特徴点ペアについて、前記第１の特徴点ペアの前記第１の特徴点と前記第２の特徴点ペアの前記第１の特徴点とを結ぶ第１のベクトルと、前記第１の特徴点ペアの前記第２の特徴点と前記第２の特徴点ペアの前記第２の特徴点とを結ぶ第２のベクトルとのなす角度が前記所定の角度以内の場合であって、既に選択された前記第３のペア候補と重複しない前記第１及び前記第２の特徴点ペアを、前記第３のペア候補として選択する
   ことを特徴とする請求項３から請求項５のいずれかに記載の画像照合方法。
7. 前記第３のペア候補を選択する処理は、前記第２のペア候補から選択された２組の第１の特徴点ペアと第２の特徴点ペアの一方に応じた第１の前記角度と、他方に応じた第２の前記角度との差が所定条件を満たす場合に、２組の前記第１の特徴点ペアと前記第２の特徴点ペアを、前記第３のペア候補として選択する
   ことを特徴とする請求項３から請求項６のいずれかに記載の画像照合方法。
8. 前記第２のペア候補から前記第１の特徴点ペアおよび前記第２の特徴点ペアを選択する処理は、前記判定する処理により削除対象とならない互いに異なる２組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに選択されることを特徴とする請求項６または請求項７に記載の画像照合方法。
9. 第１の画像と第２の画像とにおいてそれぞれ抽出された複数の特徴点及び前記特徴点における特徴量を記憶した少なくとも一つの記憶装置と、
   前記特徴点及び前記特徴量から、互いに対応する前記第１の画像の第１の特徴点と前記第２の画像の第２の特徴点との複数の特徴点ペアを含む第１のペア候補を生成し、いずれかの前記記憶装置に記憶させるペア生成部と、
   生成された前記第１のペア候補のうちの第１の特徴点ペアに対し、１つ以上の第２の特徴点ペアについて、前記第１の特徴点ペアの前記第１の特徴点と前記第２の特徴点ペアの前記第１の特徴点とを結ぶ第１のベクトルと、前記第１の特徴点ペアの前記第２の特徴点と前記第２の特徴点ペアの前記第２の特徴点とを結ぶ第２のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第１のペア候補から削除する前記第１の特徴点ペアを判定し、判定結果を前記記憶部に記憶させるペア判定部と、
   前記第１のペア候補から、削除すると判定された前記第１の特徴点ペアを除いた第２のペア候補に含まれる特徴点ペアに基づき前記第１の画像と前記第２の画像との照合を行う照合部と
   を有することを特徴とする画像処理システム。
10. 第１の画像と第２の画像とにおいてそれぞれ抽出された複数の特徴点から、互いに対応する前記第１の画像の第１の特徴点と前記第２の画像の第２の特徴点との特徴点ペアを複数含む第１のペア候補を生成し、
    生成された前記第１のペア候補のうちの第１の特徴点ペアに対し、１つ以上の第２の特徴点ペアについて、前記第１の特徴点ペアの前記第１の特徴点と前記第２の特徴点ペアの前記第１の特徴点とを結ぶ第１のベクトルと、前記第１の特徴点ペアの前記第２の特徴点と前記第２の特徴点ペアの前記第２の特徴点とを結ぶ第２のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第１のペア候補から削除する前記第１の特徴点ペアを判定し、
    前記第１のペア候補から、削除すると判定された前記第１の特徴点ペアを除いた第２のペア候補に含まれる前記特徴点ペアに基づき前記第１の画像と前記第２の画像との照合を行う
    処理をコンピュータに実行させるプログラム。

Images