JP2008107860A - 画像対間の変換を推定する方法、画像を表現する方法、並びにこの方法のための装置、制御装置、及びコンピュータプログラム - Google Patents

Abstract

【課題】高精度及びロバスト性が、変更された対数極座標空間でのＲＳＴ変換パラメータの局所推定と、特徴点の選択の制御と、ＲＡＮＳＡＣ推定器による反復大域改良との組み合わせにより実現する。
【解決手段】画像対間の変換を推定する方法は、画像の複数の領域の局所変換を推定して、推定変換セットを導出することと、当該推定局所変換のサブセットを画像の推定大域変換として選択することを含む。
【選択図】 図１

Description

本発明は、画像レジストレーションの方法及び装置に関する。画像レジストレーションとは、２つ以上の画像の、たとえば回転、平行移動、及びスケーリングを使用した幾何学的な位置合わせを指す。画像は、たとえば、異なるセンサにより、異なる視点から、又は異なる時間において等の、異なる条件下で撮影された同じシーンに関連し得る。画像レジストレーションの目的の１つは、画像セットを同じ構成で提示することによって画像セットの解析を容易にすることである。医用撮像、衛星画像の解析、及び画像シーケンス安定化を含め、画像レジストレーションには多くの用途がある。

従来技術による画像レジストレーション方法としては、画像強度分布に基づく方法と、エッジ、角(corner)、閉境界領域等の画像内の特徴を使用する特徴ベースの方法とが挙げられる。

局所構造情報（特徴）の位置特定が一般に、画像強度分布に基づく位置特定よりも正確であるため、特徴ベースの画像レジストレーション法が多くの場合に使用される。特徴ベースの手法は、アフィン変換又は視点変換等の複雑な画像間変換を処理することができる。この手法によっては、異なる性質の画像のレジストレーションも可能である。特徴ベースの方法に共通した欠点は、いくつかの特徴がたとえば局所変換（歪み）又は大きな照度変化により欠損する場合に、上手くいかないことがあることである。すべての特徴ベースのマッチング法の極めて重要なポイントは、画像間で考えられるすべての変換に対して不変の区別的で且つロバストな特徴記述に頼ることである。

レジストレーションする画像の多様性及び発生し得る劣化の種類が様々であることにより、すべてのレジストレーション作業に適用することが可能な普遍的な方法を設計することは困難である。あらゆる方法が、想定される種類の画像間の幾何学的変換のみならず、放射性変形及び雑音による破損も考慮にいれるべきである。他の設計要因としては、要求されるレジストレーション精度及びさらなる用途依存要件が挙げられる。

それにもかかわらず、レジストレーション法の多くは、以下のステップから成る。
○特徴検出。きわだった区別的な特徴（閉境界領域、エッジ、輪郭、線の交点、角等）が手動で又は自動的に検出される。後続処理のために、これらの特徴は通常、関心点と呼ばれるそれぞれの代表点（たとえば、重心、終線点、区別的な点）で表される。
○特徴マッチング。このステップでは、ソース画像で検出された特徴とターゲット画像で検出された特徴との間の対応が確立される。各種特徴記述子及び類似性測度が特徴間の空間的関係に対する制約と共に、この目的で使用される。
○変換モデル推定。或る画像（ソース画像）を別の画像（ターゲット画像）に位置合わせするいわゆる写像関数の種類及びパラメータが、推定される。写像関数のパラメータは、確立された特徴の対応性に基づいて計算される。

ソース画像及びターゲット画像において検出された特徴は、それぞれの近傍の画像強度値、特徴の空間分布、又は特徴の象徴的な記述に基づいてマッチングすることができる。方法によっては、特徴の対応性を探している間に同時に写像関数のパラメータを推定し、そうして第２のレジストレーションステップ及び第３のレジストレーションステップを結合するものもある。

主に特徴間の空間的関係に基づく方法は、通常、検出された特徴が曖昧な場合、又は検出された特徴の近傍が局所的に歪んでいる場合に適用される。関心点間の距離及びそれらの空間的分布についての情報を利用する。Shih-Hsu Chang他著「Fast Algorithm For Point Pattern Matching: Invariant To Translations, Rotations And Scale Changes」（Pattern Recognition, Vol. 30, No.2, pp.311-320, 1997）では、特定の変換後に、ソース画像内の特徴に隣接する所与の範囲内に入るターゲット画像内の特徴数が評価される。次いで、最高得点を有する変換パラメータが、有効推定値として設定される。

Manjunath他著「A contour-based approach to multisensor image registration」（IEEE Transactions on Image Processing, vol. 4, no.3, pp.320-334, Mar. 1995）には、領域境界及び他の濃いエッジをマッチングプリミティブとして使用する２つの輪郭ベースの方法が提示されている。第１の輪郭マッチングアルゴリズムは、連鎖コード相関及びその他の不変モーメント等の形状類似性基準に基づく。閉輪郭及び開輪郭に沿ったきわだったセグメントは、別個にマッチングされる。この方法は、ランドサット衛星及びスポット衛星からの光学画像等の、輪郭情報がよく保存されている画像対の場合に上手くいく。能動輪郭モデルに基づく柔軟な輪郭マッチング方式を提案している。光学画像からの輪郭を初期状況として使用して、ＳＡＲ画像内の正確な輪郭位置が、能動輪郭モデルを適用することによって得られる。

空間的関係を利用する方法の代替として、特徴の対応性は、好ましくは、予想される画像の変形に対して不変であるべき記述を使用して推定することができる。最も類似する不変記述を有する、ソース画像及びターゲット画像からの特徴が、対応対として対にされる。不変記述の種類の選択は、特徴特性及び画像の想定される幾何学的変形に依存する。最もよくマッチする特徴対を求めて特徴記述子空間内を探索する際には、通常、しきい値処理を使用する最小距離規則が適用される。Guest他著「Robust point correspondence applied to two- and three-dimensional image registration」（IEEE Transaction on Pattern Analysis and Machine Intelligence 23 (2001) 165-179）では、特徴に対する可能なマッチの信頼性に従って特徴を選択することが提案されている。Hsieh他著「Image registration using a new edge-based approach」（Computer Vision and Image Understanding 67 (1997) 112-130）の研究では、回転差を補償するために線特徴点について計算された角度ヒストグラムを使用する。回転差を除去した後、特徴点対応性が相互相関によって見つけられる。

米国特許第６７３８５３２号明細書には、低減解像度変換空間に基づく画像レジストレーション方法が記載されている。回転パラメータ及び平行移動パラメータが階層的枠組みで回復される。粗解像度では、回転角度は、複数の回転を適用し、画像間に最良の類似性を与える角度を選択することによって回復される。平行移動は、回転で位置合わせされた画像間の平行移動の離散したセットを使用して同様に回復される。細かい位置合わせが、局所制御点マッチングにより実現する。

米国特許第６３７３９７０号明細書には、画像間の回転、スケール、及び平行移動をレジストレーションする別の方法が記載されている。この方法は、フーリエ位相マッチングを使用する別の変形であり、ソース画像及びターゲット画像の両方に大域的に適用される。

米国特許第６６９４０６４号明細書には、空中写真モザイクを作成する関心点ベースの方法が記載されている。点マッチングのタスクは、ジオリファレンス（geo-reference）についての外部情報を用いることによって大幅に簡易化される。このような情報は、画像重複エリアを判断する助けとなり、探索に対して強力な制約を与える。

米国特許出願公開第２００３／００３０６３８号明細書には、２Ｄオブジェクトを含む画像の視点レジストレーション方法が記載されている。この方法は、高位特徴（線、平行対、交点）に基づくビュー間の視点変換（ホモグラフィ）のロバストな推定に基づく。

本発明は、特徴対応性又はエリア相関に基づく従来の手法が上手くいかない、又は信頼性の低い推定値を提供しがちな、未知の条件下で得られた（異なる時間に異なる視点から、かつ場合によっては異なるセンサを使用して得られたものを含む）２つの画像のレジストレーション問題に対処する。

すべての先端技術の関心点検出方法の主な欠点は、不正確な検出（すなわち、位置特定誤差）による関心点位置の不正確性である。位置特定誤差によって局所類似性測度が低くなり、効果のない特徴マッチングに繋がる。本発明の一態様によれば、変更された(modified)対数極座標変換を使用する局所マッチングが導入される。これは、解析から点近傍を除外することによって位置特定誤差を低減することができる。

殆どすべてのレジストレーション方法が、画像スケーリング係数について先験的な仮定を行う。通常、スケーリング係数は、［０．５．．２］の区間に属する。大半の実際のケースはこの仮定を満たすが、いくつかのレジストレーションタスク（特に異なるセンサまたはマルチフォーカス用途の場合）では、スケールにより大きな多様性が必要なことがある。対数極座標変換を用いる方法は、スケーリング係数に対して比較的敏感ではない。Wolberg他著「Image Registration For Perspective Deformation Recovery」（Proc. SPIE, Automatic Target Recognition, Orlando, 2000）によれば、Xiea他著「An IDL/ENVI implementation of the FFT-based algorithm for automatic image registration」（Computers & Geosciences 29 (2003) 1045-1055）に記載される方法等、対数極座標変換を周波数領域において使用する方法が、最高で２のスケーリング係数を有する画像を首尾良くレジストレーションすることができる。Wolberg他著「Image Registration For Perspective Deformation Recovery」（Proc. SPIE, Automatic Target Recognition, Orlando, 2000）に記載される別の方法は、１０未満の大域スケーリング係数を有するアフィンモデルをレジストレーションすることができる。この方法は、画像領域で働き、平行移動、回転、及びスケール空間において４Ｄ全探索を使用し、計算的に高価である。本発明の一態様によれば、対数極座標変換は、各関心点において局所的に使用される。これにより、大きなスケーリング係数のみならず（最高で８のスケーリング係数を有する画像をレジストレーションすることができる）、より複雑な変換（たとえば、視点モデル）も回復する可能性が与えられる。容易にレジストレーションすることができる単純な変換のセットが、複雑性によりレジストレーションが難しいより複雑な変換を局所的にサポートする。

多くのレジストレーション方法、特に関心点マッチングに基づく方法は、画像間の幾何学的関係（たとえば、おおよその重複エリア、平行移動、回転角度…）についての先験的な知識を利用する。このような制約は、ターゲット関心点のサブセットを特定の１つの基準点に対して可能性のあるマッチとして選択するのを助ける。たとえば、ロバストな推定法（ＲＡＮＳＡＣ等）では、通常、組み合わせの複雑性によりすべての特徴マッチを探索することは不可能であるため、このような場合ではさらなる制約が必要である。本発明の実施の形態は、変換に関するいかなる特定の制約にも頼る必要がない。これは、この方法が画像間の変換についてのいかなる予備知識もなしに画像をレジストレーションすることが可能な場合に最も普遍的なケースである。

既知のレジストレーション方法の大半は、幾何学的な変換の不正確な推定値を提供し、したがって不良なレジストレーションを提供する。これは、多くの特徴ベースのレジストレーション方法において、ソース特徴点（すなわち、第１の画像内の特徴点）が、これらの点が画像内にどのように分布するかを考えることなく特徴点リストから繰り返し選択されるためである。このような手法の主な欠点は、ソース点がリストに配置される際にソース点間の空間的関係が失われることである。たとえば、ソース点のかなりの部分が画像の同じ部分にまとまっている場合がある。これは、変換モデルが画像の一部のみをよく補間する場合に不良なレジストレーション結果に繋がる恐れがある。本発明の一態様によれば、すべてのソース点が、最初の数点が画像の大部分をカバーするように並べ替えられ、これにより回復変換モデルの補間属性がよりよくなる。

本発明の諸態様について添付の特許請求の範囲に記す。

本発明の一態様によれば、画像間の大域的パラメトリック変換（たとえば、視点変換、アフィン変換、又は他の変換）は、回転−スケール−平行移動（ＲＳＴ）変換の局所推定のセットから推定される。これらの局所ＲＳＴ変換は、対数極座標での特に変更された相関を使用して関心点の対応する対から推定される。局所変換のサブセットはロバストな推定法により選択され、異常値により偏らない大域的変換がそれから計算される。

第１のステップにおいて、関心（特徴）点が、ソース画像及びターゲット画像の両方で検出される。これは、ソース画像及びターゲット画像の角強度マップの局所的極大を検出することによって実現する。２つのリストが、ソース画像及びターゲット画像の特徴点を使用して作成される。リスト内の点は、顕著な特徴はすべてリストの上部に向けて配置されるように、それぞれの角強度測度に従って並べられ（ソートされ）、さらに、画像内のそれぞれの相対位置に従っても並べられる（ソートされる）。この目的は、リスト内で近くにある点が、画像内で互いに可能な限り離れて配置されるように画像内の特徴点の良好な空間分布を得ることである。一実施の形態では、これは、メインリストを構築する前に、画像をタイル処理し、各タイル内の特徴点を独立してソートすることにより実現する。

第２のステップにおいて、局所ＲＳＴ変換が推定される。これは、周波数領域又は画像領域での処理により実現することができる。最初に、局所前処理が、各関心点を中心とした画像領域に対して行われる。点位置特定誤差に敏感ではない、変更された対数極座標変換が適用される。これは、円形の画像領域を長方形画像に変換する。これらの画像は、周波数領域処理が使用されるか、又は画像領域での処理が使用されるかに応じてＦＦＴを計算するか、又は積分画像を計算することによりさらに前処理される。これらの画像をｌｏｇＦＦＴ局所記述子又はｌｏｇＩｎｔ局所記述子と呼ぶことにする。

正しいマッチング対を見つけるために、投票手順が使用される。可能性のある各点対（ソース画像から１つ、及びターゲット画像から１つ）が、それぞれのｌｏｇＦＦＴ局所記述子又はｌｏｇＩＮＴ局所記述子と共に考慮され、局所ＲＳＴ変換のパラメータが回復される。各点対がこれらの回復されたパラメータに投票し、次いで投票のクラスタを使用して正しいマッチングする点の対を特定する。

十分な数の点がマッチする場合、アルゴリズムはいくつかの探索制約を生成する。次いで、ロバストな推定器、たとえばＲＡＮＳＡＣをマッチした点に適用して、大域変換パラメータを推定する。重複エリア及び探索制約が推定され、記憶される。マッチングは、新しい制約セットに対して繰り返し続けられ、結果としてより高速な処理及びより正確な結果に繋がる。マッチングは、終了基準のセットが満たされた場合に終了する。

本発明の実施の形態の利点には、以下が含まれる。

高精度及びロバスト性が、変更された対数極座標空間でのＲＳＴ変換パラメータの局所推定と、特徴点の選択の制御と、ＲＡＮＳＡＣ推定器による反復大域改良との組み合わせにより実現する。

画像間の幾何学的関係についての知識は必要ない。本発明の実施の形態は、画像間の変換についてのいかなる先験的な知識もなしに画像をレジストレーションすることができる。しかし、わかっている場合、探索制約を組み込んで処理をさらに加速することができる。

高速収束は、特徴強度及び空間的関係に基づく重要度ソートと組みあわせた多重解像度関心点検出戦略による。関心点は、複数の画像スケールを使用して検出することができ、したがって、有意な特異点のみが特徴マッチングに保持されることが保証される。空間的並べ替えにより、リスト内の近傍点が、互いに可能な限り離れて配置された、異なる画像タイルに属する点リストが生成される。これにより、リストからの数点でも、画像の大部分をカバーすることが保証される。各点の強度測度に従って点をソートすることにより、有意且つ異なる条件下で認識可能な画像構造のみがまずマッチすることが保証され、これは、通常数回のみの繰り返し後という、レジストレーションアルゴリズムの極めて高速な収束に繋がる。

本発明の実施の形態は、照度又は強度のばらつき、又は強度の局所的歪み等、異なる画像歪みに対して強力なロバスト性を提供する。これは、変換推定値のオーバーコンプリート集合(over-complete set)を与える局所マッチングにより実現し、このオーバーコンプリート集合から大域変換が導出される。局所レジストレーションに使用される相関係数又は位相相関等の類似性測度は、加法的及び乗法的な強度変化に対して不変であるため、非線形強度差を有する異なる条件下で撮影された画像をレジストレーションすることができる。

画像変化又は異なる変換を経ている複数領域に対するロバスト性。大域画像変換モデルが、局所変換のセットから推定される。次いで、クラスタ化ベースの手法がロバストな推定器と組みあわせられて適用され、局所レジストレーションモデルの異常値のないサブセット及び対応する点のセットが見つけられ、これを標準最小二乗推定手順に直接使用することができ、結果として正確な（サブピクセル精度）変換モデルが得られる。

本発明の実施の形態について、添付図面を参照しながら説明する。

本発明の一実施形態によれば、第１の画像、すなわちソース画像が第２の画像、すなわちターゲット画像とレジストレーションされる。ソース画像及びターゲット画像は、異なる条件下で撮影されるが、２つの画像間の関係に関する先験的な他の情報は必要ない。本方法は、ソース画像とターゲット画像の間に推定される射影変換を、ソース画像及びターゲット画像のそれぞれの内の関心点のセット及びこれらの関心点セット間の対応性と共に出力する。

図１に示すように、本方法は、ソース画像及びターゲット画像内の関心点抽出ステップ（ステップ１．１）、ソース画像およびターゲット画像内の関心点（特徴）のマッチングステップ（ステップ１．２）、及びマッチした関心点を使用してのソース画像とターゲット画像の間の変換推定ステップ（ステップ１．３）を含む。

より具体的には、実施形態の方法は、
１．（スケール空間及び角検出器を使用して）関心点を抽出するステップと、
２．角強度及び位置に従って関心点を順序付けるステップと、
３．各関心点周囲の円形領域をとり、（変更された）対数極空間に変換するステップと、
４．局所回転スケール平行移動（ＲＳＴ）変換を前提として、変更された対数極座標変換及び類似性測度を使用して関心点をマッチングするステップであって、回転範囲及びスケール値に基づいて投票方式を使用して最良のマッチングを特定する、関心点をマッチングするステップと、
５．異常値を拒絶するステップと、
６．マッチした関心点（のサブセット）を使用して、視点変換を求めるステップと
を含む。

この実施形態では、より詳細に後述するように、関心点はスケール空間角検出器を使用して抽出され、関心点のマッチングは、対数極座標変換及び異常値拒絶を使用したロバストなポイントマッチングであり、変換の推定は、最小二乗推定を使用した大域視点変換回復を含む。

この実施形態では、関心特徴は角であり、関心点は角検出器を使用して抽出される。画像の角を検出する方法の考察については、E. Sojka著「A new algorithm for direct corner detection in digital images」（Technical report, Faculty of Electrical Engineering and Computer Science, Technical University of Ostrava, September 2002）に見出すことができる。さらに、ソース画像及びターゲット画像内の関心点は、スケール空間表現を使用して抽出される。スケール空間表現は、画像の異なる解像度レベルのセットである。Mikolajczyk及びSchmid著「Indexing based on scale invariant interest points」（ICCV, 2001）には、関心点と併せてスケール空間表現の考察が含まれている。

関心点抽出方法を図２に示す。

本方法は、ある窓と、画像の列及び行に平行な方向にシフトした窓との間の、グレー値差を測定する信号の自己相関関数に基づく。

（１）

式中、Ｉ（ｘ，ｙ）は画像関数であり、（ｘ_ｋ，ｙ_ｋ）は、（ｘ，ｙ）を中心とした窓Ｗ内の点であり、Ｇ（ｘ_ｋ，ｙ_ｋ）は、画像強度に重み付けするために使用されるガウス関数である。自己相関関数（１）から、自己相関行列（２）が、テイラー展開に基づく一次近似を使用して導出される。この行列は、点（ｘ，ｙ）の周囲の窓Ｗ内の信号の導関数を平均する。

（２）

この行列は、局所近傍の属性を反映する。この行列のランクが２であり、両方の固有値が大きい場合、関心点が検出される。ランク１の行列はエッジを示し、ランク０の行列は同質領域(homogeneous region)を示す。行列Ａの固有値の抽出を回避するために、関心点の強度が、パラメータフリー測度（３）により測定され、これについては、Sojka他著「A new algorithm for direct corner detection in digital images」（Technical report , Faculty of Electrical Engineering and Computer Science, Technical University of Ostrava, September 2002）に説明されている。

（３）

（２）の計算は、画像及びその導関数のスケール空間表現に基づく:

（４）

式中、Ｇ（σ）、Ｇ_ｘ（σ）、Ｇ_ｙ（σ）は、ガウスカーネル及びその導関数である。

スケール空間導関数（４）を使用して、スケール空間自己相関行列Ａ（ｘ，ｙ，σ）を計算する（ブロック２．１）。原画像Ｉ（ｘ，ｙ）の各ピクセル毎に、強度測度Ｓ（ｘ，ｙ，σ）のスケール空間表現（ブロック２．２）が、（３）を使用して計算される。σ＝σ’を有する別のガウスカーネルを使用して、窓にわたって合算される導関数を重み付ける。次いで、異なるスケールσ_１、σ_２、…、σ_ｎに対応するいくつかの強度測度が組み合わせられて、最終強度測度になる（ブロック２．３）。組み合わせる最も単純な方法は、強度測度をピクセル毎に乗算することである。

（５）

この強度測度は、σ_１、σ_２、…、σ_ｎパラメータによって与えられる選択されたスケールレベルに対して不変の関心点のみを強調する。

可能性のあるすべての関心点は、強度測度の局所的極大として検出される（ブロック２．４）。この手順後、初期点リストが形成される。特徴強度及び空間的関係に基づく重要度ソート手順が、初期リストに適用される。このリスト内の点は、走査線順にソートされる。次いで、点は強度測度に従ってソートされるため（ブロック２．５）、すべての強い特徴はリストの上部に配置される。強度測度がしきい値未満であるリストの最後からの弱い特徴は、除去される。画像内での点の良好な空間分布を保証するために、リストは、リスト内の近傍点が異なる画像タイルに属し、互いに可能な限り離れて配置されるように並べ替えられる（ブロック２．６）。この手順を図３に示す。

好ましい一実施形態では、以下のパラメータ：σ_１＝０．５、σ_２＝１、σ_３＝２、σ’_ｉ＝２σ_ｉを有する３つのスケールレベルが使用される。局所的極大探索の場合、１１×１１ピクセル窓が使用される。局所的極大を関心点として受け入れるしきい値としては、１０が選択される。空間的並べ替えの場合、画像は２５６ピクセル（幅及び高さ共に）に等しいサイズのタイルに分割される。

ソース画像及びターゲット画像内の関心点が上述したように抽出された後、局所点マッチングが実行されて、ソース画像内のどの関心点がターゲット画像内のどの関心点に対応するかを求める。これは、局所位置合わせ（すなわち、関心点に対して局所）を使用して実行され、画像内の関心点を中心とした領域の対数極座標変換のマッチングに基づく。

図４は、従来の（単一スケールの）抽出方法の結果と比較したマルチスケール関心点抽出の一例を示す。単一スケール版では、σ_１＝０．５である１つのみのガウスカーネルが使用された。マルチスケール実施態様では、３つのスケールレベルパラメータ、局所的極大探索用の窓、及び局所的極大を受け入れる際のしきい値は上記の通りである。

図４ａ、図４ｃ及び図４ｅは単一スケール手法を表し、図４ｂ、図４ｄ、及び図４ｆはマルチスケール手法を表す。図４ａ及び図４ｂでは、十字が関心点を示す。図４ｃ及び図４ｄは、強度測度を画像として示す。図４ｅ及び図４ｆは、図４ｃ及び図４ｄの長方形のエリアに対応する強度測度を面として示す。

単一スケール版とマルチスケール版との比較は、
・雑音の多い多くの関心点が、マルチスケール手法を使用して抑圧され、
・マルチスケール手法は、小さな局所角を保存し、
・マルチスケール手法は、有意な角特徴（たとえば、図４（ａ）、図４（ｂ）の円形エリアを参照のこと）を検出し、サンプルスケール手法では欠落する顕著な角を検出する
ことを示す。

最も強い特徴がまず失敗確率の低いマッチとマッチングされ、最初の数個の対応点対が画像の重複エリアの良好な空間カバレージを有するため、点マッチングの結果の解析（後述する方法を使用して）は、多解像度特徴検出並びに特徴強度及び空間的関係に基づく重要度ソートからの恩恵を示す。

点マッチング手順には、十分な数の点がマッチしたときに自動的に割り込むことができる。上述した属性により、画像レジストレーションの後続ステップの信頼性があり且つロバストな結果が保証される。

ソース画像及びターゲット画像内の関心点が上述したように抽出された後、局所点マッチングが実行されて、ソース画像内のどの関心点がターゲット画像内のどの関心点に対応するかが求められる。これは局所位置合わせ（すなわち、関心点に対して局所）を使用して行われ、画像内の関心点を中心とした領域の対数極座標変換のマッチングに基づく。

ロバストな局所点マッチングは２つの仮定に頼る。すなわち、（１）画像が検出可能な特徴を含み、これらの特徴のサブセットが両方の画像において共通し、且つ（２）両方の画像を４パラメータ動きモデル（幾何学的変換）により局所的に位置合わせ可能である。

レジストレーション中の両方の画像において抽出された関心点から正しいマッチング対を見つけるために、汎用ハフ変換(Generalized Hough Transform)と同様の投票手法を用いる。可能性のある点対毎に、これらの点を含む小さな画像領域が考慮され、これらの領域間の局所ＲＳＴ変換のパラメータが推定される。各点対がこれらの回復されたパラメータに投票し、次いで、投票の集まりを使用して正しい点対が特定される。２点間の類似性測度を得るには、平行移動、回転、及びスケールを含む４パラメータモデルのみが使用される。これが局所変換の正確な近似を与えることが見出された。領域間の平行移動は、点座標差から直接導出される。回転及びスケールは変数パラメータとしてみなされるため、領域類似性測度はこれらの２つの変数にのみ依存する。

本方法の作業の流れを図５に示し、その主要ブロックを以下に要約し、その後、本方法のステップのうちのいくつかについてより詳細に説明する。

本方法の全般的な戦略は特徴ベースであるが、個々の点間の類似性をマッチングするために、エリアベースの手法が使用される。方法は、先端技術の正規化相互相関技法及び位相相関技法を含む任意のエリアベースの類似性測度に適合する。

局所前処理（ステップ５．１）が、各関心点を中心とした円形画像領域に対して行われる。まず、変更された対数極座標変換が適用され、後述のように、円形領域を矩形領域に変換する。さらなる前処理は、どの種類のエリアベースの類似性測度が使用されるかに依存する。

相関係数を計算するために、窓平均値及び分散を含む２つの浮動小数点２Ｄアレイが作成される。これらの２Ｄアレイは、積分画像に基づく既知の技法を使用して計算される。

位相相関を計算するために、高速フーリエ変換が適用される。

探索制約を使用して、計算コストを低減する。提案する方法では、探索制約は、ソース画像点からターゲット画像領域への近似写像である。このような制約は、ステップ５．２において、ターゲット関心点のサブセットを特定の１つのソース点に対する可能性のあるマッチとして選択するのを助ける。

特定のソース点について、制約は空である場合があり、これは、その点が画像重複エリアに属さないことを意味する。このような点は、ステップ５．９においてマッチングに選択されない。

提案する方法は、いかなる特定の初期探索制約にも頼る必要がない（図５）。先験的な制約がなくてもよく、この場合、すべてのターゲット関心点セットが、ソース点のマッチング候補とみなされる。これは、本方法が、画像間の変換についていかなる先験的な知識もなしに画像をレジストレーションすることができる最も普遍的なケースである。しかし、いくつかの事前制約がわかっている場合、その事前制約を本方法に組み込むことができ（ステップ５．２）、その結果、計算負荷が低減する。このような制約は、近似画像変換モデル及びモデルパラメータについての先験的な知識から生じ得る。

十分な数の点がマッチした場合（ステップ５．５及び５．６）、提案するアルゴリズムは事後的探索制約を生成する（ステップ５．７）。マッチした点を使用して変換モデルを推定し（ロバストな推定方法が使用される）、この変換モデルから、重複エリア及び探索制約が更新される。マッチングは新しい制約を使用して続けられ、その結果、処理は高速化する。

ステップ５．８が、マッチングプロセスを終了すべきときを判断する。上述したように、アルゴリズムは、対応点のセット及び変換モデルパラメータを繰り返し更新する。推定プロセスは、以下の条件のうちの１つが満たされるときに終了する。
・すべてのソース点がマッチした
・十分な数のソース点がマッチし、推定画像重複エリアの大部分をカバーする
・変換パラメータがいくつかの最近の繰り返し中で安定している（変化していない）

ステップ５．２は、以下のような投票方式に基づいてロバストなマッチングを行う。

（ｘ_ｉ，ｙ_ｉ）、ｉ＝１…Ｎ_１及び（ｘ’_ｊ，ｙ’_ｊ）、ｊ＝１…Ｎ_２を２つの所与の画像において検出された２つの関心点セットとする。但し、Ｎ_１及びＮ_２はソースＩ_１（ｘ，ｙ）及びターゲットＩ_２（ｘ，ｙ）の画像のそれぞれの点の総数である。探索制約を満たす各点対（ｉ，ｊ）毎に、回転角度θ及びスケールｓに依存する類似性測度Ｃ_ｉｊの関数（θ，ｓ）が計算される。この類似性関数は、パラメータの離散値に対して計算される。

（７）

（８）

式中、Ｎ_θ、Ｎ_ｓは、回転・スケールパラメータ空間での離散値の数を決定する。（８）において、Ｓ（…）は、スケール値を［０，Ｎ_ｓ−１］の区間から離散値ｓ_ｌのセットに写像する関数である。

パラメータ値のセットにわたる類似性関数（７）、（８）が計算されると、最良の類似性測度を与える値が選択される：

（９）

又はインデックスの観点では、

（９^＊）

である。

（９）をすべての対（ｉ，ｊ）、ｊ＝１…Ｎ_２［ｉ］について繰り返し、次のように最高の類似性測度を有するＭ個の候補ｊ_１、ｊ_２、…、ｊ_Ｍのセットを選択する：

いくつかの候補を保持すること（Ｍ>１）は、正しいマッチングが常に最高の類似性測度に繋がるわけではないため、最良のマッチングのみを保持することと（Ｍ＝１）比較してより上手くいく。図６は、高い類似性測度を与える可能性が高い画像フラグメントの一例を示す。図６に示すように、これらの可能性のある候補ｊ_１、ｊ_２、ｊ_３はｉ番目の関心点に高い類似性測度を与える。真の対（ｉ、ｊ_２）の類似性測度は、最高でない場合もある。

この理由は、大きな時間の変化又は視点の変化であり得る。したがって、いくつかの最良候補が保持され、投票手順によりあらゆる曖昧さの解消が助けられる。

投票方式自体（ブロック５．３）は、すべてのソース関心点（ｉ＝１…Ｎ_１）の最良の類似性測度（９）についての証拠を蓄積する２ＤアレイＡ（ｋ，ｌ）として編成される：

（１０）

正しいマッチングはクラスタ（累積器でのピーク）を生成し、クラスタの位置は、回転パラメータ及びスケールパラメータに対応する（ブロック５．４）：

（１１）

好ましい実施形態では、回転・スケール累積器の幅及び高さには、ＦＦＴの有効な実施のために２のべき乗が選択され、以下の値、すなわち、Ｎ_ｓ＝３２、Ｎ_θ＝６４が使用され、３つの最良の候補（Ｍ＝３）が、点マッチングプロセスにおいて各ソース点毎に保持される。

ピーク位置を得た後、可能性のあるすべての関心点対が調べられ、クラスタに寄与する対のみが後続処理のために記憶される（ブロック５．５）。図７は、このステップの一例を示す。

図７は、パラメータ空間でのクラスタ化を使用した初期関心点マッチングを示す。図７（ａ）は、回転・スケールパラメータ空間でのクラスタを示し、図７（ｂ）、図７（ｃ）はパラメータ空間での主要クラスタに寄与する点対を示し、図７（ｂ）は基準画像であり、図７（ｃ）はターゲット画像である。画像間の大きな変換（スケール＝４、回転＝９０度）に留意する。

上記要約を参照して、変更された対数極座標画像変換を含む前処理ステップについて以下説明する。

対数極座標変換は、いくつかのコンピュータビジョンシステムにおいて使用される既知の空間変異画像符号化方式である［Yeung及びBarnes著「Active Monocular Fixation using the Log-Polar Sensor」（Proceedings of the 2003 Australasian Conference on Robotics & Automation, 2003）］。対数極座標（α，ρ）への変換を用いて、相互の画像回転及びスケーリングを普遍的な様式で処理する［Wolberg他著「Robust Image Registration Using Log-Polar Transform」（Proc. of IEEE Intl. Conf. on Image Processing, Sep. 2000）］。この変換は、関心点（ｘ_ｉ，ｙ_ｉ）を中心としたすべての画像領域に適用される。

（１２）

式中、

（１３）

である。

変換（１２）、（１３）は実際には逆対数極座標変換であり、これを実際に使用して順変換を実施する。

ターゲット画像が、角度θ^＊だけ回転し、係数ｓ^＊だけスケーリングされ、或るシフトパラメータだけ平行移動した基準画像であると考える。その場合、ターゲット画像の変換（１２）は、以下

（１４）

と書くことができ、式中、（ｘ’_ｉ，ｙ’_ｉ）は（ｘ_ｉ，ｙ_ｉ）に対応する関心点の位置であり、

（１５）

である。

式（１４）、（１５）は、（ｘ，ｙ）座標の原点を中心としたあらゆるスケーリング及び回転が、（α，ρ）座標でのシフトで表されることを示す。これを図８において例証する。

図８（ａ）は、第３の関心点を中心とした図７（ｂ）からの基準画像の対数極座標変換を示し、図８（ｂ）は、第３の関心点を中心とした図７（ｃ）からのターゲット画像の対数極座標変換を示す。破線長方形は、通常の相互相関探索による画像（ａ）と画像（ｂ）とのマッチングの結果を示す。最大相関係数は０．８０に等しい。長方形の位置は、回転角度及びスケールの対数に対応する。ターゲット画像での周期的なα軸に沿った探索を簡単にするために、α値に［０；４π）の区間が使用される。

角位置特定誤差があると、対数極座標変換済み画像において大きな一様エリアが生じる。図９（ａ）は、位置が画像内の実際の角からシフトした関心点の例を示す。図９（ｂ）は、対数局座標変換が、半径方向の直線及び同心円を座標軸に平行な直線に写像することを示す。図９（ｃ）は、図９（ａ）からの画像の対数極座標変換の結果を示す。画像の上部にある大きな一様エリアに留意する。

変更された対数極座標変換。図１０（ａ）は、変更された変換が、半径方向の直線及び同心円を座標軸に平行な線に写像するが、座標系原点付近のエリアを考慮に入れないことを示す。図１０（ｂ）は、第３の関心点を中心とした図７（ｂ）からの基準画像の変換を示す（図８（ａ）と比較されたい）。図１０（ｃ）は、第３の関心点を中心とした図７（ｃ）からのターゲット画像の変換を示す（図８（ｂ）と比較されたい）。破線長方形は、通常の相互相関探索による画像（ｂ）と画像（ｃ）とのマッチングの結果を示す。最大相関係数は０．８８に等しい。

提案する方法では、対数極座標変換は、径座標(radial coordinate)のゼロレベルをシフトすることによりさらに改良される。この主な根本的理由は、関心点検出器が常に角の実際の位置を与えるわけではないことである。関心点の位置は、関心点の位置が画像内の実際の角（図９（ａ））からシフトされた図９ａに示すように、実際の角の位置からランダムにシフトする場合がある。これは、変換により中心円（図９（ｂ）の暗いエリア）及び周辺円を同じ数のサンプルに写像するため、対数極座標画像（図９（ｃ））において大きな一様エリアをもたらす。この一様エリアは、画像領域についての新しい情報を含まず、類似性測度へのその寄与は低いか、又はマイナスでさえあり得る。したがって、変更された対数極座標変換は、非ゼロ半径方向値ｒ_０（図１０（ａ））から始まり、変換は依然として（１２）（１３）のように見えるが、ｒ及びｒ^＊の式は、

（１３^＊）

（１５^＊）

である。

この変更は、実際に、点マッチング結果の大幅な改良をもたらす。図１０（ｂ）、図１０（ｃ）は、変更された対数極座標変換を使用した点マッチングの一例を示す。図８と同じ関心点対を使用した。マッチング結果（回転及びスケール）は似ているが、類似性測度（相関係数）のピークは、変更された対数極座標変換の場合にはるかに顕著である。変更された変換のこの属性は系統的(systematic)であり、関心点検出器が画像での視点の変化及び時間の変化によりわずかに異なる点位置を与える場合に、よりロバストな点マッチングになる。

好ましい実施形態では、値ｒ_０＝５のピクセルが、変更された対数極座標変換の原点のシフトを定義するパラメータに使用され、変更された対数極座標変換の逆変換のパラメータは、対数極座標画像の次元が回転・スケール累積器の次元と等しくなるように選択される：ｍ０＝Ｎθ、ｍｍａｘ＝Ｎθ−１、ｎ０＝Ｎｓ、ｎｍａｘ＝Ｎｓ−１。

対数極座標変換の計算は、式（１２）、（１３^＊）について予め計算されたルックアップテーブルを使用し、非整数座標値を有するピクセルに双一次補間を使用することにより非常に効率的に行われる：

（１６）

式中、Ｉ_ｌｐは対数極座標画像であり、Ｉ_ｂは原画像であり、インデックスｂは、非整数座標を有する値が双一次補間を使用して得られることを意味し、（ｘ_ｉ，ｙ_ｉ）は関心点の座標であり、Ｌ_ｘ、Ｌ_ｙは、次の、変更された対数極座標変換の逆変換のルックアップテーブルである：

（１７）

（１７）において、ｍ_ｍａｘ、ｎ_ｍａｘは、結果生じる画像のサイズを定義するパラメータであり、ｍ_０、ｎ_０は、対数極座標画像の角度分解能及び半径方向分解能を定義するパラメータである。

関数（８）はここで、（１５）及び（１７）から特定することができる。これは、離散パラメータ軸を画像間のスケールに写像する：

（８^＊）

上記を参照すると、ＲＳＴ変換下の関心点をマッチングする方法及び投票方式を使用して正しいマッチングを選択することについて以下説明する。未知の変換下の点をマッチングするには、関心点を中心とした画像領域間のいくつかのロバストな類似性測度が必要である。このセクションでは、一方は画像領域にあり、他方は周波数領域にある２つの類似性測度について説明する。これらの方法は相関係数及び位相相関であり、両方とも、コンピュータビジョンの学問で広く研究されている既知の従来技術である。本実施形態の変形例は、原画像領域を使用することに代えて、前セクションで説明した対数極座標変換された画像領域を使用することを含む。これは、類似性測度のみならず、局所変換パラメータ（未知の回転及びスケール）の推定値も相関関数面（図１１）内の最大ピークの位置として与える。

図１１は、類似性測度を画像及び面として示す。図１１（ａ）は相関係数を示し、図１１（ｂ）は位相相関を示す。

任意の点対（ｉ，ｊ）の類似性を測定するために、対応する対数極座標画像Ｉ_ｉとＩ_ｊとの間の相関係数が使用される：

（１８）

式中、

は、合算が基準画像Ｉ_ｉのすべてのピクセルにわたって行われることを意味し、

は、基準画像内のピクセルの総数である。

（１８）の解析から、項

（１８^＊）

のみが（ｉ，ｊ）対に依存して変化しており、他のすべての項は局所前処理ブロック（ブロック５．１）において事前に計算できることを見て取ることができる。

対数極座標画像は、角度領域において周期的である。（１７）から、Ｉ（ｎ，ｍ）＝Ｉ（ｎ＋ｎ_０，ｍ）ということになる。本発明の場合、式（１８）を、パラメータｎの周期性を考慮に入れるように変更する必要がある。以下の手順を使用して、局所変換を推定する。
１．局所前処理段階（ブロック５．１）。
１．１ １つの周期を有する基準対数極座標画像を作成する、すなわち（１７）においてｎ_ｍａｘ＝ｎ_０−１である。
１．２ ２つの周期を有するターゲット対数極座標画像を作成する、すなわち（１７）においてｎ_ｍａｘ＝２^＊ｎ_０−１。スケールパラメータ領域も、いくつかの探索エリアを可能にするように拡張される。ｍ＝０，…，ｍ_ｍａｘ＋Ｎ_θ、但し、Ｎ_θは（７）において定義される。
１．３ すべての基準画像について、（１８）を使用して

を計算する。
１．４ すべてのターゲット画像及び回転・スケール領域からのすべてのインデックス（ｋ，ｌ）について、（１８）を使用して

を計算する。
２．マッチング段階（ブロック５．２の部分）
２．１ （７）〜（９^＊）を使用して最良の変換パラメータを探索する。
代替として、対数極座標画像の周期性により、実質上、位相相関を類似性測度として使用することができる。理想的な場合では、２つの対応する対数極座標画像Ｉ_ｉ及びＩ_ｊは、平行移動（ｋ^＊，ｌ^＊）のみ異なり、したがって、
Ｉ_ｉ（ｍ，ｎ）＝Ｉ_ｊ（ｍ＋ｋ^＊，ｎ＋ｌ^＊）
である。

標準位相相関

（１９）

を適用する。式中、Ｆ（ｆ）は画像ｆの２Ｄフーリエ変換であり、Ｆ^＊（ｆ）はＦ（ｆ）の複素共役であり、平行移動値でのパルス関数が得られる：
Ｃ_ｉｊ（ｋ，ｌ）＝δ（ｋ−ｋ^＊，ｌ−ｌ^＊）

実際には、位相相関の結果は、図１１（ｂ）に示すものと同様であり、平行移動値は、最高のピークを見つけることによって位置特定することができる。

位相相関に基づく類似性測度を計算するために、以下のアルゴリズムを使用する。
１．局所前処理段階（ブロック５．１）。
１．１ （１７）を使用し、ｎ_ｍａｘを２のべき乗から１を引いたものに設定して基準対数極座標画像及びターゲット対数極座標画像を作成する。Ｉ_ｌｐ（ｎ，ｍ）はｍ>ｍ_ｍａｘの場合にゼロで埋められるため、Ｉ_ｌｐの垂直サイズは２のべき乗であり、２ｎ_ｍａｘよりも大きい。
１．２ すべての対数極座標画像に対して高速フーリエ変換（ＦＦＴ）を行う：Ｆ（Ｉ_ｉ）＝ＦＦＴ（Ｉ_ｉ）。
１．３ ＦＦＴの結果を正規化する：Ｆ_ｎ（Ｉ_ｉ）＝Ｆ（Ｉ_ｉ）／｜Ｆ（Ｉ_ｉ）｜。
２． マッチング段階（ブロック５．２の部分）
２．１ すべての点対について、以下のように（１９）を計算する：Ｆ_ｎ（Ｉ_ｉ）及びＦ_ｎ（Ｉ_ｊ）のそれぞれでの同じ座標からの各複素ピクセル値（ａ_ｉ，ｂ_ｉ）及び（ａ_ｊ，ｂ_ｊ）について、以下

（２０）

のように位相のみの複素画像を得る。
２．２ 逆フーリエ変換を位相画像に施し、最高のピークを探索する（９^＊）。

クラスタ化ベースの点マッチングを前セクションで説明したように行った後であってもやはり、対応する点のセットは誤ったマッチ（異常値）を有し得る。これらの異常値は変換パラメータの推定を大きく妨げる恐れがあるため、画像間の変換を計算する前に特定すべきである。

上記要約を参照して、変換モデルを推定するステップについて以下説明する。

以下の、２つの画像間の視点変換モデルを使用する。

（２１）

Ｇ＝Ｈ＝０、Ｉ＝１の場合、変換はアフィンである（２２）。制約：Ａ＝ｓａ、Ｂ＝ｓｂ、Ｃ＝−ｓｂ、Ｄ＝ｓａ、ａ^２＋ｂ^２＝１を係数に課すことにより、（２２）がＲＳＴ変換（２３）になり、したがって、６パラメータアフィン変換及び４パラメータＲＳＴ変換がこの方法によって暗黙的に扱われる。

（２２）

（２３）

Ａ＝Ｅ＝１、Ｂ＝Ｄ＝０を使用することによりアフィン変換をさらに単純化することで、最も単純な２パラメータ平行移動変換（２４）になり、これもまた提案する方法によって暗黙的に扱われる。

（２４）

変換（２１）は８つの独立パラメータを有し（パラメータはすべてＩで割ることができる）、これは４つの対応する点から求めることができる（四辺形−四辺形写像）。これらの点について、（２１）を８線形式系として書き換えることができ、任意の標準の方法で解くことができる。

（２１）のパラメータを計算する従来技術による別の効率的な方法がある。これは、一般的な四辺形−四辺形変換を、図１２に示すように四辺形−正方形及び正方形−四辺形への２つの単純な変換に分解することに基づく。これらの単純な変換は象徴的に(symbolically)導出されるため、４点に基づく（２１）の解は純粋に象徴的であり、単純な８×８システムソルバよりもはるかに高速である。この実施は、単純な算術演算のみから成る。

一般的な射影変換は、２つの単純な変換の合成として導出される。

２つの単純な変換の合成としての一般的な射影変換の導出。
ＲＡＮＳＡＣアルゴリズムを対応する点のセットに適用して、射影変換及びこの変換に整合する正常（inlier）対応性を推定し、そうしてＲＡＮＳＡＣ手順の一環として上述したように異常値を拒絶する。ＲＡＮＳＡＣは、たとえば、Chum, O.、Matas, J.及びKittler, J著「Locally Optimised RANSAC」（DAGM 2003）に説明されている既知の手順である。
１．すべての入力された対応(input correspondences)が、ランダムに選択される４点サンプルのセットとして編成される。
２．このような各サンプルが、画像間の視点変換を決定する。
３．各サンプルが、正常対応性（すなわち、変換を満たすもの）の数により変換に投票する。
４．最大数の正常値を有する変換が真の変換であるとみなされる。
５．解が見つけられた場合、サンプル選択プロセスが終了し、異常値の割合のしきい値が使用される。

最終変換（本方法の結果）は、すべての正常な対応を使用して既知の最小二乗推定により計算され、これは完璧に働き、ＲＡＮＳＡＣがすべての異常値を拒絶し正常値のみが残る場合に、正確且つ満足のいく最適な推定を与える。

提案する方法の態様に対する多くの代替の実施態様が存在する。たとえば、異なる探索制約を枠組みに組み込み、結果としてより高速に収束することができる。本方法が一連の画像に適用される場合（たとえば、画像シーケンス又は映像シーケンスに対処する場合）、前のフレームで確立された画像レジストレーションの結果及び探索制約を続くフレームに伝えることができる。

さらに、多くの異なる類似性測度を特徴点局所マッチングにインプリメントすることができる。セクション５．３．７において説明した相関係数及び位相相関は２つの可能性にすぎず、他の多くの代替形態が存在する。

多解像度手法は、特徴抽出及び／又はマッチング段階において適用することも可能である。

本発明の実施形態の応用例としては、衛星画像、航空画像、医療画像、又は顕微鏡画像のレジストレーション、画像又は映像からのパノラマ及びモザイクの作成、及び画像シーケンス安定化が挙げられる。

本明細書において、画像という用語は、文脈から明らかな場合を除き全体画像又は画像の領域を意味する。同様に、画像の領域は全体画像を意味することができる。画像はフレーム又はフィールドを含み、静止画像、フィルム若しくは映像等の一連の画像内の画像、又は関連する画像群内の画像に関連する。

画像は、グレースケール画像、カラー画像、又は別の種類のマルチスペクトル画像、たとえば、ＩＲ、ＵＶ、他の電磁画像、若しくは音響画像等であってもよい。

本発明は、適した装置を使用して電気信号を処理することによって実施されることが好ましい。

本発明は、適するソフトウェア及び／又はハードウェアの変更を行った、たとえばコンピュータシステムにおいて実施することができる。たとえば、本発明は、プロセッサ又は制御装置等の制御手段又は処理手段、メモリ、磁気記憶装置、ＣＤ、ＤＶＤ等の画像記憶手段を含むデータ記憶手段、ディスプレイ、モニタ、又はプリンタ等のデータ出力手段、キーボード等のデータ入力手段、及びスキャナ等の画像入力手段、又は追加の構成要素と併せてこのような構成要素の任意の組み合わせを有するコンピュータ或いは同様のものを使用して実施することができる。本発明の態様は、ソフトウェア及び／又はハードウェアの形態で提供することができ、或いはチップ等の特定用途向け装置又は特定用途向けモジュールを提供することができる。本発明の一実施形態による装置でのシステムの構成要素は、たとえばインターネットを介して、他の構成要素から離れて提供してもよい。

本発明の一実施形態のブロック図である。 本発明の一実施形態の別のブロック図である。 画像内の特徴点の順序付けを示す。 単一スケール手法とマルチスケール手法を比較して画像内の特徴点及び対応する強度測度を示す。 本発明の一実施形態の別のブロック図である。 特徴点のマッチングを示す。 特徴点のマッチング及び投票手順のための対応する累積器を示す。 対数極座標画像に基づくマッチングを示す。 対数極座標変換を示す。 本発明の一実施形態の変更された対数極座標変換を示す。 画像及び面の形態の２つの類似性測度を示す。 変換を導出する方法を示す。

Claims (41)

1. 画像対間の変換を推定する方法であって、
   前記画像の複数の領域の局所変換を推定して、推定変換のセットを導出することと、
   前記推定局所変換のサブセットを前記画像の推定大域変換として選択することと
   を含む、画像対間の変換を推定する方法。
2. 前記局所変換の推定は、平行移動に加えて、又は平行移動以外の、回転及び／又はスケール変化等の動きを推定することができる、請求項１に記載の方法。
3. 前記局所変換の推定は、２つより多いパラメータを有するパラメトリックモデルを含む、請求項１又は２に記載の方法。
4. 推定変換の前記セットを使用してさらなる処理をすることであって、それによって少なくとも１つの大域変換を導出する、さらなる処理をすることを含む、請求項１〜３のいずれか一項に記載の方法。
5. 前記さらなる処理は、ＲＡＮＳＡＣ等のロバストな推定器を使用することを含む、請求項４に記載の方法。
6. 前記さらなる処理は、最小二乗推定をさらに含む、請求項５に記載の方法。
7. 領域を比較するために類似性測度を使用することを含む、請求項１〜６のいずれか一項に記載の方法。
8. 回転及びスケールに対して不変の類似性測度を使用することを含む、請求項７に記載の方法。
9. 変換パラメータの推定に前記類似性測度を使用する、請求項７又は８に記載の方法。
10. 前記類似性測度は相関係数又は位相相関を含む、請求項７〜９のいずれか一項に記載の方法。
11. 第１の画像内の複数の領域のそれぞれについて、前記領域と第２の画像内の複数の領域のそれぞれとを比較して、複数の類似性測度を導出することを含む、請求項７〜１０のいずれか一項に記載の方法。
12. 前記第１の画像内の前記領域のそれぞれについて、最高の類似性測度を有するＭ個の領域を前記第２の画像から選択することを含み、Ｍ>１である、請求項１１に記載の方法。
13. 投票方式又は累積器を前記複数の局所推定変換に使用し、前記サブセットを選択する、請求項１〜１２のいずれか一項に記載の方法。
14. 前記選択されたＭ個の領域を前記投票方式に使用することを含む、請求項１２に従属する請求項１３に記載の方法。
15. 前記局所変換の推定は、特徴点又は関心点を含む領域、並びに前記領域及び点のマッチングを含む、請求項１〜１４のいずれか一項に記載の方法。
16. 前記局所変換の推定は、前記第１の画像内の複数の点のそれぞれについて、前記点及び周囲の局所領域を、前記第２の画像内の複数の点のそれぞれ及び周囲の局所画像と、マッチングすることを含む、請求項１５に記載の方法。
17. 選択されたサブセットを使用して、前記第１の画像及び前記第２の画像内の対応するマッチングする点の対を選択することを含む、請求項１５又は１６に記載の方法。
18. 信頼測度がそれぞれに関連付けられた前記特徴点又は関心点を、信頼測度及び前記画像内の位置に基づいて順序付けることを含む、請求項１５〜１７のいずれか一項に記載の方法。
19. 前記局所変換を回転スケール平行移動変換として推定することを含む、請求項１〜１８のいずれか一項に記載の方法。
20. 探索制約を使用して前記変換推定を繰り返すこと、及び、前記探索制約を変更することを含む、請求項１〜１９のいずれか一項に記載の方法。
21. 前記画像領域の変更された対数極座標変換を使用することを含み、対数極座標変換は半径方向値ｒ_０から開始するエリアに適用され、ｒ_０>０である、請求項１〜２０のいずれか一項に記載の方法。
22. 前記画像のマルチスケール表現を使用する、請求項１〜２１のいずれか一項に記載の方法。
23. 画像を表現する方法であって、信頼測度がそれぞれに関連付けられた複数の特徴点又は関心点を、信頼度及び前記画像内の位置の両方に基づいて順序付けることを含む、画像を表現する方法。
24. 前記点はマッチングを目的として順序付けられる、請求項２３に記載の方法。
25. 前記位置に基づいて順序付けることは、点間の距離に基づいて順序付けることである、請求項２３又は２４に記載の方法。
26. 前記点は、点間の距離の大きい順に順序付けられる、請求項２５に記載の方法。
27. 前記点は、信頼度の高い順に順序付けられる、請求項２３〜２６のいずれか一項に記載の方法。
28. 初期点は、前記画像全体を通しての前記点の空間分布を表す、請求項２３〜２７のいずれか一項に記載の方法。
29. 前記画像を領域に分けること、及び、前記点を信頼度及び領域に従って順序付けることを含む、請求項２３〜２８のいずれか一項に記載の方法。
30. 前記点を各領域内で信頼度に従って順序付けした後、領域によって順序付けすることを含む、請求項２９に記載の方法。
31. 前記信頼測度は、前記特徴点又は関心点の強度を反映する、請求項２３〜３０のいずれか一項に記載の方法。
32. 前記信頼測度は、前記特徴点又は関心点が別の画像の特徴点又は関心点とマッチする確率を反映する、請求項２３〜３１のいずれか一項に記載の方法。
33. 変更された対数極座標変換を使用して画像を表現する方法であって、対数極座標変換は半径方向値ｒ_０から開始するエリアに適用され、ｒ_０>０である、画像を表現する方法。
34. 前記変更された対数極座標変換は、その逆変換が式（１２）及び式（１３^＊）の形態のものである、請求項３３に記載の方法。
35. 請求項２３〜３４のいずれか一項に従って導出された前記画像の表現を使用して、画像対をマッチングする方法。
36. 画像対間の変換を推定するための、請求項３５に記載の方法。
37. 前記画像の複数の領域の局所変換を推定して、推定変換のセットを導出することと、
    前記推定局所変換のサブセットを前記画像の推定大域変換として選択することと
    を含む、請求項３６に記載の方法。
38. 請求項２〜２２のいずれか一項の特徴をさらに含む、請求項３６又は３７に記載の方法。
39. 請求項１〜３８のいずれか一項に記載の方法を実行する装置。
40. 請求項１〜３８のいずれか一項に記載の方法を実行するようにプログラムされた制御装置。
41. 請求項１〜３８のいずれか一項に記載の方法を実行するためのコンピュータプログラム、システム、又はコンピュータ可読記憶媒体。
    

Images