JP2007257287A - 画像レジストレーション方法 - Google Patents

Abstract

【課題】時系列画像中における注目画像と参照画像との間のモーションを推定するための領域選択型レジストレーション方法であって、あらゆる形状を有する対象のレジストレーションに適用でき、照明変化やオクルージョンにロバストで且つ高精度な画像レジストレーションを行い得る画像レジストレーション方法を提供する。
【解決手段】対象を撮影した時系列画像中の参照画像と注目画像との間に高精度なレジストレーションを行う画像レジストレーション方法であって、参照画像上の所定の領域を注目領域に設定し、レジストレーションを行う際に、設定された注目領域内で、平面射影変換によって正確にレジストレーションできる領域を表すマスク画像の画素に基づき、モーションパラメータを推定する。画像間の類似度評価を利用することによって、マスク画像を生成する。
【選択図】図２

Description

本発明は、画像レジストレーション方法に関し、特に、時系列画像中における注目画像と参照画像との間のモーションを推定する画像レジストレーション方法に関する。

画像レジストレーションとは、二枚の画像（即ち、参照画像と注目画像）を重ねた時、画像が一致する変換パラメータを推定することを意味し、つまり、注目画像と参照画像との間のモーションを推定することを意味する。

画像レジストレーション、即ち、注目画像と参照画像との間のモーション推定は、超解像処理、画像モザイキング、３次元再構成、ステレオビジョン、奥行き推定、画像計測やマシンビジョンなど、多くの画像処理において、最も基本的かつ重要な処理である（非特許文献１、非特許文献２を参照）。

画像レジストレーションを行うために、つまり、時系列画像中における注目画像と参照画像との間のモーションパラメータを推定するために、平面射影変換で近似されることが多い。レジストレーション対象（以下、単に、対象とも称する）の平面領域だけを注目領域（ＲＯＩ：Region of Interest）に設定できれば、正確なモーションパラメータを求めることができる。

しかし、注目領域内には平面（平面領域）だけが存在するとは限らないため、レジストレーション対象の実際のモーションは、平面射影変換モデルに基づいて推定されたモーションと、異なっていることが多い。しかも、照明変化やオクルージョンなどが原因で、モーションパラメータの推定に失敗することも多い。

このような問題に対して、従来、例えば、照明変化を表す基底画像を利用する手法（非特許文献３、非特許文献４を参照）、複数の領域に分割する手法（非特許文献５、非特許文献６を参照）、対象形状を２次曲面でモデリングする手法（非特許文献７を参照）、顔のような複雑な形状をモデリングする手法（非特許文献８を参照）、モーションセグメンテーションを利用する手法（非特許文献９、非特許文献１０を参照）、モーション分布をモデリングする手法（非特許文献１１を参照）、モーション推定に適切な領域を選択して利用する手法（非特許文献１２、非特許文献１３を参照）などの数多くの方法が提案されてきた。

そのうち、例えば、モーション推定に適切な領域を選択して利用する手法（以下、単に領域選択型手法とも呼ぶ）において、非特許文献１２に開示された方法では、空間方向に対する濃度勾配の大きさで重み付けした残差モーション（この残差モーションをノーマルフロー（normal flow）とも呼ばれる）を求め、求めた残差モーションの大きさが小さい領域は、正確にレジストレーションができたと判断するようにしている。

しかし、このノーマルフローは、画像に含まれるノイズの影響を受けやすいため、正確にレジストレーションできた領域を抽出するためには、複数画像からの結果を重み付け平均する（非特許文献１２を参照）、確率モデルを利用する（非特許文献１４を参照）、などの後処理が必要であったという問題が存在する。

また、領域選択型手法に属する非特許文献１３に開示された方法では、推定したモーションで変形した画像と参照画像との間で、注目領域内における各画素の画素値の相違に基づき重みを小さくするようにしているため、対象の照明変化によっても重みが小さくなり、レジストレーションに失敗する可能性があるという問題がある。

ここで、平面射影変換を利用した従来の画像レジストレーション方法について説明する。つまり、画像レジストレーションを行う際に、画像間のモーションは、即ち、時系列画像中の入力画像（注目画像）と参照画像の間のモーションは、平面射影変換モデルを用いて推定される。

この平面射影変換モデルを表すパラメータ、即ち、参照画像に対する注目画像のモーションパラメータ（変換パラメータ）を推定するために、下記数１で表す目的関数を定義する。

ただし、

は時系列画像中の入力画像を、

は参照画像を、ＲＯＩは注目領域を、それぞれ表す。また、

は同次座標系で表した画像上の位置を表す。

は平面射影変換を表す８個のパラメータである。

は、参照画像に対する注目画像のモーションを表し、即ち、平面射影変換を表す。

注目領域（ＲＯＩ）としては、任意の領域を用いることができるが、参照画像上での矩形領域を用いることが多い。上記数１の目的関数を最小化するときには、この注目領域ＲＯＩ内部の画素値を全て利用する。

上記数１を最小化する変換パラメータ

を推定するためには、例えば、勾配法（非特許文献１５、非特許文献１６、非特許文献１７及び非特許文献１８を参照）、繰り返し計算を利用しない超平面交差法（非特許文献１９を参照）、非特許文献１９に開示された超平面交差法の高速化手法（非特許文献２０を参照）などの方法を利用することができる。

上述したような注目領域内の画素値をそのまま利用する領域ベース手法に属する従来の画像レジストレーション方法によって、剛体と考えられる対象を撮影した画像間のレジストレーションを行うときに、次のような要因で失敗する可能性がある。

つまり、領域ベース手法に属する従来の平面射影変換を利用した画像レジストレーション方法を用いて行ったレジストレーションの失敗要因は、次のようなものがある。

失敗要因その１：対象の形状
３次元空間内で任意に位置と方向を変えるカメラを用いて、平面を撮影したときに、平面射影変換モデルを用いて、画像間の変形を表すことができる。ここで、カメラのレンズ歪みは、無視できるほど小さいか、また、別途補正するものとする。対象の形状が平面でないときには、当然のことながら、対象の見え方の変化を平面射影変換モデルでは完全に表現できず、数１の目的関数の最小値が大きくなる。このため、正解モーションパラメータとは異なる極小位置に落ち込み、レジストレーションに失敗する可能性がある。

失敗要因その２：対象の表面反射特性
平面に対してカメラの位置と方向が変化すると、カメラが平面を見る角度やカメラと平面との距離も変化する。平面の表面反射特性が均等拡散であれば、平面を見る角度や距離によって平面の明るさは変化しない。しかし、実際には、平面の形状を有する対象が完全な均等拡散面であることは少ないため、対象（平面）に対するカメラの位置や方向によって、対象（平面）の輝度が変化する。従って、対象（平面）の輝度が変化すると、即ち、画像間の明るさが変化すると、数１の目的関数値も変化し、目的関数の最小値が大きくなり、レジストレーションに失敗する可能性がある。

失敗要因その３：対象までの距離変化
時系列画像に撮影された対象を順次にレジストレーションするときに、対象までの距離が変化すると、次のことが原因で、レジストレーションに失敗する可能性がある。

第１に、撮影カメラのレンズがピンホールレンズで近似できる場合、つまり、対象までの距離が変化しても常にピントが合っている時系列画像を撮影できる場合に、対象との距離が次第に大きくなるときに、このような問題が発生する。参照画像には対象が大きく撮影されているが、時間の経過とともに撮影された時系列画像（つまり、入力画像として使用される画像）上には対象が次第に小さくなる。参照画像上に設定した注目領域に対して、入力画像を変形してレジストレーションを行うためには、入力画像を拡大する必要がある。画像の拡大に伴い、画像は必ずぼける。結局、参照画像に対して入力画像のレジストレーションを行うことは、ぼけの異なる画像間でレジストレーションを行うことになり、最終的にレジストレーションに失敗する。

第２に、撮影カメラのレンズが薄肉レンズで近似できる場合、つまり、対象が一定の距離範囲に存在するときだけにピントが合っている時系列画像を撮影できる場合に、対象に対するピントの合い方が変化するときに、第１の原因で生じた問題と同様の問題が生じてしまう。

失敗要因その４：照明変化
上記数１の目的関数は、画像間の画素値の差の２乗和を表している。このため、もちろん画像間の形状の変化によって目的関数値が変化するが、画像の明るさの変化によっても目的関数値が変化する。照明変化によって対象の明るさが変化するが、対象の明るさの変化が画像上の位置によって異なるときには、レジストレーションにとってより大きな障害となる。

失敗要因その５：オクルージョン
注目領域内でレジストレーション対象（対象物体、つまり、対象）と他の物体とのオクルージョンがあると、レジストレーションにとって大きな障害となる。特に、対象物体を遮るように出現した他の物体表面におけるテクスチャの密度やコントラストが、対象表面のテクスチャよりも高いときには、数１の目的関数を最小化するモーションパラメータ

が、他の物体の位置の影響を強く受け、対象の位置や姿勢とは異なるレジストレーション結果になる可能性がある。また、対象の形状と光源位置によっては対象自身の影が生じ、その影が変化することがあるが、この影は対象の明るさの変化として、レジストレーション結果に影響するという問題もある。
エル. ジー. ブラウン（L. G. Brown）著,「アー サーベイ オフ レジストレーション テクニック（A Survey of Image Registration Techniques）」,ＡＣＭ コンピューティング サーベイズ（ACM Computing Surveys）,1992年12月,第24巻,第4号,p.325-376 ビー. ジトバ（B. Zitova）、ジェイ. フラッシャー（J. Flusser）共著,「イメージ レジストレーション メソッド： アー サーベイ（Image Registration Methods: A Survey）」,イメージ アンド ビジョン コンピューティング（Image and Vision Computing）,2003年10月,第21巻,第11号,p.977-1000 エム. ブラック（M. Black）、エイ. ジェプソン（A. Jepson）共著,「アイゲンートラッキング： ロバスト マッチング アンド トラッキング オフ アーティキュレイテッド オブジェクト ユージング ビューーベースド リプリゼンテーション（Eigen-Tracking:Robust Matching and Tracking of Articulated Objects using a View-Based Representation）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International Journal of Computer Vision）,1998年,第26巻,第1号,p.63-84 ジー. デー. ハーガー（G. D. Hager）、ピー. エヌ. ベルヒュムール（P. N. Belhumeur）共著,「エフィシャント リージョン トラッキング ウィズ パラメトリック モデルズ オフ ジオメトリー アンド イルミネーション（Efficient Region Tracking with Parametric Models of Geometry and Illumination）」,ＩＥＥＥ トランス. オン パターン アナリシス アンド マシーン インテリジェンス（IEEE Trans. On Pattern Analysis and Machine Intelligence）,1998年10月,第20巻,第10号,p.1025-1039 ティー. イシカワ（T. Ishikawa）、アイ. マシューズ（I. Matthews）、エス. ベイカー（S. Baker）共著,「エフィシャント イメージ アライメント ウィズ アウトライアー リジェクション（Efficient Image Alignment with Outlier Rejection）」,テク レポート ＣＭＵ−ＲＩ−ＴＲ−０２−２７（Tech. Report CMU-RI-TR-02-27）,ロボティクス インスティチュート（Robotics Institute）,カーネギー メロン ユニバーシティー（Carnegie Mellon University）,2002年10月 エフ. ジュリュー（F. Jurie）、エム. ドーム（M. Dhome）共著,「リアル タイム ロバスト テンプレート マッチング（Real Time Robust Template Matching）」、イン プロック オフ ブリティッシュ マシーン ビジョン カンファレンス（In Proc. Of British Machine Vision Conference）,2002年9月,p.123-132 エイ. シャシュア（A. Shashua）、ワイ. ウェクスラー（Y. Wexler）共著,「Ｑーワーピング： ダイレクト コンピューテーション オフ クォードラティック リファレンス サーフィス（Q-Warping: Direct Computation of Quadratic Reference Surfaces）」,ＩＥＥＥ トランス. オン パターン アナリシス アンド マシーン インテリジェンス（IEEE Trans. On Pattern Analysis and Machine Intelligence）,2001年8月,第23巻,第8号,p.920-925 ティー. エフ. クーツ（T. F. Cootes）、ジェイ. エドワーズ（J. Edwards）、シー. ジェイ. テーラ（C. J. Taylor）共著,「アクティブ アピアランス モデルズ（Active Appearance Models）」、ＩＥＥＥ トランス. オン パターン アナリシス アンド マシーン インテリジェンス（IEEE Trans. On Pattern Analysis and Machine Intelligence）,2001年6月,第23巻,第6号,p.681-685 ピー. ブースマイ（P. Bouthemy）、イー. フランコイス（E. Francois）共著,「モーション セグメンテーション アンド クォリテイティブ ダイナミック シーン アナリシス フロム イメージ シーケンス（Motion Segmentation and Qualitative Dynamic Scene Analysis from an Image Sequence）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International Journal of Computer Vision,）,1993年,第10巻,第2号,p.157-182 アイ. パトラス（I. Patras）、イー. エイ. ヘンドリクス（E. A. Hendriks）、アール. エル. ラジェンダイク（R. L. Lagendijk）共著,「アン インターレイティブ モーション エスティメイションーセグメンテーション メソッド ユージング ウォーターシェッド セグメンツ（An Iterative Motion Estimation-Segmentation Method using Watershed Segments）」,イン プロック インターナショナル カンファレンス オン イメージ プロセッシング（In Proc. Of IEEE International Conference on Image Processing）,1998年10月,第2巻,p.642-646 エム. エム. チャン（M. M. Chang）、エイ. エム. テカルプ（A. M. Tekalp）、エム. アイ. セザン（M. I. Sezan）共著,「サイマルテイニアス モーション エスティメーション アンド セグメンテーション（Simultaneous Motion Estimation and Segmentation）」,ＩＥＥＥ トランス. オン イメージ プロセッシング（IEEE Trans. On Image Processing）,1997年9月,第6巻,第9号,p.1326-1333 エム. イラニ（M. Irani）、ビー. ルーソス（B. Rousso）、エス. ペレグ（S. Peleg）共著,「コンピューティング オキュリューディング アンド トランスペアレント モーション（Computing Occluding and Transparent Motions）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International Journal of Computer Vision）,1994年2月,第12巻,第1号 深尾隆則・金出武雄共著,「オクルージョンに対してロバストな２段階特徴点追従アルゴリズム」,情報処理学会,2003年11月,CVIM-141,p.111-118 アール. ファブレット（R. Fablet）、ピー. ブースマイ（P. Bouthemy）共著,「モーション レコグニション ユージング ノンパラメトリック イメージ モーション モデルズ エスティメーティド フロム テンポラル アンド マルチスケール コーオカレンス スタスティクス（Motion Recognition Using Nonparametric Image Motion Models Estimated from Temporal and Multiscale Co-Occurrence Statistics）」,ＩＥＥＥ トランス. オン パターン アナリシス アンド マシーン インテリジェンス（IEEE Trans. On Pattern Analysis and Machine Intelligence）,2003年12月,第25巻,第12号 エス. バーカー（S. Baker）、アイ. マシューズ（I. Matthews）共著,「ルーカスーカナデ ２０ イアーズ オン： アー ユニファイング フレームワーク（Lucas-Kanade 20 Years On: A Unifying Framework）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International Journal of Computer Vision）,2004年3月,第56巻,第3号,p.221-255 エム. レイシェール（M. Gleicher）著,「プロジェクティブ レジストレーション ウィズ ディファレンス デコンポジション（Projective Registration with Difference Decomposition）」、プロック オフ ＩＥＥＥ インターナショナル カンファレンス オン コンピュータ ビジョン アンド パターン レコグニション（Proc. Of IEEE International Conference on Computer Vision and Pattern Recognition）,サンファン， アメリカ自治領プエルト リコ（San Juan, Puerto Rico）,1997年6月,p.331-337 ビー. ルーカス（B. Lucas）、ティー. カナデ（T. Kanade）共著,「アン イタレーティブ イメージ レジストレーション テクニック ウィズ アン アプリケーション トゥー ステレオ ビジョン（An Iterative Image Registration Technique with an Application to Stereo Vision）」,プロック オフ インターナショナル ジョイント カンファレンス オン アーティフィシャル インテリジェンス（Proc. Of International Joint Conference on Artificial Intelligence）,バンクーバ カナダ（Vancouver, Canada）,1981年4月,p.674-679 エイチ. ワイ. シューム（H. Y. Shum）、アール． セーリスキー（R. Szeliski）共著,「コンストラクション オフ パノラミック モザイク ウィズ グローバル アンド ローカル アライメント（Construction of Panoramic Mosaics with Global and Local Alignment）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International Journal of Computer Vision）,2002年7月,第48巻,第2号,p.151-152 エム. シミズ（M. Shimizu）、エム. オクトミ（M. Okutomi）共著,「マルチーパラメータ シミュレーション エスティメーション オン エリアーベースド マッチング（Multi-Parameter Simultaneous Estimation on Area-Based Matching）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International of Computer Vision）、2006年 張馴槿・清水雅夫・奥富正敏共著,「画像のレジストレーションにおける超平面交差法の高速化手法」,電子情報通信学会論文誌,2006年2月,第J89-D巻,第2号,p.332-343 ティー. カナデ（T. Kanade）、エム. オクトミ（M. Okutomi）共著,「アー ステレオ マッチング アルゴリズム ウィズ アン アダプティブ ウィンドウ： シオリー アンド エクスペリメント（A Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment）」,ＩＥＥＥ トランス． オン パターン アナリシス アンド マシーン インテリジェンス（IEEE Trans. On Pattern Analysis and Machine Intelligence）,1994年9月,第16巻,第9号,p.920-932 エム. オクトミ（M. Okutomi）、ティー. カナデ（T. Kanade）共著,「アー マルチプル ベースライン ステレオ（A Multiple Baseline Stereo）」,ＩＥＥＥ トランス. オン パターン アナリシス アンド マシーン インテリジェンス（IEEE Trans. On Pattern Analysis and Machine Intelligence）,1993年4月,第15巻,第4号,p.353-363 ジェイ. アール. ベルゲン（J. R. Bergen）、ピー. アナンダン（P. Anandan）、ケイ.ジェイ. ハンナ（K. J. Hanna）、アール. ヒンゴラニー（R. Hingorani）共著,「ハイエラーチカル モデルーベースド モーション エスティメーション（Hierarchical Model-Based Motion Estimation）」,イン プロック オフ ヨーロピアン カンファレンス オン コンピュータ ビジョン（In Proc. Of European Conference on Computer Vision）,イタリア共和国,サンタ マルゲリータ リギュエール（Santa Margherita Liguere）,1992年,p.237-252

従来、上述したようなレジストレーション失敗要因に対する対策として、多くの工夫が成されてきた。主な対策として、次に示すようなものがある。

対策その１：画像のエッジ情報を使う
具体的に、例えば、画像のラプラシアンやＬｏＧ（Laplacian of Gaussian）を使うことによって、対象の明るさの変化の影響を低減することができる。また、対象のぼやけ方の変化をもある程度吸収することができる。しかし、この対策は、平面以外の対象形状やオクルージョンに対応できないという問題点がある。

対策その２：画素値を正規化する
注目領域内の画素値を正規化してから、数１の目的関数を最小化することによって、対象の明るさの変化の影響を低減することができる。モーションが平行移動に限定されているときには、正規化相互相関を利用すればよい。モーションが平面射影変換のときにも、正規化相互相関を利用できる手法も提案されている（非特許文献１９及び非特許文献２０を参照）。しかし、この対策も平面以外の対象形状やオクルージョンに対応できないという問題点がある。

対策その３：隣接フレーム間モーションの積算を使う
この対策は、時間的に近接した隣接フレーム間では、対象の見え方の変化が小さいことを利用する。具体的に、まず、隣接フレーム間モーションパラメータ

を逐次に求める。そして、参照画像に対する平面射影変換

を隣接フレーム間の平面射影変換の積

として求める。しかし、この対策は、次第にレジストレーション誤差が蓄積して位置がずれてしまう問題がある。

対策その４：参照画像を更新する
数１の最小値などの指標を用いて、入力画像が参照画像から大きく変化してしまう前に、参照画像を更新するという対策を利用する。しかし、対策その３（つまり、隣接フレーム間モーションの積算を使う手法）ほどではないが、この対策も、次第にレジストレーション誤差が蓄積して位置がずれてしまう問題がある。

本発明は、上述のような事情から成されたものであり、本発明の目的は、時系列画像中における注目画像と参照画像との間のモーションを推定するための領域選択型レジストレーション方法であって、あらゆる形状を有する対象のレジストレーションに適用でき、照明変化やオクルージョンにロバストで且つ高精度な画像レジストレーションを行い得る画像レジストレーション方法を提供することにある。

本発明は、対象を撮影した時系列画像中の参照画像と注目画像との間に高精度なレジストレーションを行う画像レジストレーション方法に関し、本発明の上記目的は、前記参照画像上の所定の領域を注目領域に設定し、前記レジストレーションを行う際に、設定された前記注目領域内で、所定の変換によって正確にレジストレーションできる領域を表すマスク画像の画素に基づき、モーションパラメータを推定することにより、或いは、画像間の類似度評価を利用することによって、前記マスク画像を生成することにより、或いは、前記所定の変換として、平面射影変換、アフィン変換、スケール変換、回転変換、平行移動、又はこれらの組み合わせによる変換を用いることによって達成される。

また、本発明の上記目的は、ＲＯＩは前記注目領域を表し、また、画像

を、ある変換パラメータ

で変形することで、画像

におおよそレジストレーションできているとした場合に、次の数式が成立し、

このとき、前記注目領域内の画素

を中心とする小領域に対する、画像

と前記画像

の間のＳＳＤを、次のように定義し、

ただし、

は画像間の平行移動を表すベクトルであり、Patchは前記小領域を表し、前記ＳＳＤが次の３つの条件を全て満たすときに、前記注目領域内の画素

に対応する前記マスク画像の画素値を１とし、それ以外の場合には０とすることによって、より効果的に達成される。
条件１：
前記ＳＳＤは平行移動に関するサブピクセル位置ずれが０.５［画素］より小さいこと。
条件２：
前記ＳＳＤの最小値が十分に小さいこと。
条件３：
前記ＳＳＤの最小値を中心とするパラボラフィッティングをしたときの、水平方向と垂直方向に対する２次の係数のいずれかが閾値よりも大きいこと。

更に、本発明の上記目的は、前記レジストレーションを、隣接フレーム間での変化のない画素を表すトラッキング用マスク画像を生成するとともに、隣接フレーム間のモーションパラメータを推定するという第１段階レジストレーションと、前記第１段階レジストレーションで推定したモーションパラメータで変形した注目画像と参照画像との間に、参照画像によく対応する注目画像中の画素を表す誤差補正用マスク画像を生成し、生成した誤差補正用マスク画像を使って、参照画像に対する注目画像のモーションパラメータを推定し直すという第２段階レジストレーションとで構成することによってより効果的に達成される。

本発明に係る画像レジストレーション方法は、平面射影変換モデルで高精度に近似できる領域を表すマスク画像を使った、領域選択型画像レジストレーション方法である。

本発明に係る画像レジストレーション方法では、変換パラメータ（モーションパラメータ）を推定するときに、平面射影変換によって正確にレジストレーションされている領域を表すマスク画像を利用することを特徴としている。

実際に、本発明に係る画像レジストレーション方法を用いてレジストレーションを行う際に、照明変化やオクルージョンなどにロバストなレジストレーションを実現するために、トラッキング用マスク画像を生成するとともに、隣接フレーム間モーションを基にしたレジストレーションを行う第１段階レジストレーションと、第１段階レジストレーションで推定したモーションパラメータに含まれる積算誤差を補償するために、つまり、高精度なレジストレーションを実現するために、第１段階レジストレーションで推定したモーションパラメータで変形した注目フレーム（注目画像）と参照フレーム（参照画像）との間で、再度モーションパラメータを推定し、同時にそれに対する誤差補正用マスク画像を生成する第２段階レジストレーションとを行うことが大きな特徴である。

上述した特徴を有する本発明の画像レジストレーション方法によれば、注目画像と参照画像の間のレジストレーションは、このような２段階のレジストレーションを行うことによって行われるので、平面の対象だけでなく、あらゆる形状を有する対象に対して、照明変化やオクルージョンにロバストで且つ高精度な画像レジストレーションを実現することができるといった本発明独自な優れた効果を奏する。

一般的に、画像レジストレーション方法（以下、単に、モーション推定方法とも称する）は、特徴ベース方法と領域ベース方法とに大きく分類することができる。

本発明の画像レジストレーション方法は、領域ベース方法に属し、平面形状の対象に限らず、あらゆる形状を有する対象のレジストレーションに適用でき、照明変化やオクルージョンにロバストで且つ高精度な画像レジストレーションを行うことができる画像レジストレーション方法である。

つまり、本発明は、平面射影変換モデルで高精度に近似できる領域を表すマスク画像を使った、領域選択型画像レジストレーション方法である。本発明の画像レジストレーション方法は、２段階で画像レジストレーションを行うようにしているので、以下、本発明の画像レジストレーション方法を、単に領域選択２段階レジストレーション方法とも称する。

本発明の第１段階においては、照明変化やオクルージョンなどにロバストなレジストレーションを実現するために、隣接フレーム間のモーションを基にしたレジストレーションを行う。このとき、マスク画像（以下、このマスク画像をトラッキング用マスク画像）を同時に利用する。また、注目領域の形状を一定にするために、推定したモーションパラメータを使って、注目フレーム（以下、単に注目画像とも呼ぶ）を参照フレーム（以下、単に参照画像とも呼ぶ）に合わせて変形した上で、モーション推定を行う。

そして、本発明の第２段階においては、第１段階で推定したモーションパラメータに含まれる積算誤差を補償するために、つまり、高精度なレジストレーションを実現するために、第１段階で推定したモーションパラメータで変形した注目フレームと、参照フレームとの間で、再度モーションパラメータを推定し、同時にそれに対するマスク画像（以下、このマスク画像を誤差補正用マスク画像と称する）を生成する。

本発明の画像レジストレーション方法では、このような２段階レジストレーションを行うことによって、あらゆる形状を有する対象のレジストレーションに適用でき、照明変化やオクルージョンにロバストでしかも高精度な画像レジストレーションを実現することを可能にした。

背景技術で既に述べたように、従来の領域ベース方法を使ったレジストレーションを失敗させる原因として、注目領域内の画素値を全て同等に利用している点であった。

本発明では、従来の領域ベース方法のように注目領域内の画素値を全て同等に利用することをせず、注目領域内で、参照画像に対する形状や明るさが変化していない画素だけ（つまり、平面射影変換によって正確にレジストレーションできる領域を表すマスク画像の画素）を使ってモーションパラメータを推定するようにすれば、このような形状や明るさの変化に対する影響を原理的に受けないことを着眼点とした。

また、本発明では、領域選択とモーションパラメータ推定とを繰り返し交互に行うことで、高精度な画像レジストレーションを実現するようにしている。

実際に、本発明の画像レジストレーション方法を用いて、参照画像に対して入力画像のレジストレーションを行うときに、次の２つの段階に沿って行う。

第１段階とは、時刻ｔにおけるマスク画像

と、マスク画像

を使った隣接フレーム間の変換パラメータ

とを繰り返し計算で同時に推定する段階である。

第２段階とは、平面射影変換

で変換した入力画像と、参照画像との間で、時刻ｔにおけるマスク画像

を求め、求めた

を使って参照画像に対する入力画像の変換パラメータ

を推定し直す段階である。

上述したように、本発明の画像レジストレーション方法では、

の２種類のマスク画像を利用している。マスク画像

は、隣接フレーム間での変化のない画素を表し、以降、トラッキング用マスク画像とも呼ぶ。また、マスク画像

は、参照画像によく対応する入力画像中の画素を表し、以降、誤差補正用マスク画像とも呼ぶ。なお、トラッキング用マスク画像も誤差補正用マスク画像も、注目領域と同様に、参照画像上の座標系で表す。

以下、本発明の画像レジストレーション方法について、図を参照しながらより詳細に説明する。
＜１＞マスク画像の生成方法
図１（Ａ）に示すように、画像

を、ある変換パラメータ

で変形することで、画像

におおよそレジストレーションできているとする。

このとき、注目領域（ＲＯＩ）内の画素

を中心とする小領域（Patch）に対する、画像

の間のＳＳＤ（Sum of Squared Difference）を、下記数３のように定義する。

ただし、

は画像間の平行移動を表すベクトルである。

次の３つの条件を全て満たすときに、注目領域内の位置

、即ち、画素

に対応する２値のトラッキング用マスク画像

を１とし、それ以外の場合には０とする。また、誤差補正用マスク画像

の場合も、トラッキング用マスク画像

と同様にする。

条件１：
平行移動に関するサブピクセル位置ずれが０.５［画素］より小さいこと（図１（Ｂ）及び図１（Ｃ）を参照）。図１（Ｂ）はＳＳＤサンプルを示し、図１（Ｃ）はＳＳＤサンプルに２次曲線をフィッティング（parabola fitting）したときの様子を示す。条件１を数式で表すと、下記数４になる。

条件２：
誤対応ではないこと。即ち、ＳＳＤの最小値

が十分に小さいこと（非特許文献２１、非特許文献２２を参照）。条件２を数式で表すと、下記数５になる。

ただし、Ｓは小領域（Patch）の面積で、

は画像に含まれる正規白色雑音の分散で、

は調整パラメータである。ちなみに、後述する本発明を用いて行った実験では、Ｓは９［画素］×９［画素］である小領域（Patch）を使った。また、

というパラメータは、撮影に使用するカメラやゲインなどの設定ごとに異なり、例えば、PointGrey社製DragonFly（単板カラーVGAカメラ）を使用する場合に、σ_ｎ＝３.５とし、SONY社製VX2000を使用する場合に、σ_ｎ＝４.５とした。

条件３：
テクスチャがあること。即ち、ＳＳＤ最小値を中心とするパラボラフィッティングをしたときの、水平方向と垂直方向に対する２次の係数（Ｒ（）の記述を省略する。Ｒ（−１）、Ｒ（０）、Ｒ（１）に

をフィッティングすると、

のいずれかが閾値よりも大きい。条件３を数式で表すと、下記数６になる。

ただし、

は、実験を通して決定した調整パラメータである。

＜２＞第１段階レジストレーション
第１段階レジストレーション（以下、単に、ロバストレジストレーションとも呼ぶ）の目的は、できるだけ長時間にわたって対象のトラッキングを継続することである。

図２に示すように、第１段階レジストレーションでは、隣接フレーム間の平面射影変換

と、前時刻ｔ−１で既に求まっている参照画像に対する平面射影変換

との積として、時刻ｔの入力画像に対する変換パラメータを求める。

隣接フレーム間では画像の変化が少ないので、第１段階レジストレーションが大きく失敗することはない。このため、対象の明るさや形状が参照画像に対して次第に変化しても、ロバストなレジストレーションを行うことができる。

要するに、第１段階レジストレーションでは、下記数７で表す目的関数を最小化するモーションパラメータ

とトラッキング用マスク画像

を求める。

ただし、

は前フレームに対して既に求まっているモーションパラメータで、つまり、参照フレーム（参照画像）に対するｔ−１番目フレーム（時刻ｔ−１の入力画像）のモーションパラメータである。

は隣接フレーム間モーションパラメータで、つまり、ｔ番目フレーム（時刻ｔの入力画像）とｔ−１番目フレーム（時刻ｔ−１の入力画像）の間のモーションパラメータである。

は、それぞれ時刻ｔおよび時刻ｔ−１の入力画像である。

トラッキング用マスク画像

が参照画像上に定義されているため、既に求まったモーションパラメータを用いて、入力画像を参照画像に合わせるように変形した上で、隣接フレーム間モーションパラメータを求める。

具体的に、隣接フレーム間モーションパラメータとトラッキング用マスク画像を、ステップ１からステップ４までの手順で、繰り返し交互に求める。

ステップ１：
繰り返し回数を表すインデックスｉを初期化し、つまり、ｉ＝０とする。時刻ｔ−１で既に求まっているトラッキング用マスク画像

を、時刻ｔの初期マスク画像

とする。

ステップ２：
トラッキング用マスク画像

を使って、数７を最小化する隣接フレーム間モーションパラメータ

を求める。

ステップ３：
まず、ステップ２で求めた隣接フレーム間モーションパラメータ

を使って、平面射影変換した画像

を生成する。そして、生成した画像

と画像

との間で、前記＜１＞で述べたマスク画像の生成方法を用いて、トラッキング用マスク画像

を生成する。

ステップ４：
隣接フレーム間モーションパラメータの変化が一定値以下になったか否かを判断する。隣接フレーム間モーションパラメータの変化が一定値以下になった場合に、隣接フレーム間モーションパラメータが収束したと判断し、隣接フレーム間モーションパラメータとして

を出力し、第１段階レジストレーション処理を終了する。一方、隣接フレーム間モーションパラメータの変化が一定値以下になっていない場合には、即ち、

（Ｔ_ｈはステップ４で言う一定値を表す）のときには、隣接フレーム間モーションパラメータがまだ収束していないと判断し、ｉ←ｉ＋１としてから、ステップ２に戻る。

＜３＞第２段階レジストレーション
第２段階レジストレーション（以下、単に、積算誤差補正レジストレーションとも呼ぶ）の目的は、第１段階レジストレーションで生じたレジストレーション誤差を補正することである。

図３に示すように、第２段階レジストレーションでは、第１段階レジストレーションで求めた画像

、つまり、平面射影変換

で変換した時刻ｔの入力画像と参照画像との間で、時刻ｔにおける誤差補正用マスク画像

を求め、求めた

を使って、参照画像に対する時刻ｔの入力画像のモーションパラメータ

を推定し直すことにより、レジストレーション誤差を補正する。

トラッキング用マスク画像

は、隣接フレーム間でのレジストレーションに利用できる画素を表している。隣接フレーム間の変化は一般に小さいので、トラッキング用マスク画像

の面積はあまり小さくなることはない。これに対して、参照画像に対して入力画像が次第に変化すると、誤差補正用マスク画像

の面積は次第に小さくなる。

第２段階レジストレーションでは、誤差補正用マスク画像

の領域を使うので、安定な結果を得るためには、誤差補正用マスク画像

の領域がある程度以上に大きい必要がある。従って、誤差補正用マスク画像

の領域が小さいとき（つまり、誤差補正用マスク画像

の面積が所定の閾値未満の場合）には、第２段階レジストレーションを行わずに、第１段階レジストレーションで求めたモーションパラメータをそのまま使用する。

要するに、第２段階レジストレーションでは、下記数８で表す目的関数を最小化するモーションパラメータ

と誤差補正用マスク画像

を求める。

ただし、平面射影変換

の初期値

として、第１段階レジストレーションで求めた平面射影変換

を使う。

具体的に、モーションパラメータ

（つまり、参照画像に対する時刻ｔの入力画像の変換パラメータ）と誤差補正用マスク画像を、ステップ５からステップ９までの手順で求める。第１段階レジストレーションと違って、第２段階レジストレーションでは、ステップ５からステップ９までの手順を繰り返し行わない。

ステップ５：
第１段階レジストレーションで求めた平面射影変換

を平面射影変換

の初期値

とする。

ステップ６：
平面射影変換

で変換した時刻ｔの入力画像、即ち、画像

と参照画像

との間で、前記＜１＞で述べたマスク画像の生成方法を用いて、誤差補正用マスク画像

を生成する。

ステップ７：
ステップ６で生成した誤差補正用マスク画像

の面積が所定の閾値未満か否かを判断する。誤差補正用マスク画像

の面積が所定の閾値未満の場合には、モーションパラメータとして

を出力し、第２段階レジストレーション処理を終了する。これで、時刻ｔの入力画像に対するレジストレーション処理が全て終了する。ここで、時系列画像のモーションの特性、注目領域中でのマスク領域の重心位置、マスク領域の分布などによって、所定の閾値を調整する必要がある。なお、後述する本発明を用いて行ったレジストレーション実験では、所定の閾値を２０［画素］×２０［画素］に設定した。

ステップ８：
一方、誤差補正用マスク画像

の面積が所定の閾値以上の場合には、ステップ６で生成した誤差補正用マスク画像

を使って、数８を最小化する

を求めてモーションパラメータとして出力し、第２段階レジストレーション処理を終了する。これで、時刻ｔの入力画像に対するレジストレーション処理が全て終了する。

ステップ９：
最後、確認用に、画像

と参照画像

との間で、前記＜１＞で述べたマスク画像の生成方法を用いて、誤差補正用マスク画像

を生成する。

＜４＞初期値推定
後述する本発明を用いて行ったレジストレーション実験では、第１段階レジストレーションで求める隣接フレーム間モーションパラメータの初期値を推定するために、次のような階層化探索法（非特許文献２３を参照）を利用した。ただし、縮小画像における注目領域の面積が２５［画素］×２５［画素］よりも小さくならないように、階層を制限した。

＜５＞繰り返し計算の高速化
本発明の画像レジストレーション方法において、まず、第１段階レジストレーションでは、繰り返し計算（繰り返し回数をｉ_ｇとする）を利用した勾配法を使ったモーションパラメータ推定を行い、また、トラッキング用マスク画像

との同時推定のための繰り返し（この繰り返し回数をｉ_ｒとする）だけを行う必要もある。そして、第２段階レジストレーションでは、１回だけ勾配法（この繰り返し回数もｉ_ｇとする）を行う必要がある。

初期の勾配法では、入力画像のHessian行列を繰り返しごとに計算する必要があった。このため、本発明では、各フレーム画像に対して、（ｉ_ｇ×ｉ_ｒ＋ｉ_ｇ）回だけHessian行列を求める必要があり、領域選択を行わない通常の勾配法と比較して計算量が大きく増加する。

ところで、入力画像のHessian行列を繰り返しごとに計算する代わりに、参照画像のHessian行列を１回だけ計算して利用する高速化手法（非特許文献１５を参照）が提案されている。本発明では、非特許文献１５に開示されたこの高速化手法を利用することによって、第１段階レジストレーションでは、Hessian行列の計算は各フレーム画像に対して１回で済み、そして、第２段階レジストレーションでは、前処理で予め計算しておくことができるため、計算の大幅な高速化が可能である。

＜６＞本発明で行ったレジストレーション実験結果
以下では、本発明の画像レジストレーション方法（以下、単に本発明とも呼ぶ）を使用し、実画像を用いて、幾つかのレジストレーション実験を行い、本発明の有効性を確認した。つまり、平面だけでなく、あらゆる形状を有する対象にも適用が可能であること、照明変化やオクルージョンに対するロバスト性、レジストレーションの高精度性といった本発明の独自な優れた効果を、後述するレジストレーション実験によって確認した。

後述するレジストレーション実験には、PointGray社製DragonFlyという単板カラーＶＧＡカメラ（３０ＦＰＳ）を固定して利用した。レジストレーションには、デモザイキング処理の後に、変換した輝度成分を利用した。

実験１（従来手法との比較実験）：
まず、本発明と従来の画像レジストレーション方法（以下、単に従来手法とも呼ぶ）とを比較するレジストレーション実験を行った。

実験１では、３００フレームで構成される時系列画像を使用し、注目領域（ＲＯＩ）のサイズは、２００［画素］×２００［画素］である。また、トラッキング対象は、固定された平面に貼り付けた航空写真のポスターである。照明変化とオクルージョンを作るために、ポスター上で手を移動させた。手の影は照明変化に相当し、手の部分はオクルージョンになる。

実験１では、カメラを固定した状態で、移動せず固定された平面形状の対象（航空写真のポスター）を撮影しているので、正解となるモーションパラメータは、対象の位置が変化しないため、当然、単位行列となる。

実験１を通して、照明変化やオクルージョンがある場合に、従来手法ではレジストレーションが失敗するような状況でも、本発明を使うことで、失敗すること無く高精度にレジストレーションが可能であることを確認した。

図４に、実験１のレジストレーション結果を示す。図４に示されるように、実験１で利用された時系列画像中の一部の画像（即ち、第１フレーム、第７２フレーム、第１５０フレーム、第２４０フレーム）に対するレジストレーション結果を示す。

具体的に、図４（Ａ）は、参照画像（先頭フレームである第１フレーム）で設定された注目領域（ＲＯＩ）のトラッキング結果を示す。そして、図４（Ｂ）は、注目領域（ＲＯＩ）に対して、推定されたモーションパラメータで入力画像全体を平面射影変換した画像を示す。モーションパラメータが正確に推定されていれば、注目領域が静止して表示されるはずである。なお、図４（Ｂ）では、トラッキング用マスク画像を薄い青で示してある。

図４（Ｃ）には、注目領域（ＲＯＩ）におけるトラッキング用マスク画像

を示す。図４（Ｄ）には、注目領域（ＲＯＩ）における誤差補正用マスク画像

を示す。図４（Ｃ）及び図４（Ｄ）から分かるように、手の影による照明変化や手によるオクルージョンがあると、参照画像に対する誤差補正用マスク画像

の面積は小さくなるが、トラッキング用マスク画像

はそれほど影響を受けないため、トラッキングは継続して行うことができる。一方、手の影による照明変化や手によるオクルージョンが取り除かれると、参照画像に対する誤差補正用マスク画像

の面積も増加する。

図５（Ａ）には、実験１で使用されたトラッキング用マスク画像

及び誤差補正用マスク画像

の面積の変化を示す。図５（Ａ）から分かるように、点線で示されたトラッキング用マスク画像

の面積は、手によるオクルージョンがある期間に、減少するが、全フレームを通して、トラッキングを行うのに十分な面積が確保されている。

図５（Ｂ）に、実験１において、点線で示された第１段階のレジストレーション後と、実線で示された第２段階のレジストレーション後の平均ＳＳＤを示す。ここで言う平均ＳＳＤとは、勾配法による繰り返しが収束したと判断したときの画像間のＳＳＤ（最小ＳＳＤ）を、マスク画像の面積で割ったものである。

図５（Ｂ）から分かるように、第１段階レジストレーションでは、平均ＳＳＤは、常に低い値となり、安定にかつ高精度にレジストレーションができていることを示している。一方、第２段階レジストレーションでは、参照画像に対して入力画像が変化するに従い、平均ＳＳＤも増加する。図５（Ｂ）において、第２段階のレジストレーション後の平均ＳＳＤを示す実線がとぎれている区間は、図５（Ａ）における実線で示された誤差補正用マスク画像

の面積が小さくなったために、第２段階レジストレーションを行わなかったフレームを表す。

図５（Ｃ）に、実験１において、従来のレジストレーション方法を用いた結果を示し、つまり、注目領域内の画素を全て利用して階層化探索法と勾配法によるレジストレーション後の平均ＳＳＤを示す。図５（Ｃ）から分かるように、注目領域そのまま利用し、領域選択を行わない従来のレジストレーション方法では、注目領域内の照明変化やオクルージョンがあると、単純にこの平均ＳＳＤは大きくなり、やがてレジストレーションが失敗してしまう。図５（Ｃ）における平均ＳＳＤの大きさは、図５（Ｂ）の本発明のマスク画像を利用した場合の平均ＳＳＤに対して、２桁ほども大きな値である。図５（Ｃ）の平均ＳＳＤが非常に大きいということは、レジストレーションが不安定になる可能性を示すだけでなく、不正確であることをも示している。

実験１では、モーションが事前に既知なので、つまり、正解となるモーションパラメータは単位行列であるため、推定したモーションパラメータによる位置の誤差でモーション推定精度を評価した（非特許文献１５を参照）。図６に、実験１において、注目領域内に設定した２００×２００ヶ所の位置を使った、推定したモーションパラメータによる正解位置からの距離のＲＭＳＥ（Root Mean Square Error;二乗平均誤差）を示す。

具体的に、図６では、（４）で示す実線で表された本発明の領域選択２段階レジストレーション方法によるレジストレーションを、（１）で示す実線で表された従来のレジストレーション方法（つまり、注目領域を全て利用して階層化探索法と勾配法）による入力画像と参照画像との直接レジストレーション、（２）で示す点線で表された従来のレジストレーション方法（つまり、注目領域を全て利用して階層化探索法と勾配法）による隣接フレーム間モーションの積算であるレジストレーション、（３）で示す点線で表された本発明の第１段階レジストレーションのみによるレジストレーション、と比較した。

図６から分かるように、（１）と（２）の従来のレジストレーション方法は、７２フレーム付近でトラッキングに失敗しているが、（３）の本発明の第１段階レジストレーションと（４）の本発明の領域選択２段階レジストレーション方法は、最終フレームまでトラッキングに成功している。また、（３）の本発明の第１段階レジストレーション手法では、時間の経過とともに位置誤差が大きくなるが、（４）の本発明の領域選択２段階レジストレーション方法では、第２段階レジストレーションが再開される１８６フレーム付近から、再び高精度なトラッキングを再開する。

実験２（非平面対象のロバストトラッキング実験）：

実験２では、トラッキング対象は直径約１４［ｃｍ］の地球儀で、手でゆっくりと左右に回転させており、トラッキング対象である地球儀を撮影した３００フレームで構成される時系列画像を使用し、注目領域（ＲＯＩ）のサイズは１００［画素］×１００［画素］である。

実験２を通して、トラッキング対象が非平面の形状を有しても、本発明の領域選択２段階レジストレーション方法によって、ロバストトラッキングが可能なことを確認した。

図７に、実験２のレジストレーション結果を示す。図７に示されるように、実験２で利用された時系列画像中の一部の画像（即ち、第１フレーム、第１０４フレーム、第１８７フレーム、第２８３フレーム）に対するレジストレーション結果を示す。

具体的に、図７（Ａ）は、参照画像（先頭フレームである第１フレーム）で設定された注目領域（ＲＯＩ）のトラッキング結果を示す。そして、図７（Ｂ）は、注目領域（ＲＯＩ）に対して、推定されたモーションパラメータで入力画像全体を平面射影変換した画像を示す。なお、図７（Ｂ）では、トラッキング用マスク画像を薄い青で示してある。図７（Ｃ）には、注目領域（ＲＯＩ）におけるトラッキング用マスク画像

を示す。図７（Ｄ）には、注目領域（ＲＯＩ）における誤差補正用マスク画像

を示す。

図８（Ａ）には、実験２で使用されたトラッキング用マスク画像

及び誤差補正用マスク画像

の面積の変化を示す。図８（Ｂ）に、実験２において、点線で示された第１段階のレジストレーション後と、実線で示された第２段階のレジストレーション後の平均ＳＳＤを示す。また、図８（Ｃ）に、実験２において、従来のレジストレーション方法を用いた結果を示し、つまり、注目領域内の画素を全て利用して階層化探索法と勾配法によるレジストレーション後の平均ＳＳＤを示す。

図８から分かるように、本発明のトラッキング用マスク画像

の面積が大きく保たれること（図８（Ａ）の点線を参照）と、注目領域を全て利用する従来のレジストレーション方法（図８（Ｃ）を参照）と比較して平均ＳＳＤが小さな値のままで推移する（図８（Ｂ）の点線を参照）ために、トラッキング対象が非平面であるにも関わらず、本発明を用いれば、良好にトラッキングができた。

また、図８から、注目領域の照明変化のために、本発明の誤差補正用マスク画像

がいったん消失して、第２段階レジストレーションを行わない期間がある（図８（Ｂ）の実線を参照）が、トラッキング対象である地球儀の回転角度が元に戻ると、誤差補正用マスク画像

が復活して、第２段階レジストレーションによって積算誤差が補正されることが分かる。

実験３（顔のロバストトラッキング実験）：
実験２では、トラッキング対象は室内で撮影した人物の顔で、固定した室内照明下で顔の向きを変化させているために、照明変化がある。また、顔は非平面であるだけでなく、形状もわずかではあるが変化する。実験３では、トラッキング対象である顔を撮影した６００フレームで構成された時系列画像を使用し、注目領域（ＲＯＩ）のサイズは９０［画素］×１００［画素］である。

実験３を通して、通常では従来の領域ベースレジストレーション方法を用いないようなトラッキング対象であっても、本発明の領域選択２段階レジストレーション方法によって、ロバストトラッキングが可能であることを確認した。

図９に、実験３のレジストレーション結果を示す。図９に示されるように、実験３で利用された時系列画像中の一部の画像（即ち、第１フレーム、第１０４フレーム、第４６０フレーム、第５５５フレーム）に対するレジストレーション結果を示す。

具体的に、図９（Ａ）は、参照画像（先頭フレームである第１フレーム）で設定された注目領域（ＲＯＩ）のトラッキング結果を示す。そして、図９（Ｂ）は、注目領域（ＲＯＩ）に対して、推定されたモーションパラメータで入力画像全体を平面射影変換した画像を示す。なお、図９（Ｂ）では、トラッキング用マスク画像を薄い青で示してある。図９（Ｃ）には、注目領域（ＲＯＩ）におけるトラッキング用マスク画像

を示す。図９（Ｄ）には、注目領域（ＲＯＩ）における誤差補正用マスク画像

を示す。

図１０（Ａ）には、実験３で使用されたトラッキング用マスク画像

及び誤差補正用マスク画像

の面積の変化を示す。図１０（Ｂ）に、実験３において、点線で示された第１段階のレジストレーション後と、実線で示された第２段階のレジストレーション後の平均ＳＳＤを示す。また、図８（Ｃ）に、実験３において、従来のレジストレーション方法を用いた結果を示し、つまり、注目領域内の画素を全て利用して階層化探索法と勾配法によるレジストレーション後の平均ＳＳＤを示す。

図１０から分かるように、実験３で使用された時系列画像では、参照画像に対する入力画像の変化が多いため、本発明の第２段階レジストレーションは、初期期間まで、つまり２５フレームまで、しか行われていない。

しかし、図１０から、本発明のトラッキング用マスク画像

の面積が大きく保たれること（図１０（Ａ）の点線を参照）と、注目領域を全て利用する従来のレジストレーション方法（図１０（Ｃ）を参照）と比較して平均ＳＳＤが小さな値のままで推移する（図１０（Ｂ）の点線を参照）ために、人物の顔であるような非平面で形状も変化するトラッキング対象であっても、本発明を用いれば、例え第２段階レジストレーションによって積算誤差の補正が行われなくても、良好なトラッキングが継続していること（図９（Ｂ）を参照）が分かる。

なお、上述した本発明の実施形態において、画像レジストレーションを行う際に、平面射影変換に基づいて画像の変形を行ったが、本発明でいう平面射影変換は、平面射影変換だけでなく、平面射影変換の特殊な場合として、アフィン変換、スケール変換、回転変換、平行変換、及びこれらの組み合わせによる変換をも含む。

本発明におけるマスク画像の生成方法を説明するための模式図である。 本発明における第１段階レジストレーションを説明するための模式図である。 本発明における第２段階レジストレーションを説明するための模式図である。 本発明の画像レジストレーション方法による実験１のレジストレーション結果を示す。図である。 実験１において、本発明のトラッキング用マスク画像と誤差補正用マスク画像の面積の変化、本発明の第１段階、第２段階のレジストレーション後の平均ＳＳＤ、従来のレジストレーション方法によるレジストレーション後の平均ＳＳＤをそれぞれ示す図である。 実験１において、推定したモーションパラメータによる正解位置からの距離のＲＭＳＥを示す図である。 本発明の画像レジストレーション方法による実験２のレジストレーション結果を示す。図である。 実験２において、本発明のトラッキング用マスク画像と誤差補正用マスク画像の面積の変化、本発明の第１段階、第２段階のレジストレーション後の平均ＳＳＤ、従来のレジストレーション方法によるレジストレーション後の平均ＳＳＤをそれぞれ示す図である。 本発明の画像レジストレーション方法による実験３のレジストレーション結果を示す。図である。 実験３において、本発明のトラッキング用マスク画像と誤差補正用マスク画像の面積の変化、本発明の第１段階、第２段階のレジストレーション後の平均ＳＳＤ、従来のレジストレーション方法によるレジストレーション後の平均ＳＳＤをそれぞれ示す図である。

Claims (5)

1. 対象を撮影した時系列画像中の参照画像と注目画像との間に高精度なレジストレーションを行う画像レジストレーション方法であって、
   前記参照画像上の所定の領域を注目領域に設定し、
   前記レジストレーションを行う際に、設定された前記注目領域内で、所定の変換によって正確にレジストレーションできる領域を表すマスク画像の画素に基づき、モーションパラメータを推定することを特徴とする画像レジストレーション方法。
2. 画像間の類似度評価を利用することによって、前記マスク画像を生成する請求項１に記載の画像レジストレーション方法。
3. 前記所定の変換は、平面射影変換、アフィン変換、スケール変換、回転変換、平行移動、又はこれらの組み合わせによる変換である請求項２に記載の画像レジストレーション方法。
4. ＲＯＩは前記注目領域を表し、また、画像
   

   

   を、ある変換パラメータ
   

   

   で変形することで、画像
   

   

   におおよそレジストレーションできているとした場合に、次の数式が成立し、
   

   

   このとき、前記注目領域内の画素
   
   

   

   を中心とする小領域に対する、画像
   

   

   と前記画像
   

   

   の間のＳＳＤを、次のように定義し、
   

   

   ただし、
   

   

   は画像間の平行移動を表すベクトルであり、Patchは前記小領域を表し、
   前記ＳＳＤが次の３つの条件を全て満たすときに、前記注目領域内の画素
   

   

   に対応する前記マスク画像の画素値を１とし、それ以外の場合には０とする請求項３に記載の画像レジストレーション方法。
   条件１：
   前記ＳＳＤは平行移動に関するサブピクセル位置ずれが０.５［画素］より小さいこと。
   条件２：
   前記ＳＳＤの最小値が十分に小さいこと。
   条件３：
   前記ＳＳＤの最小値を中心とするパラボラフィッティングをしたときの、水平方向と垂直方向に対する２次の係数のいずれかが閾値よりも大きいこと。
5. 前記レジストレーションは、
   隣接フレーム間での変化のない画素を表すトラッキング用マスク画像を生成するとともに、隣接フレーム間のモーションパラメータを推定するという第１段階レジストレーションと、
   前記第１段階レジストレーションで推定したモーションパラメータで変形した注目画像と参照画像との間に、参照画像によく対応する注目画像中の画素を表す誤差補正用マスク画像を生成し、生成した誤差補正用マスク画像を使って、参照画像に対する注目画像のモーションパラメータを推定し直すという第２段階レジストレーションと、
   から構成される請求項４に記載の画像レジストレーション方法。

Images