JP2009104228A - 画像位置合わせ方法及び画像位置合わせプログラム - Google Patents

画像位置合わせ方法及び画像位置合わせプログラム Download PDF

Info

Publication number
JP2009104228A
JP2009104228A JP2007272799A JP2007272799A JP2009104228A JP 2009104228 A JP2009104228 A JP 2009104228A JP 2007272799 A JP2007272799 A JP 2007272799A JP 2007272799 A JP2007272799 A JP 2007272799A JP 2009104228 A JP2009104228 A JP 2009104228A
Authority
JP
Japan
Prior art keywords
pixel
image
deformation parameter
pixels
selected pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007272799A
Other languages
English (en)
Inventor
Masayuki Tanaka
正行 田中
Masatoshi Okutomi
正敏 奥富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Priority to JP2007272799A priority Critical patent/JP2009104228A/ja
Publication of JP2009104228A publication Critical patent/JP2009104228A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】
濃度勾配法の高い推定精度を保ちつつ、複数の画像間の位置合わせを高速に行うようにした、画像位置合わせ方法を提供する。
【解決手段】
濃度勾配法のアルゴリズムに基づき、基準画像と入力画像との位置合わせを高速に行う画像位置合わせ方法であって、基準画像上の所定の領域を注目領域に設定し、位置合わせを行う際に、設定された注目領域内の全画素から、全画素より少ない所定の画素を選択し、評価関数を最小にするような変形パラメータを推定するために、選択された所定の画素のみを利用する。注目領域内の画素を空間的に間引くことにより、所定の画素を選択する。また、基準画像の全ての画素の変形パラメータに対する偏微分（以下、偏微分画像と称する）に基づき、所定の画素を選択する。偏微分画像に基づく画素選択を行う際に、偏微分を画素ごとに独立に判断することにより、又は、偏微分を画素ごとに大小が比較可能な量に変換し、前記比較可能な量が大きな画素から所定の画素を選択する。
【選択図】図２

Description

本発明は、デジタル画像処理技術に関し、特に、複数の画像間の位置合わせを、位置合わせの精度を落とさずに高速に行う、画像位置合わせ方法及び画像位置合わせプログラムに関するものである。
複数の画像間（例えば、基準画像と入力画像との間）の高精度な位置合わせは、コンピュータビジョンやデジタル画像処理（例えば、画像安定化処理、モザキング処理、超解像処理）における基盤技術である。一方で、この画像位置合わせの高速処理も、実用的には非常に重要である。
これまでに、例えば、非特許文献１及び非特許文献２に記載されたように、数多くの画像位置合わせ方法が提案されている。これまでの方法は、大きく分けると、「領域ベース手法」と、「特徴点ベース手法」とに分類されることができる。
高精度な画像位置合わせ方法として、「領域ベース手法」に分類される、「濃度勾配法」と呼ばれる方法が、大変有名である。この濃度勾配法は、コンピュータビジョンや画像処理分野において、幅広く利用されており、「事実上の業界標準」となっている。
濃度勾配法では、基準画像に所定のサイズの注目領域（ＲＯＩ）を設定した上で、片方の画像（例えば、入力画像）を変形し、そして、変形後の画像（変形後の入力画像）と、もう一方の画像（例えば、基準画像）との画素値の差分の二乗和（ＳＳＤ）を計算する。
要するに、濃度勾配法は、画素値の差分が小さくなるような変形パラメータを推定する方法であり、また、画素値の差分二乗和を目的関数とする最適化問題とも考えられる。
非特許文献１では、濃度勾配法を加法的アルゴリズム（Additive Algorithm）と合成的アルゴリズム（Compositional Algorithm）に分類し、さらにそれぞれを、順方向アルゴリズム（Forwards Algorithm）と逆方向アルゴリズム（Inverse Algorithm）に分類している。つまり、非特許文献１では、濃度勾配法を４種類に分類している。
また、濃度勾配法は、数多くの変形モデル（warp model）に対して応用可能である。変形モデルの例としては、例えば、平行移動、アフィン変形モデル、射影変形モデルなどがある。
ここでは、非特許文献１に分類された４種類の濃度勾配法のうちの、Inverse Compositional Image Alignment（以下、単に、「逆方向合成的画像位置合わせ」、又は、「ＩＣＩＡアルゴリズム」とも称する。）について述べる。
ＩＣＩＡアルゴリズムの詳細は、非特許文献１で述べられているので、ここでは簡単に説明する。ＩＣＩＡアルゴリズムのブロック図を図１に示す。
図１に示されたように、ＩＣＩＡアルゴリズムでは、基準画像（Template Image）と入力画像（Input Image）の位置合わせは、次のような手順（ステップＡ１〜Ａ８）により計算される。

ステップＡ１（注目領域設定処理）：
まず、入力された基準画像に、画像位置合わせしたい領域、即ち、所定のサイズの注目領域（ＲＯＩ）を設定する。勿論、基準画像の一部領域でなく、基準画像全体を注目領域として設定するようにしても良い。

ステップＡ２（偏微分画像生成処理）：
基準画像の全ての画素の変形パラメータに対する偏微分を計算する。ここで、説明の便宜上、基準画像の全ての画素の変形パラメータに対する偏微分を、以下、単に、「偏微分画像」とも称する。つまり、説明のため、基準画像の全ての画素の変形パラメータに対する偏微分を「偏微分画像」と称しているが、必ずしも計算された偏微分を画像としてメモリ等に保存しておく必要はない。偏微分の計算方法は、幾つか考えられるが、例えば、ヤコビアン行列とｘ及びｙ方向微分との積として、偏微分を計算することができる。

ステップＡ３（変形パラメータ更新量計算のための前処理）：
偏微分画像に基づき、変形パラメータの更新量（以下、単に、「変形パラメータ更新量」とも称する。）を計算するための前処理を行う。この前処理とは、具体的には、後述の数７に表された行列
Figure 2009104228
を計算し、さらにその逆行列
Figure 2009104228
を求める処理を意味する。つまり、この前処理を行うことにより、数７で表す行列
Figure 2009104228
の逆行列
Figure 2009104228
が得られるわけである。

ステップＡ４（変形画像生成処理）：
入力された入力画像と変形パラメータとに基づき、座標変換を行い、画素値を補間することにより、入力画像を変形させた画像（以下、単に、「変形画像」とも称する。）を生成する。

ステップＡ５（差分画像生成処理）：
変形画像と基準画像とに基づき、変形画像と基準画像の差分画像（以下、単に、「差分画像」とも称する。）を生成する。

ステップＡ６（変形パラメータ更新量計算処理）：
差分画像と、偏微分画像と、前処理結果
Figure 2009104228
とに基づき、変形パラメータの更新量を計算する、変形パラメータ更新量計算処理を行う。この変形パラメータ更新量計算処理とは、具体的に、まず、後述の数８に表されたベクトル
Figure 2009104228
を計算し、そして、後述の数６に従い、ベクトル
Figure 2009104228
と前処理結果
Figure 2009104228
とに基づき、変形パラメータ更新量
Figure 2009104228
を計算する処理を意味する。

ステップＡ７（変形パラメータ更新処理）：
現在の変形パラメータと、変形パラメータ更新量
Figure 2009104228
とに基づき、後述の数９のように、変形パラメータを更新する、変形パラメータ更新処理を行う。

ステップＡ８：
ステップＡ４からステップＡ７までの全てのステップを、収束するまで、つまり、所定の条件を満足するまで、繰り返す。ここで、所定の条件の具体例としては、例えば、（１）予め定められた繰り返し回数に達した場合、（２）変形パラメータの更新量が十分小さいとき、（３）差分画像の各画素の絶対値が十分小さいとき、といった所定の条件が、考えられる。

数式的に表現すると、ＩＣＩＡアルゴリズムは、下記数１で表す評価関数を最小にするような変形パラメータ
Figure 2009104228
を推定する最適化問題である。
Figure 2009104228
 ここで、
Figure 2009104228
は評価関数を、
Figure 2009104228
は画素位置を、
Figure 2009104228
は基準画像を、
Figure 2009104228
は入力画像を、
Figure 2009104228
は画像の変形を表す座標変換を、
Figure 2009104228
は変形パラメータを、ＲＯＩは注目領域を、それぞれ表す。
以下に、典型的な変形モデルとして、平行移動とアフィン変形を用いた場合の座標変換を具体的に示す。
まず、平行移動（２つの変形パラメータ、即ち、
Figure 2009104228
及び
Figure 2009104228
）の座標変換は、下記数２で表すことができる。
Figure 2009104228
 次に、アフィン変形（６つの変形パラメータ、即ち、
Figure 2009104228
及び
Figure 2009104228
）の座標変換は、下記数３で表すことができる。
Figure 2009104228
 また、上記ステップＡ２（偏微分画像生成処理）では、基準画像の変形パラメータに対する偏微分画像（偏微分画像）を計算（生成）する際に、用いられるヤコビアン行列も、変形モデルにより異なる。
以下に、典型的な変形モデルとして、平行移動とアフィン変形を用いた場合の偏微分画像を計算する際に必要なヤコビアン行列を具体的に示す。
まず、平行移動を用いた場合のヤコビアン行列は、下記数４で表すことができる。
Figure 2009104228
 次に、アフィン変形を用いた場合のヤコビアン行列は、下記数５で表すことができる。
Figure 2009104228
 ＩＣＩＡアルゴリズムでは、繰り返し最適化により、数１の評価関数を最小にするような変形パラメータ
Figure 2009104228
を推定する。
ここで、ｎ回目の繰り返しを考える。このときの変形パラメータ（以下、単に、「ｎ回目変形パラメータ」とも称する。）を
Figure 2009104228
とする。また、ｎ回目の繰り返しの変形パラメータの更新量（以下、単に、「ｎ回目変形パラメータ更新量」とも称する。）を
Figure 2009104228
とする。
下記数６を用いて、ｎ回目変形パラメータ更新量
Figure 2009104228
を求めることができる。
Figure 2009104228
 ここで、下記数７を用いて、行列
Figure 2009104228
を求めることができる。また、下記数８を用いて、ベクトル
Figure 2009104228
を求めることができる。
Figure 2009104228
Figure 2009104228
 ここで、
Figure 2009104228
は、基準画像の変形パラメータに対する偏微分を表し、各画素位置において変形パラメータと同じ数の次元数の列ベクトルとして表現される。また、行列
Figure 2009104228
は、（変形パラメータの個数）×（変形パラメータの個数）の次元の行列であり、ベクトル
Figure 2009104228
は、変形パラメータの個数と同じ次元の列ベクトルである。
そして、下記数９のように、変形パラメータは更新される。
Figure 2009104228
 ここで、
Figure 2009104228
は座標変換の合成を表す演算子（以下、単に、「座標変換合成演算子」とも称する。）であり、変形モデルにより異なる。
以下に、典型的な変形モデルとして、平行移動とアフィン変形を用いた場合の合成演算を具体的に表す。
まず、平行移動（２つの変形パラメータ、即ち、
Figure 2009104228
及び
Figure 2009104228
）を用いた場合の合成演算は、下記数１０で表すことができる。
Figure 2009104228
 次に、アフィン変形（６つの変形パラメータ、即ち、
Figure 2009104228
及び
Figure 2009104228
）を用いた場合の合成演算は、下記数１１で表すことができる。
Figure 2009104228
Figure 2009104228
 エス. ベイカー（S. Baker）、アイ. マシューズ（I. Matthews）共著,「ルーカス・カナデ ２０ イヤーズ オン： ア ユニファイング フレームワーク（Lucas-Kanade20 Years On: A Unifying Framework）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International Journal of ComputerVision）,第56巻,第3号,p.221-255,2004年 ジェイ. アール. ベルゲン（J.R. Bergen）、ピー. アナンダン（P. Anandan）、ケイ. ジェイ. ハンナ（K.J. Hanna）、アール. ヒンゴラニ（R. Hingorani）共著,「ヒエラルキー モデル ベーセド モーション エスティメイション（Hierarchical model-based motionestimation）」,ヨーロッピアン カンファレンス オン コンピュータ ビジョン（European Conference on ComputerVision）,第588巻,p.237-252,1992年
上述したように、ＩＣＩＡアルゴリズムに限らず、他のアルゴリズムで実現された全ての濃度勾配法では、変形パラメータを繰り返し更新しながら、評価関数を最小にするような変形パラメータを推定するようにしている。
換言すれば、ＩＣＩＡアルゴリズムをも含む、全ての濃度勾配法では、変形パラメータの更新量を推定する際に、例えば、ＩＣＩＡアルゴリズムを用いた場合の上記数７及び数８に表されたように、その評価関数（目的関数）やその評価関数の微分を計算する際に、注目領域内の全ての画素について評価する必要がある。そのため、濃度勾配法では、注目領域内の画素数に応じて、変形パラメータの更新量を推定するための計算量が増加する。
つまり、濃度勾配法において、注目領域内の画素数の増大と共に、所要の計算時間（計算コスト）も増大することは、大きな問題点になっている。
本発明は、上述のような事情から成されたものであり、本発明の目的は、濃度勾配法の高い推定精度を保ちつつ、複数の画像間の位置合わせを高速に行うようにした、画像位置合わせ方法及び画像位置合わせプログラムを提供することにある。
本発明は、濃度勾配法のアルゴリズムに基づき、基準画像と入力画像との位置合わせを高速に行う画像位置合わせ方法に関し、本発明の上記目的は、前記基準画像上の所定の領域を注目領域に設定し、前記位置合わせを行う際に、設定された前記注目領域内の全画素から、前記全画素より少ない所定の画素を選択し、評価関数を最小にするような変形パラメータを推定するために、選択された前記所定の画素のみを利用することにより、或いは、前記注目領域内の画素を空間的に間引くことにより、前記所定の画素を選択することにより、或いは、前記空間的に間引くことによる画素選択は、前記注目領域内の画素に対して、空間的にとびとびの画素を前記所定の画素として選択することにより実現されることにより、或いは、前記基準画像の全ての画素の前記変形パラメータに対する偏微分（以下、偏微分画像と称する）に基づき、前記所定の画素を選択することにより、或いは、前記偏微分画像に基づく画素選択は、偏微分を画素ごとに独立に判断することにより、前記所定の画素を選択することにより実現されることにより、或いは、前記偏微分画像に基づく画素選択は、偏微分を画素ごとに大小が比較可能な量に変換し、前記比較可能な量が大きな画素から前記所定の画素を選択することにより実現されることにより、或いは、前記注目領域内の画素を空間的に間引くことにより、前記所定の画素を選択する方法と、前記基準画像の全ての画素の前記変形パラメータに対する偏微分に基づき、前記所定の画素を選択する方法とを組み合わせて用いることにより、前記所定の画素を選択することにより、或いは、前記基準画像全体を前記注目領域として設定することにより、或いは、前記注目領域を複数のブロックに分割し、ブロック毎に、前記注目領域内の画素を空間的に間引くことにより、前記所定の画素を選択する方法、又は、前記基準画像の前記変形パラメータに対する偏微分画像に基づき、前記所定の画素を選択する方法で、前記所定の画素を選択することによって、効果的に達成される。
また、本発明の上記目的は、基準画像と入力画像との位置合わせを高速に行う画像位置合わせ方法であって、前記基準画像上の所定の領域を注目領域に設定する、注目領域設定処理ステップと、前記注目領域内の画素を空間的に間引くことにより、利用画素を選択し、選択された画素の画素位置情報は、選択画素の位置情報として記憶される、利用画素選択処理ステップと、選択画素の位置情報として記憶されている画素位置に関してのみ、前記基準画像の変形パラメータに対する偏微分（以下、選択画素の偏微分係数と称する）をそれぞれ計算する、選択画素の偏微分係数計算処理ステップと、前記選択画素の偏微分係数に基づき、変形パラメータ更新量を計算するための前処理を行う、前処理ステップと、選択画素の位置情報として記憶されている画素位置に対応する入力画像の画素位置の座標変換を、前記変形パラメータに基づいて行い、画素値を補間することにより、選択画素に対応する入力画像の画素を変形させたときの変形後の画素値（選択画素の変形後の画素値）を計算する、選択画素の変形後の画素値計算処理ステップと、選択画素の位置情報として記憶されている画素位置に関して、選択画素の変形後の画素値と選択画素の画素値との差分（選択画素の画素値差分）を計算する、選択画素の画素値差分計算処理ステップと、選択画素の画素値差分と、選択画素の偏微分係数と、前処理結果とに基づき、変形パラメータ更新量を計算する、変形パラメータ更新量計算処理ステップと、現在の変形パラメータと、変形パラメータ更新量とに基づき、変形パラメータを更新する、変形パラメータ更新処理ステップとを有することにより、或いは、基準画像と入力画像との位置合わせを高速に行う画像位置合わせ方法であって、前記基準画像上の所定の領域を注目領域に設定する、注目領域設定処理ステップと、前記基準画像の全ての画素の前記変形パラメータに対する偏微分（以下、偏微分画像と称する）を計算する、偏微分画像生成処理ステップと、前記注目領域内の全画素に関して、各画素の偏微分に基づき、所定の画素選択アルゴリズムによって、又は、各画素の偏微分に基づいて算出された重要度によって、利用画素を選択し、選択された画素（選択画素）の画素位置情報は、選択画素の位置情報として記憶される、利用画素選択処理ステップと、前記偏微分画像と、選択画素の位置情報として記憶されている画素位置とに基づき、変形パラメータ更新量を計算するための前処理を行う、前処理ステップと、選択画素の位置情報として記憶されている画素位置に対応する入力画像の画素位置の座標変換を、前記変形パラメータに基づいて行い、画素値を補間することにより、選択画素に対応する入力画像の画素を変形させたときの変形後の画素値（選択画素の変形後の画素値）を計算する、選択画素の変形後の画素値計算処理ステップと、選択画素の位置情報として記憶されている画素位置に関して、選択画素の変形後の画素値と選択画素の画素値との差分（選択画素の画素値差分）を計算する、選択画素の画素値差分計算処理ステップと、選択画素の画素値差分と、選択画素の位置情報と、偏微分画像と、前処理結果とに基づき、変形パラメータ更新量を計算する、変形パラメータ更新量計算処理ステップと、現在の変形パラメータと、変形パラメータ更新量とに基づき、変形パラメータを更新する、変形パラメータ更新処理ステップとを有することにより、或いは、前記前処理ステップでは、次の数式で表す行列
Figure 2009104228
を計算し、さらにその逆行列
Figure 2009104228
を求め、
Figure 2009104228
また、前記変形パラメータ更新量計算処理ステップでは、次の数式で表すベクトル
Figure 2009104228
を計算し、そして、ベクトル
Figure 2009104228
と前処理結果
Figure 2009104228
とに基づき、変形パラメータ更新量
Figure 2009104228
を計算し、
Figure 2009104228
ここで、
Figure 2009104228
は画素位置を表し、また、
Figure 2009104228
は、選択画素の位置情報として記憶されている全ての画素位置を表すことによってより効果的に達成される。
本発明は、注目領域の輝度差を評価関数とする最適化問題として定式化される「濃度勾配法」をベースにした、位置合わせの精度を落とさずに、画像位置合わせを高速に行うようにした、画像位置合わせ方法及び画像位置合わせプログラムに関するものである。
従来の濃度勾配法では、注目領域内の全ての画素を評価する必要があるのに対して、本発明では、注目領域内の全画素より少ない所定の画素を評価すればよいので、本発明によれば、評価する画素を削減することにより、換言すれば、注目領域内の全ての画素でなく、所定の画素選択アルゴリズムで利用画素を選択することにより、計算コストを大幅に削減ができ、位置合わせ処理の精度を落とさずに画像位置合わせ処理の高速化を実現したという優れた効果を奏する。
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。
本発明は、領域ベースの濃度勾配法に分類される画像位置合わせ技術であり、具体的に、複数の画像間の位置合わせを高精度かつ高速に行えるようにした、画像位置合わせ方法及び画像位置合わせプログラムに関する。
本発明では、濃度勾配法の原理に基づき、複数の画像間の位置合わせを行う場合、注目領域内の全ての画素を利用せず、注目領域内の全ての画素から、本発明独自の所定の基準に基づいて選択された画素のみを利用することにより、画像位置合わせの精度を落とさずに（即ち、濃度勾配法の高い推定精度を保ったまま）、画像間の位置合わせを高速に行うようにすることを主たる特徴としている。

ここで、まず、本発明の着眼点について述べる。
＜第１の着眼点＞
濃度勾配法では、例えば、ＩＣＩＡアルゴリズムを用いた場合、上記数７及び数８から分かるように、行列
Figure 2009104228
及びベクトル
Figure 2009104228
を計算するために、注目領域内の全ての画素位置における総和
Figure 2009104228
を計算する必要がある。
この行列
Figure 2009104228
及びベクトル
Figure 2009104228
の計算量は、単純に注目領域内の画素数に比例する。換言すれば、注目領域内の画素数の増加に伴い、計算時間も増加し、画像位置合わせ処理の高速化を図れない問題点がある。
そこで、本発明では、数７及び数８を計算する際に、注目領域内の全ての画素位置に関して総和を計算する代わりに、注目領域内の画素を適当に間引いて、間引いた後に残りの画素を選択し、選択された画素（以下、単に、「選択画素」とも称する。）の画素位置のみに関してその総和を計算することにより、画像位置合わせ処理の高速化を図ることを第１の着眼点としている。
ちなみに、選択画素は、数７及び数８を計算する際に利用されるため、以下、「利用画素」とも呼ばれる。
また、画素の間引き方法（利用画素の選択方法）として、最も単純な方法は、空間的にとびとびの画素のみを選択画素として利用する方法である。

＜第２の着眼点＞
濃度勾配法では、例えば、ＩＣＩＡアルゴリズムを用いた場合、ある画素位置
Figure 2009104228
を考える。
上記数７より、画素位置
Figure 2009104228
における基準画像の変形パラメータに対する偏微分
Figure 2009104228
がゼロであれば、当該画素位置
Figure 2009104228
の画素は、行列
Figure 2009104228
に影響を与えていないと考えることができる。
また、上記数８より、画素位置
Figure 2009104228
における基準画像の変形パラメータに対する偏微分
Figure 2009104228

がゼロであれば、当該画素位置

Figure 2009104228
について対応する画素差分
Figure 2009104228
が大きくても、ベクトル
Figure 2009104228
に影響を与えないと考えることができる。
つまり、画素位置
Figure 2009104228
における基準画像の変形パラメータに対する偏微分
Figure 2009104228
がゼロであれば、当該画素位置
Figure 2009104228
に対応する画素は、変形パラメータの更新量
Figure 2009104228
に影響を与えないと考えることができる。
逆に考えると、ある画素位置
Figure 2009104228
における基準画像の変形パラメータに対する偏微分
Figure 2009104228
が大きな画素（以下、単に、「偏微分が大きな画素」とも称する。）は、変形パラメータの更新量
Figure 2009104228
に大きな影響を与える。
そこで、本発明では、注目領域内の全ての画素位置に関して総和を計算する代わりに、注目領域内における偏微分の大きな画素のみを選択し、選択された画素の画素位置のみに関してその総和を計算することにより、変形パラメータの更新量の推定精度を保ちつつ、画像位置合わせ処理の高速化を図ることを第２の着眼点としている。
ここで、本発明では、このように、偏微分に基づき、注目領域内の画素を選択する方法（以下、単に、「偏微分を考慮した方法」とも称する。）として、大きく分けて下記２つの方法を提案した。
第１の偏微分を考慮した方法とは、偏微分を画素毎に独立に判断することにより、利用画素を選択する方法である。この第１の偏微分を考慮した方法の具体例としては、偏微分の各要素（各変形パラメータ）の絶対値が所定の閾値を超えているか否かを判断することにより、利用画素を選択する方法がある。
ところで、偏微分は変形パラメータの数と同じ次元のベクトルである。そのため、偏微分の要素毎（変形パラメータ毎に）に、異なる閾値を設定することも可能である。また、全ての要素が閾値を超えている場合のみ対応する画素を選択するといった方法や、逆に１つの要素でも閾値を超えていれば、対応する画素を選択するといった方法などが考えられる。より一般的には、偏微分を入力とし、対応する画素を選択するか否かを出力する画素選択アルゴリズムを有していればよい。
また、第２の偏微分を考慮した方法とは、画素毎に偏微分に基づき、その画素の重要度を算出し、重要度の大きな画素から利用画素を選択する方法である。この重要度とは、実数のように大小が比較可能な量であって、重要度が高いほど、その量も大きい。

次に、上述した着眼点に基づいた本発明の好適な実施例を具体的に説明する。
＜実施例１＞
まず、上記第１の着眼点に基づいた本発明の画像位置合わせ方法（以下、単に、「単純間引きによる方法」とも称する。）の実施例について説明する。
以下、この実施例を単に「実施例１」とも称する。実施例１は、「単純間引きによる方法」をＩＣＩＡアルゴリズムに適用した実施例である。実施例１のブロック図を図２に示す。
図２に示されたように、実施例１では、基準画像と入力画像の位置合わせは、次のような手順（ステップＢ１〜Ｂ９）により計算される。

ステップＢ１（注目領域設定処理）：
まず、入力された基準画像に、画像位置合わせしたい領域、即ち、所定のサイズの注目領域（ＲＯＩ）を設定する。勿論、基準画像の一部領域でなく、基準画像全体を注目領域として設定するようにしても良い。

ステップＢ２（利用画素選択処理）：
注目領域内の画素を空間的に間引くことにより、利用画素を選択する。選択された画素（選択画素）の画素位置情報は、「選択画素の位置情報」として保存（記憶）される。ここで、空間的に間引くことによる画素選択は、その一例として、例えば、注目領域内の画素に対して、１０画素おきのとびとびの画素を選択することにより実現される。

ステップＢ３（選択画素の偏微分係数計算処理）：
「選択画素の位置情報」として保存されている画素位置に関してのみ、基準画像の変形パラメータに対する偏微分（以下、単に、「選択画素の偏微分係数」とも称する。）をそれぞれ計算する。

ステップＢ４（変形パラメータ更新量計算のための前処理）：
ステップＢ３で得られた選択画素の偏微分係数に基づき、変形パラメータ更新量を計算するための前処理を行う。
ステップＢ４での前処理とは、具体的に、下記数１３で表す行列

Figure 2009104228
を計算し、さらにその逆行列
Figure 2009104228
を求める処理を意味する。つまり、この前処理を行うことにより、数１３で表す行列
Figure 2009104228
の逆行列
Figure 2009104228
が得られるわけである。
Figure 2009104228
 ここで、
Figure 2009104228
は画素位置を表す。また、
Figure 2009104228
は、注目領域内から選択された全ての利用画素に対応する画素位置、即ち、「選択画素の位置情報」として保存されている全ての画素位置を表す。
ここで、数７と数１３を比較して分かるように、非特許文献１に記載された「ＩＣＩＡアルゴリズム」では、注目領域の全ての画素を利用しているのに対して、本発明では、注目領域内の全画素より少ない所定の画素、即ち、「選択画素の位置情報」として保存されている画素位置のみを利用している。

ステップＢ５（選択画素の変形後の画素値計算処理）：
「選択画素の位置情報」として保存されている画素位置に対応する入力画像の画素位置の座標変換を、変形パラメータに基づいて行い、画素値を補間することにより、選択画素に対応する入力画像の画素を変形させたときの変形後の画素値（以下、単に、「選択画素の変形後の画素値」とも称する。）を計算する。

ステップＢ６（選択画素の画素値差分計算処理）：
「選択画素の位置情報」として保存されている画素位置に関して、選択画素の変形後の画素値と選択画素の画素値との差分（以下、単に、「選択画素の画素値差分」とも称する。）を計算する。

ステップＢ７（変形パラメータ更新量計算処理）：
ステップＢ６で得られた選択画素の画素値差分と、ステップＢ３で得られた選択画素の偏微分係数と、ステップＢ４で得られた前処理結果
Figure 2009104228
とに基づき、変形パラメータの更新量を計算する、変形パラメータ更新量計算処理を行う。
ステップＢ７での変形パラメータ更新量計算処理とは、具体的に、まず、下記数１４で表すベクトル
Figure 2009104228
を計算し、そして、下記数１５に従い、ベクトル
Figure 2009104228
と前処理結果
Figure 2009104228
とに基づき、変形パラメータ更新量
Figure 2009104228
を計算する処理を意味する。
Figure 2009104228
 ここで、
Figure 2009104228
は画素位置を表す。また、
Figure 2009104228
は、注目領域内から選択された全ての利用画素に対応する画素位置、即ち、「選択画素の位置情報」として保存されている全ての画素位置を表す。
Figure 2009104228
 ステップＢ８（変形パラメータ更新処理）：
現在の変形パラメータと、ステップＢ７で得られた変形パラメータ更新量
Figure 2009104228
とに基づき、上記数９のように、変形パラメータを更新する、変形パラメータ更新処理を行う。

ステップＢ９：
ステップＢ５からステップＢ８までの全てのステップを、収束するまで、つまり、所定の条件を満足するまで、繰り返す。ここで、所定の条件の具体例としては、例えば、（１）予め定められた繰り返し回数に達した場合、（２）変形パラメータの更新量が十分小さいとき、（３）選択画素の画素値差分の絶対値が十分小さいとき、といった所定の条件が、考えられる。

＜実施例２＞
次に、上記第２の着眼点に基づいた本発明の画像位置合わせ方法（偏微分を考慮した方法）の実施例について説明する。
以下、この実施例を単に「実施例２」とも称する。実施例２は、「偏微分を考慮した方法」をＩＣＩＡアルゴリズムに適用した実施例である。実施例２のブロック図を図３に示す。
図３に示されたように、実施例２では、基準画像と入力画像の位置合わせは、次のような手順（ステップＣ１〜Ｃ９）により計算される。

ステップＣ１（注目領域設定処理）：
まず、入力された基準画像に、画像位置合わせしたい領域、即ち、所定のサイズの注目領域（ＲＯＩ）を設定する。勿論、基準画像の一部領域でなく、基準画像全体を注目領域として設定するようにしても良い。

ステップＣ２（偏微分画像生成処理）：
基準画像の全ての画素の変形パラメータに対する偏微分を計算する。ここで、説明の便宜上、基準画像の全ての画素の変形パラメータに対する偏微分を、以下、単に、「偏微分画像」とも称する。つまり、説明のため、基準画像の全ての画素の変形パラメータに対する偏微分を「偏微分画像」と称しているが、必ずしも計算された偏微分を画像としてメモリ等に保存しておく必要はない。偏微分の計算方法は、幾つか考えられるが、例えば、ヤコビアン行列とｘ及びｙ方向微分との積として、偏微分を計算することができる。

ステップＣ３（利用画素選択処理）：
ステップＣ２で得られた偏微分画像と、注目領域とに基づき、換言すれば、注目領域内の全画素に関して、各画素の偏微分に基づき、所定の画素選択アルゴリズムによって、又は、各画素の偏微分に基づいて算出された重要度によって、利用画素を選択する。選択された画素（選択画素）の画素位置情報は、「選択画素の位置情報」として保存（記憶）される。
ここで、所定の画素選択アルゴリズムとは、ある画素の偏微分を入力とし、当該画素を利用画素として選択するか否かを出力することができるものである。また、偏微分に基づき、その画素の重要度を算出し、重要度の大きい画素を利用画素として選択するようにしても良い。

ステップＣ４（変形パラメータ更新量計算のための前処理）：
ステップＣ２で得られた偏微分画像と、ステップＣ３で「選択画素の位置情報」として保存されている画素位置とに基づき、換言すれば、「選択画素の位置情報」として保存されている画素位置に対する偏微分（選択画素の偏微分）に基づき、変形パラメータ更新量を計算するための前処理を行う。
ステップＣ４での前処理とは、具体的に、上記数１３で表す行列
Figure 2009104228
を計算し、さらにその逆行列
Figure 2009104228
を求める処理を意味する。つまり、この前処理を行うことにより、数１３で表す行列
Figure 2009104228
の逆行列
Figure 2009104228
が得られるわけである。

ステップＣ５（選択画素の変形後の画素値計算処理）：
「選択画素の位置情報」として保存されている画素位置に対応する入力画像の画素位置の座標変換を、変形パラメータに基づいて行い、画素値を補間することにより、選択画素に対応する入力画像の画素を変形させたときの変形後の画素値（選択画素の変形後の画素値）を計算する。

ステップＣ６（選択画素の画素値差分計算処理）：
「選択画素の位置情報」として保存されている画素位置に関して、選択画素の変形後の画素値と選択画素の画素値との差分（選択画素の画素値差分）を計算する。

ステップＣ７（変形パラメータ更新量計算処理）：
ステップＣ６で得られた選択画素の画素値差分と、ステップＣ３で得られた選択画素の位置情報と、ステップＣ２で得られた偏微分画像と、ステップＣ４で得られた前処理結果
Figure 2009104228
とに基づき、変形パラメータの更新量を計算する、変形パラメータ更新量計算処理を行う。
ステップＣ７での変形パラメータ更新量計算処理とは、具体的に、まず、上記数１４で表すベクトル
Figure 2009104228
を計算し、そして、上記数１５に従い、ベクトル
Figure 2009104228
と前処理結果
Figure 2009104228
とに基づき、変形パラメータ更新量
Figure 2009104228
を計算する処理を意味する。

ステップＣ８（変形パラメータ更新処理）：
現在の変形パラメータと、ステップＣ７で得られた変形パラメータ更新量
Figure 2009104228
とに基づき、上記数９のように、変形パラメータを更新する、変形パラメータ更新処理を行う。

ステップＣ９：
ステップＣ５からステップＣ８までの全てのステップを、収束するまで、つまり、所定の条件を満足するまで、繰り返す。ここで、所定の条件の具体例としては、例えば、（１）予め定められた繰り返し回数に達した場合、（２）変形パラメータの更新量が十分小さいとき、（３）選択画素の画素値差分の絶対値が十分小さいとき、といった所定の条件が、考えられる。

上記ステップＣ３（利用画素選択処理）において、偏微分に基づいて算出された重要度により、利用画素を選択する場合の重要度の具体例について説明する。なお、当該具体例では、変形パラメータとして、ｘ方向移動、ｙ方向移動、回転θ及びスケールｓといった４つのパラメータがあることを前提とする。
ここで、基準画像のｘ方向移動に対する偏微分を
Figure 2009104228
、基準画像のｙ方向移動に対する偏微分を
Figure 2009104228
、基準画像の回転θに対する偏微分を
Figure 2009104228
、基準画像のスケールｓに対する偏微分を
Figure 2009104228
とする。
次に、基準画像の各変形パラメータに対する偏微分
Figure 2009104228
に基づいて、重要度
Figure 2009104228
を算出するための具体的な数式（具体例）を、下記数１６、数１７、数１８及び数１９にそれぞれ示す。
Figure 2009104228
Figure 2009104228
Figure 2009104228
Figure 2009104228
 ただし、
Figure 2009104228
は画素位置を表し、
Figure 2009104228
及び
Figure 2009104228
は、それぞれゼロ以上の設計パラメータである。また、ｍｉｎは最小値を求める関数を表す。
上記数１６、数１７、数１８及び数１９によって算出された重要度
Figure 2009104228
は、それぞれ所定の閾値以上の場合（即ち、その画素位置
Figure 2009104228
に対応する画素の重要度が大きい場合）に、その画素位置
Figure 2009104228
に対応する画素を利用画素として選択する。

以下に、上記ステップＣ３（利用画素選択処理）で利用される所定の画素選択アルゴリズムの３つの具体例を示す。

（１）画素選択アルゴリズムの具体例１
ある画素位置
Figure 2009104228
に対して、
Figure 2009104228
かつ
Figure 2009104228
かつ
Figure 2009104228
かつ
Figure 2009104228
の場合、当該画素位置
Figure 2009104228
に対応する画素を利用画素として選択する。
ただし、
ρｘ，ρｙ，ρθ及びρｓは、それぞれゼロ以上の設計パラメータである。

（２）画素選択アルゴリズムの具体例２
ある画素位置
Figure 2009104228
に対して、
Figure 2009104228
または
Figure 2009104228
または
Figure 2009104228
または
Figure 2009104228
の場合に、当該画素位置
Figure 2009104228
に対応する画素を利用画素として選択する。
ただし、
ρｘ，ρｙ，ρθ及びρｓは、それぞれゼロ以上の設計パラメータである。

（３）画素選択アルゴリズムの具体例３
Figure 2009104228
、
Figure 2009104228
、
Figure 2009104228
、及び

Figure 2009104228
であるという条件、を一定数以上の画素位置が満足していた場合に、それらの画素位置に対応する画素を利用画素として選択する。
ただし、
ρｘ，ρｙ，ρθおよびρｓは、それぞれ０以上の設計パラメータである。

上記のように、本発明の「単純間引きによる方法」及び、本発明の「偏微分を考慮した方法」を、ＩＣＩＡアルゴリズムにそれぞれ適用した実施例について詳細に説明したが、本発明はＩＣＩＡアルゴリズムへの適用に限定されるものでなく、他の濃度勾配法にも本発明を適用することが可能であることは、言うまでも無い。
例えば、本発明の「単純間引きによる方法」及び、本発明の「偏微分を考慮した方法」を、非特許文献１に記載された加法的アルゴリズム（Additive Algorithm）、合成的アルゴリズム（Compositional Algorithm）、順方向アルゴリズム（Forwards Algorithm）、逆方向アルゴリズム（Inverse Algorithm）及びそれらアルゴリズムの組み合わせものに適用することができる。
また、上述した具体例では、変形パラメータとして、ｘ方向移動、ｙ方向移動、回転θ及びスケールｓといった４つのパラメータを用いたが、本発明はそれに限定されることはなく、本発明も、同様に、濃度勾配法が応用可能である全ての変形モデルに対して応用可能であることは、言うまでも無い。
更に、上述した実施例において、実施例１は「単純間引きによる方法」をＩＣＩＡアルゴリズムに適用したもので、実施例２は「偏微分を考慮した方法」をＩＣＩＡアルゴリズムに適用したものである。本発明は、それらに限定されるものでなく、「単純間引きによる方法」と「偏微分を考慮した方法」とを組み合わせて、あらゆる濃度勾配法に適用することもできる。
つまり、まず、１つ目の方法、例えば、「単純間引きによる方法」を用いて、変形パラメータを推定（更新）し、推定（更新）された変形パラメータを更に、二つ目の方法、例えば、「偏微分を考慮した方法」を用いて更新する。
また、本発明では、設定された注目領域を更に複数のブロックに分割し、ブロック毎に異なる方法で、画素を選択するようにしても良い。
なお、上述した本発明の実施形態に係る画像位置合わせ方法は、コンピュータシステムを利用し、ソフトウェアにより実装されることが可能であることは、言うまでも無い。

最後に、本発明の有効性を確認するために、非特許文献１に開示された従来のＩＣＩＡアルゴリズム（従来法）による画像位置合わせ処理と、本発明（単純間引きによる方法、及び変微分を考慮した方法）による画像位置合わせ処理をそれぞれ行った。
ここで、標準画像を基準画像として利用し、標準画像にランダムに変形を加えて得られた画像を入力画像とした。このような基準画像と入力画像との位置合わせ処理を行った。
より詳細に説明すると、入力画像として利用した画像は２５枚で、それぞれの画像に対して２００画素ずつ異なる変形をランダムに加えて、画像位置合わせ処理を行った。注目領域は２０１×２０１（＝４０４０１画素）で、濃度勾配法の繰り返し回数は、２０回の固定回数とした。変形パラメータについては、ｘ方向移動、ｙ方向移動、回転θ及びスケールｓの４つの変形パラメータの推定を行った。
本発明の単純間引による方法では、ｘ方向及びｙ方向ともに１０画素おきのとびとびの画素のみを利用した。本発明の偏微分を考慮した方法では、基準画像のｘ方向移動に対する偏微分（ｘ方向偏微分）と、基準画像のｙ方向移動に対する偏微分（ｙ方向偏微分）の絶対値が２５以上の画素のみを利用した。
従来法と本発明の２つの方法の比較を下記表１に示す。なお、注目領域の４隅の推定誤差の最大が１画素未満の場合を「成功」とした。
Figure 2009104228
 表１から、従来法と比較して、本発明によりおよそ４０倍程度高速化が図られていることが確認された。また、位置合わせ精度を表す成功率に関しても、本発明の単純間引きによる方法を用いた場合では、８６.２％と若干低下しているものの、本発明の偏微分を考慮した方法を用いた場合では、成功率は９９.３％と、従来法と同程度であることが確認された。
濃度勾配法の一種であるＩＣＩＡアルゴリズムのブロック図である。 本発明の「単純間引きによる方法」をＩＣＩＡアルゴリズムに適用した実施例１のブロック図である。 本発明の「偏微分を考慮した方法」をＩＣＩＡアルゴリズムに適用した実施例２のブロック図である。

Claims (17)

  1. 濃度勾配法のアルゴリズムに基づき、基準画像と入力画像との位置合わせを高速に行う画像位置合わせ方法であって、
    前記基準画像上の所定の領域を注目領域に設定し、
    前記位置合わせを行う際に、設定された前記注目領域内の全画素から、前記全画素より少ない所定の画素を選択し、評価関数を最小にするような変形パラメータを推定するために、選択された前記所定の画素のみを利用することを特徴とする画像位置合わせ方法。
  2. 前記注目領域内の画素を空間的に間引くことにより、前記所定の画素を選択する請求項１に記載の画像位置合わせ方法。
  3. 前記空間的に間引くことによる画素選択は、前記注目領域内の画素に対して、空間的にとびとびの画素を前記所定の画素として選択することにより実現される請求項２に記載の画像位置合わせ方法。
  4. 前記基準画像の全ての画素の前記変形パラメータに対する偏微分（以下、偏微分画像と称する）に基づき、前記所定の画素を選択する請求項１に記載の画像位置合わせ方法。
  5. 前記偏微分画像に基づく画素選択は、偏微分を画素ごとに独立に判断することにより、前記所定の画素を選択することにより実現される請求項４に記載の画像位置合わせ方法。
  6. 前記偏微分画像に基づく画素選択は、偏微分を画素ごとに大小が比較可能な量に変換し、前記比較可能な量が大きな画素から前記所定の画素を選択することにより実現される請求項４に記載の画像位置合わせ方法。
  7. 前記注目領域内の画素を空間的に間引くことにより、前記所定の画素を選択する方法と、前記基準画像の全ての画素の前記変形パラメータに対する偏微分に基づき、前記所定の画素を選択する方法とを組み合わせて用いることにより、前記所定の画素を選択する請求項１に記載の画像位置合わせ方法。
  8. 前記基準画像全体を前記注目領域として設定する請求項１乃至請求項７の何れかに記載の画像位置合わせ方法。
  9. 前記注目領域を複数のブロックに分割し、ブロック毎に、前記注目領域内の画素を空間的に間引くことにより、前記所定の画素を選択する方法、又は、前記基準画像の前記変形パラメータに対する偏微分画像に基づき、前記所定の画素を選択する方法で、前記所定の画素を選択する請求項１乃至請求項８の何れかに記載の画像位置合わせ方法。
  10. 基準画像と入力画像との位置合わせを高速に行う画像位置合わせ方法であって、
    前記基準画像上の所定の領域を注目領域に設定する、注目領域設定処理ステップと、
    前記注目領域内の画素を空間的に間引くことにより、利用画素を選択し、選択された画素の画素位置情報は、選択画素の位置情報として記憶される、利用画素選択処理ステップと、
    選択画素の位置情報として記憶されている画素位置に関してのみ、前記基準画像の変形パラメータに対する偏微分（以下、選択画素の偏微分係数と称する）をそれぞれ計算する、選択画素の偏微分係数計算処理ステップと、
    前記選択画素の偏微分係数に基づき、変形パラメータ更新量を計算するための前処理を行う、前処理ステップと、
    選択画素の位置情報として記憶されている画素位置に対応する入力画像の画素位置の座標変換を、前記変形パラメータに基づいて行い、画素値を補間することにより、選択画素に対応する入力画像の画素を変形させたときの変形後の画素値（選択画素の変形後の画素値）を計算する、選択画素の変形後の画素値計算処理ステップと、
    選択画素の位置情報として記憶されている画素位置に関して、選択画素の変形後の画素値と選択画素の画素値との差分（選択画素の画素値差分）を計算する、選択画素の画素値差分計算処理ステップと、
    選択画素の画素値差分と、選択画素の偏微分係数と、前処理結果とに基づき、変形パラメータ更新量を計算する、変形パラメータ更新量計算処理ステップと、
    現在の変形パラメータと、変形パラメータ更新量とに基づき、変形パラメータを更新する、変形パラメータ更新処理ステップと、
    を有することを特徴とする画像位置合わせ方法。
  11. 前記前処理ステップでは、次の数式で表す行列
    Figure 2009104228
    を計算し、さらにその逆行列
    Figure 2009104228
    を求め

    Figure 2009104228
    また、前記変形パラメータ更新量計算処理ステップでは、次の数式で表すベクトル
    Figure 2009104228
    を計算し、そして、ベクトル
    Figure 2009104228
    と前処理結果
    Figure 2009104228
    とに基づき、変形パラメータ更新量
    Figure 2009104228
    を計算し、
    Figure 2009104228
    ここで、
    Figure 2009104228
    は画素位置を表し、また、
    Figure 2009104228
    は、選択画素の位置情報として記憶されている全ての画素位置を表す請求項１０に記載の画像位置合わせ方法。
  12. 基準画像と入力画像との位置合わせを高速に行う画像位置合わせ方法であって、
    前記基準画像上の所定の領域を注目領域に設定する、注目領域設定処理ステップと、
    前記基準画像の全ての画素の前記変形パラメータに対する偏微分（以下、偏微分画像と称する）を計算する、偏微分画像生成処理ステップと、
    前記注目領域内の全画素に関して、各画素の偏微分に基づき、所定の画素選択アルゴリズムによって、又は、各画素の偏微分に基づいて算出された重要度によって、利用画素を選択し、選択された画素（選択画素）の画素位置情報は、選択画素の位置情報として記憶される、利用画素選択処理ステップと、
    前記偏微分画像と、選択画素の位置情報として記憶されている画素位置とに基づき、変形パラメータ更新量を計算するための前処理を行う、前処理ステップと、
    選択画素の位置情報として記憶されている画素位置に対応する入力画像の画素位置の座標変換を、前記変形パラメータに基づいて行い、画素値を補間することにより、選択画素に対応する入力画像の画素を変形させたときの変形後の画素値（選択画素の変形後の画素値）を計算する、選択画素の変形後の画素値計算処理ステップと、
    選択画素の位置情報として記憶されている画素位置に関して、選択画素の変形後の画素値と選択画素の画素値との差分（選択画素の画素値差分）を計算する、選択画素の画素値差分計算処理ステップと、
    選択画素の画素値差分と、選択画素の位置情報と、偏微分画像と、前処理結果とに基づき、変形パラメータ更新量を計算する、変形パラメータ更新量計算処理ステップと、
    現在の変形パラメータと、変形パラメータ更新量とに基づき、変形パラメータを更新する、変形パラメータ更新処理ステップと、
    を有することを特徴とする画像位置合わせ方法。
  13. 前記前処理ステップでは、次の数式で表す行列
    Figure 2009104228
    を計算し、さらにその逆行列
    Figure 2009104228
    を求め、
    Figure 2009104228
    また、前記変形パラメータ更新量計算処理ステップでは、次の数式で表すベクトル
    Figure 2009104228
    を計算し、そして、ベクトル
    Figure 2009104228
    と前処理結果
    Figure 2009104228
    とに基づき、変形パラメータ更新量
    Figure 2009104228
    を計算し、
    Figure 2009104228
    ここで、
    Figure 2009104228
    は画素位置を表し、また、
    Figure 2009104228
    は、選択画素の位置情報として記憶されている全ての画素位置を表す請求項１２に記載の画像位置合わせ方法。
  14. 基準画像と入力画像との位置合わせを高速に行う画像位置合わせプログラムであって、
    Ｄ１．前記基準画像上の所定の領域を注目領域に設定する手順と、
    Ｄ２．前記注目領域内の画素を空間的に間引くことにより、利用画素を選択し、選択された画素の画素位置情報は、選択画素の位置情報として記憶される手順と、
    Ｄ３．選択画素の位置情報として記憶されている画素位置に関してのみ、前記基準画像の変形パラメータに対する偏微分（以下、選択画素の偏微分係数と称する）をそれぞれ計算する手順と、
    Ｄ４．前記選択画素の偏微分係数に基づき、変形パラメータ更新量を計算するための前処理を行う手順と、
    Ｄ５．選択画素の位置情報として記憶されている画素位置に対応する入力画像の画素位置の座標変換を、前記変形パラメータに基づいて行い、画素値を補間することにより、選択画素に対応する入力画像の画素を変形させたときの変形後の画素値（選択画素の変形後の画素値）を計算する手順と、
    Ｄ６．選択画素の位置情報として記憶されている画素位置に関して、選択画素の変形後の画素値と選択画素の画素値との差分（選択画素の画素値差分）を計算する手順と、
    Ｄ７．選択画素の画素値差分と、選択画素の偏微分係数と、前処理結果とに基づき、変形パラメータ更新量を計算する手順と、
    Ｄ８．現在の変形パラメータと、変形パラメータ更新量とに基づき、変形パラメータを更新する手順と、
    をコンピュータに実行させるためのプログラム。
  15. 手順Ｄ４では、次の数式で表す行列
    Figure 2009104228
    を計算し、さらにその逆行列
    Figure 2009104228
    を求め、
    Figure 2009104228
    また、手順Ｄ７では、次の数式で表すベクトル
    Figure 2009104228
    を計算し、そして、ベクトル
    Figure 2009104228
    と前処理結果
    Figure 2009104228
    とに基づき、変形パラメータ更新量
    Figure 2009104228
    を計算し、
    Figure 2009104228
    ここで、
    Figure 2009104228
    は画素位置を表し、また、
    Figure 2009104228
    は、選択画素の位置情報として記憶されている全ての画素位置を表す請求項１４に記載の画像位置合わせプログラム。
  16. 基準画像と入力画像との位置合わせを高速に行う画像位置合わせプログラムであって、
    Ｅ１．前記基準画像上の所定の領域を注目領域に設定する手順と、
    Ｅ２．前記基準画像の全ての画素の前記変形パラメータに対する偏微分（以下、偏微分画像と称する）を計算する手順と、
    Ｅ３．前記注目領域内の全画素に関して、各画素の偏微分に基づき、所定の画素選択アルゴリズムによって、又は、各画素の偏微分に基づいて算出された重要度によって、利用画素を選択し、選択された画素（選択画素）の画素位置情報は、選択画素の位置情報として記憶される手順と、
    Ｅ４．前記偏微分画像と、選択画素の位置情報として記憶されている画素位置とに基づき、変形パラメータ更新量を計算するための前処理を行う手順と、
    Ｅ５．選択画素の位置情報として記憶されている画素位置に対応する入力画像の画素位置の座標変換を、前記変形パラメータに基づいて行い、画素値を補間することにより、選択画素に対応する入力画像の画素を変形させたときの変形後の画素値（選択画素の変形後の画素値）を計算する手順と、
    Ｅ６．選択画素の位置情報として記憶されている画素位置に関して、選択画素の変形後の画素値と選択画素の画素値との差分（選択画素の画素値差分）を計算する手順と、
    Ｅ７．選択画素の画素値差分と、選択画素の位置情報と、偏微分画像と、前処理結果とに基づき、変形パラメータ更新量を計算する手順と、
    Ｅ８．現在の変形パラメータと、変形パラメータ更新量とに基づき、変形パラメータを更新する手順と、
    をコンピュータに実行させるためのプログラム。
  17. 手順Ｅ４では、次の数式で表す行列
    Figure 2009104228

    を計算し、さらにその逆行列
    Figure 2009104228
    を求め、

    Figure 2009104228

    また、手順Ｅ７では、次の数式で表すベクトル
    Figure 2009104228
    を計算し、そして、ベクトル
    Figure 2009104228
    と前処理結果
    Figure 2009104228
    とに基づき、変形パラメータ更新量
    Figure 2009104228
    を計算し、
    Figure 2009104228
    ここで、
    Figure 2009104228
    は画素位置を表し、また、
    Figure 2009104228
    は、選択画素の位置情報として記憶されている全ての画素位置を表す請求項１６に記載の画像位置合わせプログラム。





JP2007272799A 2007-10-19 2007-10-19 画像位置合わせ方法及び画像位置合わせプログラム Pending JP2009104228A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007272799A JP2009104228A (ja) 2007-10-19 2007-10-19 画像位置合わせ方法及び画像位置合わせプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007272799A JP2009104228A (ja) 2007-10-19 2007-10-19 画像位置合わせ方法及び画像位置合わせプログラム

Publications (1)

Publication Number Publication Date
JP2009104228A true JP2009104228A (ja) 2009-05-14

Family

ID=40705870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007272799A Pending JP2009104228A (ja) 2007-10-19 2007-10-19 画像位置合わせ方法及び画像位置合わせプログラム

Country Status (1)

Country Link
JP (1) JP2009104228A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011036851A1 (ja) * 2009-09-28 2011-03-31 日本電気株式会社 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム
US8699822B2 (en) 2009-09-23 2014-04-15 Samsung Electronics Co., Ltd. Method and apparatus for blending images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322567A (ja) * 1999-05-11 2000-11-24 Hitachi Ltd 画像処理方式
JP2001148015A (ja) * 1999-11-22 2001-05-29 Matsushita Electric Works Ltd 画像位置合わせ方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322567A (ja) * 1999-05-11 2000-11-24 Hitachi Ltd 画像処理方式
JP2001148015A (ja) * 1999-11-22 2001-05-29 Matsushita Electric Works Ltd 画像位置合わせ方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8699822B2 (en) 2009-09-23 2014-04-15 Samsung Electronics Co., Ltd. Method and apparatus for blending images
WO2011036851A1 (ja) * 2009-09-28 2011-03-31 日本電気株式会社 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム
US8897601B2 (en) 2009-09-28 2014-11-25 Nec Corporation Image conversion parameter calculation device, image conversion parameter calculation method, and program
JP5712925B2 (ja) * 2009-09-28 2015-05-07 日本電気株式会社 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム

Similar Documents

Publication Publication Date Title
JP5294343B2 (ja) 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
JP5385969B2 (ja) 画像の超解像のための方法及び装置
JP3837575B2 (ja) 超解像処理の高速化方法
CN106846467B (zh) 基于每个相机位置优化的实体场景建模方法和系统
GB2520613A (en) Target region fill utilizing transformations
US20090079876A1 (en) Image processing apparatus, method, and program
JP2005317011A (ja) 高解像度画像を発生する方法、デジタル画像編集ツールおよび媒体
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
JP2009134509A (ja) モザイク画像生成装置及びモザイク画像生成方法
JPH1137721A (ja) アフィンカメラ補正による三次元位置の線形推定方法
JP5499261B2 (ja) 画像処理装置
CN112767486B (zh) 基于深度卷积神经网络的单目6d姿态估计方法及装置
JP2016015037A (ja) 情報処理装置及びその制御方法、並びに、ビデオカメラ
JP6581359B2 (ja) 情報処理装置及びその制御方法及びプログラム及び記憶媒体、並びに、ビデオカメラ
JP4102386B2 (ja) ３次元情報復元装置
JP2018194891A (ja) ３次元形状推定方法、３次元形状推定プログラムおよび３次元形状推定装置
CN117671031A (zh) 双目相机标定方法、装置、设备及存储介质
JP2009104228A (ja) 画像位置合わせ方法及び画像位置合わせプログラム
CN115937002B (zh) 用于估算视频旋转的方法、装置、电子设备和存储介质
JP2010239515A (ja) カメラキャリブレーションの算出方法
JP2009146150A (ja) 特徴位置検出方法及び特徴位置検出装置
CN103618904A (zh) 基于像素的运动估计方法及装置
JP2009064193A (ja) 解像度変換装置及び方法
JP2005312014A (ja) 解像度変換方法
JP5387289B2 (ja) 画像処理装置、画像処理方法およびそのプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110628