JP2008234362A - 画像位置合わせ方法、画像位置合わせ装置、画像処理システム、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合であっても、高精度な位置合わせを可能にする。
【解決手段】本発明の位置合わせ部１２は、複数の撮像画像データの中から選択した基準画像データを周波数領域に変換した周波数領域のデータ（撮像周波数成分）と、撮像対象Ｐの被撮像面の設計形状を周波数領域に変換した設計データの周波数領域のデータ（設計周波数成分）とを比較して、撮像対象Ｐを撮像した撮像装置２のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出し、折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像データ以外の各撮像画像データの位置変位量を求める画像位置変位検出部２２を備えているので、撮像対象Ｐが撮像装置２のナイキスト周波数以上の周波数成分を持つ場合であっても、高精度な位置合わせが可能となる。
【選択図】図１

Description

本発明は、複数の画像の位置合わせを行う画像位置合わせ方法、画像位置合わせ装置、画像処理システム、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

製品等の検査を自動的に行う自動検査装置では、一般的に、エリアセンサ等の撮像装置を用いて検査対象を撮像して得られた検査画像を、所定のアルゴリズムで処理して欠陥検出等を行っている。したがって、自動検査装置においては、検査画像の解像度が高いほど詳細な検査が可能となるため、解像度の高い画像が撮像できる高解像度の撮像装置が求められる。

しかしながら、例えば、検査対象が液晶表示パネルである場合、近年の液晶表示パネルのパネルサイズ大型化に伴い、液晶表示パネルの表示画素数は飛躍的に増大しているので、最新のエリアセンサを用いても検査に十分な解像度は得られなくなってきている。

すなわち、検査装置においては、撮像装置の解像度を超える高解像度の画像を検査に用いる必要性が生じており、そのため、複数の低解像度画像から１枚の高解像度画像を生成する超解像処理やイメージシフト処理等の高解像度化処理が求められている。

超解像処理とは、低解像度の撮像画像から、撮像装置の解像度やレンズ性能のため写っていない、画像中には存在しない高解像度部分を推測し、低解像度の撮像画像を高解像度の画像に変換する処理のことを指す。超解像処理の１つの方法として、評価関数を用いる方法がある。

評価関数を用いて超解像処理を行う場合、１つの撮像対象に対して少しずつ撮像位置をずらして複数回の撮像を行い、複数回の撮像によって得られた複数枚の撮像画像から推定される１枚の高解像度化画像を生成する。そして、生成した高解像度画像を、評価関数を用いて評価し、その評価値がよくなる方向に高解像度画像を変化させる。この処理を繰り返すことにより、所望の精度の高解像度画像を得ることができる。

なお、評価関数は、高解像度画像を擬似的に低解像度化した低解像度化画像と撮像画像との誤差を計算する誤差項と、事前確率情報や輝度値を調整する正規化条件等の拘束項とからなる。高解像度化する画像の性質が分かっている場合、その性質をあらかじめ同種の性質を持ついくつかの画像を用いて学習しておき、その学習データを拘束項に組み込む手法が知られている。

このような超解像処理では、１つの撮像対象に対して少しずつ撮像位置をずらして撮像して得られた複数の撮像画像について、それらの位置関係を取得することが必要になる。複数の撮像画像間における位置関係を取得する方法としては、例えば、レジストレーションと呼ばれる位置合わせ手法が知られている。レジストレーションでは、複数の撮像画像の中から１枚の基準となる基準画像を選択し、それ以外の撮像画像がその基準画像に対してどの程度ずれているかを計算することによって、複数の撮像画像間における位置関係を取得する。

レジストレーションを行う場合、基準画像以外の撮像画像がその基準画像に対してどの程度ずれているかを求める必要があり、このずれを求めるために、一般的には領域ベースマッチングという手法が用いられている。特許文献１及び非特許文献１は、領域ベースマッチングによる位置合わせ手法の高速化処理に関する技術を開示している。

特許文献１及び非特許文献１に記載の位置合わせ手法では、基準画像と比較画像（基準画像以外の撮像画像）とをそれぞれ所定の大きさを持つ領域（参照領域）で切り抜いて比較している。すなわち、特許文献１及び非特許文献１では、基準画像の参照領域に含まれる画素と比較画像の参照領域に含まれる画素との輝度値の差を求め、輝度値の差から両者の類似度を計算し、その類似度の大きさによって比較画像の基準画像に対する変位を推定している。

ここで、比較画像の基準画像に対する変位をより高精度に推定するためには、サブピクセルレベルで輝度値の差を求める必要がある。なお、サブピクセルとは１ピクセル未満の端数を含む位置、すなわち画素と画素との中間位置を指す。したがって、サブピクセルレベルで輝度値の差を求める場合には、輝度値を求めたいサブピクセルに隣接する複数の画素の輝度値から、サブピクセルの輝度値を推測する必要がある。

また、画像の位置合わせに関する手法としては、特許文献２及び特許文献３が挙げられる。特許文献２では、比較対象となる画像のエッジ位置に基づいて、サブピクセル単位での位置ずれの補正を行うことにより、位置合わせの精度を向上させている。また、特許文献３では、比較対象となる画像を周波数領域のデータに変換し、周波数成分のピーク値を比較して位置合わせを行っている。
世界知的所有権機関国際事務局国際公開第ＷＯ２００４／０６３９９１号パンフレット（2004年7月29日国際公開） 特開平１１‐２０１９０８号公報（1999年7月30日公開） 特開２００４‐１４５４６６号公報（2004年5月20日公開） 清水雅夫・奥富正敏,「画像変形を表すNパラメータの高精度同時推定法と超解像への応用」，情報処理学会論文誌：コンピュータビジョンとイメージメディア,Vol.45, No.SIG 13(CVIM 10) ， 2004 年12 月, pp.83-98

しかしながら、上記従来の画像位置合わせ手法では、撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合に、位置合わせの精度が劣化するという問題がある。

ナイキスト周波数とは、撮像装置の撮像素子（例えばＣＣＤ：charge-coupled device）数やレンズ性能で決まる周波数であり、撮像装置の撮像限界を示している。撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合、ナイキスト周波数以上の周波数成分には折り返しが発生し、折り返しが発生することにより、撮像画像にモアレ等が発生してしまう。

上述のように、上記特許文献１、特許文献２、及び非特許文献１に記載の技術では、サブピクセルの正確な輝度値を求めることが必要になるが、モアレ等が発生した画像では、サブピクセルの正確な輝度値を求めることは極めて困難である。また、特許文献３のように、周波数領域のデータを用いる場合も、撮像画像の周波数成分に折り返しが発生しているため、正確に位置合わせを行うことは難しい。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合であっても、高精度な位置合わせを可能にする画像位置合わせ装置等を実現することにある。

本発明の画像位置合わせ方法は、上記課題を解決するために、同一の撮像対象を撮像して得られた複数の画像間の位置変位量を求め、求めた位置変位量に基づいて上記複数の画像の位置合わせを行う画像位置合わせ方法であって、上記複数の画像の中から選択した基準画像を周波数領域に変換した撮像周波数成分と、撮像対象の被撮像面の設計形状を示す設計周波数成分とを比較して、上記撮像対象を撮像した撮像装置のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出する折り返し成分抽出ステップと、上記折り返し成分抽出ステップにて折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出ステップと、を含むことを特徴としている。

また、本発明の画像位置合わせ装置は、上記課題を解決するために、同一の撮像対象を撮像して得られた複数の画像間の位置変位量を求め、求めた位置変位量に基づいて上記複数の画像の位置合わせを行う画像位置合わせ装置であって、上記複数の画像の中から選択した基準画像を周波数領域に変換した撮像周波数成分と、撮像対象の被撮像面の設計形状を示す設計周波数成分とを比較して、上記撮像対象を撮像した撮像装置のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出する折り返し成分抽出手段と、上記折り返し成分抽出ステップにて折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出手段と、を備えていることを特徴としている。

ここで、上記〔発明が解決しようとする課題〕で述べたように、ナイキスト周波数を超える周波数成分を有する撮像対象を撮像して得られた画像には折り返しが発生する。したがって、この画像を周波数領域に変換した場合、該周波数領域成分には、ナイキスト周波数成分よりも高い周波数成分が含まれていない。これは、ナイキスト周波数よりも高い周波数成分が、撮像対象を撮像する時にナイキスト周波数を軸にナイキスト周波数よりも低い周波数領域へと折り返されることによる。

ここで、上記設計周波数成分は、撮像対象の被撮像面の設計形状を周波数領域に変換（フーリエ変換等）して得られたものであるから、撮像対象を撮像した撮像装置のナイキスト周波数よりも高い周波数成分を含み得る。これに対し、上記撮像周波数成分には、ナイキスト周波数よりも高い周波数成分は含まれない。

すなわち、撮像対象の被撮像面が上記ナイキスト周波数よりも高い周波数成分を有している場合、設計周波数成分にはナイキスト周波数よりも高い周波数成分が含まれるが、撮像周波数成分ではナイキスト周波数よりも高い周波数成分がナイキスト周波数で折り返され、ナイキスト周波数よりも低い周波数成分として現れる。

ここで、設計周波数成分は、撮像対象の被撮像面の設計形状を示すものであり、基準画像は、撮像対象の被撮像面を撮像したものであるから、設計周波数成分と撮像周波数成分とは主要な周波数成分が等しくなる。ただし、撮像周波数成分に折り返しが発生している場合、折り返された周波数成分に関しては、設計周波数成分と異なる周波数成分として現れる。

すなわち、ナイキスト周波数よりも低い周波数領域の撮像周波数成分において、対応する設計周波数成分がない場合、その周波数成分は、折り返された周波数成分であると考えられる。

上記本発明の構成によれば、撮像周波数成分と設計周波数成分とを比較して、ナイキスト周波数よりも低い周波数成分について、撮像周波数成分から、対応する設計周波数成分がない周波数成分を抽出する。

すなわち、折り返し周波数成分の抽出後の撮像周波数成分には、折り返しによって生じた余分な周波数成分が含まれなくなる。したがって、余分な周波数成分が含まれない撮像周波数成分に基づいて、上記複数の画像間の位置変位量を求め、求めた位置変位量に基づいて上記複数の画像の位置合わせを行うことができる。

このように、上記本発明の構成によれば、折り返し周波数成分を抽出した撮像周波数成分を用いて位置変位量を求めるので、撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合であっても、上記複数の画像間の位置変位量を精度よく求めることができる。その結果、求めた位置変位量に基づいて複数の画像間の高精度な位置合わせを行うことが可能となる。

なお、位置変位量を求める方法としては、例えば上記位置合わせ用基準データを逆フーリエ変換等に供することによって画像データに変換し、この画像データと、上記複数の画像のそれぞれとを領域ベースマッチングする方法が挙げられる。

また、上記複数の画像のそれぞれを周波数領域に変換し、上記位置合わせ用基準データと、周波数領域に変換した上記複数の画像のそれぞれとを比較することによって、上記複数の画像間の位置変位量を求めることもできる。

また、本発明の画像位置合わせ方法は、上記課題を解決するために、同一の撮像対象を撮像して得られた複数の画像間の位置変位量を求め、求めた位置変位量に基づいて上記複数の画像の位置合わせを行う画像位置合わせ方法であって、上記複数の画像の中から選択した基準画像の特徴点と、撮像対象の被撮像面の設計形状を示す設計画像データの特徴点とを比較して、上記基準画像と上記設計画像データとの位置ずれ及びサイズの差を検出し、上記検出した位置ずれ及びサイズの差に基づいて、上記設計画像データの位置及びサイズを上記基準画像に合わせて、位置合わせ用基準データを生成する基準画像再構成ステップと、上記位置合わせ用基準データに対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出ステップと、を含むことを特徴としている。

上記の構成によれば、基準画像の特徴点と設計データの特徴点とに基づいて、設計画像データの位置及びサイズが上記基準画像に合わされる。ここで、設計画像データは、撮像対象の被撮像面の設計形状を示す画像データであり、基準画像は、撮像対象の被撮像面を撮像したものである。

したがって、位置及びサイズを基準画像に合わせた設計画像データと基準画像とは、ほぼ同じ画像データとなる。ただし、撮像対象が撮像装置のナイキスト周波数を越える周波数成分を有している場合、基準画像にはモアレ等が発生していることになるが、設計画像データは、撮像対象の被撮像面の設計形状を示す画像データであるから、モアレ等は発生していない。

上記の構成によれば、位置及びサイズを基準画像に合わせた設計画像データを位置合わせ用基準データとし、この位置合わせ用基準データと上記複数の画像のそれぞれとの位置変位を求める。すなわち、モアレ等の発生していない位置合わせ用基準データと、複数の画像のそれぞれとの位置変位を求めて位置合わせを行うことができる。

したがって、撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合であっても、上記複数の画像間の正確な位置変位量を求めることができ、その結果、求めた位置変位量に基づいて複数の画像間の高精度な位置合わせを行うことが可能となる。

また、本発明の画像位置合わせ方法は、上記折り返し成分抽出ステップにて抽出した周波数成分を、上記ナイキスト周波数を軸として、撮像周波数成分のナイキスト周波数よりも高い周波数領域に折り返した位置合わせ用基準データを生成する基準画像再構成ステップを含むことが好ましい。

上記の構成によれば、折り返し成分抽出ステップにて抽出した周波数成分を、上記ナイキスト周波数を軸として、撮像周波数成分のナイキスト周波数よりも高い周波数領域に折り返す。すなわち、上記の構成によれば、折り返されていた周波数成分が本来あるべき位置へと復元される。

したがって、撮像周波数成分の折り返されていた周波数成分を本来あるべき位置へと復元したデータである、位置合わせ用基準データを用いることによって、上記複数の画像間の正確な位置変位量を求めることができ、その結果、求めた位置変位量に基づいて複数の画像間のさらに高精度な位置合わせを行うことが可能となる。

また、本発明の画像位置合わせ方法は、上記複数の画像の中から選択した基準画像の特徴点と、撮像対象の被撮像面の設計形状を示す設計画像データの特徴点とを比較し、上記設計画像データの位置及びサイズを上記基準画像に合わせた補正設計画像データを周波数領域に変換した設計周波数成分を生成する設計周波数成分生成ステップと、
上記折り返し成分抽出ステップにて抽出した周波数成分を撮像周波数成分から除くとともに、設計周波数成分におけるナイキスト周波数以上の周波数成分を撮像周波数成分に追加して位置合わせ用基準データを生成する基準画像再構成ステップを含む方法であってもよい。

上記の構成によれば、基準画像の特徴点と設計画像データの特徴点とに基づいて、設計画像データの位置及びサイズが上記基準画像に合わされる。なお、特徴点としては、画像中において、例えば色、形状等が他の部位と異なる点を選択すればよい。また、設計画像データ及び撮像対象に位置合わせのためのマークを付けておいてもよい。設計画像データと基準画像データとの位置合わせは、例えばパターンマッチング等の手法を用いることができる。

このように、補正設計画像データと基準画像とは、位置及びサイズが等しいので、設計周波数成分と撮像周波数成分とは、折り返しが発生している箇所を除いて主要な周波数成分の位置及び強度が等しくなる。

そこで、上記構成では、設計周波数成分におけるナイキスト周波数以上の周波数成分を撮像周波数成分に追加している。これにより、撮像周波数成分において、折り返しによって失われたナイキスト周波数以上の周波数成分を復元することができる。そして、折り返し周波数成分を復元した撮像周波数成分、すなわち位置合わせ用基準データに基づいて、上記複数の画像間の位置変位量を求めることができる。

このように、上記位置合わせ方法によれば、折り返された周波数成分を復元した位置合わせ用基準データを用いて位置変位量を求めるので、撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合であっても、上記複数の画像間の正確な位置変位量を求めることができる。その結果、求めた位置変位量に基づいて複数の画像間の高精度な位置合わせを行うことが可能となる。

また、上記設計周波数成分は、周波数値が等間隔の複数の周波数成分より成り、上記折り返し成分抽出ステップでは、撮像周波数成分において周波数成分の周波数値の間隔が等間隔でない周波数成分を抽出することが好ましい。

上述のように、本発明の画像位置合わせ方法では、撮像周波数成分と設計周波数成分とを比較して、上記撮像対象を撮像した撮像装置のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出する。

ここで、設計周波数成分は、撮像対象の被撮像面の設計形状を示すものであり、基準画像は、撮像対象の被撮像面を撮像したものであるから、設計周波数成分と撮像周波数成分とは主要な周波数成分が等しくなる。

したがって、設計周波数成分が、周波数値が等間隔の複数の周波数成分で構成されている場合、撮像周波数成分に折り返しが発生していないときには、撮像周波数成分も周波数値が等間隔の複数の周波数成分で構成されることになる。一方、撮像周波数成分に折り返しが発生しているときには、折り返しが発生している箇所のみ周波数値の間隔が等間隔ではなくなる。ゆえに、周波数値の間隔が等間隔ではない周波数成分を検出することによって、折り返し周波数成分を特定することができる。

すなわち、上記構成によれば、設計周波数成分の主要な周波数成分と撮像周波数成分の主要な周波数成分とを１つ１つ対比することなく、容易に折り返し周波数成分を抽出することができる。

また、本発明の画像処理システムは、上記課題を解決するために、上記画像位置合わせ装置と、撮像対象を撮像する撮像装置と、上記画像位置合わせ装置が求めた複数の画像間の位置変位量に基づいて、当該複数の画像から１つの高解像度画像を生成する超解像処理装置とを備えていることを特徴としている。

上記の構成によれば、撮像装置が撮像対象を撮像し、撮像によって得られた複数の画像間の位置変位量を画像位置合わせ装置が求める。そして、複数の画像間の位置変位量に基づいて画像処理装置が、上記複数の画像を高解像度化した高解像度画像を生成する。

上記画像位置合わせ装置は、撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合であっても、上記複数の画像間の正確な位置変位量を求めることができるので、常に高精度な高解像度画像を生成することができる。

なお、上記画像位置合わせ装置は、コンピュータによって実現してもよく、この場合には、コンピュータを画像位置合わせ装置の各手段として動作させることにより、上記画像位置合わせ装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

以上のように、本発明の画像位置合わせ方法は、複数の画像の中から選択した基準画像を周波数領域に変換した撮像周波数成分と、撮像対象の被撮像面の設計形状を示す設計周波数成分とを比較して、上記撮像対象を撮像した撮像装置のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出する折り返し成分抽出ステップと、上記折り返し成分抽出ステップにて折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出ステップと、を含む構成である。

また、本発明の他の画像位置合わせ方法は、複数の画像の中から選択した基準画像の特徴点と、撮像対象の被撮像面の設計形状を示す設計画像データの特徴点とを比較して、上記基準画像と上記設計画像データとの位置ずれ及びサイズの差を検出し、上記検出した位置ずれ及びサイズの差に基づいて、上記設計画像データの位置及びサイズを上記基準画像に合わせて、位置合わせ用基準データを生成する基準画像再構成ステップと、上記位置合わせ用基準データに対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出ステップと、を含む構成である。

また、本発明の画像位置合わせ装置は、複数の画像の中から選択した基準画像を周波数領域に変換した撮像周波数成分と、撮像対象の被撮像面の設計形状を示す設計周波数成分とを比較して、上記撮像対象を撮像した撮像装置のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出する折り返し成分抽出手段と、上記折り返し成分抽出ステップにて折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出手段と、を備えている構成である。

したがって、本発明の画像位置合わせ方法及び画像位置合わせ装置によれば、撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合であっても、高精度な位置合わせを行うことができる。

〔実施の形態１〕
本発明の一実施形態について図１から図１０に基づいて説明すると以下の通りである。

（システムの概要について）
まず、本実施形態の検査システム（画像処理システム）１の概要について図２に基づいて説明する。図２は、本実施形態の検査システム１の概要を示す側面図である。検査システム１は、図示のように、撮像装置２、画像処理装置３、駆動装置４、フレーム５、及び保持部材６を備える構成である。

撮像装置２は、撮像対象Ｐの画像を撮像し、撮像した画像を撮像画像データとして画像処理装置３に送出する。撮像装置２としては、ＣＣＤ素子を備えたエリアセンサやラインセンサ等を適用することができる。撮像装置２は画像処理装置３と接続されており、また、撮像装置２は駆動装置４を介してフレーム５に固定されている。

画像処理装置３は、撮像装置２から受け取った画像データを超解像処理し、超解像画像を出力する。また、画像処理装置３は、撮像装置２及び駆動装置４の動作の制御を行う。画像処理装置３の詳細については後述する。

フレーム５は、図示していないが、同図のＹ軸方向に奥行きを有する長方形状の構造である。駆動装置４は、フレーム５上を移動可能な構成となっており、駆動装置４をフレーム５上で移動させることによって、撮像対象Ｐに対する撮像装置２の撮像位置を変えることができる。ここでは、駆動装置４が撮像装置２を移動させることによって、撮像対象Ｐの所望の位置を撮像する例を説明するが、撮像装置２の撮像素子やレンズ等を調節して撮像対象Ｐの所望の位置を撮像するようにしてもよい。

保持部材６は、撮像対象Ｐを保持・固定するための部材である。本実施形態では、撮像装置２をフレーム５上で駆動させることによって撮像対象Ｐを撮像する態様を示すが、撮像装置２を固定し、保持部材６を駆動させることによって撮像装置２に対する撮像対象Ｐの位置を変化させ、撮像対象Ｐを撮像してもよい。

撮像対象Ｐは、検査システム１の検査対象となる物体である。撮像対象Ｐは、その検査対象となる面が撮像装置２と対向するように保持部材６で固定されている。撮像対象Ｐは、被検査面、すなわち撮像装置２で撮像される箇所が繰り返しパターンを有していることが好ましい。

なお、繰り返しパターンとは、一定の周期で同一のパターンが繰り返すパターンである。例えば、液晶表示パネルでは、その表示面に開口部が等間隔で規則的に配列しており、各開口部にはそれぞれＲＧＢいずれかのカラーフィルタが付されてＲＧＢの画素となっている。そして、ＲＧＢの各画素は、一定の周期、例えばＲＧＢ−ＲＧＢ−ＲＧＢ…の順で繰り返している。本実施形態では、撮像対象Ｐが点灯状態の液晶表示パネルであることを想定している。

そして、撮像対象Ｐの被撮像面が繰り返しパターンを有している場合、撮像対象Ｐの被撮像面を撮像して得られる撮像画像データを周波数領域のデータにしたときに、周波数値のピークが出現する。詳細については後述するが、検査システム１では、このピークを利用して撮像画像データ間の位置合わせを行う。

本実施形態の検査システム１では、以上の構成により、画像処理装置３の制御に基づいて撮像装置２及び駆動装置４が動作し、撮像装置２はフレーム５上を移動しながら撮像対象Ｐを撮像する。そして、撮像装置２が撮像した撮像画像データは、画像処理装置３に送られて超解像処理が施される。

そして、検査システム１では、超解像処理によって高解像度化された撮像画像データを、図示しない検査処理装置が検査することによって、撮像対象Ｐの欠陥の有無を検出するようになっている。検査処理装置は、撮像対象Ｐを撮像した撮像画像データを解析し、撮像対象Ｐの欠陥の有無を検査するものであれば特に限定されず、公知の装置を適用することができる。

（画像処理装置の概要について）
次に、画像処理装置３の概要について図１に基づいて説明する。図１は、画像処理装置３の要部構成を示すブロック図である。図示のように、画像処理装置３は、記憶部１１、位置合わせ部（位置合わせ装置）１２、超解像処理部（超解像処理装置）１３、入力部１４、出力部１５、及び外部装置制御部１６を備えている。

記憶部１１は、撮像装置２から送られる撮像画像データを格納する撮像画像保存部１７、設計データを格納する設計データ保存部１８、及び超解像処理部１３によって生成される高解像度画像を格納する高解像度画像保存部１９を備えている。

設計データ保存部１８に格納されている設計データについて説明する。設計データとは、撮像対象Ｐの形状、サイズ、輝度分布等を示すデータである。設計データは、数値データでもよいし、画像データでもよい。例えば、撮像対象Ｐが点灯状態の液晶表示パネルである場合、パネルの開口部及びブラックマトリクス部のサイズや、開口部の輝度比等の数値データを設計データとして用いることができる。また、撮像対象Ｐを撮像して得られる画像データや、撮像対象Ｐと同様の形状を有するサンプルを撮像したサンプル画像データのような画像データを設計データとしてもよい。

なお、ここでは、設計データとして図３に示す画像データを用いる場合の例を説明する。図３は、設計データの一例を示す図である。図３に示す設計データは、撮像対象Ｐ、すなわち液晶表示パネルの画像データであり、開口部３１がマトリクス状に配列し、開口部３１の行間はブラックマトリクス部３２となっており、開口部３１の列間はブラックマトリクス部３３となっている。

また、設計データとして画像データを用いる場合には、モアレ等が発生していない画像データを用いる必要がある。モアレ等が発生していない画像データを取得するためには、例えば撮像対象Ｐの主な周波数成分がナイキスト周波数よりも小さくなるような撮像装置を用いて撮像対象Ｐを撮像すればよい。

位置合わせ部１２は、撮像画像保存部１７に格納されている複数の撮像画像データ間の位置変位量を検出し、検出した位置変位量を超解像処理部１３に送出する。位置合わせ部１２は、基準画像設定部２０、プロファイル生成部（折り返し成分抽出手段）２１、及び画像位置変位検出部（位置変位量検出手段）２２を備えている。

基準画像設定部２０は、撮像画像保存部１７に格納されている複数の撮像画像データの中から基準画像データを選択する。選択の方法は、特に限定されないが、例えば、撮像画像データのうち、撮像時間が最初のものを基準画像データとして選択すればよい。また、例えば、全撮像画像データのうち、撮像対象Ｐの重心に最も近い位置を撮像したものを基準画像データとして選択してもよい。なお、以下の説明では、基準画像データ以外の撮像画像データを「その他の撮像画像データ」と呼ぶ。

ところで、検査システム１においては、撮像装置２の撮像面と撮像対象Ｐの被撮像面とが平行ではない場合、撮像対象Ｐにおいて、撮像装置２に対して近い部分と遠い部分とができるので、撮像画像がボケてしまうことがある。基準画像データは、撮像画像データ間の位置変位量を求めるための基準となるデータであるから、ボケていない画像データを用いることが好ましい。したがって、基準画像データとしては、撮像装置２の撮像面と撮像対象Ｐの被撮像面とが平行か、あるいは平行に近い状態で撮像されたものを選択することが望ましい。

プロファイル生成部２１は、基準画像設定部２０が設定した基準画像データ上の位置とその位置における輝度値との関係を示す輝度プロファイル（位置合わせ用基準データ）を生成する。そして、画像位置変位検出部２２は、プロファイル生成部２１が生成した輝度プロファイルを用いて、基準画像データに対するその他の撮像画像データの位置変位量を検出する。プロファイル生成部２１及び画像位置変位検出部２２の詳細については後述する。

超解像処理部１３は、画像位置変位検出部２２が検出した基準画像データに対するその他の撮像画像データの位置変位量を用いて、撮像画像保存部１７に格納された複数の撮像画像データから高解像度画像を生成する。

入力部１４は、記憶部１１内の各種データを出力部１５に出力させたり、記憶部１１内の各種データの追加・削除・編集等を行ったり、画像処理装置３が備える各構成の動作を入力指示によって制御したりするためのものである。例えば、検査システム１のユーザは、入力部１４を操作することによって、高解像度画像保存部１９に格納されている高解像度画像データを出力したり、設計データ保存部１８に格納されている設計データを変更したりすることができる。

また、例えば、入力部１４を介して撮像画像保存部１７に画像データを入力し、入力した画像データ間の位置合わせを、基準画像設定部２０、プロファイル生成部２１、及び画像位置変位検出部２２等に実行させることもできる。入力部１４は、キーボードやタッチパネル、入力ボタン等で構成することができる。

出力部１５は、記憶部１１に格納されている各種データを出力するものである。具体的には、出力部１５は液晶表示パネル、プリンタ等で構成することができる。

外部装置制御部１６は、撮像装置２の撮像タイミングの制御、及び駆動装置４の駆動の制御を行う。具体的には、外部装置制御部１６の指示に従って駆動装置４がフレーム５上の任意の位置に移動し、外部装置制御部１６の指示するタイミングで撮像装置２が撮像を行う。

（検査システムにおける処理の流れ）
次に、検査システム１における処理の流れについて図４に基づいて説明する。図４は、検査システム１における検査処理の一例を示すフローチャートである。まず、外部装置制御部１６は、撮像装置２及び駆動装置４を動作させ、撮像対象Ｐを撮像させる（Ｓ１）。撮像装置２が撮像した撮像対象Ｐの画像データである撮像画像データは、画像処理装置３に送られ、画像処理装置３の撮像画像保存部１７に格納される。

ここでは、撮像対象Ｐを複数回撮像して複数の撮像画像データを得る。まず、外部装置制御部１６は、撮像装置２及び駆動装置４に指示を送り、適当な位置で撮像対象Ｐを撮像させる。次に、外部装置制御部１６は、駆動装置４によって撮像装置２をフレーム５上で移動させた後、再び撮像装置２に撮像対象Ｐを撮像させる。これを所定数の撮像画像データが得られるまで繰り返す。

なお、検査システム１では、１つの撮像装置２を用いて撮像対象Ｐの撮像を行っているが、複数の撮像装置を用いて撮像対象Ｐの撮像を行ってもよい。この場合、１台の撮像装置２を用いる場合に比べて撮像時間を短縮することができる。

次に、位置合わせ部１２は、Ｓ１で撮像された撮像画像データを撮像画像保存部１７から読み出し、読み出した複数の撮像画像データ間の位置変位量を検出する位置合わせ処理を行う（Ｓ２）。そして、位置合わせ部１２は、検出した位置変位量を超解像処理部１３に送出する。位置合わせ処理の詳細については後述する。

続いて、超解像処理部１３は、位置合わせ部１２が検出した位置変位量を用いて撮像画像データを高解像度化する超解像処理を行う（Ｓ３）。位置変位量が既知の複数の画像データに基づいて超解像処理を行う技術は公知であるから、ここでは説明を省略する。そして、超解像処理部１３は、撮像画像データを高解像度化して得られた撮像画像データ（超解像画像）を、高解像度画像保存部１９に格納すると共に、出力部１５から出力する（Ｓ４）。

また、図示していないが、Ｓ４の処理の後、Ｓ４で得られた撮像画像データを検査処理装置が検査し、撮像対象Ｐの欠陥の有無を調べる。このように、検査システム１では、撮像装置２が撮像した撮像画像データが、画像処理装置３によって高解像度化され、高解像度画像データとして出力される。そして、この高解像度画像データを用いて撮像対象Ｐの欠陥検査を行っている。

検査システム１の主たる特徴は、撮像装置２が撮像対象Ｐを撮像するために十分な解像度を有しておらず、撮像画像データにモアレ等が発生している場合であっても、Ｓ２の位置合わせ処理を精度よく行うことで、精度の高い高解像度画像データを生成し、撮像対象Ｐの欠陥を精度よく検出することができる点にある。

（位置合わせ処理の流れ）
次に、上記位置合わせ処理の流れについて、図５に基づいて説明する。図５は、位置合わせ処理の一例を示すフローチャートである。撮像装置２の撮像によって得られた撮像画像データが撮像画像保存部１７に所定の数だけ格納された後、基準画像設定部２０は、上記格納された撮像画像データの中から基準画像データを選択する（Ｓ１１）。そして、基準画像設定部２０は、選択した基準画像データをプロファイル生成部２１に送る。

なお、例えば最初に撮像した撮像画像データを基準画像データに設定する場合等には、所定数の撮像画像データの全てが撮像画像保存部１７に格納される前に、位置合わせ処理を開始するようにしてもよい。これにより、撮像画像データの取得及び格納と位置合わせ処理とを平行して行うことができるので、検査処理に要する時間を短縮することができる。

基準画像データを受け取ったプロファイル生成部２１は、基準画像データを周波数領域のデータに変換する。また、プロファイル生成部２１は、設計データ保存部１８から設計データを読み出し、読み出した設計データを周波数領域のデータに変換する。周波数領域のデータへの変換にはフーリエ変換等を用いればよい。

なお、撮像対象Ｐが点灯状態の液晶表示パネルである場合、液晶表示パネルの開口部及びブラックマトリクス部のサイズや開口部の輝度比等のパターンの数値データを周波数領域のデータに変換すればよい。また、設計データが画像データである場合には、画像データを２次元フーリエ変換することで周波数領域のデータを得ることができる。さらに、設計データを予め周波数領域のデータとしてもよく、この場合、Ｓ１２で設計データを周波数領域のデータに変換する工程を省略し、処理を簡略化することができる。

（基準画像データと設計データとの位置合わせ）
続いて、プロファイル生成部２１は、Ｓ１２で生成した基準画像データの周波数領域のデータ（撮像周波数成分）と、設計データの周波数領域のデータ（設計周波数成分）とを比較し、基準画像データと設計データとの位置合わせを行う（Ｓ１３）。具体的には、プロファイル生成部２１は、まず基準画像データの周波数領域のデータにおける主要なピーク位置と、基準画像データの周波数領域のデータにおける主要なピーク位置との対応関係を求める。

ここで、ピーク位置の対応関係の求め方について図６に基づいて説明する。同図（ａ）は図３に示す設計データのＡ‐Ａ’断面における周波数と強度との関係の一例を示す図であり、同図（ｂ）は基準画像データにおける周波数と強度との関係の一例を示す図である。ここでは設計データと基準画像データとは位置ずれ及びサイズの差がなければ主要な周波数成分の位置が同じであることを利用する。

なお、ここでは、簡単のため、設計データの直線Ａ−Ａ’上のみについて周波数領域のデータに変換する例を説明するが、実際には、設計データの全面に対して２次元フーリエ変換を行い、周波数領域のデータを取得する。２次元フーリエ変換を用いる場合においても処理方法は同じである。

設計データの周波数領域のデータは、同図（ａ）の例では、低周波数側から順にｆ１，ｆ２，ｆ３，の３つのピークが現れている。なお、これらのピークは、それぞれ開口部に対応しており（図３参照）、各ピークの強度が異なっているのは、各ピークがそれぞれ異なる色の開口部に対応しているためである。

一方、基準画像データの周波数領域のデータは、周波数成分の折り返しが発生していることがある。すなわち、同図（ｂ）の例に示すように、撮像装置２のナイキスト周波数を超える周波数成分をもつ撮像対象Ｐを撮像した場合、撮像装置２のナイキスト周波数を超える周波数成分はナイキスト周波数を軸に低周波数側に折り返されてしまう。

ここで、同図（ｂ）において、ｆｎはナイキスト周波数を示し、破線は折り返しがない場合のピーク位置を示している。すなわち、折り返しがなければ、基準画像データの周波数領域のデータも、同図（ａ）と同様に、ｆ１，ｆ２，ｆ３の位置にピークが出現する。しかしながら、図示のように、ｆ２及びｆ３はナイキスト周波数ｆｎよりも周波数の値が大きいので、この２つのピークは折り返されることになる。

具体的には、ｆ２の周波数を持つピークはナイキスト周波数ｆｎで折り返されてｆ２’の周波数となり、ｆ３の周波数を持つピークはナイキスト周波数ｆｎで折り返されてｆ３’の周波数となる。このように、撮像画像データの周波数領域のデータでは、ナイキスト周波数ｆｎよりも周波数の値が大きいピークが折り返されている。

従来、フーリエ変換を行った場合に、ｆ１，ｆ２’，ｆ３’の３つのピークが出現したときには、折り返されたピークを見分けることができなかった。そのため、折り返された周波数成分を特定することができず、折り返されたピークを折り返されていない状態に戻すこと、すなわち折り返し周波数成分を復元することもできなかった。

そこで、プロファイル生成部２１では、設計データの周波数領域のデータにおけるピーク位置と、基準画像データにおけるピーク位置とを比較することにより、折り返しによって生じたピークを特定し、該特定したピークを、ナイキスト周波数を軸に高周波領域にシフトさせることによって折り返し周波数成分を復元する。

そして、プロファイル生成部２１折り返し周波数成分を復元した基準画像データの周波数領域のデータを基準画像データの輝度プロファイルとして画像位置変位検出部２２に送る。画像位置変位検出部２２は、このように折り返し周波数成分を復元した基準画像データの周波数領域のデータから作成された輝度プロファイルを用いて基準画像データと撮像画像データとの位置変位量を求めるので、高精度な位置合わせが可能となる。

折り返し周波数成分を特定する方法の一例を図６（ａ）（ｂ）に基づいて説明する。まず、図６（ｂ）におけるナイキスト周波数ｆｎより低い周波数領域のピークと、同図６（ａ）におけるナイキスト周波数ｆｎより低い周波数領域のピークとを比較する。図示のように、ｆ１の位置のピークは互いに一致するが、設計データの周波数領域のデータには、基準画像データの周波数領域のデータにおけるｆ２’，ｆ３’の位置のピークに対応するピークは存在しない。

これにより、プロファイル生成部２１は、ｆ２’，ｆ３’の位置のピークが折り返しによって生じたピークであると特定することができる。このようにして、プロファイル生成部２１は、基準画像データの周波数領域のデータにおける、折り返しによって生じたピークを抽出し、折り返し周波数成分の強度を検出することができる。

また、本実施形態では、撮像対象Ｐとして液晶表示パネルを用いている。液晶表示パネルでは、Ｒ，Ｇ，Ｂのカラーフィルタが規則正しく整列しており、かつＲ，Ｇ，Ｂは異なる輝度で撮像されるので、液晶表示パネルを撮像した撮像画像データの周波数領域のデータでは、ピークが等間隔に出現する。このような場合、基準画像データの周波数領域のデータにおいて、ピークの間隔が等間隔ではない箇所を検出することによって、折り返し周波数成分を特定することもできる。

なお、基準画像データの周波数領域のデータにおけるｆ２’，ｆ３’と、ナイキスト周波数ｆｎと、ｆ２，ｆ３との間には、下記の数式１の関係が成り立つ。

上記数式１によって、基準画像データの周波数領域のデータにおける周波数ｆ２，ｆ３を求めることができる。なお、ナイキスト周波数ｆｎは、撮像装置２の解像度、レンズ性能等によって決まる定数であるから、予め取得しておけばよい。

なお、基準画像データの周波数領域のデータにおける折り返し周波数成分のピーク位置と、設計データの周波数領域データにおいて当該折り返し周波数成分と対応する周波数成分のピーク位置とを比較することにより、ナイキスト周波数ｆｎを求めることができるので、プロファイル生成部２１がナイキスト周波数ｆｎを求める構成としてもよい。

例えば、図６（ａ）（ｂ）の例では、同図（ａ）のピークｆ２は、同図（ｂ）のピークｆ２’と対応している。すなわち、ピークｆ２’はピークｆ２がナイキスト周波数ｆｎを軸に低周波数領域に折り返されて生じたピークであるから、ナイキスト周波数ｆｎは、ピークｆ２’とピークｆ２との中間位置となることがわかる。

続いて、プロファイル生成部２１は、基準画像データの輝度プロファイルを作成する（Ｓ１４）。例えば、プロファイル生成部２１は、下記の数式２を基準画像データの輝度プロファイルとすることができる。

上記数式２においてｆ（ｘ，ｙ）は基準画像データ上の位置（ｘ，ｙ）における輝度値を示し、ｆ_ｉ，ｆ_ｊは基準画像データの周波数領域のデータにおけるピークの位置を示し、ｃ_ｉｊは位置（ｆ_ｉ，ｆ_ｊ）における周波数の強度を示す（ｃ_ｉｊは複素数）。また、ｆ_ｎｘ，ｆ_ｎｙは、ｘ方向及びｙ方向に対するナイキスト周波数を示す。そして、上記数式２において、Ｗ_ｐｅａｋは、周波数領域データにおいてピークとして検出した周波数成分の集合を指し、例えば図６（ａ）の例ではピークｆ１〜ｆ３の集合を指す。すなわち、関数ｆ（ｘ，ｙ）は、空間領域のデータ、すなわち画像データにおいて、位置（ｘ，ｙ）の画素の画素値を示す関数である。

また、ｋ_ｉ，ｋ_ｊは、それぞれｘ方向及びｙ方向におけるピークの折り返し回数である。ナイキスト周波数がｆｎである場合、周波数がｆｎ以上、３ｆｎ未満の範囲に含まれる周波数成分の折り返し回数は「１」となり、３ｆｎ以上、５ｆｎ未満の範囲に含まれる周波数成分の折り返し回数は「２」となる。なお、「ｊ２π」のｊは虚数を表す（ｊ^２＝−１）。

上記数式２は、折り返し周波数成分が復元された基準画像データにおける位置とその位置における画素値との関係を示しており、画像処理装置では、数式２を用いて基準画像データとその他の画像データとの位置変位量を求める。数式２の導出方法について説明する。なお、上記数式２は２次元フーリエ変換に対応している数式であるが、以下では、簡単のため、１次元フーリエ変換の場合を例に説明する。

まず、関数ｆ（ｘ）（基準画像データ）のフーリエ変換Ｆ（ω）（基準画像データの周波数領域のデータ）と、関数ｆ（ｘ）を離散化したｆ’（ｔ）のフーリエ変換Ｆ’（ω）との間には下記の数式３に示す関係が成り立つ。

この数式から、Ｆ’（ω）は、Ｆ（ω）がω_ｎの周期で繰り返されたものであることが分かる。なお、ω_ｎは、サンプリング周波数ｆ_ｓまたはナイキスト周波数ｆｎを用いて、下記の数式４で表すことができる定数である。また、ω_０は、ｆ（ｘ）の周期Ｔ_０を用いて下記の数式５で表される定数である。

ところで、フーリエ変換されたデータＦ（ω）から、もとのデータｆ（ｘ）を復元する逆フーリエ変換は、下記の数式６で表される。ここで、逆フーリエ変換を行うときに、既知のシフト量（折り返し回数）ｋを加味して変換を行うことにより、下記の数式７が得られる。

上記数式７を用いることにより、ナイキスト周波数よりも周波数の低い領域に折り返されていたピークを、本来あるべき領域（ナイキスト周波数よりも高い周波数領域）に復元することができる。

上記数式７において、Ｆ_ｆ（ｆ）は、各周波数成分の振幅及び位相を表す複素数である。振幅及び位相は、設計データの周波数領域データの各周波数成分と、基準画像データの周波数領域データにおいて設計データの周波数領域データの各周波数成分と対応する周波数成分とを比較することによって求めることができる。そして、数式７において、ｆは周波数領域のデータにおけるピークの位置を示し、ｘは空間領域のデータにおける画素の位置を示している。

すなわち、関数ｆ（ｘ）は、空間領域のデータ、すなわち画像データにおいて、位置ｘの画素の画素値を示す関数である。なお、上記数式７において、ｆは、２ｆ_ｎによって正規化した値である。したがって、ｆ＝ｆ_ｉ／２ｆ_ｎと書換えることにより、上記数式２を導くことができる。

ここで、折り返し周波数成分を本来あるべき位置に復元する方法についてより詳細に説明する。ここでは、折り返し周波数成分を本来あるべき位置に折り返す具体的な方法の説明に先立ち、折り返し周波数成分がどのようにして発生するかについて説明する。

まず、図６（ａ）（ｂ）では、正の周波数領域のみのピークを示しているが、周波数領域データには、ｆ＝０を対称軸として負の周波数領域にもピークが存在する。具体的には、図７（ａ）に示すように、ピークｆ０〜ｆ２に対してｆ０⁻〜ｆ２⁻が存在する。図７（ａ）は、周波数領域のピークを表示した周波数領域データの一例を示す図である。

負の周波数領域にもピークが存在する理由について説明する。まず、空間領域データを周波数領域データに変換するフーリエ変換では下記の数式８を用いる。数式８においてｆ（ｔ）は、撮像画像の画素値であり、実数である。そのため、Ｆ（ω）とＦ（−ω）とはそれぞれ数式９のように表される。すなわち、それぞれ虚数部の符号が逆転したＦ（ω）とＦ（−ω）とがフーリエ変換によって生じるので、図７（ａ）に示すように、ｆ＝０を対称軸として負の周波数領域にもピークが生じる。

ここで、Ｆ’（ω）は、Ｆ（ω）がω_ｎの周期で繰り返されたものであるから、Ｆ（ω）のパターンにω_ｎ／２を超える周波数成分が含まれていない場合、Ｆ（ω）のパターンとＦ（ω）がω_ｎだけシフトされたパターンとは、重なり合うことがない。一方、Ｆ（ω）のパターンにω_ｎ／２を超える周波数成分が含まれている場合、Ｆ（ω）のパターンとＦ（ω）がω_ｎだけシフトされたパターンとが重なり合うことになり、このパターンの重なりによって周波数成分の折り返しが生じる。

これについて、図７（ｂ）に基づいて説明する。図７（ｂ）は、Ｆ（ω）のパターンとＦ（ω）がω_ｎだけシフトされたパターンとが重なり合う状態を示す図である。同図では、Ｆ（ω）のパターンをＰ_０で示し、Ｆ（ω）がω_ｎだけシフトされたパターンをＰ_１で示している。また、パターンＰ_０に含まれるピークを、周波数の値が小さいほうから順に、ｆ２⁻（０）、ｆ１⁻（０）、ｆ０⁻（０）、ｆ０（０）、ｆ１（０）、ｆ２（０）で示し、同様に、パターンＰ_１に含まれるピークを、それぞれｆ２⁻（１）、ｆ１⁻（１）、ｆ０⁻（１）、ｆ０（１）、ｆ１（１）、ｆ２（１）で示している。

図示のように、パターンＰ_０とＰ_１とはその一部のパターンが重なり合っている。具体的には、パターンＰ_０のピークｆ２（０）がパターンＰ_１のｆ２⁻（１）とｆ１⁻（１）との間に食い込み、パターンＰ_１のピークｆ２⁻（１）がパターンＰ_０のｆ２（１）とｆ１（１）との間に食い込んでいる。

このように、Ｆ（ω）のパターンにω_ｎ／２を超える周波数成分が含まれている場合、パターンＰ_０に本来含まれるべきピークｆ２（０）の代わりに、パターンＰ_１に含まれるピークｆ２⁻（１）がパターンＰ_０に含まれてしまう。ここで、ピークｆ２（０）とピークｆ２⁻（１）とは、強度が等しく、ω_ｎ／２に関して対称であるため、パターンＰ_０に含まれるピークｆ２⁻（１）は、ピークｆ２（０）を、ω_ｎ／２を軸に低周波数側に折り返したかのように見える。

すなわち、折り返し周波数成分はこのようにして生じ、折り返しのある周波数領域データをそのまま逆フーリエ変換すると、本来Ｆ（ω）に含まれるピークｆ２（０）の代わりに、パターンＰ_１のピークｆ２⁻（１）が空間領域データに変換されてしまい、エイリアシングやモアレ等が発生してしまう。

したがって、折り返し周波数成分を本来あるべき位置に折り返すということは、図７（ｂ）に示すような、周期ω_ｎで繰り返すパターンが互いに重なり合った周波数領域のデータを復元することになる。画像処理装置３では、この点に留意して折り返し周波数成分を本来あるべき位置に折り返している。

具体的には、折り返し回数が奇数回の場合にはｆ＝０に関して対称な位置のピークの振幅及び位相の値をＦ_ｆ（ｆ）として用い、折り返し回数が偶数回の場合にはそのままの値をＦ_ｆ（ｆ）として用いる。例えば、図７（ｂ）の例では、ピークｆ２の折り返し回数は１回であるから、ｆ＝０に関して対称な位置のピークの振幅及び位相の値をＦ_ｆ（ｆ）として用いることになる。すなわち、この場合、Ｆ_ｆ（ｆ）の値としてピークｆ２の振幅及び位相の値と虚数部の符号が逆転したピークｆ２⁻の値を用いる。

このように、ω_ｎ／２以上の周波数成分においても、他のピークと重なりがなく、シフト量（折り返し回数）が既知であれば、折り返されていない状態に復元することができる。

ここで、図６（ｂ）の例では、プロファイル生成部２１は、ナイキスト周波数の位置から、周波数ｆ２’及び周波数ｆ３’がそれぞれ１回折り返された信号であることを認識することができる。したがって、プロファイル生成部２１は、上記数式７にｋ＝１を代入して得られる数式を輝度プロファイルとして設定する。なお、２次元フーリエ変換を行った場合には、上記数式２を用いる。プロファイル生成部２１は、このようにして生成した輝度プロファイルを画像位置変位検出部２２に送出する。

（基準画像データとその他の撮像画像データとの位置合わせ）
輝度プロファイルを受け取った画像位置変位検出部２２は、基準画像データとその他の撮像画像データとの位置合わせを行う（Ｓ１５）。まず、画像位置変位検出部２２は、基準画像データに対するそれ以外の撮像画像データの位置変位量を領域ベースマッチング等によって検出する。なお、領域ベースマッチングには、折り返し周波数成分を復元した基準画像データ（輝度プロファイル）を用いるが、その他撮像画像データについては折り返し周波数成分を復元する必要はない。

（領域ベースマッチングについて）
領域ベースマッチングは、注目領域のサイズや形状を任意に設定できること、注目画素に対して注目領域をオフセットできること、計算が直感的で直接的な実装が可能であることなどが特徴である。領域ベースマッチングで画像間の位置変位量を求めるときには、画素単位で離散的に得られる類似度の評価値を利用して変位を推定する方法が一般的に利用されている。

類似度は、画像間の相対的な位置関係を入力とし、その位置関係における画像間の類似度を出力とする関数で表すことができる。類似度としては、例えばＳＡＤを用いることができる。ＳＡＤとは、輝度差の絶対値の和(Sum of Absolute Differences)を表す。ここで、対応位置を求める画像を、ｆ（ｉ，ｊ）とｇ（ｉ，ｊ）とした場合、整数単位の変位（ｔ_ｘ，ｔ_ｙ）に対し、下記の数式１０でＳＡＤを算出することができる。

なお、数式１０において、Ｗは対応を求める注目領域を表す。ＳＡＤは、画像が完全に一致したときに０になり、一致していないほど大きな値をとる。すなわち、ＳＡＤは注目領域がどれだけ類似していないかを示す評価値であり、非類似度を示す評価値である。

また、領域ベースマッチングでは、ＳＡＤの代わりに、下記の数式１１で示すようなＳＳＤを用いてもよい。ＳＳＤは、輝度差の絶対値の２乗和(Sum of Squared Differences)を表す評価値である。ＳＳＤもＳＡＤと同様に、画像が完全に一致したときに０になり、画像が一致していないほど大きな値をとる。したがって、ＳＳＤも非類似度を示す評価値といえる。

さらに、ＳＡＤやＳＳＤの代わりに、下記の数式１２に示すような相関係数ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）を用いることもできる。ＺＮＣＣは、注目領域内の画素濃度を統計データと見なし、注目領域間の統計的な相関値を計算している。ＺＮＣＣは、値が大きいほど注目領域が一致していることを示す。すなわち、ＺＮＣＣは類似度を示す評価値である。

ここでは、領域ベースマッチングに好適な類似度の評価方法として、ＳＡＤ，ＳＳＤ，ＺＮＣＣを示した。厳密には、ＺＮＣＣは類似度を示し、ＳＡＤやＳＳＤは非類似度を示すが、以下の説明では、簡単のため、ＳＡＤやＳＳＤ、ＺＮＣＣを「類似度」と表記する。

画像位置変位検出部２２は、類似度を用いて、復元後の基準画像データ（輝度プロファイルで表される画像データ）とその他の撮像画像データとの位置合わせに必要なパラメータを推定する。このパラメータの数は、画像の変位モデルによって異なる。例えば、変位モデルが平行移動だけを想定している場合には２パラメータでよく、平面内での平行及び回転移動を想定している場合には３パラメータが必要となる。また、アフィン変換を想定している場合には６パラメータ、射影変換を想定している場合には８パラメータが必要となる。

これらのパラメータを推定する方法としては、例えば上記非特許文献１に開示されているＮパラメータ同時推定法を用いればよい。Ｎパラメータ同時推定法では、領域ベースマッチングにおいて、上述のようなパラメータを推定する場合に、比較対象となる画像の参照領域に属する画素の輝度値を求めるための参照領域を変形させて類似度を求める。

参照領域を変形させて類似度を求める例について図８に基づいて説明する。同図（ａ）はその他の撮像画像データ４１における参照領域の一例を示す図であり、同図（ｂ）は基準画像データ４２における参照領域の一例を示す図である。

同図（ａ）（ｂ）では、マトリクス状に配列した正方形が各画像データにおける画素４３を示している。そして、同図（ａ）では、長方形で示される領域がその他の撮像画像データ４１において比較対象となる参照領域４４であり、同図（ｂ）では、台形で示される領域が基準画像データ４２において比較対象となる参照領域４５である。

図示のように、基準画像データの参照領域４５は、その他の撮像画像データの参照領域４４と形状が異なる。すなわち、基準画像データの参照領域４５の形状は、その他の撮像画像データの参照領域４４を所定のパラメータを用いて変形した形状である。そして、基準画像データの参照領域４５に含まれる各画素の輝度値と、その他の撮像画像データの参照領域４４に含まれる各画素の輝度値とからＳＳＤ等を用いて類似度を計算する。

ここで、数式１０〜数式１２に示すように、類似度は、ある画素の輝度値と、その画素に対応する画素の輝度値から算出される。すなわち、類似度は、画素単位の離散的な位置で値が決まる。したがって、数式１０〜数式１２に、ある画素の輝度値と、その画素に対応する画素の輝度値を代入して得られた類似度から画像間の対応位置関係を求めた場合、画素単位での位置変位量が求まることになる。

画像処理装置３では、画素単位よりもさらに精密に位置合わせを行うために、サブピクセル単位で位置合わせを行う。具体的には、画像位置変位検出部２２が類似度値に基づいてサブピクセル部の輝度値を補間することによって、サブピクセル単位での位置変位量を求める。

一般的には、輝度値を求めたいサブピクセル部に隣接する画素の輝度値を用いて、サブピクセル部の輝度値を補間する。隣接する画素の輝度値を用いてサブピクセル部の輝度値を補間する例について、図９に基づいて説明する。図９は、サブピクセル部と画素との位置関係の一例を示す図である。

図９では、細い実線で描いた正方形は、それぞれ基準画像データの画素５１ａ〜５１ｄを示し、太い実線で描いた矩形は輝度値を求めたいサブピクセル部５２を示している。サブピクセル部５２の輝度値は、サブピクセル部５２に隣接する画素５１ａ〜５１ｄの輝度値から、双線形補間（Bi-Linear補間）や３次補間（Bi-Cubic補間）等を用いて計算することができる。

しかしながら、撮像対象Ｐがナイキスト周波数以上の周波数成分を持つ場合、基準画像データのある断面における輝度値の変化が、例えば図１０に示されるような輝度プロファイル６１となることがある。図１０は、基準画像データ上の位置とその位置における輝度値との関係の一例を示している。

図１０の例において、位置ａ’にある画素と位置ｂ’にある画素との中間位置ｃ’にある画素（サブピクセル）の輝度値は、それぞれ輝度値ＶａとＶｂとから補間して求めることができる。ここで、例えば、線形補間を行った場合、位置ｃ’の輝度値はＶｃ’となる。しかしながら、位置ｃ’における実際の輝度値はＶｃであり、線形補間によって得られた輝度値Ｖｃ’は、実際の輝度値Ｖｃと大きく異なる値となっていることがわかる。

ここで、図１０において、輝度プロファイル６１が予め分かっていれば、この輝度プロファイル６１に基づいてサブピクセル部の輝度値を正確に求めることができる。画像位置変位検出部２２は、プロファイル生成部２１が生成した輝度プロファイル、すなわち数式２を用いることによって、例えば位置ｃ’の画素のようなサブピクセル部の輝度値を精度良く算出することができる。

画像位置変位検出部２２は、基準画像データの参照領域（変形された参照領域）に対応する、その他の画像の参照領域における画素の輝度値をサブピクセルレベルで計算する。なお、この輝度プロファイルを利用した補間演算は、輝度値を求めたい画素（サブピクセル）に対し、その画素の周囲に存在する画素の位置、及び周囲に位置する画素の輝度値を用いて行う。

例えば、図９の例において、輝度値を求めるサブピクセル部５２の位置を（ｘ，ｙ）とすると、それらの周囲にある画素５１ａ〜５１ｄの位置は、それぞれ（ｆｌｏｏｒ（ｘ），ｆｌｏｏｒ（ｙ））、（ｆｌｏｏｒ（ｘ），ｃｅｉｌ（ｘ）、（ｃｅｉｌ（ｘ），ｆｌｏｏｒ（ｙ））、（ｃｅｉｌ（ｘ），ｃｅｉｌ（ｙ））と表すことができる。なお、ｆｌｏｏｒ（ｘ）は、ｘの小数点以下を切り捨てた整数を指し、ｃｅｉｌ（ｘ）は、ｘの小数点以下を切り上げた整数を指す。

このとき、位置（ｘ，ｙ）の輝度値は、例えば下記の数式１３によって求めることができる。数式１３において、Ｖ（ｉ，ｊ）は位置（ｉ，ｊ）の画素の輝度値であり、Ｖ^ｐ（ｉ，ｊ）は、輝度プロファイルから計算される輝度値である。そして、ｐ（ｉ，ｊ）は、基準画像データの各画素が位置（ｘ，ｙ）の画素（サブピクセル部５２）に対して占める割合を示している。例えば、図９において、画素５１ｃに対するｐ（ｉ，ｊ）の値は、サブピクセル部５２と画素５１ｃとが重なる面積をサブピクセル部５２の面積で割った値となる。

数式１３では、サブピクセル部の輝度値を、実際の基準画像データにおける輝度値と輝度プロファイルの輝度値との誤差と、輝度プロファイルの輝度値との和として計算している。すなわち、数式１３の右辺第１項は、位置（ｘ，ｙ）における誤差を表している。ここでは、（ｘ，ｙ）の近傍の画素（例えば図９の画素５１ａ〜５１ｄ）における実際の輝度値Ｖ（ｉ，ｊ）と、輝度プロファイルの輝度値Ｖ^ｐ（ｉ，ｊ）との誤差（Ｖ（ｉ，ｊ）−Ｖｐ（ｉ，ｊ））に、割合として面積ｐ（ｉ，ｊ）を積算したものを用いている。そして、右辺第２項Ｖｐ（ｘ，ｙ）は、輝度プロファイルから求めた、位置（ｘ，ｙ）における輝度値を表している。

なお、ｐ（ｉ，ｊ）は、サブピクセル部に対してある画素が占める面積の割合を示しているので、ｐ（ｉ，ｊ）は総和が１になるように設定する必要がある。したがって、上記数式１３の代わりに、例えば下記の数式１４を用いてもよい。

また、サブピクセル部の輝度値を求める場合、サブピクセル部は画素と画素との間に位置しているので、上記数式１３の（ｉ，ｊ）に、１未満の端数を含む値を代入することになる。これに対し、（ｉ，ｊ）がそれぞれ整数であれば、上記数式１３で算出される輝度値は、基準画像データの画素の輝度値に等しくなる。これは、ｉ、ｊがそれぞれ整数である場合、ｃｅｉｌ（ｉ）＝ｆｌｏｏｒ（ｉ）＝ｉ、ｃｅｉｌ（ｊ）＝ｆｌｏｏｒ（ｊ）＝ｊとなるので、上記数式１３は、下記の数式１５のようになるからである。

（位置合わせ精度）
このように、画像処理装置３では、各画素の輝度値をサブピクセルレベルで精度良く求めることができるので、非特許文献１に示されたＮパラメータ同時推定法等のレジストレーション手法を適用することも可能となる。ここでは、画像処理装置３における位置合わせ精度が、従来技術と比べてどの程度優れているかについて説明する。

非特許文献１には、白黒のサンプル画像に対して、注目領域（参照領域）を５０×５０［画素］として、３パラメータ同時推定法で位置合わせを行う例が示されている（同文献の第９２頁等に記載）。同文献によれば、このときのサブピクセル単位での推定誤差は、撮像画像データの画素の±１［％］程度である（同文献の図１５参照）。

これに対し、本発明の画像処理装置３では、参照領域のサイズが１７×１７［画素］以上の場合に、上記非特許文献１の技術と同程度の推定誤差を実現することができた。

〔実施の形態２〕
本発明の他の実施形態について図１１〜図１３に基づいて説明する。なお、上述の実施形態と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。

本実施形態の画像処理装置は、位置決め用のマークを付した設計データを用い、そのマークに基づいて画像の位置合わせを行う構成である。したがって、図１に示す画像処理装置３と比べてプロファイル生成部２１の動作が異なっている。

また、本実施形態では、撮像対象Ｐの代わりに撮像対象Ｐ’を用いる。撮像対象Ｐ’には、マークが付されている点が撮像対象Ｐと異なる。撮像対象Ｐ’について図１１に基づいて説明する。図１１は、撮像対象Ｐ’の一例を示す平面図である。図示のように、撮像対象Ｐ’は、長方形状の表示パネル部７２と、表示パネル部７２の周囲に沿って形成されたフレーム部７３とから成る。

また、図示のように、フレーム部７３の左上の角及び右下の角には、マーク７１が付されている。表示パネル部７２は、画像を表示するものであるから、表示パネル部７２にマーク７１を付けることは好ましくない。そのため、本実施形態では、フレーム部７３にマーク７１を設けている。

なお、ここでは、十字形状のマーク７１を付した例を示しているが、マークの形状は十字形状に限られない。また、マークを付す位置、マークの数についても、図示の例に限られない。マークの好ましい数、形状、位置等については後述する。

そして、設計データにも、撮像対象Ｐ’と同じ位置にマークが付されている。すなわち、画像処理装置３では、設計データに記されたマークと、撮像対象Ｐ’を撮像して得られた基準画像データに写ったマークとについて、パターンマッチング等の処理を行うことによって設計データと基準画像データとの位置及びサイズを合わせる。

この方法によれば、撮像装置２の撮像面と撮像対象Ｐ’の被撮像面とが平行から大きく外れた位置関係で撮像された基準画像データを用いた場合であっても、基準画像データに対する設計データの位置を検出することができる。

すなわち、撮像装置２の撮像面と撮像対象Ｐ’の被撮像面とが平行から外れた位置関係で撮像が行われた場合、撮像対象Ｐ’の被撮像面のうち、撮像装置２の撮像面に近い部分は大きく、遠い部分は小さく写ることになる。ゆえに、このような場合の基準画像データでは、撮像装置２の撮像面に近い部分と遠い部分とで繰り返しパターンの周波数が変化してしまい、一定の繰り返しパターンを有する設計データとの位置合わせが困難となる場合がある。

これに対し、マークを用いて位置合わせを行う上記方法によれば、撮像装置２の撮像面と撮像対象Ｐ’の被撮像面とが平行から外れた位置関係で撮像が行われた場合であっても、正確に位置合わせを行うことができる。

（マークを用いて位置合わせを行う方法）
マークを用いて位置合わせを行う方法について、図１２に基づいて説明する。図１２は、マークを付した設計データ８１と、撮像対象Ｐ’を撮像して得られた基準画像データ８２との位置合わせを行う様子を示す図である。ここでは、設計データ８１と基準画像データ８２とのずれが、平行移動（ｘ，ｙ）、同面内おける回転（θ）、サイズ（ｓ）の４つのパラメータで表せる場合の例について説明する。

図示のように、設計データ８１の左上隅及び右下隅にはマーク８３が付されている。また、基準画像データ８２にはマーク８４が写っている。マーク８４は、撮像対象Ｐ’に付されているマーク７１が撮像されたものである。なお、設計データ８１におけるマーク８３の位置（例えば位置座標）は、予め取得しておく。また、基準画像データ８２におけるマーク８４の位置（位置座標）は、設計データ８１と基準画像データ８２とのパターンマッチング等によって求めることができる。

このように、マークは、基準画像データと設計データとのパターンマッチングに用いるためのものである。したがって、パターンマッチングが可能な形状であればどのような形状のマークを用いてもよい。例えば、○や×といった記号をマークとしてもよいし、文字等をマークとしてもよい。

また、撮像対象Ｐ’の特徴点をマークとしてパターンマッチングを行ってもよい。特徴点としては、例えば色、形状等が他の部位と異なる点を選択すればよい。例えば、図１２の例では、設計データ８１の４隅の角を特徴点とし、設計データ８１の４隅の角と、基準画像データ８２の４隅の角とをパターンマッチングして設計データ８１と基準画像データ８２との位置合わせを行ってもよい。撮像対象Ｐ’の特徴点をマークとする場合、撮像対象Ｐ’や設計データにマークを付ける必要が無いというメリットがある。

ここで、対応関係にあるマークの座標数の総和が位置合わせに用いるパラメータより多くあり、それらからパラメータ数よりも多い互いに独立な方程式を立てることができれば、基準画像データにおけるパターン画像の位置及びサイズの差は一意に求めることができる。

例えば、図１２の例では、２つのマーク８３及び２つのマーク８４の、合計４つのマークの位置がわかっている。ここで、求めるパラメータは、平行移動（ｘ，ｙ）、同面内おける回転（θ）、サイズ（ｓ）の４つである。したがって、この４つのマークそれぞれの位置を示す位置座標から、互いに独立な４つの方程式を立てることができれば、４つのパラメータを全て求めることができる。

なお、導かれる連立方程式の数がパラメータ数よりも多い場合には、それらの連立方程式を最も良く満たす解を最小二乗法等の数値解法によって求めればよい。また、このように、マークを用いて位置合わせを行う場合には、フーリエ変換を用いる必要はない。

（マークを用いて位置合わせを行う場合の位置合わせ処理の流れ）
マークを用いて位置合わせを行う場合の位置合わせ処理の流れについて、図１３に基づいて説明する。図１３は、位置合わせ処理の一例を示すフローチャートである。

プロファイル生成部２１は、基準画像設定部２０から基準画像データを受け取ると、マークを用いて基準画像データに対する設計データの位置を検出する（Ｓ２１）。具体的には、プロファイル生成部２１は、パターンマッチング等の手法を用いて、基準画像データのマーク位置と設計データのマーク位置との対応関係を調べる。そして、プロファイル生成部２１は、設計データの位置及びサイズを基準画像データと合うように修正する。

続いて、プロファイル生成部２１は、設計データに基づいて撮像対象Ｐ’の輝度プロファイルを作成する（Ｓ２２）。具体的には、プロファイル生成部２１は、位置及びサイズ修正後の設計データと、基準画像データとをそれぞれ周波数領域のデータに変換する。

そして、プロファイル生成部２１は、設計データの周波数領域のデータと、基準画像データの周波数領域のデータとに基づいて撮像対象Ｐ’の輝度プロファイルを作成する。輝度プロファイルの作成方法としては、例えば設計データの周波数領域のデータと、基準画像データの周波数領域のデータとを比較し、設計データの主周波数における値を基準画像の該当する周波数成分の値とすることで数式として求めることができる。

具体的には、まず、プロファイル生成部２１は、設計データの周波数領域のデータから主要な周波数成分を抽出すると共に、抽出した主要な周波数成分のそれぞれに対応する基準画像データの周波数領域のデータにおける周波数成分を抽出する。そして、プロファイル生成部２１は、基準画像データの周波数領域のデータから抽出した周波数成分と、その周波数成分に対応する設計データの周波数領域のデータから抽出した周波数成分とを入れ替えることによって輝度プロファイルを作成する。

また、設計データの輝度値と基準画像データの輝度値とがほぼ同等である場合、プロファイル生成部２１は、マークを用いて基準画像データと設計データとの位置合わせを行った後、位置合わせ後の設計データをそのまま輝度プロファイルとして用いてもよい。この場合、周波数領域への変換の必要がなく、簡単な処理にてプロファイルを作成することができる。

なお、基準画像データの輝度値とほぼ同等の輝度値を有する設計データを取得するためには、例えば基準画像を十分な大きさに拡大して撮像したものを設計データとすればよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、画像処理装置３の各ブロック、特に位置合わせ部１２は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像処理装置３は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置３の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置３に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像処理装置３を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明の画像処理装置によれば、ナイキスト周波数以上の周波数成分を含む撮像対象を撮像した場合であっても、撮像画像の位置合わせを高精度に行うことができるので、様々な画像の高解像度化に用いることができ、特に、製品の検査工程にて撮像された画像の高解像度化に好適に利用できる。

本発明の実施形態を示すものであり、画像処理装置の要部構成を示すブロック図である。 本発明の実施形態を示すものであり、検査システムの概要を示す側面図である。 本発明の実施形態を示すものであり、設計データの一例を示す図である。 上記検査システムにおける検査処理の一例を示すフローチャートである。 本発明の実施形態を示すものであり、位置合わせ処理の一例を示すフローチャートである。 同図（ａ）は上記設計データのＡ‐Ａ’断面における周波数と強度との関係の一例を示す図であり、同図（ｂ）は基準画像データにおける周波数と強度との関係の一例を示す図である。 同図（ａ）は負の周波数領域のピークを表示した周波数領域データの一例を示す図であり、同図（ｂ）はＦ（ω）のパターンとＦ（ω）がω_ｎだけシフトされたパターンとが重なり合う状態を示す図である。 同図（ａ）は基準画像データにおいて参照領域が変形された状態を示す図であり、同図（ｂ）はその他の撮像画像データにおける参照領域の状態を示す図である。 サブピクセル部と画素との位置関係の一例を示す図である。 基準画像データ上の位置と輝度値の変化の一例を示す図である。 撮像対象の一例を示す平面図である。 本発明の実施形態を示すものであり、マークを付した設計データと、撮像対象を撮像して得られた基準画像データとの位置合わせを行う様子を示す図である。 本発明の実施形態を示すものであり、上記とは別の位置合わせ処理の一例を示すフローチャートである。

符号の説明

１ 検査システム（画像処理システム）
２ 撮像装置
３ 画像処理装置
４ 駆動装置
１１ 記憶部
１２ 位置合わせ部（位置合わせ装置）
１３ 超解像処理部（超解像処理装置）
１６ 外部装置制御部
１７ 撮像画像保存部
１８ 設計データ保存部
１９ 高解像度画像保存部
２０ 基準画像設定部
２１ プロファイル生成部（折り返し成分抽出手段）
２２ 画像位置変位検出部（位置変位量検出手段）

Claims (9)

1. 同一の撮像対象を撮像して得られた複数の画像間の位置変位量を求め、求めた位置変位量に基づいて上記複数の画像の位置合わせを行う画像位置合わせ方法であって、
   上記複数の画像の中から選択した基準画像を周波数領域に変換した撮像周波数成分と、撮像対象の被撮像面の設計形状を示す設計周波数成分とを比較して、上記撮像対象を撮像した撮像装置のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出する折り返し成分抽出ステップと、
   上記折り返し成分抽出ステップにて折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出ステップと、を含むことを特徴とする画像位置合わせ方法。
2. 上記折り返し成分抽出ステップにて抽出した周波数成分を、上記ナイキスト周波数を軸として、撮像周波数成分のナイキスト周波数よりも高い周波数領域に折り返した位置合わせ用基準データを生成する基準画像再構成ステップを含むことを特徴とする請求項１に記載の画像位置合わせ方法。
3. 上記複数の画像の中から選択した基準画像の特徴点と、撮像対象の被撮像面の設計形状を示す設計画像データの特徴点とを比較し、上記設計画像データの位置及びサイズを上記基準画像に合わせた補正設計画像データを周波数領域に変換した設計周波数成分を生成する設計周波数成分生成ステップと、
   上記折り返し成分抽出ステップにて抽出した周波数成分を撮像周波数成分から除くとともに、設計周波数成分におけるナイキスト周波数以上の周波数成分を撮像周波数成分に追加して位置合わせ用基準データを生成する基準画像再構成ステップを含むことを特徴とする請求項１に記載の画像位置合わせ方法。
4. 同一の撮像対象を撮像して得られた複数の画像間の位置変位量を求め、求めた位置変位量に基づいて上記複数の画像の位置合わせを行う画像位置合わせ方法であって、
   上記複数の画像の中から選択した基準画像の特徴点と、撮像対象の被撮像面の設計形状を示す設計画像データの特徴点とを比較して、上記基準画像と上記設計画像データとの位置ずれ及びサイズの差を検出し、上記検出した位置ずれ及びサイズの差に基づいて、上記設計画像データの位置及びサイズを上記基準画像に合わせて、位置合わせ用基準データを生成する基準画像再構成ステップと、
   上記位置合わせ用基準データに対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出ステップと、を含むことを特徴とする画像位置合わせ方法。
5. 上記設計周波数成分は、周波数値が等間隔の複数の周波数成分より成り、
   上記折り返し成分抽出ステップでは、撮像周波数成分において周波数成分の周波数値の間隔が等間隔でない周波数成分を抽出することを特徴とする請求項１から３の何れか１項に記載の画像位置合わせ方法。
6. 同一の撮像対象を撮像して得られた複数の画像間の位置変位量を求め、求めた位置変位量に基づいて上記複数の画像の位置合わせを行う画像位置合わせ装置であって、
   上記複数の画像の中から選択した基準画像を周波数領域に変換した撮像周波数成分と、撮像対象の被撮像面の設計形状を示す設計周波数成分とを比較して、上記撮像対象を撮像した撮像装置のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出する折り返し成分抽出手段と、
   上記折り返し成分抽出ステップにて折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出手段と、を備えていることを特徴とする画像位置合わせ装置。
7. 請求項６に記載の画像位置合わせ装置と、
   撮像対象を撮像する撮像装置と、
   上記画像位置合わせ装置が求めた複数の画像間の位置変位量に基づいて、当該複数の画像から１つの高解像度画像を生成する超解像処理装置とを備えていることを特徴とする画像処理システム。
8. 請求項６に記載の画像位置合わせ装置の各手段としてコンピュータを機能させるための制御プログラム。
9. 請求項８に記載の画像位置合わせ装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images