JP2008234362A - 画像位置合わせ方法、画像位置合わせ装置、画像処理システム、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
画像位置合わせ方法、画像位置合わせ装置、画像処理システム、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP2008234362A JP2008234362A JP2007073654A JP2007073654A JP2008234362A JP 2008234362 A JP2008234362 A JP 2008234362A JP 2007073654 A JP2007073654 A JP 2007073654A JP 2007073654 A JP2007073654 A JP 2007073654A JP 2008234362 A JP2008234362 A JP 2008234362A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- frequency
- frequency component
- image
- design
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 75
- 238000000034 method Methods 0.000 title claims description 72
- 238000003384 imaging method Methods 0.000 claims abstract description 288
- 238000013461 design Methods 0.000 claims abstract description 148
- 238000006073 displacement reaction Methods 0.000 claims abstract description 93
- 238000000605 extraction Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 abstract description 23
- 239000000284 extract Substances 0.000 abstract description 5
- 235000019557 luminance Nutrition 0.000 description 90
- 238000007689 inspection Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 239000004973 liquid crystal related substance Substances 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000003252 repetitive effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
【課題】撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合であっても、高精度な位置合わせを可能にする。
【解決手段】本発明の位置合わせ部12は、複数の撮像画像データの中から選択した基準画像データを周波数領域に変換した周波数領域のデータ(撮像周波数成分)と、撮像対象Pの被撮像面の設計形状を周波数領域に変換した設計データの周波数領域のデータ(設計周波数成分)とを比較して、撮像対象Pを撮像した撮像装置2のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出し、折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像データ以外の各撮像画像データの位置変位量を求める画像位置変位検出部22を備えているので、撮像対象Pが撮像装置2のナイキスト周波数以上の周波数成分を持つ場合であっても、高精度な位置合わせが可能となる。
【選択図】図1
【解決手段】本発明の位置合わせ部12は、複数の撮像画像データの中から選択した基準画像データを周波数領域に変換した周波数領域のデータ(撮像周波数成分)と、撮像対象Pの被撮像面の設計形状を周波数領域に変換した設計データの周波数領域のデータ(設計周波数成分)とを比較して、撮像対象Pを撮像した撮像装置2のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出し、折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像データ以外の各撮像画像データの位置変位量を求める画像位置変位検出部22を備えているので、撮像対象Pが撮像装置2のナイキスト周波数以上の周波数成分を持つ場合であっても、高精度な位置合わせが可能となる。
【選択図】図1
Description
本発明は、複数の画像の位置合わせを行う画像位置合わせ方法、画像位置合わせ装置、画像処理システム、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
製品等の検査を自動的に行う自動検査装置では、一般的に、エリアセンサ等の撮像装置を用いて検査対象を撮像して得られた検査画像を、所定のアルゴリズムで処理して欠陥検出等を行っている。したがって、自動検査装置においては、検査画像の解像度が高いほど詳細な検査が可能となるため、解像度の高い画像が撮像できる高解像度の撮像装置が求められる。
しかしながら、例えば、検査対象が液晶表示パネルである場合、近年の液晶表示パネルのパネルサイズ大型化に伴い、液晶表示パネルの表示画素数は飛躍的に増大しているので、最新のエリアセンサを用いても検査に十分な解像度は得られなくなってきている。
すなわち、検査装置においては、撮像装置の解像度を超える高解像度の画像を検査に用いる必要性が生じており、そのため、複数の低解像度画像から1枚の高解像度画像を生成する超解像処理やイメージシフト処理等の高解像度化処理が求められている。
超解像処理とは、低解像度の撮像画像から、撮像装置の解像度やレンズ性能のため写っていない、画像中には存在しない高解像度部分を推測し、低解像度の撮像画像を高解像度の画像に変換する処理のことを指す。超解像処理の1つの方法として、評価関数を用いる方法がある。
評価関数を用いて超解像処理を行う場合、1つの撮像対象に対して少しずつ撮像位置をずらして複数回の撮像を行い、複数回の撮像によって得られた複数枚の撮像画像から推定される1枚の高解像度化画像を生成する。そして、生成した高解像度画像を、評価関数を用いて評価し、その評価値がよくなる方向に高解像度画像を変化させる。この処理を繰り返すことにより、所望の精度の高解像度画像を得ることができる。
なお、評価関数は、高解像度画像を擬似的に低解像度化した低解像度化画像と撮像画像との誤差を計算する誤差項と、事前確率情報や輝度値を調整する正規化条件等の拘束項とからなる。高解像度化する画像の性質が分かっている場合、その性質をあらかじめ同種の性質を持ついくつかの画像を用いて学習しておき、その学習データを拘束項に組み込む手法が知られている。
このような超解像処理では、1つの撮像対象に対して少しずつ撮像位置をずらして撮像して得られた複数の撮像画像について、それらの位置関係を取得することが必要になる。複数の撮像画像間における位置関係を取得する方法としては、例えば、レジストレーションと呼ばれる位置合わせ手法が知られている。レジストレーションでは、複数の撮像画像の中から1枚の基準となる基準画像を選択し、それ以外の撮像画像がその基準画像に対してどの程度ずれているかを計算することによって、複数の撮像画像間における位置関係を取得する。
レジストレーションを行う場合、基準画像以外の撮像画像がその基準画像に対してどの程度ずれているかを求める必要があり、このずれを求めるために、一般的には領域ベースマッチングという手法が用いられている。特許文献1及び非特許文献1は、領域ベースマッチングによる位置合わせ手法の高速化処理に関する技術を開示している。
特許文献1及び非特許文献1に記載の位置合わせ手法では、基準画像と比較画像(基準画像以外の撮像画像)とをそれぞれ所定の大きさを持つ領域(参照領域)で切り抜いて比較している。すなわち、特許文献1及び非特許文献1では、基準画像の参照領域に含まれる画素と比較画像の参照領域に含まれる画素との輝度値の差を求め、輝度値の差から両者の類似度を計算し、その類似度の大きさによって比較画像の基準画像に対する変位を推定している。
ここで、比較画像の基準画像に対する変位をより高精度に推定するためには、サブピクセルレベルで輝度値の差を求める必要がある。なお、サブピクセルとは1ピクセル未満の端数を含む位置、すなわち画素と画素との中間位置を指す。したがって、サブピクセルレベルで輝度値の差を求める場合には、輝度値を求めたいサブピクセルに隣接する複数の画素の輝度値から、サブピクセルの輝度値を推測する必要がある。
また、画像の位置合わせに関する手法としては、特許文献2及び特許文献3が挙げられる。特許文献2では、比較対象となる画像のエッジ位置に基づいて、サブピクセル単位での位置ずれの補正を行うことにより、位置合わせの精度を向上させている。また、特許文献3では、比較対象となる画像を周波数領域のデータに変換し、周波数成分のピーク値を比較して位置合わせを行っている。
世界知的所有権機関国際事務局国際公開第WO2004/063991号パンフレット(2004年7月29日国際公開)
特開平11‐201908号公報(1999年7月30日公開)
特開2004‐145466号公報(2004年5月20日公開)
清水雅夫・奥富正敏,「画像変形を表すNパラメータの高精度同時推定法と超解像への応用」,情報処理学会論文誌:コンピュータビジョンとイメージメディア,Vol.45, No.SIG 13(CVIM 10) , 2004 年12 月, pp.83-98
しかしながら、上記従来の画像位置合わせ手法では、撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合に、位置合わせの精度が劣化するという問題がある。
ナイキスト周波数とは、撮像装置の撮像素子(例えばCCD:charge-coupled device)数やレンズ性能で決まる周波数であり、撮像装置の撮像限界を示している。撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合、ナイキスト周波数以上の周波数成分には折り返しが発生し、折り返しが発生することにより、撮像画像にモアレ等が発生してしまう。
上述のように、上記特許文献1、特許文献2、及び非特許文献1に記載の技術では、サブピクセルの正確な輝度値を求めることが必要になるが、モアレ等が発生した画像では、サブピクセルの正確な輝度値を求めることは極めて困難である。また、特許文献3のように、周波数領域のデータを用いる場合も、撮像画像の周波数成分に折り返しが発生しているため、正確に位置合わせを行うことは難しい。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合であっても、高精度な位置合わせを可能にする画像位置合わせ装置等を実現することにある。
本発明の画像位置合わせ方法は、上記課題を解決するために、同一の撮像対象を撮像して得られた複数の画像間の位置変位量を求め、求めた位置変位量に基づいて上記複数の画像の位置合わせを行う画像位置合わせ方法であって、上記複数の画像の中から選択した基準画像を周波数領域に変換した撮像周波数成分と、撮像対象の被撮像面の設計形状を示す設計周波数成分とを比較して、上記撮像対象を撮像した撮像装置のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出する折り返し成分抽出ステップと、上記折り返し成分抽出ステップにて折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出ステップと、を含むことを特徴としている。
また、本発明の画像位置合わせ装置は、上記課題を解決するために、同一の撮像対象を撮像して得られた複数の画像間の位置変位量を求め、求めた位置変位量に基づいて上記複数の画像の位置合わせを行う画像位置合わせ装置であって、上記複数の画像の中から選択した基準画像を周波数領域に変換した撮像周波数成分と、撮像対象の被撮像面の設計形状を示す設計周波数成分とを比較して、上記撮像対象を撮像した撮像装置のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出する折り返し成分抽出手段と、上記折り返し成分抽出ステップにて折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出手段と、を備えていることを特徴としている。
ここで、上記〔発明が解決しようとする課題〕で述べたように、ナイキスト周波数を超える周波数成分を有する撮像対象を撮像して得られた画像には折り返しが発生する。したがって、この画像を周波数領域に変換した場合、該周波数領域成分には、ナイキスト周波数成分よりも高い周波数成分が含まれていない。これは、ナイキスト周波数よりも高い周波数成分が、撮像対象を撮像する時にナイキスト周波数を軸にナイキスト周波数よりも低い周波数領域へと折り返されることによる。
ここで、上記設計周波数成分は、撮像対象の被撮像面の設計形状を周波数領域に変換(フーリエ変換等)して得られたものであるから、撮像対象を撮像した撮像装置のナイキスト周波数よりも高い周波数成分を含み得る。これに対し、上記撮像周波数成分には、ナイキスト周波数よりも高い周波数成分は含まれない。
すなわち、撮像対象の被撮像面が上記ナイキスト周波数よりも高い周波数成分を有している場合、設計周波数成分にはナイキスト周波数よりも高い周波数成分が含まれるが、撮像周波数成分ではナイキスト周波数よりも高い周波数成分がナイキスト周波数で折り返され、ナイキスト周波数よりも低い周波数成分として現れる。
ここで、設計周波数成分は、撮像対象の被撮像面の設計形状を示すものであり、基準画像は、撮像対象の被撮像面を撮像したものであるから、設計周波数成分と撮像周波数成分とは主要な周波数成分が等しくなる。ただし、撮像周波数成分に折り返しが発生している場合、折り返された周波数成分に関しては、設計周波数成分と異なる周波数成分として現れる。
すなわち、ナイキスト周波数よりも低い周波数領域の撮像周波数成分において、対応する設計周波数成分がない場合、その周波数成分は、折り返された周波数成分であると考えられる。
上記本発明の構成によれば、撮像周波数成分と設計周波数成分とを比較して、ナイキスト周波数よりも低い周波数成分について、撮像周波数成分から、対応する設計周波数成分がない周波数成分を抽出する。
すなわち、折り返し周波数成分の抽出後の撮像周波数成分には、折り返しによって生じた余分な周波数成分が含まれなくなる。したがって、余分な周波数成分が含まれない撮像周波数成分に基づいて、上記複数の画像間の位置変位量を求め、求めた位置変位量に基づいて上記複数の画像の位置合わせを行うことができる。
このように、上記本発明の構成によれば、折り返し周波数成分を抽出した撮像周波数成分を用いて位置変位量を求めるので、撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合であっても、上記複数の画像間の位置変位量を精度よく求めることができる。その結果、求めた位置変位量に基づいて複数の画像間の高精度な位置合わせを行うことが可能となる。
なお、位置変位量を求める方法としては、例えば上記位置合わせ用基準データを逆フーリエ変換等に供することによって画像データに変換し、この画像データと、上記複数の画像のそれぞれとを領域ベースマッチングする方法が挙げられる。
また、上記複数の画像のそれぞれを周波数領域に変換し、上記位置合わせ用基準データと、周波数領域に変換した上記複数の画像のそれぞれとを比較することによって、上記複数の画像間の位置変位量を求めることもできる。
また、本発明の画像位置合わせ方法は、上記課題を解決するために、同一の撮像対象を撮像して得られた複数の画像間の位置変位量を求め、求めた位置変位量に基づいて上記複数の画像の位置合わせを行う画像位置合わせ方法であって、上記複数の画像の中から選択した基準画像の特徴点と、撮像対象の被撮像面の設計形状を示す設計画像データの特徴点とを比較して、上記基準画像と上記設計画像データとの位置ずれ及びサイズの差を検出し、上記検出した位置ずれ及びサイズの差に基づいて、上記設計画像データの位置及びサイズを上記基準画像に合わせて、位置合わせ用基準データを生成する基準画像再構成ステップと、上記位置合わせ用基準データに対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出ステップと、を含むことを特徴としている。
上記の構成によれば、基準画像の特徴点と設計データの特徴点とに基づいて、設計画像データの位置及びサイズが上記基準画像に合わされる。ここで、設計画像データは、撮像対象の被撮像面の設計形状を示す画像データであり、基準画像は、撮像対象の被撮像面を撮像したものである。
したがって、位置及びサイズを基準画像に合わせた設計画像データと基準画像とは、ほぼ同じ画像データとなる。ただし、撮像対象が撮像装置のナイキスト周波数を越える周波数成分を有している場合、基準画像にはモアレ等が発生していることになるが、設計画像データは、撮像対象の被撮像面の設計形状を示す画像データであるから、モアレ等は発生していない。
上記の構成によれば、位置及びサイズを基準画像に合わせた設計画像データを位置合わせ用基準データとし、この位置合わせ用基準データと上記複数の画像のそれぞれとの位置変位を求める。すなわち、モアレ等の発生していない位置合わせ用基準データと、複数の画像のそれぞれとの位置変位を求めて位置合わせを行うことができる。
したがって、撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合であっても、上記複数の画像間の正確な位置変位量を求めることができ、その結果、求めた位置変位量に基づいて複数の画像間の高精度な位置合わせを行うことが可能となる。
また、本発明の画像位置合わせ方法は、上記折り返し成分抽出ステップにて抽出した周波数成分を、上記ナイキスト周波数を軸として、撮像周波数成分のナイキスト周波数よりも高い周波数領域に折り返した位置合わせ用基準データを生成する基準画像再構成ステップを含むことが好ましい。
上記の構成によれば、折り返し成分抽出ステップにて抽出した周波数成分を、上記ナイキスト周波数を軸として、撮像周波数成分のナイキスト周波数よりも高い周波数領域に折り返す。すなわち、上記の構成によれば、折り返されていた周波数成分が本来あるべき位置へと復元される。
したがって、撮像周波数成分の折り返されていた周波数成分を本来あるべき位置へと復元したデータである、位置合わせ用基準データを用いることによって、上記複数の画像間の正確な位置変位量を求めることができ、その結果、求めた位置変位量に基づいて複数の画像間のさらに高精度な位置合わせを行うことが可能となる。
また、本発明の画像位置合わせ方法は、上記複数の画像の中から選択した基準画像の特徴点と、撮像対象の被撮像面の設計形状を示す設計画像データの特徴点とを比較し、上記設計画像データの位置及びサイズを上記基準画像に合わせた補正設計画像データを周波数領域に変換した設計周波数成分を生成する設計周波数成分生成ステップと、
上記折り返し成分抽出ステップにて抽出した周波数成分を撮像周波数成分から除くとともに、設計周波数成分におけるナイキスト周波数以上の周波数成分を撮像周波数成分に追加して位置合わせ用基準データを生成する基準画像再構成ステップを含む方法であってもよい。
上記折り返し成分抽出ステップにて抽出した周波数成分を撮像周波数成分から除くとともに、設計周波数成分におけるナイキスト周波数以上の周波数成分を撮像周波数成分に追加して位置合わせ用基準データを生成する基準画像再構成ステップを含む方法であってもよい。
上記の構成によれば、基準画像の特徴点と設計画像データの特徴点とに基づいて、設計画像データの位置及びサイズが上記基準画像に合わされる。なお、特徴点としては、画像中において、例えば色、形状等が他の部位と異なる点を選択すればよい。また、設計画像データ及び撮像対象に位置合わせのためのマークを付けておいてもよい。設計画像データと基準画像データとの位置合わせは、例えばパターンマッチング等の手法を用いることができる。
このように、補正設計画像データと基準画像とは、位置及びサイズが等しいので、設計周波数成分と撮像周波数成分とは、折り返しが発生している箇所を除いて主要な周波数成分の位置及び強度が等しくなる。
そこで、上記構成では、設計周波数成分におけるナイキスト周波数以上の周波数成分を撮像周波数成分に追加している。これにより、撮像周波数成分において、折り返しによって失われたナイキスト周波数以上の周波数成分を復元することができる。そして、折り返し周波数成分を復元した撮像周波数成分、すなわち位置合わせ用基準データに基づいて、上記複数の画像間の位置変位量を求めることができる。
このように、上記位置合わせ方法によれば、折り返された周波数成分を復元した位置合わせ用基準データを用いて位置変位量を求めるので、撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合であっても、上記複数の画像間の正確な位置変位量を求めることができる。その結果、求めた位置変位量に基づいて複数の画像間の高精度な位置合わせを行うことが可能となる。
また、上記設計周波数成分は、周波数値が等間隔の複数の周波数成分より成り、上記折り返し成分抽出ステップでは、撮像周波数成分において周波数成分の周波数値の間隔が等間隔でない周波数成分を抽出することが好ましい。
上述のように、本発明の画像位置合わせ方法では、撮像周波数成分と設計周波数成分とを比較して、上記撮像対象を撮像した撮像装置のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出する。
ここで、設計周波数成分は、撮像対象の被撮像面の設計形状を示すものであり、基準画像は、撮像対象の被撮像面を撮像したものであるから、設計周波数成分と撮像周波数成分とは主要な周波数成分が等しくなる。
したがって、設計周波数成分が、周波数値が等間隔の複数の周波数成分で構成されている場合、撮像周波数成分に折り返しが発生していないときには、撮像周波数成分も周波数値が等間隔の複数の周波数成分で構成されることになる。一方、撮像周波数成分に折り返しが発生しているときには、折り返しが発生している箇所のみ周波数値の間隔が等間隔ではなくなる。ゆえに、周波数値の間隔が等間隔ではない周波数成分を検出することによって、折り返し周波数成分を特定することができる。
すなわち、上記構成によれば、設計周波数成分の主要な周波数成分と撮像周波数成分の主要な周波数成分とを1つ1つ対比することなく、容易に折り返し周波数成分を抽出することができる。
また、本発明の画像処理システムは、上記課題を解決するために、上記画像位置合わせ装置と、撮像対象を撮像する撮像装置と、上記画像位置合わせ装置が求めた複数の画像間の位置変位量に基づいて、当該複数の画像から1つの高解像度画像を生成する超解像処理装置とを備えていることを特徴としている。
上記の構成によれば、撮像装置が撮像対象を撮像し、撮像によって得られた複数の画像間の位置変位量を画像位置合わせ装置が求める。そして、複数の画像間の位置変位量に基づいて画像処理装置が、上記複数の画像を高解像度化した高解像度画像を生成する。
上記画像位置合わせ装置は、撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合であっても、上記複数の画像間の正確な位置変位量を求めることができるので、常に高精度な高解像度画像を生成することができる。
なお、上記画像位置合わせ装置は、コンピュータによって実現してもよく、この場合には、コンピュータを画像位置合わせ装置の各手段として動作させることにより、上記画像位置合わせ装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
以上のように、本発明の画像位置合わせ方法は、複数の画像の中から選択した基準画像を周波数領域に変換した撮像周波数成分と、撮像対象の被撮像面の設計形状を示す設計周波数成分とを比較して、上記撮像対象を撮像した撮像装置のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出する折り返し成分抽出ステップと、上記折り返し成分抽出ステップにて折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出ステップと、を含む構成である。
また、本発明の他の画像位置合わせ方法は、複数の画像の中から選択した基準画像の特徴点と、撮像対象の被撮像面の設計形状を示す設計画像データの特徴点とを比較して、上記基準画像と上記設計画像データとの位置ずれ及びサイズの差を検出し、上記検出した位置ずれ及びサイズの差に基づいて、上記設計画像データの位置及びサイズを上記基準画像に合わせて、位置合わせ用基準データを生成する基準画像再構成ステップと、上記位置合わせ用基準データに対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出ステップと、を含む構成である。
また、本発明の画像位置合わせ装置は、複数の画像の中から選択した基準画像を周波数領域に変換した撮像周波数成分と、撮像対象の被撮像面の設計形状を示す設計周波数成分とを比較して、上記撮像対象を撮像した撮像装置のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出する折り返し成分抽出手段と、上記折り返し成分抽出ステップにて折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出手段と、を備えている構成である。
したがって、本発明の画像位置合わせ方法及び画像位置合わせ装置によれば、撮像対象が撮像装置のナイキスト周波数以上の周波数成分を持つ場合であっても、高精度な位置合わせを行うことができる。
〔実施の形態1〕
本発明の一実施形態について図1から図10に基づいて説明すると以下の通りである。
本発明の一実施形態について図1から図10に基づいて説明すると以下の通りである。
(システムの概要について)
まず、本実施形態の検査システム(画像処理システム)1の概要について図2に基づいて説明する。図2は、本実施形態の検査システム1の概要を示す側面図である。検査システム1は、図示のように、撮像装置2、画像処理装置3、駆動装置4、フレーム5、及び保持部材6を備える構成である。
まず、本実施形態の検査システム(画像処理システム)1の概要について図2に基づいて説明する。図2は、本実施形態の検査システム1の概要を示す側面図である。検査システム1は、図示のように、撮像装置2、画像処理装置3、駆動装置4、フレーム5、及び保持部材6を備える構成である。
撮像装置2は、撮像対象Pの画像を撮像し、撮像した画像を撮像画像データとして画像処理装置3に送出する。撮像装置2としては、CCD素子を備えたエリアセンサやラインセンサ等を適用することができる。撮像装置2は画像処理装置3と接続されており、また、撮像装置2は駆動装置4を介してフレーム5に固定されている。
画像処理装置3は、撮像装置2から受け取った画像データを超解像処理し、超解像画像を出力する。また、画像処理装置3は、撮像装置2及び駆動装置4の動作の制御を行う。画像処理装置3の詳細については後述する。
フレーム5は、図示していないが、同図のY軸方向に奥行きを有する長方形状の構造である。駆動装置4は、フレーム5上を移動可能な構成となっており、駆動装置4をフレーム5上で移動させることによって、撮像対象Pに対する撮像装置2の撮像位置を変えることができる。ここでは、駆動装置4が撮像装置2を移動させることによって、撮像対象Pの所望の位置を撮像する例を説明するが、撮像装置2の撮像素子やレンズ等を調節して撮像対象Pの所望の位置を撮像するようにしてもよい。
保持部材6は、撮像対象Pを保持・固定するための部材である。本実施形態では、撮像装置2をフレーム5上で駆動させることによって撮像対象Pを撮像する態様を示すが、撮像装置2を固定し、保持部材6を駆動させることによって撮像装置2に対する撮像対象Pの位置を変化させ、撮像対象Pを撮像してもよい。
撮像対象Pは、検査システム1の検査対象となる物体である。撮像対象Pは、その検査対象となる面が撮像装置2と対向するように保持部材6で固定されている。撮像対象Pは、被検査面、すなわち撮像装置2で撮像される箇所が繰り返しパターンを有していることが好ましい。
なお、繰り返しパターンとは、一定の周期で同一のパターンが繰り返すパターンである。例えば、液晶表示パネルでは、その表示面に開口部が等間隔で規則的に配列しており、各開口部にはそれぞれRGBいずれかのカラーフィルタが付されてRGBの画素となっている。そして、RGBの各画素は、一定の周期、例えばRGB−RGB−RGB…の順で繰り返している。本実施形態では、撮像対象Pが点灯状態の液晶表示パネルであることを想定している。
そして、撮像対象Pの被撮像面が繰り返しパターンを有している場合、撮像対象Pの被撮像面を撮像して得られる撮像画像データを周波数領域のデータにしたときに、周波数値のピークが出現する。詳細については後述するが、検査システム1では、このピークを利用して撮像画像データ間の位置合わせを行う。
本実施形態の検査システム1では、以上の構成により、画像処理装置3の制御に基づいて撮像装置2及び駆動装置4が動作し、撮像装置2はフレーム5上を移動しながら撮像対象Pを撮像する。そして、撮像装置2が撮像した撮像画像データは、画像処理装置3に送られて超解像処理が施される。
そして、検査システム1では、超解像処理によって高解像度化された撮像画像データを、図示しない検査処理装置が検査することによって、撮像対象Pの欠陥の有無を検出するようになっている。検査処理装置は、撮像対象Pを撮像した撮像画像データを解析し、撮像対象Pの欠陥の有無を検査するものであれば特に限定されず、公知の装置を適用することができる。
(画像処理装置の概要について)
次に、画像処理装置3の概要について図1に基づいて説明する。図1は、画像処理装置3の要部構成を示すブロック図である。図示のように、画像処理装置3は、記憶部11、位置合わせ部(位置合わせ装置)12、超解像処理部(超解像処理装置)13、入力部14、出力部15、及び外部装置制御部16を備えている。
次に、画像処理装置3の概要について図1に基づいて説明する。図1は、画像処理装置3の要部構成を示すブロック図である。図示のように、画像処理装置3は、記憶部11、位置合わせ部(位置合わせ装置)12、超解像処理部(超解像処理装置)13、入力部14、出力部15、及び外部装置制御部16を備えている。
記憶部11は、撮像装置2から送られる撮像画像データを格納する撮像画像保存部17、設計データを格納する設計データ保存部18、及び超解像処理部13によって生成される高解像度画像を格納する高解像度画像保存部19を備えている。
設計データ保存部18に格納されている設計データについて説明する。設計データとは、撮像対象Pの形状、サイズ、輝度分布等を示すデータである。設計データは、数値データでもよいし、画像データでもよい。例えば、撮像対象Pが点灯状態の液晶表示パネルである場合、パネルの開口部及びブラックマトリクス部のサイズや、開口部の輝度比等の数値データを設計データとして用いることができる。また、撮像対象Pを撮像して得られる画像データや、撮像対象Pと同様の形状を有するサンプルを撮像したサンプル画像データのような画像データを設計データとしてもよい。
なお、ここでは、設計データとして図3に示す画像データを用いる場合の例を説明する。図3は、設計データの一例を示す図である。図3に示す設計データは、撮像対象P、すなわち液晶表示パネルの画像データであり、開口部31がマトリクス状に配列し、開口部31の行間はブラックマトリクス部32となっており、開口部31の列間はブラックマトリクス部33となっている。
また、設計データとして画像データを用いる場合には、モアレ等が発生していない画像データを用いる必要がある。モアレ等が発生していない画像データを取得するためには、例えば撮像対象Pの主な周波数成分がナイキスト周波数よりも小さくなるような撮像装置を用いて撮像対象Pを撮像すればよい。
位置合わせ部12は、撮像画像保存部17に格納されている複数の撮像画像データ間の位置変位量を検出し、検出した位置変位量を超解像処理部13に送出する。位置合わせ部12は、基準画像設定部20、プロファイル生成部(折り返し成分抽出手段)21、及び画像位置変位検出部(位置変位量検出手段)22を備えている。
基準画像設定部20は、撮像画像保存部17に格納されている複数の撮像画像データの中から基準画像データを選択する。選択の方法は、特に限定されないが、例えば、撮像画像データのうち、撮像時間が最初のものを基準画像データとして選択すればよい。また、例えば、全撮像画像データのうち、撮像対象Pの重心に最も近い位置を撮像したものを基準画像データとして選択してもよい。なお、以下の説明では、基準画像データ以外の撮像画像データを「その他の撮像画像データ」と呼ぶ。
ところで、検査システム1においては、撮像装置2の撮像面と撮像対象Pの被撮像面とが平行ではない場合、撮像対象Pにおいて、撮像装置2に対して近い部分と遠い部分とができるので、撮像画像がボケてしまうことがある。基準画像データは、撮像画像データ間の位置変位量を求めるための基準となるデータであるから、ボケていない画像データを用いることが好ましい。したがって、基準画像データとしては、撮像装置2の撮像面と撮像対象Pの被撮像面とが平行か、あるいは平行に近い状態で撮像されたものを選択することが望ましい。
プロファイル生成部21は、基準画像設定部20が設定した基準画像データ上の位置とその位置における輝度値との関係を示す輝度プロファイル(位置合わせ用基準データ)を生成する。そして、画像位置変位検出部22は、プロファイル生成部21が生成した輝度プロファイルを用いて、基準画像データに対するその他の撮像画像データの位置変位量を検出する。プロファイル生成部21及び画像位置変位検出部22の詳細については後述する。
超解像処理部13は、画像位置変位検出部22が検出した基準画像データに対するその他の撮像画像データの位置変位量を用いて、撮像画像保存部17に格納された複数の撮像画像データから高解像度画像を生成する。
入力部14は、記憶部11内の各種データを出力部15に出力させたり、記憶部11内の各種データの追加・削除・編集等を行ったり、画像処理装置3が備える各構成の動作を入力指示によって制御したりするためのものである。例えば、検査システム1のユーザは、入力部14を操作することによって、高解像度画像保存部19に格納されている高解像度画像データを出力したり、設計データ保存部18に格納されている設計データを変更したりすることができる。
また、例えば、入力部14を介して撮像画像保存部17に画像データを入力し、入力した画像データ間の位置合わせを、基準画像設定部20、プロファイル生成部21、及び画像位置変位検出部22等に実行させることもできる。入力部14は、キーボードやタッチパネル、入力ボタン等で構成することができる。
出力部15は、記憶部11に格納されている各種データを出力するものである。具体的には、出力部15は液晶表示パネル、プリンタ等で構成することができる。
外部装置制御部16は、撮像装置2の撮像タイミングの制御、及び駆動装置4の駆動の制御を行う。具体的には、外部装置制御部16の指示に従って駆動装置4がフレーム5上の任意の位置に移動し、外部装置制御部16の指示するタイミングで撮像装置2が撮像を行う。
(検査システムにおける処理の流れ)
次に、検査システム1における処理の流れについて図4に基づいて説明する。図4は、検査システム1における検査処理の一例を示すフローチャートである。まず、外部装置制御部16は、撮像装置2及び駆動装置4を動作させ、撮像対象Pを撮像させる(S1)。撮像装置2が撮像した撮像対象Pの画像データである撮像画像データは、画像処理装置3に送られ、画像処理装置3の撮像画像保存部17に格納される。
次に、検査システム1における処理の流れについて図4に基づいて説明する。図4は、検査システム1における検査処理の一例を示すフローチャートである。まず、外部装置制御部16は、撮像装置2及び駆動装置4を動作させ、撮像対象Pを撮像させる(S1)。撮像装置2が撮像した撮像対象Pの画像データである撮像画像データは、画像処理装置3に送られ、画像処理装置3の撮像画像保存部17に格納される。
ここでは、撮像対象Pを複数回撮像して複数の撮像画像データを得る。まず、外部装置制御部16は、撮像装置2及び駆動装置4に指示を送り、適当な位置で撮像対象Pを撮像させる。次に、外部装置制御部16は、駆動装置4によって撮像装置2をフレーム5上で移動させた後、再び撮像装置2に撮像対象Pを撮像させる。これを所定数の撮像画像データが得られるまで繰り返す。
なお、検査システム1では、1つの撮像装置2を用いて撮像対象Pの撮像を行っているが、複数の撮像装置を用いて撮像対象Pの撮像を行ってもよい。この場合、1台の撮像装置2を用いる場合に比べて撮像時間を短縮することができる。
次に、位置合わせ部12は、S1で撮像された撮像画像データを撮像画像保存部17から読み出し、読み出した複数の撮像画像データ間の位置変位量を検出する位置合わせ処理を行う(S2)。そして、位置合わせ部12は、検出した位置変位量を超解像処理部13に送出する。位置合わせ処理の詳細については後述する。
続いて、超解像処理部13は、位置合わせ部12が検出した位置変位量を用いて撮像画像データを高解像度化する超解像処理を行う(S3)。位置変位量が既知の複数の画像データに基づいて超解像処理を行う技術は公知であるから、ここでは説明を省略する。そして、超解像処理部13は、撮像画像データを高解像度化して得られた撮像画像データ(超解像画像)を、高解像度画像保存部19に格納すると共に、出力部15から出力する(S4)。
また、図示していないが、S4の処理の後、S4で得られた撮像画像データを検査処理装置が検査し、撮像対象Pの欠陥の有無を調べる。このように、検査システム1では、撮像装置2が撮像した撮像画像データが、画像処理装置3によって高解像度化され、高解像度画像データとして出力される。そして、この高解像度画像データを用いて撮像対象Pの欠陥検査を行っている。
検査システム1の主たる特徴は、撮像装置2が撮像対象Pを撮像するために十分な解像度を有しておらず、撮像画像データにモアレ等が発生している場合であっても、S2の位置合わせ処理を精度よく行うことで、精度の高い高解像度画像データを生成し、撮像対象Pの欠陥を精度よく検出することができる点にある。
(位置合わせ処理の流れ)
次に、上記位置合わせ処理の流れについて、図5に基づいて説明する。図5は、位置合わせ処理の一例を示すフローチャートである。撮像装置2の撮像によって得られた撮像画像データが撮像画像保存部17に所定の数だけ格納された後、基準画像設定部20は、上記格納された撮像画像データの中から基準画像データを選択する(S11)。そして、基準画像設定部20は、選択した基準画像データをプロファイル生成部21に送る。
次に、上記位置合わせ処理の流れについて、図5に基づいて説明する。図5は、位置合わせ処理の一例を示すフローチャートである。撮像装置2の撮像によって得られた撮像画像データが撮像画像保存部17に所定の数だけ格納された後、基準画像設定部20は、上記格納された撮像画像データの中から基準画像データを選択する(S11)。そして、基準画像設定部20は、選択した基準画像データをプロファイル生成部21に送る。
なお、例えば最初に撮像した撮像画像データを基準画像データに設定する場合等には、所定数の撮像画像データの全てが撮像画像保存部17に格納される前に、位置合わせ処理を開始するようにしてもよい。これにより、撮像画像データの取得及び格納と位置合わせ処理とを平行して行うことができるので、検査処理に要する時間を短縮することができる。
基準画像データを受け取ったプロファイル生成部21は、基準画像データを周波数領域のデータに変換する。また、プロファイル生成部21は、設計データ保存部18から設計データを読み出し、読み出した設計データを周波数領域のデータに変換する。周波数領域のデータへの変換にはフーリエ変換等を用いればよい。
なお、撮像対象Pが点灯状態の液晶表示パネルである場合、液晶表示パネルの開口部及びブラックマトリクス部のサイズや開口部の輝度比等のパターンの数値データを周波数領域のデータに変換すればよい。また、設計データが画像データである場合には、画像データを2次元フーリエ変換することで周波数領域のデータを得ることができる。さらに、設計データを予め周波数領域のデータとしてもよく、この場合、S12で設計データを周波数領域のデータに変換する工程を省略し、処理を簡略化することができる。
(基準画像データと設計データとの位置合わせ)
続いて、プロファイル生成部21は、S12で生成した基準画像データの周波数領域のデータ(撮像周波数成分)と、設計データの周波数領域のデータ(設計周波数成分)とを比較し、基準画像データと設計データとの位置合わせを行う(S13)。具体的には、プロファイル生成部21は、まず基準画像データの周波数領域のデータにおける主要なピーク位置と、基準画像データの周波数領域のデータにおける主要なピーク位置との対応関係を求める。
続いて、プロファイル生成部21は、S12で生成した基準画像データの周波数領域のデータ(撮像周波数成分)と、設計データの周波数領域のデータ(設計周波数成分)とを比較し、基準画像データと設計データとの位置合わせを行う(S13)。具体的には、プロファイル生成部21は、まず基準画像データの周波数領域のデータにおける主要なピーク位置と、基準画像データの周波数領域のデータにおける主要なピーク位置との対応関係を求める。
ここで、ピーク位置の対応関係の求め方について図6に基づいて説明する。同図(a)は図3に示す設計データのA‐A’断面における周波数と強度との関係の一例を示す図であり、同図(b)は基準画像データにおける周波数と強度との関係の一例を示す図である。ここでは設計データと基準画像データとは位置ずれ及びサイズの差がなければ主要な周波数成分の位置が同じであることを利用する。
なお、ここでは、簡単のため、設計データの直線A−A’上のみについて周波数領域のデータに変換する例を説明するが、実際には、設計データの全面に対して2次元フーリエ変換を行い、周波数領域のデータを取得する。2次元フーリエ変換を用いる場合においても処理方法は同じである。
設計データの周波数領域のデータは、同図(a)の例では、低周波数側から順にf1,f2,f3,の3つのピークが現れている。なお、これらのピークは、それぞれ開口部に対応しており(図3参照)、各ピークの強度が異なっているのは、各ピークがそれぞれ異なる色の開口部に対応しているためである。
一方、基準画像データの周波数領域のデータは、周波数成分の折り返しが発生していることがある。すなわち、同図(b)の例に示すように、撮像装置2のナイキスト周波数を超える周波数成分をもつ撮像対象Pを撮像した場合、撮像装置2のナイキスト周波数を超える周波数成分はナイキスト周波数を軸に低周波数側に折り返されてしまう。
ここで、同図(b)において、fnはナイキスト周波数を示し、破線は折り返しがない場合のピーク位置を示している。すなわち、折り返しがなければ、基準画像データの周波数領域のデータも、同図(a)と同様に、f1,f2,f3の位置にピークが出現する。しかしながら、図示のように、f2及びf3はナイキスト周波数fnよりも周波数の値が大きいので、この2つのピークは折り返されることになる。
具体的には、f2の周波数を持つピークはナイキスト周波数fnで折り返されてf2’の周波数となり、f3の周波数を持つピークはナイキスト周波数fnで折り返されてf3’の周波数となる。このように、撮像画像データの周波数領域のデータでは、ナイキスト周波数fnよりも周波数の値が大きいピークが折り返されている。
従来、フーリエ変換を行った場合に、f1,f2’,f3’の3つのピークが出現したときには、折り返されたピークを見分けることができなかった。そのため、折り返された周波数成分を特定することができず、折り返されたピークを折り返されていない状態に戻すこと、すなわち折り返し周波数成分を復元することもできなかった。
そこで、プロファイル生成部21では、設計データの周波数領域のデータにおけるピーク位置と、基準画像データにおけるピーク位置とを比較することにより、折り返しによって生じたピークを特定し、該特定したピークを、ナイキスト周波数を軸に高周波領域にシフトさせることによって折り返し周波数成分を復元する。
そして、プロファイル生成部21折り返し周波数成分を復元した基準画像データの周波数領域のデータを基準画像データの輝度プロファイルとして画像位置変位検出部22に送る。画像位置変位検出部22は、このように折り返し周波数成分を復元した基準画像データの周波数領域のデータから作成された輝度プロファイルを用いて基準画像データと撮像画像データとの位置変位量を求めるので、高精度な位置合わせが可能となる。
折り返し周波数成分を特定する方法の一例を図6(a)(b)に基づいて説明する。まず、図6(b)におけるナイキスト周波数fnより低い周波数領域のピークと、同図6(a)におけるナイキスト周波数fnより低い周波数領域のピークとを比較する。図示のように、f1の位置のピークは互いに一致するが、設計データの周波数領域のデータには、基準画像データの周波数領域のデータにおけるf2’,f3’の位置のピークに対応するピークは存在しない。
これにより、プロファイル生成部21は、f2’,f3’の位置のピークが折り返しによって生じたピークであると特定することができる。このようにして、プロファイル生成部21は、基準画像データの周波数領域のデータにおける、折り返しによって生じたピークを抽出し、折り返し周波数成分の強度を検出することができる。
また、本実施形態では、撮像対象Pとして液晶表示パネルを用いている。液晶表示パネルでは、R,G,Bのカラーフィルタが規則正しく整列しており、かつR,G,Bは異なる輝度で撮像されるので、液晶表示パネルを撮像した撮像画像データの周波数領域のデータでは、ピークが等間隔に出現する。このような場合、基準画像データの周波数領域のデータにおいて、ピークの間隔が等間隔ではない箇所を検出することによって、折り返し周波数成分を特定することもできる。
なお、基準画像データの周波数領域のデータにおけるf2’,f3’と、ナイキスト周波数fnと、f2,f3との間には、下記の数式1の関係が成り立つ。
上記数式1によって、基準画像データの周波数領域のデータにおける周波数f2,f3を求めることができる。なお、ナイキスト周波数fnは、撮像装置2の解像度、レンズ性能等によって決まる定数であるから、予め取得しておけばよい。
なお、基準画像データの周波数領域のデータにおける折り返し周波数成分のピーク位置と、設計データの周波数領域データにおいて当該折り返し周波数成分と対応する周波数成分のピーク位置とを比較することにより、ナイキスト周波数fnを求めることができるので、プロファイル生成部21がナイキスト周波数fnを求める構成としてもよい。
例えば、図6(a)(b)の例では、同図(a)のピークf2は、同図(b)のピークf2’と対応している。すなわち、ピークf2’はピークf2がナイキスト周波数fnを軸に低周波数領域に折り返されて生じたピークであるから、ナイキスト周波数fnは、ピークf2’とピークf2との中間位置となることがわかる。
続いて、プロファイル生成部21は、基準画像データの輝度プロファイルを作成する(S14)。例えば、プロファイル生成部21は、下記の数式2を基準画像データの輝度プロファイルとすることができる。
上記数式2においてf(x,y)は基準画像データ上の位置(x,y)における輝度値を示し、fi,fjは基準画像データの周波数領域のデータにおけるピークの位置を示し、cijは位置(fi,fj)における周波数の強度を示す(cijは複素数)。また、fnx,fnyは、x方向及びy方向に対するナイキスト周波数を示す。そして、上記数式2において、Wpeakは、周波数領域データにおいてピークとして検出した周波数成分の集合を指し、例えば図6(a)の例ではピークf1〜f3の集合を指す。すなわち、関数f(x,y)は、空間領域のデータ、すなわち画像データにおいて、位置(x,y)の画素の画素値を示す関数である。
また、ki,kjは、それぞれx方向及びy方向におけるピークの折り返し回数である。ナイキスト周波数がfnである場合、周波数がfn以上、3fn未満の範囲に含まれる周波数成分の折り返し回数は「1」となり、3fn以上、5fn未満の範囲に含まれる周波数成分の折り返し回数は「2」となる。なお、「j2π」のjは虚数を表す(j2=−1)。
上記数式2は、折り返し周波数成分が復元された基準画像データにおける位置とその位置における画素値との関係を示しており、画像処理装置では、数式2を用いて基準画像データとその他の画像データとの位置変位量を求める。数式2の導出方法について説明する。なお、上記数式2は2次元フーリエ変換に対応している数式であるが、以下では、簡単のため、1次元フーリエ変換の場合を例に説明する。
まず、関数f(x)(基準画像データ)のフーリエ変換F(ω)(基準画像データの周波数領域のデータ)と、関数f(x)を離散化したf’(t)のフーリエ変換F’(ω)との間には下記の数式3に示す関係が成り立つ。
この数式から、F’(ω)は、F(ω)がωnの周期で繰り返されたものであることが分かる。なお、ωnは、サンプリング周波数fsまたはナイキスト周波数fnを用いて、下記の数式4で表すことができる定数である。また、ω0は、f(x)の周期T0を用いて下記の数式5で表される定数である。
ところで、フーリエ変換されたデータF(ω)から、もとのデータf(x)を復元する逆フーリエ変換は、下記の数式6で表される。ここで、逆フーリエ変換を行うときに、既知のシフト量(折り返し回数)kを加味して変換を行うことにより、下記の数式7が得られる。
上記数式7を用いることにより、ナイキスト周波数よりも周波数の低い領域に折り返されていたピークを、本来あるべき領域(ナイキスト周波数よりも高い周波数領域)に復元することができる。
上記数式7において、Ff(f)は、各周波数成分の振幅及び位相を表す複素数である。振幅及び位相は、設計データの周波数領域データの各周波数成分と、基準画像データの周波数領域データにおいて設計データの周波数領域データの各周波数成分と対応する周波数成分とを比較することによって求めることができる。そして、数式7において、fは周波数領域のデータにおけるピークの位置を示し、xは空間領域のデータにおける画素の位置を示している。
すなわち、関数f(x)は、空間領域のデータ、すなわち画像データにおいて、位置xの画素の画素値を示す関数である。なお、上記数式7において、fは、2fnによって正規化した値である。したがって、f=fi/2fnと書換えることにより、上記数式2を導くことができる。
ここで、折り返し周波数成分を本来あるべき位置に復元する方法についてより詳細に説明する。ここでは、折り返し周波数成分を本来あるべき位置に折り返す具体的な方法の説明に先立ち、折り返し周波数成分がどのようにして発生するかについて説明する。
まず、図6(a)(b)では、正の周波数領域のみのピークを示しているが、周波数領域データには、f=0を対称軸として負の周波数領域にもピークが存在する。具体的には、図7(a)に示すように、ピークf0〜f2に対してf0−〜f2−が存在する。図7(a)は、周波数領域のピークを表示した周波数領域データの一例を示す図である。
負の周波数領域にもピークが存在する理由について説明する。まず、空間領域データを周波数領域データに変換するフーリエ変換では下記の数式8を用いる。数式8においてf(t)は、撮像画像の画素値であり、実数である。そのため、F(ω)とF(−ω)とはそれぞれ数式9のように表される。すなわち、それぞれ虚数部の符号が逆転したF(ω)とF(−ω)とがフーリエ変換によって生じるので、図7(a)に示すように、f=0を対称軸として負の周波数領域にもピークが生じる。
ここで、F’(ω)は、F(ω)がωnの周期で繰り返されたものであるから、F(ω)のパターンにωn/2を超える周波数成分が含まれていない場合、F(ω)のパターンとF(ω)がωnだけシフトされたパターンとは、重なり合うことがない。一方、F(ω)のパターンにωn/2を超える周波数成分が含まれている場合、F(ω)のパターンとF(ω)がωnだけシフトされたパターンとが重なり合うことになり、このパターンの重なりによって周波数成分の折り返しが生じる。
これについて、図7(b)に基づいて説明する。図7(b)は、F(ω)のパターンとF(ω)がωnだけシフトされたパターンとが重なり合う状態を示す図である。同図では、F(ω)のパターンをP0で示し、F(ω)がωnだけシフトされたパターンをP1で示している。また、パターンP0に含まれるピークを、周波数の値が小さいほうから順に、f2−(0)、f1−(0)、f0−(0)、f0(0)、f1(0)、f2(0)で示し、同様に、パターンP1に含まれるピークを、それぞれf2−(1)、f1−(1)、f0−(1)、f0(1)、f1(1)、f2(1)で示している。
図示のように、パターンP0とP1とはその一部のパターンが重なり合っている。具体的には、パターンP0のピークf2(0)がパターンP1のf2−(1)とf1−(1)との間に食い込み、パターンP1のピークf2−(1)がパターンP0のf2(1)とf1(1)との間に食い込んでいる。
このように、F(ω)のパターンにωn/2を超える周波数成分が含まれている場合、パターンP0に本来含まれるべきピークf2(0)の代わりに、パターンP1に含まれるピークf2−(1)がパターンP0に含まれてしまう。ここで、ピークf2(0)とピークf2−(1)とは、強度が等しく、ωn/2に関して対称であるため、パターンP0に含まれるピークf2−(1)は、ピークf2(0)を、ωn/2を軸に低周波数側に折り返したかのように見える。
すなわち、折り返し周波数成分はこのようにして生じ、折り返しのある周波数領域データをそのまま逆フーリエ変換すると、本来F(ω)に含まれるピークf2(0)の代わりに、パターンP1のピークf2−(1)が空間領域データに変換されてしまい、エイリアシングやモアレ等が発生してしまう。
したがって、折り返し周波数成分を本来あるべき位置に折り返すということは、図7(b)に示すような、周期ωnで繰り返すパターンが互いに重なり合った周波数領域のデータを復元することになる。画像処理装置3では、この点に留意して折り返し周波数成分を本来あるべき位置に折り返している。
具体的には、折り返し回数が奇数回の場合にはf=0に関して対称な位置のピークの振幅及び位相の値をFf(f)として用い、折り返し回数が偶数回の場合にはそのままの値をFf(f)として用いる。例えば、図7(b)の例では、ピークf2の折り返し回数は1回であるから、f=0に関して対称な位置のピークの振幅及び位相の値をFf(f)として用いることになる。すなわち、この場合、Ff(f)の値としてピークf2の振幅及び位相の値と虚数部の符号が逆転したピークf2−の値を用いる。
このように、ωn/2以上の周波数成分においても、他のピークと重なりがなく、シフト量(折り返し回数)が既知であれば、折り返されていない状態に復元することができる。
ここで、図6(b)の例では、プロファイル生成部21は、ナイキスト周波数の位置から、周波数f2’及び周波数f3’がそれぞれ1回折り返された信号であることを認識することができる。したがって、プロファイル生成部21は、上記数式7にk=1を代入して得られる数式を輝度プロファイルとして設定する。なお、2次元フーリエ変換を行った場合には、上記数式2を用いる。プロファイル生成部21は、このようにして生成した輝度プロファイルを画像位置変位検出部22に送出する。
(基準画像データとその他の撮像画像データとの位置合わせ)
輝度プロファイルを受け取った画像位置変位検出部22は、基準画像データとその他の撮像画像データとの位置合わせを行う(S15)。まず、画像位置変位検出部22は、基準画像データに対するそれ以外の撮像画像データの位置変位量を領域ベースマッチング等によって検出する。なお、領域ベースマッチングには、折り返し周波数成分を復元した基準画像データ(輝度プロファイル)を用いるが、その他撮像画像データについては折り返し周波数成分を復元する必要はない。
輝度プロファイルを受け取った画像位置変位検出部22は、基準画像データとその他の撮像画像データとの位置合わせを行う(S15)。まず、画像位置変位検出部22は、基準画像データに対するそれ以外の撮像画像データの位置変位量を領域ベースマッチング等によって検出する。なお、領域ベースマッチングには、折り返し周波数成分を復元した基準画像データ(輝度プロファイル)を用いるが、その他撮像画像データについては折り返し周波数成分を復元する必要はない。
(領域ベースマッチングについて)
領域ベースマッチングは、注目領域のサイズや形状を任意に設定できること、注目画素に対して注目領域をオフセットできること、計算が直感的で直接的な実装が可能であることなどが特徴である。領域ベースマッチングで画像間の位置変位量を求めるときには、画素単位で離散的に得られる類似度の評価値を利用して変位を推定する方法が一般的に利用されている。
領域ベースマッチングは、注目領域のサイズや形状を任意に設定できること、注目画素に対して注目領域をオフセットできること、計算が直感的で直接的な実装が可能であることなどが特徴である。領域ベースマッチングで画像間の位置変位量を求めるときには、画素単位で離散的に得られる類似度の評価値を利用して変位を推定する方法が一般的に利用されている。
類似度は、画像間の相対的な位置関係を入力とし、その位置関係における画像間の類似度を出力とする関数で表すことができる。類似度としては、例えばSADを用いることができる。SADとは、輝度差の絶対値の和(Sum of Absolute Differences)を表す。ここで、対応位置を求める画像を、f(i,j)とg(i,j)とした場合、整数単位の変位(tx,ty)に対し、下記の数式10でSADを算出することができる。
なお、数式10において、Wは対応を求める注目領域を表す。SADは、画像が完全に一致したときに0になり、一致していないほど大きな値をとる。すなわち、SADは注目領域がどれだけ類似していないかを示す評価値であり、非類似度を示す評価値である。
また、領域ベースマッチングでは、SADの代わりに、下記の数式11で示すようなSSDを用いてもよい。SSDは、輝度差の絶対値の2乗和(Sum of Squared Differences)を表す評価値である。SSDもSADと同様に、画像が完全に一致したときに0になり、画像が一致していないほど大きな値をとる。したがって、SSDも非類似度を示す評価値といえる。
さらに、SADやSSDの代わりに、下記の数式12に示すような相関係数ZNCC(Zero-mean Normalized Cross-Correlation)を用いることもできる。ZNCCは、注目領域内の画素濃度を統計データと見なし、注目領域間の統計的な相関値を計算している。ZNCCは、値が大きいほど注目領域が一致していることを示す。すなわち、ZNCCは類似度を示す評価値である。
ここでは、領域ベースマッチングに好適な類似度の評価方法として、SAD,SSD,ZNCCを示した。厳密には、ZNCCは類似度を示し、SADやSSDは非類似度を示すが、以下の説明では、簡単のため、SADやSSD、ZNCCを「類似度」と表記する。
画像位置変位検出部22は、類似度を用いて、復元後の基準画像データ(輝度プロファイルで表される画像データ)とその他の撮像画像データとの位置合わせに必要なパラメータを推定する。このパラメータの数は、画像の変位モデルによって異なる。例えば、変位モデルが平行移動だけを想定している場合には2パラメータでよく、平面内での平行及び回転移動を想定している場合には3パラメータが必要となる。また、アフィン変換を想定している場合には6パラメータ、射影変換を想定している場合には8パラメータが必要となる。
これらのパラメータを推定する方法としては、例えば上記非特許文献1に開示されているNパラメータ同時推定法を用いればよい。Nパラメータ同時推定法では、領域ベースマッチングにおいて、上述のようなパラメータを推定する場合に、比較対象となる画像の参照領域に属する画素の輝度値を求めるための参照領域を変形させて類似度を求める。
参照領域を変形させて類似度を求める例について図8に基づいて説明する。同図(a)はその他の撮像画像データ41における参照領域の一例を示す図であり、同図(b)は基準画像データ42における参照領域の一例を示す図である。
同図(a)(b)では、マトリクス状に配列した正方形が各画像データにおける画素43を示している。そして、同図(a)では、長方形で示される領域がその他の撮像画像データ41において比較対象となる参照領域44であり、同図(b)では、台形で示される領域が基準画像データ42において比較対象となる参照領域45である。
図示のように、基準画像データの参照領域45は、その他の撮像画像データの参照領域44と形状が異なる。すなわち、基準画像データの参照領域45の形状は、その他の撮像画像データの参照領域44を所定のパラメータを用いて変形した形状である。そして、基準画像データの参照領域45に含まれる各画素の輝度値と、その他の撮像画像データの参照領域44に含まれる各画素の輝度値とからSSD等を用いて類似度を計算する。
ここで、数式10〜数式12に示すように、類似度は、ある画素の輝度値と、その画素に対応する画素の輝度値から算出される。すなわち、類似度は、画素単位の離散的な位置で値が決まる。したがって、数式10〜数式12に、ある画素の輝度値と、その画素に対応する画素の輝度値を代入して得られた類似度から画像間の対応位置関係を求めた場合、画素単位での位置変位量が求まることになる。
画像処理装置3では、画素単位よりもさらに精密に位置合わせを行うために、サブピクセル単位で位置合わせを行う。具体的には、画像位置変位検出部22が類似度値に基づいてサブピクセル部の輝度値を補間することによって、サブピクセル単位での位置変位量を求める。
一般的には、輝度値を求めたいサブピクセル部に隣接する画素の輝度値を用いて、サブピクセル部の輝度値を補間する。隣接する画素の輝度値を用いてサブピクセル部の輝度値を補間する例について、図9に基づいて説明する。図9は、サブピクセル部と画素との位置関係の一例を示す図である。
図9では、細い実線で描いた正方形は、それぞれ基準画像データの画素51a〜51dを示し、太い実線で描いた矩形は輝度値を求めたいサブピクセル部52を示している。サブピクセル部52の輝度値は、サブピクセル部52に隣接する画素51a〜51dの輝度値から、双線形補間(Bi-Linear補間)や3次補間(Bi-Cubic補間)等を用いて計算することができる。
しかしながら、撮像対象Pがナイキスト周波数以上の周波数成分を持つ場合、基準画像データのある断面における輝度値の変化が、例えば図10に示されるような輝度プロファイル61となることがある。図10は、基準画像データ上の位置とその位置における輝度値との関係の一例を示している。
図10の例において、位置a’にある画素と位置b’にある画素との中間位置c’にある画素(サブピクセル)の輝度値は、それぞれ輝度値VaとVbとから補間して求めることができる。ここで、例えば、線形補間を行った場合、位置c’の輝度値はVc’となる。しかしながら、位置c’における実際の輝度値はVcであり、線形補間によって得られた輝度値Vc’は、実際の輝度値Vcと大きく異なる値となっていることがわかる。
ここで、図10において、輝度プロファイル61が予め分かっていれば、この輝度プロファイル61に基づいてサブピクセル部の輝度値を正確に求めることができる。画像位置変位検出部22は、プロファイル生成部21が生成した輝度プロファイル、すなわち数式2を用いることによって、例えば位置c’の画素のようなサブピクセル部の輝度値を精度良く算出することができる。
画像位置変位検出部22は、基準画像データの参照領域(変形された参照領域)に対応する、その他の画像の参照領域における画素の輝度値をサブピクセルレベルで計算する。なお、この輝度プロファイルを利用した補間演算は、輝度値を求めたい画素(サブピクセル)に対し、その画素の周囲に存在する画素の位置、及び周囲に位置する画素の輝度値を用いて行う。
例えば、図9の例において、輝度値を求めるサブピクセル部52の位置を(x,y)とすると、それらの周囲にある画素51a〜51dの位置は、それぞれ(floor(x),floor(y))、(floor(x),ceil(x)、(ceil(x),floor(y))、(ceil(x),ceil(y))と表すことができる。なお、floor(x)は、xの小数点以下を切り捨てた整数を指し、ceil(x)は、xの小数点以下を切り上げた整数を指す。
このとき、位置(x,y)の輝度値は、例えば下記の数式13によって求めることができる。数式13において、V(i,j)は位置(i,j)の画素の輝度値であり、Vp(i,j)は、輝度プロファイルから計算される輝度値である。そして、p(i,j)は、基準画像データの各画素が位置(x,y)の画素(サブピクセル部52)に対して占める割合を示している。例えば、図9において、画素51cに対するp(i,j)の値は、サブピクセル部52と画素51cとが重なる面積をサブピクセル部52の面積で割った値となる。
数式13では、サブピクセル部の輝度値を、実際の基準画像データにおける輝度値と輝度プロファイルの輝度値との誤差と、輝度プロファイルの輝度値との和として計算している。すなわち、数式13の右辺第1項は、位置(x,y)における誤差を表している。ここでは、(x,y)の近傍の画素(例えば図9の画素51a〜51d)における実際の輝度値V(i,j)と、輝度プロファイルの輝度値Vp(i,j)との誤差(V(i,j)−Vp(i,j))に、割合として面積p(i,j)を積算したものを用いている。そして、右辺第2項Vp(x,y)は、輝度プロファイルから求めた、位置(x,y)における輝度値を表している。
なお、p(i,j)は、サブピクセル部に対してある画素が占める面積の割合を示しているので、p(i,j)は総和が1になるように設定する必要がある。したがって、上記数式13の代わりに、例えば下記の数式14を用いてもよい。
また、サブピクセル部の輝度値を求める場合、サブピクセル部は画素と画素との間に位置しているので、上記数式13の(i,j)に、1未満の端数を含む値を代入することになる。これに対し、(i,j)がそれぞれ整数であれば、上記数式13で算出される輝度値は、基準画像データの画素の輝度値に等しくなる。これは、i、jがそれぞれ整数である場合、ceil(i)=floor(i)=i、ceil(j)=floor(j)=jとなるので、上記数式13は、下記の数式15のようになるからである。
(位置合わせ精度)
このように、画像処理装置3では、各画素の輝度値をサブピクセルレベルで精度良く求めることができるので、非特許文献1に示されたNパラメータ同時推定法等のレジストレーション手法を適用することも可能となる。ここでは、画像処理装置3における位置合わせ精度が、従来技術と比べてどの程度優れているかについて説明する。
このように、画像処理装置3では、各画素の輝度値をサブピクセルレベルで精度良く求めることができるので、非特許文献1に示されたNパラメータ同時推定法等のレジストレーション手法を適用することも可能となる。ここでは、画像処理装置3における位置合わせ精度が、従来技術と比べてどの程度優れているかについて説明する。
非特許文献1には、白黒のサンプル画像に対して、注目領域(参照領域)を50×50[画素]として、3パラメータ同時推定法で位置合わせを行う例が示されている(同文献の第92頁等に記載)。同文献によれば、このときのサブピクセル単位での推定誤差は、撮像画像データの画素の±1[%]程度である(同文献の図15参照)。
これに対し、本発明の画像処理装置3では、参照領域のサイズが17×17[画素]以上の場合に、上記非特許文献1の技術と同程度の推定誤差を実現することができた。
〔実施の形態2〕
本発明の他の実施形態について図11〜図13に基づいて説明する。なお、上述の実施形態と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
本発明の他の実施形態について図11〜図13に基づいて説明する。なお、上述の実施形態と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
本実施形態の画像処理装置は、位置決め用のマークを付した設計データを用い、そのマークに基づいて画像の位置合わせを行う構成である。したがって、図1に示す画像処理装置3と比べてプロファイル生成部21の動作が異なっている。
また、本実施形態では、撮像対象Pの代わりに撮像対象P’を用いる。撮像対象P’には、マークが付されている点が撮像対象Pと異なる。撮像対象P’について図11に基づいて説明する。図11は、撮像対象P’の一例を示す平面図である。図示のように、撮像対象P’は、長方形状の表示パネル部72と、表示パネル部72の周囲に沿って形成されたフレーム部73とから成る。
また、図示のように、フレーム部73の左上の角及び右下の角には、マーク71が付されている。表示パネル部72は、画像を表示するものであるから、表示パネル部72にマーク71を付けることは好ましくない。そのため、本実施形態では、フレーム部73にマーク71を設けている。
なお、ここでは、十字形状のマーク71を付した例を示しているが、マークの形状は十字形状に限られない。また、マークを付す位置、マークの数についても、図示の例に限られない。マークの好ましい数、形状、位置等については後述する。
そして、設計データにも、撮像対象P’と同じ位置にマークが付されている。すなわち、画像処理装置3では、設計データに記されたマークと、撮像対象P’を撮像して得られた基準画像データに写ったマークとについて、パターンマッチング等の処理を行うことによって設計データと基準画像データとの位置及びサイズを合わせる。
この方法によれば、撮像装置2の撮像面と撮像対象P’の被撮像面とが平行から大きく外れた位置関係で撮像された基準画像データを用いた場合であっても、基準画像データに対する設計データの位置を検出することができる。
すなわち、撮像装置2の撮像面と撮像対象P’の被撮像面とが平行から外れた位置関係で撮像が行われた場合、撮像対象P’の被撮像面のうち、撮像装置2の撮像面に近い部分は大きく、遠い部分は小さく写ることになる。ゆえに、このような場合の基準画像データでは、撮像装置2の撮像面に近い部分と遠い部分とで繰り返しパターンの周波数が変化してしまい、一定の繰り返しパターンを有する設計データとの位置合わせが困難となる場合がある。
これに対し、マークを用いて位置合わせを行う上記方法によれば、撮像装置2の撮像面と撮像対象P’の被撮像面とが平行から外れた位置関係で撮像が行われた場合であっても、正確に位置合わせを行うことができる。
(マークを用いて位置合わせを行う方法)
マークを用いて位置合わせを行う方法について、図12に基づいて説明する。図12は、マークを付した設計データ81と、撮像対象P’を撮像して得られた基準画像データ82との位置合わせを行う様子を示す図である。ここでは、設計データ81と基準画像データ82とのずれが、平行移動(x,y)、同面内おける回転(θ)、サイズ(s)の4つのパラメータで表せる場合の例について説明する。
マークを用いて位置合わせを行う方法について、図12に基づいて説明する。図12は、マークを付した設計データ81と、撮像対象P’を撮像して得られた基準画像データ82との位置合わせを行う様子を示す図である。ここでは、設計データ81と基準画像データ82とのずれが、平行移動(x,y)、同面内おける回転(θ)、サイズ(s)の4つのパラメータで表せる場合の例について説明する。
図示のように、設計データ81の左上隅及び右下隅にはマーク83が付されている。また、基準画像データ82にはマーク84が写っている。マーク84は、撮像対象P’に付されているマーク71が撮像されたものである。なお、設計データ81におけるマーク83の位置(例えば位置座標)は、予め取得しておく。また、基準画像データ82におけるマーク84の位置(位置座標)は、設計データ81と基準画像データ82とのパターンマッチング等によって求めることができる。
このように、マークは、基準画像データと設計データとのパターンマッチングに用いるためのものである。したがって、パターンマッチングが可能な形状であればどのような形状のマークを用いてもよい。例えば、○や×といった記号をマークとしてもよいし、文字等をマークとしてもよい。
また、撮像対象P’の特徴点をマークとしてパターンマッチングを行ってもよい。特徴点としては、例えば色、形状等が他の部位と異なる点を選択すればよい。例えば、図12の例では、設計データ81の4隅の角を特徴点とし、設計データ81の4隅の角と、基準画像データ82の4隅の角とをパターンマッチングして設計データ81と基準画像データ82との位置合わせを行ってもよい。撮像対象P’の特徴点をマークとする場合、撮像対象P’や設計データにマークを付ける必要が無いというメリットがある。
ここで、対応関係にあるマークの座標数の総和が位置合わせに用いるパラメータより多くあり、それらからパラメータ数よりも多い互いに独立な方程式を立てることができれば、基準画像データにおけるパターン画像の位置及びサイズの差は一意に求めることができる。
例えば、図12の例では、2つのマーク83及び2つのマーク84の、合計4つのマークの位置がわかっている。ここで、求めるパラメータは、平行移動(x,y)、同面内おける回転(θ)、サイズ(s)の4つである。したがって、この4つのマークそれぞれの位置を示す位置座標から、互いに独立な4つの方程式を立てることができれば、4つのパラメータを全て求めることができる。
なお、導かれる連立方程式の数がパラメータ数よりも多い場合には、それらの連立方程式を最も良く満たす解を最小二乗法等の数値解法によって求めればよい。また、このように、マークを用いて位置合わせを行う場合には、フーリエ変換を用いる必要はない。
(マークを用いて位置合わせを行う場合の位置合わせ処理の流れ)
マークを用いて位置合わせを行う場合の位置合わせ処理の流れについて、図13に基づいて説明する。図13は、位置合わせ処理の一例を示すフローチャートである。
マークを用いて位置合わせを行う場合の位置合わせ処理の流れについて、図13に基づいて説明する。図13は、位置合わせ処理の一例を示すフローチャートである。
プロファイル生成部21は、基準画像設定部20から基準画像データを受け取ると、マークを用いて基準画像データに対する設計データの位置を検出する(S21)。具体的には、プロファイル生成部21は、パターンマッチング等の手法を用いて、基準画像データのマーク位置と設計データのマーク位置との対応関係を調べる。そして、プロファイル生成部21は、設計データの位置及びサイズを基準画像データと合うように修正する。
続いて、プロファイル生成部21は、設計データに基づいて撮像対象P’の輝度プロファイルを作成する(S22)。具体的には、プロファイル生成部21は、位置及びサイズ修正後の設計データと、基準画像データとをそれぞれ周波数領域のデータに変換する。
そして、プロファイル生成部21は、設計データの周波数領域のデータと、基準画像データの周波数領域のデータとに基づいて撮像対象P’の輝度プロファイルを作成する。輝度プロファイルの作成方法としては、例えば設計データの周波数領域のデータと、基準画像データの周波数領域のデータとを比較し、設計データの主周波数における値を基準画像の該当する周波数成分の値とすることで数式として求めることができる。
具体的には、まず、プロファイル生成部21は、設計データの周波数領域のデータから主要な周波数成分を抽出すると共に、抽出した主要な周波数成分のそれぞれに対応する基準画像データの周波数領域のデータにおける周波数成分を抽出する。そして、プロファイル生成部21は、基準画像データの周波数領域のデータから抽出した周波数成分と、その周波数成分に対応する設計データの周波数領域のデータから抽出した周波数成分とを入れ替えることによって輝度プロファイルを作成する。
また、設計データの輝度値と基準画像データの輝度値とがほぼ同等である場合、プロファイル生成部21は、マークを用いて基準画像データと設計データとの位置合わせを行った後、位置合わせ後の設計データをそのまま輝度プロファイルとして用いてもよい。この場合、周波数領域への変換の必要がなく、簡単な処理にてプロファイルを作成することができる。
なお、基準画像データの輝度値とほぼ同等の輝度値を有する設計データを取得するためには、例えば基準画像を十分な大きさに拡大して撮像したものを設計データとすればよい。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、画像処理装置3の各ブロック、特に位置合わせ部12は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、画像処理装置3は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置3の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置3に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、画像処理装置3を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明の画像処理装置によれば、ナイキスト周波数以上の周波数成分を含む撮像対象を撮像した場合であっても、撮像画像の位置合わせを高精度に行うことができるので、様々な画像の高解像度化に用いることができ、特に、製品の検査工程にて撮像された画像の高解像度化に好適に利用できる。
1 検査システム(画像処理システム)
2 撮像装置
3 画像処理装置
4 駆動装置
11 記憶部
12 位置合わせ部(位置合わせ装置)
13 超解像処理部(超解像処理装置)
16 外部装置制御部
17 撮像画像保存部
18 設計データ保存部
19 高解像度画像保存部
20 基準画像設定部
21 プロファイル生成部(折り返し成分抽出手段)
22 画像位置変位検出部(位置変位量検出手段)
2 撮像装置
3 画像処理装置
4 駆動装置
11 記憶部
12 位置合わせ部(位置合わせ装置)
13 超解像処理部(超解像処理装置)
16 外部装置制御部
17 撮像画像保存部
18 設計データ保存部
19 高解像度画像保存部
20 基準画像設定部
21 プロファイル生成部(折り返し成分抽出手段)
22 画像位置変位検出部(位置変位量検出手段)
Claims (9)
- 同一の撮像対象を撮像して得られた複数の画像間の位置変位量を求め、求めた位置変位量に基づいて上記複数の画像の位置合わせを行う画像位置合わせ方法であって、
上記複数の画像の中から選択した基準画像を周波数領域に変換した撮像周波数成分と、撮像対象の被撮像面の設計形状を示す設計周波数成分とを比較して、上記撮像対象を撮像した撮像装置のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出する折り返し成分抽出ステップと、
上記折り返し成分抽出ステップにて折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出ステップと、を含むことを特徴とする画像位置合わせ方法。 - 上記折り返し成分抽出ステップにて抽出した周波数成分を、上記ナイキスト周波数を軸として、撮像周波数成分のナイキスト周波数よりも高い周波数領域に折り返した位置合わせ用基準データを生成する基準画像再構成ステップを含むことを特徴とする請求項1に記載の画像位置合わせ方法。
- 上記複数の画像の中から選択した基準画像の特徴点と、撮像対象の被撮像面の設計形状を示す設計画像データの特徴点とを比較し、上記設計画像データの位置及びサイズを上記基準画像に合わせた補正設計画像データを周波数領域に変換した設計周波数成分を生成する設計周波数成分生成ステップと、
上記折り返し成分抽出ステップにて抽出した周波数成分を撮像周波数成分から除くとともに、設計周波数成分におけるナイキスト周波数以上の周波数成分を撮像周波数成分に追加して位置合わせ用基準データを生成する基準画像再構成ステップを含むことを特徴とする請求項1に記載の画像位置合わせ方法。 - 同一の撮像対象を撮像して得られた複数の画像間の位置変位量を求め、求めた位置変位量に基づいて上記複数の画像の位置合わせを行う画像位置合わせ方法であって、
上記複数の画像の中から選択した基準画像の特徴点と、撮像対象の被撮像面の設計形状を示す設計画像データの特徴点とを比較して、上記基準画像と上記設計画像データとの位置ずれ及びサイズの差を検出し、上記検出した位置ずれ及びサイズの差に基づいて、上記設計画像データの位置及びサイズを上記基準画像に合わせて、位置合わせ用基準データを生成する基準画像再構成ステップと、
上記位置合わせ用基準データに対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出ステップと、を含むことを特徴とする画像位置合わせ方法。 - 上記設計周波数成分は、周波数値が等間隔の複数の周波数成分より成り、
上記折り返し成分抽出ステップでは、撮像周波数成分において周波数成分の周波数値の間隔が等間隔でない周波数成分を抽出することを特徴とする請求項1から3の何れか1項に記載の画像位置合わせ方法。 - 同一の撮像対象を撮像して得られた複数の画像間の位置変位量を求め、求めた位置変位量に基づいて上記複数の画像の位置合わせを行う画像位置合わせ装置であって、
上記複数の画像の中から選択した基準画像を周波数領域に変換した撮像周波数成分と、撮像対象の被撮像面の設計形状を示す設計周波数成分とを比較して、上記撮像対象を撮像した撮像装置のナイキスト周波数よりも低い周波数成分について、撮像周波数成分から対応する設計周波数成分がない周波数成分を抽出する折り返し成分抽出手段と、
上記折り返し成分抽出ステップにて折り返し周波数成分を抽出した撮像周波数成分に対する上記基準画像以外の各画像の位置変位量を求める位置変位量検出手段と、を備えていることを特徴とする画像位置合わせ装置。 - 請求項6に記載の画像位置合わせ装置と、
撮像対象を撮像する撮像装置と、
上記画像位置合わせ装置が求めた複数の画像間の位置変位量に基づいて、当該複数の画像から1つの高解像度画像を生成する超解像処理装置とを備えていることを特徴とする画像処理システム。 - 請求項6に記載の画像位置合わせ装置の各手段としてコンピュータを機能させるための制御プログラム。
- 請求項8に記載の画像位置合わせ装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007073654A JP2008234362A (ja) | 2007-03-20 | 2007-03-20 | 画像位置合わせ方法、画像位置合わせ装置、画像処理システム、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007073654A JP2008234362A (ja) | 2007-03-20 | 2007-03-20 | 画像位置合わせ方法、画像位置合わせ装置、画像処理システム、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008234362A true JP2008234362A (ja) | 2008-10-02 |
Family
ID=39907055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007073654A Pending JP2008234362A (ja) | 2007-03-20 | 2007-03-20 | 画像位置合わせ方法、画像位置合わせ装置、画像処理システム、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008234362A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018117022A1 (ja) * | 2016-12-20 | 2018-06-28 | 株式会社資生堂 | 塗布制御装置、塗布装置、塗布制御方法および記録媒体 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002174564A (ja) * | 2000-12-06 | 2002-06-21 | Hitachi Ltd | ディスプレイ装置の画質定量評価方法並びにディスプレイ装置 |
-
2007
- 2007-03-20 JP JP2007073654A patent/JP2008234362A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002174564A (ja) * | 2000-12-06 | 2002-06-21 | Hitachi Ltd | ディスプレイ装置の画質定量評価方法並びにディスプレイ装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018117022A1 (ja) * | 2016-12-20 | 2018-06-28 | 株式会社資生堂 | 塗布制御装置、塗布装置、塗布制御方法および記録媒体 |
KR20190099228A (ko) * | 2016-12-20 | 2019-08-26 | 가부시키가이샤 시세이도 | 도포 제어 장치, 도포 장치, 도포 제어 방법 및 기록매체 |
CN110191661A (zh) * | 2016-12-20 | 2019-08-30 | 株式会社资生堂 | 涂布控制装置、涂布装置、涂布控制方法以及记录介质 |
US20190307231A1 (en) * | 2016-12-20 | 2019-10-10 | Shiseido Company, Ltd. | Application control device, application device, application control method and storage medium |
JPWO2018117022A1 (ja) * | 2016-12-20 | 2019-10-24 | 株式会社 資生堂 | 塗布制御装置、塗布装置、塗布制御方法および記録媒体 |
EP3560375A4 (en) * | 2016-12-20 | 2020-07-15 | Shiseido Company, Ltd. | APPLICATION CONTROL DEVICE, APPLICATION DEVICE, APPLICATION CONTROL METHOD AND RECORDING MEDIUM |
US10799009B2 (en) | 2016-12-20 | 2020-10-13 | Shiseido Company, Ltd. | Application control device, application device, application control method and storage medium |
CN110191661B (zh) * | 2016-12-20 | 2022-07-05 | 株式会社资生堂 | 涂布控制装置、涂布装置、涂布控制方法以及记录介质 |
KR102555594B1 (ko) | 2016-12-20 | 2023-07-14 | 가부시키가이샤 시세이도 | 도포 제어 장치, 도포 장치, 도포 제어 방법 및 기록매체 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rajan et al. | Simultaneous estimation of super-resolved scene and depth map from low resolution defocused observations | |
JP4814840B2 (ja) | 画像処理装置又は画像処理プログラム | |
JP4468442B2 (ja) | イメージングシステム性能測定 | |
TWI298466B (en) | Computing a higher resolution image from multiple lower resolution images using model-based, robust bayesian estimation | |
US9552641B2 (en) | Estimation of shift and small image distortion | |
JP5645051B2 (ja) | 画像処理装置 | |
JP5238220B2 (ja) | 解像度変換装置、方法およびプログラム | |
US20130084027A1 (en) | Image processing apparatus | |
JP2011188083A (ja) | 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置 | |
JP5500163B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
JP6025467B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4699406B2 (ja) | 画像処理装置、画像処理方法、画像処理装置制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP5242248B2 (ja) | 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び、記録媒体 | |
JP2010034696A (ja) | 解像度変換装置、方法およびプログラム | |
Punnappurath et al. | Rolling shutter super-resolution | |
JP2009237650A (ja) | 画像処理装置及び撮像装置 | |
JP2008234362A (ja) | 画像位置合わせ方法、画像位置合わせ装置、画像処理システム、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2012003469A (ja) | 画像処理プログラム、画像処理装置および撮像装置 | |
EP4147193B1 (en) | Acquiring a digital image of an image content | |
US20130155272A1 (en) | Image processing device, imaging device, and image processing method | |
JP5055571B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
KR102135961B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
Patil et al. | Interpolation for super resolution imaging | |
CN101364303B (zh) | 边缘像素提取及处理方法 | |
JP2009187138A (ja) | 対応点探索装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110322 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110719 |