JP2004038884A - 代表点計測に基づく画像歪み補正方法、画像歪み補正装置及び画像歪み補正プログラム - Google Patents
代表点計測に基づく画像歪み補正方法、画像歪み補正装置及び画像歪み補正プログラム Download PDFInfo
- Publication number
- JP2004038884A JP2004038884A JP2002198885A JP2002198885A JP2004038884A JP 2004038884 A JP2004038884 A JP 2004038884A JP 2002198885 A JP2002198885 A JP 2002198885A JP 2002198885 A JP2002198885 A JP 2002198885A JP 2004038884 A JP2004038884 A JP 2004038884A
- Authority
- JP
- Japan
- Prior art keywords
- image
- measurement
- representative point
- dimensional
- measurement representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 219
- 238000012937 correction Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013213 extrapolation Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 78
- 238000006073 displacement reaction Methods 0.000 claims description 76
- 230000008569 process Effects 0.000 claims description 21
- 230000001502 supplementing effect Effects 0.000 claims 1
- 238000011156 evaluation Methods 0.000 description 46
- 238000007689 inspection Methods 0.000 description 32
- 238000006243 chemical reaction Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 21
- 230000002950 deficient Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】本発明は、基準画像と比較画像の間で、対応する計測代表点でのパターンマッチングによって計測されたずれ量を補間処理することにより、滑らかに変化する歪みパターンを短い時間で算出する画像歪み補正方法の提供を目的とする。
【解決手段】本発明の画像歪み補正方法は、補正対象画像範囲の周辺に計測代表点以外の補助代表点を設定し、補助代表点でのずれ量を、近傍の計測代表点で計測されたずれ量から外挿により補填し、補正対象画像範囲の全領域を、補正対象画像範囲に設けられた計測代表点又は補助代表点を頂点とした３角形又は４角形にくまなく分割し、３角形又は４角形内でのずれ量を、当該３角形又は４角形の頂点に関連したずれ量から線形補間により算出する。
【選択図】 図１
【解決手段】本発明の画像歪み補正方法は、補正対象画像範囲の周辺に計測代表点以外の補助代表点を設定し、補助代表点でのずれ量を、近傍の計測代表点で計測されたずれ量から外挿により補填し、補正対象画像範囲の全領域を、補正対象画像範囲に設けられた計測代表点又は補助代表点を頂点とした３角形又は４角形にくまなく分割し、３角形又は４角形内でのずれ量を、当該３角形又は４角形の頂点に関連したずれ量から線形補間により算出する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像による検査システム及び識別システム、特に、良品画像と検査画像の比較による欠陥検出システム、及び、基準画像と比較画像の比較による対象識別システムにおいて、良品画像と検査画像の間、または、基準画像と比較画像の間に、歪みパターンが存在する場合の画像歪み補正方法に関する。
【０００２】
【従来の技術】
従来の画像歪み補正手段としては、主にレンズの収差や透視投影効果による光学系歪みを、数式で表現して補正するという方法が知られている。この方法は、再現性があり数式表現が可能な対象については有効であるが、撮影対象の個体毎に違いがあるため再現性がない対象、或いは、不規則な歪みのため数式表現が不可能な対象については適応できない。
【０００３】
再現性や規則性が無い画像歪みに関しては、画像を格子状に分割し各矩形内で２次元ずれ量を決定するという方法が取られている。しかしながら、画像中で位置ずれ計測に適した箇所は限定されているので、画像の矩形分割ではずれ計測点を設定できない場合が多い。
【０００４】
画像の矩形分割ではうまくいかない場合、計測代表点を位置ずれ計測に適した箇所に不規則に配置し、各代表点の近傍毎または代表点で構成される三角形毎に補正を行う方法もある。しかしながら、代表点の設定そのものが難しく、上記のように位置ずれ計測に適した箇所が限定されているという制限は依然として存在する。更に、補正対象画像毎に歪みパターンが異なるため、事前に固定的な補正式または補正テーブルを準備することができず、一般に処理負荷が大きい。
【０００５】
【発明が解決しようとする課題】
数式表現を用いる従来の画像歪み補正手段は、個体毎の違いがある対象、或いは、数式表現が不可能な対象には適応できない。
【０００６】
例えば、柔軟性のある基材上に構成する電子回路基板では、加工中の基材の伸縮変形により不規則な歪みが発生する。また、ラインスキャンカメラで対象を撮影する場合には、搬送系の速度にムラがあると、撮影対象物が安定していても画像の伸縮となって現れ、画像歪みを引き起こす。
【０００７】
これらの不規則な画像歪みに関しては、代表点で位置ずれを計測し各代表点の近傍毎に補正を行うか、代表点でのずれ量を補間して歪みパターンを決定することになる。しかしながら、２次元の位置ずれ計測に適した箇所は限定されているという問題もあり、代表点の設定は難しい作業である。また、毎回異なる歪みパターンのため、補正処理の演算量が大きくなるという問題もある。
【０００８】
そこで、本発明は、位置ずれ計測に適切な箇所に代表点を自動的に配置することができ、代表点における位置ずれ量から画像全体でなめらかに変化する歪みパターンを、少ない処理時間で生成できる、画像歪み補正方法の提供を目的とする。
【０００９】
代表点に関しては、各代表点で２次元の位置ずれ計測ができるのが望ましいが、現実には画像中に２次元計測に適切な箇所は少ない場合が多い。そこで、本発明は、２次元位置ずれ計測点の他に１次元位置ずれ計測点も配置できるような代表点自動配置を実現し、２次元位置ずれ計測点と１次元位置ずれ計測点の計測結果を組み合わせて、画像全体の歪みパターンを決定できる、画像歪み補正方法の提供を目的とする。
【００１０】
従来の代表点における位置ずれ量から画像全体の歪みパターンを決定する手法は、検査画像または比較画像の一部の計測代表点に欠陥が発生したり、一部の計測代表点が異物で遮られたりして、ずれ計測に失敗すると歪みパターンを決定できない。そこで、本発明は、一部のずれ計測代表点で位置ずれ計測に失敗しても、失敗を検出し、周辺の計測点から、位置ずれ計測に失敗した計測代表点のずれ量を補填することができる、画像歪み補正方法の提供を目的とする。
【００１１】
本発明は、さらに、上記画像歪み補正方法を実現する画像歪み補正装置の提供を目的とする。
【００１２】
また、本発明は、上記画像歪み補正方法をコンピュータに実行させるための画像歪み補正プログラムの提供を目的とする。
【００１３】
【課題を解決するための手段】
上記本発明の目的を達成するため、本発明の第１の局面によれば、基準画像に対する比較画像の歪みパターンを、対応する計測代表点でのパターンマッチングによって計測されたずれ量から補間処理により算出する、画像歪み補正方法が提供される。この画像歪み補正方法は、
補正対象画像範囲の周辺に計測代表点以外の補助代表点を設定し、
補助代表点でのずれ量を、近傍の計測代表点で計測されたずれ量から外挿により補填し、
補正対象画像範囲の全領域を、補正対象画像範囲に設けられた計測代表点又は補助代表点を頂点とした３角形又は４角形にくまなく分割し、
３角形又は４角形内でのずれ量を、当該３角形又は４角形の頂点に関連したずれ量から線形補間により算出する、
ことを特徴とする画像歪み補正方法である。
【００１４】
さらに、本発明の画像歪み補正方法において、
上記計測代表点として、画像内の２方向の２次元ずれ量を計測する２次元タイプと、縦方向の１次元ずれ量を計測する縦方向タイプと、横方向の１次元ずれ量を計測する横方向タイプと、右下がり斜め方向の１次元ずれ量を計測する右下がり斜め方向タイプと、右上がり斜め方向の１次元ずれ量を計測する右上がり斜め方向タイプのうちのいずれかの種別の計測代表点を設定し、
各種別の計測代表点でのずれ量を組み合わせて、画像全体での歪みパターンを決定する。
【００１５】
さらに、本発明の画像歪み補正方法において、
計測代表点は、基準画像の局所領域の画像特徴に基づき、パターンマッチングに最適な位置と種別を決定し、自動的に配置される。
【００１６】
さらに、本発明の画像歪み補正方法において、
計測代表点でのパターンマッチングの結果が所定の基準を満たすかどうかを判定し、
パターンマッチングの結果が所定の基準を満たさない計測代表点のずれ量を、当該計測代表点の近傍の計測代表点でのずれ量から補填し、
これにより、画像全体の歪みパターンを決定する。
【００１７】
さらに、本発明の画像歪み補正方法において、
画像全体の歪みパターンは、画像の小領域毎の２次元ずれ量によって表現され、
画像の小領域毎に、小領域内の２次元ずれ量と、小領域の中心位置を囲む３角形の頂点に対応した計測代表点又は補助代表点の識別番号と、該３角形の頂点に対応した計測代表点又は補助代表点から該小領域のずれ量を算出するための補間係数と、を関連付けて保持している。計測代表点又は補助代表点の識別番号と補間係数は、計測代表点又は補助代表点の設定時に予め算出し設定することにより、補正実行時には計測代表点又は補助代表点のずれ量から、画像の小領域毎の２次元ずれ量を少ない演算量で算出できる。
【００１８】
上記本発明の目的を達成するため、本発明の第１の局面によれば、基準画像と比較画像との歪みパターンを、計測代表点でのパターンマッチングによるずれ量計測結果から補間処理により算出する、画像歪み補正装置が提供される。本発明の画像歪み補正装置は、計測代表点に加え画像周辺と画像４隅に補助代表点を追加し補助代表点でのずれ量は近傍の計測代表点でのずれ量から外挿により補填したうえで、画像の全領域を計測代表点または補助代表点により構成される３角形によりくまなく分割し、３角形内のずれ量を３個の計測代表点のずれ量から線形補間により算出することを特徴とする。
【００１９】
また、本発明の画像歪み補正装置は、上記計測代表点としては、２次元ずれ量を計測する２次元計測代表点と、縦方向のみ、横方向のみ、右下がり斜め方向のみ、右上がり斜め方向のみの１次元ずれ量を計測する４種類の１次元代表点を任意の個数設定し、各種別の代表点でのずれ量を組み合わせて、画像全体での歪みパターンを決定する。
【００２０】
また、本発明の補正歪み補正装置は、上記計測代表点を、基準画像の局所領域の画像特徴に基づき、パターンマッチングに最適な位置と代表点種別を決定し、自動的に配置する。
【００２１】
また、本発明の補正歪み補正装置は、上記代表点でのパターンマッチングが、基準画像と比較画像との画像特徴変化により失敗する場合に、基準画像と比較画像の代表点近傍における輝度値変動量の相違、または基準画像と比較画像の代表点のマッチング度合により失敗を検出し、パターンマッチングに失敗した代表点のずれ量を、該当代表点の近傍の１個ないし３個の計測代表点でのずれ量から補填したうえで、画像全体の歪みパターンを決定する。
【００２２】
さらに、本発明の補正歪み補正装置において、上記歪みパターンは、画像全体を小矩形に分割したうえで、各矩形内の２次元ずれ量は一定値とするずれ量テーブルの形で保持し、画像中の任意の位置でのずれ量はテーブル参照により素早く参照できるとともに、ずれ量テーブルには、該当矩形の中心位置を囲む３個の代表点番号と代表点３点から各小矩形のずれ量を算出するための補間係数をずれ変換テーブルとして付随させ、代表点番号と補間係数は代表点設定時に算出しておき、補正実行時には代表点のずれ量からずれ量テーブルを少ない演算量で作成できる。
【００２３】
【発明の実施の形態】
〔構成〕
本発明の第１実施例による画像歪み補正システムの構成を図１に示す。本発明の第１実施例による画像歪み補正システムは、画像歪み補正装置１と、画像取得部２と、操作指示部３と、結果表示部４と、結果蓄積部５と、を含む。画像歪み補正装置１は、外部の画像取得部２より受け取った基準画像または良品画像を用いて、位置ずれ計測に適切な箇所に計測代表点を配置する代表点配置処理部１０と、代表点の位置ずれ量を画像の各位置でのずれ量に変換するテーブルを作成するずれ変換テーブル作成処理部２０と、画像取得部２より受け取った比較画像または検査画像中の代表点での位置ずれを計測し計測失敗点のずれ量を補填した上でずれ量テーブルを作成する歪み計測処理部３０とを含む。また、画像歪み補正装置１は、代表点配置データ４１と、ずれ変換テーブル４２と、ずれ量テーブル４３を蓄える内部記憶部４０が付随する。
【００２４】
画像歪み補正装置１は、外部の操作指示部３より操作指示を受け付け、処理結果を外部の結果表示部４及び結果蓄積部５へ出力する。
【００２５】
〔代表点配置処理部〕
図２は、本発明の第１実施例による代表点配置処理部の説明図である。歪みパターン決定のためにずれ量を計測する計測代表点としては、たとえば、直交する２方向のずれ量を計測する２次元計測点、並びに、縦方向のみの１方向のずれ量を計測する１次元計測点、横方向のみの１方向のずれ量を計測する１次元計測点、右下がり斜め方向のみの１方向のずれ量を計測する１次元計測点、及び、右上がり斜め方向のみの１方向のずれ量を計測する１次元計測点、の４種類の１次元計測点を用いる。代表点配置処理部１０は、図２に示すように、評価画像作成部１２と代表点位置決定部１４から構成される。評価画像作成部１２で、良品画像または基準画像の局所領域の画像特徴に基づき、２次元配置評価画像１３１と４種類の１次元配置評価画像、すなわち、縦方向１次元配置評価画像１３２、横方向１次元配置評価画像１３３、右下がり斜め方向１次元配置評価画像１３４及び右上がり斜め方向１次元配置評価画像１３５を作成する。これにより、たとえば、特定の局所的な画像特徴が存在する画素位置に高い評価点が与えられた画像が得られる。代表点位置決定部１４は、画像の評価値の高い箇所に順次計測代表点を配置する。
【００２６】
計測代表点を設定したら、ずれ量計測エリアの良品画像または基準画像を切り出し、位置ずれ計測テンプレートとして保存しておく。このときテンプレート画像の画素値の標準偏差も算出し保存する。また、各位置ずれ計測代表点は、想定されるずれ量に対応して探索範囲を設定しておく。代表点配置データ４１には、代表点位置、位置ずれ計測テンプレート、探索範囲などが含まれる。 〔ずれ変換テーブル作成処理部〕
【００２７】
ずれ変換テーブル４２は、不規則に配置された計測代表点での２次元ずれ量を、画像を小さな矩形に分割した所定の小領域の２次元ずれ量に変換するためのテーブルである。各小領域内の２次元ずれ量は一定とする。ずれ変換テーブル４２には、小矩形中心位置を囲む近傍３個の代表点番号と、小矩形中心位置のずれ量を３代表点のずれ量から補間で算出する際の補間係数を格納する。
【００２８】
図３は、ずれ変換テーブル作成処理部２０の説明図である。ずれ変換テーブル作成処理部２０は、図３に示すように、補助代表点追加し（ステップ２０１）、画像全体を３角形に分割し（ステップ２０２）、テーブルを作成する（ステップ２０３）。
【００２９】
画像全体は、３角形以外の任意の多角形で分割することができるが、任意の多角形は分割を重ねることによって最終的に３角形に分割することができる。そこで、本発明の実施例では、画像全体を３角形に分割した場合について説明する。また、以下の説明では、補正対象画像範囲は４角形であると仮定する。
【００３０】
補助代表点追加ステップ２０１では、ずれ計測を行う計測代表点に加え、画像周辺と画像４隅に補助代表点を追加し、補助代表点でのずれ量は、計測代表点のずれ量から補填するものとする。画像全体３角形分割ステップ２０２では、画像全体を、３個の代表点（すなわち、計測代表点又は補助代表点）を頂点とする３角形で分割する。テーブル作成ステップ２０３では、各小領域中心を含む３角形を構成する３個の代表点を決定し、小領域中心のずれ量を３個の代表点から決定する補間演算のための補間係数を算出する。
【００３１】
〔歪み計測処理部〕
歪み計測処理部３０の動作は、計測代表点の種別の構成により異なる。計測代表点の種別には、画像内の２方向の２次元ずれ量を計測する２次元タイプと、縦方向の１次元ずれ量を計測する縦方向タイプと、横方向の１次元ずれ量を計測する横方向タイプと、右下がり斜め方向の１次元ずれ量を計測する右下がり斜め方向タイプと、右上がり斜め方向の１次元ずれ量を計測する右上がり斜め方向タイプがある。
【００３２】
計測代表点がすべて２次元計測代表点である場合には、歪み計測処理部３０は、基本歪み計測処理を実行する。図４は、本発明の第１実施例による歪み計測処理部３０の基本ひずみ計測処理の説明図である。図４に示すように、基本歪み計測処理は、ずれ計測部３１と、計測失敗ずれ量補填部３２と、ずれ量テーブル作成部３３とを含む。
【００３３】
ずれ計測部３１は、検査画像または比較画像の各ずれ計測代表点の近傍画像と、対応するテンプレートとのパターンマッチングを行い、ずれ量を計測する。
【００３４】
図５は、本発明の第１実施例による計測失敗ずれ量補填部３２の処理説明図である。計測失敗ずれ量補填部３２は、良品画像または基準画像と、検査画像または比較画像の、計測代表点近傍画像の輝度値変動量の相違と、両画像をマッチングさせたときの合致の度合により失敗を検出する（ステップ３２１）。パターンマッチングに失敗した計測代表点のずれ量は、当該計測代表点の近傍３個の計測代表点でのずれ量から、ずれ変換テーブルと同等の方法で、補間により補填する（ステップ３２２）。
【００３５】
ずれ量テーブル作成部３３は、補助代表点でのずれ量を対応する計測代表点から補填し、ずれ変換テーブル４２を用いて、各小矩形のずれ量を表わすずれ量テーブル４３を作成する。
【００３６】
図６は、本発明の第１実施例による２次元・１次元混在歪み計測処理の説明図である。
【００３７】
画像に２次元計測代表点と１次元計測代表点の両方を設定した場合には、図６に示すように最初に２次元計測代表点のずれ量を計測し（ステップ３０１）、この２次元計測代表点のずれ量から歪みパターンを仮決定する（ステップ３０３）。この結果に基づいて、１次元計測代表点の位置を移動し（ステップ３０４）、移動先を基点とするパターンマッチングによるずれ計測を行う（ステップ３０５）。最後に、全計測点の計測結果をまとめて、ずれ量テーブルを作成する（ステップ３０６）。
【００３８】
図７は、本発明の第１実施例による歪み計測処理部の１次元計測の歪み計測処理フロー図である。２次元計測代表点が無く１次元計測代表点のみを設定した場合には、図７に示すように最初に、一度全１次元計測代表点のずれ計測を行い（ステップ３１１）、所定回数に達したかどうかを判定し（ステップ３１３）、所定回数に達していない場合には、以下の処理を任意の回数繰り返す。１次元計測点の種別毎に、同一種別以外の１次元計測代表点のみで歪みパターンを仮決定し（ステップ３１５）、この結果に基づいて、この種別の１次元計測代表点の位置を移動し（ステップ３１６）、移動先を基点とするパターンマッチングによるずれ計測を行う（ステップ３１１）。最後に、全計測点の計測結果をまとめて、ずれ量テーブルを作成する（ステップ３１４）。
【００３９】
このような本発明の第１実施例の画像歪み補正システムによれば、不規則性な画像歪みに関しても、自動的にずれ計測代表点を設定することができ、計測代表点設定時にずれ変換テーブルも作成するので、新たな検査画像または比較画像に対して、迅速に歪みパターンを決定し歪み補正処理を施すことができる。
【００４０】
これにより、従来技術では、画像歪みのために難しかった、柔軟性のある基材上に構成する電子回路の外観検査や、搬送系の速度にムラがある状態でラインスキャンカメラを用いて撮影した画像に基づく検査や識別処理も、現実的に許容できる処理時間内で実現することができる。
【００４１】
また、本発明の第１実施例の画像歪み補正システムによれば、２次元計測点と１次元計測点でのずれ情報を組み合わせて、画像全体の歪みパターンを決定できるので、画像中に２次元計測に適切な箇所が少ない場合でも、画像歪み計測を行うことができる。
【００４２】
本発明の第１実施例の画像歪み補正システムによれば、検査画像または比較画像の計測代表点に欠陥が発生したり異物で遮られたりして、ずれ計測に失敗しても、失敗を検出し周辺の計測点からずれ量を補填する事ができ、欠陥や異物の影響を受けにくい、画像歪み計測を行うことができる。
【００４３】
以下、本発明を柔軟性のある基材上に構成されたプリント基板パターン検査装置に適用した、本発明の第２実施例について説明する。
【００４４】
図８は、本発明の第２実施例によるプリント基板パターン検査システムの概略構成図である。本実施例のプリント基板パターン検査システムは、パターン検査装置１０１と、カメラ１０２と、外部入力装置１０３と、外部出力装置１０４とを含む。外部入力装置１０３は、操作者から学習や検査の実施の指示を入力する。外部出力装置１０４は、処理装置の状態や検査結果を出力し、操作者に示す。カメラ１０２は、検査対象とするプリント基板パターンを撮影し、映像信号をパターン検査装置１０１に送信する。
【００４５】
パターン検査装置１０１は、カメラ１０２による撮像を制御し、カメラ１０２からの映像信号をデジタル画像に変換するカメラ制御系１０５と、歪み補正処理系１０９及び検査処理系１１０を含む主処理系１０６と、内部記憶部４０と、外部入力装置１０３及び外部出力装置１０４に接続された入出力制御系１０８とから構成されている。尚、単独の画像歪み補正装置の場合には、主処理系１０６は、歪み補正処理系１０９のみで構成されることになる。
【００４６】
図９は、本発明の第２実施例によるプリント基板パターン検査システムのデータの流れを示すデータフロー図である。同図に示されるように、歪み補正処理系１０９には、本発明の第１実施例に関して説明した代表点配置処理部１０と、ずれ変換テーブル作成処理部２０と、歪み計測処理部３０とが含まれている。
【００４７】
カメラ１０２から取り込まれた映像信号は、カメラ制御系１０５を介して、画像データの形で歪み補正処理系１０９に供給される。歪み補正処理系１０９で処理された画像データ及びずれテーブルは、検査処理形１１０へ供給される。歪み補正処理系１０９で生成された歪み補正データは、内部記憶部４０に格納される。
【００４８】
歪み補正処理系１０９及び検査処理系１１０で生成された数値データ又は画像データは、入出力制御系１０８へ供給され、外部出力装置１０４を介してユーザへ提示される。或いは、ユーザからの入力データは、外部入力装置１０３から入出力制御系１０８を介して歪み補正処理系１０９や検査処理系１１０へ与えられる。
【００４９】
代表点配置処理部１０は、基準画像または良品画像を用いて、位置ずれ計測に適切な箇所に計測代表点を配置し、ずれ変換テーブル作成処理部２０は、代表点の位置ずれ量を画像の各位置でのずれ量に変換するテーブルを作成し、歪み計測処理部３０は、検査画像または比較画像中の代表点での位置ずれを計測し計測失敗点のずれ量を補填した上でずれ量テーブルを作成する。代表点配置データ及びずれ変換テーブルは、内部記憶部４０に格納される。
【００５０】
図１０は、本発明の第２実施例によるパターン検査装置１０１における歪み補正処理系１０９の代表点配置処理部１０の処理の流れを示す処理フロー図である。
【００５１】
代表点配置処理部１０は、良品プリント基板パターンをカメラで撮影し良品画像データを入力し（ステップ１１）、良品画像の局所領域の特徴に基づき、代表点配置のための評価画像を作成する（ステップ１２）。
【００５２】
評価画像は、２次元計測点、および、縦方向のみ、横方向のみ、右下がり斜め方向のみ、右上がり斜め方向のみ、の４種類の１次元計測点に対応した５種類を作成する。図１１には、本発明の第２実施例による評価画像作成処理のフロー図が示されている。
【００５３】
１次元計測点の評価画像は、例えば、最初に、ずれ計測を行う方向に画像を微分し（ステップ２１−１、２１−２、２１−３、又は、２１−４）、次に、ずれ計測を行う方向と直交する方向に沿って、配置すべきエリアサイズ程度の大きさの積分長で積分する（ステップ２２−１、２２−２、２２−３、又は、２２−４）。このようにすると、計測方向に直交する方向に沿って、エッジがエリアサイズ程度続いている個所の評価値が高くなる。
【００５４】
２次元計測点の評価画像は、２種類の直交する２方向の１次元計測点評価画像組（すなわち、縦方向と横方向の評価画像の組、及び、右下がり斜め方向と右上がり斜め方向の組）の最小値画像を作成し（ステップ２３−１及び２３−２）、最小値画像から最大値画像を作成する（ステップ２４）。これにより、両方向についてエッジ成分を有する個所の評価値が高くなる。
【００５５】
ここで、画像の組の最小値画像とは、最小値画像の画素位置（ｐ）における値が画像の組の各画像の対応した画素位置（ｐ）における値の最小値であるような画像である。また、画像の組の最大値画像とは、最大値画像のある画素位置（ｐ）における値が画像の組の各画像の対応した画素位置（ｐ）における値の最大値であるような画像である。４種類の１次元配置評価画像に対し、このような最小値画像化と最大値画像化を適用することによって、２次元配置評価画像が得られる。
【００５６】
より詳細に説明すると、まず、４種類の１次元配置評価画像を対応した方向に微分し、次に、その方向に直交する方向に沿って積分する。例えば、縦方向１次元配置評価画像は、良品画像を縦方向に微分し、次に、横方向に積分して作成する。縦方向に微分（正確には微分して絶対値をとる）すると、横方向のエッジ部分の評価が高くなり、これを横方向に積分すると、そのエッジが横方向に連続している部分の評価が高くなる。
【００５７】
次に、直交する２方向（縦方向と横方向、または、右上がり方向と右下がり方向）の最小値画像を作成する。このようにすると、例えば、縦方向と横方向の最小値をとる場合、縦方向にも横方向にもエッジが連続している個所のみ、評価が高くなる（縦にエッジがあり評価が高くても横にエッジが無く評価０だと、最小値画像は０になる）。
【００５８】
最後に、「縦方向と横方向の最小値画像」と「右上がり方向と右下がり方向の最小値画像」の最大値画像を作成する。この最大値画像は、「縦方向と横方向の両方向にエッジがある」あるいは「右上がり方向と右下がり方向の両方向にエッジがある」個所の評価が高くなる。
【００５９】
図１２は、本発明の第２実施例による代表点配置処理のフロー図である。代表点配置は、事前に代表点エリアサイズ、ずれ探索範囲、配置間隔および評価値下限を設定し、最大評価位置探索を行う（ステップ３１）。最大評価位置探索は、縦方向１次元配置評価画像、横方向１次元配置評価画像、右下がり斜め方向１次元配置評価画像、右上がり斜め方向１次元配置評価画像、及び、２次元配置評価画像の５種類の評価画像で、評価値が最大となる個所を探索する。得られた最大評価値が下限以上であれば（ステップ３２）、その箇所を代表点として登録する（ステップ３３）。代表点登録の際には、代表点位置とともに代表点エリアサイズとずれ量探索範囲も記録する。この代表点を１個配置したら、この点を中心とする半径が配置間隔である円形領域の評価値をすべて０にし（ステップ３３）、ステップ３１へ戻り、次の代表点探索を行う。そして、評価値の最大値が評価値下限未満になった場合（ステップ３２）、代表点配置処理を終了する。
【００６０】
５種類の評価画像を別々に評価せずに、各々に重み係数を乗じた上で、最大値画像を１個作成し、これだけを用いて配置を行うこともできる。この場合、重みにより２次元代表点と１次元代表点のどちらを多く配置するかをコントロールすることができる。
【００６１】
図１３は、本発明の第２実施例によるパターン検査装置における歪み補正処理系１０９のずれ変換テーブル作成処理部２０の処理の流れを示す処理フロー図である。
【００６２】
ステップ４１において、例えば、計測代表点の個数の平方根程度の個数の補助代表点を画像周縁の各辺に追加する。補助代表点は、その補助代表点が配置されるべき辺の近くにある対応した計測代表点から当該辺へ垂線を下ろした位置に配置する。この補助代表点のずれ量は、対応する計測代表点と同じにする。更に、画像の周縁の隅（たとえば、補正対象画像領域が４角形である場合には画像４隅）にも補助代表点を追加する。この画像の隅に配置された補助代表点のずれ量は、接続する両辺上に存在し、この隅に最も近い２個の補助代表点の平均とする。
【００６３】
次に、画像全体を３角形でくまなく分割する（ステップ４２）。図１４は、この画像の３角形分割処理のフロー図である。画像の３角形分割は、例えば、始めに画像周辺の４辺に配置した補助計測点を結ぶ辺を確定する（ステップ５１）。次に、画像周辺の辺に対して片側に３角形が生成され、画像内部の辺に対して両側に３角形が生成される、という完了条件が満たされるまで、未完了の辺を探索し（ステップ５２）、ステップ５３において、未完了の辺がある場合、ステップ５４へ進み、未完了の辺に対応する頂点を探索し辺を生成し、探索が完了した場合、３角形分割処理を終了する。
【００６４】
ステップ５４では、１辺に対し１頂点を順次決定する。その際、着目している現在の辺との距離がなるべく近く、現在の辺の両側の内角がなるべく等しく、作成された三角形内に他の頂点が含まれず、辺同士が交差しない、との条件で順次頂点を決定し、辺を生成する（すなわち、３角形を決定する）。
【００６５】
図１５は、画像の３角形分割結果の例を示す図である。図１５では、補助代表点を生成するために計測代表点から各辺に垂線を下ろす方向と、補助代表点におけるずれ量補填関係を矢印で示す。計測代表点に対応する補正エリアは実線で囲まれ、補助代表点に対応する補助エリアは点線で囲まれている。
【００６６】
画像全体の歪みパターンは、画像を小矩形に分割した小矩形毎に対応したずれ量を収容するずれ量テーブルによって表現され、小矩形内のずれ量は一定とする。ずれ量テーブルには、各小矩形の中心が含まれる３角形を構成する代表点（計測代表点又は補助代表点）番号と、３個の代表点からずれ量を線形補間するための係数が関連付けられ、ずれ変換テーブルを形成する。
【００６７】
図１６は、本発明の第２実施例における３角形と小矩形中心の関係を説明する図である。ずれ量の線形補間は、同図に示されるように、３角形をＡＢＣ、小矩形中心をＰ、ＡＰを通る直線とＢＣとの交点をＱとし、
Ａでのずれ量 （ｄｘａ，ｄｙａ）
Ｂでのずれ量 （ｄｘｂ，ｄｙｂ）
Ｃでのずれ量 （ｄｘｃ，ｄｙｃ）
ＢＱ：ＱＣ ＝ ｔ：（１−ｔ）
ＡＰ：ＰＱ ＝ ｕ：（１−ｕ）
とすると、Ｐでのずれ量は、
ｄｘｐ ＝ ｄｘａ×（１−ｕ）＋（ｄｘｂ×（１−ｔ）＋ｄｘｃ×ｔ）×ｕ
ｄｙｐ ＝ ｄｙａ×（１−ｕ）＋（ｄｙｂ×（１−ｔ）＋ｄｙｃ×ｔ）×ｕ
と表現することができる。
【００６８】
３点による線形補間は、画像面をＸＹ面、ずれをＺ軸とした３次元空間を考えたとき、３角形内のずれ量分布を３点で構成される平面で表現することに相当する。また、補間係数は、計測点配置時に算出することができ、検査画像に対する歪み補正処理を行う際には、わずかの積和計算で補間演算が可能となる。従って、処理速度を増大させることなく、３点のずれ量情報を最も有効に利用できる手法である。
【００６９】
図１７は、本発明の第２実施例のプリント基板パターン検査システムにおける歪み補正処理系１０９の歪み計測処理部３０の処理の流れを示す処理フロー図である。ここでは、５種類の計測代表点が全て設定された場合を想定している。 最初に２次元計測代表点のずれ量を正規化相関に基づくパターンマッチングにより計測し（ステップ６１）、計測失敗代表点のずれ量補填処理を行い（ステップ６２）、２次元計測代表点のみにより歪みパターンを仮決定する（ステップ６３）。この結果に基づいて、１次元計測代表点の位置を移動し（ステップ６４）、移動先を基点とするパターンマッチングによるずれ計測（ステップ６５）と計測失敗代表点のずれ量補填処理（ステップ６６）を行う。更に、１次元計測点の種別ごとに、同一種別以外の全計測代表点で歪みパターンを仮決定し（ステップ６８）、この結果に基づいて該当種別１次元計測代表点の位置を移動し（ステップ５９）、移動先を基点とするパターンマッチングによるずれ計測（ステップ６５）と計測失敗代表点のずれ量補填処理（ステップ６６）を行い、これを任意の回数繰り返す（ステップ６７）。
【００７０】
なお、計測失敗代表点のずれ量補填処理における失敗検出は、検査画像の最大マッチング位置での代表点対応エリア画像の標準偏差を算出し、これが算出済みの良品画像の標準偏差に比べて、一定比率以上小さければ失敗とする。また、最大マッチング位置での相関係数が一定値以下になった場合も失敗とする。失敗時補填処理は、失敗計測近傍で同一のずれ量テーブル作成に関わる３代表点を、ずれ変換テーブル作成部と同様の方法で事前に決めておき、この３点から線形補間により決定する。
【００７１】
最後に、本発明の第３実施例による位置ずれと歪みを同時に補正する装置について説明する。図１８は、本発明の第３実施例による位置ずれと歪みの分離計測と統合処理の説明図である。たとえば、本発明の第２実施例におけるパターン検査装置は、検査対象画像に画像全体の平行移動と回転による位置ずれがある一方で、局所歪み量が位置ずれ量に比べて小さい場合には、簡単な方法で位置ずれと歪みを同時に補正できる装置とすることができる。
【００７２】
すなわち、図１８に示すように、最初に、位置ずれ計測用の１次元計測点又は２次元計測点の位置ずれを計測し（ステップ７１）、２個の１次元計測点または１個の２次元計測点による平行位置ずれ、あるいは、２個の２次元計測点による平行移動と回転の位置ずれを決定し、位置ずれテーブルを作成する（ステップ７２）。そして、歪み補正用の計測代表点位置を移動し（ステップ７３）、歪み量を計測する（ステップ７４）。最後に、統合ずれテーブルに位置ずれと歪みずれの和を格納する（ステップ７５）。このようにすると、歪み補正の探索範囲を小さくすることができ、ずれ量を１個のテーブルから参照することができるので、検査処理を高速化することが可能である。
【００７３】
上記の本発明の実施例による画像歪み補正方法は、ソフトウェア（プログラム）で構築することが可能であり、コンピュータのＣＰＵによってこのプログラムを実行することにより本発明の実施例による画像歪み補正装置を実現することができる。構築されたプログラムは、ディスク装置等に記録しておき必要に応じてコンピュータにインストールされ、フレキシブルディスク、メモリカード、ＣＤ−ＲＯＭ等の可搬記録媒体に格納して必要に応じてコンピュータにインストールされ、或いは、通信回線等を介してコンピュータにインストールされ、コンピュータのＣＰＵによって実行される。
【００７４】
本発明は、上記の実施例に限定されることなく、特許請求の範囲内で各種変更および応用が可能である。
【００７５】
【発明の効果】
本発明によれば、位置ずれ計測に適切な箇所に代表点を自動的に配置することができ、代表点における位置ずれ量から画像全体でなめらかに変化する歪みパターンを少ない処理時間で生成できるようになる。
【図面の簡単な説明】
【図１】本発明の第１実施例による画像歪み補正システムの構成図である。
【図２】本発明の第１実施例による代表点配置処理部の説明図である。
【図３】本発明の第１実施例によるずれ変換テーブル作成処理部の説明図である。
【図４】本発明の第１実施例による基本歪み計測処理の説明図である。
【図５】本発明の第１実施例による計測失敗ずれ量補填部の説明図である。
【図６】本発明の第１実施例による２次元・１次元混在歪み計測処理の説明図である。
【図７】本発明の第１実施例による１次元計測の歪み計測処理のフロー図である。
【図８】本発明の第２実施例によるプリント基板パターン検査システムの構成図である。
【図９】本発明の第２実施例によるプリント基板パターン検査システムのデータフロー図である。
【図１０】本発明の第２実施例による代表点配置処理部の処理フロー図である。
【図１１】本発明の第２実施例による評価画像作成処理のフロー図である。
【図１２】本発明の第２実施例による代表点配置処理のフロー図である。
【図１３】本発明の第２実施例によるずれ変換テーブル作成処理のフロー図である。
【図１４】本発明の第２実施例による画像の３角形分割処理のフロー図である。
【図１５】画像の３角形分割結果の例の説明図である。
【図１６】本発明の第２実施例における３角形と小矩形中心の説明図である。
【図１７】本発明の第２実施例による歪み計測処理のフロー図である。
【図１８】本発明の第３実施例による位置ずれと歪みの分離計測及び統合処理の説明図である。
【符号の説明】
１ 画像歪み補正装置
２ 画像取得部
３ 操作指示部
４ 結果表示部
５ 結果蓄積部
１０ 代表点配置処理部
１１ 代表点配置部
２０ ずれ変換テーブル作成処理部
２１ ずれ変換テーブル作成部
３０ 歪み計測処理部
３１ 代表点位置ずれ計測部
３２ 計測失敗ずれ量補填部
３３ ずれ量テーブル作成部
４０ 内部記憶部
４１ 代表点配置データ
４２ ずれ変換テーブル
４３ ずれ量テーブル
【発明の属する技術分野】
本発明は、画像による検査システム及び識別システム、特に、良品画像と検査画像の比較による欠陥検出システム、及び、基準画像と比較画像の比較による対象識別システムにおいて、良品画像と検査画像の間、または、基準画像と比較画像の間に、歪みパターンが存在する場合の画像歪み補正方法に関する。
【０００２】
【従来の技術】
従来の画像歪み補正手段としては、主にレンズの収差や透視投影効果による光学系歪みを、数式で表現して補正するという方法が知られている。この方法は、再現性があり数式表現が可能な対象については有効であるが、撮影対象の個体毎に違いがあるため再現性がない対象、或いは、不規則な歪みのため数式表現が不可能な対象については適応できない。
【０００３】
再現性や規則性が無い画像歪みに関しては、画像を格子状に分割し各矩形内で２次元ずれ量を決定するという方法が取られている。しかしながら、画像中で位置ずれ計測に適した箇所は限定されているので、画像の矩形分割ではずれ計測点を設定できない場合が多い。
【０００４】
画像の矩形分割ではうまくいかない場合、計測代表点を位置ずれ計測に適した箇所に不規則に配置し、各代表点の近傍毎または代表点で構成される三角形毎に補正を行う方法もある。しかしながら、代表点の設定そのものが難しく、上記のように位置ずれ計測に適した箇所が限定されているという制限は依然として存在する。更に、補正対象画像毎に歪みパターンが異なるため、事前に固定的な補正式または補正テーブルを準備することができず、一般に処理負荷が大きい。
【０００５】
【発明が解決しようとする課題】
数式表現を用いる従来の画像歪み補正手段は、個体毎の違いがある対象、或いは、数式表現が不可能な対象には適応できない。
【０００６】
例えば、柔軟性のある基材上に構成する電子回路基板では、加工中の基材の伸縮変形により不規則な歪みが発生する。また、ラインスキャンカメラで対象を撮影する場合には、搬送系の速度にムラがあると、撮影対象物が安定していても画像の伸縮となって現れ、画像歪みを引き起こす。
【０００７】
これらの不規則な画像歪みに関しては、代表点で位置ずれを計測し各代表点の近傍毎に補正を行うか、代表点でのずれ量を補間して歪みパターンを決定することになる。しかしながら、２次元の位置ずれ計測に適した箇所は限定されているという問題もあり、代表点の設定は難しい作業である。また、毎回異なる歪みパターンのため、補正処理の演算量が大きくなるという問題もある。
【０００８】
そこで、本発明は、位置ずれ計測に適切な箇所に代表点を自動的に配置することができ、代表点における位置ずれ量から画像全体でなめらかに変化する歪みパターンを、少ない処理時間で生成できる、画像歪み補正方法の提供を目的とする。
【０００９】
代表点に関しては、各代表点で２次元の位置ずれ計測ができるのが望ましいが、現実には画像中に２次元計測に適切な箇所は少ない場合が多い。そこで、本発明は、２次元位置ずれ計測点の他に１次元位置ずれ計測点も配置できるような代表点自動配置を実現し、２次元位置ずれ計測点と１次元位置ずれ計測点の計測結果を組み合わせて、画像全体の歪みパターンを決定できる、画像歪み補正方法の提供を目的とする。
【００１０】
従来の代表点における位置ずれ量から画像全体の歪みパターンを決定する手法は、検査画像または比較画像の一部の計測代表点に欠陥が発生したり、一部の計測代表点が異物で遮られたりして、ずれ計測に失敗すると歪みパターンを決定できない。そこで、本発明は、一部のずれ計測代表点で位置ずれ計測に失敗しても、失敗を検出し、周辺の計測点から、位置ずれ計測に失敗した計測代表点のずれ量を補填することができる、画像歪み補正方法の提供を目的とする。
【００１１】
本発明は、さらに、上記画像歪み補正方法を実現する画像歪み補正装置の提供を目的とする。
【００１２】
また、本発明は、上記画像歪み補正方法をコンピュータに実行させるための画像歪み補正プログラムの提供を目的とする。
【００１３】
【課題を解決するための手段】
上記本発明の目的を達成するため、本発明の第１の局面によれば、基準画像に対する比較画像の歪みパターンを、対応する計測代表点でのパターンマッチングによって計測されたずれ量から補間処理により算出する、画像歪み補正方法が提供される。この画像歪み補正方法は、
補正対象画像範囲の周辺に計測代表点以外の補助代表点を設定し、
補助代表点でのずれ量を、近傍の計測代表点で計測されたずれ量から外挿により補填し、
補正対象画像範囲の全領域を、補正対象画像範囲に設けられた計測代表点又は補助代表点を頂点とした３角形又は４角形にくまなく分割し、
３角形又は４角形内でのずれ量を、当該３角形又は４角形の頂点に関連したずれ量から線形補間により算出する、
ことを特徴とする画像歪み補正方法である。
【００１４】
さらに、本発明の画像歪み補正方法において、
上記計測代表点として、画像内の２方向の２次元ずれ量を計測する２次元タイプと、縦方向の１次元ずれ量を計測する縦方向タイプと、横方向の１次元ずれ量を計測する横方向タイプと、右下がり斜め方向の１次元ずれ量を計測する右下がり斜め方向タイプと、右上がり斜め方向の１次元ずれ量を計測する右上がり斜め方向タイプのうちのいずれかの種別の計測代表点を設定し、
各種別の計測代表点でのずれ量を組み合わせて、画像全体での歪みパターンを決定する。
【００１５】
さらに、本発明の画像歪み補正方法において、
計測代表点は、基準画像の局所領域の画像特徴に基づき、パターンマッチングに最適な位置と種別を決定し、自動的に配置される。
【００１６】
さらに、本発明の画像歪み補正方法において、
計測代表点でのパターンマッチングの結果が所定の基準を満たすかどうかを判定し、
パターンマッチングの結果が所定の基準を満たさない計測代表点のずれ量を、当該計測代表点の近傍の計測代表点でのずれ量から補填し、
これにより、画像全体の歪みパターンを決定する。
【００１７】
さらに、本発明の画像歪み補正方法において、
画像全体の歪みパターンは、画像の小領域毎の２次元ずれ量によって表現され、
画像の小領域毎に、小領域内の２次元ずれ量と、小領域の中心位置を囲む３角形の頂点に対応した計測代表点又は補助代表点の識別番号と、該３角形の頂点に対応した計測代表点又は補助代表点から該小領域のずれ量を算出するための補間係数と、を関連付けて保持している。計測代表点又は補助代表点の識別番号と補間係数は、計測代表点又は補助代表点の設定時に予め算出し設定することにより、補正実行時には計測代表点又は補助代表点のずれ量から、画像の小領域毎の２次元ずれ量を少ない演算量で算出できる。
【００１８】
上記本発明の目的を達成するため、本発明の第１の局面によれば、基準画像と比較画像との歪みパターンを、計測代表点でのパターンマッチングによるずれ量計測結果から補間処理により算出する、画像歪み補正装置が提供される。本発明の画像歪み補正装置は、計測代表点に加え画像周辺と画像４隅に補助代表点を追加し補助代表点でのずれ量は近傍の計測代表点でのずれ量から外挿により補填したうえで、画像の全領域を計測代表点または補助代表点により構成される３角形によりくまなく分割し、３角形内のずれ量を３個の計測代表点のずれ量から線形補間により算出することを特徴とする。
【００１９】
また、本発明の画像歪み補正装置は、上記計測代表点としては、２次元ずれ量を計測する２次元計測代表点と、縦方向のみ、横方向のみ、右下がり斜め方向のみ、右上がり斜め方向のみの１次元ずれ量を計測する４種類の１次元代表点を任意の個数設定し、各種別の代表点でのずれ量を組み合わせて、画像全体での歪みパターンを決定する。
【００２０】
また、本発明の補正歪み補正装置は、上記計測代表点を、基準画像の局所領域の画像特徴に基づき、パターンマッチングに最適な位置と代表点種別を決定し、自動的に配置する。
【００２１】
また、本発明の補正歪み補正装置は、上記代表点でのパターンマッチングが、基準画像と比較画像との画像特徴変化により失敗する場合に、基準画像と比較画像の代表点近傍における輝度値変動量の相違、または基準画像と比較画像の代表点のマッチング度合により失敗を検出し、パターンマッチングに失敗した代表点のずれ量を、該当代表点の近傍の１個ないし３個の計測代表点でのずれ量から補填したうえで、画像全体の歪みパターンを決定する。
【００２２】
さらに、本発明の補正歪み補正装置において、上記歪みパターンは、画像全体を小矩形に分割したうえで、各矩形内の２次元ずれ量は一定値とするずれ量テーブルの形で保持し、画像中の任意の位置でのずれ量はテーブル参照により素早く参照できるとともに、ずれ量テーブルには、該当矩形の中心位置を囲む３個の代表点番号と代表点３点から各小矩形のずれ量を算出するための補間係数をずれ変換テーブルとして付随させ、代表点番号と補間係数は代表点設定時に算出しておき、補正実行時には代表点のずれ量からずれ量テーブルを少ない演算量で作成できる。
【００２３】
【発明の実施の形態】
〔構成〕
本発明の第１実施例による画像歪み補正システムの構成を図１に示す。本発明の第１実施例による画像歪み補正システムは、画像歪み補正装置１と、画像取得部２と、操作指示部３と、結果表示部４と、結果蓄積部５と、を含む。画像歪み補正装置１は、外部の画像取得部２より受け取った基準画像または良品画像を用いて、位置ずれ計測に適切な箇所に計測代表点を配置する代表点配置処理部１０と、代表点の位置ずれ量を画像の各位置でのずれ量に変換するテーブルを作成するずれ変換テーブル作成処理部２０と、画像取得部２より受け取った比較画像または検査画像中の代表点での位置ずれを計測し計測失敗点のずれ量を補填した上でずれ量テーブルを作成する歪み計測処理部３０とを含む。また、画像歪み補正装置１は、代表点配置データ４１と、ずれ変換テーブル４２と、ずれ量テーブル４３を蓄える内部記憶部４０が付随する。
【００２４】
画像歪み補正装置１は、外部の操作指示部３より操作指示を受け付け、処理結果を外部の結果表示部４及び結果蓄積部５へ出力する。
【００２５】
〔代表点配置処理部〕
図２は、本発明の第１実施例による代表点配置処理部の説明図である。歪みパターン決定のためにずれ量を計測する計測代表点としては、たとえば、直交する２方向のずれ量を計測する２次元計測点、並びに、縦方向のみの１方向のずれ量を計測する１次元計測点、横方向のみの１方向のずれ量を計測する１次元計測点、右下がり斜め方向のみの１方向のずれ量を計測する１次元計測点、及び、右上がり斜め方向のみの１方向のずれ量を計測する１次元計測点、の４種類の１次元計測点を用いる。代表点配置処理部１０は、図２に示すように、評価画像作成部１２と代表点位置決定部１４から構成される。評価画像作成部１２で、良品画像または基準画像の局所領域の画像特徴に基づき、２次元配置評価画像１３１と４種類の１次元配置評価画像、すなわち、縦方向１次元配置評価画像１３２、横方向１次元配置評価画像１３３、右下がり斜め方向１次元配置評価画像１３４及び右上がり斜め方向１次元配置評価画像１３５を作成する。これにより、たとえば、特定の局所的な画像特徴が存在する画素位置に高い評価点が与えられた画像が得られる。代表点位置決定部１４は、画像の評価値の高い箇所に順次計測代表点を配置する。
【００２６】
計測代表点を設定したら、ずれ量計測エリアの良品画像または基準画像を切り出し、位置ずれ計測テンプレートとして保存しておく。このときテンプレート画像の画素値の標準偏差も算出し保存する。また、各位置ずれ計測代表点は、想定されるずれ量に対応して探索範囲を設定しておく。代表点配置データ４１には、代表点位置、位置ずれ計測テンプレート、探索範囲などが含まれる。 〔ずれ変換テーブル作成処理部〕
【００２７】
ずれ変換テーブル４２は、不規則に配置された計測代表点での２次元ずれ量を、画像を小さな矩形に分割した所定の小領域の２次元ずれ量に変換するためのテーブルである。各小領域内の２次元ずれ量は一定とする。ずれ変換テーブル４２には、小矩形中心位置を囲む近傍３個の代表点番号と、小矩形中心位置のずれ量を３代表点のずれ量から補間で算出する際の補間係数を格納する。
【００２８】
図３は、ずれ変換テーブル作成処理部２０の説明図である。ずれ変換テーブル作成処理部２０は、図３に示すように、補助代表点追加し（ステップ２０１）、画像全体を３角形に分割し（ステップ２０２）、テーブルを作成する（ステップ２０３）。
【００２９】
画像全体は、３角形以外の任意の多角形で分割することができるが、任意の多角形は分割を重ねることによって最終的に３角形に分割することができる。そこで、本発明の実施例では、画像全体を３角形に分割した場合について説明する。また、以下の説明では、補正対象画像範囲は４角形であると仮定する。
【００３０】
補助代表点追加ステップ２０１では、ずれ計測を行う計測代表点に加え、画像周辺と画像４隅に補助代表点を追加し、補助代表点でのずれ量は、計測代表点のずれ量から補填するものとする。画像全体３角形分割ステップ２０２では、画像全体を、３個の代表点（すなわち、計測代表点又は補助代表点）を頂点とする３角形で分割する。テーブル作成ステップ２０３では、各小領域中心を含む３角形を構成する３個の代表点を決定し、小領域中心のずれ量を３個の代表点から決定する補間演算のための補間係数を算出する。
【００３１】
〔歪み計測処理部〕
歪み計測処理部３０の動作は、計測代表点の種別の構成により異なる。計測代表点の種別には、画像内の２方向の２次元ずれ量を計測する２次元タイプと、縦方向の１次元ずれ量を計測する縦方向タイプと、横方向の１次元ずれ量を計測する横方向タイプと、右下がり斜め方向の１次元ずれ量を計測する右下がり斜め方向タイプと、右上がり斜め方向の１次元ずれ量を計測する右上がり斜め方向タイプがある。
【００３２】
計測代表点がすべて２次元計測代表点である場合には、歪み計測処理部３０は、基本歪み計測処理を実行する。図４は、本発明の第１実施例による歪み計測処理部３０の基本ひずみ計測処理の説明図である。図４に示すように、基本歪み計測処理は、ずれ計測部３１と、計測失敗ずれ量補填部３２と、ずれ量テーブル作成部３３とを含む。
【００３３】
ずれ計測部３１は、検査画像または比較画像の各ずれ計測代表点の近傍画像と、対応するテンプレートとのパターンマッチングを行い、ずれ量を計測する。
【００３４】
図５は、本発明の第１実施例による計測失敗ずれ量補填部３２の処理説明図である。計測失敗ずれ量補填部３２は、良品画像または基準画像と、検査画像または比較画像の、計測代表点近傍画像の輝度値変動量の相違と、両画像をマッチングさせたときの合致の度合により失敗を検出する（ステップ３２１）。パターンマッチングに失敗した計測代表点のずれ量は、当該計測代表点の近傍３個の計測代表点でのずれ量から、ずれ変換テーブルと同等の方法で、補間により補填する（ステップ３２２）。
【００３５】
ずれ量テーブル作成部３３は、補助代表点でのずれ量を対応する計測代表点から補填し、ずれ変換テーブル４２を用いて、各小矩形のずれ量を表わすずれ量テーブル４３を作成する。
【００３６】
図６は、本発明の第１実施例による２次元・１次元混在歪み計測処理の説明図である。
【００３７】
画像に２次元計測代表点と１次元計測代表点の両方を設定した場合には、図６に示すように最初に２次元計測代表点のずれ量を計測し（ステップ３０１）、この２次元計測代表点のずれ量から歪みパターンを仮決定する（ステップ３０３）。この結果に基づいて、１次元計測代表点の位置を移動し（ステップ３０４）、移動先を基点とするパターンマッチングによるずれ計測を行う（ステップ３０５）。最後に、全計測点の計測結果をまとめて、ずれ量テーブルを作成する（ステップ３０６）。
【００３８】
図７は、本発明の第１実施例による歪み計測処理部の１次元計測の歪み計測処理フロー図である。２次元計測代表点が無く１次元計測代表点のみを設定した場合には、図７に示すように最初に、一度全１次元計測代表点のずれ計測を行い（ステップ３１１）、所定回数に達したかどうかを判定し（ステップ３１３）、所定回数に達していない場合には、以下の処理を任意の回数繰り返す。１次元計測点の種別毎に、同一種別以外の１次元計測代表点のみで歪みパターンを仮決定し（ステップ３１５）、この結果に基づいて、この種別の１次元計測代表点の位置を移動し（ステップ３１６）、移動先を基点とするパターンマッチングによるずれ計測を行う（ステップ３１１）。最後に、全計測点の計測結果をまとめて、ずれ量テーブルを作成する（ステップ３１４）。
【００３９】
このような本発明の第１実施例の画像歪み補正システムによれば、不規則性な画像歪みに関しても、自動的にずれ計測代表点を設定することができ、計測代表点設定時にずれ変換テーブルも作成するので、新たな検査画像または比較画像に対して、迅速に歪みパターンを決定し歪み補正処理を施すことができる。
【００４０】
これにより、従来技術では、画像歪みのために難しかった、柔軟性のある基材上に構成する電子回路の外観検査や、搬送系の速度にムラがある状態でラインスキャンカメラを用いて撮影した画像に基づく検査や識別処理も、現実的に許容できる処理時間内で実現することができる。
【００４１】
また、本発明の第１実施例の画像歪み補正システムによれば、２次元計測点と１次元計測点でのずれ情報を組み合わせて、画像全体の歪みパターンを決定できるので、画像中に２次元計測に適切な箇所が少ない場合でも、画像歪み計測を行うことができる。
【００４２】
本発明の第１実施例の画像歪み補正システムによれば、検査画像または比較画像の計測代表点に欠陥が発生したり異物で遮られたりして、ずれ計測に失敗しても、失敗を検出し周辺の計測点からずれ量を補填する事ができ、欠陥や異物の影響を受けにくい、画像歪み計測を行うことができる。
【００４３】
以下、本発明を柔軟性のある基材上に構成されたプリント基板パターン検査装置に適用した、本発明の第２実施例について説明する。
【００４４】
図８は、本発明の第２実施例によるプリント基板パターン検査システムの概略構成図である。本実施例のプリント基板パターン検査システムは、パターン検査装置１０１と、カメラ１０２と、外部入力装置１０３と、外部出力装置１０４とを含む。外部入力装置１０３は、操作者から学習や検査の実施の指示を入力する。外部出力装置１０４は、処理装置の状態や検査結果を出力し、操作者に示す。カメラ１０２は、検査対象とするプリント基板パターンを撮影し、映像信号をパターン検査装置１０１に送信する。
【００４５】
パターン検査装置１０１は、カメラ１０２による撮像を制御し、カメラ１０２からの映像信号をデジタル画像に変換するカメラ制御系１０５と、歪み補正処理系１０９及び検査処理系１１０を含む主処理系１０６と、内部記憶部４０と、外部入力装置１０３及び外部出力装置１０４に接続された入出力制御系１０８とから構成されている。尚、単独の画像歪み補正装置の場合には、主処理系１０６は、歪み補正処理系１０９のみで構成されることになる。
【００４６】
図９は、本発明の第２実施例によるプリント基板パターン検査システムのデータの流れを示すデータフロー図である。同図に示されるように、歪み補正処理系１０９には、本発明の第１実施例に関して説明した代表点配置処理部１０と、ずれ変換テーブル作成処理部２０と、歪み計測処理部３０とが含まれている。
【００４７】
カメラ１０２から取り込まれた映像信号は、カメラ制御系１０５を介して、画像データの形で歪み補正処理系１０９に供給される。歪み補正処理系１０９で処理された画像データ及びずれテーブルは、検査処理形１１０へ供給される。歪み補正処理系１０９で生成された歪み補正データは、内部記憶部４０に格納される。
【００４８】
歪み補正処理系１０９及び検査処理系１１０で生成された数値データ又は画像データは、入出力制御系１０８へ供給され、外部出力装置１０４を介してユーザへ提示される。或いは、ユーザからの入力データは、外部入力装置１０３から入出力制御系１０８を介して歪み補正処理系１０９や検査処理系１１０へ与えられる。
【００４９】
代表点配置処理部１０は、基準画像または良品画像を用いて、位置ずれ計測に適切な箇所に計測代表点を配置し、ずれ変換テーブル作成処理部２０は、代表点の位置ずれ量を画像の各位置でのずれ量に変換するテーブルを作成し、歪み計測処理部３０は、検査画像または比較画像中の代表点での位置ずれを計測し計測失敗点のずれ量を補填した上でずれ量テーブルを作成する。代表点配置データ及びずれ変換テーブルは、内部記憶部４０に格納される。
【００５０】
図１０は、本発明の第２実施例によるパターン検査装置１０１における歪み補正処理系１０９の代表点配置処理部１０の処理の流れを示す処理フロー図である。
【００５１】
代表点配置処理部１０は、良品プリント基板パターンをカメラで撮影し良品画像データを入力し（ステップ１１）、良品画像の局所領域の特徴に基づき、代表点配置のための評価画像を作成する（ステップ１２）。
【００５２】
評価画像は、２次元計測点、および、縦方向のみ、横方向のみ、右下がり斜め方向のみ、右上がり斜め方向のみ、の４種類の１次元計測点に対応した５種類を作成する。図１１には、本発明の第２実施例による評価画像作成処理のフロー図が示されている。
【００５３】
１次元計測点の評価画像は、例えば、最初に、ずれ計測を行う方向に画像を微分し（ステップ２１−１、２１−２、２１−３、又は、２１−４）、次に、ずれ計測を行う方向と直交する方向に沿って、配置すべきエリアサイズ程度の大きさの積分長で積分する（ステップ２２−１、２２−２、２２−３、又は、２２−４）。このようにすると、計測方向に直交する方向に沿って、エッジがエリアサイズ程度続いている個所の評価値が高くなる。
【００５４】
２次元計測点の評価画像は、２種類の直交する２方向の１次元計測点評価画像組（すなわち、縦方向と横方向の評価画像の組、及び、右下がり斜め方向と右上がり斜め方向の組）の最小値画像を作成し（ステップ２３−１及び２３−２）、最小値画像から最大値画像を作成する（ステップ２４）。これにより、両方向についてエッジ成分を有する個所の評価値が高くなる。
【００５５】
ここで、画像の組の最小値画像とは、最小値画像の画素位置（ｐ）における値が画像の組の各画像の対応した画素位置（ｐ）における値の最小値であるような画像である。また、画像の組の最大値画像とは、最大値画像のある画素位置（ｐ）における値が画像の組の各画像の対応した画素位置（ｐ）における値の最大値であるような画像である。４種類の１次元配置評価画像に対し、このような最小値画像化と最大値画像化を適用することによって、２次元配置評価画像が得られる。
【００５６】
より詳細に説明すると、まず、４種類の１次元配置評価画像を対応した方向に微分し、次に、その方向に直交する方向に沿って積分する。例えば、縦方向１次元配置評価画像は、良品画像を縦方向に微分し、次に、横方向に積分して作成する。縦方向に微分（正確には微分して絶対値をとる）すると、横方向のエッジ部分の評価が高くなり、これを横方向に積分すると、そのエッジが横方向に連続している部分の評価が高くなる。
【００５７】
次に、直交する２方向（縦方向と横方向、または、右上がり方向と右下がり方向）の最小値画像を作成する。このようにすると、例えば、縦方向と横方向の最小値をとる場合、縦方向にも横方向にもエッジが連続している個所のみ、評価が高くなる（縦にエッジがあり評価が高くても横にエッジが無く評価０だと、最小値画像は０になる）。
【００５８】
最後に、「縦方向と横方向の最小値画像」と「右上がり方向と右下がり方向の最小値画像」の最大値画像を作成する。この最大値画像は、「縦方向と横方向の両方向にエッジがある」あるいは「右上がり方向と右下がり方向の両方向にエッジがある」個所の評価が高くなる。
【００５９】
図１２は、本発明の第２実施例による代表点配置処理のフロー図である。代表点配置は、事前に代表点エリアサイズ、ずれ探索範囲、配置間隔および評価値下限を設定し、最大評価位置探索を行う（ステップ３１）。最大評価位置探索は、縦方向１次元配置評価画像、横方向１次元配置評価画像、右下がり斜め方向１次元配置評価画像、右上がり斜め方向１次元配置評価画像、及び、２次元配置評価画像の５種類の評価画像で、評価値が最大となる個所を探索する。得られた最大評価値が下限以上であれば（ステップ３２）、その箇所を代表点として登録する（ステップ３３）。代表点登録の際には、代表点位置とともに代表点エリアサイズとずれ量探索範囲も記録する。この代表点を１個配置したら、この点を中心とする半径が配置間隔である円形領域の評価値をすべて０にし（ステップ３３）、ステップ３１へ戻り、次の代表点探索を行う。そして、評価値の最大値が評価値下限未満になった場合（ステップ３２）、代表点配置処理を終了する。
【００６０】
５種類の評価画像を別々に評価せずに、各々に重み係数を乗じた上で、最大値画像を１個作成し、これだけを用いて配置を行うこともできる。この場合、重みにより２次元代表点と１次元代表点のどちらを多く配置するかをコントロールすることができる。
【００６１】
図１３は、本発明の第２実施例によるパターン検査装置における歪み補正処理系１０９のずれ変換テーブル作成処理部２０の処理の流れを示す処理フロー図である。
【００６２】
ステップ４１において、例えば、計測代表点の個数の平方根程度の個数の補助代表点を画像周縁の各辺に追加する。補助代表点は、その補助代表点が配置されるべき辺の近くにある対応した計測代表点から当該辺へ垂線を下ろした位置に配置する。この補助代表点のずれ量は、対応する計測代表点と同じにする。更に、画像の周縁の隅（たとえば、補正対象画像領域が４角形である場合には画像４隅）にも補助代表点を追加する。この画像の隅に配置された補助代表点のずれ量は、接続する両辺上に存在し、この隅に最も近い２個の補助代表点の平均とする。
【００６３】
次に、画像全体を３角形でくまなく分割する（ステップ４２）。図１４は、この画像の３角形分割処理のフロー図である。画像の３角形分割は、例えば、始めに画像周辺の４辺に配置した補助計測点を結ぶ辺を確定する（ステップ５１）。次に、画像周辺の辺に対して片側に３角形が生成され、画像内部の辺に対して両側に３角形が生成される、という完了条件が満たされるまで、未完了の辺を探索し（ステップ５２）、ステップ５３において、未完了の辺がある場合、ステップ５４へ進み、未完了の辺に対応する頂点を探索し辺を生成し、探索が完了した場合、３角形分割処理を終了する。
【００６４】
ステップ５４では、１辺に対し１頂点を順次決定する。その際、着目している現在の辺との距離がなるべく近く、現在の辺の両側の内角がなるべく等しく、作成された三角形内に他の頂点が含まれず、辺同士が交差しない、との条件で順次頂点を決定し、辺を生成する（すなわち、３角形を決定する）。
【００６５】
図１５は、画像の３角形分割結果の例を示す図である。図１５では、補助代表点を生成するために計測代表点から各辺に垂線を下ろす方向と、補助代表点におけるずれ量補填関係を矢印で示す。計測代表点に対応する補正エリアは実線で囲まれ、補助代表点に対応する補助エリアは点線で囲まれている。
【００６６】
画像全体の歪みパターンは、画像を小矩形に分割した小矩形毎に対応したずれ量を収容するずれ量テーブルによって表現され、小矩形内のずれ量は一定とする。ずれ量テーブルには、各小矩形の中心が含まれる３角形を構成する代表点（計測代表点又は補助代表点）番号と、３個の代表点からずれ量を線形補間するための係数が関連付けられ、ずれ変換テーブルを形成する。
【００６７】
図１６は、本発明の第２実施例における３角形と小矩形中心の関係を説明する図である。ずれ量の線形補間は、同図に示されるように、３角形をＡＢＣ、小矩形中心をＰ、ＡＰを通る直線とＢＣとの交点をＱとし、
Ａでのずれ量 （ｄｘａ，ｄｙａ）
Ｂでのずれ量 （ｄｘｂ，ｄｙｂ）
Ｃでのずれ量 （ｄｘｃ，ｄｙｃ）
ＢＱ：ＱＣ ＝ ｔ：（１−ｔ）
ＡＰ：ＰＱ ＝ ｕ：（１−ｕ）
とすると、Ｐでのずれ量は、
ｄｘｐ ＝ ｄｘａ×（１−ｕ）＋（ｄｘｂ×（１−ｔ）＋ｄｘｃ×ｔ）×ｕ
ｄｙｐ ＝ ｄｙａ×（１−ｕ）＋（ｄｙｂ×（１−ｔ）＋ｄｙｃ×ｔ）×ｕ
と表現することができる。
【００６８】
３点による線形補間は、画像面をＸＹ面、ずれをＺ軸とした３次元空間を考えたとき、３角形内のずれ量分布を３点で構成される平面で表現することに相当する。また、補間係数は、計測点配置時に算出することができ、検査画像に対する歪み補正処理を行う際には、わずかの積和計算で補間演算が可能となる。従って、処理速度を増大させることなく、３点のずれ量情報を最も有効に利用できる手法である。
【００６９】
図１７は、本発明の第２実施例のプリント基板パターン検査システムにおける歪み補正処理系１０９の歪み計測処理部３０の処理の流れを示す処理フロー図である。ここでは、５種類の計測代表点が全て設定された場合を想定している。 最初に２次元計測代表点のずれ量を正規化相関に基づくパターンマッチングにより計測し（ステップ６１）、計測失敗代表点のずれ量補填処理を行い（ステップ６２）、２次元計測代表点のみにより歪みパターンを仮決定する（ステップ６３）。この結果に基づいて、１次元計測代表点の位置を移動し（ステップ６４）、移動先を基点とするパターンマッチングによるずれ計測（ステップ６５）と計測失敗代表点のずれ量補填処理（ステップ６６）を行う。更に、１次元計測点の種別ごとに、同一種別以外の全計測代表点で歪みパターンを仮決定し（ステップ６８）、この結果に基づいて該当種別１次元計測代表点の位置を移動し（ステップ５９）、移動先を基点とするパターンマッチングによるずれ計測（ステップ６５）と計測失敗代表点のずれ量補填処理（ステップ６６）を行い、これを任意の回数繰り返す（ステップ６７）。
【００７０】
なお、計測失敗代表点のずれ量補填処理における失敗検出は、検査画像の最大マッチング位置での代表点対応エリア画像の標準偏差を算出し、これが算出済みの良品画像の標準偏差に比べて、一定比率以上小さければ失敗とする。また、最大マッチング位置での相関係数が一定値以下になった場合も失敗とする。失敗時補填処理は、失敗計測近傍で同一のずれ量テーブル作成に関わる３代表点を、ずれ変換テーブル作成部と同様の方法で事前に決めておき、この３点から線形補間により決定する。
【００７１】
最後に、本発明の第３実施例による位置ずれと歪みを同時に補正する装置について説明する。図１８は、本発明の第３実施例による位置ずれと歪みの分離計測と統合処理の説明図である。たとえば、本発明の第２実施例におけるパターン検査装置は、検査対象画像に画像全体の平行移動と回転による位置ずれがある一方で、局所歪み量が位置ずれ量に比べて小さい場合には、簡単な方法で位置ずれと歪みを同時に補正できる装置とすることができる。
【００７２】
すなわち、図１８に示すように、最初に、位置ずれ計測用の１次元計測点又は２次元計測点の位置ずれを計測し（ステップ７１）、２個の１次元計測点または１個の２次元計測点による平行位置ずれ、あるいは、２個の２次元計測点による平行移動と回転の位置ずれを決定し、位置ずれテーブルを作成する（ステップ７２）。そして、歪み補正用の計測代表点位置を移動し（ステップ７３）、歪み量を計測する（ステップ７４）。最後に、統合ずれテーブルに位置ずれと歪みずれの和を格納する（ステップ７５）。このようにすると、歪み補正の探索範囲を小さくすることができ、ずれ量を１個のテーブルから参照することができるので、検査処理を高速化することが可能である。
【００７３】
上記の本発明の実施例による画像歪み補正方法は、ソフトウェア（プログラム）で構築することが可能であり、コンピュータのＣＰＵによってこのプログラムを実行することにより本発明の実施例による画像歪み補正装置を実現することができる。構築されたプログラムは、ディスク装置等に記録しておき必要に応じてコンピュータにインストールされ、フレキシブルディスク、メモリカード、ＣＤ−ＲＯＭ等の可搬記録媒体に格納して必要に応じてコンピュータにインストールされ、或いは、通信回線等を介してコンピュータにインストールされ、コンピュータのＣＰＵによって実行される。
【００７４】
本発明は、上記の実施例に限定されることなく、特許請求の範囲内で各種変更および応用が可能である。
【００７５】
【発明の効果】
本発明によれば、位置ずれ計測に適切な箇所に代表点を自動的に配置することができ、代表点における位置ずれ量から画像全体でなめらかに変化する歪みパターンを少ない処理時間で生成できるようになる。
【図面の簡単な説明】
【図１】本発明の第１実施例による画像歪み補正システムの構成図である。
【図２】本発明の第１実施例による代表点配置処理部の説明図である。
【図３】本発明の第１実施例によるずれ変換テーブル作成処理部の説明図である。
【図４】本発明の第１実施例による基本歪み計測処理の説明図である。
【図５】本発明の第１実施例による計測失敗ずれ量補填部の説明図である。
【図６】本発明の第１実施例による２次元・１次元混在歪み計測処理の説明図である。
【図７】本発明の第１実施例による１次元計測の歪み計測処理のフロー図である。
【図８】本発明の第２実施例によるプリント基板パターン検査システムの構成図である。
【図９】本発明の第２実施例によるプリント基板パターン検査システムのデータフロー図である。
【図１０】本発明の第２実施例による代表点配置処理部の処理フロー図である。
【図１１】本発明の第２実施例による評価画像作成処理のフロー図である。
【図１２】本発明の第２実施例による代表点配置処理のフロー図である。
【図１３】本発明の第２実施例によるずれ変換テーブル作成処理のフロー図である。
【図１４】本発明の第２実施例による画像の３角形分割処理のフロー図である。
【図１５】画像の３角形分割結果の例の説明図である。
【図１６】本発明の第２実施例における３角形と小矩形中心の説明図である。
【図１７】本発明の第２実施例による歪み計測処理のフロー図である。
【図１８】本発明の第３実施例による位置ずれと歪みの分離計測及び統合処理の説明図である。
【符号の説明】
１ 画像歪み補正装置
２ 画像取得部
３ 操作指示部
４ 結果表示部
５ 結果蓄積部
１０ 代表点配置処理部
１１ 代表点配置部
２０ ずれ変換テーブル作成処理部
２１ ずれ変換テーブル作成部
３０ 歪み計測処理部
３１ 代表点位置ずれ計測部
３２ 計測失敗ずれ量補填部
３３ ずれ量テーブル作成部
４０ 内部記憶部
４１ 代表点配置データ
４２ ずれ変換テーブル
４３ ずれ量テーブル
Claims (15)
- 基準画像に対する比較画像の歪みパターンを、対応する計測代表点でのパターンマッチングによって計測されたずれ量から補間処理により算出する、画像歪み補正方法であって、
補正対象画像範囲の周辺に計測代表点以外の補助代表点を設定し、
補助代表点でのずれ量を、近傍の計測代表点で計測されたずれ量から外挿により補填し、
補正対象画像範囲の全領域を、補正対象画像範囲に設けられた計測代表点又は補助代表点を頂点とした３角形又は４角形にくまなく分割し、
３角形又は４角形内でのずれ量を、該３角形又は４角形の頂点に関連したずれ量から線形補間により算出する、
ことを特徴とする画像歪み補正方法。 - 計測代表点として、画像内の２方向の２次元ずれ量を計測する２次元タイプと、縦方向の１次元ずれ量を計測する縦方向タイプと、横方向の１次元ずれ量を計測する横方向タイプと、右下がり斜め方向の１次元ずれ量を計測する右下がり斜め方向タイプと、右上がり斜め方向の１次元ずれ量を計測する右上がり斜め方向タイプのうちのいずれかの種別の計測代表点を設定し、
各種別の計測代表点でのずれ量を組み合わせて、画像全体での歪みパターンを決定する、
請求項１記載の画像歪み補正方法。 - 計測代表点は、基準画像の局所領域の画像特徴に基づいて位置と種別が決定される、請求項１又は２記載の画像歪み補正方法。
- 計測代表点でのパターンマッチングの結果が所定の基準を満たすかどうかを判定し、
パターンマッチングの結果が所定の基準を満たさない計測代表点のずれ量を、該計測代表点の近傍の計測代表点でのずれ量から補填する、
請求項１乃至３のうちいずれか一項記載の画像歪み補正方法。 - 画像全体の歪みパターンは、画像の小領域毎の２次元ずれ量によって表現され、
画像の小領域毎に、小領域内の２次元ずれ量と、小領域の中心位置を囲む３角形又は４角形の頂点に対応した計測代表点又は補助代表点の識別番号と、該３角形又は４角形の頂点に対応した計測代表点又は補助代表点から該小領域のずれ量を算出するための補間係数と、を関連付けて保持している、
請求項１乃至４のうちいずれか一項記載の画像歪み補正方法。 - 基準画像と比較画像との歪みパターンを、計測代表点でのパターンマッチングによるずれ量計測結果から補間処理により算出する、画像歪み補正装置であって、
補正対象画像範囲の周辺に計測代表点以外の補助代表点を設定し、補助代表点でのずれ量を、近傍の計測代表点で計測されたずれ量から外挿により補填する手段と、
補正対象画像範囲の全領域を、補正対象画像範囲に設けられた計測代表点又は補助代表点を頂点とした３角形又は４角形にくまなく分割する手段と、
３角形又は４角形内でのずれ量を、該３角形又は４角形の頂点に関連したずれ量から線形補間により算出する手段と、
を有することを特徴とする画像歪み補正装置。 - ２次元ずれ量を計測する２次元計測代表点、縦方向のみの１次元ずれ量を計測する第１の１次元計測代表点、横方向のみの１次元ずれ量を計測する第２の１次元計測代表点、右下がり斜め方向のみの１次元ずれ量を計測する第３の１次元計測代表点、及び、右上がり斜め方向のみの１次元ずれ量を計測する第４の１次元計測代表点のうちのいずれかの種別の計測代表点を設定する手段と、
各種別の計測代表点でのずれ量を組み合わせて、画像全体での歪みパターンを決定する手段と、
を更に有する請求項６記載の画像歪み補正装置。 - 上記いずれかの種別の計測代表点を設定する手段は、基準画像の局所領域の画像特徴に基づいて、パターンマッチングに最適な計測代表点の位置と種別を決定し配置する、請求項７記載の画像歪み補正装置。
- 計測代表点でのパターンマッチングの結果が所定の基準を満たすかどうかを判定する手段と、
パターンマッチングの結果が所定の基準を満たさない計測代表点のずれ量を、該計測代表点の近傍の別の計測代表点でのずれ量から補填する手段と、
を更に有する請求項６乃至８のうちいずれか一項記載の画像歪み補正装置。 - 画像の小領域毎に、画像全体の歪みパターンを表現する小領域内の２次元ずれ量と、小領域の中心位置を囲む３角形又は４角形の頂点に対応した計測代表点又は補助代表点の識別番号と、当該３角形又は４角形の頂点に対応した計測代表点又は補助代表点から該小領域のずれ量を算出するための補間係数と、を関連付けて保持する記憶手段を更に有する請求項６乃至９のうちいずれか一項記載の画像歪み補正装置。
- 基準画像と比較画像の対応する計測代表点でのパターンマッチングによってずれ量が算出される領域である補正対象画像範囲の周辺に、計測代表点以外の補助代表点を設定する機能と、
補助代表点でのずれ量を、近傍の計測代表点で計測されたずれ量から外挿により補填する機能と、
補正対象画像範囲の全領域を、補正対象画像範囲に設けられた計測代表点又は補助代表点を頂点とした３角形又は４角形にくまなく分割する機能と、
３角形又は４角形内でのずれ量を、該３角形又は４角形の頂点に関連したずれ量から線形補間により算出する機能と、
をコンピュータに実現させるための画像歪み補正プログラム。 - 計測代表点として、画像内の２方向の２次元ずれ量を計測する２次元タイプと、縦方向の１次元ずれ量を計測する縦方向タイプと、横方向の１次元ずれ量を計測する横方向タイプと、右下がり斜め方向の１次元ずれ量を計測する右下がり斜め方向タイプと、右上がり斜め方向の１次元ずれ量を計測する右上がり斜め方向タイプのうちのいずれかの種別の計測代表点を設定する機能と、
各種別の計測代表点でのずれ量を組み合わせて、画像全体での歪みパターンを決定する機能と、
を更にコンピュータに実現させるための請求項１１記載の画像歪み補正プログラム。 - 基準画像の局所領域の画像特徴に基づいて計測代表点の位置と種別を決定する機能を更にコンピュータに実現させるための請求項１０又は１２記載の画像歪み補正プログラム。
- 計測代表点でのパターンマッチングの結果が所定の基準を満たすかどうかを判定する機能と、
パターンマッチングの結果が所定の基準を満たさない計測代表点のずれ量を、該計測代表点の近傍の計測代表点でのずれ量から補填する機能と、
を更にコンピュータに実現させるための請求項１１乃至１３のうちいずれか一項記載の画像歪み補正プログラム。 - 画像の小領域毎に、画像全体の歪みパターンを表現する小領域内の２次元ずれ量と、小領域の中心位置を囲む３角形又は４角形の頂点に対応した計測代表点又は補助代表点の識別番号と、該３角形又は４角形の頂点に対応した計測代表点又は補助代表点から該小領域のずれ量を算出するための補間係数と、を関連付けて保持する機能と、
を更にコンピュータに実現させるための請求項１０乃至１４のうちいずれか一項記載の画像歪み補正プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002198885A JP3754401B2 (ja) | 2002-07-08 | 2002-07-08 | 代表点計測に基づく画像歪み補正方法、画像歪み補正装置及び画像歪み補正プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002198885A JP3754401B2 (ja) | 2002-07-08 | 2002-07-08 | 代表点計測に基づく画像歪み補正方法、画像歪み補正装置及び画像歪み補正プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004038884A true JP2004038884A (ja) | 2004-02-05 |
| JP3754401B2 JP3754401B2 (ja) | 2006-03-15 |
Family
ID=31706213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002198885A Expired - Lifetime JP3754401B2 (ja) | 2002-07-08 | 2002-07-08 | 代表点計測に基づく画像歪み補正方法、画像歪み補正装置及び画像歪み補正プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3754401B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008500866A (ja) * | 2004-05-28 | 2008-01-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像処理をするための方法、コンピュータプログラム、装置及びイメージングシステム |
| JP2012058197A (ja) * | 2010-09-13 | 2012-03-22 | Shin Nippon Koki Co Ltd | 検査画像の生成方法、それを用いた画像検査方法、並びに外観検査装置 |
| JP2013234976A (ja) * | 2012-05-11 | 2013-11-21 | Hioki Ee Corp | 外観検査装置及び外観検査方法 |
| JP2015059875A (ja) * | 2013-09-20 | 2015-03-30 | 日置電機株式会社 | 検査結果表示データ生成装置、検査結果表示装置、基板検査システムおよび検査結果表示データ生成方法 |
| JP2015099585A (ja) * | 2013-10-16 | 2015-05-28 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| JP2015158802A (ja) * | 2014-02-24 | 2015-09-03 | 国立研究開発法人宇宙航空研究開発機構 | カメラ映像の視点位置補正によって、視差に起因する誤認を防止する方法とそれを実施するシステム |
| JP2016538562A (ja) * | 2013-09-12 | 2016-12-08 | コー・ヤング・テクノロジー・インコーポレーテッド | 基板検査際の補償マトリックス生成方法 |
| WO2020110711A1 (ja) * | 2018-11-27 | 2020-06-04 | オムロン株式会社 | 検査システム、検査方法およびプログラム |
-
2002
- 2002-07-08 JP JP2002198885A patent/JP3754401B2/ja not_active Expired - Lifetime
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008500866A (ja) * | 2004-05-28 | 2008-01-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像処理をするための方法、コンピュータプログラム、装置及びイメージングシステム |
| JP2012058197A (ja) * | 2010-09-13 | 2012-03-22 | Shin Nippon Koki Co Ltd | 検査画像の生成方法、それを用いた画像検査方法、並びに外観検査装置 |
| JP2013234976A (ja) * | 2012-05-11 | 2013-11-21 | Hioki Ee Corp | 外観検査装置及び外観検査方法 |
| JP2016538562A (ja) * | 2013-09-12 | 2016-12-08 | コー・ヤング・テクノロジー・インコーポレーテッド | 基板検査際の補償マトリックス生成方法 |
| JP2015059875A (ja) * | 2013-09-20 | 2015-03-30 | 日置電機株式会社 | 検査結果表示データ生成装置、検査結果表示装置、基板検査システムおよび検査結果表示データ生成方法 |
| JP2015099585A (ja) * | 2013-10-16 | 2015-05-28 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| JP2015158802A (ja) * | 2014-02-24 | 2015-09-03 | 国立研究開発法人宇宙航空研究開発機構 | カメラ映像の視点位置補正によって、視差に起因する誤認を防止する方法とそれを実施するシステム |
| WO2020110711A1 (ja) * | 2018-11-27 | 2020-06-04 | オムロン株式会社 | 検査システム、検査方法およびプログラム |
| JP2020085678A (ja) * | 2018-11-27 | 2020-06-04 | オムロン株式会社 | 検査システム、検査方法およびプログラム |
| JP7047725B2 (ja) | 2018-11-27 | 2022-04-05 | オムロン株式会社 | 検査システム、検査方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3754401B2 (ja) | 2006-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6176114B2 (ja) | 投影像自動補正システム、投影像自動補正方法およびプログラム | |
| US10378877B2 (en) | Image processing device, image processing method, and program | |
| JP2007525770A (ja) | 重複する複数の画像から単一の画像を形成する技術 | |
| JP2007036482A (ja) | 情報投影表示装置およびプログラム | |
| US20110164226A1 (en) | System and method for projection correction | |
| JP2001069433A (ja) | 画像投影装置、画像投影方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2000011172A (ja) | 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体 | |
| WO2006092961A1 (ja) | 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム | |
| JP3754401B2 (ja) | 代表点計測に基づく画像歪み補正方法、画像歪み補正装置及び画像歪み補正プログラム | |
| JP2011155412A (ja) | 投影システムおよび投影システムにおける歪み修正方法 | |
| JP4415101B2 (ja) | 画像投影装置及び画像投影方法 | |
| JP5561503B2 (ja) | プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法 | |
| KR101689964B1 (ko) | 데이터 보정 장치, 묘화 장치, 검사 장치, 데이터 보정 방법, 묘화 방법, 검사 방법 및 프로그램을 기록한 기록 매체 | |
| JP5446285B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4548228B2 (ja) | 画像データ作成方法 | |
| JP6153318B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
| US20110128398A1 (en) | Image Processing Apparatus, Image Processing Method, and Computer Program | |
| JP2022138883A (ja) | 画像生成方法、制御方法、および情報処理装置 | |
| JP2003510568A (ja) | パターン比較によるｌｃｄ検査方法およびｌｃｄ検査装置 | |
| JP2961140B2 (ja) | 画像処理方法 | |
| JPH10320565A (ja) | 画像処理方法及び装置 | |
| JP2008170282A (ja) | 形状測定装置 | |
| JP5845151B2 (ja) | あおり補正装置、あおり補正方法及びあおり補正用コンピュータプログラム | |
| JP7139953B2 (ja) | 三次元形状測定装置、三次元形状測定方法及びプログラム | |
| CN115816833B (zh) | 图像校正数据的确定方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050304 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050826 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051215 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3754401 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121222 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121222 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131222 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |