JP2010032260A - 光学系歪補正方法および光学系歪補正装置 - Google Patents

Abstract

【課題】試行錯誤的なパラメータ調整に依存せずに光学歪みを補正し得る光学系歪補正方法を提供する。
【解決手段】光学系歪補正方法は、採取された画像上の点Ｄ（Ｘｄ，Ｙｄ）から真の投影座標Ｕ（Ｘｕ，Ｙｕ）への対応関係を、Ｘｄ，Ｙｄの２変数多項式としてそれぞれ設定するステップと、その２変数多項式の次数をＮとすると、（Ｎ＋１）（Ｎ＋２）以上の個数であって予め位置座標（Ｘｕｉ，Ｙｕｉ）（但しｉ＝１，・・・Ｎ）が既知のマーク群を有する基準対象物を撮像するステップと、その撮像された基準画像内における前記マーク群の座標（Ｘｄｉ，Ｙｄｉ）および位置座標（Ｘｕｉ，Ｙｕｉ）に基づいて、変分法によって２変数多項式の係数を決定するステップとを含む。
【選択図】図１

Description

本発明は、対象物（被検体）の画像からその外観、きず、特徴部などの寸法等の諸元情報を高精度に測定する上で好適に用い得る光学系歪補正方法、および光学系歪補正装置に関する。

従来から、ＣＣＤカメラやラインセンサカメラ等の画像採取手段を用いて、工業製品等の対象物（被検体）の画像を採取し、その採取された画像に基づいて対象物の外観や疵、特徴部などの寸法等の諸元情報を自動計測する画像検査装置が用いられている。この種の画像検査装置は、これまで作業者の目視や手作業に頼っていた寸法測定や検査を自動化する手段として広く用いられている。

ところで、この種の画像検査装置の画像採取手段は、通常、対象物の像をＣＣＤ等の画像採取素子上に結像させる。そのため、適切に設計・調整されたレンズ群が光学系として組み込まれている。しかし、例えば非特許文献１に記載されるように、一般に、レンズはその収差等で光学歪みが発生することが知られており、これらの光学歪みに起因する被検体の画像計測誤差を除くことが古くから知られた課題である。そこで、この課題に対処するために、従来から様々な方法が提案されている。

例えば非特許文献２に開示されている方法では、被検体上の各部の投影座標から画像への対応関係が歪み成分ａｘ，ａｙで表現されるとし、これを適宜調整することでレンズの歪みが抑制されるとしている。
また、例えば非特許文献３においては、格子状のテスト画像を撮像し、補正前の画像座標（ｘｄ，ｙｄ）から（ｘ，ｙ）の対応関係が、次の（式５）に示す関係にて規定されるとしている。

そして、この非特許文献３においては、上記対応関係において、別途規定するＨｏｕｇｈ変換に基づく変換後の格子画像内の直線の直進度が最良となるように、パラメータα、ｋ１、ｋ２を調整することで光学歪みを補正できるとしている。
さらに、同様の方法として、非特許文献４には、レンズの焦点距離をｆｘ，ｆｙ、画像の中心点をｃｘ，ｃｙ、径方向および接線方向のパラメータをそれぞれｋ１，ｋ２，ｐ１，ｐ２、また、ｘ^２＝ｘ_d ^２＋ｙ_ｄ ^２，ｘ_ｄ＝（ｊ−ｃｘ）／ｆｘ，ｙ_ｄ＝（ｉ−ｃｙ）／ｆｙ、さらに、i，ｊを水平、垂直方向の画素番号とすると、補正前の画像上の座標（ｘｄ，ｙｄ）およびこれに対応する補正後の（Ｘｕ，Ｙｕ）の関係は、次の（式６）が成り立つため、前記のパラメータｋ１，ｋ２，ｐ１，ｐ２を適切な値に調整すればよいとしている。

「ユーザーエンジニアのための光学入門」、Ｐ．１２１、５．１節「湾曲」 Lens Correction and Distortion"，Written by Paul Bourke（April 2002，http://local.wasp.uwa.edu.au/~pbourke/projection/lenscorrection/） 「実時間三次元視覚の時空間統合による運動空間再構成法」（第１７回日本ロボット学会学術講演会（１９９９年９月、Ｐ．３１） Intel Integrated Performance Primitives Reference Manual：Volume2（インテル社、２００６年）Ｐ．１４−Ｐ．７１

しかしながら、上述した光学系の歪みを補正する技術においては、収差を補正する式内に、未知数（パラメータ）が存在しており、これら未知数は使用者が試行錯誤的に設定せざるを得ない。したがって、画像検査装置を用いるときに、その調整に時間がかかり、また、光学系の歪みの補正結果が最良であるか否かの判断に主観が介在して安定した結果が得られない、などの問題点があった。
そこで、本発明は、このような問題点に着目してなされたものであって、試行錯誤的なパラメータ調整に依存せずに光学歪みを補正し得る光学系歪補正方法および光学系歪補正装置を提供することを目的としている。

上記課題を解決するために、本発明のうち第一の発明は、光学系を有する画像採取手段を用いて対象物の画像を採取し、その採取された画像に基づいて当該対象物の寸法等の諸元情報を計測する画像検査装置を用いるときに、前記光学系の歪みを補正する方法であって、前記採取された画像上の点Ｄ（Ｘｄ，Ｙｄ）から真の投影座標Ｕ（Ｘｕ，Ｙｕ）への対応関係を、Ｘｄ，Ｙｄの２変数多項式としてそれぞれ設定するステップと、前記２変数多項式の次数をＮとすると、（Ｎ＋１）（Ｎ＋２）以上の個数であって予め位置座標（Ｘｕｉ，Ｙｕｉ）（但しｉ＝１，・・・Ｎ）が既知のマーク群を有する基準対象物を撮像するステップと、その撮像された基準画像内における前記マーク群の座標（Ｘｄｉ，Ｙｄｉ）および前記位置座標（Ｘｕｉ，Ｙｕｉ）に基づいて、変分法によって前記２変数多項式の係数を決定するステップとを含むことを特徴としている。

また、本発明のうち第二の発明は、光学系を有する画像採取手段を用いて対象物の画像を採取し、その採取された画像に基づいて当該対象物の寸法等の諸元情報を計測する画像検査装置に用いられ、前記光学系の歪みを補正する光学系歪補正装置であって、撮像視野に分布しそれぞれの位置座標が既知であるＭ個のマーク群を有する基準パターンを用いて、Ｍ≧（Ｎ＋１）（Ｎ＋２）となるようなＮ次の２変数多項式Ｆｘ，Ｆｙによって画像上の点Ｄ（Ｘｄ，Ｙｄ）から真の投影座標Ｕ（Ｘｕ，Ｙｕ）への対応関係を変分法によって算出する多項式係数決定手段を備えていることを特徴としている。

本発明によれば、光学歪みの補正において、それぞれの位置座標が既知である複数のマークを有する基準パターン（基準対象物）を用いることで、歪みを補正する式を一意に得ることが可能である。そのため、補正式中のパラメータを試行錯誤的に調整する必要がなく、また、補正が良好であるかなどの恣意的判断も不要となる。したがって、光学歪みを補正する作業を効率よく且つ再現性良く行うことができる。

以下、本発明の一実施形態について、図面を適宜参照しつつ説明する。
図１は、対象物（被検体）を、光学歪みをもつ光学系を有する画像採取手段を用いて撮像した場合の光学歪み補正の効果を概念的に表したものである。なお、同図において紙面上方の図は、基準パターン上の真のマークの配列のイメージを示し、また、紙面下方の図は、光学歪みをうけた画像上のマークの配列のイメージを示している。
本発明の基本的な考え方は、まず、光学系を有する画像採取手段を用いて対象物の画像を採取する。そして、その採取された画像上で得られる、あるマークの座標Ｄ（Ｘｄ，Ｙｄ）とそのマークの真の投影座標Ｕ（Ｘｕ，Ｙｕ）との対応関係を、Ｘｄ，ＹｄのＮ次の２変数多項式からなる次の光学歪補正式（式１）によって与える。

そして、この２変数多項式の係数ａ_０，ａ_１，１，ａ_１，２，．．．，ｂ_０，ｂ_１，１，ｂ_１，２，．．．を決定する（多項式係数決定）。ここで、この光学系歪補正方法においては、光学歪補正式（式１）の係数を決定するための手法として、この多項式の係数に比べて十分に多い個数の座標（Ｘｄｉ，Ｙｄｉ）の実測値を予め知ることのできる位置座標（Ｘｕｉ，Ｙｕｉ）の対応誤差が最小となるように、例えば下記のような変分法の手順によって一意に算出するものである。

すなわち、上記光学歪補正式（式１）の係数ａ_ｋ，ｒは、Ｆｘ中の変数ｘ^ｋ−ｒｙ^ｒの係数であり、また、係数ｂ_ｋ、ｒはＦｙ中の変数ｘ^ｋ−ｒｙ^ｒの係数である。そして、多項式係数列ａ＝｛ａ_０，０，ａ_１，１，ａ_１，２，．．．｝，ｂ＝｛ｂ_０，０，ｂ_１，１，ｂ_１，２，．．．｝の個数はそれぞれＮ次の２変数多項式の係数の個数となるから、その個数はそれぞれ（Ｎ＋１）（Ｎ＋２）／２個である。

ここで、従来技術の項で述べているように、光学系の歪みは視野範囲上の各点において連続な関数であるとみなしてよく、本発明に係る方法で算出する収差の補正式は、Ｘｄ，Ｙｄの多項式であるので、視野範囲内をカバーする十分な個数の離散点の歪み補正を行えば、その他の視野全域に拡張して使用しても差し支えない。
変分法による光学歪補正式の決定の一例としては、Ｆｘ、Ｆｙによる歪補正の二乗誤差（次の（式２））が最小となるように、各パラメータによる偏微分係数の停留条件を求める。

つまり、停留条件は次に示す（式３）となる。

これを変形すると、補正式の係数からなる解ベクトルが、次の（式４）によって算出される行列問題となり、逆行列法、ＬＵ分解法などの公知の行列演算によって光学歪補正式の係数を一意に求めることができる。

ここで、上記光学歪補正式（式１）の次数Ｎは任意の正の整数でよく、光学系の特性や要求する歪補正の精度を勘案して決定すればよい。しかし、Ｎ＝１では単なる倍率係数算出で殆ど意味を成さず、一方、光学歪補正式の次数Ｎを高次にしても演算時間はそれほど増大しないので、Ｎ＝８〜１２程度の範囲で設定することが好ましい。
また、基準パターン上のマーク群の個数Ｍについては、本質的には連立一次方程式の解法に帰着することから、光学歪補正式の次数Ｎに応じて定まる多項式係数｛ａ｝，｛ｂ｝の総数が（Ｎ＋１）（Ｎ＋２）であることを考慮して、これ以上の個数をマーク群の個数Ｍとするのが好適であり、より大となる個数がより好適である。

さらに、画像内でのマークの位置座標の決定において、通常、画像上の点は画素単位、つまり整数単位で算出するが、打ち切り誤差等の影響を最小にするために、各マークは、測定画像上で５〜１０画素程度以上の大きさとなるようにし、且つＸｄ，Ｙｄの算出においては、重心演算や補間処理によって画素の１／１０単位以下の浮遊小数点単位で各マークの位置を算出するような演算を併用することが望ましい。

次に、実施例について説明する。
図２は、本発明の実施例の一例を示す構成図であり、同図において、符号１は基準パターン、２は結像光学系、３は撮像手段、４は画像演算手段、５は記憶手段であり、この画像演算手段４および記憶手段５によって光学系歪補正装置が構成されている。
詳しくは、基準パターン１は、背景に対して十分なコントラストを持ったドット（小さな円上の点）を縦横に等間隔に並べたものや、縦横の線を等間隔に並べた格子状のパターンなどが市販、または公知なパターンとして製作されているものを用いればよい。この基準パターン１上のドット、格子の交点などが基準マークとなる。これら基準となるマークの分布は予め知れている。

また、撮像形態として、基準パターン１を撮像する際の光量が、下記の撮像手段の感度に比べて十分でない場合に、図示しない補助光源を用いることもあるが、光源と撮像手段が基準パターン１に関して対向する（透過撮像となる）場合は、基準パターン１上のマークを黒（不透明体）、背景を高精度平面ガラス（透明体）とするのがよい。また、光源と撮像手段が基準パターン１に関して同方向（反射撮像）となる場合は、基準パターン１上のマークを黒（不透明体）、背景は白の不透明体として反射率の差をできるだけ大きくすることが望ましい。また、基準パターン１上のドット、格子の交点などのマークは、結像光学系２および撮像手段３によって、目的とする検査でカバーする撮像範囲の全域に分布するように設計することが望ましい。

結像光学系２は、対象物の像を撮像手段３の撮像素子上に結像させる光学系であって、通常、レンズあるいは反射鏡等を適宜組み合わせたものが市販されており、対象とする視野、光学解像度に応じて開口や焦点距離等を選定すればよい。
撮像手段３は、前記結像光学系２とによって画像採取手段を構成しており、結像光学系２によって撮像素子上で光学的に結像された像を電気的な強度信号に変換するものである。この撮像手段３は、撮像素子としてＣＣＤ、ＣＭＯＳ等を２次元上に配列したエリアセンサカメラとして市販されているものを利用する等して適宜構成して使用すればよい。また、前記ＣＣＤ、ＣＭＯＳ等の撮像素子を１次元に配列したラインセンサカメラと前記結像光学系２の間に回転鏡を挿入するか、一次元撮像素子を素子と直交方向に移動させるなどして２次元画像を得るようにしてもよい。

画像演算手段４は、前記のようにして電気的強度信号に変換された対象物の像を、座標に相当する画素の順に数値として蓄え、上記実施形態で説明したような演算によって、予め設定した次数Ｎに関する光学歪補正演算式（式１）の係数を決定するものであり、好適にはコンピュータ、ＤＳＰ，ＦＰＧＡ等のソフトウェアプログラムやそれと等価な動作をする演算回路で構成すればよい。

記録手段５は、画像演算手段４が出力する光学歪補正演算式の係数を記憶するものであり、不揮発メモリ、ハードディスク等の磁気記憶媒体等を用いればよい。
なおまた、近年では、上記画像演算手段４と記録手段５は、画像採取手段とのインターフェイスボードを有するパソコン、ワークステーション、ボードコンピュータなどのコンピュータとそのアプリケーションソフトウエア、外部記憶装置で実現するのが好適である。

次に、本実施例の動作を、測定例を図に例示しながら説明する。
図３は、本実施例によって撮像した格子の基準パターンの画像（生画像）の一部である。基準マークは格子の交点であるので、この交点の中心座標を算出すればよい。一例として、以下の１）〜３）にその手順を示す。
１）まず、平滑フィルタを用いて基準パターンの生画像を平滑し、これを平滑画像とする。ここで、この平滑フィルタは、光学系の平均的な倍率と格子の線の太さから予め知れる交点の縦・横の画素数に相当するマスク長を有するものである。図３の画像（生画像）に対して平滑フィルタを作用させた例を図４に示す。

２）次に、生画像と平滑画像との差分演算により差分画像を生成する。なお、図５は生画像（図３）と平滑画像（図４）との差分演算による差分画像を示す図である。これにより、生画像で存在した照度ムラ等がほぼ均一になり、次の交点領域の識別が容易になる。
３）次に、図５に示す差分画像によって輝度が高い領域が交差した点を順に識別する。上記差分画像に対しこの識別手順によって識別した交点を小さな四角形で囲ったものが図６である。その輝度と画素の２次元重心を同様に順に算出し、その算出された２次元重心を基準マークの中心座標（Ｘｄｉ，Ｙｄｉ）とする。

このようにして、基準パターン１を撮像した画像上のマーク群の座標（Ｘｄｉ，Ｙｄｉ）が算出された。次に、これらマーク群の座標（Ｘｄｉ，Ｙｄｉ）に対して対応する基準座標（Ｘｕｊ，Ｙｕｊ）を関連付けする。この関連付けに際しては、マークの分布が予め知れているので、基準となる画像中心、あるいは端から順に対応付けていくなどの方法を採ればよい。

次に、例えば上記実施形態で説明したような変分法演算によって、光学歪を補正するための光学歪補正式（式１）を決定し、これによって光学歪みを補正する。ここで、図７は、上記のようにして図３の生画像からＮ＝１０の場合に算出した光学歪補正式（式１）を用いて生画像の格子点座標を補正した結果と、格子の設計上の座標誤差（補正誤差）を、格子の水平方向座標毎にプロットしたものである。
同図からわかるように、本実施例の光学系では、最大０．１５ｍｍ程度を上限として一様なばらつきで光学歪みが存在していたが、本実施例の補正によって、０．００１ｍｍ以下に補正されている。これにより、本実施例の効果が確認できた。

レンズによって結像させて撮像する画像が光学歪みを受ける様子と、基準マークの対応関係を概念的に示した図である。 本発明に係る一実施例の構成図である。 基準パターンを撮像した生画像の一部を示す図である。 図３に示す画像（生画像）を２次元に平滑した画像を示す図である。 図３および図４に示す図の差分演算による差分画像を示す図である。 図５の交点の存在範囲を識別した結果を示す画像の図である。 第二の基準マークである格子の交点各点の座標の真の値との誤差を、光学歪補正前と補正後とについてそれぞれプロットしたグラフである。

符号の説明

１ 基準パターン
２ 結像光学系
３ 撮像手段
４ 画像演算手段
５ 記憶手段

Claims (2)

1. 光学系を有する画像採取手段を用いて対象物の画像を採取し、その採取された画像に基づいて当該対象物の寸法等の諸元情報を計測する画像検査装置を用いるときに、前記光学系の歪みを補正する方法であって、
   前記採取された画像上の点Ｄ（Ｘｄ，Ｙｄ）から真の投影座標Ｕ（Ｘｕ，Ｙｕ）への対応関係を、Ｘｄ，Ｙｄの２変数多項式としてそれぞれ設定するステップと、前記２変数多項式の次数をＮとすると、（Ｎ＋１）（Ｎ＋２）以上の個数であって予め位置座標（Ｘｕｉ，Ｙｕｉ）（但しｉ＝１，・・・Ｎ）が既知のマーク群を有する基準対象物を撮像するステップと、その撮像された基準画像内における前記マーク群の座標（Ｘｄｉ，Ｙｄｉ）および前記位置座標（Ｘｕｉ，Ｙｕｉ）に基づいて、変分法によって前記２変数多項式の係数を決定するステップとを含むことを特徴とする光学系歪補正方法。
2. 光学系を有する画像採取手段を用いて対象物の画像を採取し、その採取された画像に基づいて当該対象物の寸法等の諸元情報を計測する画像検査装置に用いられ、前記光学系の歪みを補正する光学系歪補正装置であって、
   撮像視野に分布しそれぞれの位置座標が既知であるＭ個のマーク群を有する基準パターンを用いて、Ｍ≧（Ｎ＋１）（Ｎ＋２）となるようなＮ次の２変数多項式Ｆｘ，Ｆｙによって画像上の点Ｄ（Ｘｄ，Ｙｄ）から真の投影座標Ｕ（Ｘｕ，Ｙｕ）への対応関係を変分法によって算出する多項式係数決定手段を備えていることを特徴とする光学系歪補正装置。