JP2015161529A - 表面検査装置、表面検査方法およびプログラム - Google Patents

Abstract

【課題】いわゆるＳＲ（Ｓｐｅｃｔｒａｌ Ｒｅｓｉｄｕａｌ）法による画像処理を行うに際して、ガウス関数が用いられる。従来は、ガウス関数のパラメータであるガウス分布の幅ｗは作業者により設定されており、自動化の妨げとなっている。【解決手段】表面検査装置１０は、検査対象表面１８に縞パターン２０を投影させる投影器１２と、縞パターン２０が投影された検査対象表面１８を撮像する撮像器１４と、検査対象表面１８の撮像画像をもとに、当該検査対象表面１８上の傷を検出する演算器１６と、を備える。演算器１６は、ガウス関数の幅ｗとして、検査対象表面１８に投影された縞パターン２０の空間周波数を用いる。【選択図】図１

Description

本発明は、鏡面上の傷等を検出可能な、表面検査装置、表面検査方法およびプログラムに関する。

従来から、検査対象の撮像画像をもとに、当該検査対象の特徴を検出する画像処理技術が知られている。例えば非特許文献１では、いわゆるＳＲ法（Spectral Residual法）を用いて、画像処理を行っている。

ＳＲ法では、撮像画像をフーリエ変換するとともに、フーリエ変換された実部と虚部から、パワースペクトルを得る。パワースペクトルは複製（コピー）され、コピーされたパワースペクトルに低解像度フィルタが掛けられる。コピー元のパワースペクトルからフィルタ処理されたパワースペクトルを差し引くことにより、撮像画像の高周波成分が抽出される。これをもとにして、撮像対象の特徴を検出している。

低解像度フィルタとして、ガウスフィルタが用いられる。ガウスフィルタに用いられるガウス関数ｇ（ｆ）は、以下の数式（１）で表される。

ここで、ｆ_x及びｆ_yは、それぞれ、画像の横方向及び縦方向の空間周波数を示している。また、ｗはガウス分布の幅を示すものであり、標準偏差（σ）と同義である。

シャオディ・ホウ（Xiaodi Hou）、外１名、「特徴点検出：スペクトル残渣アプローチ（Saliency Detection: A Spectral Residal Approach）」、コンピュータヴィジョン及び画像認識（Computer Vision, and Pattern Recognition, CVPR）、２００７年、p.1-8

ところで、画像処理に当たり、ガウス関数の幅ｗは作業者により設定される。例えば幅ｗに任意の値を与えてその後得られた処理画像を目視して、幅ｗの値を調整する。従来の画像処理では、このようなマニュアル作業が必要とされており、自動化の妨げとなっている。

本発明に係る表面検査装置は、検査対象表面に縞パターンを投影させる投影器と、前記縞パターンが投影された検査対象表面を撮像する撮像器と、検査対象表面の撮像画像をもとに、当該検査対象表面上の傷を検出する演算器と、を備える。前記演算器は、前記撮像画像のパワースペクトルから当該パワースペクトルにガウスフィルタを掛けたフィルタ処理パワースペクトルを差し引くことで前記撮像画像の高周波成分を抽出するとともに、前記高周波成分をもとにして検査対象表面の傷を検出する。また、前記ガウスフィルタに用いられるガウス関数の幅ｗとして、検査対象表面に投影された前記縞パターンの空間周波数を用いる。

また、上記発明において、前記演算器は、前記撮像画像に基づいて、検査対象表面と背景との境界を抽出し、前記抽出された境界を起点にした所定幅内の画素に対して、輝度値を低減させることが好適である。

また、本発明に係る表面検査方法は、検査対象表面に縞パターンを投影させる投影ステップと、前記縞パターンが投影された検査対象表面を撮像する撮像ステップと、検査対象表面の撮像画像をもとに、当該検査対象表面上の傷を検出する検出ステップを備える。前記検出ステップにおいて、前記撮像画像のパワースペクトルから当該パワースペクトルにガウスフィルタを掛けたフィルタ処理パワースペクトルを差し引くことで前記撮像画像の高周波成分を抽出するとともに、前記高周波成分をもとにして検査対象表面の傷を検出する。また、前記ガウスフィルタに用いられるガウス関数の幅ｗとして、検査対象表面に投影された前記縞パターンの空間周波数を用いる。

また、本発明に係るプログラムは、検査対象表面に投影された縞パターンの撮像画像を受信するコンピュータを、前記撮像画像のパワースペクトルから当該パワースペクトルにガウスフィルタを掛けたフィルタ処理パワースペクトルを差し引くことで前記撮像画像の高周波成分を抽出するとともに、前記高周波成分をもとにして検査対象表面の傷を検出する、演算器として機能させる。前記演算器は、前記ガウスフィルタに用いられるガウス関数の幅ｗとして、検査対象表面に投影された前記縞パターンの空間周波数を用いる。

本発明によれば、ガウスフィルタを自動的に設定することが可能となり、画像処理の自動化が可能となる。

本実施形態に係る表面検査装置を例示する斜視図である。 検査対象表面の撮像画面を例示する図である。 本実施形態に係る表面検査装置の画像処理フローを例示する図である。 ガウス関数の幅ｗの導出方法を説明する図である。 境界処理を説明する図である。

図１に、本実施形態に係る表面検査装置１０を例示する。表面検査装置１０は、投影器１２、撮像器１４、及び演算器１６を備える。

投影器１２は、検査対象表面１８に縞パターン２０を投影させる。投影器１２は、例えば縞パターン画像を出力する液晶ディスプレイであってよい。また、投影器１２は、面光源及び縞格子部材から構成されていてもよい。

縞パターン２０は、その輝度が１軸方向（１次元方向）に周期的に変化（増減）する、１次元格子パターンであってよい。また、輝度変化は、正弦波状に変化するものであってよい。この縞パターン２０は、いわゆるキャリア縞として機能し、後述するように検査対象表面１８上の傷を浮かび上がらせる効果を有している。

なお、検査対象表面１８は、キャリア縞の投影面として機能するものであればよく、例えば鏡面から構成される。

撮像器１４は、縞パターン２０が投影された検査対象表面１８を撮像する。撮像器１４は、例えばＣＣＤカメラやＣＭＯＳカメラであってよい。

図２には、撮像器１４による検査対象表面１８の撮像画像が３例示されている。各画像の左隅には、表面上の傷を含む拡大画像が示されている。この画像に示されているように、傷部分の輝度変化パターンは、周囲の縞パターンよりも密になっている、つまり空間周波数が高い。したがって、撮像画像のうち、検査対象表面１８に投影された縞パターン（キャリア縞）の空間周波数（キャリア周波数）よりも高周波の成分を抽出することで、検査対象表面１８の傷検知が可能となる。

上記のような検討を踏まえて、本実施形態では、検査対象表面１８上の傷とは、キャリア周波数を超過する表面上の凹凸形状を指すものとする。

図１に戻り、演算器１６は、撮像器１４によって撮像された、検査対象表面１８の撮像画像をもとに、当該検査対象表面１８上の傷を検出する。演算器１６は、画像処理可能なものであればよく、例えばＣＰＵなどの演算回路及びメモリなどの記憶手段を備えたコンピュータから構成されてよい。記憶手段には、後述する画像処理を実行するためのプログラムが記憶される。また、演算器１６は、画像処理結果を表示するディスプレイ２２を備えてもよい。

次に、演算器１６による画像処理について説明する。図３には、演算器１６による画像処理の概要が例示されている。まず、演算器１６は、撮像画像（元画像）をフーリエ変換（Ｆ．Ｔ．）する（Ｓ１０）。元画像の輝度分布をＩ（ｘ）とすると、ステップＳ１０は下記数式（３）（４）のように表すことができる。なお、上記輝度分布の関数Ｉ（ｘ）のパラメータｘはベクトルであって、撮像画像の２次元平面の任意の座標を示すものとする。

ここで、Ｆ[]はフーリエ変換、Ｒ｛｝、Ｉ｛｝はそれぞれ、｛｝内の複素数から実部、虚部を得る演算子である。演算器１６は、この実部Ａ（ｆ）と虚部Ｐ（ｆ）に基づき、下記数式（５）、（６）のようにパワースペクトル及び位相を求める（Ｓ１２）。

ここで、Ｌ（ｆ）はパワースペクトル、Ｑ（ｆ）は位相を表す。次に、演算器１６は、パワースペクトルＬ（ｆ）を複製（コピー）して、これにガウスフィルタを掛ける（Ｓ１４）。または、元画像を低解像度化させた上で、パワースペクトルを求めるとともに、このパワースペクトルにガウスフィルタを掛けるようにしてもよい。

ガウスフィルタでは、上述した数式（１）のガウス関数が用いられる。本実施形態では、このガウス関数の幅ｗとして、検査対象表面１８に投影された縞パターン２０（キャリア縞）の空間周波数[ｍ^-1]を用いる。

縞パターン２０の空間周波数は、パワースペクトルＬ（ｆ）の画像処理により求めることができる。図４左には、パワースペクトルＬ（ｆ）の画像が例示されている。当該画像の横軸及び縦軸は、ともに空間周波数（波数）[ｍ^-1]を表している。図４右上には、パワースペクトルＬ（ｆ）の中心（原点）周辺の拡大図が示されている。検査対象表面１８上に投影された縞パターン（キャリア縞）の空間周波数（キャリア周波数）は、パワースペクトルＬ（ｆ）の輝度の最大値を持つ点に対応する。演算器１６は、パワースペクトルＬ（ｆ）の画像からキャリア周波数を求めるとともに、この値をガウス関数の幅ｗに代入する。

なお、キャリア周波数の導出に当たり、パワースペクトルＬ（ｆ）画像の画素を用いてもよい。すなわち、パワースペクトルＬ（ｆ）画像の中心から輝度の最大地点までの画素数をカウントするとともに、このカウント値と画素の寸法または所定の単位長さを掛けてその逆数をキャリア周波数[ｍ^-1]としてもよい。また、演算の簡略化のため、長さ単位の乗算を省略して画素のカウント数の逆数をキャリア周波数として扱ってもよい。

図３に戻り、演算器１６は、ガウス関数のパラメータであるガウス分布の幅ｗがキャリア周波数と等しい値に設定されたガウスフィルタを、パワースペクトルＬ（ｆ）に掛ける。さらに、演算器１６は、下記数式（７）のように、パワースペクトルＬ（ｆ）から、ガウスフィルタ処理されたパワースペクトル（フィルタ処理パワースペクトル）ｇ（ｆ）・Ｌ（ｆ）を差し引く（Ｓ１６）。

フィルタ処理パワースペクトルｇ（ｆ）・Ｌ（ｆ）は、キャリア周波数以上の高周波成分が抑制されたパワースペクトルとなる。このフィルタ処理パワースペクトルｇ（ｆ）・Ｌ（ｆ）をもとのパワースペクトルＬ（ｆ）から差し引くことで、撮像画像（元画像）から低周波成分が取り除かれるとともに、キャリア周波数以上の高周波成分が得られる。

次に、演算器１６は、位相Ｑ（ｆ）と高周波成分が抽出されたパワースペクトルＲ（ｆ）とを用いて、下記数式（８）に示すように、逆フーリエ変換（Ｉ．Ｆ．Ｔ．）を行う（Ｓ１８）。

次に、演算器１６は、撮像画像のうち、検査対象表面１８の領域のみを抽出して、背景領域を除去する、検査領域マスクを生成する（Ｓ２０）。図２に例示されているように、検査対象表面１８と背景との境界部分に着目すると、検査対象表面１８の縞パターンが背景の黒部分に切り落とされるようになっている。これを輝度変化の観点から見ると、輝度が矩形的に変化していることになる。矩形波には高調波成分が含まれることから、撮像画像の高周波成分を繋いでいくと、検査対象表面１８と背景との境界が抽出される。このようにして、演算器１６は、撮像画像（元画像）に基づいて、検査対象表面１８と背景との境界を抽出する。

なお、検査領域マスクの生成に当たり、撮像画像（元画像）を低解像度化させた上で境界を抽出するようにしてもよい。

境界部分が抽出されると、演算器１６は、検査対象表面１８領域に任意の値を与え、また背景領域にそれは異なる任意の値を与えて検査領域マスクを作成する。例えば図５中段に例示するように、検査対象表面１８領域には１を与え、背景領域には０を与える。

図３に戻り、演算器１６は、検査対象表面１８と背景との境界部分（輪郭部分）の画素に対して、輝度値を間引く境界処理を行う（Ｓ２２）。上述したように、検査対象表面１８と背景との境界部分は高周波成分が含まれる。検査対象表面１８上の傷も高周波成分を持つことから、傷検知の過程で境界部分を傷と誤検知する可能性がある。そこで、演算器１６は、境界部分の画素の輝度値を低減させる。

演算器１６は、ステップＳ２０にて抽出された境界を起点にした所定幅内の画素に対して、輝度値を低減させる。例えば、境界から検査対象表面側の１０画素に対して０＜ａ＜１であるパラメータａを与える。または、境界から検査対象表面側に向かうにつれて０から１にパラメータａを繰り上げて（増加させて）いってもよい。このようにすることで、背景領域にパラメータ０が与えられ、境界領域にパラメータａが与えられ、境界を除く検査対象表面１８にパラメータ１が与えられた、輪郭抑制フィルタＣ_Fが生成される。

次に演算器１６は、図５に示すように、逆フーリエ変換された画像データＳ（ｘ）に輪郭抑制フィルタＣ_Fを掛け合わせるか、累乗する（Ｓ２４）。これにより、画像データＳ（ｘ）の輝度値のうち、背景部分の輝度値が、掛け合わせの場合は０、累乗の場合は１となる一方で、検査対象表面１８の輝度値はＳ（ｘ）の原数値に維持される。また、境界部分の輝度値は、掛け合わせの場合は小数倍され、累乗の場合は小数乗される。図５の上段と下段を比較すると、輪郭抑制フィルタＣ_Fにより、検査対象表面１８の輪郭部（境界部分）の輝度値が低減されているのが理解される。

演算器１６は、フィルタ処理された画像データＳ（ｘ）・Ｃ_Fに対して二値化処理を行う（Ｓ２６）。例えば境界部分の画素の輝度値に所定のマージンを加えて閾値とするとともに、閾値未満の輝度を０とし、閾値以上の輝度を最大輝度とする。

以上説明した、Ｓ１０〜Ｓ２６までの処理により、撮像画像から低周波成分が取り除かれるとともに、境界領域の高周波成分も取り除かれる。したがって、これらのステップを実行することで、検査対象表面１８上の傷（高周波成分）が浮かび上がるような画像が得られる。

本実施形態に係る表面検査装置１０の各構成として、以下の機器を用いた。撮像器１４としてＢａｓｌｅｒ社のＣＣＤカメラ（型番：ａｃＡ１３００−３０ｇｍ）を用いた。画素数は１２８０ピクセル×９６０ピクセルであった。投影器１２として、センチュリー社の液晶ディスプレイ（型番：ＬＣＤ−８０００ＤＡ）を用いた。画素数は１０２４ピクセル×７６８ピクセルであった。当該液晶ディスプレイに、輝度が正弦波状に変化する一次元格子を出力させた。

演算器１６として、Ｄｅｌｌ社のパーソナルコンピュータ（型番：Ｐｒｅｃｉｓｉｏｎ Ｔ７５００）を用いた。また、演算器１６による画像処理アルゴリズムを実行させるソフトウェアとして、ＭａｔｈＷｏｒｋｓ社のＭａｔｌａｂ ｖｅｒ．２０１１ｂを用いた。検査対象は、めっきされた樹脂部品とし、この表面に鉛筆の芯を押し当てて模擬的な傷を形成した。

上記実施例に係る検査対象表面１８の撮像画像は、図２に示したものとなった。この撮像画像について上述のような画像処理を行ったところ、いずれの製品（製品Ａ〜Ｃ）においても、検査対象表面１８の傷を自動的に抽出することができた。

１０ 表面検査装置、１２ 投影器、１４ 撮像器、１６ 演算器、１８ 検査対象表面、２０ 縞パターン、２２ ディスプレイ。

Claims (4)

1. 検査対象表面に縞パターンを投影させる投影器と、
   前記縞パターンが投影された検査対象表面を撮像する撮像器と、
   検査対象表面の撮像画像をもとに、当該検査対象表面上の傷を検出する演算器と、
   を備え、
   前記演算器は、
   前記撮像画像のパワースペクトルから当該パワースペクトルにガウスフィルタを掛けたフィルタ処理パワースペクトルを差し引くことで前記撮像画像の高周波成分を抽出するとともに、前記高周波成分をもとにして検査対象表面の傷を検出し、
   前記ガウスフィルタに用いられるガウス関数の幅ｗとして、検査対象表面に投影された前記縞パターンの空間周波数を用いることを特徴とする、表面検査装置。
2. 請求項１に記載の表面検査装置であって、
   前記演算器は、前記撮像画像に基づいて、検査対象表面と背景との境界を抽出し、
   前記抽出された境界を起点にした所定幅内の画素に対して、輝度値を低減させることを特徴とする、表面検査装置。
3. 検査対象表面に縞パターンを投影させる投影ステップと、
   前記縞パターンが投影された検査対象表面を撮像する撮像ステップと、
   検査対象表面の撮像画像をもとに、当該検査対象表面上の傷を検出する検出ステップを備え、
   前記検出ステップにおいて、
   前記撮像画像のパワースペクトルから当該パワースペクトルにガウスフィルタを掛けたフィルタ処理パワースペクトルを差し引くことで前記撮像画像の高周波成分を抽出するとともに、前記高周波成分をもとにして検査対象表面の傷を検出し、
   前記ガウスフィルタに用いられるガウス関数の幅ｗとして、検査対象表面に投影された前記縞パターンの空間周波数を用いることを特徴とする、表面検査方法。
4. 検査対象表面に投影された縞パターンの撮像画像を受信するコンピュータを、
   前記撮像画像のパワースペクトルから当該パワースペクトルにガウスフィルタを掛けたフィルタ処理パワースペクトルを差し引くことで前記撮像画像の高周波成分を抽出するとともに、前記高周波成分をもとにして検査対象表面の傷を検出する、演算器として機能させ、
   前記演算器は、前記ガウスフィルタに用いられるガウス関数の幅ｗとして、検査対象表面に投影された前記縞パターンの空間周波数を用いることを特徴とする、プログラム。