JP2019200775A - 表面欠陥検査装置及び表面欠陥検査方法 - Google Patents

Abstract

【課題】いわゆる“ゆず肌”と欠陥とを区別することにより、欠陥の検出率を向上させることができる表面欠陥検査装置及び表面欠陥検査方法を提供する。【解決手段】表面欠陥検査装置１０は、照明手段１１と、照明手段１１により照射された被検査面Ｍを撮像してデジタル画像を得る撮像手段１２と、得られたデジタル画像について２値化を行い、欠陥候補を抽出する欠陥候補抽出手段１４と、得られたデジタル画像について、直交する２方向において、正方向及び負方向の両方向から差分演算をそれぞれ行い勾配画像を生成する勾配画像生成手段１５と、欠陥候補抽出手段１４により抽出した欠陥候補と、勾配画像生成手段１５により生成した勾配画像とから、欠陥候補が欠陥であるか否かを判別する判別手段１６とを備える。【選択図】図１

Description

本発明は、表面欠陥検査装置及び表面欠陥検査方法に係り、特に自動車のボディ表面の塗装などの状態を検査するのに好適な表面欠陥検査装置及び表面欠陥検査方法に関する。

従来より、自動車のボディを塗装する工程においては、検査員の目視により塗装表面の検査作業を行っている。しかし、検査員による外観検査は労力を要する仕事であり、個人によってばらつきがあるため、検査ミスや検査漏れが生じる恐れがある。また、検査員による外観検査では、検査に要する時間も多くなり、人件費が製品の生産コストをあげてしまう要因のひとつになっている。そのため、外観検査の自動化が望まれており、近年では、光学的に自動的に検査することが可能な表面欠陥検査装置の開発が進められている。

例えば、特許文献１には、自動車のボディの表面に照明された被検査面をＣＣＤカメラによって撮影してデジタル画像データを取り込み、取り込まれたデジタル画像データを画像処理部１３で微分処理して微分画像を生成する表面欠陥検査装置が記載されている。この表面欠陥検査装置は、画像処理部に、点灯ラインを順次変えて同様に処理された微分画像のデータを加算する加算回路部と、加算した微分画像のデータが連続してしきい値以上となるか否かを判別する判別回路部とを備え、所定値以上である場合に欠陥として検出するものである。

この表面欠陥検査装置によれば、縦方向又は横方向について微分処理を行うことにより迅速に処理することができ、曲面を有するボディ表面の欠陥検査であっても高速処理をすることができる。また、欠陥の大きさに応じた情報が拡大されて得られるためノイズとの識別精度を高めることができ、微小な欠陥であっても検出することができ、更に、塗装の色や光沢の違い、メタリックの有無などによって照明の反射率が異なっても、安定して欠陥を検出することができる。

特願２０００−１９３６９１号公報

しかしながら、従来の表面欠陥検査装置には、次のような問題があった。例えば、自動車のボディの塗装における欠陥には、例えば、凸状欠陥、凹状欠陥、汚れ、擦り傷がある。中でも、凸状欠陥は、ほこりやゴミなどの微小な粒子が付着されている状態で製品の表面が塗装されたときに発生する凸状の欠陥であり、その形状が小さくても、観察角度によって目立ってしまうこともあるため、表面検査において、特に注意を要する欠陥と考えられる。一方、欠陥とはならない凹凸として、塗料が塗られてから乾燥までの過程において溶剤の蒸発に伴い塗膜に発生する凹凸のうねりがある。この凹凸のうねりは通常では気が付かない程度のものであるので、欠陥とはならないが、光の加減等では、塗装面が果物のゆずの皮のように見えることから、いわゆる“ゆず肌”と呼ばれるものである。

そのため、例えば、特許文献１に記載の表面欠陥検査装置では、縦方向又は横方向について一方向に微分処理をし、明るい背景において欠陥が黒く、暗い背景において欠陥が白く見えるという１次元的な性質を利用しているので、“ゆず肌”についても、欠陥として検出してしまう場合があるという問題があった。特に、自動車のボディの塗装では、塗装面の色によって反射具合が異なるため、パラメータの調整では“ゆず肌”と欠陥とを区別することが難しい。よって、“ゆず肌”と欠陥とを区別する新しい方法の開発が望まれていた。

本発明は、このような問題に基づきなされたものであり、いわゆる“ゆず肌”と欠陥とを区別することにより、欠陥の検出率を向上させることができる表面欠陥検査装置及び表面欠陥検査方法を提供することを目的とする。

本発明の第１の表面欠陥検査装置は、被検査面に光を照射する照明手段と、この照明手段により照射された被検査面を撮像してデジタル画像を得る撮像手段と、この撮像手段により得られたデジタル画像について、直交する２方向において、正方向及び負方向の両方向から差分演算をそれぞれ行い、演算結果より勾配画像を生成する勾配画像生成手段と、勾配画像生成手段により得らえた勾配画像から、欠陥を判別する判別手段とを備えたものである。

本発明の第２の表面欠陥検査装置は、被検査面に光を照射する照明手段と、この照明手段により照射された被検査面を撮像してデジタル画像を得る撮像手段と、この撮像手段により得られたデジタル画像について、直交する２方向において、差分演算を行い、演算結果より正の値のみを用いて算出する勾配ベクトルの絶対値と、演算結果より負の値のみを用いて算出する勾配ベクトルの絶対値とから勾配画像を生成する勾配画像生成手段と、勾配画像生成手段により得らえた勾配画像から、欠陥を判別する判別手段とを備えたものである。

本発明の第１の表面欠陥検査方法は、照明手段から光を照射した被検査面を撮像手段により撮像してデジタル画像を取得する撮像手順と、撮像手順により得られたデジタル画像について、直交する２方向において、正方向及び負方向の両方向から差分演算をそれぞれ行い、演算結果より勾配画像を生成する勾配画像生成手順と、勾配画像生成手順により得らえた勾配画像から、欠陥を判別する判別手順とを含むものである。

本発明の第２の表面欠陥検査方法は、照明手段から光を照射した被検査面を撮像手段により撮像してデジタル画像を取得する撮像手順と、撮像手順により得られたデジタル画像について、直交する２方向において、差分演算を行い、演算結果より正の値のみを用いて算出する勾配ベクトルの絶対値と、負の値のみを用いて算出する勾配ベクトルの絶対値とから勾配画像を生成する勾配画像生成手順と、勾配画像生成手順により得らえた勾配画像から、欠陥を判別する判別手順とを含むものである。

本発明の第１の表面欠陥検査装置及び第１の表面欠陥検査方法によれば、デジタル画像について、直交する２方向において、正方向及び負方向の両方向から差分演算をそれぞれ行い、勾配画像を生成するようにしたので、欠陥を、正の差分方向で強調されている正方向強調部分と、負の差分方向で強調されている負方向強調部分とで表すことができ、２次元的に扱うことができる。これにより、正方向又は負方向の単方向から差分演算を行い、欠陥を１次元的に扱う場合には、ゆず肌と欠陥が同じように現れ、区別することが難しかったのに対して、本発明では、２次元的に扱うことにより、ゆず肌と欠陥の現れ方が異なり、ゆず肌と欠陥を容易に区別することができる。よって、誤検出を削減することができ、欠陥の検出精度を向上させることができる。

また、デジタル画像について２値化を行うことにより欠陥候補を抽出し、抽出した欠陥候補と勾配画像とから、欠陥候補が欠陥であるか否かを判別するようにしたので、迅速に欠陥候補を抽出し、かつ、その欠陥候補が欠陥であるか否かを容易に判別することができる。

更に、勾配画像において、欠陥候補の領域に、正方向強調部分と負方向強調部分とが現れ、かつ、正方向強調部分及び負方向強調部分の画素数が所定の判別閾値以上である場合に、欠陥候補を欠陥として判別するようにしたので、容易かつ正確に判別することができる。

加えて、式１及び式２を用い、直交する２方向について正方向及び負方向の両方向から差分演算をそれぞれ行い、式３及び式４を用い、得られた直交する２方向における第１方向差分及び第２方向差分の正方向及び負方向の勾配ベクトルの絶対値から勾配画像を生成するようにしたので、容易に勾配画像を得ることができる。

（式１及び式２において、（ｘ，ｙ）は注目画素の座標を表し、Ｉ（ｘ，ｙ）は画素（ｘ，ｙ）の輝度値である。Ｇ_ｘｎ（ｘ，ｙ）とＧ_ｙｎ（ｘ，ｙ）はそれぞれ直交する２方向における第１方向差分及び第２方向差分である。ｎは差分を取る方向を制御する変数であり、０の時は正方向を表し、１の時は負方向を表す。ｋ及びｓは差分をとるマスクを制御する変数である。ωは差分を取る直交軸を制御する変数であり、ω＝１の時は縦横軸での差分となり、ω＝０の時は斜めの直交軸での差分となる。γとθは同時に０ではなく、(x, y)を注目画素として差分を取る２つの画素の位置関係を制御する変数である。）

本発明の第２の表面欠陥検査装置及び第２の表面欠陥検査方法によれば、デジタル画像について、直交する２方向において、差分演算を行い、演算結果より正の値のみを用いて算出する勾配ベクトルの絶対値と、演算結果より負の値のみを用いて算出する勾配ベクトルの絶対値とから勾配画像を生成するようにしたので、欠陥を、正の値のみを用いて算出する勾配ベクトルの絶対値で強調されている正値強調部分と、負の値のみを用いて算出する勾配ベクトルの絶対値で強調されている負値強調部分とで表すことができ、２次元的に扱うことができる。よって、本発明の第１の表面欠陥検査装置及び第１の表面欠陥検査方法と同様に、２次元的に扱うことにより、ゆず肌と欠陥の現れ方が異なり、ゆず肌と欠陥を容易に区別することができる。従って、誤検出を削減することができ、欠陥の検出精度を向上させることができる。

また、デジタル画像について２値化を行うことにより欠陥候補を抽出し、抽出した欠陥候補と勾配画像とから、欠陥候補が欠陥であるか否かを判別するようにしたので、迅速に欠陥候補を抽出し、かつ、その欠陥候補が欠陥であるか否かを容易に判別することができる。

更に、勾配画像において、欠陥候補の領域に、正値強調部分と負値強調部分とが現れ、かつ、正値強調部分及び負値強調部分の画素数が所定の判別閾値以上である場合に、欠陥候補を欠陥として判別するようにしたので、容易かつ正確に判別することができる。

加えて、式５及び式６を用い、直交する２方向について差分演算を行い、式７及び式８を用い、差分演算の結果より正の値のみを用いて算出する勾配ベクトルの絶対値と負の値のみを用いて算出する勾配ベクトルの絶対値とから勾配画像を生成するようにしたので、容易に勾配画像を得ることができる。

（式５及び式６において、（ｘ，ｙ）は注目画素の座標を表し、Ｉ（ｘ，ｙ）は画素（ｘ，ｙ）の輝度値である。Ｇ_ｘｎ（ｘ，ｙ）とＧ_ｙｎ（ｘ，ｙ）はそれぞれ直交する２方向における第１方向差分及び第２方向差分である。ｋ及びｓは差分をとるマスクを制御する変数である。ωは差分を取る直交軸を制御する変数であり、ω＝１の時は縦横軸での差分となり、ω＝０の時は斜めの直交軸での差分となる。γとθは同時に０ではなく、(x, y)を注目画素として差分を取る２つの画素の位置関係を制御する変数である。）

本発明の第１の形態に係る表面欠陥検査装置の構成を表す図である。 式１０及び式１１における画像の座標を表すものである。 式１０及び式１１で用いる差分オペレータの例を表すものである。 式１０及び式１１で用いる他の差分オペレータの例を表すものである。 勾配画像の一例を表すものである。 元画像を表すものである。 図６に示した元画像の黒破線で囲んだ部分について、各画素の輝度値で表したものである。 図７に示した画像について式１０で計算した正方向の差分にφ（Ｇ_ｘ０（ｘ，ｙ））を適用したものである。 図７に示した画像について式１１で計算した正方向の差分にφ（Ｇ_ｙ０（ｘ，ｙ））を適用したものである。 図８及び図９の結果を用いて式１２から計算した勾配画像である。 図７に示した画像について式１０で計算した負方向の差分にφ（Ｇ_ｘ０（ｘ，ｙ））を適用したものである。 図７に示した画像について式１１で計算した負方向の差分にφ（Ｇ_ｙ０（ｘ，ｙ））を適用したものである。 図１１及び図１２の結果を用いて式１２から計算した勾配画像である。 本発明の一実施の形態に係る表面欠陥検査方法の手順を表す図である。 撮像手順で取得したデジタル画像の一例を表すものである。 図１５に示したデジタル画像について、欠陥候補抽出手順で２値化した画像である。 図１５に示したデジタル画像について、勾配画像生成手順で生成した勾配画像である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（第１の実施の形態）
図１は、本発明の第１の形態に係る表面欠陥検査装置１０の構成を表すものである。この表面欠陥検査装置１０は、例えば、自動車のボディの塗装面を被検査面Ｍとし、被検査面Ｍの表面に存在する欠陥を検出するものである。なお、自動車のボディの塗装面は、曲面を有している。被検査面Ｍは、例えば、コンベヤー等の搬送手段により一方向に一定の速度で搬送されている。

表面欠陥検査装置１０は、例えば、被検査面Ｍに光を照射する照明手段１１と、この照明手段１１により照射された被検査面Ｍを撮像してデジタル画像を得る撮像手段１２と、撮像手段１２により得られたデジタル画像を前処理する前処理手段１３と、前処理手段１３により得られたデジタル画像から欠陥候補を抽出する欠陥候補抽出手段１４と、前処理手段１３により得られたデジタル画像から勾配画像を生成する勾配画像生成手段１５と、欠陥を判別する判別手段１６と、判別手段１６による判別結果を表示する表示手段１７とを備えている。

照明手段１１は、照射光源１１Ａを有しており、照明光源１１Ａには蛍光灯を用いることが好ましい。自動車のボディの色は多種多様であるので白色光源が好ましく、価格も安価だからである。また、被検査面Ｍを多方向から観察できるように、被検査面Ｍに対して照射光源１１Ａを複数配置することが好ましい。

撮像手段１２は、ＣＣＤカメラ等のカメラ１２Ａを有している。カメラ１２Ａは、例えば、照射光源１１Ａに対向するように配置され、照明光源１１Ａである蛍光灯の反射鏡像を撮像するように構成される。カメラ１２Ａは、照射光源１１Ａが複数設けられている場合には、それに対応して複数配置されることが好ましい。

前処理手段１３は、例えば、撮像手段１２により得らえたデジタル画像をグレースケール画像等の濃淡画像に変換すると共に、ノイズの低減を行うものである。ノイズの低減としては、例えば、ガウシアンフィルタや、メディアンフィルタがある。

欠陥候補抽出手段１４は、例えば、撮像手段１２により得られ、前処理手段１３により前処理されたデジタル画像について２値化を行い、欠陥候補を抽出するものである。欠陥候補抽出手段１４では、例えば、照明光源１１Ａである蛍光灯の反射鏡像を検出領域とし、グローバル２値化により検出領域を抽出するグローバル２値化手段１４Ａと、抽出した蛍光灯の反射鏡像を関心領域（ＲＯＩ）として設定し、局所２値化により欠陥候補を抽出する局所２値化手段１４Ｂとを有している。

グローバル２値化手段１４Ａは、照明光源１１Ａである蛍光灯が映り込んだ塗装表面の領域は背景よりも明るくなることを利用し、濃淡画像を所定のグローバル２値化閾値で２値化することにより検出領域を抽出するものである。グローバル２値化閾値は、例えば、式９を用いて求めることが好ましい。式９において、Ｔｈｒはグローバル２値化閾値、α、βは定数、Ｉ_ｍｅａｎとＩ_ｓｔｄはそれぞれ対象画像の平均輝度値と標準偏差である。被検査面Ｍの色別にα、βの値を調整することにより、グローバル２値化閾値を設定してもよい。

局所２値化手段１４Ｂは、関心領域（ＲＯＩ）において局所２値化閾値で局所２値化し、欠陥候補を抽出するものである。局所２値化閾値は、関心領域（ＲＯＩ）における各画素を中心にした領域から算出した平均輝度値とすることが好ましい。局所２値化手段１４Ｂでは、例えば、局所２値化した結果にラベリング処理を実行し、面積が所定の値を満たしたラベルを欠陥候補として抽出するように構成されている。

勾配画像生成手段１５は、例えば、撮像手段１２により得られ、前処理手段１３により前処理されたデジタル画像について、直交する２方向において、正方向及び負方向の両方向から差分演算をそれぞれ行い、演算結果より勾配画像を生成するものである。差分演算は、デジタル画像において近似的な微分処理として実行されるものであり、微分処理は、表面欠陥検査においても、一般的な強調処理として用いられている。しかし、従来は、単方向の差分演算を行い、明るい背景において欠陥が黒く、暗い背景において欠陥が明るく見えるという１次元的な性質を利用しているものである。これに対して、この勾配画像生成手段１５は、正方向及び負方向の両方向から差分演算をそれぞれ行い、欠陥を、正の差分方向で強調されている正方向強調部分と、負の差分方向で強調されている負方向強調部分とで表すことにより、欠陥を２次元的に扱うことができるようにするものである。

具体的には、例えば、勾配画像生成手段１５は、式１０及び式１１を用い、直交する２方向について正方向及び負方向の両方向から差分演算をそれぞれ行い、式１２及び式１３を用い、得られた直交する２方向における第１方向差分及び第２方向差分の正方向及び負方向の勾配ベクトルの絶対値から勾配画像を生成するように構成されることが好ましい。

（式１０及び式１１において、（ｘ，ｙ）は注目画素の座標を表し、Ｉ（ｘ，ｙ）は画素（ｘ，ｙ）の輝度値である。Ｇ_ｘｎ（ｘ，ｙ）とＧ_ｙｎ（ｘ，ｙ）はそれぞれ直交する２方向における第１方向差分及び第２方向差分である。ｎは差分を取る方向を制御する変数であり、０の時は正方向を表し、１の時は負方向を表す。ｋ及びｓは差分をとるマスクを制御する変数である。ωは差分を取る直交軸を制御する変数であり、ω＝１の時は縦横軸での差分となり、ω＝０の時は斜めの直交軸での差分となる。γとθは同時に０ではなく、（ｘ，ｙ）を注目画素として差分を取る２つの画素の位置関係を制御する変数である。）

式１０及び式１１において、ｘとｙは画像の座標を表し、注目画素の座標値を（ｘ，ｙ）とすると、ｉはＸ座標でｘから何ピクセル離れているのか、ｊはＹ座標でｙから何ピクセル離れているのかを表している。例えば、ｉ＝−１、ｊ＝２の時には、Ｉ（ｘ−ｉ，ｙ＋ｊ）はＩ（ｘ＋１，ｙ＋２）となるので、図２に示した画素の輝度値を表すことになる。ωは差分を取る直交軸を制御する変数であり、ω＝１の時は縦横軸での差分となり、ω＝０の時は斜めの直交軸での差分となる。例えば、ω＝１、γ＝θ＝１の時、式１０及び式１１は、横方向及び縦方向について差分をとる式１４及び式１５になる。また、式１０及び式１１において、ｋとｓが１の時、一次微分（差分）となり、ω，γ，θを制御することで、図３に示した差分オペレータを表すことができる。

（式１４及び式１５において、符号の意味は式１０及び式１１と同一である。）

ｋとｓは図４に示したような差分をとるマスクの大きさ（差分オペレータのサイズ）を制御する変数であり、図４の（ｃ）（ｄ）を例にすると、ｋ＝３、ｓ＝１の時、式１０は（ｃ）の差分オペレータを使ったことになり、式１１は（ｄ）を使ったことになる。更に、式１０及び式１１において、ｎは２つの画素から差分を取る時の差分方向を表す。ω＝１、γ＝θ＝１、すなわち縦横軸において、ｎ＝０（正方向）の時、Ｘ方向において左から右の差分を表し、Ｙ方向において上から下の差分を表し、ｎ＝１（負方向）の時、Ｘ方向において右から左の差分を表し、Ｙ方向において下から上の差分を表す。

式１０及び式１１により計算した直交する２方向の差分結果において、正の値はエッジ周辺の輝度が「明」から「暗」に変わるところを表し、負の値は逆に「暗」から「明」への変化を表している。そこで、その計算結果から正の値のみを用いると、正方向の差分で「明」から「暗」の変化を表し、負方向の差分で「暗」から「明」の変化を表すことができる。

更に、式１２及び式１３を用いて、勾配画像を生成すると、蛍光灯の反射鏡像内に凸状欠陥が存在する場合、凸状欠陥の半分が正の差分方向で強調され、反対半分が負の差分方向で強調されて表される。例えば、正の差分方向で強調されている部分と、負の差分方向で強調されている部分とを異なる色で表すことにより、凸状欠陥を容易に認識することができる。図５に勾配画像の一例を示す。図５（Ａ）は、正の差分方向で強調されている部分を緑色、負の差分方向で強調されている部分を赤色で表したものである。図５（Ａ）において、左右方向に延びる２本の線が蛍光灯の反射鏡像の境界領域、挟まれた部分が蛍光灯の反射鏡像であり、白破線で囲んだ部分が凸状欠陥である。図５（Ｂ）は図５（Ａ）の白破線で囲んだ部分を拡大し、正の差分方向で強調されている部分（緑色部分）を左下斜線のハッチングで表し、負の差分方向で強調されている部分（赤色部分）を右下斜線のハッチングで表したものである。

一方、蛍光灯の反射鏡像内に凸状欠陥ではなく、ゆず肌が存在する場合には、図５に示したような、半分が正の差分方向で強調され、反対半分が負の差分方向で強調されているような部分は現れにくい。

勾配画像生成手段１５における勾配画像の生成について、より具体的に説明すると、次のようになる。ここでは、図６に示した画像から黒破線で囲んだ部分を切り取った領域について説明する。なお、図６は撮像手段１２により得られ、前処理手段１３により前処理されたデジタル画像であり、左右に延びる明るい帯状の部分が蛍光灯の反射鏡像、黒破線で囲んだ部分にグレーで映っているのが凸状欠陥である。図６の画像内の黒破線で囲んだ部分について、各画素の輝度値を示すと図７のようになる。これに、式１０でω＝１、γ＝θ＝１、ｎ＝０、ｋ＝１、ｓ＝１（図４（ａ）におけるｎ＝０のフィルタ）として計算した差分に式１２のφ（Ｇ_ｘ０（ｘ，ｙ））を適用すると、図８のようになる。同様に、式１１で計算した差分に式１２のφ（Ｇ_ｙ０（ｘ，ｙ））を適用すると、図９のようになる。図８と図９の結果を用いて式１２で計算した正方向（ｎ＝０）から生成した勾配画像Ｇ_０（ｘ，ｙ）は図１０のようになる。

同様に、負方向（ｎ＝１）から計算したφ（Ｇ_ｘ１（ｘ，ｙ））、φ（Ｇ_ｙ１（ｘ，ｙ））、及び勾配画像Ｇ_１（ｘ，ｙ）は、図１１から図１３のようになる。得られた勾配画像（図１０及び図１３）において、例えば、所定の勾配閾値よりも小さい値を“０”とし、それ以外の値はそのまま保持して、正の差分方向で強調されている部分（図１０においてグレーで表されている部分）を例えば緑色、負の差分方向で強調されている部分（図１３においてグレーで表されている部分）を例えば赤色にしたカラー画像を作成すると、図５に示したようになる。

判別手段１６は、例えば、欠陥候補抽出手段１４により抽出した欠陥候補と、勾配画像生成手段１５により生成した勾配画像とから、欠陥候補が欠陥であるか否かを判別するものである。具体的には、勾配画像生成手段１５により生成した勾配画像において、欠陥候補抽出手段１４により抽出した欠陥候補の領域に、正の差分方向で強調されている正方向強調部分と、負の差分方向で強調されている負方向強調部分とが現れており、かつ、これら正方向強調部分及び負方向強調部分の画素数が所定の判別閾値以上である場合に、欠陥候補を欠陥として判別し、それ以外の場合には欠陥でないと判別するように構成されることが好ましい。

なお、前処理手段１３、欠陥候補抽出手段１４、勾配画像生成手段１５、及び、判別手段１６は、例えば、コンピュータにより構成される。

表示手段１７は、例えば、ディスプレイ等により構成され、例えば、欠陥の重心に円マーク等を付して表示するように構成されている。

この表面欠陥検査装置１０は、次のようにして用いられる。図１４は、表面欠陥検査装置１０を用いた表面欠陥検査方法の手順を表すものである。この表面欠陥検査方法では、まず、照明手段１１から光を照射した被検査面Ｍを撮像手段１２により撮像してデジタル画像を取得する（ステップＳ１１０；撮像手順）。図１５に取得したデジタル画像の一例を示す。図１５において、左右に延びる明るい帯状の部分が蛍光灯の反射鏡像であり、蛍光灯のエッジ周辺でゆず肌が黒く映っていることが確認できる。

次いで、例えば、前処理手段１３により、撮像手段１２で得られたデジタル画像について前処理を行う（ステップＳ１２０；前処理手順）。前処理手順（ステップＳ１２０）では、例えば、得られたデジタル画像をグレースケール画像等の濃淡画像に変換すると共に、ノイズの低減を行う。

続いて、例えば、欠陥候補抽出手段１４により、撮像手順（ステップＳ１１０）で取得し、前処理手順（ステップＳ１２０）で前処理したデジタル画像について２値化を行い、欠陥候補を抽出する（ステップＳ１３０；欠陥候補抽出手順）。具体的には、例えば、グローバル２値化手段１４Ａによりグローバル２値化を行い、照明光源１１Ａである蛍光灯の反射鏡像を検出領域として抽出し（ステップＳ１３１；グローバル２値化手順）、更に、局所２値化手段１４Ｂにより検出領域を関心領域（ＲＯＩ）として設定し、局所２値化を行い、欠陥候補を抽出する（ステップＳ１３２；局所２値化手順）。

図１６に、欠陥候補抽出手順において図１５のデジタル画像を２値化した画像を示す。図１６において、左右方向に延びる２本の線が蛍光灯の反射鏡像の境界領域、挟まれた部分が蛍光灯の反射鏡像であり、反射鏡像内の黒色部分の中央付近に、線状の白色部分が現れていることが確認できる。欠陥候補抽出手順では、この白色部分を欠陥候補として抽出する。なお、この白色部分は、図１５において蛍光灯のエッジ周辺に黒く映っていたゆず肌に対応している。

また、例えば、勾配画像生成手段１５により、撮像手順（ステップＳ１１０）で取得し、前処理手順（ステップＳ１２０）で前処理したデジタル画像について、直交する２方向において、正方向及び負方向の両方向から差分演算をそれぞれ行い、演算結果から勾配画像を生成する（ステップＳ１４０；勾配画像生成手順）。具体的には、例えば、勾配画像生成手段１５により、上述した式１０及び式１１を用い、直交する２方向について正方向及び負方向の両方向から差分演算をそれぞれ行い、更に、上述した式１２及び式１３を用い、得られた直交する２方向における第１方向差分及び第２方向差分の正方向及び負方向の勾配ベクトルの絶対値から勾配画像を生成する。

図１７に、勾配画像生成手順において図１５のデジタル画像から生成した勾配画像を示す。図１７（Ｂ）は、図１７（Ａ）において白破線で囲んだ部分を拡大したものである。図１７において、左右方向に延びる２本の線が蛍光灯の反射鏡像の境界領域、挟まれた部分が蛍光灯の反射鏡像である。また、欠陥候補抽出手順（ステップＳ１３０）において抽出した欠陥候補の領域には、図１７（Ｂ）に拡大したように、線状の黒色部分が現れているのみであり、正の差分方向で強調されている正方向強調部分、及び、負の差分方向で強調されている負方向強調部分は現れていないことが確認できる。

次に、判別手段１６により、欠陥候補抽出手順（ステップＳ１３０）で抽出した欠陥候補と、勾配画像生成手順（ステップＳ１４０）で生成した勾配画像とから、欠陥候補が欠陥であるか否かを判別する（ステップＳ１５０；判別手順）。具体的には、例えば、勾配画像生成手順（ステップＳ１４０）で生成した勾配画像において、欠陥候補抽出手順（ステップＳ１３０）で抽出した欠陥候補の領域に、正の差分方向で強調されている正方向強調部分と、負の差分方向で強調されている負方向強調部分とが現れており、かつ、これら正方向強調部分及び負方向強調部分の画素数が所定の判別閾値以上である場合に、欠陥候補を欠陥として判別し、それ以外の場合には欠陥でないと判別する。

例えば、図１７に示した例では、欠陥候補抽出手順（ステップＳ１３０）で抽出した欠陥候補の領域に、正の差分方向で強調されている正方向強調部分、及び、負の差分方向で強調されている負方向強調部分が現れていないので、欠陥候補抽出手順（ステップＳ１３０）で抽出した欠陥候補は欠陥でないと判別する。すなわち、図１５に映っていたゆず肌部分は、欠陥ではないと正確に判断される。

そののち、表示手段１７により、判別手順（ステップＳ１５０）で得られた判別結果を表示する（ステップＳ１６０；表示手順）。表示手段１７では、例えば、ディスプレイ等に、欠陥の重心に円マーク等を付して表示する。これにより、表面欠陥の検査を行うことができる。

なお、複数の被検査面について、表面欠陥検査装置１０により表面欠陥検査を行った場合と、勾配画像生成手段１５を用いず、欠陥候補抽出手段１４のみで表面欠陥検査を行った場合とで、誤検出を比較した。その結果、欠陥候補抽出手段１４のみで表面欠陥検査を行った場合には、被検査面１台当たりの誤検出数が６１４件であったのに対して、勾配画像生成手段１５を用いた表面欠陥検査装置１０によれば、被検査面１台当たりの誤検出数が４件と大幅に削減することができた。

このように本実施の形態によれば、デジタル画像について、直交する２方向において、正方向及び負方向の両方向から差分演算をそれぞれ行い、勾配画像を生成するようにしたので、欠陥を、正の差分方向で強調されている正方向強調部分と、負の差分方向で強調されている負方向強調部分とで表すことができ、２次元的に扱うことができる。これにより、正方向又は負方向の単方向から差分演算を行い、欠陥を１次元的に扱う場合には、ゆず肌と欠陥が同じように現れ、区別することが難しかったのに対して、本実施の形態では、２次元的に扱うことにより、ゆず肌と欠陥の現れ方が異なり、ゆず肌と欠陥を容易に区別することができる。よって、誤検出を削減することができ、欠陥の検出精度を向上させることができる。

また、デジタル画像について２値化を行うことにより欠陥候補を抽出し、抽出した欠陥候補と勾配画像とから、欠陥候補が欠陥であるか否かを判別するようにしたので、迅速に欠陥候補を抽出し、かつ、その欠陥候補が欠陥であるか否かを容易に判別することができる。

更に、勾配画像において、欠陥候補の領域に、正方向強調部分と負方向強調部分とが現れ、かつ、正方向強調部分及び負方向強調部分の画素数が所定の判別閾値以上である場合に、欠陥候補を欠陥として判別するようにしたので、容易かつ正確に判別することができる。

加えて、式１０及び式１１を用い、直交する２方向について正方向及び負方向の両方向から差分演算をそれぞれ行い、式１２及び式１３を用い、得られた直交する２方向における第１方向差分及び第２方向差分の正方向及び負方向の勾配ベクトルの絶対値から勾配画像を生成するようにしたので、容易に勾配画像を得ることができる。

（第２の実施の形態）
第２の実施の形態は、第１の実施の形態と、勾配画像生成手段１５における勾配画像の生成手法が異なるものである。よって、第１の実施の形態と対応する構成要素には、同一の符号を付して説明する。

第１の実施の形態における勾配画像生成手段１５では、撮像手段１２により得られ、前処理手段１３により前処理されたデジタル画像について、直交する２方向において、正方向及び負方向の両方向から差分演算をそれぞれ行い、演算結果より勾配画像を生成したが、第２の実施の形態における勾配画像生成手段１５では、撮像手段１２により得られ、前処理手段１３により前処理されたデジタル画像について、直交する２方向において、差分演算を行い、演算結果より正の値のみを用いて算出する勾配ベクトルの絶対値と、演算結果より負の値のみを用いて算出する勾配ベクトルの絶対値とから勾配画像を生成するように構成されている。

すなわち、第２の実施の形態における勾配画像生成手段１５では、正の値のみを用いて算出する勾配ベクトルの絶対値で強調されている正値強調部分と、負の値のみを用いて算出する勾配ベクトルの絶対値で強調されている負値強調部分とで表すことにより、欠陥を２次元的に扱うことができるようにするものである。

具体的には、例えば、勾配画像生成手段１５は、式１６及び式１７を用い、直交する２方向について差分演算を行い、式１８及び式１９を用い、差分演算の結果より正の値のみを用いて算出する勾配ベクトルの絶対値と負の値のみを用いて算出する勾配ベクトルの絶対値とから勾配画像を生成するように構成されることが好ましい。

（式１６及び式１７において、（ｘ，ｙ）は注目画素の座標を表し、Ｉ（ｘ，ｙ）は画素（ｘ，ｙ）の輝度値である。Ｇ_ｘ（ｘ，ｙ）とＧ_ｙ（ｘ，ｙ）はそれぞれ直交する２方向における第１方向差分及び第２方向差分である。ｋ及びｓは差分をとるマスクを制御する変数である。ωは差分を取る直交軸を制御する変数であり、ω＝１の時は縦横軸での差分となり、ω＝０の時は斜めの直交軸での差分となる。γとθは同時に０ではなく、(x, y)を注目画素として差分を取る２つの画素の位置関係を制御する変数である。）

式１６及び式１７において、各符号の具体的な説明は、第１の実施の形態と同様である。なお、ω＝１の時は縦横軸での差分となり、ω＝０の時は斜めの直交軸での差分となる。例えば、ω＝１、γ＝θ＝１の時、式１６及び式１７は、横方向及び縦方向について差分をとる式２０及び式２１になる。

（式２０及び式２１において、符号の意味は式１６及び式１７と同一である。）

式１６及び式１７により計算した直交する２方向の差分結果において、正の値はエッジ周辺の輝度が「明」から「暗」に変わるところを表し、負の値は逆に「暗」から「明」への変化を表しているので、第１の実施の形態と同様に、その計算結果から正の値のみを用いると、「明」から「暗」の変化を表し、負の値のみを用いると「暗」から「明」の変化を表すことができる。よって、式１８及び式１９を用いて、勾配画像を生成すると、第１の実施の形態と同様に、蛍光灯の反射鏡像内に凸状欠陥が存在する場合、凸状欠陥の半分が正値強調部分で強調され、反対半分が負値強調部分で強調されて表される。

これにより、判別手段１６では、具体的には、例えば、勾配画像生成手段１５により生成した勾配画像において、欠陥候補抽出手段１４により抽出した欠陥候補の領域に、正の値のみを用いて算出する勾配ベクトルの絶対値で強調されている正値強調部分と、負の値のみを用いて算出する勾配ベクトルの絶対値で強調されている負値強調部分とが現れており、かつ、これら正値強調部分及び負値強調部分の画素数が所定の判別閾値以上である場合に、前記欠陥候補を欠陥として判別するように構成されることが好ましい。

他の構成は、第１の実施の形態と同一である。よって、第１の実施の形態と同様に表面欠陥検査方法に用いることができ、第１の実施の形態と同様の効果を得ることができる。

以上、実施の形態を挙げて本願発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々変形可能である。

例えば、上記実施の形態では、撮像手段１２により照明光源１１Ａの反射鏡像を撮像し、欠陥候補抽出手段１４により照明光源１１Ａの反射鏡像を検出領域として抽出し、関心領域（ＲＯＩ）として認定する場合について説明したが、撮像手段１２により、照明光源１１Ａの反射鏡像に変えて又は反射鏡像に加えてその他の領域を撮像し、欠陥候補抽出手段１４により、照明光源１１Ａの反射鏡像に変えて又は反射鏡像に加えてその他の領域を検出領域として抽出するようにしてもよい。この場合、検出領域は、例えば、上記実施の形態において説明したように、照明光源１１Ａが映り込んだ領域が背景よりも明るくなることを利用して、所定の２値化閾値で２値化することにより抽出することができる。勾配画像生成手段１５における勾配画像の生成、及び、判別手段１６における欠陥の判別についても、検出領域が異なることを除き、上記実施の形態で説明した通りに行うことができる。すなわち、本願発明では、照明光源１１Ａの反射鏡像以外の領域についても、同様にして欠陥を検出することができる。

また、上記実施の形態では、自動車のボディの塗装面を検査する場合について具体的に説明したが、本願発明は、自動車のボディに限らず、他の塗装製品の表面検査をする場合についても適用することができる。更に、塗装面に限らず、反射性質を有する表面の検査をする場合にも適用することもできる。

更に、上記実施の形態では、各構成要素について具体的に説明したが、全ての構成要素を備えていなくてもよく、また、他の構成要素を備えていてもよい。

１０…表面欠陥検査装置、１１…照明手段、１１Ａ…照明光源、１２…撮像手段、１２Ａ…カメラ、１３…前処理手段、１４…欠陥候補抽出手段、１４Ａ…グローバル２値化手段、１４Ｂ…局所２値化手段、１５…勾配画像生成手段、１６…判別手段、１７…表示手段、Ｍ…被検査面

Claims (16)

1. 被検査面に光を照射する照明手段と、
   この照明手段により照射された前記被検査面を撮像してデジタル画像を得る撮像手段と、
   この撮像手段により得られたデジタル画像について、直交する２方向において、正方向及び負方向の両方向から差分演算をそれぞれ行い、演算結果より勾配画像を生成する勾配画像生成手段と、
   前記勾配画像生成手段により得らえた勾配画像から、欠陥を判別する判別手段と
   を備えたことを特徴とする表面欠陥検査装置。
2. 前記撮像手段により得られたデジタル画像について２値化を行い、欠陥候補を抽出する欠陥候補抽出手段を更に備え、
   前記判別手段では、前記欠陥候補抽出手段により抽出した欠陥候補と、前記勾配画像生成手段により生成した勾配画像とから、前記欠陥候補が欠陥であるか否かを判別する
   ことを特徴とする請求項１記載の表面欠陥検査装置。
3. 前記判別手段では、前記勾配画像生成手段により生成した勾配画像において、前記欠陥候補抽出手段により抽出した欠陥候補の領域に、正の差分方向で強調されている正方向強調部分と、負の差分方向で強調されている負方向強調部分とが現れており、かつ、これら正方向強調部分及び負方向強調部分の画素数が所定の判別閾値以上である場合に、前記欠陥候補を欠陥として判別する
   ことを特徴とする請求項２記載の表面欠陥検査装置。
4. 前記勾配画像生成手段は、式１及び式２を用い、直交する２方向について正方向及び負方向の両方向から差分演算をそれぞれ行い、式３及び式４を用い、得られた直交する２方向における第１方向差分及び第２方向差分の正方向及び負方向の勾配ベクトルの絶対値から勾配画像を生成する
   ことを特徴とする請求項１から請求項３のいずれか１に記載の表面欠陥検査装置。
   （式１及び式２において、（ｘ，ｙ）は注目画素の座標を表し、Ｉ（ｘ，ｙ）は画素（ｘ，ｙ）の輝度値である。Ｇ_ｘｎ（ｘ，ｙ）とＧ_ｙｎ（ｘ，ｙ）はそれぞれ直交する２方向における第１方向差分及び第２方向差分である。ｎは差分を取る方向を制御する変数であり、０の時は正方向を表し、１の時は負方向を表す。ｋ及びｓは差分をとるマスクを制御する変数である。ωは差分を取る直交軸を制御する変数であり、ω＝１の時は縦横軸での差分となり、ω＝０の時は斜めの直交軸での差分となる。γとθは同時に０ではなく、(x, y)を注目画素として差分を取る２つの画素の位置関係を制御する変数である。）
   
5. 被検査面に光を照射する照明手段と、
   この照明手段により照射された前記被検査面を撮像してデジタル画像を得る撮像手段と、
   この撮像手段により得られたデジタル画像について、直交する２方向において、差分演算を行い、演算結果より正の値のみを用いて算出する勾配ベクトルの絶対値と、演算結果より負の値のみを用いて算出する勾配ベクトルの絶対値とから勾配画像を生成する勾配画像生成手段と、
   前記勾配画像生成手段により得らえた勾配画像から、欠陥を判別する判別手段と
   を備えたことを特徴とする表面欠陥検査装置。
6. 前記撮像手段により得られたデジタル画像について２値化を行い、欠陥候補を抽出する欠陥候補抽出手段を更に備え、
   前記判別手段では、前記欠陥候補抽出手段により抽出した欠陥候補と、前記勾配画像生成手段により生成した勾配画像とから、前記欠陥候補が欠陥であるか否かを判別する
   ことを特徴とする請求項５記載の表面欠陥検査装置。
7. 前記判別手段では、前記勾配画像生成手段により生成した勾配画像において、前記欠陥候補抽出手段により抽出した欠陥候補の領域に、正の値のみを用いて算出する勾配ベクトルの絶対値で強調されている正値強調部分と、負の値のみを用いて算出する勾配ベクトルの絶対値で強調されている負値強調部分とが現れており、かつ、これら正値強調部分及び負値強調部分の画素数が所定の判別閾値以上である場合に、前記欠陥候補を欠陥として判別する
   ことを特徴とする請求項６記載の表面欠陥検査装置。
8. 前記勾配画像生成手段は、式５及び式６を用い、直交する２方向について差分演算を行い、式７及び式８を用い、差分演算の結果より正の値のみを用いて算出する勾配ベクトルの絶対値と負の値のみを用いて算出する勾配ベクトルの絶対値とから勾配画像を生成する
   ことを特徴とする請求項５から請求項７のいずれか１に記載の表面欠陥検査装置。
   （式５及び式６において、（ｘ，ｙ）は注目画素の座標を表し、Ｉ（ｘ，ｙ）は画素（ｘ，ｙ）の輝度値である。Ｇ_ｘｎ（ｘ，ｙ）とＧ_ｙｎ（ｘ，ｙ）はそれぞれ直交する２方向における第１方向差分及び第２方向差分である。ｋ及びｓは差分をとるマスクを制御する変数である。ωは差分を取る直交軸を制御する変数であり、ω＝１の時は縦横軸での差分となり、ω＝０の時は斜めの直交軸での差分となる。γとθは同時に０ではなく、(x, y)を注目画素として差分を取る２つの画素の位置関係を制御する変数である。）
   
9. 照明手段から光を照射した被検査面を撮像手段により撮像してデジタル画像を取得する撮像手順と、
   前記撮像手順により得られたデジタル画像について、直交する２方向において、正方向及び負方向の両方向から差分演算をそれぞれ行い、演算結果より勾配画像を生成する勾配画像生成手順と、
   前記勾配画像生成手順により得らえた勾配画像から、欠陥を判別する判別手順と
   を含むことを特徴とする表面欠陥検査方法。
10. 前記撮像手順により得られたデジタル画像について２値化を行い、欠陥候補を抽出する欠陥候補抽出手順を更に備え、
    前記判別手順では、前記欠陥候補抽出手順により抽出した欠陥候補と、前記勾配画像生成手順により生成した勾配画像とから、前記欠陥候補が欠陥であるか否かを判別する
    ことを特徴とする請求項９記載の表面欠陥検査方法。
11. 前記判別手順では、前記勾配画像生成手順により生成した勾配画像において、前記欠陥候補抽出手順により抽出した欠陥候補の領域に、正の差分方向で強調されている正方向強調部分と、負の差分方向で強調されている負方向強調部分とが現れており、かつ、これら正方向強調部分及び負方向強調部分の画素数が所定の判別閾値以上である場合に、前記欠陥候補を欠陥として判別する
    ことを特徴とする請求項１０記載の表面欠陥検査方法。
12. 前記勾配画像生成手順では、式９及び式１０を用い、直交する２方向について正方向及び負方向の両方向から差分演算をそれぞれ行い、式１１及び式１２を用い、得られた直交する２方向における第１方向差分及び第２方向差分の正方向及び負方向の勾配ベクトルの絶対値から勾配画像を生成する
    ことを特徴とする請求項９から請求項１１のいずれか１に記載の表面欠陥検査方法。
    （式９及び式１０において、（ｘ，ｙ）は注目画素の座標を表し、Ｉ（ｘ，ｙ）は画素（ｘ，ｙ）の輝度値である。Ｇ_ｘｎ（ｘ，ｙ）とＧ_ｙｎ（ｘ，ｙ）はそれぞれ直交する２方向における第１方向差分及び第２方向差分である。ｎは差分を取る方向を制御する変数であり、０の時は正方向を表し、１の時は負方向を表す。ｋ及びｓは差分をとるマスクを制御する変数である。ωは差分を取る直交軸を制御する変数であり、ω＝１の時は縦横軸での差分となり、ω＝０の時は斜めの直交軸での差分となる。γとθは同時に０ではなく、(x, y)を注目画素として差分を取る２つの画素の位置関係を制御する変数である。）
    
13. 照明手段から光を照射した被検査面を撮像手段により撮像してデジタル画像を取得する撮像手順と、
    前記撮像手順により得られたデジタル画像について、直交する２方向において、差分演算を行い、演算結果より正の値のみを用いて算出する勾配ベクトルの絶対値と、負の値のみを用いて算出する勾配ベクトルの絶対値とから勾配画像を生成する勾配画像生成手順と、
    前記勾配画像生成手順により得らえた勾配画像から、欠陥を判別する判別手順と
    を含むことを特徴とする表面欠陥検査方法。
14. 前記撮像手順により得られたデジタル画像について２値化を行い、欠陥候補を抽出する欠陥候補抽出手順を更に備え、
    前記判別手順では、前記欠陥候補抽出手順により抽出した欠陥候補と、前記勾配画像生成手順により生成した勾配画像とから、前記欠陥候補が欠陥であるか否かを判別する
    ことを特徴とする請求項１３記載の表面欠陥検査方法。
15. 前記判別手順では、前記勾配画像生成手順により生成した勾配画像において、前記欠陥候補抽出手順により抽出した欠陥候補の領域に、正の値のみを用いて算出する勾配ベクトルの絶対値で強調されている正値強調部分と、負の値のみを用いて算出する勾配ベクトルの絶対値で強調されている負値強調部分とが現れており、かつ、これら正値強調部分及び負値強調部分の画素数が所定の判別閾値以上である場合に、前記欠陥候補を欠陥として判別する
    ことを特徴とする請求項１４記載の表面欠陥検査方法。
16. 前記勾配画像生成手順では、式１３及び式１４を用い、直交する２方向について差分演算を行い、式１５及び式１６を用い、差分演算の結果より正の値のみを用いて算出する勾配ベクトルの絶対値と負の値のみを用いて算出する勾配ベクトルの絶対値とから勾配画像を生成する
    ことを特徴とする請求項１３から請求項１５のいずれか１に記載の表面欠陥検査方法。
    （式１３及び式１４において、（ｘ，ｙ）は注目画素の座標を表し、Ｉ（ｘ，ｙ）は画素（ｘ，ｙ）の輝度値である。Ｇ_ｘｎ（ｘ，ｙ）とＧ_ｙｎ（ｘ，ｙ）はそれぞれ直交する２方向における第１方向差分及び第２方向差分である。ｋ及びｓは差分をとるマスクを制御する変数である。ωは差分を取る直交軸を制御する変数であり、ω＝１の時は縦横軸での差分となり、ω＝０の時は斜めの直交軸での差分となる。γとθは同時に０ではなく、(x, y)を注目画素として差分を取る２つの画素の位置関係を制御する変数である。）