JP2007078540A - 外観検査方法及び外観検査装置 - Google Patents

Abstract

【課題】 検査対象物における欠陥の形状や各検査対象物に形成されたそれぞれ異なる研磨筋等によらず、検査対象物の欠陥を確実に検出すること。
【解決手段】 本発明に係る外観検査方法は、検査対象物２２を撮像して撮像画像Ｐ１を取得する工程と、軸Ｘ，Ｙ方向における検査対象物画像Ｐ１ａの平均輝度分布を算出する工程と、マスタ画像Ｐ２を平均輝度分布に基づいて生成する工程と、撮像画像Ｐ１とマスタ画像Ｐ２とから第１補正画像Ｐ３を生成する工程と、ソーベルフィルタにより第１補正画像Ｐ３における各画素の輝度値の変化量を算出してソーベル処理画像Ｐ４を生成する工程と、ソーベル処理画像Ｐ４と第１補正画像Ｐ３とから第２補正画像Ｐ５を生成する工程と、第２補正画像Ｐ５を２値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する工程とを備える。
【選択図】 図７

Description

本発明は、検査対象物の外観を検査するための外観検査方法及び外観検査装置に関する。

従来から、電子部品を撮像して画像データを出力する撮像手段と、撮像手段によって撮像された画像データに基づいて、電子部品上の検査対象範囲を特定すると共に、検査対象範囲の画像データにおける各画素に直交座標を割り当てる検査領域特定手段と、検査対象範囲内において直交座標における一方の座標軸に対して平行な方向に連なる複数の画素の平均輝度を、他方の座標毎に算出する平均輝度算出手段と、各画素の輝度とその画素に対応する平均輝度との輝度差を算出する輝度差算出手段と、を備える電子部品の外観検査装置が知られている（例えば、特許文献１参照）。
特開平６−４２９３５号公報

しかしながら、特許文献１に記載されたような外観検査装置による検査方法を用いても、検査対象物が曲面を有している場合や、検査対象物毎にそれぞれ異なる研磨筋等が形成されているような場合、検査対象物に生じた欠陥の形状によっては欠陥を検出することが困難であった。

本発明は、検査対象物における欠陥の形状や各検査対象物に形成されたそれぞれ異なる研磨筋等によらず、検査対象物の欠陥を確実に検出することができる外観検査方法及び外観検査装置を提供することを目的とする。

本発明に係る外観検査方法は、検査対象物の外観検査を行うための外観検査方法であって、検査対象物を撮像して検査対象物画像を含む撮像画像を取得する工程と、検査対象物画像の外縁に沿う第１の方向に平行な一連の画素からなる第１の画素列毎にその第１の画素列に含まれる一連の画素の輝度値の平均を算出すると共に、第１の方向と直交する第２の方向に平行な一連の画素からなる第２の画素列毎にその第２の画素列に含まれる一連の画素の輝度値の平均を算出することで、第１の方向及び第２の方向における検査対象物画像の平均輝度分布を算出する工程と、検査対象物画像に対して基準となる基準画像を平均輝度分布に基づいて生成する工程と、撮像画像と基準画像とから第１補正画像を生成する工程と、ソーベルフィルタにより第１補正画像における各画素の輝度値の変化量を算出してソーベル処理画像を生成する工程と、ソーベル処理画像と第１補正画像とから第２補正画像を生成する工程と、第２補正画像を２値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する工程とを備えることを特徴とする。

本発明に係る外観検査方法では、検査対象物を撮像し、検査対象物画像の外縁に沿う第１の方向及び第２の方向について検査対象物毎にそれぞれ平均輝度分布を求めている。そして、検査対象物画像に対して基準となる基準画像を各平均輝度分布に基づいて生成し、撮像画像と基準画像とから第１補正画像を生成している。このため、各検査対象物毎に生成された基準画像に応じて、撮像画像が個別に補正されることとなるので、検査対象物に形成された研磨筋等が個々に異なる場合であっても、各検査対象物の欠陥を検出することができる。また、ソーベルフィルタによって第１補正画像の輝度値の変化量を算出して生成されたソーベル処理画像を用いて第１補正画像を処理することで、第２補正画像を生成しているため、高精度に検査対象物の欠陥を検出することができ、特に検査対象物のクラックや検査対象物に付着した異物が検出しやすくなる。

また、第１補正画像を生成する工程では、撮像画像と基準画像とで対応する位置にある画素毎に、撮像画像の各画素における輝度値から基準画像の各画素における輝度値を減算することで第１補正画像を生成することが好ましい。このようにすると、第１補正画像の欠陥部分以外の領域において輝度値の変化量が極めて小さくなる（輝度値が略均一になる）一方、欠陥部分の領域において輝度値の変化量が極めて大きくなる。その結果、その後生成された第２補正画像を２値化するための閾値を設定することのできる範囲が広がり、容易に閾値を設定できる。

また、第２補正画像を生成する工程では、第１補正画像とソーベル処理画像とで対応する位置にある画素毎に、第１補正画像の各画素における輝度値からソーベル処理画像の各画素における輝度値を減算することで第２補正画像を生成することが好ましい。このようにすると、第２補正画像において、欠陥部分の領域における輝度値の大きさと欠陥部分以外の輝度値の大きさとの差を広げることができるので、クラックや検査対象物に付着した異物といった欠陥をより検出しやすくなる。

また、微分フィルタにより第１補正画像における各画素の輝度値の変化量を算出して微分処理画像を生成する工程と、微分処理画像と第１補正画像とから第３補正画像を生成する工程と、第３補正画像を２値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する工程とを更に備えることが好ましい。このようにすると、欠陥部分の領域において輝度値の変化量が小さな値から大きな値をとりうる、欠けによる欠陥を検出しやすくなる。

また、第３補正画像を生成する工程では、微分処理画像と第１補正画像とで対応する位置にある画素毎に、微分処理画像の各画素における輝度値と第１補正画像の各画素における輝度値とを加算することで第３補正画像を生成することが好ましい。このようにすると、第３補正画像において、欠陥部分の領域における輝度値の大きさと欠陥部分以外の領域における輝度値の大きさとの差を広げることができるので、欠けによる欠陥をより検出しやすくなる。

また、撮像画像を２値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する工程を更に備えることが好ましい。このようにすると、第１補正画像では補正されてしまうような、ある程度面積の大きな剥離による欠陥についても検出することができる。

一方、本発明に係る外観検査装置は、検査対象物の外観検査を行うための外観検査装置であって、検査対象物を照明する照明手段と、照明手段によって照明された検査対象物を撮像する撮像手段と、撮像手段によって撮像された撮像画像に含まれる検査対象物画像の外縁に沿う第１の方向に平行な一連の画素からなる第１の画素列毎にその第１の画素列に含まれる一連の画素の輝度値の平均を算出すると共に、第１の方向と直交する第２の方向に平行な一連の画素からなる第２の画素列毎にその第２の画素列に含まれる一連の画素の輝度値の平均を算出することで、第１の方向及び第２の方向における検査対象物画像の平均輝度分布を算出する手段と、検査対象物画像に対して基準となる基準画像を平均輝度分布に基づいて生成する手段と、撮像画像と基準画像とから第１補正画像を生成する手段と、ソーベルフィルタにより第１補正画像における各画素の輝度値の変化量を算出してソーベル処理画像を生成する手段と、ソーベル処理画像と第１補正画像とから第２補正画像を生成する手段と、第２補正画像を２値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する手段とを備えることを特徴とする。

本発明に係る外観検査装置では、撮像手段によって検査対象物を撮像し、検査対象物画像の外縁に沿う第１の方向及び第２の方向について検査対象物毎にそれぞれ平均輝度分布を求めている。そして、各平均輝度分布に基づいて撮像した検査対象物に対応する基準画像を生成し、撮像画像と基準画像とから第１補正画像を生成している。このため、各検査対象物に生成された基準画像に応じて、撮像画像が個別に補正されるので、検査対象物形成された研磨筋等が個々に異なる場合であっても、各検査対象物の欠陥を検出することができる。また、ソーベルフィルタによって第１補正画像の輝度値の変化量を算出して生成されたソーベル処理画像を用いて第１補正画像を処理することで、第２補正画像を生成しているため、高精度に検査対象物の欠陥を検出することができ、特に検査対象物のクラックや検査対象物に付着した異物が検出しやすくなる。

また、第１補正画像を生成する手段は、撮像画像と基準画像とで対応する位置にある画素毎に、撮像画像の各画素における輝度値から基準画像の各画素における輝度値を減算することで第１補正画像を生成することが好ましい。このようにすると、第１補正画像の欠陥部分以外の領域において輝度値の変化量が極めて小さくなる（輝度値が略均一になる）一方、欠陥部分の領域において輝度値の変化量が極めて大きくなる。その結果、その後生成された第２補正画像を２値化するための閾値を設定することのできる範囲が広がり、容易に閾値を設定できる。

また、第２補正画像を生成する手段は、第１補正画像とソーベル処理画像とで対応する位置にある画素毎に、第１補正画像の各画素における輝度値からソーベル処理画像の各画素における輝度値を減算することで第２補正画像を生成することが好ましい。このようにすると、ソーベルフィルタにより得られた第１補正画像における各画素の輝度値の変化量（ソーベル処理画像における各画素の輝度値）を第１補正画像に反映させることで、欠陥部分の輝度値の大きさと欠陥部分以外の輝度値の大きさとの差が広がるので、このような第２補正画像を２値化することで、クラックや検査対象物に付着した異物といった欠陥をより検出しやすくなる。

また、微分フィルタにより第１補正画像における各画素の輝度値の変化量を算出して微分処理画像を生成する手段と、微分処理画像と第１補正画像とから第３補正画像を生成する手段と、第３補正画像を２値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する手段とを更に備えることが好ましい。このようにすると、欠陥部分の領域において輝度値の変化量が小さな値から大きな値をとりうる、欠けによる欠陥を検出しやすくなる。

また、第３補正画像を生成する手段は、微分処理画像と第１補正画像とで対応する位置にある画素毎に、微分処理画像の各画素における輝度値と第１補正画像の各画素における輝度値とを加算することで第３補正画像を生成することが好ましい。このようにすると、微分フィルタにより得られた第１補正画像における各画素の輝度値の変化量（微分処理画像における各画素の輝度値）を第１補正画像に反映させることで、欠陥部分の輝度値の大きさと欠陥部分以外の輝度値の大きさとの差が広がるので、このような第２補正画像を２値化することで、欠けによる欠陥をより検出しやすくなる。

また、第１補正画像を２値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する工程を更に備えることが好ましい。このようにすると、第１補正画像では補正されてしまうような、ある程度大きな剥離による欠陥についても検出することができる。

本発明によれば、検査対象物における欠陥の形状や各検査対象物に形成されたそれぞれ異なる研磨筋等によらず、検査対象物の欠陥を確実に検出することができる。

本発明の好適な実施形態について、図面を参照して説明する。なお、説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。

（外観検査装置の構成）
図１を参照して、本実施形態に係る外観検査装置１０の構成について説明する。図１は、（ａ）が外観検査装置の構成を概略的に示す斜視図であり、（ｂ）が検査対象物の斜視図である。

外観検査装置１０は、後述する検査対象物２２の外観を検査するための装置である。そのために、外観検査装置１０は、カメラ１２と、画像処理部１４と、ディスプレイ１６と、ＬＥＤ照明器１８ａ，１８ｂとを有している。

カメラ１２は、ＬＥＤ照明器１８ａ，１８ｂによって照明された検査対象物２２の外側面を撮像するものであり、例えばＣＣＤ（Charge Coupled Device）カメラを用いることができる。カメラ１２では、検査対象物２２の撮像画像Ｐ１，Ｐ１３（図７（ａ）、図１０（ａ）参照）を取得すると、その撮像画像Ｐ１のデータを画像処理部１４に出力する。なお、カメラ１２は、少なくとも輝度情報が得られればよいので、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ、赤外線カメラ、白黒カメラ、カラーカメラ等であってもよい。

画像処理部１４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含む図示しないＥＣＵ（Electronic Control Unit）等を有し、カメラ１２によって出力された撮像画像の画像処理を行うものである。画像処理部１４では、撮像画像Ｐ１，Ｐ１３等の画像処理を行うと、その処理された画像をディスプレイ１６に表示させるように、ディスプレイ１６に画像信号を出力する。

ディスプレイ１６は、撮像画像Ｐ１，Ｐ１３、後述する第１補正画像Ｐ３等の各種画像や欠陥の有無を表示するものである。このため、ディスプレイ１６に表示される各種画像をオペレータが観察することで、人間の目視によっても検査対象物２２の外観を検査することができるようになっている。

ＬＥＤ照明器１８ａ，１８ｂは、検査対象物２２をその周囲３６０°方向から照明することのできるリング状の照明器具であり、検査対象物２２の上方に検査対象物２２が載置される載置板２０と対向するようにそれぞれ設けられている。ＬＥＤ照明器１８ａは、載置板２０側に配置されており、略円筒形状を呈し、その内側面に複数のＬＥＤ光源が配列されている。このため、ＬＥＤ照明器１８ａでは、その内側面からＬＥＤ照明器１８ａの中心方向に向かって照明することとなる。一方、ＬＥＤ照明器１８ｂは、カメラ１２側に配置されており、内側面が略円錐形状となっており、その内側面に複数のＬＥＤ光源が配列されている。このため、ＬＥＤ照明器１８ｂでは、その内側面から所定の角度をもって下方に向かって照明することとなる。これらのＬＥＤ照明器１８ａ，１８ｂを用いることによって、検査対象物２２に対して均一に照明を行っている。

ここで、検査対象物２２は、本実施形態において、円柱面状とされた外周面２２ａ及び内周面２２ｂを有し、且つ、側面２２ｃが円弧状となっている。この検査対象物２２の外周面２２ａ及び内周面２２ｂには、検査対象物２２を製造する工程において、円柱面状をなす外周面２２ａ及び内周面２２ｂの軸方向に沿うと共に、各検査対象物２２毎に異なる研磨筋が形成されている。検査対象物２２は、例えば、クーラー等のモータ用のマグネットとして用いられる。

検査対象物２２に生じうる欠陥としては、例えば、クラック、欠け、剥離がある。クラックは、他の欠陥と比べてその欠陥の大きさ（面積）が比較的小さい。クラックは、検査対象物２２の表面からの欠陥の深さ（欠陥深さ）が深いため、撮像画像の欠陥部分における輝度値の変化量が大きな値となる傾向にある。欠けは、欠陥の大きさ（面積）として小さなものから大きなものまで生じうる。欠けは、欠陥深さが浅いものから深いものまであるために、撮像画像の欠陥部分における輝度値の変化量についても小さな値から大きな値をとりうる。剥離は、欠陥の大きさ（面積）が比較的大きい。剥離では、欠陥深さが比較的浅いため、撮像画像の欠陥部分における輝度値の変化量が小さな値となる傾向にある。

（外観検査装置による外観検査方法）
次に、図２〜図１０を参照して、以上の構成を有する外観検査装置１０を用いた検査対象物２２の外観検査処理方法について説明する。なお、ここでは特に、検査対象物２２のうち円柱面状となっている外周面２２ａ又は内周面２２ｂの外観検査を行う場合について説明する。

図２は、外観検査処理の開始から終了までの手順を示すフローチャートである。図３は、補正画像作成処理の開始から終了までの手順を示すフローチャートである。図４は、第１欠陥検出処理の開始から終了までの手順を示すフローチャートである。図５は、第２欠陥検出処理の開始から終了までの手順を示すフローチャートである。図６は、第３欠陥検出処理の開始から終了までの手順を示すフローチャートである。図７は、欠陥検出第１処理における各画像を示し、（ａ）が撮像画像を示す図であり、（ｂ）がマスタ画像を示す図であり、（ｃ）が第１補正画像を示す図であり、（ｄ）がソーベル処理画像を示す図であり、（ｅ）が第２補正画像を示す図であり、（ｆ）が２値化画像を示す図であり、（ｇ）が欠陥検出結果画像を示す図である。図８は、（ａ）が平均輝度値の算出方法を説明するための検査対象物画像を示す図であり、（ｂ）が軸Ｘ方向における平均輝度値の分布を示す図であり、（ｃ）が軸Ｙ方向における平均輝度値の分布を示す図である。図９は、欠陥検出第２処理における各画像を示し、（ａ）が第１補正画像を示す図であり、（ｂ）が微分処理画像を示す図であり、（ｃ）が第３補正画像を示す図であり、（ｄ）が２値化画像を示す図であり、（ｅ）が欠陥検出結果画像を示す図である。図１０は、欠陥検出第３処理における各画像を示し、（ａ）が撮像画像を示す図であり、（ｂ）が２値化画像を示す図である。なお、図２〜図６に示されるフローチャートでは、ステップをＳと略記している。また、図７、図９及び図１０では、それぞれ異なる検査対象物２２を用いて、欠陥検出第１処理、欠陥検出第２処理及び欠陥検出第３処理を説明している。

外観検査装置１０によって外観検査処理が開始されると、図２に示されるステップ１に進んで、外観検査装置２０のオペレータによる検査対象物２２の位置決めが行われる。具体的には、載置板２０に設けられたピン（図示せず）に対して検査対象物２２をバネで押しつけることによって、検査対象物２２の研磨筋が検査対象物画像Ｐ１ａの短辺（図８（ａ）に示される軸Ｙ方向）に沿うように、検査対象物２２を載置板２０に固定する。こうすると、撮像画像Ｐ１と撮像画像Ｐ１における検査対象物２２を示す画像（検査対象物画像）Ｐ１ａとの外縁が平行となり、撮像画像Ｐ１から後述する第１補正画像Ｐ３が容易に得られることとなる。

続いて、ステップ２に進むと、各ＬＥＤ照明器１８ａ，１８ｂによって照明された検査対象物２２をカメラ１２によって撮像する（図７（ａ）参照）。カメラ１２による検査対象物２２の撮像が行われると、撮像された撮像画像Ｐ１のデータが画像処理部１４に出力される。以下に述べる第１補正画像生成処理、欠陥検出第１処理、欠陥検出第２処理、欠陥検出第３処理では、撮像画像Ｐ１のデータに基づき、画像処理部１４によって検査対象物２２の欠陥を検出するための各種処理が行われることとなる。

（第１補正画像生成処理）
続くステップ３では、第１補正画像生成処理が行われる。第１補正画像生成処理が開始されると、図３に示されるステップ１１に進んで、撮像画像Ｐ１において輝度値が０でない連続する画素の領域を求めた後、その画素の領域に外接する長方形を求めることで、撮像画像Ｐ１における検査対象物画像Ｐ１ａの外形領域Ａ１を決定する処理を行う。このとき、決定された外形領域Ａ１の面積（画素数）及び外形領域Ａ１の位置する座標を算出する処理も行われる。ステップ１２に進むと、ステップ１１において決定された外形領域Ａ１の面積が所定の閾値以上であるか否かを判定する。すなわち、欠陥を検出する対象である検査対象物画像Ｐ１ａの面積（画素数）は、各検査対象物２２において略同一であるから、外形領域Ａ１の面積（画素数）が閾値以上であれば撮像されたものが検査対象物２２であると判定してステップ１３に進むが、そうでなければ撮像されたものが検査対象物２２ではない（例えば、検査対象物２２の破片）と判定して図２に示されるステップ８に進んで、外観検査処理を終了するようにしている。

ステップ１３に進むと、外形領域Ａ１に基づいて、撮像画像Ｐ１において処理を行う対象となる領域（処理領域）Ａ２を決定する。この処理領域Ａ２を決定する処理について、図８を参照して、以下に具体的に説明する。なお、図８（ａ）に示される外形領域Ａ１においては、白線の格子によって囲まれる矩形の各領域がそれぞれ画素に相当しており（図示の都合上、実際よりも大きさを誇張して描いている）、長辺と平行な軸Ｘ方向に沿う画素の座標が１〜ｘ_ｍａｘ、短辺と平行で軸Ｘと直交する軸Ｙ方向に沿う画素の座標が１〜ｙ_ｍａｘとなっている。また、外形領域Ａ１における任意座標（ｘ，ｙ）の画素の輝度値をＩ（ｘ、ｙ）と表すこととする。

処理領域Ａ２を決定する際、まず、軸Ｘ方向に平行な一連の画素についての輝度値Ｉ（１，ｙ）〜Ｉ（ｘ_ｍａｘ，ｙ）の平均（平均輝度値）Ｙを、軸Ｙ方向毎に算出する。また、軸Ｙ方向に平行な一連の画素についての輝度値Ｉ（ｘ，１）〜Ｉ（ｘ、ｙ_ｍａｘ）の平均（平均輝度値）Ｘを、軸Ｘ方向毎に算出する。図８（ｂ），（ｃ）に示される平均輝度分布Ｌ１、Ｌ２は、このように算出された平均輝度値Ｘ，Ｙの変化をそれぞれ表している。なお、Ｙ座標がｎであるときの平均輝度値Ｙｎは下記の式（１）で表され、Ｘ座標がｍであるときの平均輝度値Ｘｍは下記の式（２）で表される。

これらの平均輝度値Ｘ，Ｙを求めた後、図８（ｂ），（ｃ）においてそれぞれ破線で示される閾値と平均輝度値Ｘ，Ｙとを比較して、閾値と等しい平均輝度値Ｘ，Ｙを示すｘ座標及びｙ座標をそれぞれ求める。そして、このように求められた各座標を通り、各座標が存在する軸Ｘ又は軸Ｙに垂直な直線によって囲まれる領域を、処理領域Ａ２に決定する。なお、外形領域Ａ１を複数に分割し、それぞれの領域について平均輝度値を求めることで、処理領域Ａ２を決定してもよい。

続いて、ステップ１４に進むと、マスタ画像（基準画像）Ｐ２を生成する。マスタ画像Ｐ２の生成の際には、まず、処理領域Ａ２において再び平均輝度値Ｘ´，Ｙ´を求める。これらの平均輝度値Ｘ´，Ｙ´に基づいて、下記の式（３）から座標（ｍ，ｎ）における画素の輝度値Ｉ´（ｍ，ｎ）を処理領域Ａ２の全画素について算出し、マスタ画像Ｐ２を生成する（図７（ｂ）参照）。

ここで、式（３）におけるα，βは、それぞれ軸Ｘ，Ｙ方向における平均輝度値の寄与率となっている。マスタ画像Ｐ２を生成する際、寄与率α，βのうち平均輝度値Ｘ´，Ｙ´について優先させたい側の値を大きく設定することで、生成されるマスタ画像Ｐ２を調節することができる。なお、本実施形態では、軸Ｘ方向に沿う研磨筋の影響を考慮するため、βよりもαの値を大きくしている。

続いて、ステップ１５に進むと、処理領域Ａ２における検査対象物画像Ｐ１ａとマスタ画像Ｐ２とで対応する座標に位置する画素毎に、検査対象物画像Ｐ１ａの各画素における輝度値からマスタ画像Ｐ２の各画素における輝度値を減算する。これにより、第１補正画像Ｐ３が生成され（図７（ｃ）参照）、第１補正画像生成処理が終了する。

（欠陥検出第１処理）
図２に戻り、ステップ４に進むと、欠陥検出第１処理が行われる。この欠陥検出第１処理では、例えば検査対象物２２のクラックや検査対象物２２に付着した異物による欠陥を検出している。欠陥検出第１処理が開始されると、図４に示されるステップ２１に進んで、処理領域Ａ２において第１補正画像Ｐ３をソーベルフィルタによって処理し、第１補正画像Ｐ３中における濃淡変化（エッジ部分）を検出する処理を行う。具体的には、第１補正画像Ｐ３における所定の画素とその画素の周囲における隣接画素とで、下記の式（４）による演算を第１補正画像Ｐ３の全ての画素について行う。これにより、第１補正画像Ｐ３における各画素の輝度値Ｉ´の変化量Ｅ１が求められ、濃淡変化が生じている箇所でエッジの検出が行われたソーベル処理画像Ｐ４が生成される（図７（ｄ）参照）。

また、ソーベル処理画像Ｐ４を生成した後、ソーベル処理画像Ｐ４における所定の画素とその画素の周囲における隣接画素とで、下記の式（５）による演算をソーベル処理画像Ｐ４の全ての画素について行う。これにより、ソーベル処理画像Ｐ４における各画素の輝度値Ｉ´の平均Ｍ１が求められ、ソーベル処理画像Ｐ４に生じているランダムなノイズを除去する平滑化が行われる。

なお、本実施形態では、階調を２５６階調（８ｂｉｔ）としているため、変化量Ｅ１を求める際に、変化量Ｅ１が下限値である０を下回る場合には変化量Ｅ１を下限値である０に固定し、変化量Ｅ１が上限値である２５５を上回る場合には変化量Ｅ１を上限値である２５５に固定する処理を行っているが、階調を２５６階調以外として同様の処理を行ってもよい。

続いて、ステップ２２に進むと、処理領域Ａ２における第１補正画像Ｐ３とソーベル処理画像Ｐ４とで対応する座標に位置する画素毎に、第１補正画像Ｐ３の各画素における輝度値からソーベル処理画像Ｐ４の各画素における輝度値を減算する。これにより、第２補正画像Ｐ５が生成される（図７（ｅ）参照）。また、第２補正画像Ｐ５を生成後、第２補正画像Ｐ５に生じているランダムなノイズを除去するために、ステップ２１と同じく第２補正画像Ｐ５の平滑化を行う。

続いて、ステップ２３に進むと、得られた第２補正画像Ｐ５を所定の閾値によって２値化処理し、その閾値以上の輝度値である画素を黒、その閾値より小さな輝度値である画素を白として表示した２値化画像Ｐ６を生成する（図７（ｆ）参照）。ここで、このステップ２３の２値化処理において用いられる閾値は、事前に実験を行うことによって得られた値となっている（後述するステップ３３，４１において用いられる閾値も同じ）。また、本実施形態では、ステップ２３，３３の閾値の大きさは共に同じになっており、ステップ４１の閾値の大きさはステップ２３，３３の閾値の大きさよりも大きくなっている。これは、ステップ２３，３３で２値化処理を行う前の第２補正画像及び第３補正画像では、ソーベルフィルタ及び微分フィルタによって欠陥部分以外の領域における輝度値が略均一となっているので閾値を設定することのできる範囲が広いのに対し、ステップ４１で２値化処理を行う前の検査対象物画像Ｐ１３ａでは、欠陥部分以外の領域における輝度値が略均一となっていないので閾値を設定することのできる範囲が狭いためである。そして、ステップ２４に進むと、２値化画像Ｐ６のラベリング処理を行い、２値化画像Ｐ６において白で表示される画素が連結している連結領域を特定する。また、ステップ２４では、特定された連結領域の数、各連結領域の面積（画素数）及び処理領域Ａ２における各連結領域の位置を検出する処理を行う。

続いて、ステップ２５に進むと、ステップ２４で検出された各連結領域について、各連結領域の面積（画素数）が所定の閾値より小さいか否かを判定する。その結果、全ての連結領域について連結領域の面積が閾値よりも小さいと判定された場合には欠陥検出第１処理が終了するが、そうでなければ図２のステップ８に進んで、現在外観検査が行われている検査対象物２２に欠陥があると判定して、外観検査処理を終了する。ここで、このステップ２５の判定において用いられる閾値も、事前に実験を行うことによって得られた値となっている（後述するステップ３５，４３において用いられる閾値も同じ）。また、本実施形態では、ステップ２５，３５の閾値の大きさは共に同じになっており、ステップ４３の閾値の大きさはステップ２５，３５の閾値の大きさよりも大きくなっている。これは、欠陥検出第１処理で検出対象となっているクラックによる欠陥及び欠陥検出第２処理で検出対象となっている欠けによる欠陥の面積（画素数）が、欠陥検出第３処理で検出対象となっている剥離による欠陥の面積（画素数）よりも小さい傾向にあるためである。なお、図７（ｇ）は、処理領域Ａ２における検査対象物画像Ｐ１ａと２値化画像Ｐ６とで対応する座標に位置する画素毎に、検査対象物画像Ｐ１ａの各画素と２値化画像Ｐ６の各画素とを加算して得られた欠陥検出結果画像Ｐ７となっている。

（欠陥検出第２処理）
図２に戻り、ステップ５に進むと、欠陥検出第２処理が行われる。この欠陥検出第１処理では、例えば検査対象物２２の欠けによる欠陥を検出している。欠陥検出第２処理が開始されると、図５に示されるステップ３１に進んで、処理領域Ａ２において第１補正画像Ｐ８（図９（ａ）参照）を微分フィルタによって処理し、第１補正画像Ｐ８中における濃淡変化（エッジ部分）を検出する処理を行う。具体的には、第１補正画像Ｐ８における所定の画素とその画素の周囲における隣接画素とで、下記の式（６）による演算を第１補正画像Ｐ８の全ての画素について行う。これにより、第１補正画像Ｐ８における各画素の輝度値Ｉ´の変化量Ｅ２が求められ、濃淡変化が生じている箇所でエッジの検出が行われた微分処理画像Ｐ９が生成される（図９（ｂ）参照）。

また、微分処理画像Ｐ９を生成した後、微分処理画像Ｐ９における所定の画素とその画素の周囲における隣接画素とで、下記の式（７）による演算を微分処理画像Ｐ９の全ての画素について行う。これにより、微分処理画像Ｐ９における各画素の輝度値Ｉ´の平均Ｍ２が求められ、微分処理画像Ｐ９に生じているランダムなノイズを除去する平滑化が行われる。

なお、欠陥検出第２処理においても、変化量Ｅ２が下限値を下回る場合には変化量Ｅ２を下限値に固定し、変化量Ｅ２が上限値を上回る場合には変化量Ｅ２を上限値に固定する処理を行っている。

続いて、ステップ３２に進むと、処理領域Ａ２における第１補正画像Ｐ８と微分処理画像Ｐ９とで対応する座標に位置する画素毎に、第１補正画像Ｐ８の各画素における輝度値と微分処理画像Ｐ９の各画素における輝度値とを加算する。これにより、第３補正画像Ｐ１０が生成される（図９（ｃ）参照）。また、第３補正画像Ｐ１０の生成後、第３補正画像Ｐ１０に生じているランダムなノイズを除去するために、ステップ２１と同じく第３補正画像Ｐ１０の平滑化を行う。

続いて、ステップ３３に進むと、得られた第３補正画像Ｐ１０を所定の閾値によって２値化処理し、その閾値以上の輝度値である画素を白、その閾値より小さな輝度値である画素を黒として表示した２値化画像Ｐ１１を生成する（図９（ｄ）参照）。そして、ステップ３４に進むと、２値化画像Ｐ１１のラベリング処理を行い、２値化画像Ｐ１１において白で表示される画素が連結している連結領域を特定する。また、ステップ３４では、特定された連結領域の数、各連結領域の面積（画素数）及び処理領域Ａ２における各連結領域の位置を検出する処理を行う。

続いて、ステップ３５に進むと、ステップ３４で検出された各連結領域について、各連結領域の面積（画素数）が所定の閾値より小さいか否かを判定する。その結果、全ての連結領域について連結領域の面積が閾値よりも小さいと判定された場合には欠陥検出第２処理が終了するが、そうでなければ図２のステップ８に進んで、現在外観検査が行われている検査対象物２２に欠陥があると判定して、外観検査処理を終了する。なお、図９（ｅ）は、処理領域Ａ２における図示しない検査対象物画像と２値化画像Ｐ１１とで対応する座標に位置する画素毎に、検査対象物画像の各画素と２値化画像Ｐ１１の各画素とを加算して得られた欠陥検出結果画像Ｐ１２となっている。

（欠陥検出第３処理）
図２に戻り、ステップ６に進むと、欠陥検出第３処理が行われる。この欠陥検出第１処理では、例えば検査対象物２２の剥離による欠陥を検出している。欠陥検出第３処理が開始されると、図６に示されるステップ４１に進んで、処理領域Ａ２における検査対象物画像Ｐ１３ａを所定の閾値によって２値化処理し、その閾値以上の輝度値である画素を白、その閾値より小さな輝度値である画素を黒として表示した２値化画像Ｐ１４を生成する（図１０（ｂ）参照）。そして、ステップ４２に進むと、２値化画像Ｐ１４のラベリング処理を行い、２値化画像Ｐ１４において白で表示される画素が連結している連結領域を特定する。また、ステップ４２では、特定された連結領域の数、各連結領域の面積（画素数）及び処理領域Ａ２における各連結領域の位置を検出する処理を行う。

続いて、ステップ４３に進むと、ステップ４２で検出された各連結領域について、各連結領域の面積（画素数）が所定の閾値より小さいか否かを判定する。その結果、全ての連結領域について連結領域の面積が閾値よりも小さいと判定された場合には２値化処理が終了し、図２のステップ７に進んで、現在外観検査が行われている検査対象物２２に欠陥がないと判定して、外観検査処理が終了する。一方、いずれかの連結領域の面積が閾値以上であると判定された場合には図２のステップ８に進んで、現在外観検査が行われている検査対象物２２に欠陥があると判定して、外観検査処理が終了する。

ところで、検査対象物２２のような曲面を有する物体について外観検査を行う場合には、ＬＥＤ照明１８ａ，１８ｂから検査対象物２２に入射する光が検査対象物２２の外形に応じて反射してしまう。そのため、カメラ１２によって検査対象物２２を撮像した場合、局所的に明暗が生じてしまい、撮像画像Ｐ１，Ｐ１３における輝度分布が不均一となってしまっていた。また、検査対象物２２には、個別に異なる研磨筋が形成されているため、撮像画像Ｐ１，Ｐ１３における輝度分布が検査対象物２２毎に異なってしまっていた。従って、従来は、検査対象物２２の欠陥を検出することが困難であるという問題があった。

これに対し、本実施形態においては、検査対象物２２毎に、軸Ｘ，Ｙ方向についてそれぞれ平均輝度分布Ｌ１，Ｌ２を求め、これに基づいてマスタ画像Ｐ２を生成している。また、処理領域Ａ２における検査対象物画像Ｐ１ａの各画素における輝度値からマスタ画像Ｐ２の各画素における輝度値を減算することで、第１補正画像Ｐ３を生成している。このため、各検査対象物２２に応じてマスタ画像Ｐ２が生成され、そのマスタ画像Ｐ２により個別に処理領域Ａ２における検査対象物画像Ｐ１ａが補正されるので、検査対象物２２に形成された研磨筋が個々に異なる場合であっても、各検査対象物２２の欠陥を検出することができる。また、ソーベルフィルタによって第１補正画像Ｐ３の輝度値の変化量を算出して生成されたソーベル処理画像Ｐ４を用いて第１補正画像Ｐ３を処理することで、第２補正画像Ｐ５を生成しているため、高精度に検査対象物２２の欠陥を検出することができ、特に検査対象物のクラックや検査対象物に付着した異物が検出しやすくなる。

また、本実施形態では、処理領域Ａ２における検査対象物画像Ｐ１ａとマスタ画像Ｐ２とで対応する位置にある画素毎に、検査対象物画像Ｐ１ａの各画素における輝度値からマスタ画像Ｐ２の各画素における輝度値を減算することで第１補正画像Ｐ３を生成している。そのため、第１補正画像Ｐ３の欠陥部分以外の領域において輝度値の変化量が極めて小さくなる（輝度値が略均一になる）一方、欠陥部分の領域において輝度値の変化量が極めて大きくなる。その結果、その後生成された第２補正画像Ｐ５を２値化するための閾値を設定することのできる範囲が広がり、容易に閾値を設定できる

また、本実施形態では、第１補正画像Ｐ３とソーベル処理画像Ｐ４とで対応する位置にある画素毎に、第１補正画像Ｐ３の各画素における輝度値からソーベル処理画像Ｐ４の各画素における輝度値を減算することで第２補正画像を生成している。そのため、ソーベルフィルタにより得られた第１補正画像Ｐ３における各画素の輝度値の変化量（ソーベル処理画像Ｐ４における各画素の輝度値）を第１補正画像Ｐ３に反映させることで、欠陥部分の輝度値の大きさと欠陥部分以外の輝度値の大きさとの差が広がるので、このような第２補正画像Ｐ５を２値化することで、クラックや検査対象物に付着した異物といった欠陥をより検出しやすくなる。

また、本実施形態では、微分フィルタによって第１補正画像Ｐ３を処理することで第３補正画像Ｐ１０を生成しているので、欠陥部分の領域において輝度値の変化量が小さな値から大きな値をとりうる、欠けによる欠陥を検出しやすくなる。

また、本実施形態では、微分処理画像Ｐ９と第１補正画像Ｐ３とで対応する位置にある画素毎に、微分処理画像Ｐ９の各画素における輝度値と第１補正画像Ｐ３の各画素における輝度値とを加算することで第３補正画像Ｐ１０を生成しているので、第３補正画像Ｐ１０において、欠陥部分の領域における輝度値の大きさと欠陥部分以外の領域における輝度値の大きさとの差を広げることができ、欠けによる欠陥をより検出しやすくなる。

また、本実施形態では、処理領域Ａ２における検査対象物画像Ｐ１３ａを２値化して連結領域を特定しているので、検査対象物２２にある程度面積の大きな剥離による欠陥についても検出することができる。

以上、本発明の好適な実施形態について詳細に説明したが、本発明は上記した実施形態に限定されるものではない。例えば、本実施形態では外観検査処理において欠陥検出第１〜第３処理を行っているが、これらの処理のうち欠陥検出第１処理だけを行うものであってもよい。また、欠陥検出第１及び第２処理を行うものであってもよく、欠陥検出第１及び第３処理を行うものであってもよい。さらに、欠陥検出第１〜第３処理の各処理のうち、いずれの処理から実行を開始してもよい。

また、本実施形態では曲面を有する検査対象物２２について外観検査を行っていたが、これに限られず、平面状の検査対象物の外観検査を行ってもよい。

また、ステップ１１において、検査対象物画像Ｐ１ａのエッジを４方向から探索することによって、外形領域Ａ１を決定してもよい。

（ａ）は外観検査装置の構成を概略的に示す斜視図であり、（ｂ）は検査対象物の斜視図である。 外観検査処理の開始から終了までの手順を示すフローチャートである。 補正画像作成処理の開始から終了までの手順を示すフローチャートである。 第１欠陥検出処理の開始から終了までの手順を示すフローチャートである。 第２欠陥検出処理の開始から終了までの手順を示すフローチャートである。 第３欠陥検出処理の開始から終了までの手順を示すフローチャートである。 欠陥検出第１処理における各画像を示し、（ａ）は撮像画像を示す図であり、（ｂ）はマスタ画像を示す図であり、（ｃ）は第１補正画像を示す図であり、（ｄ）はソーベル処理画像を示す図であり、（ｅ）は第２補正画像を示す図であり、（ｆ）は２値化画像を示す図であり、（ｇ）は欠陥検出結果画像を示す図である。 （ａ）は平均輝度値の算出方法を説明するための検査対象物画像を示す図であり、（ｂ）は軸Ｘ方向における平均輝度値の分布を示す図であり、（ｃ）は軸Ｙ方向における平均輝度値の分布を示す図である。 欠陥検出第２処理における各画像を示し、（ａ）は第１補正画像を示す図であり、（ｂ）は微分処理画像を示す図であり、（ｃ）は第３補正画像を示す図であり、（ｄ）は２値化画像を示す図であり、（ｅ）は欠陥検出結果画像を示す図である。 欠陥検出第３処理における各画像を示し、（ａ）が撮像画像を示す図であり、（ｂ）が２値化画像を示す図である。

符号の説明

１０…外観検査装置、１２…カメラ、１４…画像処理部、２２…検査対象物、Ｐ１，Ｐ１３…撮像画像、Ｐ１ａ，Ｐ１３ａ…検査対象物画像、Ｐ２…マスタ画像、Ｐ３，Ｐ８…第１補正画像、Ｐ４…ソーベル処理画像、Ｐ５…第２補正画像、Ｐ９…微分処理画像、Ｐ１０…第３補正画像。

Claims (12)

1. 検査対象物の外観検査を行うための外観検査方法であって、
   前記検査対象物を撮像して検査対象物画像を含む撮像画像を取得する工程と、
   前記検査対象物画像の外縁に沿う第１の方向に平行な一連の画素からなる第１の画素列毎に該第１の画素列に含まれる前記一連の画素の輝度値の平均を算出すると共に、前記第１の方向と直交する第２の方向に平行な一連の画素からなる第２の画素列毎に該第２の画素列に含まれる前記一連の画素の輝度値の平均を算出することで、前記第１の方向及び前記第２の方向における前記検査対象物画像の平均輝度分布を算出する工程と、
   前記検査対象物画像に対して基準となる基準画像を前記平均輝度分布に基づいて生成する工程と、
   前記撮像画像と前記基準画像とから第１補正画像を生成する工程と、
   ソーベルフィルタにより前記第１補正画像における各画素の輝度値の変化量を算出してソーベル処理画像を生成する工程と、
   前記ソーベル処理画像と前記第１補正画像とから第２補正画像を生成する工程と、
   前記第２補正画像を２値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する工程とを備えることを特徴とする外観検査方法。
2. 前記第１補正画像を生成する前記工程では、前記撮像画像と前記基準画像とで対応する位置にある画素毎に、前記撮像画像の各画素における輝度値から前記基準画像の各画素における輝度値を減算することで前記第１補正画像を生成することを特徴とする請求項１に記載された外観検査方法。
3. 前記第２補正画像を生成する前記工程では、前記第１補正画像と前記ソーベル処理画像とで対応する位置にある画素毎に、前記第１補正画像の各画素における輝度値から前記ソーベル処理画像の各画素における輝度値を減算することで前記第２補正画像を生成することを特徴とする請求項１又は２に記載された外観検査方法。
4. 微分フィルタにより前記第１補正画像における各画素の輝度値の変化量を算出して微分処理画像を生成する工程と、
   前記微分処理画像と前記第１補正画像とから第３補正画像を生成する工程と、
   前記第３補正画像を２値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する工程とを更に備えることを特徴とする請求項１〜３のいずれか１項に記載された外観検査方法。
5. 前記第３補正画像を生成する前記工程では、前記微分処理画像と前記第１補正画像とで対応する位置にある画素毎に、前記微分処理画像の各画素における輝度値と前記第１補正画像の各画素における輝度値とを加算することで前記第３補正画像を生成することを特徴とする請求項４に記載された外観検査方法。
6. 前記撮像画像を２値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する工程を更に備えることを特徴とする請求項１〜５のいずれか１項に記載された外観検査方法。
7. 検査対象物の外観検査を行うための外観検査装置であって、
   前記検査対象物を照明する照明手段と、
   前記照明手段によって照明された前記検査対象物を撮像する撮像手段と、
   前記撮像手段によって撮像された撮像画像に含まれる検査対象物画像の外縁に沿う第１の方向に平行な一連の画素からなる第１の画素列毎に該第１の画素列に含まれる前記一連の画素の輝度値の平均を算出すると共に、前記第１の方向と直交する第２の方向に平行な一連の画素からなる第２の画素列毎に該第２の画素列に含まれる前記一連の画素の輝度値の平均を算出することで、前記第１の方向及び前記第２の方向における前記検査対象物画像の平均輝度分布を算出する手段と、
   前記検査対象物画像に対して基準となる基準画像を前記平均輝度分布に基づいて生成する手段と、
   前記撮像画像と前記基準画像とから第１補正画像を生成する手段と、
   ソーベルフィルタにより前記第１補正画像における各画素の輝度値の変化量を算出してソーベル処理画像を生成する手段と、
   前記ソーベル処理画像と前記第１補正画像とから第２補正画像を生成する手段と、
   前記第２補正画像を２値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する手段とを備えることを特徴とする外観検査装置。
8. 前記第１補正画像を生成する前記手段は、前記撮像画像と前記基準画像とで対応する位置にある画素毎に、前記撮像画像の各画素における輝度値から前記基準画像の各画素における輝度値を減算することで前記第１補正画像を生成することを特徴とする請求項７に記載された外観検査装置。
9. 前記第２補正画像を生成する前記手段は、前記第１補正画像と前記ソーベル処理画像とで対応する位置にある画素毎に、前記第１補正画像の各画素における輝度値から前記ソーベル処理画像の各画素における輝度値を減算することで前記第２補正画像を生成することを特徴とする請求項７又は８に記載された外観検査装置。
10. 微分フィルタにより前記第１補正画像における各画素の輝度値の変化量を算出して微分処理画像を生成する手段と、
    前記微分処理画像と前記第１補正画像とから第３補正画像を生成する手段と、
    前記第３補正画像を２値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する手段とを更に備えることを特徴とする請求項７〜９のいずれか１項に記載された外観検査装置。
11. 前記第３補正画像を生成する前記手段は、前記微分処理画像と前記第１補正画像とで対応する位置にある画素毎に、前記微分処理画像の各画素における輝度値と前記第１補正画像の各画素における輝度値とを加算することで前記第３補正画像を生成することを特徴とする請求項１０に記載された外観検査装置。
12. 前記撮像画像を２値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する工程を更に備えることを特徴とする請求項７〜１１のいずれか１項に記載された外観検査装置。

Images