JP2007316019A

JP2007316019A - 表面欠陥検査装置

Info

Publication number: JP2007316019A
Application number: JP2006148535A
Authority: JP
Inventors: Takeshi Oku; 武志奥; Keiji Morita; 圭治森田; Mamoru Sakagami; 護坂上
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2006-05-29
Filing date: 2006-05-29
Publication date: 2007-12-06

Abstract

【課題】被検査物が曲面体であっても十分な明るさをもった撮影画像が確保でき、より信頼性の高い表面欠陥検査が可能となる表面欠陥検査装置を提供する
【解決手段】複数の発光素子３０を有する照明部３と、この照明部３による照射光によって照明された被検査面を撮像する撮像カメラ４と、撮像カメラ４の出力信号を評価して被検査面における欠陥を検知する欠陥評価手段とを備えた表面欠陥検査装置。照明部３が、内側に所定形状の暗面を残すレイアウトパターンでかつその照射光軸Ｉｘが撮像カメラのカメラ光軸Ｃｘに対して平行となるように発光素子３０ａを配列している主照明部３Ａと、その照射光軸Ｉｘがカメラ光軸Ｃｘに対して交差するように発光素子３０ｂを配置している補助照明部３Ｂとからなる。
【選択図】図２

Description

本発明は、複数の発光素子を有する照明部と、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラと、前記撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する欠陥評価手段とを備えた表面欠陥検査装置に関する。

上述したタイプの表面欠陥検査装置として、内側に所定形状の暗面を残すように発光素子を連続的に配置させたレイアウトパターンを複数組み合わせて構成された照明部と、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラと、前記撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する欠陥評価手段とから構成され、前記欠陥評価手段が、前記出力信号から生成された前記被検査面の明暗画像における孤立した突出輝度領域を欠陥候補と判定する孤立点抽出部と、前記明暗画像における前記連続配置された発光素子の発光像を示す領域に含まれる前記欠陥候補を欠陥候補から除外する欠陥候補選別部を備えている表面欠陥検査装置が知られている（例えば、特許文献１参照）。この表面欠陥検査装置では、リング状に連続配置された発光素子群の照射ポイントの内側に、つまり暗面に対向する被検査面に存在している欠陥に対して、その欠陥の全周方向から照射光の一部があたることになり、欠陥像が暗い暗面像の中に明るく浮き上がることになって、明暗画像における孤立した突出輝度領域として欠陥候補を検知し、この欠陥候補から所定パターンでの連続発光像の延長線上に存在する孤立点を除外することで、欠陥誤検出を低減している。

上述したような表面欠陥検査装置を検査対象となる製品の製造ラインに適用するためには、被検査面を撮像カメラや照明部に対して相対的に移動させる必要がある。このため、六角形状を単位として繰り返されるレイアウトパターンで多数の発光素子を配置している照明部とこの照明部の幅方向中央に所定均等間隔で配置されている撮像カメラからなる撮像ユニットを被検査物としての自動車用バンパーの外形形状に倣って倣い移動させる倣い機構を備えた表面検査装置も提案されている（例えば、特許文献２参照）。

特開２００５−２９１８４４号公報（段落番号０００７−０００９、００１１−００１４図１、図２）特開２００５−３１５８４１号公報（段落番号００２８−００４７、図１）

しかしながら、上述したような従来の表面欠陥検査装置では、照明部を構成する発光素子はその照射光軸が撮像カメラのカメラ光軸に実質的に平行となるように配列されているので、被検査物が曲面体である場合、発光素子から照射された照射光の大部分がその被検査面で大きく偏向拡散し、撮像カメラに入射する割合が減少し、その結果撮影画像が暗くなり、欠陥評価に悪影響を及ぼす。
上記実状に鑑み、本発明の課題は、被検査物が曲面体であっても十分な明るさをもった撮影画像が確保でき、より信頼性の高い表面欠陥検査が可能となる表面欠陥検査装置を提供することである。

上記課題を解決するため、本発明による表面欠陥検査装置は、複数の発光素子を有する照明部と、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラと、前記撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する欠陥評価手段とを備え、前記照明部が、内側に所定形状の暗面を残すレイアウトパターンでかつその照射光軸が前記撮像カメラのカメラ光軸に対して平行となるように前記発光素子を配列している主照明部と、その照射光軸が前記撮像カメラのカメラ光軸に対して交差するように前記発光素子を配置している補助照明部とからなり、かつ前記補助照明部の発光素子の指向特性が前記主照明部の発光素子の指向特性より高いもの、好ましくは数倍（３〜５倍）高いものとなっている。

この構成では、主照明部の発光素子群が従来の表面欠陥検査装置のように撮像カメラの光軸に平行な照射光軸をもって被検査面を所定のレイアウトパターンで照らすことになるが、付加的に補助照明部の発光素子群が撮像カメラの光軸を斜めから横切る方向の照射光軸をもって被検査面を照らすことになる。これにより、撮像カメラに入る総光量が増大して撮影画像が明るくなるとともに、自動車塗装などにおいて「ブツ」と呼ばれる凸欠陥部で反射されて撮像カメラに入る欠陥反射光量も主照明部だけの構成に較べて増大し、信頼性の高い表面欠陥検査が可能となる。また、補助照明部の発光素子からの照射光に比較的ビーム幅が狭い指向特性（高指向特性）をもたせることにより、照射光の一部が直接撮像カメラに入ることを回避するという利点、及び主照明部の発光素子に較べて被検査面からの距離が遠くなることによる光量低下の影響を少なくする利点も得られる。

主照明部と補助照明部の具体的な配置構成として、主照明部の発光素子や撮像カメラに関しては上述した特許文献１や２で開示されている配置を採用するとともにこの主照明部の周辺部に、好ましくはその周辺部から被検査面方向に立ち下がった側壁体に補助照明部の発光素子を配置して、補助照明部の発光素子が主照明部の発光素子によって照射されている被検査面に対して斜め側方から照射することが提案される。さらにその際、主照明部の発光素子に較べて被検査面からの距離が遠くなることによる光量低下の影響を少なくするため、補助照明部の発光素子をその照射光軸がカメラ光軸のピント領域で交わるように配置すると好都合である。

以下、本発明の実施形態を図面に基づいて説明する。
図１に、本発明による表面欠陥検査装置の一例として、コンベア２により紙面左方に搬送されている塗装工程終了後の自動車ボディ１の塗装面を検査する装置の模式的な構成図が示されている。この表面欠陥検査装置は、検査光としての照明光を被検査面である自動車ボディ１の塗装面に照射する照明部３と、この照明部３で照明された被検査面を撮像する撮像カメラ４と、この撮像カメラ４からの出力信号を用いた被検査面における欠陥の存在の評価やその評価欠陥の出力を行うコントローラ５と、このコントローラ５の出力部１０に接続される出力機器としてのモニタ１２やプリンタ１３とから構成されている。

なお、照明部３と撮像カメラ４は検査ユニットとして一体化されており、この検査ユニットはロボットコントローラ１５によって制御されるロボットアーム１６に取り付けられ、塗装検査対象としての自動車ボディ１の曲面に倣い移動するように構成されている。

表面欠陥検査装置のコントローラ５には、照明部３の制御を行う照明・撮像制御部９、撮像カメラ４からの出力信号を取り込んでデジタル画像データ（以下単に入力画像と称する）としてメモリ８に展開する画像入力部７、入力画像を用いて欠陥評価を行う欠陥評価手段６が備えられている。さらにコントローラ５は、通信部１１を介してこの表面欠陥検査装置の上位制御体としてのホストコンピュータ１４にデータ伝送可能に接続されている。このホストコンピュータ１４には必要に応じてコントローラ５にダウンロードされる検査対象となる自動車ボディ１の情報が蓄積されているとともに、ロボットコントローラ１５から検査ユニットの位置情報及びコントローラ５で生成された塗装面の欠陥情報が転送されてくる。これにより、ホストコンピュータ１４では、検査対象における欠陥位置を把握することができるので、このホストコンピュータ１４にネットワーク接続された端末によって制御されるプロジェクタ１７やプリンタなどを通じて欠陥位置などを検査員に指示することができる。

多数の発光素子（この実施形態ではＬＥＤ素子を用いるので以後ＬＥＤ素子と称することにするが、もちろん本発明の発光素子はＬＥＤ素子に限定されるわけではなく、他の発光素子を用いてもよい）３０を備えた照明部３と撮像カメラ４からなる検査ユニットが、図２に模式的に示されている。照明部３は、被検査面に対向する取付ベース面３ａをもつ主照明部３Ａと、この主照明部３Ａの両端から垂直に延びている補助照明部３Ｂとから構成されており、主照明部３Ａの取付ベース面３ａに１つ以上の撮像カメラ４が配置されている。撮影カメラ４は、この実施の形態では、その光軸（レンズ軸）Ｃｘが取付ベース面３ａに対して垂直となるように取り付けられているが、取付ベース面３ａに対する撮影カメラ４の取り付けは自由に選択することができる。主照明部３Ａに属するＬＥＤ素子３０ａはその照射光軸Ｉｘが撮影カメラ４の光軸（レンズ軸）Ｃｘと平行となるように取付ベース面３ａに配置されているが、そのレイアウトパターンは後で詳しく説明される。これに対して、補助照明部３Ｂに属するＬＥＤ素子３０ｂはその照射光軸Ｉｘが撮影カメラ４の光軸（レンズ軸）Ｃｘに対して交差するように、補助照明部３Ｂの取付ベース面３ｂに配置されている。但し、ＬＥＤ素子３０ｂの照射光軸Ｉｘ付近を通る強い照射光が直接撮像カメラ４に入らないように、ＬＥＤ素子３０ｂの照射光軸Ｉｘと撮影カメラ４の光軸（レンズ軸）Ｃｘとのなす角度αが９０度以下となるように設定されているとともに、ＬＥＤ素子３０ｂの照射光軸Ｉｘが撮影カメラ４のピントが合っている撮影面を通過するように照準されている。

また、補助照明部３Ｂに属するＬＥＤ素子３０ｂとして広いビーム広がり角をもつ指向特性の低いものを用いると、強い光ビーム成分が直接撮像カメラ４に入る可能性が出てくるので、高指向特性を有するものが用いられる。この実施形態では、主照明部３Ａに属するＬＥＤ素子３０ａはビーム広がり角が約４０〜７０°の低指向特性を有し、補助照明部３Ｂに属するＬＥＤ素子３０ｂはビーム広がり角が約５〜２０°の高指向特性を有している。

図３に示すように、主照明部３Ａは、実質的に平面である取付ベース面３ａに、多数の発光素子３０ａを、６角形のスペースを残すような網状（リング状）のレイアウトパターンで、しかもこの６角形レイアウトパターンを繰り返すように連続的に（隣接するＬＥＤ素子３０ａとの間をつめながら）配置した構成を有している。このように６角形網状に配置されたＬＥＤ素子３０ａによって残された余白のスペースは、ここでは暗面３１と呼ばれ、黒もしくは暗色の面となっている。網状に配置されたＬＥＤ素子３０ａによって多くの暗面３１が現出しているが、グループ化された暗面３１における最も中央に位置する暗面３１に撮像カメラ４のレンズ面４ａが位置するように撮像カメラ４が照明部３に組み込まれている。撮像カメラ４の設置数は、照明部３の発光領域サイズと各撮像カメラ４の撮影範囲によって適宜決定される。これに対して、補助照明部３ＢのＬＥＤ素子３０ｂは、あくまで被検査面に対する補助的な照明であるので、撮像カメラ４によって捉えられる被検査面に照準を合わせる姿勢で、補助照明部３Ｂの取付ベース面３ｂに一様分布するように配置されている。

コントローラ５は、ＣＰＵを中核部材として、この表面欠陥検査装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図４に示されているように、本発明に特に関係する機能部として、メモリ８に展開された入力画像を欠陥検出に適した形態に変換する前処理部６０Ａと、前処理された入力画像を用いて被検査面上の欠陥を見つけ出す欠陥決定部６０Ｂに分けることができる。

前処理部６０Ａは、入力画像に対する輝度調整を行う輝度調整部６１と輝度調整された入力画像を２値化処理する２値化処理部６２からなる。この実施形態の輝度調整部６１は、ガンマ調整だけではなく、入力画像に含まれている発光像の輝度レベルが塗装色や塗装面毎の基準となる正常な被検査面から得られるＬＥＤ素子３０ａの発光像の輝度レベルに達するように画素領域単位の輝度調整も行うように構成されている。また、２値化処理部６２は、入力画像の濃淡ヒストグラムから統計的手法で２値化閾値を決定する２値化閾値決定部６２ａやノイズ消しのために入力画像に対して平滑化フィルタをかけるとともに発光像や欠陥像の輪郭を強調するためにＳｏｂｅｌフィルタなどのエッジ強調フィルタをかける画像特徴抽出部６２ｂを備え、２値化閾値決定部６２ａによって決定された２値化閾値を用いて画像特徴抽出部６２ｂで強調された入力画像を２値化画像にする。

２値化処理部６２によって２値化された入力画像の一例が図５に示されている。この２値化明暗画像においては、輝度の高い領域は白く表示されているが、６角形レイアウトパターンで連続配置されたＬＥＤ素子３０ａの発光像群は敷き詰められた６角形状の連続して繋がった白い輪郭線として表示され、暗面３１に対向する塗装面領域は暗領域として表示され、場合によっては存在する塗装欠陥はその周囲からの照射光による乱反射により暗領域に浮かぶ白い独立した領域として表示される。このことから、欠陥検出は、２値化画像において、輝度が突出している領域（この実施形態では白い領域）であって所定のパターンで連続していない領域、つまり孤立点を探し出せばよいことになる。所定レベルの輝度値（濃度値）を有しながら連続する画素を探したり、孤立した領域を探したりする画像処理アルゴリズム自体は良く知られたものを用いることができる。

しかしながら、被検査面ここでは塗装面の形状による照射光に対する反射特性の変動等によって、図６に拡大して示すように、本来は連続して繋がった線として現れるＬＥＤ素子３０ａの発光像に途切れが生じ、その途切れた部分が欠陥として誤検出される可能性がある。このような誤検出を適切に回避するように欠陥決定部６０Ｂは実質的にはプログラムで構成されている。つまり、この欠陥決定部６０Ｂは、所定数以内の画素数から構成される非連続の独立した画素領域を孤立点として検出して欠陥候補とする欠陥候補抽出部６３と、連続配置されたＬＥＤ素子３０ａの発光像を示す領域に含まれる欠陥候補を欠陥候補から除外する欠陥候補選別部６４と、この欠陥候補選別部６４で欠陥候補から除外された孤立点領域及び背景などの不要画像領域を統合して欠陥判定対象外領域としてマスク処理する画像マスク生成部６５と、画像マスク外に位置する複数の欠陥候補領域を識別するために異なる欠陥候補領域には異なるラベル（番号）を割り当てるラベリング処理を行うラベル設定部６６と、各ラベリングされた欠陥候補領域の面積を演算する面積演算部６７と、この面積演算部６７からの面積情報に基づいて欠陥候補を真の欠陥と判定して欠陥マップに書き込む欠陥判定部６８を備えている。欠陥候補選別部６４は、欠陥候補抽出部６３で抽出された欠陥候補を選別するために、撮像カメラ４から順次送られてくる画像から所定回数欠陥候補として抽出されているかどうかをチェックすることで突発的に生じる明領域を欠陥候補として認識することを防止する欠陥候補時系列判定部６４ａと、図６からよく理解できるように抽出された欠陥候補（孤立点）が連続している発光像の延長線上に位置しているからどうかをチェックすることで発光像の途切れ部を欠陥候補として認識することを防止する発光像非連続部探索部６４ｂを備えている。この発光像非連続部の探索は、連続する発光像画素を辿っていきながらその途切れ端の延長線領域に位置する暗領域を抽出する形状特徴抽出アルゴリズム等を用いて行うことが可能であり、この途切れ領域に存在する孤立点は欠陥候補から除外される。

このように構成された欠陥評価手段６による塗装面の欠陥評価の手順を図７のフローチャートを用いて以下に説明する。
まず、撮像カメラ４から画像入力部７を介して順次送られてくるフレーム画像をメモリ８に取り込む（＃０１）。取り込まれた入力画像は、輝度調整部６１によって輝度（濃度値）調整される（＃０２）。その際入力画像の特徴量が必要となるが、その特徴量は入力画像を所定の区画数で区画し、各区画毎に演算された濃度平均値の最大値を特徴量とすることが好ましい。この特徴量は次の２値化閾値の決定は撮像カメラ４のレンズ開口度の調整にも利用できる。２値化閾値決定部６２ａで２値化閾値が決定されるとともに（＃０３）、画像特徴抽出部６２ｂで画像の平滑化及びエッジ強調を行った後（＃０４）、この入力画像は２値化処理されて２値化画像となる（＃０５）。

２値化された入力画像から、陥候補抽出部６３によって、所定数以内（画像解像度等から予め決定される）の画素数からなる孤立した明画素領域が欠陥候補として抽出される（＃０６）。抽出された欠陥候補のうち外乱光等により瞬時的かつ局地的に生じる孤立点に属する欠陥候補は欠陥候補時系列判定部６４ａによって欠陥候補から除外され（＃０７）、さらに抽出された欠陥候補のうち発光像の途切れ領域に位置する孤立点に属する欠陥候補は発光像非連続部探索部６４ｂによって欠陥候補から除外される（＃０８）。

発光像非連続部探索部６４ｂによって見つけ出された発光像の途切れ領域を含むその周辺領域は、ホストコンピュータ１４から伝送される被検査物としての自動車ボディ１の形状情報やコンベヤ２による搬送位置情報に基づいて決定される被検査面としての塗装面以外の背景領域とともに不要画素領域として画像マスク生成部６５によってマスク処理される（＃０９）。なおこの実施形態では、ホストコンピュータ１４から得られる搬送位置情報は、実際の位置とは異なる可能があるので、レーザーセンサなどを用いてリアルタイムでの自動車ボディ１の位置ずれをチェックして、その画像マスクの位置を修正している（＃１０）。

このようにして欠陥候補の選別や背景画像の除去を終えた後、残されている欠陥候補（孤立点）をラベリングし（＃１１）、各ラベルを割り当てられた孤立点の面積を演算し（＃１２）、予め設定されている面積条件（閾値以上の面積をもつかどうか）を満たしている孤立点だけが真の欠陥として判定し（＃１３）、その座標位置及びサイズなどを欠陥マップに書き込む（＃１４）。

以上で欠陥評価手段６による塗装面の欠陥評価の手順は終了するが、この手順を通じて塗装面の検査が終わると、塗装面検査照合ステーションにおいて、ホストコンピュータ１４を介して表面欠陥検査装置のコントローラ５から送られてきた欠陥マップのうち、塗装面検査照合ステーションに搬入された自動車ボディのＩＤに一致するＩＤを付与されている欠陥マップを用いて、欠陥照合が行われる。

上述した実施形態の説明では、表面欠陥検査時における補助照明部３Ｂに属するＬＥＤ素子３０ｂの輝度調整には触れられていなかったが、撮像カメラ４を通じて取り込まれた画像データからその輝度分布を分析し、照明・撮像制御部９によって主照明部３Ａの左右に位置するそれぞれの補助照明部３Ｂに属するＬＥＤ素子３０ｂの輝度を独立的に調整して、表面欠陥評価に最適な画像データが得られるようにするとよい。

上述した実施形態では、補助照明部３は主照明部３Ａの左右に配置されていたが、補助照明部３を主照明部３Ａに組み込んで、例えば、主照明部３Ａに属するＬＥＤ素子３０ａに隣接させて又は暗面３１に補助照明部３Ｂに属するＬＥＤ素子３０ｂを点在させる構成を採用することも可能である。本発明において重要なことは、主照明部３Ａに属するＬＥＤ素子３０ａの照射光軸Ｉｘが撮像カメラ４のカメラ光軸Ｃｘと平行であるのに対して、補助照明部３Ｂに属するＬＥＤ素子３０ｂの照射光軸Ｉｘが撮像カメラ４のカメラ光軸に対して交差していることである。

本発明による表面欠陥検査装置の模式的に示す構成図検査ユニットの模式的に示す側面図主照明部と撮像カメラを示す模式図表面欠陥検査装置に実装されている欠陥評価手段の構成を示す機能ブロック図２値化された入力画像を説明する説明図発光像の途切れ部に存在する孤立点を説明する説明図欠陥評価手段による被検査面の欠陥評価の手順を示すフローチャート

符号の説明

３：照明部
３Ａ：主照明部
３Ｂ：補助照明部
４：撮像カメラ
５：コントローラ
６：欠陥評価手段
３０：発光素子（ＬＥＤ素子）
３０ａ：主照明部に属する発光素子（ＬＥＤ素子）
３０ｂ：補助照明部に属する発光素子（ＬＥＤ素子）
３１：暗面
Ｃｘ：カメラ光軸
Ｉｘ：照射光軸

Claims

複数の発光素子を有する照明部と、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラと、前記撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する欠陥評価手段とを備えた表面欠陥検査装置において、
前記照明部が、内側に所定形状の暗面を残すレイアウトパターンでかつその照射光軸が前記撮像カメラのカメラ光軸に対して平行となるように前記発光素子を配列している主照明部と、その照射光軸が前記撮像カメラのカメラ光軸に対して交差するように前記発光素子を配置している補助照明部とからなり、かつ前記補助照明部の発光素子の指向特性が前記主照明部の発光素子の指向特性より高いことを特徴とする表面欠陥検査装置。