JP2014066657A - 自動車車体の表面検査装置および表面検査方法 - Google Patents

Abstract

【課題】照明のむら等の影響を回避して線状の微細傷等の外観不良（欠陥）を正確に検出することができ、検査精度および検査結果の信頼性の向上を図った表面検査装置を提供する。
【解決手段】検査対象となる車両１の車体側面部１ａである塗装面をカメラ３２で撮像し、主制御装置５の傷検出部１２での画像処理により傷を抽出してこれを外観不良として検出する。傷検出部１２では取得した画像をもとにマスター画像として外観不良のない良品画像を作成し、その良品画像と元画像との差分処理により上記塗装面における傷Ｑを抽出してこれを外観不良として検出する。
【選択図】図６

Description

本発明は、生産された自動車の最終外観検査を行う自動車車体の表面検査装置および表面検査方法に関し、特に自動車生産ラインで生産された自動車の車体外板面である塗装面における微細傷等の外観不良の有無を検査する表面検査装置および表面検査方法に関する。

自動車生産ラインで生産された自動車の外観検査は多くの場合に人の目による目視検査として行われているが、自動検査の一環として例えば特許文献１に記載されているように、塗装面における微細傷等の外観不良（表面欠陥）部位の検出を目的とした画像処理による表面検査装置が提案されている。

特許文献１に記載された表面検査技術では、自動車車体の塗装面に特定パターンの照明光を照射し、車体と撮像カメラとを相対移動させながらその照明光照射部位を撮像カメラにて撮像し、取り込んだ画像に対して画像補正、二値化処理、画像マスク等の処理を行った上で微細傷等の欠陥検出を行い、特に画像に含まれる高輝度領域を欠陥候補として判定するようになっている。なお、特許文献１にきわめて関連する技術として、特開２００４−１９１０７０号公報および特開２００４−１９１０７１号公報がある。

特許第４３１５８９９号公報

しかしながら、特許文献１に記載された技術では、曲率変化の大きい部位と曲率変化の小さい部位とが混在または併存する自動車車体の特殊性が十二分に考慮されておらず、検査精度および検査結果の信頼性の向上の上でなおも改善の余地を残している。

すなわち、特許文献１に記載された技術では、曲率変化の多い形状部位にある傷等の欠陥に着目した場合、同形状部位に対する照明光の映り込み形状が想定以上に大きく変化してしまうことから、いわゆる照明のむら画像のために照明光の連続点探索機能および画像マスク処理機能が十分に機能せず、同形状部位にある傷等の欠陥を適格に抽出できないおそれがある。

また、画像として捉えた特定パターンの照明光による照射部位の中に特定パターン以外の画像が発生した場合、同発生部位が既定の面積内にあるか否かを判定し、既定の面積内であれば傷等の欠陥として検出する方式であるため、照明に反射した塗装のフレーク（メタリック塗装の塗膜に含まれるアルミニウム等のフレーク状の粒子）のほか、例えばサイドミラーやドアアウトサイドハンドル等の外装部品、さらにはドアの隙間（ドアパーティング部）等のエッジまでも欠陥として誤検出してしまうおそれがある。

さらに、フェンダーやサイドステップ部等のように曲率変化が非常に大きな部位では照明光が十分に当たらないため、例えば同部位での傷発生部位が陰とならず、撮像画像内に欠陥として捉えることができにくいことがある。

本発明はこのような課題に着目してなされたもので、照明のむら等の影響を回避して線状の微細傷等の外観不良（欠陥）を正確に検出することができ、しかも外装部品のエッジ等の誤検出を低減して、検査精度および検査結果の信頼性の向上を図った自動車車体の表面検査装置および表面検査方法を提供するものである。

本発明は、検査対象となる自動車車体の塗装面を撮像した上で画像処理手段により上記塗装面における傷を抽出してこれを外観不良として検出するにあたり、上記画像処理手段では取得した画像をもとにマスター画像として外観不良のない良品画像を作成し、その良品画像と元画像との差分処理により上記塗装面における傷を抽出してこれを外観不良として検出するようにしたものである。

本発明によれば、照明のむら等の影響を受けることなく、線状の微細傷等を局所的な外観不良として定量的に且つ正確に検出することができ、塗装面の検査精度および検査結果の信頼性が向上する。また、車体色の違いによる影響を最小限にすることが可能である。

本発明に係る自動車車体の表面検査装置を実施するためのより具体的な形態を示す図で、装置全体の概略説明図。 図１に示した最終検査ライン２車両１の移動方向後方側から見た図。 図１の車両周りの要部斜視図。 図１に示した主制御装置の概略的なシステムブロック図。 図１に示した主制御装置でのおおまかな処理手順を示すフローチャート。 傷の抽出のためのより詳細な処理手順を示すフローチャート。 図６における差分処理の原理を示す説明図。

図１〜７は本発明に係る自動車車体の表面検査装置を実施するためのより具体的な形態を示し、特に図１は装置全体の概略構造を示している。ここでの表面検査装置は、製造された車両（自動車）１のうち前後のドア、フロントフェンダおよびリアフェンダを含む車体側面部１ａの塗装面の外観検査（表面検査）として、特にその車体側面部１ａに発生しがちな線状の微細な傷の検出を目的としている。

図１に示すように、自動車生産ラインにおける最終検査ライン２では、コンティニアスタイプのスラットコンベア３に載せられた複数の車両１が所定速度で移動していて、この最終検査ライン２のラインサイドに撮影機器ユニット４が設置されている。この撮影機器ユニット４には後述する照明装置２９，３０，３１や撮像手段として複数の工業用のカメラ３２等が搭載されていて、この撮影機器ユニット４に主制御装置５のほか制御盤６および出力機器部７等がそれぞれ付帯している。なお、図１では片側の撮影機器ユニット４のみ図示しているが、最終検査ライン２をはさんで左右対称となるように撮影機器ユニット４が対向配置されている。

主制御装置５は、いわゆる外観不良あるいは表面欠陥の抽出のための画像処理ソフトウェアが予めインストロールされたパーソナルコンピュータを主要素として構成されていて、この主制御装置５はコンベア速度演算部８、撮影制御部９、車種認識部１０、画像入力部１１、画像処理手段としての傷検出部１２、画像連結部１３、検査表作成部１４および出力部１５等で構成されている。

上記コンベア速度演算部８にはスラットコンベア３における駆動系のコンベアエンコーダ１６からの信号が入力されるようになっており、これによってカメラ３２による車体側面部１ａの撮影開始タイミングがコントロールされる。また、最終検査ライン２における搬入始端部側の天井部には車両情報読み取り手段としてコードリーダ１７が設置されている。このコードリーダ１７は車両１のフロントガラスに添付された作業指示カード１８の例えばバーコード情報を読み取って該当する車両１の車両情報を取得して、これを車種認識部１０に出力する。なお、上記バーコード情報に代えてＱＲコード（登録商標）情報を用いることも可能である。

さらに、主制御装置５の出力側には出力機器部７の各機器としてモニタ１９、プリンタ２０およびデータサーバー２１等が接続されている。そして、主制御装置５での画像処理結果を自動車一台ごとにモニタ１９に表示したり、プリンタ２０で印刷することができるとともに、画像処理結果のデータを車種情報とともにデータサーバー２１に記録・蓄積するようになっている。

制御盤６は、照明制御部２２、モータ制御部２３、安全制御部２４およびライン制御部２５等から構成されていて、外部のライン制御盤２６と協調しながら、主として撮影機器ユニット４に搭載された照明装置２９，３０，３１やカメラ３２と車両１との車幅方向での相対位置決め制御を司っている。

図２は図１に示した最終検査ライン２を車両１の移動方向後方側から見た図を、図３は図１の車両１周りの要部斜視図をそれぞれ示していて、最終検査ライン２の左右のラインサイドに二台の撮影機器ユニット４が対向配置されている。各撮影機器ユニット４はいずれも定位置固定式の架台２７に対して車幅方向にスライド可能なラック２８を搭載したもので、このラック２８に複数台（ここでは３台）の照明装置２９，３０，３１と複数台のカメラ３２を設置してあるとともに、非接触式のセンサとして光電センサ３３と測距センサ３４を設けてある。架台２７の底部には例えば電動モータとボールねじとの組み合わせからなる電動アクチュエータ３５が設けられており、この電動アクチュエータ３５の作動によりラック２８が進退移動可能、すなわちラック２８が車幅方向にスライド移動可能となっている。なお、図２ではその錯綜化を避けるために６台のカメラ３２を図示しているが、実際には図３に示すように車体上下方向に合計８台のカメラ３２が並設される。なお、当然ことながら、上記複数台のカメラ３２の数は一例にすぎず、その台数は特に限定されない。また、カメラ３２としてはモノクロタイプ、カラータイプのいずれもが使用可能である。

上記光電センサ３３は、ビームｂ１を下向きに照射して複数のカメラ３２による撮影エリアに検査対象となる車両１が在席している否かを判定するためのものである。また、測距センサ３４はビームｂ２を車体側面部１ａに照射して各カメラ３２と検査対象となる車両１との相対距離が規定の距離となるように制御するためのものである。上記のように複数のカメラ３２による撮影エリアに検査対象となる車両１が在席していることを条件に、測距センサ３４からのセンサ出力をフィードバック信号として上記電動アクチュエータ３５の作動のもとにラック２８がスライド移動し、もって各カメラ３２と検査対象となる車両１（車体側面部１ａ）との相対距離が規定の距離となるように制御されることになる。

各ラック２８に搭載された３台の照明装置２９〜３１のうち車体側面部１ａの中央部の照明装置３０は、図３に示すように、波長の安定性が高く且つ照射範囲の広い汎用の蛍光灯照明機器３０ａと拡散板３０ｂとを組み合わせて比較的大型の面光源として機能させるようにしたもので、蛍光灯照明機器３０ａからの照射光を拡散板３０ｂにて拡散させ、照射むらのない平行な照射光を車体側面部１ａのうち特に鉛直部に均一に照射するように考慮してある。

その一方、ラック２８に搭載された３台の照明装置２９〜３１のうち上下の照明装置２９，３１は、いずれも光の直線性が高い白色のＬＥＤバー照明機器２９ａ，３１ａと拡散板２９ｂ，３１ｂとを組み合わせて面光源として機能させるようにしたもので、ＬＥＤバー照明機器２９ａ，３１ａからの照射光を拡散板２９ｂ，３１ｂにて拡散させ、照射むらのない平行な照射光を車体側面部１ａのうち特にドアウエスト部とサイドシル部に均一に照射するように考慮してある。そして、ドアウエスト部を照射するための上方の照明装置２９は、その照射光を平行光とするために車体側面部１ａとの距離を比較的大きく確保する一方、車体下部のサイドシル部を照射するための下方の照明装置３１は、サイドシル部がとかく影となりやすいために車体側面部１ａとの距離を他の照明装置２９，３０に比べて極端に小さくしてある。これにより、車体側面部１ａのうちドアウエスト部からサイドシルまでの範囲に均等に各照明装置２９〜３１からの照射光が照射されることになる。同時に、各カメラ３２は車体側面部１ａからの正反射光を撮影することになる。

ここで、照明光として蛍光灯または白色ＬＥＤを採用しているのは、次のような理由による。検査対象となる車体の塗装色には複数色があるため、本来、検出精度を高める上では、車体の塗装色ごとに照明光の波長を変更することが好ましい。しかしながら、その場合には照明装置のコストアップが余儀なくされるため、本実施の形態では、複数の車体塗装色に対応するべく、幅広い波長成分をもつ蛍光灯または白色ＬＥＤを採用している。これにより、車体塗装色ごとに照明光を変える必要がなくなる。

また、各ラック２８に搭載された８台のカメラ３２はＣＣＤあるいはＣＭＯＳタイプのいわゆる二次元の固体撮像素子タイプのもので、車体側面部１ａでの各照明装置２９〜３１による照射部位のうち高さ方向において互いに異なる領域を撮像するべく車体上下方向に沿って一列に並設されている。そして、図２，３から明らかなように、複数台の照明装置２９〜３１と複数台のカメラ３２は、車体側面部１ａにおける上下方向での曲率形状を考慮し、車両１の正面視または背面視において当該車体側面部１ａの曲率形状に倣わせて配置してある。これにより、車体側面部１ａからの正反射光を複数台のカメラ３２で同時に且つ車体全長分を撮影することが可能となる。ここで、上記の複数台のカメラ３２としてモノクロタイプのものを想定しているが、必要に応じてカラータイプのものであっても良い。

つまり、最終検査ライン１上を所定速度で移動する車両１に対してその車体側面部１ａを指向させた複数台のカメラ３２を固定とした状態で撮影（撮像）を行うことで、それぞれのカメラ３２で撮影（撮像）部位を分担しながら車体側面部１ａの全長を撮影（撮像）することが可能となっている。ここでは、最終検査ライン１上での車両１の移動量を算出し、所定距離だけ移動したことが確認されたならば、複数のカメラ３２を同時に起動させて撮影を開始するものとし、かかる動作を車両全長分が完了するまで繰り返すことになる。

図４は図１に示した装置における主制御装置５の概略的なシステムブロック図を示している。

同図に示すように、各カメラ３２の初期化と諸元情報の読み込み（ステップＳａ１）に続いて、コードリーダ１７で読み取った車両情報とともに各カメラ３２のスタート情報を取得する（ステップａ２）。この後、全てのカメラ３２で同時撮影を開始し、後述するように車体側面部１ａである塗装面での傷検出のためのロジックが実行される（ステップａ３）。そして、各カメラ３２の撮影画像をフォルダに保存した後（ステップａ４）、車両１の移動量を図１のコンベアエンコーダ１６からの信号をもとに算出し、車両１が所定距離だけ移動して指定した位置に到達したならば次の撮影に移行する（ステップａ５）。

このようなステップａ２からステップａ５までの処理は、車両１全体（全長）の撮影が完了するまで繰り返される。この後、図１の検査表作成部１４では塗装面での傷検出結果が車両一台分ごとにまとめられ、複数のカメラ３２での撮影画像が結合されるとともに、その傷検出結果（画像処理結果）が図１のモニタ１９およびプリンタ２０に出力される（ステップａ６）。プリンタ２０では画像結合された車両側面の画像がハードコピーである検査表３６（図２および図４参照）としてそのままプリントされ、傷検出部位には所定のマーキングＭが重ね描きされる。このハードコピーは例えば次工程での作業者による再検査あるいは塗装手直しの際に使用される。

ここで、上記傷検出のための画像処理だけに着目すれば、その処理手順は図５のステップＳ１〜ステップＳ８のとおりとなり、さらに、より詳細には、図５のステップＳ５は図６のとおりとなる。本実施の形態では、輝度値補正または画素値補正（モノクロカメラのグレースケール画像の場合は輝度値、カラー画像の場合は画素値とする）と平滑化処理後の画像を元画像との差分処理によるいわゆる常時キャリブレーション機能を付加しているところに大きな特徴がある。

図１の主制御装置５の画像処理手段たる傷検出部１２では、図６のステップＳ１１において、最初に各カメラ３２の撮影画像を取り込む。この場合において、カメラ３２がカラータイプである場合には、ステップＳ１１の処理として、原画像をもとにＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）の各入力光成分を入力する。

次のステップＳ１２では、入力光成分選択として、原画像のＲ、Ｇ、Ｂ成分のうち微細な線傷等の検出に用いる入力光成分を選択・抽出し、グレースケール画像に変換する。原画像は入力光成分ごとに異なる情報を持っているため、微細な線傷等の検出に最適な入力光成分を選択・抽出する必要があるためである。

次のステップＳ１３では、輝度値補正または画素値補正を含むコントラスト補正と明度補正の各処理を実行する。ここでは、画像の輝度値または画素値の平均値、中央値を算出し、輝度値補正または画素値補正を含むコントラスト補正処理として、取得した画像の輝度値または画素値のヒストグラムをもとに輝度値または画素値の平均が一定となるように補正する。これは照明光のむらや車体色の違いによる影響を最小限にするため、各入力画像の輝度値または画素値の平均値が一定になるように補正するものである。すなわち、車体の塗装色ごとに画像処理パラメータを設定する必要性をなくすために、入力光成分を選択した後の画像において、任意の基準値に輝度値または画素値の分布の中央値または平均値が合致するように、撮影画像の輝度値または画素値の分布を補正する。これにより、照明光の反射率が異なる車体塗装色において、同一パラメータでの処理が可能となる。

同時に、入力画像ごとの画像の明度を補正する。これは撮影画像ごとの明度の差が後述する微細な線傷等の判定における２値化の閾値設定に影響を与えるため、各入力画像の画素値平均値が一定になるように補正するものである。

ステップＳ１４では、上記のような輝度値または画素値の補正を含むコントラスト補正後の画像に対しフィルタによる平滑化処理、例えばメディアンフィルタによる平滑化処理を施し、傷などの局所的な小領域を除去したりぼかしたりすることで擬似的にマスター画像として良品画像を作成する。このメディアンフィルタによる平滑化処理では、局所的な輝度値または画素値が低いあるいは高い画像の輝度値または画素値を周囲の輝度値または画素値に揃える効果があり、傷などの局所的な不良を除去した良品相当の画像を推定できるほか、照明のむら等の緩やかな画素の輝度値または画素値の変化を保持することができる特徴がある。

次のステップＳ１５では、図７に示すように、作成した良品画像と元画像（輝度値または画素値の補正後の画像）との差分処理を実行し、塗装面における微細な線状の傷Ｑのみを外観不良または表面欠陥として抽出する。この差分処理では照明のむら等の影響を受けることなく傷などの局所的な不良のみを抽出することができ、かかる処理を取得した画像ごとに常時行うものとする。そして、次のステップＳ１６では、輝度値または画素値に基準値を設けて明暗２値化処理する。

図６のステップＳ１７では特徴点の連結成分抽出（ラベリング）を行い、特徴点の連結成分を抽出するべく、先の２値化処理により抽出された領域の連続している領域（連結成分）、すなわち画像に含まれている微細傷または浅い線状の傷らしき領域を抽出する。

次のステップＳ１８では、一次特徴量抽出としてノイズ除去と領域膨張処理を行う。ノイズ除去は、微細傷または浅い線状の傷以外の小さな領域をノイズとみなして面積閾値で除去する。また、領域膨張処理は指定した面積（ピクセル数）内の領域量を抽出し、抽出した領域を膨張（拡大）させる。すなわち、本来連続した領域として抽出されるべき微細傷または浅い線状の傷などの欠陥がかすれて点列化されているものに対して、各々膨張させて重ね合わせることにより、一つの領域に拡張化する。

さらに、ステップＳ１９では、二次特徴量抽出として、指定した面積（ピクセル数）内の領域を抽出し、図７の傷Ｑの判定を行う。すなわち、ステップＳ１９では、距離変換を前提とした骨格抽出を行うとともに、面積閾値の上下の値により、領域の小さいものをノイズとして、領域の大きいものを他の部品のエッジなどとして除去することにより、微細傷または浅い線状の傷などの欠陥を抽出して、図７の傷Ｑの判定を行う。つまり、２値化処理後の微細傷または浅い線状の傷などの欠陥候補領域を、領域面積、形状、領域の平均画素値から、傷かどうかの判定を行う。

ここで、先に述べたように、差分処理後の画像を２値化処理し、傷などの欠陥または不良箇所を抽出するが、ごく浅い傷は途切れた点として抽出されるため、傷Ｑと判定できないこともある。そこで、上記のように２値化処理後の結果を膨張させることにより、ごく浅い傷Ｑも連続した領域として抽出することができる。その一方、抽出した領域には傷Ｑ以外の他の部品などのエッジ部分も含まれてしまうおそれがある。そこで、傷Ｑなどの小領域とそれ以外の領域とを区別するため、抽出領域が指定した面積（ピクセル数）内のものであるか否かを判定し、例えば塗装フレークのような小領域や、他部品のエッジなどの大領域をカットすることで、誤検出を低減し、傷Ｑに基づく外観不良または表面欠陥のみを正確に抽出することが可能となる。

言い換えるならば、図６の一連の処理では、曲率変化の大きな面にある傷Ｑなどの局所的な不良を強調する効果のほか、照明のむら等による緩やかな濃淡の変化を除去する効果が期待できるため、特定のパターンを登録することなく、曲率変化の多い形状に発生した傷Ｑも検出可能となり、また他部品のエッジなどの影響を受けることがなくなることで誤検出を低減することが可能となる。

また、図２，３に示したように、車体側面部１ａの曲率に倣わせて照明装置２９〜３１や複数のカメラ３２を配置してあるため、曲面形状部位に適切に照明装置２９〜３１からの照明光を照射できるため、同部位における傷等の外観不良または表面欠陥を正確に検出することが可能となる。

さらに、上記実施の形態によれば、照明光を白色とし、入力光の成分を選択することにより、車体色の相違に対してよりロバスト性を確保できるほか、コントラスト補正により照明のむら等にも容易に対応することができるとともに、同一パラメータの利用が可能となる。

１…車両
１ａ…車体側面部（塗装面）
４…撮影機器ユニット
５…主制御装置
１２…傷検出部（画像処理手段）
２９…照明装置（照明手段）
３０…照明装置（照明手段）
３１…照明装置（照明手段）
３２…カメラ（撮像手段）
Ｑ…傷

Claims (5)

1. 検査対象となる自動車車体の塗装面を撮像した上で画像処理により上記塗装面における傷を抽出してこれを外観不良として検出する装置であって、
   検査対象となる自動車車体の塗装面に対して照明光を照射する照明手段と、
   上記自動車車体と相対移動することにより上記塗装面のうち照明光による照射部位を撮像する撮像手段と、
   上記撮像手段が捉えた画像を入力として画像解析を行って、上記塗装面における傷を抽出してこれを外観不良として検出する画像処理手段と、
   を備えていて、
   上記画像処理手段は、取得した画像をもとにマスター画像として外観不良のない良品画像を作成し、その良品画像と元画像との差分処理により上記塗装面における傷を抽出してこれを外観不良として検出するものであることを特徴とする自動車車体の表面検査装置。
2. 上記元画像は取得した画像に対して前処理として輝度値補正を施した画像であり、上記良品画像は元画像に対してフィルタによる平滑化処理を施した画像であることを特徴とする請求項１に記載の自動車車体の表面検査装置。
3. 上記画像処理手段は上記差分処理後の画像を２値化処理した上で、領域膨張処理と抽出領域面積指定処理とを行って、塗装面の傷を外観不良として抽出するものであることを特徴とする請求項２に記載の自動車車体の表面検査装置。
4. 上記照明手段は自動車車体の高さ方向をカバーするように当該車体の側面に対して照明光を照射する面光源タイプのものであるとともに、
   上記撮像手段は自動車車体の高さ方向において互いに異なる領域を撮像するべく当該車体の高さ方向に沿って複数個並設されていて、
   上記照明手段および複数の撮像手段は自動車車体の正面視または背面視において当該車体の側面の形状に倣わせて配置してあることを特徴とする請求項１〜３のいずれか一つに記載の自動車車体の表面検査装置。
5. 検査対象となる自動車車体の塗装面を撮像した上で画像処理により上記塗装面における傷を抽出してこれを外観不良として検出する方法であって、
   検査対象となる自動車車体の塗装面に対して照明光を照射して当該塗装面のうち照明光の照射部位を撮像手段にて撮像する工程と、
   上記撮像手段が捉えた画像を入力として画像解析を行って、上記塗装面における傷を抽出してこれを外観不良として検出する画像処理工程と、
   を含んでいて、
   上記画像処理工程では、取得した画像をもとにマスター画像として外観不良のない良品画像を作成し、その良品画像と元画像との差分処理により上記塗装面における傷を抽出してこれを外観不良として検出するものであることを特徴とする自動車車体の表面検査方法。

Images