JP2017156097A - 塗装検査装置 - Google Patents

Abstract

【課題】 安価に塗装の良否を検査できる装置を提供する。【構成】 塗装検査装置は、物体表面にパターン光を投影し、カメラによりパターンを撮像し、物体に対するカメラの位置とカメラから物体表面までの距離をセンサにより測定する。照明部材、カメラ、及びセンサを作業者が手で持つに適した手持ち部材に取り付け、カメラからの画像を画像認識することにより、塗装の欠陥を検出する。【選択図】 図１

Description

この発明は自動車、電気製品等の塗装を検査する装置に関し、特に塗装の欠陥を検査する装置に関する。

特許文献１−３は、自動車の塗装欠陥の検査を説明している。塗装欠陥では、空気中の埃が塗膜に付着する、あるいは気泡が塗膜に生じることによる「ブツ」を検出する。また本来の塗装とは色が異なる個所から成る「異色」部を検出する。このような塗装検査は、塗装の外観不良の検査である。そして高級車と大衆車とでは、塗装の検査基準(検査対象とするブツのサイズ、異色部のサイズ)が異なり、また車体上の目立つ位置かどうかでも、検査基準は異なる。

塗装検査は、縞模様の照明で照らされたトンネル内を、コンベヤにより自動車を低速で移動させ、検査員が目視で欠陥を探し、欠陥個所にテープを貼る、などにより行われている。そして後の工程で、テープの位置で塗装を再検査し、塗装を手直しする。特許文献１−３は塗装検査の自動化を提案している。

特許文献１−３では、前記のトンネル内にアーチ型の検査装置を設置し、アーチの各部に縞状等の明暗のパターンを投光する光源とカメラとを配置する。そして明暗のパターンが投影された車体の塗装表面を撮像し、撮像した画像を平滑化し、例えば明暗のパターンからエッジ抽出用の閾値を作成して、エッジを抽出し、閾値以上の明度の変化を伴うエッジを塗装の欠陥とする。

このような塗装検査装置は高価である。また車体のフロントグリル付近とルーフとでは、アーチからの距離が異なり、フロントグリル、車体の尾部などアーチから離れた位置の塗装欠陥を検査するのは難しい。車体の断面形状は車種により様々であるが、アーチから車体表面までの距離を、大型車でも小型車でも同等に保つことは難しい。アーチの代わりに、例えば5軸、6軸の産業用ロボットのアームにパターン光源とカメラとを取り付けることも可能であるが、ロボットは高価である。なお塗装欠陥の検査は、自動車に限らず、電気製品、家具、コンピュータ等でも必要である。

JPH11-63959 JP2004-309439 JP2010-185820

この発明の課題は、塗装欠陥を検出できる安価な検査装置を提供することにある。

この発明は、塗装された物体表面に、パターン光を投影する照明部材と、
物体表面に投影されたパターンを撮像するカメラと、
カメラの絶対的な位置もしくは物体を基準とするカメラの相対的な位置、及びカメラと物体表面間の距離を測定するセンサと、
前記照明部材、前記カメラ、及び前記センサが取り付けられ、かつ作業者が手で持つに適した手持ち部材と、
前記カメラからの画像を画像認識することにより、塗装の欠陥を検出する画像認識手段と、
画像認識手段が検出した欠陥の位置を示すデータを出力する出力部とを有する、塗装検査装置にある。

この発明では、作業者が手持ち部材を操作し、物体表面を走査することにより、塗装の欠陥を検出する。そしてセンサにより物体とカメラとの距離を測定することにより、所定の距離で撮像し、あるいは距離の変動を画像認識手段等で補正できるようにする。またカメラの位置をセンサで測定し、検出した欠陥の位置を物体上の位置に変換できるようにする。このためカメラを取り付けたアーチもロボットも必要としない。

好ましくは、カメラと物体表面間の距離が所定値から外れると作業者に報知することにより、前記距離を所定値に、例えば所定値±許容範囲内に保つ。これによって距離の変動による検出感度の変動を防止できる。
特に好ましくは、物体上での位置に従って変化するように、前記所定値を記憶する記憶部を備えている。塗装欠陥への感度は、物体表面の目立つ位置では高く、そうでない位置では低くすることが好ましい。そこで物体上での位置に従ってカメラと物体表面との距離の所定値を変化させることにより、感度を変化させることができる。

また好ましくは、検査装置は、カメラからの複数の画像に対し、許容範囲内で物体の同じ位置に、塗装の欠陥を前記画像認識手段が検出した際に、出力部から欠陥の位置を出力する。このようにすると、塗装の欠陥とノイズとを識別できる。

好ましくは、検査装置は、投影されたパターンの歪みから、物体表面の歪みを検出するように構成されている。物体表面が歪んでいるとパターンも歪み、例えばこの歪み方を、正規の物体での歪みと比較することにより、プレス不良、傷、溶接不良などを検出できる。

実施例の塗装検査装置の形態を示す図 実施例でのヘッドの断面図 実施例でのヘッドの正面図 超音波センサによる距離の測定を示す図 実施例の塗装検査装置のブロック図 実施例での画像認識部のブロック図 車体に対する相対位置Ｐの検出アルゴリズムを示すフローチャート 車体との距離の制御アルゴリズムを示すフローチャート 塗装欠陥の検出アルゴリズムを示すフローチャート 表面からの距離によるブツの検出の変化を示す図

以下に最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。

図１〜図１０に、実施例の塗装検査装置２を示す。図１は検査装置２の使用環境を示し、４は自動車の車体表面で、塗装の検査対象であり、家電製品、外装建材、家具、什器、コンピュータ等を検査対象としても良い。５は棒状のアームで、カメラ１２と光源１０等を取り付けたヘッド６を先端に備え、基端に作業者が手で握ってアーム５を操作するためのグリップ８を備えている。アーム５の全長は例えば３０ｃｍ〜１.５ｍ程度である。

ヘッド６にはパターン光を投影する光源１０とカラー画像を撮像するカメラ１２と、車体表面４との距離ｄ及び車体表面４とヘッド６の光源１０側の面とが平行かどうかを確認する超音波センサ１３と、加速度センサ１４とを備えている。これ以外に超音波パルスを発射するビーコン等を設けても良い。光源１０等はヘッド６の一面に有り、他面に距離表示部１５が設けられ、車体表面４とヘッド６の間隔が適正か、またヘッド６が車体表面４と平行かを表示する。

グリップ８にはインターフェース１６が設けられ、作業者は、車体表面４の原点位置にカメラ１２が向き合っていること、車種、その他の情報を入力でき、必要に応じてディスプレイを設ける。ディスプレイに代えて、ヘッドフォンから作業者への指示を伝えるようにしても良い。

グリップ８からケーブル１７が伸び、プロセッサ２０に接続する。またアンテナ２１からコンベヤコントローラ２２等の外部のコントローラと通信し、ブツの位置、異色部の位置、及び車体表面４の歪み、傷の有無等を出力し、可能であれば車体の位置、車種等の情報をコントローラ２２から入手する。コントローラ２２への出力は補修工程のコントローラ２３等へ転送され、検出した塗装欠陥を再検査し、補修する。なお検査装置２の電源はケーブル１８等から入手する。２５は絶対位置(車体を基準としない３次元位置)が既知の原点で、ヘッド６を原点２５に接触させたことを、インターフェース１６から入力し、ヘッド６の絶対位置を修正する。原点２５は設けなくても良い。

図２、図３はヘッド６の構造を示し、光源１０はＬＥＤアレイ２６からの白色光を拡散板２７で均一な輝度のビームに変換し、パターン２８から投光する。カメラ１２は例えば図３のように光源１０の側部に配置するが、光源１０の付近にあればよい。また距離表示部１５とカメラ１２とは、ヘッド６の反対の面にある。２９はアーム５のケース、３７はケーブルである。

図４は車体表面４とカメラ１２との距離ｄの測定を示し、超音波センサ１３から超音波パルスを発射し、車体表面４で反射されてセンサ１３に戻るまでの時間から、距離ｄを測定する。ヘッド６の光源１０の面を車体表面４に平行にし、またカメラ１２の視野中心線が車体表面４に対し垂直であることが好ましい。車体表面４が図４の２点鎖線のように傾斜すると、超音波は半鏡面である車体表面４で超音波センサ１３から離れる方向に反射し、センサ１３での超音波の受信強度が低下する。このようにして、距離ｄを測定し、ヘッド６が車体表面４と平行かを確認し、距離表示部１５に表示し、作業者により距離ｄを適正にし、かつヘッド６を車体表面４と平行に保たせる。なお超音波センサ１３の代わりに他のカメラを設けて、車体表面４のパターンを撮像しても、距離ｄを測定でき、かつ光源１０等が車体表面４に平行かを検査できる。

図５に、検査装置の構成を示す。図中、車体モデル記憶部３２と位置認識部３４は例えばプロセッサ２０に、加速度センサ１４〜ビーコン３１は例えばヘッド６に設ける。加速度センサ１４はヘッド６の３次元空間での加速度を測定し、これを積分して速度とし、速度を積分して位置とすることにより、ヘッド６の３次元空間での絶対位置を推定する。ビーコン３１をヘッド６に設けると、ビーコン３１から無指向性の超音波パルスを発射し、車体を搬送するトンネル内に設けた複数の受信端末での受信時刻の分布から、絶対的な位置を測定できる。なおこの明細書で、絶対的な位置は車体を基準としない３次元空間での位置を、相対的な位置は車体を基準とする３次元空間での位置を表す。ビーコン３１と受信端末を設ける場合、コストが必要であるが、ヘッド６の絶対位置を正確に測定できるので、例えば超音波センサ１３を省略することも可能である。超音波センサ１３はヘッド６の傾きも検出するので、超音波センサ１３が無い場合、投影したパターンを撮像した画像でのパターンの形状から、傾きを検出する。

車体モデル記憶部３２は、車種毎に車体の表面形状と、車体の各部に対する距離ｄの適正値とを記憶する。車種はコントローラ２２からのデータに従って定めても、あるいはインターフェース１６からの入力に従って定めても良い。表面形状は、例えば表面の３次元座標と表面に対する法線の方向とで表す。

塗装検査では、車体のボンネット、ドア付近など目立つ場所では小さな欠陥も見逃さず、ルーフ及び車体の下部ではやや大きな欠陥のみを検出するように、目立つ場所では厳しい検査を、目立たない場所では緩やかな検査を行う。欠陥を検出する閾値を車体での位置に応じて変更するため、厳しい検査を行う位置では距離ｄの適正値を小さく、緩やかな検査を行う位置では距離ｄの適正値を大きくする。図１０に示すように、距離ｄによって欠陥の検出感度が変化し、距離ｄの適正値を車体での場所に応じて変化させることにより、欠陥の検出感度を場所に応じて変化させる。

位置認識部３４は、車体に対するヘッドの相対的な位置を認識し、画像認識部３０が推定した車体に対する相対位置Ｐ１、加速度センサ１４により推定した絶対位置Ｐ２、ビーコン３１により求めた絶対位置Ｐ３、原点２５にセットした際の絶対位置Ｐ４、パターンの歪み具合と車体表面の形状との比較及び車体のパーツ形状等により推定した相対位置Ｐ５、等により、ヘッドの相対的な位置を認識する。なお複数の曖昧さを伴う入力から、位置等を推定する手法は周知である。これ以外にコンベヤのコントローラ等から、車体の位置を入力して、位置の推定精度を向上させても良い。なお検査結果の出力では、車体に対する欠陥の相対位置ではなく、欠陥の絶対位置と検出時刻とを出力しても良い。コンベヤでの車体の搬送速度と位置は既知で、絶対位置と時刻とが分かれば、車体表面での位置に後工程で変換できる。

図６は画像認識部３０の構成を示し、カメラ１２はＲＧＢ画像を例えば毎秒３０枚等の割合で撮像し、平滑化部４０は画像を平滑化し、平滑化部４０は設けなくても良い。ブツ検出部４１は、ブツがパターンのエッジと重なるとエッジが変形してコーナーが生じることから、ブツを検出する。これはブツによりパターンが歪むことを利用した検出で、コーナーの検出にはFAST(Feature from Accelerated Segment Test)、Harris等の任意のコーナー検出アルゴリズムを利用できる。コーナーを検出することにより、高感度にブツを検出できる。そして検出したコーナーの内で、投影したパターンのエッジとエッジとが交わるコーナーは検出対象から除くようにする。このためには、例えばパターンのエッジを抽出し、エッジの交点付近で発見したコーナーを削除する。なおコーナーの検出に代えて適応２値化等を用いても、あるいは特許文献１−３のようにエッジを検出しても良く、ブツの検出アルゴリズム自体は任意である。

異色検出部４２では、RGB空間での色座標が周囲と異なる場所が有り、その場所の周囲の色座標がほぼ一様であると、異色部として検出する。RGB空間での検出に代えて、色相が周囲と異なる場所を検出しても良い。ブツも異色部も、周囲とは異なる孤立した領域であるため、ノイズとの区別が難しい。ブツと異色部の車体表面上の位置をメモリ４４に記憶させ、車体表面上の同じ位置(推定位置の精度内での同じ位置)で、ブツあるいは異色部を再検出するか否かを確認部４５で確認し、確認したブツと異色部を車体表面上での位置Ｐと共に出力する。

パターンを投影するので、その歪み具合から車体表面の法線分布を測定でき、車体形状のモデルと比較すると、車体表面上の推定位置Ｐ５を求めることができる。また車体表面上の位置での法線の分布と、パターンから求めた法線分布とを比較すると、車体表面の歪み(正規の形状からの歪み)、傷等を検出できる。

これらのデータをコンベヤコントローラ等に出力する。検査の精度が不足する場合、外部への出力前に作業者が欠陥を確認できるように、距離表示部１５で欠陥の検出を表示するなどの処理をしても良い。

図７−図９に塗装検査のアルゴリズムを示し、図７は車体に対する位置Ｐ(ｔ)の推定を示す。車体の特徴的な位置を撮像し、車体までの距離を測定すると、車体を基準とする相対位置の初期値が判明する(ステップ１，２)。以降は加速度センサの信号を２回積分すると共に、カメラの画像から車体に対する位置を推定し、車体を搬送するコンベヤの速度を加味して位置Ｐ(ｔ)を更新する(ステップ３，４)。カメラの画像に、パーツの境界等の特徴が現れると、相対位置を推定できる。またパターンから求めた車体表面の傾き(法線の分布)等からも現在位置を推定できる。他の情報が得られる場合、それも加味して相対位置を推定する。

図８は、距離ｄの制御アルゴリズムを示す。超音波センサにより、車体表面までの距離ｄ(ステップ１１)と、ヘッドと車体表面との間の傾き(ステップ１２)とを検出する。距離ｄが適正で無い場合はその旨を表示し、ヘッドが傾いている場合もその旨を表示し(ステップ１３，１４)、アームを操作して修正させる。

図９は塗装検査(欠陥の検出)のアルゴリズムを示し、ステップ２１でカメラにより車体表面を撮像して必要に応じて平滑化し(ステップ２１，２２)、コーナーからブツを検出し、投影したパターンの次のエッジが車体表面の同じ位置を通過する際等に、コーナーを再検出するかどうかを確認する(ステップ２３，２４)。また色相が不連続に変化する場所の存在等から異色部を検出し、車体表面の同じ位置で異色部を再検出するかどうかを確認する(ステップ２５，２６)。これらによってノイズと、ブツ及び異色部とを識別できる。

図１０は、塗装表面との距離ｄによる、塗装欠陥（ブツ）の検出結果の違いを示し、距離ｄを3cmから9cmの範囲で変化させ、欠陥の検出条件は一定とした。黒い点が欠陥を検出した位置で、他に投影したパターンが見えている。距離ｄを小さくすると感度が増し、即ちより小さな欠陥を検出できるようになり、距離ｄを大きくすると感度は低下し、より大きな欠陥のみを検出するようになった。なお「異色部」の検出でも、距離ｄを変えることにより、感度を調整できる。これらのことから、目標とする距離ｄを車体上の位置に応じて変更することにより、ブツ等の検出感度を調整できることが分かる。

実施例では、車体表面上の位置に応じて、距離ｄを修正するように作業者に指示し、塗装欠陥への感度を調整する。この代わりに、画像認識部３０で、ブツ及び異色部への検出閾値を、車体表面上の位置に応じて、調整しても良い。しかし距離ｄを調整する方が容易である。ブツの検査は、明度の画像で行っても、RGBのいずれかの成分の画像で行っても良い。コーナー検出ではブツの検出精度が不足する場合、ブツによるパターンの歪みをエッジ抽出により検出するなどの処理を追加すればよい。

２ 塗装検査装置
４ 車体表面
５ アーム
６ ヘッド
８ グリップ
１０ 光源
１２ カメラ
１３ 超音波センサ
１４ 加速度センサ
１５ 距離表示部
１６ インターフェース
１７，１８，３７ ケーブル
２０ プロセッサ
２１ アンテナ
２２ コンベヤコントローラ
２３ 補修工程のコントローラ
２５ 原点
２６ ＬＥＤアレイ
２７ 拡散板
２８ パターン
２９ ケース
３０ 画像認識部
３１ ビーコン
３２ 車体モデル記憶部
３４ 位置認識部
４０ 平滑化部
４１ ブツ検出部
４２ 異色検出部
４３ 歪み検出部
４４ メモリ
４５ 確認部
ｄ 距離
Ｐ 車体を基準とする相対位置

Claims (5)

1. 塗装された物体表面に、パターン光を投影する照明部材と、
   物体表面に投影されたパターンを撮像するカメラと、
   カメラの絶対的な位置もしくは物体を基準とするカメラの相対的な位置、及びカメラと物体表面間の距離を測定するセンサと、
   前記照明部材、前記カメラ、及び前記センサが取り付けられ、かつ作業者が手で持つに適した手持ち部材と、
   前記カメラからの画像を画像認識することにより、塗装の欠陥を検出する画像認識手段と、
   画像認識手段が検出した欠陥の位置を示すデータを出力する出力部とを有する、塗装検査装置。
2. カメラと物体表面間の距離が所定値から外れると作業者に報知することにより、前記距離を所定値に保つように構成されていることを特徴とする、請求項１の塗装検査装置。
3. 物体上での位置に従って変化するように、前記所定値を記憶する記憶部を備えていることを特徴とする、請求項２の塗装検査装置。
4. 前記カメラからの複数の画像に対し、許容範囲内で物体の同じ位置に、塗装の欠陥を前記画像認識手段が検出した際に、前記出力部から欠陥の位置を出力するように構成されていることを特徴とする、請求項１〜３のいずれかの塗装検査装置。
5. 投影されたパターンの歪みから、物体表面の歪みを検出するように構成されていることを特徴とする、請求項１〜４のいずれかの塗装検査装置。