JP2021139816A - ワークの表面検査装置、表面検査システム、表面検査方法及びプログラム - Google Patents

Abstract

【課題】ワークの表面欠陥の検出工程とゆず肌の検査を別工程で行うことによる効率の低下を防止することができるワークの表面検査装置等を提供する。【解決手段】表面欠陥の検出対象であるワーク１を、少なくとも一対の明部と暗部を有する明暗パターンの照明光で照明した状態で、ワーク１の検査範囲について撮像手段４により順次撮像された画像を取得する画像取得手段５２と、画像取得手段により取得された画像に基づいて表面欠陥の検出を行うとともに、検査範囲についての検査が終了するまで検出処理を繰り返す検出手段５３と、検査範囲についての検査が終了するまでに、検出手段５３による表面欠陥の検出処理と併行して、画像取得手段５２により取得された画像を用いてゆず肌の特徴量を算出する特徴量算出手段５４を備えている。【選択図】図１０

Description

この発明は、車体等のワークの表面欠陥を、撮像手段により撮像したときに得られた画像に基づいて検出するとともに、ワークのゆず肌の特徴量を算出するワークの表面検査装置、表面検査システム、表面検査方法及びプログラムに関する。

上記のように、車体の塗装面等のワークに対し照明装置により少なくとも一対の明暗パターンを照射した状態で、ワークの被測定部位についての複数の画像を撮像し、撮像された複数の画像を用いてワークの表面欠陥の検出を行う技術が、従来から知られている（例えば特許文献１）。車体の塗装面の表面欠陥としては、ブツと称されるような、塗装した塗膜に混入し既に固まった塗料やゴミ、ダレと称されるような、塗装材料が垂れて膨れたもの、ハジキと称されるような、塗料が均一に付着しないで反発され塗膜に部分的に生じた穴や凹み模様、あるいは表面に物体が接触して生じるキズ等がある。

このような表面欠陥は形状が急峻な凹凸となる。一方、表面欠陥ではないが、塗装面の表面にゆず肌と称される緩やかな凹凸が生じることがある。

照明装置により少なくとも一対の明部と暗部を有する明暗パターンを照射した状態で、表面欠陥を有するワークの被測定部位を撮像したときの画像には、照明パターンの明部と暗部に対応する明部と暗部が現れ、表面欠陥は明部であっても暗部であっても現れる。また、ゆず肌の凹凸は画像の明部と暗部の境界部分にまだら状に現れる。

そこで、上述した特許文献１では、ゆず肌を検出しないようにするために、画像の明部と暗部の境界部分にゆず肌マスクをかけることで、表面欠陥のみを検出している。

国際公開ＷＯ２０１８／２２１００６号公報

しかしながら、工場での自動車の塗装面の外観検査は、表面欠陥の検出のみではなく、ゆず肌の定量監視の検査も行われており、従来では、表面欠陥の検出とは独立した別工程でゆず肌の検査を行っており、このため外観検査工程が増え、効率が良くなかった。

なお、特許文献１には表面欠陥の検出については開示されているが、ゆず肌の検査については記載されていない。

この発明はこのような技術的背景に鑑みてなされたものであって、ワークの表面欠陥の検出工程とゆず肌の検査を別工程で行うことによる効率の低下を防止することができるワークの表面検査装置、表面検査システム、表面検査方法及びプログラムを提供することを目的とする。

上記目的は以下の手段によって達成される。
（１）表面欠陥の検出対象であるワークを、少なくとも一対の明部と暗部を有する明暗パターンの照明光で照明した状態で、前記ワークの検査範囲について撮像手段により順次撮像された画像を取得する画像取得手段と、前記画像取得手段により取得された画像に基づいて表面欠陥の検出を行うとともに、前記検査範囲についての検査が終了するまで検出処理を繰り返す検出手段と、前記検査範囲についての検査が終了するまでに、前記検出手段による表面欠陥の検出処理と併行して、前記画像取得手段により取得された画像を用いてゆず肌の特徴量を算出する特徴量算出手段と、を備えたことを特徴とするワークの表面検査装置。
（２）前記検出手段により検出される表面欠陥は、自動車の塗装外観の表面欠陥であり、前記特徴量算出手段により算出されるゆず肌の特徴量は、自動車の塗装外観のゆず肌の特徴量である前項１に記載のワークの表面検査装置。
（３）前記特徴量算出手段は、前記撮像手段で撮像され前記画像取得手段により取得された単画像を使用してゆず肌の特徴量を算出する前項１または２に記載のワークの表面検査装置。
（４）前記ゆず肌の特徴量は、前記単画像においてゆず肌が影響する範囲に関する特徴量である前項３に記載のワークの表面検査装置。
（５）前記ゆず肌の特徴量は、前記単画像における明暗の境目の歪みに関する特徴量である前項３に記載のワークの表面検査装置。
（６）前記特徴量算出手段は、前記撮像手段で撮像され前記画像取得手段により取得された、前記ワークと前記照明光の明暗パターンとの位置関係を相対的に変化させたときの複数の画像を合成した合成画像を使用して、ゆず肌の特徴量を算出する前項１または２に記載のワークの表面検査装置。
（７）前記特徴量算出手段により算出されたゆず肌の特徴量を、他装置に備えられた換算手段により異なるゆず肌特徴量に換算する前項１〜６のいずれかに記載のワークの表面検査装置。
（８）表面欠陥の検出対象であるワークを、少なくとも一対の明部と暗部を有する明暗パターンの照明光で照明した状態で、前記ワークの検査範囲を順次撮像する撮像手段と、前項１〜７のいずれかに記載のワークの表面検査装置と、を備えたことを特徴とする表面検査システム。
（９）前記検出手段により検出される表面欠陥は、自動車の塗装外観の表面欠陥であり、前記特徴量算出手段により算出されるゆず肌の特徴量は、自動車の塗装外観のゆず肌の特徴量である前項８に記載のワークの表面検査システム。
（１０）前記ワークに対し前記明暗パターンの照明光を相対的に移動させる移動手段を備え、前記撮像手段は、前記移動手段により、前記ワークに対して前記明暗パターンを相対的に移動させながら、前記ワークの検査範囲を順次撮像する前項８または９に記載のワークの表面検査システム。
（１１）表面欠陥の検出対象であるワークを、少なくとも一対の明部と暗部を有する明暗パターンの照明光で照明した状態で、前記ワークの検査範囲を撮像手段により順次撮像するステップと、前記撮像手段により撮像された画像を画像取得手段により取得する画像取得ステップと、前記画像取得ステップにより取得された画像に基づいて表面欠陥の検出を行うとともに、検査範囲についての検査が終了するまで検出処理を繰り返す検出ステップと、前記検査範囲についての検査が終了するまでに、前記検出ステップによる表面欠陥の検出処理と併行して、前記画像取得ステップにより取得された画像を用いてゆず肌の特徴量を算出する特徴量算出ステップと、を備えたことを特徴とするワークの表面検査方法。
（１２）前記検出ステップにおいて検出される表面欠陥は、自動車の塗装外観の表面欠陥であり、前記特徴量算出ステップにおいて算出されるゆず肌の特徴量は、自動車の塗装外観のゆず肌の特徴量である前項１１に記載のワークの表面検査方法。
（１３）前記表面欠陥が検出された塗装部分を修正する修正ステップを備え、前記特徴量算出ステップは塗装部分の修正後に修正部分に対して実行される前項１２に記載のワークの表面検査方法。
（１４）表面欠陥の検出対象であるワークを、少なくとも一対の明部と暗部を有する明暗パターンの照明光で照明した状態で、前記ワークの検査範囲について撮像手段により順次撮像された画像を取得する画像取得ステップと、前記画像取得ステップにより取得された画像に基づいて表面欠陥の検出を行うとともに、検査範囲についての検査が終了するまで検出処理を繰り返す検出ステップと、前記検査範囲についての検査が終了するまでに、前記検出ステップによる表面欠陥の検出処理と併行して、前記画像取得ステップにより取得された画像を用いてゆず肌の特徴量を算出する特徴量算出ステップと、をコンピュータに実行させるためのプログラム。
（１５）前記検出ステップにより検出される表面欠陥は、自動車の塗装外観の表面欠陥であり、前記特徴量算出ステップにより算出されるゆず肌の特徴量は、自動車の塗装外観のゆず肌の特徴量である前項１４に記載のプログラム。
（１６）前記特徴量算出ステップでは、前記撮像手段で撮像され前記画像取得ステップにより取得された単画像を使用してゆず肌の特徴量を算出する処理を前記コンピュータに実行させる前項１４または１５に記載のプログラム。
（１７）前記ゆず肌の特徴量は、前記単画像においてゆず肌が影響する範囲に関する特徴量である前項１６に記載のプログラム。
（１８）前記ゆず肌の特徴量は、前記単画像における明暗の境目の歪みに関する特徴量である前項１６に記載のプログラム。
（１９）前記特徴量算出ステップでは、前記撮像手段で撮像され前記画像取得ステップにより取得された、前記ワークと前記照明光の明暗パターンとの位置関係を相対的に変化させたときの複数の画像を合成した合成画像を使用して、ゆず肌の特徴量を算出する処理を前記コンピュータに実行させる前項１４または１５に記載のプログラム。

前項（１）、（８）及び（１１）に記載の発明によれば、表面欠陥の検出対象であるワークを少なくとも一対の明部と暗部を有する明暗パターンの照明光で照明した状態で、撮像手段により順次撮像されたワークの検査範囲についての画像が取得され、この取得された画像に基づいて表面欠陥の検出が行われるとともに、検査範囲についての検査が終了するまで検出処理が繰り返される。また、検査範囲についての検査が終了するまでに、表面欠陥の検出処理と併行して、画像取得手段により取得された画像を用いてゆず肌の特徴量が算出される。

このように、表面欠陥の検出処理と併行して特徴量の算出処理が行われるから、ワークの表面欠陥の検出工程とは全く独立した別工程でゆず肌の検査を行う必要はなくなり、その分、全体の検査工程の処理効率が良くなり処理時間が短くなる。また、従来では、ワークの表面欠陥の検出工程はワークの全数に対して行われ、ゆず肌の検査は一部のワークについて行われる場合があったが、表面欠陥の検出と併行して、取得された画像を用いてゆず肌の特徴量を算出することで、ゆず肌の検査もワークの全数について行うことができるようになり、品質の向上につながる。

前項（２）、（９）及び（１２）に記載の発明によれば、自動車の塗装外観の表面欠陥の検出と併行して、自動車の塗装外観のゆず肌の特徴量の算出を行うことができる。

前項（３）に記載の発明によれば、画像取得手段により取得された単画像を使用してゆず肌の特徴量が算出されるから、ゆず肌の特徴量の算出時間が短くて済む。

前項（４）に記載の発明によれば、ゆず肌の特徴量を、単画像においてゆず肌が影響する範囲に関する特徴量から算出する。

前項（５）に記載の発明によれば、ゆず肌の特徴量を、単画像における明暗の境目の歪みに関する特徴量から算出する。

前項（６）に記載の発明によれば、ワークと明暗パターンの照明光の位置関係を相対的に変化させたときの複数の画像を合成した合成画像を使用してゆず肌の特徴量を算出するから、精度の高い算出を行うことができる。

前項（７）に記載の発明によれば、算出されたゆず肌の特徴量を、他装置で異なるゆず肌特徴量に換算することができる。

前項（１３）に記載の発明によれば、表面欠陥が検出された塗装部分の修正後に、ゆず肌の特徴量の算出が行われる。

前項（１４）に記載の発明によれば、表面欠陥の検出対象であるワークを少なくとも一対の明部と暗部を有する明暗パターンの照明光で照明した状態で、ワークの検査範囲について撮像手段により順次撮像された画像を取得し、取得された画像に基づいて表面欠陥の検出を行うとともに、検査範囲についての検査が終了するまで検出処理を繰り返し、検査範囲についての検査が終了するまでに、表面欠陥の検出処理と併行して、取得された画像を用いてゆず肌の特徴量を算出する処理をコンピュータに実行させることができる。

前項（１５）に記載の発明によれば、自動車の塗装外観の表面欠陥の検出と併行して、自動車の塗装外観のゆず肌の特徴量を算出する処理を、コンピュータに実行させることができる。

前項（１６）に記載の発明によれば、画像取得ステップにより取得された単画像を使用してゆず肌の特徴量を算出する処理をコンピュータに実行させることができる。

前項（１７）に記載の発明によれば、ゆず肌の特徴量を、単画像においてゆず肌が影響する範囲に関する特徴量から算出する処理をコンピュータに実行させることができる。

前項（１８）に記載の発明によれば、ゆず肌の特徴量を、単画像における明暗の境目の歪みに関する特徴量から算出する処理をコンピュータに実行させることができる。

前項（１９）に記載の発明によれば、ワークと照明光の明暗パターンとの位置関係を相対的に変化させたときの複数の画像を用いてゆず肌の特徴量を算出する処理を、コンピュータに実行させることができる。

この発明の一実施形態に係るワークの表面検査システムの構成例を示す斜視図である。 図１の表面検査システムにおいて、照明装置の表示面に照明パターンを表示した状態を示す図である。 （Ａ）〜（Ｅ）は照明パターン例を示す図である。 （Ａ）〜（Ｃ）は他の照明パターン例を示す図である。 さらに他の照明パターン例を示す図である。 図１に示したワークの表面検査システムの変形例を示す斜視図である。 表面検査装置の構成を示すブロック図である。 図１に示したワークの表面検査システムによる表面検査方法の工程の一例を示すフローチャートである。 図１に示したワークの表面検査システムによる表面検査方法の工程の他の例を示すフローチャートである。 （Ａ）〜（Ｃ）は第１のゆず肌特徴量算出処理を説明するための図である。 第１のゆず肌特徴量算出処理を更に詳細に説明するための図である。 図１１の続きを示す図である。 （Ａ）〜（Ｃ）は第２のゆず肌特徴量算出処理を説明するための図である。 第２のゆず肌特徴量算出処理を更に詳細に説明するための図である。 図１４の続きを示す図である。 図１５のさらに続きを示す図である。 （Ａ）〜（Ｃ）は第３のゆず肌特徴量算出処理を説明するための図である。 第３のゆず肌特徴量算出処理を更に詳細に説明するための図である。 その他のゆず肌特徴量算出処理を説明するために用いるグラフである。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係るワークの表面検査システムの構成例を示す斜視図である。この実施形態では、ワーク１が車体であり、ワーク１の被測定部位が車体表面の塗装面であり、塗装面の表面欠陥を検出するとともに、塗装面のゆず肌の特徴量を算出する場合を示す。一般的に、車体表面は下地処理、メタリック塗装、クリア塗装等が施され、多層構造の塗膜層が形成されるが、塗装中の異物等の影響で最上層のクリア層に凹凸状の表面欠陥が生じる。表面欠陥としては、前述したように、ブツ、ダレ、ハジキ、キズ等がある。この実施形態では、このような表面欠陥の検出とゆず肌の特徴量の算出に適用されるが、ワーク１は車体に限定されることはなく、車体以外のワークであっても良い。また、被測定部位は塗装面以外の表面であっても良い。

この検査システムは、ワーク１を矢印Ｆ方向へ所定の速度で連続的に移動させる例えばコンベアからなるワーク移動機構２と、ワーク１の被測定部位を照明する照明装置３と、照明された被測定部位を撮像する撮像装置４と、撮像装置４で撮像された被測定部位の画像を取得して表面欠陥を検出するとともに、この検出処理と併行して、ゆず肌の特徴量の算出を行う表面検査装置５を備えている。

照明装置３は、表面欠陥の検出のために、少なくとも一対の明部と暗部を有する明暗パターンをワーク１の被測定部位に照射する必要がある。少なくとも一対の明部と暗部を有する明暗パターンを照射できる限りにおいて、照明装置３の種類は限定されない。照明装置３の一例としては、図２及び図３（Ａ）に示すように、ワーク１の移動方向において、面状発光部の一部を黒いマスクで被覆することにより、黒いマスクで被覆された暗部３２と被覆されない明部３１の一対のストライプパターンで被測定部位を照明するＬＥＤ照明装置等を挙げることができる。

なお、照明パターンは図２及び図３（Ａ）に示したものに限定されることはなく、図３（Ｂ）に示すように、明部３１と暗部３２が複数対存在するストライプパターンでも良いし、同図（Ｃ）に示すように、上下方向に明部３１と暗部３２のストライプパターンを形成した照明装置３であっても良い。

また、照明パターンはストライプパターンではなく市松パターンであっても良い。例えば図３（Ｄ）では、上下対角方向にそれぞれ明部３１と暗部３２を有する市松パターンの例を示し、同図（Ｅ）では、３個以上の明部３１と暗部３２を交互に並べた市松パターンの例を示している。

また、明部３１と暗部３２は等間隔あるいは等面積ある必要はなく、図４（Ａ）〜（Ｃ）に示すように、明部３１と暗部３２の間隔あるいは面積の少なくとも一方が異なっていても良い。

また、暗部３２の形成は、照明装置３の発光面の一部をマスクすることにより形成される必要はなく、例えば、図５に示すように、照明装置３で明部３１のみを形成し、照明装置３の周囲を暗部３２とすることにより、明暗パターンを形成しても良い。さらには、照明装置３の発光面の一部をマスクするのではなく、発光面の発光状態を変更することにより明部３１と暗部３２の照明パターンを形成しても良い。

また、図１の例では、ワーク１が移動装置２により連続的に移動する構成としたが、図 ６のように、ワーク１を固定とし、照明装置３を移動機構２により連続的に移動させる構成であっても良い。この場合、撮像装置４は照明装置３と共に移動しても良いししなくても良い。

また、ワーク１と照明装置３のいずれもが、異なる移動速度で移動することにより、一方が他方に対して相対的に移動していても良い。

また、照明装置３がＬＥＤ等のディスプレイパネルからなる場合、照明装置３を物理的に移動させることなく、表示面に表示した明暗パターンを表示面上でスクロールさせることにより、照明パターンとワーク１とを相対的に移動させても良い。

撮像装置４はＣＣＤカメラあるいはＣＭＯＳカメラであり、モノクロで画像を生成するカメラでもカラーで画像を生成するカメラでも良い。この実施形態では、照明装置３の明暗パターンとワーク１の少なくとも一方を移動させながら、撮像装置４は予め設定されたワーク１の検査範囲を所定の時間間隔で順次撮像する。

なお、撮像装置４の撮像動作、ワーク１または照明装置３の移動動作、照明装置３の照明パターンの制御などは、図示しない制御装置により行われる。あるいは表面検査装置５によって制御されても良い。

図７は、表面検査装置５の機能構成を示すブロック図である。表面検査装置５はパーソナルコンピュータからなり、ＣＰＵ等のプロセッサ、ＲＡＭ等のメモリ、ハードディスク等の記憶装置、表示装置５１その他のハードウェア及びソフトウェアを備えている。表面検査装置５はＣＰＵによる機能の一つとして、画像取得部５２、表面欠陥検出部５３、ゆず肌特徴量算出部５４等を備えている。

画像取得部５２は、検査範囲において撮像装置２により時系列で連続的に撮像され、撮像装置２から順次送信されてくる複数の画像を取得する。表面欠陥検出部５３は、画像取得部５２で取得された撮像装置４からの画像を基に表面欠陥を検出する。表面欠陥の検出は、検査範囲における検査が終了するまで繰り返される。表面欠陥の検出方法は、例えば特許文献１(国際公開ＷＯ２０１８／２２１００６号公報)に記載された方法その他の公知の方法を用いればよい。

ゆず肌特徴量算出部５４は、画像取得部５１で取得された画像を用いて、ワーク１の表面のゆず肌の特徴量を算出する。この特徴量の算出工程は、検査範囲についての検査が終了するまでに、表面欠陥検出部５３による表面欠陥の検出工程と併行して行われる。

表面欠陥検出部５３による表面欠陥の検出結果や、ゆず肌特徴量算出部５４によるゆず肌の特徴量の算出結果は、表示部５１に表示される。

図８は、図１に示したワークの表面検査システムによる表面検査方法の工程の一例を示すフローチャートである。

ステップＳ０１では、照明装置３により明暗パターンを照明しながら、ワーク１の検査範囲を撮像装置４で一定時間間隔にて順に撮影する。撮像された画像は表面検査装置５に送信され、ステップＳ０２で、画像取得部５２は送信されてきた画像を取得し、ステップＳ０３で、取得した画像を、ワーク１における画像の位置情報と関連付けて図示しないハードディスク装置等の記憶部に蓄積保存する。

次いで、ステップＳ０４で、全範囲撮像したかどうかを調べ、撮像していなければ（ステップＳ０４でＮＯ）、ステップＳ０１に戻り、撮像を続ける。全範囲撮像済みであれば（ステップＳ０４でＹＥＳ）、ステップＳ０５に進む。

ステップＳ０５では、表面検査装置５が保存した画像を順に読み出し、ステップＳ０６で、読み出した画像を用いて、表面欠陥検出部５３による表面欠陥の検出処理とゆず肌特徴量算出部５４によるゆず肌特徴量の算出処理を併行して行う。

ステップＳ０７では、全検査範囲を検査したかどうかを調べ、検査していなければ（ステップＳ０７でＮＯ）、ステップＳ０５に戻って次の画像を読み出し、同様にして、表面欠陥の検出処理とゆず肌特徴量の算出処理を行う。

ステップＳ０７で、全検査範囲を検査していれば（ステップＳ０７でＹＥＳ）、検査を終了する。

このように、この実施形態では、表面欠陥検出部５３による表面欠陥の検出処理と併行してゆず肌特徴量算出部５４によるゆず肌特徴量の算出処理が行われるから、ワーク１の表面欠陥の検出工程とは全く独立した別工程でゆず肌の検査を行う必要はなくなり、その分、全体の検査工程の処理効率が良くなり処理時間が短くなる。また、従来では、ワーク１の表面欠陥の検出工程はワーク１の全数に対して行われ、ゆず肌の検査は一部のワークについて行われる場合があったが、表面欠陥の検出と併行して、取得された画像を用いてゆず肌の特徴量を算出することで、ゆず肌の検査もワーク１の全数について行うことができるようになり、品質の向上につながる。

なお、表面欠陥の検出処理とゆず肌特徴量の算出処理を併行して行うとは、表面欠陥の検出処理とゆず肌特徴量の算出処理が同時に行われる場合に限らず、表面欠陥の検出処理とゆず肌特徴量の算出処理が交互に行われても良く、要は表面欠陥の検出処理とゆず肌特徴量の算出処理の両方がワーク１に対する１つの表面検査工程で行われれば良い。

また、表面欠陥の検出処理に用いた画像の全てに対して、ゆず肌特徴量の算出処理を行わなければならないものではなく、ゆず肌特徴量の算出処理の頻度を表面欠陥の検出処理の頻度よりも少なくしても良い。

図９は、図１に示したワークの表面検査システムによる表面検査方法の工程の他の例を示すフローチャートである。この例では、表面欠陥の検出処理を行ったあと、表面欠陥が検出された部位を再塗装等により修正した場合に、修正部分について表面欠陥の検出とゆず肌特徴量の算出とを行うものである。

ステップＳ１１では、表面欠陥が検出された部位を再塗装などにより修正したのち、ステップＳ１２で、照明装置３により明暗パターンを照明しながら、ワーク１の修正部分（検査範囲）を撮像装置４で順に撮影する。撮像された画像は表面検査装置５に送信され、ステップＳ１３で、画像取得部５２は送信されてきた画像を取得し、ステップＳ１４で、取得した画像を、ワーク１における画像の位置情報と関連付けて図示しないハードディスク装置等の記憶部に蓄積保存する。

次いで、ステップＳ１５で、全修正範囲を撮像したかどうかを調べ、撮像していなければ（ステップＳ１５でＮＯ）、ステップＳ１２に戻り、撮像を続ける。全修正範囲撮像済みであれば（ステップＳ１５でＹＥＳ）、ステップＳ１６に進む。

ステップＳ１６では、表面検査装置５が保存した画像を順に読み出し、ステップＳ１７で、読み出した画像を用いて、表面欠陥検出部５３による再度の表面欠陥検出処理と、ゆず肌特徴量算出部５４によるゆず肌特徴量の算出処理を併行して行う。

ステップＳ１８では、全修正範囲を検査したかどうかを調べ、検査していなければ（ステップＳ１８でＮＯ）、ステップＳ１６に戻って次の画像を読み出し、同様にして、表面欠陥の検出処理とゆず肌特徴量の算出処理を行う。

ステップＳ１８で、全修正範囲を検査していれば（ステップＳ１８でＹＥＳ）、検査を終了する。

このように、表面欠陥の検出部分を修正後の表面検査においても、表面欠陥検出部５３による表面欠陥の検出処理と併行してゆず肌特徴量算出部５４によるゆず肌特徴量の算出処理が行われる
図９のフローチャートに示した方法においても、表面欠陥の検出処理とゆず肌特徴量の算出処理が同時に行われも良いし、表面欠陥の検出処理とゆず肌特徴量の算出処理が交互に行われても良く、表面欠陥の検出処理とゆず肌特徴量の算出処理の両方がワーク１の修正部分に対する１つの表面検査工程で行われれば良い。

また、ゆず肌特徴量の算出処理の頻度を表面欠陥の検出処理の頻度よりも少なくしても良い。

また、図８及び図９に示した方法においては、撮像装置４で撮像され送信されてきた画像の全てを表面検査装置５に一旦保存蓄積し、撮像終了後に、撮像された画像を用いて表面欠陥の検出処理とゆず幅特徴量の算出処理を行う構成としたが、撮像装置４による撮像と、撮像された画像の取得と、表面欠陥の検出処理とゆず幅特徴量の算出処理を同時進行で行う構成であっても良い。

次に、ゆず肌の特徴量の算出方法について説明する。

［１］第１のゆず肌特徴量算出処理
この例では、１枚の撮影画像（単画像）からゆず肌の特徴量としてゆず肌が影響する範囲に関する特徴量を算出するものである。画像取得部５２で撮像装置４から取得された画像には、図１０に示すように照明装置３の明暗パターンに対応する明帯６と暗帯７のパターンが生じている。この明帯６と暗帯７の境目に発生するゆず肌出現域の幅（ゆず肌影響幅ともいう）Ｗ２を算出する。ワーク１の被測定部位の表面に曲率が存在すると、画像に映っている明帯６の幅である光帯幅Ｗ１が曲率によって変化し、それに伴ってゆず肌影響幅Ｗ２も比例して変化するので、ゆず肌影響幅Ｗ２／光帯幅Ｗ１の式にてゆず肌を規格化したものをゆず幅特徴量とする。

なお、この例では明暗パターンとして図３（Ｂ）に示す複数対のストライプタイプのパターンを採用している。以降の算出処理例においても同様である。

図１０（Ａ）〜（Ｃ）は、ゆず幅特徴量が異なる３種類のサンプルを示すもので、各図の左図はそれぞれ被測定部位の撮像画像であり、右図は左図の撮像画像の一部領域について横軸に明帯６と暗帯７の幅方向の位置を、縦軸に画素値（輝度）をそれぞれとったグラフである。図１０の例では、（Ａ）（Ｂ）（Ｃ）の順でゆず肌が少なくなっている。

つまり、光帯幅Ｗ１は各図で同一であるが、ゆず肌影響幅Ｗ２が（Ａ）（Ｂ）（Ｃ）の順で小さくなっており、ゆず肌影響幅Ｗ２／光帯幅Ｗ１の値も小さくなっている。

この処理を図１１を参照してより詳細に説明すると、単画像からなる元画像Ｇ１を、２値化処理した画像Ｇ２と、移動平均処理と２値化処理を順次実施した画像Ｇ３を作成する。移動平均処理と２値化処理を順次実施した画像Ｇ３については、光帯幅Ｗ１の算出に用いる。

次に、作成した上記２枚の画像の各画素について、画像Ｇ２から画像Ｇ３を減算することにより、画像Ｇ４を得る。この画像Ｇ４を更に移動平均処理して画像Ｇ５とし、画像Ｇ５を更に２値化処理して、図１２の左図に示す最終画像Ｇ６を得る。この画像Ｇ６において、黒塗りの部分がゆず肌出現域であり、その幅であるゆず肌影響幅Ｗ２を求める。

望ましくは、図１２の左図のように画像上で測定範囲Ｓ１を設定し、設定した測定範囲Ｓ１におけるゆず肌出現域でゆず肌影響幅Ｗ２を算出する。この場合、測定範囲Ｓ１内でのゆず肌影響幅Ｗ２の中央値、最頻値、平均値のいずれを測定範囲Ｓ１のゆず肌影響幅Ｗ２の代表値としてもよい。

一方、上述した画像Ｇ３においても同じ測定範囲Ｓ１を設定し、この測定範囲Ｓ１内で光帯幅Ｗ１を算出する。この場合、測定範囲Ｓ１内での光帯幅Ｗ１の中央値、最頻値、平均値のいずれを測定範囲Ｓ１の光帯幅Ｗ１の代表値としてもよい。

そして、算出したゆず肌影響幅の代表値Ｗ２と光帯幅の代表値Ｗ１から、ゆず肌影響幅Ｗ２／光帯幅Ｗ１を算出し、ゆず肌の特徴量とする。

［２］ 第２のゆず肌特徴量算出処理
この処理方法は、単画像の明部６と暗部７の境界の歪量からゆず肌を規格化したものをゆず肌特徴量とする。

図１３（Ａ）〜（Ｃ）は、ゆず幅特徴量が異なる３種類のサンプルを示すもので、各図の左図はそれぞれ被測定部位の撮像画像であり、右図は左図の撮像画像における１つの明部６とこの明部に隣接する暗部７との境界線８（白線で示す）を引いたものでありであり、境界線８の直線からのズレ量を定義する。（Ａ）（Ｂ）（Ｃ）の順で境界線８は直線からのズレ量が低下しており、ゆず肌が少なくなっている。

この処理をより詳細に説明すると、図１４に示す単画像からなる元画像Ｇ１１を、２値化処理した画像Ｇ１２と、移動平均処理と２値化処理を順次実施した画像Ｇ１３を作成する。

次に、２値化処理した画像Ｇ１２における暗帯７に生じている白い孔を黒塗り（Fill Holes）した画像Ｇ１４を生成し、更にこの画像の明部６と暗部７の境界の抽出処理（Outline処理）を行い、図１５に示す画像Ｇ１５を得る。そして、この画像Ｇ１５において判定領域Ｓ２を設定する。

一方、移動平均処理と２値化処理を順次実施した画像Ｇ１３に対して、明部６と暗部７の境界の抽出処理（Outline処理）を行い、図１５に示す画像Ｇ１６を得たのち、この画像においても画像Ｇ１７と同じ判定領域と２を設定する。

次に、境界抽出処理を行った２つの画像Ｇ１７及びＧ１８を用い、図１６（Ａ）のグラフに示すように、画像Ｇ１７に画像１８を、判定領域Ｓ２において重ね合わせる。図１６（Ａ）のグラフは横軸にＹ座標（明帯（光帯）６に対して平行方向）を、縦軸にＸ座標（明帯６に対して垂直方向）をそれぞれとったものである。

次に、図１６（Ａ）の重ね合わせ画像から、画像Ｇ１８とＧ１７との座標の差が大きい点を抽出すると、図１６（Ｂ）のグラフに示す波形になり、このグラフの波形を高速フーリエ変換（FFT）して、図１６（Ｃ）の波形を得る。そして、図１６（Ｃ）の波形の積分値を特徴量とする。この場合、全周波数エリアの積分値でも良いし、図１６（Ｄ）に示すように、区切った周波数のエリアにおける積分値でも良い。

［３］第３のゆず肌特徴量算出処理
この処理方法はワーク１の被測定部位について撮像した複数枚の画像を用いて、ゆず肌特徴量を算出するものである。

ワーク１及び照明装置３の明暗パターンの少なくともいずれかを相対的に移動させて、一定時間間隔で連続的に撮像した場合、ワーク１の被測定部位が順次移動する複数枚の画像が得られる。これら複数枚の画像に対して、照明装置３による明暗パターンのワーク１に対する相対的な移動分を補正した後、位相画像を作成することにより、ゆず肌の特徴量を算出する。

図１７（Ａ）〜（Ｃ）は、ゆず幅特徴量が異なる３種類のサンプルを示すもので、各図の左図は複数枚の画像の中の１枚の画像（単画像）であり、右図は複数枚の画像を合成した位相画像である。各位相画像内の四角で囲んだ測定範囲Ｓ１の標準偏差を調べると、（Ａ）では０．５５、（Ｂ）では０．３、（Ｃ）では０．０５であり、（Ａ）（Ｂ）（Ｃ）の順で標準偏差が小さくなっており、ゆず肌が少なくなっている。なお、ここでの標準偏差は照明装置３からの照明光に対する反射光の角度のばらつきに対応している。つまり、（Ａ）（Ｂ）（Ｃ）の順で反射角度のばらつきが小さくなっている。

この処理をより詳細に説明する。ワーク１の測定部位に対して照明装置３の明部３１と暗部３２のパターンが相対的に１周期移動する間に、撮像装置４が等間隔で７回の撮像を行い、図１８に一部を示すような７枚の画像Ｇ２１〜Ｇ２７が得られた場合、７枚の各画像Ｇ２１〜Ｇ２７について、明暗パターンのワーク１に対する相対的な移動分をまず補正する。

次に、同図に示すように、補正後の画像Ｇ３１を移動平均処理して画像Ｇ３２を得る。次いで、各画素について、画像Ｇ３１から移動平均処理した画像Ｇ３２を減算し、これを７枚の画像について行う。

そして、得られた７枚の画像から位相画像Ｇ３３を作成した後、測定範囲Ｓ１を設定し、測定範囲Ｓ１内の標準偏差を演算する。なお、標準偏差ではなく、分散、最大値、最小値等で特徴量を評価しても良い。

なお、位相画像Ｇ３３の作成方法は公知であり、例えば特許第５９９４４１９号公報や特許第６３１６０６８号公報に記載された方法を適用すれば良い。

［４］その他の処理
上記［１］［２］の単画像を用いた処理や｛３｝の複数画像の合成する処理で算出した特徴量を基に、現在市販されあるいは使用されているゆず肌測定機の測定値を算出しても良い。

たとえば、Rhopoint社製のTAMSという測定器のゆず肌測定値であるＱ値の場合、ゆず肌影響幅Ｗ２／光帯幅Ｗ１とＱ値との間に図１９のグラフに示すような関係がある。この関係性を利用し、ゆず肌影響幅Ｗ２／光帯幅Ｗ１の値から、測定器TAMSにおいてＱ値を予測算出できるようにしてもよい。

また、測定器TAMSのＱ値の算出方法において、［１］〜［３］で算出したゆず肌特徴量と、測定器TAMSのＱ値に関するデータを用意し、多変量解析を行うことで、予測値を算出できる仕組みを組み込んでも良い。さらに、ここでは測定器TAMSのＱ値を例に挙げているが、他の測定器の測定値においても同様の手法にて算出しても良い。

本発明は、例えば車体等のワークの表面検査として、表面欠陥の検出とゆず肌特徴量の算出を行う場合に利用可能である。

１ ワーク
２ 移動機構
３ 照明装置
４ 撮像装置
５ 表面検査装置
６ 明帯
７ 暗帯
８ 境界線
３１ 明部
３２ 暗部
５１ 表示部
５２ 画像取得部
５３ 表面欠陥検出部
５４ ゆず肌特徴量算出部

Claims (19)

1. 表面欠陥の検出対象であるワークを、少なくとも一対の明部と暗部を有する明暗パターンの照明光で照明した状態で、前記ワークの検査範囲について撮像手段により順次撮像された画像を取得する画像取得手段と、
   前記画像取得手段により取得された画像に基づいて表面欠陥の検出を行うとともに、前記検査範囲についての検査が終了するまで検出処理を繰り返す検出手段と、
   前記検査範囲についての検査が終了するまでに、前記検出手段による表面欠陥の検出処理と併行して、前記画像取得手段により取得された画像を用いてゆず肌の特徴量を算出する特徴量算出手段と、
   を備えたことを特徴とするワークの表面検査装置。
2. 前記検出手段により検出される表面欠陥は、自動車の塗装外観の表面欠陥であり、前記特徴量算出手段により算出されるゆず肌の特徴量は、自動車の塗装外観のゆず肌の特徴量である請求項１に記載のワークの表面検査装置。
3. 前記特徴量算出手段は、前記撮像手段で撮像され前記画像取得手段により取得された単画像を使用してゆず肌の特徴量を算出する請求項１または２に記載のワークの表面検査装置。
4. 前記ゆず肌の特徴量は、前記単画像においてゆず肌が影響する範囲に関する特徴量である請求項３に記載のワークの表面検査装置。
5. 前記ゆず肌の特徴量は、前記単画像における明暗の境目の歪みに関する特徴量である請求項３に記載のワークの表面検査装置。
6. 前記特徴量算出手段は、前記撮像手段で撮像され前記画像取得手段により取得された、前記ワークと前記照明光の明暗パターンとの位置関係を相対的に変化させたときの複数の画像を合成した合成画像を使用して、ゆず肌の特徴量を算出する請求項１または２に記載のワークの表面検査装置。
7. 前記特徴量算出手段により算出されたゆず肌の特徴量を、他装置に備えられた換算手段により異なるゆず肌特徴量に換算する請求項１〜６のいずれかに記載のワークの表面検査装置。
8. 表面欠陥の検出対象であるワークを、少なくとも一対の明部と暗部を有する明暗パターンの照明光で照明した状態で、前記ワークの検査範囲を順次撮像する撮像手段と、
   請求項１〜７のいずれかに記載のワークの表面検査装置と、
   を備えたことを特徴とする表面検査システム。
9. 前記検出手段により検出される表面欠陥は、自動車の塗装外観の表面欠陥であり、前記特徴量算出手段により算出されるゆず肌の特徴量は、自動車の塗装外観のゆず肌の特徴量である請求項８に記載のワークの表面検査システム。
10. 前記ワークに対し前記明暗パターンの照明光を相対的に移動させる移動手段を備え、
    前記撮像手段は、前記移動手段により、前記ワークに対して前記明暗パターンを相対的に移動させながら、前記ワークの検査範囲を順次撮像する請求項８または９に記載のワークの表面検査システム。
11. 表面欠陥の検出対象であるワークを、少なくとも一対の明部と暗部を有する明暗パターンの照明光で照明した状態で、前記ワークの検査範囲を撮像手段により順次撮像するステップと、
    前記撮像手段により撮像された画像を画像取得手段により取得する画像取得ステップと、
    前記画像取得ステップにより取得された画像に基づいて表面欠陥の検出を行うとともに、検査範囲についての検査が終了するまで検出処理を繰り返す検出ステップと、
    前記検査範囲についての検査が終了するまでに、前記検出ステップによる表面欠陥の検出処理と併行して、前記画像取得ステップにより取得された画像を用いてゆず肌の特徴量を算出する特徴量算出ステップと、
    を備えたことを特徴とするワークの表面検査方法。
12. 前記検出ステップにおいて検出される表面欠陥は、自動車の塗装外観の表面欠陥であり、前記特徴量算出ステップにおいて算出されるゆず肌の特徴量は、自動車の塗装外観のゆず肌の特徴量である請求項１１に記載のワークの表面検査方法。
13. 前記表面欠陥が検出された塗装部分を修正する修正ステップを備え、前記特徴量算出ステップは塗装部分の修正後に修正部分に対して実行される請求項１２に記載のワークの表面検査方法。
14. 表面欠陥の検出対象であるワークを、少なくとも一対の明部と暗部を有する明暗パターンの照明光で照明した状態で、前記ワークの検査範囲について撮像手段により順次撮像された画像を取得する画像取得ステップと、
    前記画像取得ステップにより取得された画像に基づいて表面欠陥の検出を行うとともに、検査範囲についての検査が終了するまで検出処理を繰り返す検出ステップと、
    前記検査範囲についての検査が終了するまでに、前記検出ステップによる表面欠陥の検出処理と併行して、前記画像取得ステップにより取得された画像を用いてゆず肌の特徴量を算出する特徴量算出ステップと、
    をコンピュータに実行させるためのプログラム。
15. 前記検出ステップにより検出される表面欠陥は、自動車の塗装外観の表面欠陥であり、前記特徴量算出ステップにより算出されるゆず肌の特徴量は、自動車の塗装外観のゆず肌の特徴量である請求項１４に記載のプログラム。
16. 前記特徴量算出ステップでは、前記撮像手段で撮像され前記画像取得ステップにより取得された単画像を使用してゆず肌の特徴量を算出する処理を前記コンピュータに実行させる請求項１４または１５に記載のプログラム。
17. 前記ゆず肌の特徴量は、前記単画像においてゆず肌が影響する範囲に関する特徴量である請求項１６に記載のプログラム。
18. 前記ゆず肌の特徴量は、前記単画像における明暗の境目の歪みに関する特徴量である請求項１６に記載のプログラム。
19. 前記特徴量算出ステップでは、前記撮像手段で撮像され前記画像取得ステップにより取得された、前記ワークと前記照明光の明暗パターンとの位置関係を相対的に変化させたときの複数の画像を合成した合成画像を使用して、ゆず肌の特徴量を算出する処理を前記コンピュータに実行させる請求項１４または１５に記載のプログラム。
    
    

Images