JP2021056183A - ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム - Google Patents

Abstract

【課題】小さな表面欠陥を高精度で安定して検出することができるワークの表面欠陥検出装置等を提供する。【解決手段】表面欠陥の検出対象であるワークに対し照明装置による明暗パターンを相対的に移動させた状態で、ワークの被測定部位についての複数の画像を取得し、各画像に対する二値化処理と閾値の適用により、またはコーナー検出関数の適用により、画像の特徴点を抽出し、各特徴点に対し多次元の特徴量を求め仮欠陥候補を抽出する。仮欠陥候補が抽出された複数の画像のうち、仮欠陥候補が対応する画像が予め設定された閾値以上存在すれば、仮欠陥候補を欠陥候補として決定する。決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成し、作成された合成画像に基づいて欠陥検出を行う。【選択図】図１１

Description

この発明は、表面欠陥の検出対象である車体等のワークを相対的に移動させながら、明暗パターンの照明光をワークの塗装面等の被測定部位に照射した状態で、被測定部位を撮像手段により連続的に撮像したときに得られた複数の画像に基づいて、表面欠陥の検出を行うワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラムに関する。

上記のように、車体等のワークを相対的に移動させながら、ワークの被測定部位を撮像手段により連続的に撮像することにより、ワークの表面欠陥の検出を行う技術として、特許文献１及び２が知られている。しかし、これらの特許文献に記載された技術では、撮像手段により得られた画像を用いた具体的な欠陥検出アルゴリズムについては記載されていない。
一方、特許文献３には、時系列的に撮像された複数枚の画像を処理し、それぞれの画像から抽出された欠陥候補点の移動状態に基づいて欠陥を検出することによって、精度の高い欠陥検出を可能とする被検査面の欠陥検査方法が提案されている。具体的には、 被検査面１を、その撮像部位Ａが時間の経過と共に移動するように移動させ、任意の時刻ごとに撮像手段２からの画像を入力し、この入力した互いに撮像時刻の異なる２枚の画像のそれぞれから欠陥候補点Ｂを抽出し、後に撮像された画像の欠陥候補点Ｂの周囲に誤差範囲を設定し、前に撮像された画像の欠陥候補点Ｂを被検査面又は撮像手段の移動距離に応じて移動させ、その誤差範囲内に存在する欠陥候補点の内、この移動後の欠陥候補点Ｂに最も近い欠陥候補点をマッチ候補とし、以上の処理を時系列的に撮像された複数の画像に対して行い、所定回数以上マッチ候補として挙がった欠陥候補点Ｂを前記被検査面１上に存在する欠陥であると決定する、というものである。

米国特許第７６３９３４９号公報 米国特許出願公開第２０１７／０２７７９７９号公報 特許第３１５６６０２号公報

しかしながら、特許文献３に記載の検査方法は、基本的には単画像に基づく処理のため情報量が不足しており、小さな表面欠陥を十分な精度で判別できないという問題がある。

この発明はこのような問題を解決するためになされたものであって、小さな表面欠陥を高精度で安定して検出することができるワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラムを提供することを目的とする。

上記目的は以下の手段によって達成される。
（１）表面欠陥の検出対象であるワークを照明装置及び撮像手段に対して相対的に移動させながら、前記照明装置による明暗パターンの照明光で前記ワークの被測定部位を照明した状態で、前後の撮像において撮像範囲の大部分が重なるようにワークの被測定部位を連続的に撮像する前記撮像手段から、前記ワークの被測定部位の位置が移動方向に連続的にずれた複数の画像を取得する画像取得手段と、前記画像取得手段により取得された各画像に対する、二値化処理と閾値の適用によって、またはコーナー検出関数の適用によって、画像の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された各特徴点に対し多次元の特徴量を求めることにより、仮欠陥候補を抽出する仮欠陥候補抽出手段と、欠陥候補抽出手段により抽出された仮欠陥候補の座標を求めるとともに、仮欠陥候補が抽出された画像に後続する複数の画像のそれぞれに対して、前記仮欠陥候補の座標がどの座標に移動するかを演算して推定座標を求める座標推定手段と、前記後続する各画像において、前記座標推定手段により演算された推定座標とその画像における仮欠陥候補とが対応するかどうかを判定し、前記後続する画像のうち、推定座標と仮欠陥候補とが対応する画像が、予め設定された閾値以上存在すれば前記仮欠陥候補を欠陥候補として決定する欠陥候補決定手段と、前記欠陥候補決定手段により決定された欠陥候補毎に、該欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像からなる推定領域画像群を作成する画像群作成手段と、前記画像群作成手段により作成された推定領域画像群に基づいて欠陥検出を行う検出手段と、を備えたことを特徴とするワークの表面欠陥検出装置。
（２）前記画像取得手段により取得された各画像を二値化し、輪郭抽出した上で、所定回数の膨張及び収縮を行った画像を引き算して、画像における明暗パターンの境界部分を除去するマスクを作成するゆず肌マスク作成手段を備え、前記特徴点抽出手段は、前記ゆず肌マスク作成手段により作成されたマスクを適用した後の各画像の特徴点を抽出する前項１に記載のワークの表面欠陥検出装置。
（３）前記仮欠陥候補抽出手段は、前記特徴点抽出手段によって抽出された各特徴点に対し、周囲の特定範囲の全画素について、当該画素からの縦横斜め全方向の輝度勾配情報を基に多次元の特徴量を求めることにより仮欠陥候補を抽出する前項１又は２に記載のワークの表面欠陥検出装置。
（４）前記欠陥候補決定手段は、前記複数の画像のうち、仮欠陥候補の位置が対応する画像が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する前項１〜３のいずれかに記載のワークの表面欠陥検出装置。
（５）前記仮欠陥候補の位置は仮欠陥候補の座標で表され、前記仮欠陥候補抽出手段により抽出された仮欠陥候補の座標を求めるとともに、仮欠陥候補が抽出された画像に後続する複数の画像のそれぞれに対して、前記仮欠陥候補の座標がどの座標に移動するかを演算して推定座標を求める座標推定手段を備え、前記欠陥候補決定手段は、前記後続する各画像において、前記座標推定手段により演算された推定座標とその画像における仮欠陥候補とが対応するかどうかを判定し、前記後続する画像のうち、推定座標と仮欠陥候補とが対応する画像が、予め設定された閾値以上存在すれば前記仮欠陥候補を欠陥候補として決定する前項４に記載のワークの表面欠陥検出装置。
（６）前記欠陥候補決定手段により決定された欠陥候補毎に、該欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像群を作成する画像群作成手段を備え、前記画像合成手段は、欠陥候補毎に、前記画像群作成手段により作成された複数の推定領域画像を合成して合成画像を作成する前項１〜５のいずれかに記載のワークの表面欠陥検出装置。
（７）表面欠陥の検出対象であるワークに対して、明暗パターンの照明光を照射する照明装置と、前記照明装置による照明光の前記ワークの被測定部位からの反射光を撮像する撮像手段と、前記ワークに対し前記照明装置による明暗パターンを相対的に移動させる移動手段と、前記移動手段により、前記ワークに対して前記照明装置の明暗パターンを相対的に移動させながら、前記ワークの被測定部位を撮像するように、前記撮像手段を制御する制御手段と、前項１〜６のいずれかに記載のワークの表面欠陥検出装置と、を備え、前記画像取得手段は、前記撮像手段から前記ワークの被測定部位についての複数の画像を取得することを特徴とするワークの表面検査システム。
（８）表面欠陥の検出対象であるワークに対し照明装置による明暗パターンを相対的に移動させた状態で、前記ワークの被測定部位についての複数の画像を取得する画像取得ステップと、前記画像取得ステップにより取得された各画像に対する、二値化処理と閾値の適用によって、またはコーナー検出関数の適用によって、画像の特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップによって抽出された各特徴点に対し多次元の特徴量を求めることにより、仮欠陥候補を抽出する仮欠陥候補抽出ステップと、前記仮欠陥候補抽出ステップにより仮欠陥候補が抽出された複数の画像のうち、仮欠陥候補が対応する画像が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する欠陥候補決定ステップと、前記欠陥候補決定ステップにより決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成する画像合成ステップと、前記画像合成ステップにより作成された合成画像に基づいて欠陥検出を行う検出ステップと、をワークの表面欠陥検出装置が実行することを特徴とするワークの表面欠陥検出方法。
（９）前記画像取得ステップにより取得された各画像を二値化し、輪郭抽出した上で、所定回数の膨張及び収縮を行った画像を引き算して、画像における明暗パターンの境界部分を除去するマスクを作成するゆず肌マスク作成ステップを備え、前記特徴点抽出ステップでは、前記ゆず肌マスク作成ステップにより作成されたマスクを適用した後の各画像の特徴点を抽出する前項８に記載のワークの表面欠陥検出方法。
（１０）前記仮欠陥候補抽出ステップでは、前記特徴点抽出ステップによって抽出された各特徴点に対し、周囲の特定範囲の全画素について、当該画素からの縦横斜め全方向の輝度勾配情報を基に多次元の特徴量を求めることにより仮欠陥候補を抽出する前項８又は９に記載のワークの表面欠陥検出方法。
（１１）前記欠陥候補決定ステップでは、前記複数の画像のうち、仮欠陥候補の位置が対応する画像が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する前項８〜１０のいずれかに記載のワークの表面欠陥検出方法。
（１２）前記仮欠陥候補の位置は仮欠陥候補の座標で表され、前記仮欠陥候補抽出ステップにより抽出された仮欠陥候補の座標を求めるとともに、仮欠陥候補が抽出された画像に後続する複数の画像のそれぞれに対して、前記仮欠陥候補の座標がどの座標に移動するかを演算して推定座標を求める座標推定ステップを備え、前記欠陥候補決定ステップでは、前記後続する各画像において、前記座標推定ステップにより演算された推定座標とその画像における仮欠陥候補とが対応するかどうかを判定し、前記後続する画像のうち、推定座標と仮欠陥候補とが対応する画像が、予め設定された閾値以上存在すれば前記仮欠陥候補を欠陥候補として決定する前項１１に記載のワークの表面欠陥検出方法。
（１３）前記欠陥候補決定ステップにより決定された欠陥候補毎に、該欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像群を作成する画像群作成ステップを備え、前記画像合成ステップでは、欠陥候補毎に、前記画像群作成ステップにより作成された複数の推定領域画像を合成して合成画像を作成する前項８〜１２のいずれかに記載のワークの表面欠陥検出方法。
（１４）前項８〜１３のいずれかに記載のワークの表面欠陥検出方法をコンピュータに実行させるためのプログラム。

前項（１）（７）及び（８）に記載の発明によれば、撮像手段から取得されたワークの被測定部位の位置が連続的にずれた複数の画像から仮欠陥候補が抽出され、抽出された仮欠陥候補の座標が求められる。仮欠陥候補が抽出された画像に後続する複数の画像のそれぞれに対して、仮欠陥候補の座標がどの座標に移動するかを演算して推定座標が求められ、この推定座標とその画像における仮欠陥候補とが対応するかどうかが判定され、後続する画像のうち、推定座標と仮欠陥候補とが対応する画像が、予め設定された閾値以上存在すれば仮欠陥候補が欠陥候補として決定される。そして、決定された欠陥候補毎に、欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像からなる推定領域画像群が作成されるとともに、作成された推定領域画像群に基づいて欠陥検出が行われる。

つまり、欠陥候補が含まれている複数の推定領域画像には、１つの欠陥候補について複数の情報が含まれているから、より多くの情報を用いて欠陥判別を行うことができる。このため、小さな表面欠陥であっても、過検出、誤検出を抑制しながら高精度で安定した検出を行うことができる。

しかも、仮欠陥候補の抽出は、まず画像取得手段により取得された各画像に対する、二値化処理と閾値の適用によって、またはコーナー検出関数の適用によって、画像の特徴点を抽出し、抽出された各特徴点に対し多次元の特徴量を求めることにより行われるから、欠陥部位が強調されて仮欠陥候補の抽出を精度良く行うことができる。

しかも、特許文献２に記載されたような、融合された画像に対してそれぞれ異なる複数の変換処理を実施する必要もない。

前項（２）及び（９）に記載の発明によれば、画像取得手段により取得された各画像を二値化し、輪郭抽出した上で、所定回数の膨張及び収縮を行った画像を引き算して、画像における明暗パターンの境界部分を除去するゆず肌マスクを作成し、この作成されたマスクを適用した後の各画像の特徴点が抽出されるから、仮欠陥候補の抽出をさらに精度良く行うことができる。

前項（３）及び（１０）に記載の発明によれば、抽出された各特徴点に対し、周囲の特定範囲の全画素について、当該画素からの縦横斜め全方向の輝度勾配情報を基に多次元の特徴量を求めることにより、仮欠陥候補を抽出できるから、仮欠陥候補の抽出をさらに精度良く行うことができる。

前項（４）及び（１１）に記載の発明によれば、複数の画像のうち、仮欠陥候補の位置が対応する画像が予め設定された閾値以上存在すれば、仮欠陥候補が欠陥候補として決定される。

前項（５）及び（１２）に記載の発明によれば、抽出された仮欠陥候補の座標が求められ、仮欠陥候補が抽出された画像に後続する複数の画像のそれぞれに対して、仮欠陥候補の座標がどの座標に移動するかを演算して推定座標が求められ、この推定座標とその画像における仮欠陥候補とが対応するかどうかが判定され、後続する画像のうち、推定座標と仮欠陥候補とが対応する画像が、予め設定された閾値以上存在すれば仮欠陥候補が欠陥候補として決定されるから、複数の画像のうち、仮欠陥候補の位置が対応する画像が予め設定された閾値以上存在するかどうかを確実に判定することができる。

前項（６）及び（１３）に記載の発明によれば、欠陥候補が含まれている複数の画像から切り出された複数の推定領域画像を１つの画像に合成し、この合成画像に基づいて欠陥検出が行われるから、欠陥検出に必要な領域のみを合成することができ、高精度な欠陥検出を行うことができる。

前項（１４）に記載の発明によれば、欠陥候補が含まれている複数の画像を１つの画像に合成し、この合成画像に基づいて欠陥を検出する処理をコンピュータに実行させることができる。

この発明の一実施形態に係るワークの表面検査システムの構成例を示す平面図である。 ワークの進行方向前方から見たときの照明フレームの垂直断面図である。 ワークの進行方向前方から見たときのカメラフレームの垂直断面図である。 図１に示したワークの表面検査システムにおける電気的な構成を示す平面図である。 ワークの表面欠陥検査システム全体の処理を示すフローチャートである。 （Ａ）は１台のカメラから時系列で連続的に取得された画像、（Ｂ）は（Ａ）の最初の画像に対する後続画像において仮欠陥候補の座標を推定した状態を示す図、（Ｃ）は推定領域画像群の各画像を重ね合わせて合成画像を作成する処理を示す図、（Ｄ）は推定領域画像群の各画像を重ね合わせて合成画像を作成する他の処理を示す図である。 推定領域画像の中心座標を、画像における明帯部と暗帯部の境界から欠陥候補の位置に応じて補正する処理を説明するための図である。 （Ａ）〜（Ｄ）は、推定領域画像群の各画像を異なる態様で重ね合わせて合成画像を作成する処理を示す図である。 仮欠陥候補の抽出処理の一例を説明するための図である。 欠陥検出ＰＣで実行される第１の表面欠陥検出処理の内容を示すフローチャートである。 図１０のステップＳ１７のマッチング処理をより詳細に説明するためのフローチャートである。 図１０のステップＳ１７のマッチング処理の変形例を説明するためのフローチャートである。 図１０のフローチャートのステップＳ１２〜Ｓ１８の詳細を示すフローチャートである。 欠陥検出ＰＣで実行される第２の表面欠陥検出処理を示すフローチャートである。 図１４のフローチャートのステップＳ１２〜Ｓ１８の詳細を示すフローチャートである。 第３の表面欠陥検出処理を説明するための図で、連続的に時系列で取得される複数（この例では２枚）の画像を示す図である。 ワーク（車体）の位置と像面変位量の関係の一例を示すグラフである。 欠陥検出ＰＣで実行される第３の表面欠陥検出処理の内容を示すフローチャートである。 図１８のフローチャートのステップＳ３２〜Ｓ４０の詳細を示すフローチャートである。 標準偏差画像の作成処理を示すフローチャートである。 明暗パターンの照明を行う照明装置のワークに対する照度のグラフを示す図である。 標準偏差画像の作成処理の他の例を示すフローチャートである。 標準偏差画像の作成処理の他の例を示すフローチャートである。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係るワークの表面検査システムの構成例を示す平面図である。この実施形態では、ワーク１が車体であり、ワーク１の被測定部位が車体表面の塗装面であり、塗装面の表面欠陥を検出する場合を示す。一般的に、車体表面は下地処理、メタリック塗装、クリア塗装等が施され、多層構造の塗膜層が形成されるが、塗装中の異物等の影響で最上層のクリア層に凹凸状の欠陥が生じる。この実施形態では、このような欠陥の検出に適用されるが、ワーク１は車体に限定されることはなく、車体以外のワークであっても良い。また、被測定部位は塗装面以外の表面であっても良い。

この検査システムは、ワーク１を矢印Ｆ方向へ所定の速度で連続的に移動させるワーク移動機構２を備えている。ワーク移動機構２の長さ方向の中間部には、ワークの移動方向の前後に２つの照明フレーム３、３が、ワークの移動方向と直交する方向の両下端部を支持台４、４に固定された状態で取り付けられている。また、各照明フレーム３、３は２本の連結部材５、５で相互に連結されている。照明フレームは２つに限定されない。

各照明フレーム３は、車体の進行方向前方から見て、図２の垂直断面図に示すように門形に形成されるとともに、各照明フレーム３にはワーク１を照明するための照明ユニット６が取り付けられている。照明ユニット６は、この実施形態では、照明フレーム３の内側形状に沿ってワーク１の下面を除く周面を取り囲むように取り付けられた線状照明部を有し、この線状照明部の複数個が、ワーク１の移動方向において等間隔で照明フレーム３に取り付けられている。従って、照明ユニット６はワーク１の移動方向において交互に存在する照明部と非照明部とで構成される明暗縞パターンの照明光でワークを拡散照明するようになっている。照明ユニットは曲面であっても構わない。

前後の２つの照明フレーム３、３の中間部には、カメラフレーム７が、ワークの移動方向と直交する方向の両下端部を支持台４、４に固定された状態で取り付けられている。また、カメラフレーム７はワーク１の進行方向前方から見て、図３の垂直断面図に示すように門形に形成されるとともに、カメラフレーム７にはその内側形状に沿って、ワーク１の下面を除く周面を取り囲むように撮像手段としての複数のカメラ８が取り付けられている。

このような構成により、ワーク１をワーク移動機構２により所定の速度で移動させながら、かつ照明ユニット６による明暗縞パターンの照明光でワーク１を拡散照明した状態で、カメラフレーム７に取り付けられた複数のカメラ８で、ワーク１の周方向の各部を被測定部位として、連続的に撮像する。撮像は、前後の撮像において撮像範囲の大部分が重なるように行われる。これにより、各カメラ８からはワーク１の被測定部位の位置がワーク１の移動方向に連続的にずれた複数の画像が出力される。

図４は、図１に示したワークの表面検査システムにおける電気的な構成を示す平面図である。

ワーク１の移動領域にはワーク１の移動方向に沿って入り側から順に、第１の位置センサ１１、車種情報検知センサ１２、第２の位置センサ１３、車体速度センサ１４、第３の位置センサ１５が備えられている。

第１の位置センサ１１は、次のワーク１が検査領域に近付いたことを検出するセンサである。車体情報検知センサ１２は、検査対象となる車体のＩＤ、車種、色、仕向地情報等を検出するセンサである。第２の位置センサ１３は、ワーク１が検査領域に進入したことを検出するセンサである。車体速度センサ１４は、ワーク１の移動速度を検知して計算によりワーク１の位置をモニタするものであるが、位置センサによりワーク位置を直接的にモニタしても良い。第３の位置センサ１５は、ワーク１が検査領域から退出したことを検出するセンサである。

ワークの表面欠陥検査システムはさらに、マスターＰＣ２１、欠陥検出ＰＣ２２、ＨＵＢ２３、ＮＡＳ（Network Attached Storage）２４、ディスプレイ２５等を備えている。

マスターＰＣ２１は、ワークの表面欠陥検査システムの全体を統括的に制御するパーソナルコンピュータであり、ＣＰＵ等のプロセッサ、ＲＡＭ等のメモリ、ハードディスク等の記憶装置、その他のハードウェア及びソフトウェアを備えている。マスターＰＣ２１はＣＰＵによる機能の一つとして、移動制御部２１１、照明ユニット制御部２１２、カメラ制御部２１３等を備えている。

移動制御部２１１は移動機構２の移動停止や移動速度等を制御し、照明ユニット制御部２１２は照明ユニット６の点灯制御を行い、カメラ制御部２１３はカメラ８に対する撮像制御を行う。カメラ８による撮像は、マスターＰＣ２１からカメラ８に連続的に送信されるトリガー信号に応答して連続的に行われる。

欠陥検出ＰＣ２２は、表面欠陥の検出処理を実行する表面欠陥検出装置であり、ＣＰＵ等のプロセッサ、ＲＡＭ等のメモリ、ハードディスク等の記憶装置、その他のハードウェア及びソフトウェアを備えたパーソナルコンピュータによって構成されている。欠陥検出ＰＣ２２はＣＰＵによる機能の一つとして、画像取得部２２１、仮欠陥候補抽出部２２２、座標推定部２２３、欠陥候補決定部２２４、画像群作成部２２５、画像合成部２２６、欠陥検出部２２７等を備えている。

画像取得部２２１は、カメラ８により時系列で連続的に撮像され、ＧｉｇＥ（ギガビット イーサネット（登録商標））によりカメラ８から送信されてくる複数の画像を取得する。仮欠陥候補抽出部２２２は、画像取得部２２１で取得されたカメラ８からの複数の画像を基に仮欠陥候補を抽出し、座標推定部２２３は抽出された仮欠陥候補の後続の画像における座標を推定する。欠陥候補決定部２２４は推定された仮欠陥候補の座標と、実際の仮欠陥候補とのマッチングを行って欠陥候補を決定し、画像群作成部２２５は決定された欠陥候補の周りの領域を切り出して、画像を合成するための複数の画像からなる画像群を作成する。画像合成部２２６は作成された画像群の各画像を１つの画像に合成し、欠陥検出部２２７は合成された画像から欠陥の検出、判別を行う。欠陥検出ＰＣ２２におけるこれら各部による具体的な表面欠陥の検出処理については後述する。

ＮＡＳ２４はネットワーク上の記憶装置であり、各種のデータを保存する。ディスプレイ２５は、欠陥検出ＰＣ２２で検出された表面欠陥を、ワーク１である車体の位置情報に対応させた状態で表示するものであり、ＨＵＢ２３は、マスターＰＣ２１、欠陥検出ＰＣ２２、ＮＡＳ２４、ディスプレイ２５等との間でデータの送受信を行う機能を有する。

次に、欠陥検出ＰＣ２２で実施される欠陥検出処理について説明する。

ワーク１を移動機構２により所定の速度で移動させながら、照明ユニット６により明暗縞パターンの照明光でワーク１を周囲から照明した状態で、マスターＰＣ２１から各カメラ８に連続的にトリガー信号を送信し、各カメラ８でワーク１の被測定部位を連続的に撮像する。マスターＰＣ２１は、前後の撮像において撮像範囲の大部分が重なるように、撮像間隔換言すればトリガー信号の間隔を設定する。このような撮像により、各カメラ８からは、ワーク１の被測定部位の位置がワーク１の移動に応じて移動方向に連続的にずれた複数の画像が得られる。

このような複数の画像は、本実施形態のように、固定の照明ユニット６及びカメラ８に対してワーク１のみが移動する場合のみならず、ワーク１を固定して照明ユニット６及びカメラ８をワーク１に対して移動させた場合や、ワーク１とカメラ８を固定して照明ユニット６を移動させた場合の、カメラ８からも得ることができる。つまり、ワーク１と、照明ユニット６の少なくとも一方を移動させることにより、ワーク１に対し照明ユニット６の明暗パターンが相対的に移動すれば良い。

各カメラ８により得られた複数の画像は、欠陥検出ＰＣ２２に送信され、欠陥検出ＰＣ２２の画像取得部２２１は各カメラ８から送信されてきた複数の画像を取得する。欠陥検出ＰＣ２２は、これらの画像を用いて表面欠陥の検出処理を実行する。

ワークの表面検査システムの全体の処理を図５のフローチャートに示す。

ステップＳ０１で、マスターＰＣ２１は、ワーク１が検査範囲に近付いたかどうかを第１の位置センサ１１の信号に基づいて判断し、近付いていなければ（ステップＳ０１でＮＯ）、ステップＳ０１にとどまる。近付くと（ステップＳ０１でＹＥＳ）、ステップＳ０２でマスターＰＣ２１は、車体情報検知センサ１２からの信号に基づいて、検査対象となる車体のＩＤ、車種、色、仕向地情報等の個体情報を取得し、ステップＳ０３で、初期情報設定として例えば検査システムのパラメータの設定、車体上の検査範囲の設定等を行う。

ステップＳ０４で、マスターＰＣは、ワーク１が検査範囲に進入したかどうかを第２の位置センサ１３の信号に基づいて判断し、進入していなければ（ステップＳ０４でＮＯ）、ステップＳ０４にとどまる。進入すると（ステップＳ０４でＹＥＳ）、ステップＳ０５で、移動するワーク１をカメラ８により時系列に、撮像範囲の大部分が重なった状態で撮像する。次に、ステップＳ０６で、欠陥検出ＰＣ２２による表面欠陥検出処理における前段処理を実施する。前段処理について後述する。

ステップＳ０７では、ワーク１が検査範囲から退出したかどうかを第３の位置センサ１５の信号に基づいて判断する。退出していなければ（ステップＳ０７でＮＯ）、ステップＳ０５にもどり、撮像と前段処理を続ける。ワーク１が検査範囲から退出すると（ステップＳ０７でＹＥＳ）、ステップＳ０８では、欠陥検出ＰＣ２２による表面欠陥検出処理における後段処理を実施する。つまりこの実施形態では、ワーク１に対する全ての撮像の終了後に、後段処理が実施される。後段処理については後述する。

後段処理後、ステップＳ０９で、表面欠陥の検出処理の結果をディスプレイ２５等に表示する。

次に、欠陥検出ＰＣ２２によって実施される、ステップＳ０６の前段処理とステップＳ０８の後段処理を含む表面欠陥検出処理について具体的に説明する。
［１］第１の表面欠陥検出処理
上述したように、欠陥検出ＰＣ２２は、ワーク１の被測定部位の位置が移動方向に連続的にずれた複数の画像を、各カメラ８から取得する。この様子を図６に示す。同図（Ａ）のＡ１１〜Ａ１７は１台のカメラ８から時系列で連続的に取得された画像である。画像中に表示された、縦方向に延びる明帯（白色部分）と暗帯（黒色部分）が横方向に交互に存在する明暗パターンは、照明ユニット６による照明光の明暗縞パターンに対応している。

欠陥検出ＰＣ２２の仮欠陥候補抽出部２２２は、各画像から仮欠陥候補を抽出する。仮欠陥候補の抽出は、例えば背景除去や二値化等の処理を行うことで実行される。この例では、Ａ１１〜Ａ１７の全ての画像において仮欠陥候補３０を抽出したとする。

次に、座標推定部２２３は、抽出した各画像の仮欠陥候補３０について仮欠陥候補３０の位置である代表座標を演算するとともに、代表座標の周囲の所定領域を仮欠陥候補領域とする。さらに、演算した仮欠陥候補の代表座標が、後続の画像Ａ１２〜Ａ１７のそれぞれに対してどの座標に移動するかを、ワーク１の移動量等に基づいて演算し、各画像における推定座標を求める。例えば、画像Ａ１１で抽出された仮欠陥候補３０が、後続の画像Ａ１２〜Ａ１７のそれぞれに対してどの座標に移動するかを演算し、各画像における推定座標を求める。

画像Ａ１１の後続画像Ａ１２〜Ａ１７において仮欠陥候補３０の推定座標４０を推定した状態を図６（Ｂ）の各画像Ｂ１２〜Ｂ１７に示す。なお、画像Ｂ１２〜Ｂ１７は、画像Ａ１２〜Ａ１７における仮欠陥候補３０を除去した画像と同じである。図６（Ｂ）では途中の画像の何枚かについては省略している。また、画像に現れる明暗パターンも省略している。

次に、欠陥候補決定部２２４は、図６（Ａ）に示す画像Ａ１１の後続画像Ａ１２〜Ａ１７と、仮欠陥候補３０の推定座標４０を求めた図６（Ｂ）の各画像Ｂ１２〜Ｂ１７のうち、画像Ａ１２と画像Ｂ１２、画像Ａ１３と画像Ｂ１３、・・・画像Ａ１７と画像Ｂ１７のように、対応する画像同士のマッチングを行う。マッチングは、推定座標４０とその画像における実際の仮欠陥候補３０とが対応するかどうかを判定する。具体的には、推定座標４０が、その画像における実際の仮欠陥候補３０についての所定の仮欠陥候補領域に含まれるかどうかを判定することにより行われる。なお、推定座標４０から予め設定された所定範囲内に、仮欠陥候補３０が存在するかどうかを判定し、或いは仮欠陥候補３０の代表座標から予め設定された所定範囲内に、対応する画像の推定座標４０が存在するかどうかを判定することにより、推定座標４０とその画像における実際の仮欠陥候補３０とが対応するかどうかを判定しても良い。推定座標４０とその画像における仮欠陥候補３０とが対応する場合、元の画像Ａ１１に含まれる仮欠陥候補３０と、後続の画像に含まれる仮欠陥候補３０は同じと見なすことができる。
次に、マッチングの結果、推定座標４０とその画像における実際の仮欠陥候補３０とが対応する（マッチングする）画像の数を調べ、その数が予め設定された閾値以上かどうかを判断する。そして、閾値以上の場合には、仮欠陥候補３０が実際に存在する蓋然性が高いことから、各画像の仮欠陥候補３０を欠陥候補として決定する。図６（Ａ）及び（Ｂ）の例では、画像Ａ１１の後続画像Ａ１２〜Ａ１７の全てについて、マッチングがとれている。つまり、推定座標４０がその画像における仮欠陥候補３０についての仮欠陥候補領域に含まれている。推定座標４０と実際の仮欠陥候補３０とが対応する画像の数が予め設定された閾値以上でない場合は、その仮欠陥候補３０が欠陥候補である可能性は高くないと考えられるため、マッチングは中止し、次の仮欠陥候補３０の抽出を行う。

次に、画像群作成部２２５は、欠陥候補が含まれている全ての画像について、図６（Ａ）の各画像Ａ１１〜Ａ１７に四角の枠線で囲んだように、欠陥候補における代表座標の周りの所定領域を推定領域として切り出して、同図（Ｃ）に示すように、複数の推定領域画像Ｃ１１〜Ｃ１７からなる推定領域画像群を作成する。なお、欠陥候補が含まれている全ての画像ではなく、そのうちの複数枚であっても良いが、画像数が多い方が情報量が多くなり、精度の高い表面検査を行える点で望ましい。また、推定領域は、元の画像Ａ１１の推定領域を先ず求め、その推定領域の各画像内での位置をワーク１の移動量から算出することにより行われても良い。

こうして作成した推定領域画像群の各推定領域画像Ｃ１１〜Ｃ１７を、画像合成部２２６が重ね合わせて合成し、図６（Ｃ）に示す１つの合成画像５１を作成する。重ね合わせは、各推定領域画像Ｃ１１〜Ｃ１７の中心座標において行う。合成画像５１の一例として、標準偏差画像等のように統計的なばらつき値を計算して合成した画像、位相画像、位相差画像、最大値画像、最小値画像、平均値画像の少なくともいずれかを挙げることができる。標準偏差画像等のように統計的なばらつき値を計算して合成した画像については後述する。

次に、欠陥検出部２２７は、作成した合成画像５１を用いて表面欠陥の検出を行う。表面欠陥の検出基準は自由に選択されて良い。例えば、図６（Ｃ）の信号グラフ６１で示されるように、信号が基準値以上の場合に欠陥有りと判別することで、欠陥の有無のみを検出しても良い。或いは、基準欠陥等との比較から欠陥の種別を判別しても良い。なお、欠陥の有無や欠陥種別の判定基準は機械学習等により変更されても良いし、新たな基準が作成されても良い。

表面欠陥の検出結果はディスプレイ２５に表示される。望ましくは、ディスプレイ２５にワーク（車体）１の展開図を表示すると共に、展開図の上に表面欠陥の位置と種別が分かるように表示するのが良い。

このように、この実施形態では、欠陥候補が含まれている複数の画像Ａ１１〜Ａ１７から切り出された複数の推定領域画像Ｃ１１〜Ｃ１７を１つの合成画像５１に合成し、この合成画像５１に基づいて欠陥検出が行われるから、合成画像５１には複数の画像の情報が含まれることになる。このため、１つの欠陥候補について多量の情報を用いて欠陥検出を行うことができるから、小さな表面欠陥であっても、過検出、誤検出を抑制しながら高精度で安定した検出を行うことができる。
また、推定座標４０とその画像における実際の仮欠陥候補３０とが対応する画像が予め設定された閾値以上存在する場合に、合成画像が作成され、欠陥検出が行われるから、欠陥が存在する可能性の高い場合に欠陥検出を行うことができ、処理負荷が小さくて済み検出効率が向上するうえ、検出精度も良くなる。

しかも、融合された画像に対して、それぞれ異なる複数の変換処理を実施する必要もない。
［１−１］合成画像作成時の変形例１
ところで、複数の推定領域画像Ｃ１１〜Ｃ１７を、各画像の中心座標において重ね合わせて合成するだけでは、精度を出せない場合がある。

そこで、各推定領域画像Ｃ１１〜Ｃ１７の中心座標の補正を行って、重ね合わせるのが望ましい。中心座標の補正の一例は、各画像における明暗パターン内の相対位置に基づいて行われる。具体的には、明暗パターンの明帯部や暗帯部の中央に欠陥が存在している場合は、左右対称形状になりやすいが、図７に例えば推定画像Ｃ１４を例に示すように、明帯部１２０内で暗帯部１１０との境界部に近いと、欠陥候補３０の境界部側は暗くなる。逆に、暗帯部１１０内で境界部に近いと境界部側は明るくなる。このため、例えば重心位置演算を行うと欠陥候補３０の中心位置３０ａから偏る。偏る位置は境界からの位置と相関があるので、境界からの位置Ｌに応じて画像の中心座標を補正する。

図６（Ｄ）は、中心位置を補正した各推定領域画像Ｃ１１〜Ｃ１７を、中心位置において重ね合わせて合成し、合成画像５２を作成する様子を示す図である。同図（Ｃ）の合成画像５１及び信号グラフ６１に較べて、シャープな合成画像５２が得られ、信号グラフ６２における信号高さも高くなっている。このため、精度の高い合成画像５２を作成することができ、ひいては高精度の表面欠陥検出を行うことができる。
［１−２］合成画像作成時の変形例２
複数の推定領域画像Ｃ１１〜Ｃ１７を、各画像の中心座標において重ね合わせて合成するだけでは精度を出せない場合の、他の合成画像作成法を図８に基づいて説明する。

図６（Ｃ）の推定領域画像Ｃ１１〜Ｃ１７の作成までは同じである。この例では、推定領域画像Ｃ１１〜Ｃ１７の位置合わせを、各画像の中心座標をそれぞれ種々の位置合わせ量で左右方向（ｘ方向）及び上下方向（ｙ方向）の少なくとも一方にずらした複数の組み合わせで試行する。そして、その中から評価値が最大の組み合わせを採用する。図８では（Ａ）〜（Ｄ）の４種類について重ね合わせを行っている。得られた合成画像をそれぞれ５３〜５６、合成画像に基づく信号グラフを６３〜６６に示す。図８の例では、最も高い信号が得られた（Ｂ）を採用する。

このように、合成画像作成時の複数の推定領域画像Ｃ１１〜Ｃ１７の位置合わせを、各画像の中心座標を互いにＸ座標及びＹ座標方向の少なくとも一方にずらした複数の組み合わせの中から評価値が最大になるように行うから、さらに精度の高い合成画像を作成することができ、ひいては高精度の表面欠陥検出を行うことができる。
［１−３］仮欠陥候補抽出処理の一例
仮欠陥候補抽出部２２２による、サイズが大きく曲率変化が緩い仮欠陥候補の抽出処理例について説明する。

まず、明暗縞パターンの照明を用いた本方法の原理に戻って説明する。

照明光がワーク１の表面で反射して、カメラ８の各画素に入射する。逆に言えば、各画素に入射する光は、各画素が睨む範囲で、各画素から出た視線がワーク１の表面で反射して到達した領域からの光である。照明がなければ暗い、照明があれば明るい画素信号が得られる。欠陥がなくワーク１が平面であれば、各画素に対応する照明上の領域は点に近い。欠陥がある場合、ワーク１の表面の変化は (1)曲率変化、(2)面の傾き、の２種類がある。
(1)図９（Ａ）に示すように、仮欠陥候補３０によりワーク１の表面が曲率変化を持っていると、視線の方向が変わるが、さらに、各画素が睨む領域が広がる。その結果、各画素が対応する領域が点ではなく広がった領域となり、その領域内の平均的な輝度が画素信号に対応する。つまり、仮欠陥候補３０の形状変化が急な場合は、各画素が睨む領域内で曲率変化が大きくなり、視線の傾きに加えて面積の広がりが無視できなくなる。睨む領域の拡大は信号の照明分布の平均化となる。明暗縞パターン照明（図９では白抜き部分が明、黒塗り部分が暗）で、領域が広がると、広がり方に応じた明暗両方の領域の平均的な値が得られる。この現象が生じる部分の明暗縞パターンが順次移動する場合、標準偏差画像でその影響が捉えられる。
(2)図９（Ｂ）に示すように、仮欠陥候補３０によりワーク１の表面が曲率半径が大きく、ほぼ平面のまま傾くと、対応する領域は点のままだが、傾いていない面とは異なる方向を向く。仮欠陥候補３０が大きい（形状変化が緩やかな）場合は、各画素が睨む領域は同じで視線方向が変わることが支配的となり、曲率変化は緩やかになる。標準偏差画像ではその変化は捉えられない。欠陥が大きな場合は、無欠陥部と欠陥部の面の傾きの違いが位相画像で検出できる。無欠陥部であれば、位相画像では、縞と平行方向の位相は同じで、縞と垂直な方向は縞の周期に応じて、一定の位相変化を生じる。欠陥部であれば、位相画像では、上記位相の規則性が乱れる。例えば、Ｘ方向、Ｙ方向の位相画像を見ることで、緩やか曲面変化をもつ仮欠陥候補が検出できる。

小さい仮欠陥候補用、大きい仮欠陥候補欠陥用の２種類のルーチンで、いずれの仮欠陥候補をも抽出できる。いずれかで抽出された候補を仮欠陥候補とすればよい。

ところで、検出した仮欠陥候補３０のサイズを結果として報告したい場合を考える。目視による欠陥サイズと画像から検出した欠陥のサイズの相関は、欠陥表面の面の傾きが所定の角度となる部分の近似円から関係づけられる。欠陥サイズが小さい場合は、一定の線形関係がみられるが、欠陥サイズが大きく、面傾斜が緩やかな欠陥は非線形な関係である。よって、位相画像で検出された緩やかな仮欠陥候補３０は、欠陥信号と欠陥サイズが線形の関係にないため、別に求めた検量線から補正する必要がある。
［１−４］糸ブツ欠陥の検出
欠陥検出部２２７による欠陥検出の一例として、糸ブツの検出処理について説明する。

糸ブツは、糸状の異物が塗料下部に閉じ込められた欠陥で、円形ではなく、細長い。線幅方向は小さくても（例えば０．２ｍｍ未満）長手方向が長い（例えば５ｍｍ以上）ものが存在する。幅方向は非常に狭いため、小さく、長手方向は緩やかな曲率変化を持つ。仮欠陥候補の抽出と同様の小さい欠陥用、大きな欠陥（傾斜が緩やかな欠陥）用の検出方法だけでは見逃すことがある。所定の処理後に二値化、粒子化され、各部分の面積によって欠陥かどうか判断される。

糸ブツは幅が狭いが長さがあるため、適性に検出されれば所定の面積が得られる。しかし、糸ブツは、長手方向が明暗パターンが伸びる方向と平行な場合に検出されやすく、垂直な場合は見つけにくい。長手方向で欠損部が生じ、実際より短く、つまり、粒子化された面積が小さめに出やすい。

そこで、位相画像から求めた欠陥の形状情報を基に、長手方向に一定の伸びがある場合、つまり真円度が所定の値より低い場合には、面積判定の閾値を小さくすることで糸ブツの未検出を抑制する。
［１−５］フローチャート
図１０は、欠陥検出ＰＣ２２で実行される表面欠陥検出処理の内容を示すフローチャートである。この表面欠陥検出処理は、図５のステップＳ０６の前段処理及びステップＳ０８の後段処理の内容をさらに詳細に示したものである。また、この表面欠陥検出処理は、欠陥検出ＰＣ２２内のプロセッサがハードディスク装置等の内蔵記憶装置に格納された動作プログラムに従って動作することにより実行される。

ステップＳ１１で、マスターＰＣ２１が図５のステップＳ０２で取得した個体情報、およびステップＳ０３で設定されたパラメータの設定や車体上の検査範囲の設定等の初期情報を、マスターＰＣ２１から取得する。

次にステップＳ１２で、カメラ８で撮像された画像を取得したのち、ステップＳ１３で前処理、例えば、初期設定情報等に基づいて画像に対する位置情報の設定等を実施する。

次いでステップＳ１４で、各画像から仮欠陥候補３０を抽出した後、ステップＳ１５で、１つの仮欠陥候補３０について、ワーク１の移動量を算出することにより、ステップＳ１６で、その仮欠陥候補３０の後続する画像における座標を推定して推定座標４０とする。

ステップＳ１７ではマッチングを行う。つまり、推定座標４０がその画像における実際の仮欠陥候補３０についての所定の仮欠陥候補領域内に存在するかどうかを判定し、マッチングのとれた画像の数が予め設定された閾値以上の場合、ステップＳ１８で、各画像の仮欠陥候補３０を欠陥候補として決定する。

ステップＳ１９では、欠陥候補を有する全ての画像について、欠陥候補における代表座標の周りの所定領域を推定領域として切り出して、複数の推定領域画像Ｃ１１〜Ｃ１７からなる推定領域画像群を作成したのち、ステップＳ２０に進む。ステップＳ１２〜Ｓ１９が前段処理である。

ステップＳ２０では、ワーク１である車体は検査範囲から退出したかどうかを、マスターＰＣ２１からの情報に基づいて判断する。検査範囲から退出していなければ（ステップＳ２０でＮＯ）、ステップＳ１２に戻り、カメラ８からの画像の取得を続ける。車体が検査範囲から退出していれば（ステップＳ２０でＹＥＳ）、ステップＳ２１で、各推定領域画像Ｃ１１〜Ｃ１７の位置合わせ量を設定する。そして、ステップＳ２２で、各推定領域画像Ｃ１１〜Ｃ１７を合成して合成画像を作成した後、ステップＳ２３で欠陥検出処理を行う。ステップＳ２１〜Ｓ２３が後段処理である。欠陥検出後、ステップＳ２４で検出結果をディスプレイ２５等に出力する。

ステップＳ１７のマッチング処理について、図１１のフローチャートを参照して詳細に説明する。

ステップＳ２０１では、仮欠陥候補３０とマッチングしている画像の枚数の変数であるＫをゼロにセットし、ステップＳ２０２では、仮欠陥候補３０とマッチングしているかどうかの判断対象となる画像の枚数の変数であるＮをゼロにセットする。

ステップＳ２０３では仮欠陥候補３０を抽出した後、ステップＳ２０４でＮにＮ＋１をセットする。次いでステップＳ２０５で、仮欠陥候補３０と推定座標４０が一致しているかどうかを判断する。一致していれば（ステップＳ２０５でＹＥＳ）、ステップＳ２０６でＫにＫ＋１をセットしたのち、ステップＳ２０７に進む。ステップＳ２０５で、仮欠陥候補３０と推定座標４０が一致していなければ（ステップＳ２０５でＮＯ）、ステップＳ２０７に進む。

ステップＳ２０７では、Ｎが所定の画像枚数（ここでは７枚）に達したかどうかを調べ、達していなければ（ステップＳ２０７でＮＯ）、ステップＳ２０３に戻り、次の画像について仮欠陥候補３０を抽出する。Ｎが所定の画像枚数に達した場合（ステップＳ２０７でＹＥＳ）、ステップＳ２０８で、Ｋが予め設定された所定の閾値（ここでは５枚）以上かどうかを判断する。閾値以上でなければ（ステップＳ２０８でＮＯ）、ステップＳ２０１に戻る。従って、この場合は以後の推定領域画像の切り出し処理や画像合成処理は行われず、Ｎ及びＫがリセットされて、次の仮欠陥候補３０の抽出が行われる。

Ｋが閾値以上であれば（ステップＳ２０８でＹＥＳ）、ステップＳ２０９で、仮欠陥候補３０を欠陥候補として決定してその情報を保存した後、ステップＳ２１０で、マッチングのとれたＫ枚の画像について推定領域画像を切り出す。そして、ステップＳ２１１で、切り出したＫ枚の推定領域画像を合成した後、ステップＳ２１２で、表面欠陥を検出したかどうかを判断する。表面欠陥が検出されると（ステップＳ２１２でＹＥＳ）、ステップＳ２１３で、表面欠陥と確定してその情報を保存したのち、ステップＳ２１４に進む。表面欠陥が検出されない場合（ステップＳ２１２でＮＯ）、そのままステップＳ２１４に進む。

ステップＳ２１４では、ワークの全ての検査対象部位について検出処理が行われたかどうかを調べ、行われていなければ（ステップＳ２１４でＮＯ）、ステップＳ２０１にもどり、Ｎ及びＫがリセットされて、次の仮欠陥候補３０の抽出が行われる。全ての検査対象部位について検出処理が行われていれば（ステップＳ２１４でＹＥＳ）、処理を終了する。

このようにこの実施形態では、仮欠陥候補３０と推定座標４０とが対応（マッチング）する画像の枚数Ｋが閾値以上でない場合は、マッチングする画像が少なく仮欠陥候補３０が欠陥候補である可能性が高くないため、その後の処理は中止し、マッチングする画像がＫ以上であれば仮欠陥候補３０が欠陥候補である可能性が高いため、推定領域画像の切り出し、画像合成及び欠陥検出が行われる。このため、推定領域画像の切り出し、画像合成及び欠陥検出が、マッチングした画像の枚数に関係なく実行される場合に較べて、処理負荷が小さくて済み検出効率が向上するうえ、検出精度も良くなる。

図１２は、図１０のステップＳ１７のマッチング処理の変形例を説明するためのフローチャートである。この例では、画像枚数Ｎが所定枚数に達する前に、マッチングした画像枚数Ｋが一定値に達していない場合、仮欠陥候補３０が欠陥候補である可能性が高くないと判断して、その時点でその後の処理を中止する構成となっている。

ステップＳ２２１では、仮欠陥候補３０とマッチングしている画像の枚数の変数であるＫをゼロにセットし、ステップＳ２２２では、仮欠陥候補３０とマッチングしているかどうかの判断対象となる画像の枚数の変数であるＮをゼロにセットする。

ステップＳ２２３では仮欠陥候補３０を抽出した後、ステップＳ２２４でＮにＮ＋１をセットする。次いでステップＳ２２５で、仮欠陥候補３０と推定座標４０が一致しているかどうかを判断する。一致していれば（ステップＳ２２５でＹＥＳ）、ステップＳ２２６でＫにＫ＋１をセットしたのち、ステップＳ２２７に進む。ステップＳ２２５で、仮欠陥候補３０と推定座標４０が一致していなければ（ステップＳ２２５でＮＯ）、ステップＳ２２７に進む。

ステップＳ２２７では、Ｎが第２の所定の画像枚数（ここでは８枚）に達したかどうかを調べ、達していれば（ステップＳ２２７でＹＥＳ）、ステップＳ２２８で、Ｋが予め設定された第２の閾値（ここでは４枚）に達したかどうかを調べ、達していなければ（ステップＳ２２８でＮＯ）、ステップＳ２２１に戻る。従って、この場合は以後の推定領域画像の切り出し処理や画像合成処理は行われず、Ｎ及びＫがリセットされて、次の仮欠陥候補３０の抽出が行われる。

ステップＳ２２８で、Ｋが第２の閾値に達していれば（ステップＳ２２８でＹＥＳ）、ステップＳ２２９に進む。ステップＳ２２７で、Ｎが第２の所定の画像枚数（８枚）に達していない場合も（ステップＳ２２７でＮＯ）、ステップＳ２２９に進む。

ステップＳ２２９では、Ｎが第１の所定枚数（ここでは９枚）に達したかどうかを調べ、達していなければ（ステップＳ２２９でＮＯ）、ステップＳ２２３に戻り、次の画像について仮欠陥候補３０を抽出する。Ｎが第１の所定枚数に達した場合（ステップＳ２２９でＹＥＳ）、ステップＳ２３０で、Ｋが予め設定された第１の閾値（ここでは５枚）以上かどうかを判断する。第１の閾値以上でなければ（ステップＳ２３０でＮＯ）、ステップＳ２０１に戻る。従って、この場合は以後の推定領域画像の切り出し処理や画像合成処理は行われず、Ｎ及びＫがリセットされて、次の仮欠陥候補３０の抽出が行われる。

Ｋが第１の閾値以上であれば（ステップＳ２３０でＹＥＳ）、ステップＳ２３１で、仮欠陥候補３０を欠陥候補として決定してその情報を保存した後、ステップＳ２３２で、マッチングのとれたＫ枚の画像について推定領域画像を切り出す。そして、ステップＳ２３３で、切り出したＫ枚の推定領域画像を合成した後、ステップＳ２３４で、表面欠陥を検出したかどうかを判断する。表面欠陥が検出されると（ステップＳ２３４でＹＥＳ）、ステップＳ２３５で、表面欠陥と確定してその情報を保存したのち、ステップＳ２３６に進む。表面欠陥が検出されない場合（ステップＳ２３４でＮＯ）、そのままステップＳ２３６に進む。

ステップＳ２３６では、ワークの全ての検査対象部位について検出処理が行われたかどうかを調べ、行われていなければ（ステップＳ２３６でＮＯ）、ステップＳ２０１にもどり、Ｎ及びＫがリセットされて、次の仮欠陥候補３０の抽出が行われる。全ての検査対象部位について検出処理が行われていれば（ステップＳ２３６でＹＥＳ）、処理を終了する。

このようにこの実施形態では、図１１のフローチャートで示した実施形態と同じ効果を奏するのに加えて、次のような効果を奏する。即ち、仮欠陥候補３０を抽出した画像の枚数Ｎが、第２の設定値よりも少ない第１の設定値の段階つまり途中の段階で、仮欠陥候補３０と推定座標４０とが対応（マッチング）する画像の枚数Ｋが第２の閾値よりも少ない第１の閾値に達していなければ、マッチングする画像が少なく仮欠陥候補３０が欠陥候補である可能性が高くないと判断して、最終画像までマッチング処理を継続することなく、その後の処理は中止する。このため、無駄な処理が継続されることがなくなるから、処理負荷をさらに軽減でき、検出精度をさらに向上できる。

図１３は、表面欠陥検出処理における前段処理である図１０のフローチャートのステップＳ１２〜Ｓ１８の詳細を示すフローチャートであり、図１０のフローチャートと同一の処理については同一のステップ番号を付している。

１つのワーク１が検査範囲に進入し検査範囲から退出するまで、ワーク１を移動させながらカメラ８により連続的に撮像が行われ、欠陥検出ＰＣ２２はステップＳ１２で、撮像１回目の画像から撮像最終回の画像までを取得する。ここでは、１つの仮欠陥候補３０が撮影される画像が、撮像ｎ回目の画像から撮像（ｎ+ｍ−１）回目の画像であるとする。

ステップＳ１３では各画像を前処理した後、ステップＳ１４では、撮像ｎ回目から撮像（ｎ+ｍ−１）回目の各画像について、仮欠陥候補３０を抽出すると共に、抽出した仮欠陥候補３０の代表座標と仮欠陥候補領域を求める。次にステップＳ１６で、仮欠陥候補の代表座標が、後続の画像のそれぞれに対してどの座標に移動するかを、ステップＳ１５でのワーク１の移動量算出等に基づいて演算し、各画像における推定座標４０を求める。

ステップＳ１７では、後続する画像毎にマッチングを行い、マッチングが採れた画像が閾値（例えばｍ個）以上の場合は、ステップＳ１８で、仮欠陥候補３０を欠陥候補として決定する。ステップＳ１９では各画像について推定領域を算出し、複数の推定領域画像Ｃ１１〜Ｃ１７からなる推定領域画像群を作成する。
［２］第２の表面欠陥検出処理
上記の第１の表面欠陥検出処理では、欠陥検出ＰＣ２２は、カメラ８から時系列で連続的に取得された画像の中から仮欠陥候補３０を抽出するものとした。

仮欠陥候補３０の抽出方法は限定されないが、以下のような処理を行って、仮欠陥候補３０を抽出する構成とするのが、欠陥部位が強調されてより精度の高い仮欠陥候補３０の抽出を行いうる点で望ましい。

即ち、カメラ８から取得された各画像Ａ１１〜Ａ１７（図６に示す）に対して二値化処理を実施したのちに閾値を適用するか、またはコーナー検出関数の適用によって、画像の特徴点を抽出する。そして、抽出された各特徴点に対し多次元の特徴量を求めることにより、仮欠陥候補３０を抽出しても良い。

より望ましくは、特徴点の抽出前に、カメラ８から取得された各画像を二値化し、輪郭抽出した上で、所定回数の膨張及び収縮を行った画像を引き算して、明帯と暗帯の境界部分を除去するゆず肌マスクを作成する。この作成されたマスクを適用して明帯と暗帯の境界部分をマスクした後の各画像の特徴点を抽出するのが良く、これによって更に精度良く仮欠陥候補を抽出できる。

また、仮欠陥候補３０の抽出は、画像の特徴点の抽出後、抽出された各特徴点に対し、周囲の特定範囲の全画素について、当該画素からの縦横斜め全方向の輝度勾配情報を基に多次元の特徴量を求めることにより行われても良い。

仮欠陥候補３０の抽出後は、上述した第１の表面欠陥検出処理と同様にして、複数の推定領域画像Ｃ１１〜Ｃ１７からなる推定領域画像群を作成したのち、この推定領域画像群を用いて、仮欠陥候補毎に欠陥検出を行う。

このように、第２の表面欠陥検出処理では、カメラ８から取得されたワーク１の被測定部位の位置が連続的にずれた複数の画像について、画像の特徴点を抽出し、抽出された各特徴点に対し多次元の特徴量を求めることにより、仮欠陥候補３０を抽出するから、仮欠陥候補３０の高精度な抽出を行うことができ、ひいては高精度な表面欠陥検出を行うことができる。

しかも、抽出された仮欠陥候補３０の座標が求められ、仮欠陥候補３０が抽出された画像に後続する複数の画像のそれぞれに対して、仮欠陥候補３０の座標がどの座標に移動するかを演算して推定座標４０が求められ、この推定座標４０とその画像における仮欠陥候補３０とが対応するかどうかが判定され、後続する画像のうち、推定座標４０と仮欠陥候補とが対応する画像が、予め設定された閾値以上存在すれば仮欠陥候補３０が欠陥候補として決定される。そして、決定された欠陥候補毎に、欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像Ｃ１１〜Ｃ１７からなる推定領域画像群が作成されるとともに、作成された推定領域画像群に基づいて欠陥判別が行われる。

つまり、欠陥候補が含まれている複数の推定領域画像Ｃ１１〜Ｃ１７には、１つの欠陥候補について複数の情報が含まれているから、より多くの情報を用いて欠陥検出を行うことができる。このため、小さな表面欠陥であっても、過検出、誤検出を抑制しながら高精度で安定した検出を行うことができる。
［２−１］フローチャート
図１４は、欠陥検出ＰＣで実行される第２の表面欠陥検出処理を示すフローチャートである。なお、ステップＳ１１〜Ｓ１３、ステップＳ１５〜Ｓ２０は、図１０のステップＳ１１〜Ｓ１３、ステップＳ１５〜Ｓ２０と同じであるので、同一のステップ番号を付し、説明は省略する。

ステップＳ１３の前処理後、ステップＳ１４１でゆず肌マスクを作成し、ステップＳ１４２で、作成したゆず肌マスクを適用して特徴点を抽出する。

次いでステップＳ１４３で、抽出された各特徴点に対し多次元の特徴量を計算し、ステップＳ１４４で仮欠陥候補３０を抽出したのち、ステップＳ１６に進む。

ステップＳ２０でワーク１である車体が検査範囲から退出した場合（ステップＳ２０でＹＥＳ）、ステップＳ２３で、作成した推定領域画像群を用いて欠陥判別処理を実行し、ステップＳ２４で判別結果を表示する。

図１５は、図１４のフローチャートのステップＳ１２〜Ｓ１８の詳細を示すフローチャートであり、図１４のフローチャートと同一の処理については同一のステップ番号を付している。なお、ステップＳ１２、Ｓ１３、Ｓ１５〜Ｓ１９については、図１３のステップＳ１２、Ｓ１３、Ｓ１５〜Ｓ１９の処理と同じであるので、説明は省略する。

ステップＳ１３の前処理後、ステップＳ１４１で、各画像に対するそれぞれのゆず肌マスクを作成する。ステップＳ１４２では、作成したゆず肌マスクを各画像に適用して各画像の特徴点を抽出する。

ステップＳ１４３では、抽出された各画像の各特徴点に対し多次元の特徴量を計算し、ステップＳ１４４で、各画像について仮欠陥候補を抽出したのち、ステップＳ１６に進む。
［３］第３の表面欠陥検出処理
上述した第１の表面欠陥検出処理は、各画像Ａ１１〜Ａ１７において仮欠陥候補３０を抽出したのち欠陥候補を決定し、欠陥候補の周囲の推定領域を算出し、複数の推定領域画像Ｃ１１〜Ｃ１７を合成して欠陥検出を行った。

これに対し、第３の表面欠陥検出処理では、カメラ８から取得した連続的な時系列の複数の画像を、それぞれ複数の領域に分割するとともに、前後複数の画像同士を対応する領域において合成した後に、欠陥を検出する。ただし、ワーク１は移動していることから、前の画像の領域で示されるワーク１の撮像範囲と後の画像の領域で示されるワーク１の撮像範囲とは同一ではなく、ワーク１の移動量に応じて撮像位置が異なっているため、ワーク１の移動量に応じた位置ずらし量だけ前の画像の領域に対する後の画像の領域の位置をずらして合成する。また、前の画像の領域と後の画像の対応する領域の位置ずれ量は、分割された領域の位置によって異なるため、ワーク１の移動量に応じた位置ずらし量は、分割された領域毎に設定される。

以下、詳細に説明するが、カメラ８で連続的に撮像され、欠陥検出ＰＣ２２により連続的に時系列で取得される複数の画像は、第１の表面欠陥検出処理で取得される画像と同じである。

図１６に、連続的に時系列で取得される複数の画像Ａ２１、Ａ２２を示す。この例では２枚を示すが、画像の数は実際にはもっと多い。なお、画像Ａ２１、Ａ２２では画像に現れる明暗パターンは省略している。これらの画像Ａ２１、Ａ２２を、ワークの移動方向と直交する方向（図１６では上下方向）において、複数の領域１〜ｐに分割する。領域１〜ｐは画像Ａ２１、Ａ２２において同じ位置（同じ座標）で同じ大きさである。

ワークが移動しているため、カメラ８から取得された例えば画像Ａ２１における各領域１〜ｐ内の画像に対応する撮像範囲は、後続する次の画像Ａ２２では矢印で示すように、元の領域１〜ｐに対して、それぞれワーク１の移動量だけ移動方向に位置がずれることになる。従って、画像Ａ２２における各領域１〜ｐの位置を、ワークの移動量に応じた位置ずらし量Ｓだけずらすことによって、画像Ａ２１における各領域１〜ｐと画像Ａ２２の位置ずらし後の各領域１〜ｐが、ワーク１上の同じ撮像範囲となる。このような関係が前後の撮像画像における各領域１〜ｐ間で生じるから、後続する各画像の領域１〜ｐを、位置ずらし量Ｓだけ順次ずらすことによって、元の画像Ａ２１と後続する各画像の領域１〜ｐ毎の撮像範囲を一致させることができる。

しかしながら、図１６の画像Ａ２２に模式的に示すように、元の領域１〜ｐに対するずれ量は、領域１〜ｐ毎に相違する。例えば、１つのカメラ８による撮像範囲にワーク１の直線部分と湾曲部分が存在していた場合、画像における直線部分に対応する領域と湾曲部分に対応する領域の位置ずれ量は同じではない。また、カメラ８に対する遠近によっても相違する。このため、全ての領域１〜ｐを一律の位置ずらし量でずらしても、領域によっては必ずしも同一の撮像範囲とはならない。

そこで、この実施形態では、領域１〜ｐ毎に位置ずらし量Ｓが算出され、設定されている。具体的には、カメラ情報、カメラ位置情報、ワークの三次元形状、ワークの位置情報、から領域１〜ｐ毎に領域内の平均的な倍率情報を求める。そして、求めた倍率情報と、事前に想定されるおおよその移動速度から、領域１〜ｐ毎に位置ずらし量Ｓを算出し、各領域１〜ｐに対する位置ずらし量Ｓとする。

ここで、位置ずらし量の算出について補足する。移動するワーク１を等時間間隔で複数枚撮像する場合を考える。連続する２枚の撮像画像間において、同一点の動き方に着目する。

画像上の移動量は、カメラの撮像倍率、ワークの速度に関係する。カメラの撮像倍率は、(1)レンズ焦点距離、(2)カメラから撮像するワークの各部分までの距離に依存する。(2)について、画像上、カメラに近い部分は遠い部分に比べて移動量が多くなる。ワーク１の３Ｄ形状、さらにカメラ８の設置位置とワーク１の位置姿勢がわかると、ある瞬間に撮像された画像における着目点がどこに写るか計算できる。

ワーク１が移動し、位置が変化した場合、連続する２枚の画像において、同じ着目点が画像上で何画素分移動するか計算できる。例えば、焦点距離３５ｍｍ、画素サイズが５．５μｍのセンサで、隣り合う画像間でワークが１．７ｍｍ移動する場合を考えると、図１７のグラフに示すように、ワーク１までの距離（Ｚｗ）が６００〜１１００ｍｍよって、画面内での移動距離は１８画素〜１０画素移動する。

仮に、合成画像作成に必要な位置合わせ誤差を±１画素に抑えるならば、距離差が±５ｃｍになるようにすればよい。カメラとの距離差が互いに±５ｃｍ以内となるよう画像上で領域を区分する。区分した領域毎に、ワーク１のおおよその移動速度から、連続する画像間の平均的な位置ずれ量を計算する。各領域１〜ｐ毎に、その位置ずれ量、±１画素のずれ量を合わせた３種類の位置ずれ量を設定することができる。ただし、位置ずれ量は３種類に限らないし、距離差も±５ｃｍに限らない。

なお、設定した領域１〜ｐ毎の位置ずらし量Ｓは欠陥検出ＰＣ２２内の記憶部のテーブルに領域１〜ｐと関連付けて記憶され、同一の位置ずらし量を設定可能な撮像部位、例えばワーク１の同一形状部分や同一種類のワークに対しては、テーブルから位置ずらし量を呼び出すことで設定される。

次に、設定された位置ずらし量Ｓで各領域１〜ｐの位置をずらした状態で、連続する所定枚数の画像を複数の領域１〜ｐ毎に合成する。合成は、設定された位置ずらし量Ｓで各領域１〜ｐの位置をずらした状態で各領域の画像を重ね合わせるとともに、重ね合わさった画像で、対応する座標の画素毎に演算を行い、画素毎に合成画像を作成する。合成画像の一例として、標準偏差画像等のように統計的なばらつき値を計算して合成した画像、位相画像、位相差画像、最大値画像、最小値画像、平均値画像の少なくともいずれかを挙げることができる。

次に、合成画像である例えば標準偏差画像に対して背景除去や二値化等の前処理を行い、欠陥候補を抽出したのち、必要に応じて、欠陥候補抽出時の処理とは異なる演算や合成画像を用いて、表面欠陥の検出を行う。表面欠陥の検出基準は自由に選択されて良く、欠陥の有無のみを判別しても良いし、或いは基準欠陥等との比較から欠陥の種別を判別しても良い。なお、欠陥の有無や欠陥種別の判別基準は、ワークと欠陥との特徴に応じて設定されれば良く、また機械学習等により変更されても良いし、新たな基準が作成されても良い。

表面欠陥の検出結果はディスプレイ２５に表示される。望ましくは、ディスプレイ２５にワーク（車体）の展開図を表示すると共に、展開図の上に表面欠陥の位置と種別が分かるように表示するのが良い。

このように、この実施形態では、カメラから時系列で連続的に取得された複数枚の撮像画像Ａ２１、Ａ２２を複数の領域１〜ｐに分割するとともに、分割された領域１〜ｐ毎に複数枚の画像を合成し、この合成画像に基づいて欠陥検出が行われるから、合成画像には複数の画像の情報が含まれることになる。このため、１つの欠陥候補について多量の情報を用いて欠陥検出を行うことができるから、小さな表面欠陥であっても、過検出、誤検出を抑制しながら高精度で安定した検出を行うことができる。

しかも、ワーク１の移動量に応じて設定された位置ずらし量Ｓで、前の画像Ａ２１の領域１〜ｐに対して後の画像Ａ２２の領域１〜ｐを順にずらした状態で、対応する領域同士の画像が合成されるから、前の画像の領域と後の画像の対応する領域がワーク１の同じ撮像範囲となり、ワーク１の撮像範囲を一致させた状態で複数の画像の合成が可能となる。また、位置ずらし量は分割された領域１〜ｐ毎に設定されるから、分割された全ての領域１〜ｐに一律の位置ずらし量が適用される場合に較べて、撮像範囲の誤差を最小限に抑制することができる。このため、より高精度の表面欠陥の検出を行うことができる。
［２−１］位置ずらし量に関する変形例１
上記の例では、分割した各領域１〜ｐに応じた位置ずらし量Ｓを、各領域１〜ｐの倍率情報と、事前に想定されるおおよその移動速度から、領域１〜ｐ毎に算出したが、各領域１〜ｐに対し複数の位置ずらし量を設定した結果から、位置ずらし量Ｓを設定しても良い。

例えば、各領域１〜ｐに対し、想定される移動速度を含み、遅い速度から速い速度まで複数の条件で位置ずらし量候補を設定する。そして、各位置ずらし量候補を適用してそれぞれ合成画像を作成し、さらに必要に応じて欠陥検出を行い、それらの比較から最も評価の高い位置ずらし量Ｓを採用する。

このように、各領域１〜ｐに対して異なる条件で複数の位置ずらし量候補が設定されるとともに、各位置ずらし量候補で画像を合成したときの比較から、最も評価の高い位置ずらし量候補が、その領域１〜ｐに対する位置ずらし量Ｓとして採用されるから、領域１〜ｐ毎に適した位置ずらし量Ｓを設定することができ、さらに高精度な表面欠陥の検出を行うことができる。
［２−２］位置ずらし量に関する変形例２
領域１〜ｐ毎の位置ずらし量Ｓの設定は次のようにして行われても良い。即ち、図１７のグラフのように、隣り合う画像間のワーク１の移動距離がわかれば、画像上での位置ずれ量が計算できる。前述の例では、あらかじめ想定されるワーク移動速度に基づいて、位置ずらし量を設定した。

合成画像作成時の、各フレーム毎の適切な位置ずらし量は、実際に測定したワーク位置に基づいて決めてもよい。この場合、複数の位置ずらし量から最適な位置ずらし量を選定する手間が省ける。

ワーク位置の測定方法について説明すると次のとおりである。ワーク１あるいはワーク１と同じ動きをする支持部材の同一の部位を、ワーク１の移動方向に複数台並べた位置専用カメラで撮像し、その画像からワークの位置情報を求める。まず、ワーク１に特徴的な穴部があればその穴部、あるいは、ワーク１を保持し移動する台に設置した目印を、ワーク１の位置あるいは速度測定のためのターゲットとする。

ターゲットを検出するために、カメラ８とは別の複数台のカメラを用意する。例えばワーク１の側方からワーク側面を睨むように、ワーク１の進行方向に一列に配置される。複数台の横方向の視野をつなげるとワーク１の全長をカバーするように配置する。カメラからワーク１までの距離、カメラの焦点距離から倍率が計算できる。倍率に基づき、画像上の位置から実際の位置が求められる。各カメラ位置関係が既知で、各カメラの画像情報からワーク１の位置が求められる。

上記複数台カメラからのワーク位置情報を対応付けすることで、欠陥抽出用のカメラ８の画像から適切な位置ずらし量が求められる。例えば、カメラから見たワーク上の距離差が±５ｃｍとなるようにワーク１上に仮想的に分割した領域毎に、ワーク１の移動量に応じた隣り合う画像間の画像上の平均的な移動量を決め、重ね合わせ時の位置ずらし量として合成画像を作成する。
［２−３］位置ずらし量に関する変形例３
変形例２では、ワークの位置を、複数台並べたカメラを用いて求めた。その代わりに、ワーク１あるいはワーク１と同一の動きをする支持部材の同一の部位を、距離センサ、速度センサ、振動センサのいずれか単独、または、それらの組み合わせを含む計測システムで計測し、ワーク位置情報を求めてもよい。

ワーク位置の測定方法について説明する。ワーク１の一部、またはワーク１と同じ動きをする支持部材の同一の部位をターゲットとする。ワーク位置の検出において、「ワーク位置を基準点通過を検知するセンサ＋距離センサ」、または、「基準点通過を検知するセンサ＋速度センサ＋隣り合う画像の撮像時間間隔」を用いる。前者は直接ワーク位置が求まる。後者は、速度センサからの速度情報に撮像間隔を掛け算することで、各画像が撮像されたときのワーク位置を求めることができる。

上記のワーク位置情報を対応付けすることで、欠陥抽出用のカメラ８の画像から適切な位置ずらし量が求められる。例えば、カメラから見たワーク上の距離差が±５ｃｍとなるようにワーク１上に仮想的に分割した領域毎に、ワーク１の移動量に応じた隣り合う画像間の画像上の平均的な移動量を決め、重ね合わせ時の位置ずらし量として合成画像を作成する。
［２−４］フローチャート
ワークの表面検査システムの全体の処理は、図５に示したフローチャートに従って実施される。

図１８は、欠陥検出ＰＣ２２で実行される第３の表面欠陥検出処理の内容を示すフローチャートである。この表面欠陥検出処理は、図５のステップＳ０６の前段処理及びステップＳ０８の後段処理の内容をさらに詳細に示したものである。また、この表面欠陥検出処理は、欠陥検出ＰＣ２２内のプロセッサがハードディスク装置等の内蔵記憶装置に格納された動作プログラムに従って動作することにより実行される。

ステップＳ３１で、マスターＰＣ２１が図５のステップＳ０２で取得した個体情報、およびステップＳ０３で設定されたパラメータの設定や車体上の検査範囲の設定等の初期情報を、マスターＰＣ２１から取得する。

次にステップＳ３２で、カメラ８で撮像された画像Ａ２１、Ａ２２を取得したのち、ステップＳ３３で、各画像Ａ２１、Ａ２２を複数の領域１〜ｐに分割する。一方、ワーク１の位置や移動速度（ステップＳ３４）等に基づいてステップＳ３５で、分割された領域１〜ｐ毎に複数の位置ずらし量候補を設定する。

次いでステップＳ３６で、１つの領域について、複数の位置ずらし量候補で位置をそれぞれずらした複数の画像を合成し、各領域について複数の合成画像候補を作成したのち、ステップＳ３７では、作成された位置ずらし量候補毎の合成画像の比較から、最も評価の高い位置ずらし量候補を、その領域１〜ｐに対する位置ずらし量とし、その位置ずらし量にて領域毎に複数の画像を再度合成して合成画像を作成する。

ステップＳ３８では、合成画像に対して背景除去や二値化等の前処理を実施したのち、ステップＳ３９で欠陥候補を抽出する。このような処理を複数の領域１〜ｐ毎にかつ所定枚数の画像毎に実施することで、ステップＳ４０では、欠陥候補が抽出された多数の欠陥候補画像群を作成したのち、ステップＳ４１に進む。ステップＳ３２〜Ｓ４０が前段処理である。

ステップＳ４１では、車体は検査範囲から退出したかどうかを、マスターＰＣ２１からの情報に基づいて判断する。検査範囲から退出していなければ（ステップＳ４１でＮＯ）、ステップＳ３２に戻り、カメラ８からの画像の取得を続ける。車体が検査範囲から退出していれば（ステップＳ４１でＹＥＳ）、ステップＳ４２で、欠陥候補画像群について欠陥検出処理を行う。ステップＳ４２が後段処理である。欠陥検出後、ステップＳ４３で検出結果をディスプレイ２５等に出力する。

図１９は、表面欠陥検出処理における前段処理である図１８のフローチャートのステップＳ３２〜Ｓ４０の詳細を示すフローチャートであり、図１８のフローチャートと同一の処理については同一のステップ番号を付している。

１つのワーク１が検査範囲に進入し検査範囲から退出するまで、ワーク１を移動させながらカメラ８により連続的に撮像が行われ、欠陥検出ＰＣ２２はステップＳ３２で、撮像１回目の画像から撮像最終回の画像までを取得する。ここでは、撮像ｎ回目の画像から撮像（ｎ+ｍ−１）回目までの画像を使用する場合を例示する。

ステップＳ３３では各画像を例えば領域１〜ｐのｐ個の画像領域に分割する。ステップＳ３５では、ｐ個の領域毎に位置ずらし量候補をそれぞれｑ個設定し、ステップＳ３６では、ｐ個の画像領域毎にｑ個の位置ずらし量候補を適用してｑ個の合成画像候補を作成する。つまり、領域１〜ｐのそれぞれに対して、ｑ個の合成画像が作成される。

ステップＳ３７−１では、領域１〜領域ｐの領域毎に、最も評価値が高い合成画像を選択するとともに、選択した合成画像に対応する位置ずらし両候補を、その画像領域についての位置ずらし量として決定する。

そして、ステップＳ３７−２で、領域１〜ｐの各領域毎に、決定された位置ずらし量を適用して、合成画像を作成する。

その後の前処理（ステップＳ３８）、欠陥候補抽出処理（ステップＳ３９）、欠陥候補画像群作成処理（ステップＳ４０）は、図１８と同様であるので、説明は省略する。
［４］標準偏差画像等の作成
第１の表面欠陥検出処理及び第３の表面欠陥検出処理では、明暗の照明パターンを照射した状態でワークを移動させたときに、カメラ８により時系列に撮像された撮像範囲の重複した複数枚の画像に基づいて、合成対象の複数枚の画像を作成し、これら複数枚の画像を１枚の画像に合成して合成画像とした。この合成画像の一つとして、標準偏差画像等のように統計的なばらつき値を計算して合成した画像が考えられる。

統計的なばらつき値としては、分散、標準偏差、半値幅の少なくともいずれかがある。いずれを計算しても良いが、ここでは、標準偏差を計算して合成する場合について説明する。

標準偏差は、複数枚の画像の対応する画素毎に計算する。図１７は、標準偏差画像の作成処理を示すフローチャートである。なお、図２０及びそれ以降のフローチャートに示される処理は、欠陥検出ＣＰＵが記憶部等に格納された動作プログラムに従って動作することにより実行される。

ステップＳ５１では、合成対象となる元画像（Ｎ枚）を生成し、ステップＳ５２で１枚目の元画像について、画素毎に輝度値（以下、画素値ともいう）の二乗和を計算したのち、ステップＳ５３で画素毎に画素値の和を計算する。１枚目では、二乗和も和計算も１枚目のみの結果となる。

次にステップＳ５４で、次の画像があるかどうかを調べ、あれば（ステップＳ５４でＹＥＳ）、ステップＳ５２に戻り、２枚目の各画素の画素値を二乗して一枚目の対応する各画素値の二乗値に加算する。次に、ステップＳ５３で、２枚目の各画素値を１枚目の対応する各画素値に加算する。

このような処理をＮ枚の画像について順に実施し、Ｎ枚の画像の対応する画素毎に、各画素値の二乗和と各画素値の和が計算される。

Ｎ枚についての上記処理が終了すると（ステップＳ５４でＮＯ）、ステップＳ５５で、ステップＳ５３にて計算した各画素値の和の平均を計算した後、ステップＳ５６で、和の平均の二乗を計算する。

次にステップＳ５７で、ステップＳ５２にて計算した各画素値の二乗和の平均値である二乗平均を計算した後、ステップＳ５７で、分散を｛（二乗平均）−（平均の二乗）｝の式から求める。そして、ステップＳ５９で分散の平方根である標準偏差を求める。

こうして求めた標準偏差を望ましくは正規化し、その結果に基づいて合成画像を作成する。なお、統計的なばらつき値として分散あるいは半値幅を用いる場合も、同様に計算すれば良い。

作成された合成画像に基づいて、表面欠陥の検出処理が行われる。検出処理は、第１の表面欠陥検出処理や第３の表面欠陥検出処理と同様に行えば良い。

このように、複数枚の画像の対応する画素同士を、統計的なばらつき値を計算して合成し、これを全部の画素に適用することで合成画像が作成されるから、合成対象となる画像の枚数が少なくても、欠陥検出のＳ／Ｎ比が高い合成画像を作成でき、この合成画像を用いることで高精度な欠陥検出を行うことができ、不要な欠陥候補の検出を減らし、かつ必要な欠陥の検出の見逃しを防ぐことができる。しかも、最大値や最小値等を用いて合成画像を作成する場合に比べて、コストも安価となる。
［４−１］標準偏差画像に関する他の実施形態１
明暗パターンの照明を行う照明ユニット６のワーク１に対する照度のグラフを図１８に示す。図２１のグラフでは、波形の頂部７１が明帯を示し、底部７２が暗帯を示している。

明帯から暗帯にかけて、または暗帯から明帯にかけての波形の立ち上がり及び立ち下がり部分７３は、実際上は垂直ではなく、傾斜している。立ち上がり及び立ち下がり部分７３のそれぞれ中間点に相当する画像部分では画素値は中間階調となり、ばらつきに影響を与える。

照明パターンの１周期に複数回の撮像を行った場合、たとえば図２１（Ａ）に黒丸印で示したように８回撮像したとすると、得られた８枚の画像における各８個ずつの画素のうち、２つの画素が前記中間点に相当する中間階調の画素値となる可能性が高い。一方、図２１（Ｂ）に黒丸印で示したタイミングで７回撮像したとすると、得られた７枚の画像における各７個ずつの画素のうち、少なくとも１つの画素が前記中間点に相当する中間階調の画素値となる可能性が高い。

前述したように、このような中間階調の画素値はばらつきに影響を与え、欠陥検出精度の低下を招く。そこで、望ましくはこのような中間階調の画素値をばらつき計算のサンプリング候補から排除することで、選択された最適なサンプリング候補に対してのみばらつきの計算を行うのがよい。具体的には、照明パターンの１周期において合成対象となる元画像の枚数が偶数枚のときは、複数の画素の画素値から中間階調の画素値を２つ間引いてばらつきを計算し、元画像の枚数が奇数枚のときは、複数の画素の画素値から中間階調の画素値を１つ間引いてばらつきを計算するのがよい。このように、中間階調の画素値をばらつき計算のサンプリング候補から排除し、選択された最適なサンプリング候補に対してのみばらつきの計算を行うことで、最適なサンプリング候補のみにより統計的なばらつき値の計算が行われ、サンプリング候補から除外された画素の影響を抑制することができるから、合成される画像の枚数が少ない場合であっても、高精度な欠陥検出を行うことができる合成画像の作成が可能となる。

図２２は、中間階調の画素値をばらつき計算のサンプリング候補から排除し、選択された最適なサンプリング候補に対してのみばらつきの計算を行うことで、標準偏差画像を作成する処理を示すフローチャートである。

ステップＳ６１で、複数枚（Ｎ枚）の元画像を生成したのち、ステップＳ６２で、各画像の各画素において、Ｎ枚分の画素値であるサンプリングデータをソートし、中央値の１値（Ｎが奇数）または２値（Ｎが偶数）を除去する。

次いでステップＳ６３で、画素毎に、Ｎ−１個（Ｎが奇数）またはＮ−２個（Ｎが偶数）の値で標準偏差を計算する。

こうして求めた標準偏差を望ましくは正規化し、その結果に基づいて合成画像を作成する。なお、統計的なばらつき値として分散あるいは半値幅を用いる場合も、同様に計算すれば良い。
［４−２］標準偏差画像に関する他の実施形態２
この実施形態においても、照明パターンの１周期に対して複数回（Ｎ回）の撮像を行う。Ｎ回は少ない数でも良い。

この実施形態では、標準偏差画像に関する他の実施形態１の場合と同様に、照明パターンの１周期において合成対象の元画像が奇数枚のときは、画素毎に、Ｎ−１個のサンプリングデータ（画素値）で、偶数枚のときはＮ−２個のサンプリングデータで標準偏差を計算する。つまり、奇数の場合は画素毎にＮ個の画素値の中から選択したＮ−１個の組み合わせ（NＣN−１））で標準偏差を計算し、偶数の場合は画素毎にＮ個の画素値の中から選択したＮ−２個の組み合わせ（NＣN−2））で標準偏差を計算する。そして、画素毎に得られた（NＣN−１））または（NＣN−2））通りの標準偏差の中から、最大の標準偏差をその画素についての標準偏差として決定する（最大値処理）。

以上の処理を図２３のフローチャートに示す。図２３の処理では、合成対象となる元画像の枚数Ｎが奇数である場合を示すが、偶数の場合も同様である。

ステップＳ７１では、合成対象となる元画像（Ｎ枚）を生成し、ステップＳ７２で１枚目の元画像について、画素毎に画素値の二乗和を計算したのち、ステップＳ７３で画素毎に画素値の和を計算する。１枚目では、二乗和も和計算も１枚目のみの結果となる。ステップＳ７４では１枚目の各画素値の二乗値を記憶し、ステップＳ７５では１枚目の各画素値（オリジナル）を記憶しておく。

次にステップＳ７６で、次の画像があるかどうかを調べ、あれば（ステップＳ７６でＹＥＳ）、ステップＳ７２に戻り、２枚目の各画素の画素値を二乗して一枚目の対応する各画素値の二乗値に加算する。次に、ステップＳ７３で、２枚目の各画素値を１枚目の対応する各画素値に加算する。さらに、ステップＳ７４では２枚目の各画素値の二乗値を記憶し、ステップＳ７５では２枚目の各画素値（オリジナル）を記憶しておく。

このような処理をＮ枚の画像について順に実施し、Ｎ枚の画像の対応する画素毎に、各画素値の二乗和と各画素値の和が計算される。また、Ｎ枚それぞれの各画像値の二乗値と画素値（オリジナル）がそれぞれ記憶される。

Ｎ枚についての上記処理が終了すると（ステップＳ７６でＮＯ）、ステップＳ７７で、ｉを変数としてまず１枚目の画像（ｉ＝１）の各画素の二乗値を、ステップＳ７２で計算したＮ枚すべての画像における各画素の画素値の二乗和から差し引いて、画素毎にＮ−１枚分の二乗和を計算する。

次にステップＳ７８で、１枚目の画像の各画素値を、ステップＳ７３で計算したすべての画像における画素値の和から差し引いて、Ｎ−１枚分の和を計算する。ステップＳ７９では、ステップＳ７８にて計算したＮ−１枚分の和の平均を計算した後、ステップＳ８０で、和の平均の二乗を計算する。

次にステップＳ８１で、ステップＳ７７にて計算したＮ−１枚分の二乗和の平均値である二乗平均を計算した後、ステップＳ８２で、分散を｛（二乗平均）−（平均の二乗）｝の式から求める。そして、ステップＳ８３で分散の平方根である標準偏差を求める。

次にステップＳ８４で最大化処理を実施する。ここでは、各画素についての標準偏差はまだ１個しか得られていないから、この値が最大となる。

次にステップＳ８５で、差し引く次の画像があるかどうか、換言すればｉ＝Ｎかどうかを調べ、次の画像があればつまりｉ＝Ｎでなければ（ステップＳ８５でＹＥＳ）、ステップＳ７７に戻り、ｉ＝２を設定し、２枚目の画像の各画素値の二乗和および画素値を差し引いて、同様に標準偏差を計算し、ステップＳ８５で最大化処理を実施する。最大化処理では、１枚目を差し引いた時の標準偏差と２枚目を差し引いた時の標準偏差を比較し、大きい方の標準偏差を採用する。

こうして、ｉ＝Ｎに達するまでつまり１枚目からＮ枚目までの各画像の二乗和および画素値を順に差し引いて、画素毎に標準偏差を計算し、最大の標準偏差をその画素の標準偏差として採用する。

このようにして求めた標準偏差を望ましくは正規化し、その結果に基づいて合成画像を作成する。なお、統計的なばらつき値として分散あるいは半値幅を用いる場合も、同様に計算すれば良い。

この実施形態では、複数の画像から順に所定枚数の画像を計算対象から除外して、各画素の統計的なばらつき値を計算するから、最適なサンプリング候補を容易に選択することができる。しかも、計算されたばらつき値の最大値をその画素についてのばらつき値として採用するから、よりＳ／Ｎ比が高い合成画像を作成できる。

この実施形態では、照明ユニット６とカメラに対しワーク１を所定の速度で相対的に移動させながら、照明ユニット６による明暗パターンの１周期において複数の画像を取得した場合を説明した。

しかし、照明ユニット６のみを、ワーク１とカメラ８に対して相対的に移動させることにより、照明パターンの１周期における複数の画像を取得し、これらの複数の画像に基づいて、標準偏差等のばらつきを計算した合成画像を作成しても良い。

１ ワーク
２ 移動機構
３ 照明フレーム
４ 支持台
６ 照明ユニット
７ カメラフレーム
８ カメラ
２１ マスターＰＣ
２２ 欠陥検出ＰＣ
３０ 仮欠陥候補
４０ 推定座標
２２１ 画像取得部
２２２ 仮欠陥候補抽出部
２２３ 座標推定部
２２４ 欠陥候補決定部
２２５ 画像群作成部
２２６ 画像合成部
２２７ 欠陥検出部

Claims (14)

1. 表面欠陥の検出対象であるワークに対し照明装置による明暗パターンを相対的に移動させた状態で、前記ワークの被測定部位についての複数の画像を取得する画像取得手段と、
   前記画像取得手段により取得された各画像に対する、二値化処理と閾値の適用によって、またはコーナー検出関数の適用によって、画像の特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段によって抽出された各特徴点に対し多次元の特徴量を求めることにより、仮欠陥候補を抽出する仮欠陥候補抽出手段と、
   前記仮欠陥候補抽出手段により仮欠陥候補が抽出された複数の画像のうち、仮欠陥候補が対応する画像が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する欠陥候補決定手段と、
   前記欠陥候補決定手段により決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成する画像合成手段と、
   前記画像合成手段により作成された合成画像に基づいて欠陥検出を行う検出手段と、
   を備えたことを特徴とするワークの表面欠陥検出装置。
2. 前記画像取得手段により取得された各画像を二値化し、輪郭抽出した上で、所定回数の膨張及び収縮を行った画像を引き算して、画像における明暗パターンの境界部分を除去するマスクを作成するゆず肌マスク作成手段を備え、
   前記特徴点抽出手段は、前記ゆず肌マスク作成手段により作成されたマスクを適用した後の各画像の特徴点を抽出する請求項１に記載のワークの表面欠陥検出装置。
3. 前記仮欠陥候補抽出手段は、前記特徴点抽出手段によって抽出された各特徴点に対し、周囲の特定範囲の全画素について、当該画素からの縦横斜め全方向の輝度勾配情報を基に多次元の特徴量を求めることにより仮欠陥候補を抽出する請求項１又は２に記載のワークの表面欠陥検出装置。
4. 前記欠陥候補決定手段は、前記複数の画像のうち、仮欠陥候補の位置が対応する画像が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する請求項１〜３のいずれかに記載のワークの表面欠陥検出装置。
5. 前記仮欠陥候補の位置は仮欠陥候補の座標で表され、
   前記仮欠陥候補抽出手段により抽出された仮欠陥候補の座標を求めるとともに、仮欠陥候補が抽出された画像に後続する複数の画像のそれぞれに対して、前記仮欠陥候補の座標がどの座標に移動するかを演算して推定座標を求める座標推定手段を備え、
   前記欠陥候補決定手段は、前記後続する各画像において、前記座標推定手段により演算された推定座標とその画像における仮欠陥候補とが対応するかどうかを判定し、前記後続する画像のうち、推定座標と仮欠陥候補とが対応する画像が、予め設定された閾値以上存在すれば前記仮欠陥候補を欠陥候補として決定する請求項４に記載のワークの表面欠陥検出装置。
6. 前記欠陥候補決定手段により決定された欠陥候補毎に、該欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像群を作成する画像群作成手段を備え、
   前記画像合成手段は、欠陥候補毎に、前記画像群作成手段により作成された複数の推定領域画像を合成して合成画像を作成する請求項１〜５のいずれかに記載のワークの表面欠陥検出装置。
7. 表面欠陥の検出対象であるワークに対して、明暗パターンの照明光を照射する照明装置と、
   前記照明装置による照明光の前記ワークの被測定部位からの反射光を撮像する撮像手段と、
   前記ワークに対し前記照明装置による明暗パターンを相対的に移動させる移動手段と、
   前記移動手段により、前記ワークに対して前記照明装置の明暗パターンを相対的に移動させながら、前記ワークの被測定部位を撮像するように、前記撮像手段を制御する制御手段と、
   請求項１〜６のいずれかに記載のワークの表面欠陥検出装置と、
   を備え、
   前記画像取得手段は、前記撮像手段から前記ワークの被測定部位についての複数の画像を取得することを特徴とするワークの表面検査システム。
8. 表面欠陥の検出対象であるワークに対し照明装置による明暗パターンを相対的に移動させた状態で、前記ワークの被測定部位についての複数の画像を取得する画像取得ステップと、
   前記画像取得ステップにより取得された各画像に対する、二値化処理と閾値の適用によって、またはコーナー検出関数の適用によって、画像の特徴点を抽出する特徴点抽出ステップと、
   前記特徴点抽出ステップによって抽出された各特徴点に対し多次元の特徴量を求めることにより、仮欠陥候補を抽出する仮欠陥候補抽出ステップと、
   前記仮欠陥候補抽出ステップにより仮欠陥候補が抽出された複数の画像のうち、仮欠陥候補が対応する画像が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する欠陥候補決定ステップと、
   前記欠陥候補決定ステップにより決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成する画像合成ステップと、
   前記画像合成ステップにより作成された合成画像に基づいて欠陥検出を行う検出ステップと、
   をワークの表面欠陥検出装置が実行することを特徴とするワークの表面欠陥検出方法。
9. 前記画像取得ステップにより取得された各画像を二値化し、輪郭抽出した上で、所定回数の膨張及び収縮を行った画像を引き算して、画像における明暗パターンの境界部分を除去するマスクを作成するゆず肌マスク作成ステップを備え、
   前記特徴点抽出ステップでは、前記ゆず肌マスク作成ステップにより作成されたマスクを適用した後の各画像の特徴点を抽出する請求項８に記載のワークの表面欠陥検出方法。
10. 前記仮欠陥候補抽出ステップでは、前記特徴点抽出ステップによって抽出された各特徴点に対し、周囲の特定範囲の全画素について、当該画素からの縦横斜め全方向の輝度勾配情報を基に多次元の特徴量を求めることにより仮欠陥候補を抽出する請求項８又は９に記載のワークの表面欠陥検出方法。
11. 前記欠陥候補決定ステップでは、前記複数の画像のうち、仮欠陥候補の位置が対応する画像が予め設定された閾値以上存在すれば、前記仮欠陥候補を欠陥候補として決定する請求項８〜１０のいずれかに記載のワークの表面欠陥検出方法。
12. 前記仮欠陥候補の位置は仮欠陥候補の座標で表され、
    前記仮欠陥候補抽出ステップにより抽出された仮欠陥候補の座標を求めるとともに、仮欠陥候補が抽出された画像に後続する複数の画像のそれぞれに対して、前記仮欠陥候補の座標がどの座標に移動するかを演算して推定座標を求める座標推定ステップを備え、
    前記欠陥候補決定ステップでは、前記後続する各画像において、前記座標推定ステップにより演算された推定座標とその画像における仮欠陥候補とが対応するかどうかを判定し、前記後続する画像のうち、推定座標と仮欠陥候補とが対応する画像が、予め設定された閾値以上存在すれば前記仮欠陥候補を欠陥候補として決定する請求項１１に記載のワークの表面欠陥検出方法。
13. 前記欠陥候補決定ステップにより決定された欠陥候補毎に、該欠陥候補が含まれている複数の画像の中から、欠陥候補の周りの所定領域を推定領域として切り出して、複数の推定領域画像群を作成する画像群作成ステップを備え、
    前記画像合成ステップでは、欠陥候補毎に、前記画像群作成ステップにより作成された複数の推定領域画像を合成して合成画像を作成する請求項８〜１２のいずれかに記載のワークの表面欠陥検出方法。
14. 請求項８〜１３のいずれかに記載のワークの表面欠陥検出方法をコンピュータに実行させるためのプログラム。

Images