JP2021173530A - 外観検査方法 - Google Patents

Abstract

【課題】従来とは異なる方法によって、複雑な輪郭形状の検査対象であっても簡易にエッジ欠陥を検出することができる外観検査方法を提供する。【解決手段】外観検査方法は、検査物を撮像して検査対象面の輪郭を含む画像データを得るデータ取得工程と、前記画像データにエッジ検出処理を施して、前記検査対象面の輪郭線を抽出する輪郭線抽出工程と、前記輪郭線上の各注目画素について、前記輪郭線上において当該注目画素から前後双方向に所定の画素数だけ離れた前画素および後画素の２つの画素データから当該注目画素における仮想接線の傾きを求める傾き取得工程と、前記傾きの散らばり度合いを求める散らばり度合い取得工程と、前記散らばり度合いからエッジ欠陥の有無を判定する判定工程とを備える。【選択図】図１

Description

本発明は、工業製品等の輪郭上の欠陥を検出する外観検査方法に関する。

近年、工業製品やその機械部品等の生産ラインの外観検査において、カメラと画像処理を用いた自動化が推進されている。外観検査項目の一つに、輪郭上の欠け等の欠陥（以下、適宜「エッジ欠陥」と称する）を検出する項目がある。現状、かかる欠陥検出は、検査物をカメラで撮像し、市販ツールを用いた画像処理により行われている。

例えば、円弧輪郭を有する機械部品が検査対象であり、その円弧部分におけるエッジ欠陥を検出する場合について説明する。
１）一律な曲率を有する円弧輪郭の範囲を輪郭線検出領域に設定するとともに、輪郭線検出領域において円弧輪郭から想定される曲率中心から径方向にのびる検出線を設定する。
２）検出線上にエッジ抽出処理を行い、検出線と円弧輪郭の交点（以下、「エッジ点」と称する）を求める。
３）円弧輪郭に沿うように上記２）の処理を繰り返し行い、複数のエッジ点を求める。
４）複数のエッジ点を通る線（以下、「認識輪郭」と称する）から指定した円弧形状への近似線（以下、「近似輪郭」と称する）を求める。
５）認識輪郭と近似輪郭との検出線方向の距離を求め、この距離が設定閾値以上の場合、エッジ欠陥であると検出する。
また、光学系を利用して、不良個所を特定する外観検査方法も知られている（特許文献１参照）。

特開２０１２−１９８０２６号公報

ところで、自動車や産業機械におけるハウジングは、他部品とボルト締結するためにフランジを有する場合がある。フランジの輪郭は、異なる曲率の円弧部分を複数有する複雑形状である場合が多い。フランジを有するハウジング以外の部品においても、複雑な輪郭形状を有する部品は多種存在する。

フランジ等の複雑な輪郭形状を検査対象とする場合、輪郭線検出領域の設定が面倒であり、その設定自体に時間がかかる。すなわち、異なる曲率毎に区分けして輪郭線検出領域を設定する必要があり、その区分け数だけ設定作業を繰り返す必要がある。また、異なる型番へ対応するためには、型番毎に輪郭線検出領域の修正工数がかかる。

複雑な輪郭形状の検査対象であってもエッジ欠陥の検出が可能なアルゴリズムが求められる。
本発明は、従来とは異なる方法によって、複雑な輪郭形状の検査対象であっても簡易にエッジ欠陥を検出することができる外観検査方法を提供する。

本発明の外観検査方法は、検査物を撮像して検査対象面の輪郭を含む画像データを得るデータ取得工程と、前記画像データにエッジ検出処理を施して、前記検査対象面の輪郭線を抽出する輪郭線抽出工程と、前記輪郭線上の各注目画素について、前記輪郭線上において当該注目画素から前後双方向に所定の画素数だけ離れた前画素および後画素の２つの画素データから当該注目画素における仮想接線の傾きを求める傾き取得工程と、前記傾きの散らばり度合いを求める散らばり度合い取得工程と、前記散らばり度合いからエッジ欠陥の有無を判定する判定工程とを備える。

この外観検査方法では、検査対象面の画像データにエッジ検出処理を施して輪郭線を抽出し、その輪郭線の各画素における接線傾きの散らばり度合いからエッジ欠陥の有無を判定する。すなわち、輪郭を区分けしその都度輪郭線検出領域の設定を繰り返して行うことなく輪郭線を抽出し、その輪郭線情報のみからエッジ欠陥を検出する。したがって、この外観検査方法によれば、複雑な輪郭形状の検査対象であっても簡易にエッジ欠陥を検出することができる。

外観検査装置の構成を示す図である。 外観検査方法を示すフローチャートである。 検査物を撮像カメラで撮像した撮像画像である。 検査物の画像データから抽出した輪郭線上の注目画素における仮想接線の傾きの求め方を説明する図である。 検査物の画像データから抽出した輪郭線上の注目画素における外積の求め方を説明する図である。 輪郭線上の位置と傾き、分散、外積の大きさとの関係を示す図である。

（１．検査対象）
検査対象は特に限定されず、工業製品やその機械部品等とすることができる。輪郭が複雑な製品や部品、例えば異なる曲率の円弧部分を複数有するような製品や部品を検査対象とする場合、以下に説明する外観検査方法が特に有効となる。具体的には、自動車や産業機械を構成する機械部品の取付面等を検査対象とすることができる。例えば、機械部品として、ハウジングにおいて他部品と締結するための取付面は、複雑な輪郭形状を有していることから、検査対象とすると有効である。このようなフランジを有する部品は、例えば、車輪用軸受装置やその機械部品、車両用駆動系部品、ステアリング部品等である。

（２．外観検査装置の構成）
外観検査装置１０の構成について図１を参照して説明する。外観検査装置１０は、撮像カメラ１１と、データ処理装置１２とを備える。

撮像カメラ１１としては、検査対象を撮像した画像を画像データとして出力するＣＣＤカメラ等を用いることができる。

データ処理装置１２は、撮像カメラ１１から出力される画像データを用いて検査対象における欠陥としての凹み欠陥の有無を判定する。データ処理装置１２は、ＣＰＵ等のプロセッサおよび記憶装置を備えている。データ処理装置１２の構成については、以下に、外観検査方法の説明と合わせて説明する。

（３．外観検査方法）
図１に示す外観検査装置１０を用いて、外観検査方法、特に検査対象の輪郭におけるエッジ欠陥としての凹み欠陥の有無を判定する方法について、図１−図６を参照して説明する。外観検査装置１０のデータ処理装置１２は、データ取得工程を実行するデータ取得部２１、輪郭線抽出工程を実行する輪郭線抽出部２２、傾き取得工程を実行する傾き取得部２３、散らばり度合い取得工程を実行する散らばり度合い取得部２４、外積取得工程を実行する外積取得部２５、判定工程を実行する判定部２６を備える。なお、各部２１−２６は、プロセッサにより実行される。

図１および図２に示すように、データ取得部２１により、データ取得工程が実行される（ステップＳ１）。データ取得部２１が、撮像カメラ１１から画像データを取得する。撮像カメラ１１は検査対象としての検査物における検査対象面の輪郭を含むようにその検査物を撮像する。検査物４０は、部品単体としてもよいし、複数の部品により構成される部品群としてもよい。

本例では、検査対象のサンプルとして準備した検査物４０の１つの面全体を検査対象面とした。検査物４０の検査対象面全体を撮像カメラ１１で撮像した画像データを図３に示す。図３に示す画像データは、検査物４０の検査対象面における輪郭のみを示している。ただし、画像データには、検査物４０の検査対象面の他に、検査対象面以外の面が含まれる場合もある。

図３に示す画像データには、検査物４０の検査対象面の外形を表す輪郭４１−４６と、４つのボルト取付孔の内周面を表す輪郭４９とが含まれる。検査物４０の検査対象面の外形を表す輪郭は、円弧部４１、第１側辺部４２、第１角部４３、底辺部４４、第２角部４５、第２側辺部４６を有している。そして、検査物４０の検査対象面の輪郭のうち第１側辺部４２には微小な欠けである凹み欠陥４７が存在している。すなわち、本例では、エッジ欠陥としての微小な凹み欠陥４７を検出するために、外観検査を実行する。

なお、取得した画像データが検査したい輪郭部分を含む検査対象面のみの画像データである場合には、当該画像データそのものを以下の処理に用いることができる。ただし、取得した画像データが、検査対象面以外の面を含む場合には、画像データから検査対象面を抽出する必要がある。検査対象面の抽出は、二値化、ラベリング、面積値等で行うことができる。

続いて、図１および図２に示すように、輪郭線抽出部２２が輪郭線抽出工程を実行する
（ステップＳ２）。輪郭線の抽出は、撮像画像の画像データに対して、Ｃａｎｎｙ法等の一般的なエッジ検出処理を施すことで行うことができる。この処理によれば、仮に検査対象が例えば異なる曲率を複数有するような複雑な輪郭であったとしても、異なる曲率毎に輪郭線検出領域を設定する必要がなく、簡易に輪郭線を抽出することができる。ここで、輪郭線を抽出するとは、検査対象である輪郭に位置する複数の画素群を抽出することを意味する。

また、図３において、検査物４０の検査対象面における検査対象の輪郭線は、検査物４０の外形を表す輪郭４１−４６である。この場合、輪郭線の抽出は、図３に示す画像データから、外形を表す輪郭４１−４６の輪郭線および４つのボルト取付孔の内周面を表す輪郭４９の輪郭線を抽出するようにしてもよいし、外形を表す輪郭４１−４６の輪郭線のみを抽出するようにしてもよい。

続いて、図１および図２に示すように、傾き取得部２３が傾き取得工程を実行する（ステップＳ３）。ステップＳ２で抽出した輪郭線の各画素における接線の傾き（勾配）を求める。図３に示すように、抽出された輪郭線が、外形を表す輪郭４１−４６の輪郭線、および、ボルト取付孔の内周面を表す輪郭４９の輪郭線を含む場合には、傾き取得対象の輪郭線を選択する。例えば、輪郭４１−４６の輪郭線が選択される。

そして、図４に示すように、輪郭線５０上の注目画素５１について、輪郭線５０上において当該注目画素５１から前後双方向に所定の画素数だけ離れた前画素５２および後画素５３の２つの画素データから当該注目画素５１における仮想接線５４の傾きを求める。すなわち、前画素５２および後画素５３の２つの画素データの座標（ｘ₁，ｙ₁）および（ｘ₂，ｙ₂）から、下記式（１）により前画素５２および後画素５３を通る直線５５の傾きｍを求める。そして、直線５５の傾きｍを当該注目画素５１における仮想接線５４の傾きｍとする。なお、画素データの座標は、例えば、画素データの中心座標とする。

ｍ＝Δｙ／Δｘ＝（ｙ₁−ｙ₂）／（ｘ₁−ｘ₂） … （１）

前画素５２および後画素５３は、輪郭線５０上において、注目画素５１から少なくとも２以上の画素数だけ離れた画素を対象とするとよい。つまり、前画素５２および後画素５３は、注目画素５１の隣りの画素ではない。換言すると、注目画素５１と前画素５２との間には、少なくとも１以上の介在画素を有し、注目画素５１と後画素５３との間にも、少なくとも１以上の介在画素を有する。

注目画素５１および前画素５２間の介在画素数Ｐ１と、注目画素５１および後画素５３間の介在画素数Ｐ１は同じとする。この介在画素数Ｐ１は、注目画素５１における曲率の大きさに応じて適宜設定すればよい。注目画素５１における曲率が大きければ介在画素数Ｐ１を少なくし、注目画素５１における曲率が小さければ介在画素数Ｐ１を多くすればよい。ただし、判定工程で散らばり度合いと閾値との比較によりエッジ欠陥を検出することができるように、想定されるエッジ欠陥の大きさに応じて介在画素数Ｐ１は設定される。介在画素数Ｐ１は、例えば３〜２０とすることができる。本例では、介在画素数Ｐ１を４とした。

続いて、図１および図２に示すように、散らばり度合い取得部２４が散らばり度合い取得工程を実行する（ステップＳ４）。ステップＳ３で求めた傾きｍの散らばり度合いとしての分散Ｓ²を求める。分散Ｓ²は、下記式（２）に示すように、平均値と個々の数値の差（偏差）を二乗し、それを算術平均して求める。

本例では、散らばり度合いとして分散Ｓ²を求めたが、散らばり度合いとして分散Ｓ²の代わりに、分散Ｓ²の正の平方根たる標準偏差Ｓを採用してもよい。

続いて、図１および図２に示すように、外積取得部２５が外積取得工程を実行する（ステップＳ５）。ステップＳ２で抽出した輪郭線の各画素における外積を求める。輪郭線上の注目画素について、輪郭線上において当該注目画素並びに当該注目画素から前後双方向に所定の画素数だけ離れた前画素および後画素の３つの画素データから、当該注目画素から前画素に向かうａベクトルと、当該注目画素から後画素に向かうｂベクトルの外積ａ×ｂを求める。

注目画素および前画素間の介在画素数Ｐ２と、注目画素および後画素間の介在画素数Ｐ２は同じとする。この介在画素数Ｐ２は、想定されるエッジ欠陥としての凹み欠陥４７の大きさに応じて設定される。すなわち、凹み欠陥４７の最深部を注目画素としたとき、当該注目画素から介在画素数Ｐ２だけ前方向に離れた前画素が凹み欠陥４７内にあり、かつ、当該注目画素から介在画素数Ｐ２だけ後方向に離れた後画素も凹み欠陥４７内にあるように、介在画素数Ｐ２が設定される。介在画素数Ｐ２は、例えば３〜２０とすることができる。本例では、介在画素数Ｐ２を１０とした。

図５を用いて外積の求め方を説明する。図５は、図３に示す撮像画像において凹み欠陥４７のある部分（図３の点線で囲んだ部分）を拡大したものである。

図５における［１］の注目画素６１は、凹み欠陥４７の第１開口端での画素である。［１］の注目画素６１におけるａ１ベクトルは、注目画素６１から前方向に介在画素数Ｐ２だけ離れた前画素に向かうベクトルである。［１］の注目画素６１におけるｂ１ベクトルは、注目画素６１から後方向に介在画素数Ｐ２だけ離れた後画素に向かうベクトルである。［１］の注目画素６１におけるａ１ベクトルとｂ１ベクトルの外積ａ１×ｂ１は負となる。すなわち、ａ１×ｂ１＜０である。

図５における［２］の注目画素６２は、凹み欠陥４７の最深部での画素である。［２］の注目画素６２におけるａ２ベクトルは、注目画素６２から前方向に介在画素数Ｐ２だけ離れた前画素に向かうベクトルである。［２］の注目画素６２におけるｂ２ベクトルは、注目画素６２から後方向に介在画素数Ｐ２だけ離れた後画素に向かうベクトルである。［２］の注目画素６２におけるａ２ベクトルとｂ２ベクトルの外積ａ２×ｂ２は正となる。すなわち、ａ２×ｂ２＞０である。

図５における［３］の注目画素６３は、凹み欠陥４７の第２開口端での画素である。［３］の注目画素６３におけるａ３ベクトルとｂ３ベクトルの外積ａ３×ｂ３は、［１］の注目画素６１におけるａ１ベクトルとｂ１ベクトルの外積ａ１×ｂ２と同様、負となる。すなわち、ａ３×ｂ３＜０である。

続いて、図１および図２に示すように、判定部２６が判定工程を実行する（ステップＳ６）。図３に示す検査物４０の撮像画像において、円弧部４１の頂点をグラフ開始点４８として図３の右回りに輪郭全体を１周させたとき、傾き取得工程、散らばり度合い取得工程、外積取得工程で取得した傾きデータ、散らばり度合い（分散）データ、外積データを図６にそれぞれ示す。図６の上の図が傾きデータを示し、中間の図が散らばり度合い（分散）データを示し、下の図が外積データを示す。図６の各図において横軸はグラフ開始点４８からの位置を示す。

図６に示すように、傾きが大きく変化して分散が大きくなり、分散が閾値を超えるような箇所が３箇所あった。これらの３箇所が凹み欠陥の候補となる。これにより、分散が大きくなる３箇所に凹み欠陥候補があると判定することができる。

そして、外積データにおいては、これら３箇所の凹み欠陥候補のうち最初の凹み欠陥候補だけが正の外積であり、残りの２箇所の凹み欠陥候補では負の外積であった。これにより、３箇所の凹み欠陥候補のうち最初の凹み欠陥候補が凹み欠陥４７であると判定することができる。そして、外積データにおいて［１］および［３］に示す箇所に凹み欠陥４７の開口端があり、［２］に示す箇所に凹み欠陥４７の最深部があると判定することができる。

また、負の外積となった残りの２箇所の凹み欠陥候補は凹み欠陥ではないと判定することができる。負の外積となった２箇所の凹み欠陥候補はそれぞれ検査物４０の凸角部としての第1角部４３および第２角部４５である。

したがって、この外観検査方法では、輪郭線検出領域を繰り返し設定する面倒な作業を行うことなく、検査対象面の画像データから輪郭線を抽出してエッジ欠陥としての凹み欠陥４７の有無を判定することができる。よって、この外観検査方法によれば、仮に複雑な輪郭形状の検査対象であっても簡易にエッジ欠陥としての凹み欠陥４７を検出することが可能である。

１０：外観検査装置、 １１：撮像カメラ、 １２：データ処理装置、 ２１：データ取得部、 ２２：輪郭線抽出部、 ２３：傾き取得部、 ２４：散らばり度合い取得部、 ２５：外積取得部、 ２６：判定部、 ４０：検査物、 ４７：凹み欠陥、 ５１，６１，６２，６３：注目画素、 ５２：前画素、 ５３：後画素、 ５４：仮想接線、 Ｐ１，Ｐ２：介在画素数、 Ｓ²：分散

Claims (4)

1. 検査物を撮像して検査対象面の輪郭を含む画像データを得るデータ取得工程と、
   前記画像データにエッジ検出処理を施して、前記検査対象面の輪郭線を抽出する輪郭線抽出工程と、
   前記輪郭線上の各注目画素について、前記輪郭線上において当該注目画素から前後双方向に所定の画素数だけ離れた前画素および後画素の２つの画素データから当該注目画素における仮想接線の傾きを求める傾き取得工程と、
   前記傾きの散らばり度合いを求める散らばり度合い取得工程と、
   前記散らばり度合いからエッジ欠陥の有無を判定する判定工程と、
   を備える、外観検査方法。
2. 前記散らばり度合いは分散である請求項１に記載の外観検査方法。
3. 前記輪郭線上の各注目画素について、前記輪郭線上において当該注目画素並びに当該注目画素から前後双方向に所定の画素数だけ離れた前画素および後画素の３つの画素データから外積を求める外積取得工程をさらに備え、
   前記判定工程では、前記外積が負であれば凹み欠陥ではなく、前記外積が正であれば凹み欠陥であると判定する、請求項１または２に記載の外観検査方法。
4. 前記傾き取得工程は、前記注目画素について、前記輪郭線上において前記注目画素から前後双方向に少なくとも２以上の画素数だけ離れた前記前画素および前記後画素の２つの画素データを通る直線の傾きを、当該注目画素における仮想接線の傾きとして求める、請求項１−３の何れか１項に記載の外観検査方法。

Images