JP2023151945A - 検査システムおよび検査方法 - Google Patents
検査システムおよび検査方法 Download PDFInfo
- Publication number
- JP2023151945A JP2023151945A JP2022061829A JP2022061829A JP2023151945A JP 2023151945 A JP2023151945 A JP 2023151945A JP 2022061829 A JP2022061829 A JP 2022061829A JP 2022061829 A JP2022061829 A JP 2022061829A JP 2023151945 A JP2023151945 A JP 2023151945A
- Authority
- JP
- Japan
- Prior art keywords
- image
- brightness value
- event data
- inspection system
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims description 62
- 230000007547 defect Effects 0.000 claims abstract description 83
- 238000005286 illumination Methods 0.000 claims abstract description 80
- 238000003384 imaging method Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 56
- 230000008859 change Effects 0.000 claims abstract description 53
- 238000009826 distribution Methods 0.000 claims description 28
- 230000033001 locomotion Effects 0.000 claims description 17
- 230000002950 deficient Effects 0.000 description 38
- 238000010586 diagram Methods 0.000 description 33
- 230000003287 optical effect Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 230000010363 phase shift Effects 0.000 description 8
- 238000005299 abrasion Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000002924 energy minimization method Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Abstract
Description
本開示は、撮像画像を用いて検査対象物の外観を検査する検査システムおよび検査方法に関する。
画像処理技術を用いて、検査対象物(以下、単に「対象物」と称する)の外観を検査する検査システムが数多く提案されている。多くの検査システムは、対象物を照らすための照明装置、および、その対象物を撮像するための撮像装置を備える。
対象物を撮像するために用いる光学系(「撮像光学系」と称する)には、大別して拡散反射光学系と正反射光学系とがある。拡散反射系を用いて検査対象物の照明および撮像を行う方法としては、暗視野照明法、光切断法、位相シフト法(拡散)、照度差ステレオ法などが知られている。一方、正反射光学系を用いて検査対象物の照明および撮像を行う方法としては、明視野照明法、位相シフト法(正反射)などがある。
たとえば実用新案登録第3197766号公報(特許文献1)には、反射型位相シフト法が開示されている。反射型位相シフト法は、明暗パターン光を、1周期分だけシフトさせながら対象物に照射して、その対象物を撮像する。撮像により得られた画像には縞が見られる。欠陥の有無に応じて輝度変化が異なるので、輝度変化の有無を確認することによって欠陥を検出できる。
上記方法によって検査対象物の表面における欠陥の有無を検査することが提案されている。しかし、検査対象物の表面の状態によっては、上記の撮像光学系を用いた検査が容易ではない。したがって検査対象物の表面の欠陥を高感度で検出することが可能な、新しい検査システムおよび検査方法に対するニーズがある。
上述の通り、撮像光学系は、拡散反射光学系と正反射光学系とに大別できる。拡散反射光学系を用いた撮像方法としては、暗視野照明法、光切断法、位相シフト法(拡散)、照度差ステレオ法などが知られている。一方、正反射光学系を用いて検査対象物の照明および撮像を行う方法としては、明視野照明法、位相シフト法(正反射)などがある。
一例として、従来の撮像光学系により、光沢を有する表面(または鏡面)に形成された打痕を検査する場合の課題を説明する。打痕とは、たとえば、対象物の表面がツール等の部材によって押されることにより形成される表面の凹みである。暗視野照明法の場合、対象物で正反射した照明光が撮像装置のレンズに入らないように、対象物に対して斜め方向から照明して、対象物によって散乱された光を撮像装置により受光する。しかし暗視野照明法では、打痕が検出されるように照明方向の角度を調整することは容易ではない。その理由は、表面に打痕が形成される前後では光の反射角度の変化が小さいことにより、反射率がほとんど変化しないためである。明視野照明法の場合も同様に、打痕が検出されるように照明方向の角度を調整することは容易ではない。
光切断法は、対象物を線状の光で照明する方法である。しかし鏡面に対しては三角測距法に基づく形状計測手法が適用しにくい。したがって光切断法は、鏡面には適用することが困難である。同様の理由により、位相シフト法(拡散)、照度差ステレオ法も鏡面には適用することが困難である。また、位相シフト法(正反射)の場合には、鏡面以外の光沢面に適用することが困難である。
このように、従来から知られているいずれの撮像光学系にも、光沢面(または鏡面)の欠陥を撮像することが困難であるという課題が存在する。したがって検査対象物の表面の欠陥を高感度で検出することが可能な、新しい検査システムおよび検査方法に対するニーズがある。
本開示の目的は、検査対象物の表面の欠陥を精度よく検出することを可能にするためのソリューションを提供することである。
本開示の一例によれば、対象物の表面を検査する検査システムは、移動する対象物を、拡散照明により、明領域と暗領域とを有する照明パターンで照明する照明装置と、照明パターンにより照明され、かつ移動する対象物を撮像する撮像装置とを備える。撮像装置は、画素ごとに輝度値の変化を検出して、輝度値の変化をイベントデータとして出力する、イベントベースの撮像素子を含む。検査システムは、撮像素子からのイベントデータを解析することにより対象物の表面を検査する画像処理部をさらに備える。
上記の開示によれば、明領域と暗領域とを有する照明パターンで照明され、かつ移動する対象物を、イベントベースの撮像素子で撮像する。イベントベースの撮像素子は、上記の照明パターンで照明された対象物の移動によって生じる輝度の変化を検出する。検査対象物の表面に欠陥がある場合、その欠陥の部分と他の部分との間に、輝度値の変化のしかたの差異が生じる。イベントベースの撮像素子は、その輝度値の変化の違いを高感度に検出することができる。したがって、検査対象物の表面の欠陥を精度よく検出することができる。
さらに、上述の開示によれば、検査対象物の表面が光沢を有する面あるいは鏡面であっても、イベントベースの撮像素子を用いることによって、検査対象物の表面における輝度値の変化を精度よく検出することができる。光沢を有する面あるいは鏡面に形成された欠陥を精度よく検出することができる。
さらに、上述の開示によれば、輝度が変化した箇所の画素からイベントデータを選択的に読み出す。したがって、撮像時間を短縮することができる。
「対象物の表面」とは、対象物の面であって、対象物の外部に露出した面である。たとえば対象物が筐体を有する場合、その筐体の外表面が、本開示における「対象物の表面」に相当する。
上述の開示において、画像処理部は、撮像素子からのイベントデータに、画像上での対象物の移動速度および移動方向に応じた動き補償を施して、各画素に対するイベントデータである画素対応イベントデータを生成する。
「イベントデータ」とは、各画素における輝度値の変化をイベントとしてとらえて、変化が起きた画素の座標と各画素の輝度変化値や各画素の輝度変化極性(増加または減少)などを含むデータである。対象物が移動するため、対象物上の同じ部位からの反射光は対象物の移動方向に沿って移動する。撮像素子からのイベントデータに動き補償を施すことにより、対象物上のある部位での輝度の変化を撮像素子の同一の画素におけるイベントデータとして検出することができる。本明細書では、動き補償が施されたイベントデータを「画素対応イベントデータ」と称する。
上述の開示において、画像処理部は、画素対応イベントデータに基づいて輝度値の振幅および画素間の輝度値の位相差を算出する。画像処理部は、輝度値の振幅および位相差に基づいて、対象物の表面の欠陥の有無を判定する。
「輝度値の振幅」とは、輝度の最大値と輝度の最小値との間の差に相当する。なお、撮像素子からイベントデータとして輝度変化値が出力される場合には、画素対応イベントデータにおける輝度変化値から輝度値を計算して振幅を算出することができる。撮像素子からイベントデータとして輝度変化の極性が出力される場合には、画素対応イベントデータの発生回数に基づいて振幅を算出することができる。「輝度値の位相差」は、複数の画素の間での画素対応イベントデータの発生時刻の差に相当する。輝度値の振幅および位相差は、対象物の表面の反射特性を反映する。対象物の表面の一部に欠陥がある場合、その部分の反射特性は、他の正常な部分の反射特性と異なる。したがって、輝度値の振幅および位相差に基づいて、対象物の表面の欠陥の有無を判定することにより、検査対象物の表面の欠陥を精度よく検出することができる。
上述の開示において、画像処理部は、輝度値の振幅および位相差に基づいて、画像の中に欠陥に対応する候補が含まれるか否かを判定し、候補が画像の中に含まれる場合には、画像内の候補の数および分布に基づいて、欠陥の有無を判定する。
ある画素における輝度値の振幅および位相差が、他の画素の振幅および位相差と異なる場合には、その画素は対象物の表面の欠陥を反映していると考えられる。一方、対象物の表面の欠陥はある程度の大きさを有する。候補画素の数と分布とから、欠陥の対象物の表面に欠陥が有るか否かを判定することにより、正確な判定が可能となる。
上述の開示において、画像処理部は、画像内における輝度値の位相差の分布を示す位相差画像を生成する。
位相差は、欠陥の形状を反映する。位相差画像を生成することにより形状欠陥を画像化することができる。
上述の開示において、画像処理部は、画像内における輝度値の振幅の分布を示す反射率画像を生成する。
輝度値の振幅は、対象物の表面の反射率を示す。たとえば対象物の表面が光沢を有する面あるいは鏡面である場合、汚れ、異物、擦れは、対象物の表面の反射率を低下させる。したがって、反射率画像を生成することにより、上記の欠陥を画像化することができる。
上述の開示において、画像処理部は、輝度値の時間変化率を算出して、画像内における輝度値の時間変化率の分布を示す反射角度画像を生成する。
輝度値の時間変化率(傾き)は、対象物の表面における反射角度を示す。たとえば対象物の表面が光沢を有する面あるいは鏡面である場合、打痕、汚れ、異物、擦れは、対象物の表面の反射角度を変化させる。したがって、反射角度画像を生成することにより、上記の欠陥を画像化することができる。
上述の開示において、撮像装置は、照明装置から対象物への光の照射方向に対して正反射方向に配置される。
撮像装置を、照明装置から対象物への光の照射方向に対して正反射方向に配置することにより、光沢を有する面あるいは鏡面に形成された欠陥を検出することができる。
本開示の一例によれば、対象物の表面を検査する検査方法は、照明装置が、移動する対象物を、拡散照明により、明領域と暗領域とを有する照明パターンで照明するステップと、撮像装置が、照明パターンで照明され、かつ移動する対象物を撮像するステップとを備える。撮像装置は、画素ごとに輝度値の変化を検出して、輝度値の変化をイベントデータとして出力する、イベントベースの撮像素子を含む。検査方法は、画像処理部が撮像素子からのイベントデータを解析するステップをさらに備える。
上記の開示によれば、明領域と暗領域とを有する照明パターンで照明され、かつ移動する対象物をイベントベースの撮像素子で撮像する。イベントベースの撮像素子は、上記の照明パターンで照明された対象物の移動によって生じる輝度の変化を検出する。検査対象物の表面に欠陥がある場合、その欠陥の部分と他の部分との間に、輝度値の変化のしかたの差異が生じる。イベントベースの撮像素子は、その輝度値の変化の違いを高感度に検出することができる。したがって、検査対象物の表面の欠陥を精度よく検出することができる。
本開示によれば、検査対象物の表面の欠陥を高感度で検出することができる。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
§1 適用例
図1を参照して、本発明の適用例について説明する。図1は、本実施の形態に係る検査システム1の全体構成を示す概略図である。検査システム1は、対象物2の表面3を検査する。対象物2の表面3は、対象物2の面であって、対象物2の外部に露出した面である。対象物2が筐体を有する場合、その筐体の外表面が、対象物2の表面3に相当する。対象物2は、たとえば生産ラインを流れる工業製品である。対象物2には、たとえば光沢な表面を有する物体、鏡面を有する物体を含むことができる。検査システム1は、例えば生産ラインに組み込まれ、対象物2の表面3の欠陥の有無を検査する。欠陥の種類を例示すると、打痕、線キズ、汚れ、異物の付着、擦れなどがある。なお、本実施の形態では、搬送される対象物2の外観を検査する。
図1を参照して、本発明の適用例について説明する。図1は、本実施の形態に係る検査システム1の全体構成を示す概略図である。検査システム1は、対象物2の表面3を検査する。対象物2の表面3は、対象物2の面であって、対象物2の外部に露出した面である。対象物2が筐体を有する場合、その筐体の外表面が、対象物2の表面3に相当する。対象物2は、たとえば生産ラインを流れる工業製品である。対象物2には、たとえば光沢な表面を有する物体、鏡面を有する物体を含むことができる。検査システム1は、例えば生産ラインに組み込まれ、対象物2の表面3の欠陥の有無を検査する。欠陥の種類を例示すると、打痕、線キズ、汚れ、異物の付着、擦れなどがある。なお、本実施の形態では、搬送される対象物2の外観を検査する。
図1に示されるように、検査システム1は、主要なコンポーネントとして、照明装置10と、撮像装置16と、制御装置18とを備える。
照明装置10は、対象物2を照明するための装置である。制御装置18の制御により、照明装置10は、任意の照明パターンで対象物2を照明することができる。本実施の形態では、照明装置10は、拡散照明により、明領域と暗領域とが境界によって区分けされた矩形状パターンで、移動する対象物2を照明する。
撮像装置16は、対象物2の表面3で反射した光を受光する。本実施の形態では、撮像装置16の光軸の方向が、照明装置10から対象物2の表面3で反射した光の進む方向すなわち正反射方向となるように撮像装置16が配置される。なお、図1には、照明装置10の典型的な配置として、側射照明の配置を示す。しかし、照明装置10の配置は、このように限定されず、たとえば同軸落射照明の配置であってもよい(図19を参照)。
撮像装置16は、レンズなどの光学系に加えて、複数の画素に区画された撮像素子17を含んで構成される。本実施の形態では、撮像素子17として、イベントベースドの撮像素子が適用される。このような撮像装置は、一般にイベントベースドカメラ(Event Based Camera)と呼ばれる。
イベントベースドカメラは、輝度値差分出力カメラである。イベントベースドカメラは、画素の輝度の変化を感知して、変化したデータのみを、画素の座標および時間の情報と組み合わせて出力するように構成されている。イベントベースドカメラは被写体に時間的な変化があった部分の情報のみを画像データ(以下、「イベントデータ」とも称する)として出力する。これにより、高速および低遅延のデータ出力が可能になる。さらにデータサイズが小さくなることから、制御装置18において計算負荷を低減することもできる。
制御装置18は、照明装置10および撮像装置16を制御する。さらに、制御装置18は、撮像装置16から出力されるイベントデータを解析する。制御装置18は、イベントデータの解析結果に基づいて、対象物2の表面3における欠陥の有無を検査する。したがって制御装置18は、画像解析部および外観検査部の機能を担う。
対象物2が光沢な表面あるいは鏡面を有する物体である場合、表面3に照射された光の大部分は正反射する。しかし、表面3に欠陥を有する場合、その欠陥の部分と周囲の部分とでは、反射特性に差が生じるので、その欠陥の部分と他の部分との間に、輝度値の変化のしかたの差異が生じる。本実施の形態では、明領域と暗領域とを有する照明パターンで照明され、かつ移動する対象物2をイベントベースの撮像素子で撮像する。イベントベースドカメラが、画素の輝度の変化を感知することによって、対象物2の表面3の欠陥を高感度で検出することができる。加えて、イベントベースドカメラは、輝度が変化した画素からの情報のみを選択的に読み出す。したがって本実施の形態によれば対象物2の撮影時間を短縮することができる。
§2 具体例
<A.照明装置の例>
図2は、照明装置10の構成を模式的に示した図である。図2に示すように、照明装置10は、発光面11を有する。発光面11には、複数の光源101が二次元に配置され、発光面11は、面状に光を発する。各々の光源101の点灯および消灯を制御することによって、照明装置10は、任意の照明パターンで対象物2を照明することができる。図2では、消灯状態の光源101を、ハッチングを付すことによって示す。
<A.照明装置の例>
図2は、照明装置10の構成を模式的に示した図である。図2に示すように、照明装置10は、発光面11を有する。発光面11には、複数の光源101が二次元に配置され、発光面11は、面状に光を発する。各々の光源101の点灯および消灯を制御することによって、照明装置10は、任意の照明パターンで対象物2を照明することができる。図2では、消灯状態の光源101を、ハッチングを付すことによって示す。
光源101の各々は、たとえば拡散照明である。したがって、照明装置10は、発光面11からの拡散照明によって対象物2を照明することができる。光源101は、点光源であってもよいし、面光源であってもよい。図示の都合上、複数の光源101は、離散的に発光面11に配置されている。しかしながら、二次元状に配置された複数の画素を有する照明装置(たとえば液晶ディスプレイあるいは有機ELディスプレイ等)を照明装置10として適用することも可能である。なお、本実施形態では、照明パターンが固定のパターンでもよいため、発光面11に拡散板と遮光板とが配置されていてもよい。この場合、光源101の各々が必ずしも拡散照明である必要はなく、理想的には、拡散板に対して均一の照度になるように発光面11から光を供給できればよい。拡散板は照明パターンの明領域に相当し、遮光板は照明パターンの暗領域に相当する。
図3は、本実施の形態による照明パターンの例を説明する模式図である。図3(A)に示すように、矩形状の照明パターンにより照明された対象物2を、通常のカメラで撮影した場合、明領域21と暗領域22とが映りこんだ対象物2の像が得られる。図3(A)に示すように、明領域21と暗領域22とは境界23によって区切られる。なお、図を分かりやすくするため、図3(A)では、対象物2の照明状態のみを示し、対象物2以外の背景部の照明状態についての図示は省略している。
図3(A)に示す例では、対象物2の移動方向をX方向とすると、明領域21と暗領域22とが映りこんだ対象物2の像が、画像上をX方向に進むように画像が変化する。
なお、照明パターンの例は図3(A)に示すように限定されるものではない。たとえば照明パターンにおける明領域21と暗領域22との配置が、図3(A)に示す配置とは逆であってもよい。また、照明パターン内に、明領域21と暗領域22との境界23が複数含まれるのでもよい。その場合、輝度値の変化は、後述する図9のグラフで表わされる変化(単調増加)とは逆方向の変化(すなわち単調減少)となる。
また、たとえば暗領域22から明領域21への変化と、その明領域21から次の暗領域22への変化とが含まれる(すなわち境界23が2つ含まれる)ように照明パターンが生成されてもよい。この場合には図9に示した輝度値の変化において、輝度値の増加および輝度値の減少がそれぞれ1回ずつ発生する。制御装置18による処理方法は、それぞれ位相差等の特徴量を求めて、両者を合成(たとえば平均、最大、最小等)することによって特徴量を算出することができる。
あるいは、複数の暗領域22と複数の明領域21とが交互に配置されるように照明パターン20が生成されてもよい。
また、図3(A)に示した例では、境界23が対象物2の移動方向に対して垂直の向きになっているが、たとえば図3(B)~図3(D)に示すように、境界23の方向が対象物2の移動方向(たとえば図3(A)に示すX方向)に対して+45度、-45度等の斜め方向であってもよく、さらにこれらを組み合わせた照明パターンであってもよい。
図3(A)に示した例では、対象物2の移動方向はX方向である。しかしながら対象物2の移動方向は、図3(A)に示すX方向であると限定されない。
<B.制御装置の構成例>
図4は、制御装置18のハードウェア構成の一例を示す図である。図4に示されるように、制御装置18は、CPU(Central Processing Unit)あるいはMPU(Micro-Processing Unit)などのプロセッサ180と、RAM(Random Access Memory)181と、表示コントローラ182と、システムコントローラ183と、I/O(Input Output)コントローラ184と、ハードディスク185と、カメラインターフェイス186と、入力インターフェイス187と、照明コントローラ188と、通信インターフェイス189と、メモリカードインターフェイス190とを含む。これらの各部は、システムコントローラ183を中心として、互いにデータ通信可能に接続される。
図4は、制御装置18のハードウェア構成の一例を示す図である。図4に示されるように、制御装置18は、CPU(Central Processing Unit)あるいはMPU(Micro-Processing Unit)などのプロセッサ180と、RAM(Random Access Memory)181と、表示コントローラ182と、システムコントローラ183と、I/O(Input Output)コントローラ184と、ハードディスク185と、カメラインターフェイス186と、入力インターフェイス187と、照明コントローラ188と、通信インターフェイス189と、メモリカードインターフェイス190とを含む。これらの各部は、システムコントローラ183を中心として、互いにデータ通信可能に接続される。
プロセッサ180は、システムコントローラ183との間でプログラム(コード)などを交換して、これらを所定順序で実行することで、目的の演算処理を実現する。
システムコントローラ183は、プロセッサ180、RAM181、表示コントローラ182、およびI/Oコントローラ184とそれぞれバスを介して接続されており、各部との間でデータ交換などを行うとともに、制御装置18全体の処理を司る。
RAM181は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク185から読み出されたプログラム、撮像装置16から受けた撮像画像、撮像画像に対する処理結果、およびワークデータなどを保持する。
表示コントローラ182は、表示装置5と接続されており、システムコントローラ183からの内部コマンドに従って、各種の情報を表示するための信号を表示装置5へ出力する。一例として、表示装置5は、液晶ディスプレイ、あるいは有機EL(Electro Luminescence)ディスプレイなどを含む。
I/Oコントローラ184は、制御装置18に接続される記録媒体や外部機器との間のデータ交換を制御する。より具体的には、I/Oコントローラ184は、ハードディスク185と、カメラインターフェイス186と、入力インターフェイス187と、通信インターフェイス189と、メモリカードインターフェイス190と接続される。
ハードディスク185は、典型的には、不揮発性の磁気記憶装置であり、プロセッサ180で実行される解析プログラム191などが格納される。このハードディスク185にインストールされる解析プログラム191は、メモリカード6などに格納された状態で流通する。さらに、ハードディスク185には、撮像画像が格納される。なお、ハードディスク185に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。
カメラインターフェイス186は、対象物2を撮像することによって生成された撮像画像を受け付ける入力部に相当し、プロセッサ180と撮像装置16との間のデータ伝送を仲介する。より具体的には、プロセッサ180からカメラインターフェイス186を介して撮像装置16に撮像指示が出力される。これにより、撮像装置16は、被写体を撮像し、カメラインターフェイス186を介して、生成された撮像画像をプロセッサ180に出力する。
入力インターフェイス187は、プロセッサ180とキーボード、マウス、タッチパネル、専用コンソールなどの入力装置7との間のデータ伝送を仲介する。すなわち、入力インターフェイス187は、ユーザが入力装置7を操作することで与えられる操作指令を受け付ける。
照明コントローラ188は、照明装置10と接続されており、システムコントローラ183からのコマンドに従って、照明装置10を制御する(光源101の点灯/消灯を制御する)ための信号を照明装置10へ出力する。
通信インターフェイス189は、プロセッサ180と、図示しない他のパーソナルコンピュータあるいはサーバ装置などとの間のデータ伝送を仲介する。通信インターフェイス189は、典型的には、イーサネット(登録商標)あるいはUSB(Universal Serial Bus)などからなる。なお、後述するように、メモリカード6に格納されたプログラムを制御装置18にインストールする形態に代えて、通信インターフェイス189介して、配信サーバなどからダウンロードしたプログラムを制御装置18にインストールしてもよい。
メモリカードインターフェイス190は、プロセッサ180と記録媒体であるメモリカード6との間のデータ伝送を仲介する。すなわち、メモリカード6には、制御装置18で実行される解析プログラム191などが格納され、メモリカードインターフェイス190は、このメモリカード6から解析プログラム191を読み出す。また、メモリカードインターフェイス190は、プロセッサ180の内部指令に応答して、撮像装置16によって取得された撮像画像および/または制御装置18における処理結果などをメモリカード6へ書き込む。なお、メモリカード6は、たとえばSD(Secure Digital)メモリカード、あるいは、CF(CompactFlash)カードなどといった汎用的な半導体記憶デバイスからなる。
上述のような汎用的なコンピュータアーキテクチャに従う構造を有するコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および/またはタイミングで呼出して処理を実行するものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、OSと協働して処理が実行される場合もある。
さらに、本実施の形態に係る解析プログラム191は、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係る解析プログラム191としては、このような他のプログラムに組み込まれた形態であってもよい。
なお、代替的に、解析プログラム191の実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
<C.反射特性>
本実施の形態について具体的に説明するに先立ち、本実施の形態に係る欠陥の検出に関連する、表面の反射特性について説明する。具体的には、反射特性として、「反射率」および「反射角度」を以下に説明する。なお、下記の説明は、反射率および反射強度の定義の一例であり、本実施の形態を限定することを意図するものではない。
本実施の形態について具体的に説明するに先立ち、本実施の形態に係る欠陥の検出に関連する、表面の反射特性について説明する。具体的には、反射特性として、「反射率」および「反射角度」を以下に説明する。なお、下記の説明は、反射率および反射強度の定義の一例であり、本実施の形態を限定することを意図するものではない。
図5は、反射率を説明する図である。図5において、正常面とは、欠陥がないとみなせる平面である。なお、正常面では光の吸収はないとする。正常面の法線nに対して角度θで入射した光は正常面で反射する。反射光の進行方向(すなわち正反射方向)は、正常面の法線nに対して角度θをなす方向である。
反射光は正反射方向を中心とした強度分布30を有する。強度分布は反射光のエネルギーの空間分布と読み替えても良い。反射率は、入射した光のエネルギーに対する、反射光の強度分布30の積分値の割合と定義される。
図6は、反射角度を説明する図である。図6には、反射方向の角度と反射光の強度との間の関係を表わす特性曲線が示される。なお、反射光の強度は正規化されているものとする。「反射角度」とは、反射光の強度がピーク強度となる角度から、ピーク強度に対してX%(たとえば10%)となる角度までの範囲(図6中のθa)を意味する。なお、反射光の強度がピークとなる角度とは、正反射方向の角度である。
<D.通常のカメラおよびイベントベースドカメラの出力>
図7は、ある時点における、対象物2の特定部位と撮像素子17の画素との間の位置関係の例を示した図である。図7では、撮像素子17の画素40A~40Cと対象物2の特定部位3A~3C(以下「部位3A」等と表記する)とが重なった状態を示す。対象物2が移動するため、撮像素子17の画素40A~40Cと、対象物2の部位3A~3Cとの間の位置関係は時間と共に変化する。
図7は、ある時点における、対象物2の特定部位と撮像素子17の画素との間の位置関係の例を示した図である。図7では、撮像素子17の画素40A~40Cと対象物2の特定部位3A~3C(以下「部位3A」等と表記する)とが重なった状態を示す。対象物2が移動するため、撮像素子17の画素40A~40Cと、対象物2の部位3A~3Cとの間の位置関係は時間と共に変化する。
図8は、図7に示した対象物2の表面の各部位における、高さおよび反射特性の例を示した図である。図8において、高さ情報とは、Z方向(図3に示すX方向およびY方向に垂直な方向)の情報であり、表面3の各部位に対する法線の方向に関する情報である。
正反射光が強い(言い換えると反射角度が狭い)ほど、表面3は高い光沢を有する。一方、正反射光が弱く、拡散光が強く、かつ反射角度が広くなる場合、表面3の光沢が低くなる。図8に示す例では、部位3Bの法線方向は、部位3A,3Cの法線方向に対して傾いている。しかしながら部位3A,3Bの反射特性はほぼ同じである。一方、部位3Cにおける反射角度は、部位3A,3Bにおける反射角度よりも狭い。すなわち、部位3Cは、部位3A,3Bに比べて、より高い光沢を有する。
図9は、図3(A)に示すように対象物が照明され、かつ通常のカメラで対象物2を撮像した場合の対象物2の特定部位の輝度値の変化を示した図である。図9では、図7に示した部位3A~3Cの各々について、時間に対する輝度値の変化が示される。
部位3A,3B,3Cは、最初は暗い状態である。対象物2が移動することにより、境界23が対象物に映りこんだ像を撮像したときに、境界23の像が対象物2上を通過するように見える。したがって、部位3A,3B,3Cの各々の輝度値は、最小値B1から最大値B2へと変化する。
部位3Aの場合、時刻t1において輝度値がB1から上昇し、時刻t2において輝度値が最大値B2に達する。図9に示したグラフにおいて、「振幅」とは、輝度の最大値B2と輝度の最小値B1との間の差であり、対象物の表面の反射率を反映する。
「輝度値の傾き」とは、輝度値の時間変化率である。部位3Aでは、輝度値の傾きはa1(=(B2-B1)/(t2-t1))である。輝度値の傾きは、表面3における対応部位の反射特性(すなわち光沢度)を反映している。すなわち輝度値の傾きが大きいということは、表面の光沢度が高いことを表わす。
部位3Aについて、輝度値のグラフにおける時刻t3は、最小値B1と最大値B2との間の所定の値(たとえば中間値)に達する時刻である。部位3Bの輝度値のグラフにおいて、同様の時刻をt3’と示す。時刻t3’は、時刻t3とは異なる時刻である。本実施形態では、所定の輝度値に達する時刻の画素間の差を「位相差」と称し、Δφで表わす。位相差は、部位3Bの法線が部位3Aの法線に対して傾いていることにより生じる(図6を参照)。たとえば部位3Bが周囲から窪んだ領域である場合に、このような位相差が生じる。
部位3Cについて、時刻t1’において輝度値がB1から上昇し、時刻t2’において輝度値が最大値B2に達する。部位3Cの場合、輝度値の傾きはa2となる。傾きa2は傾きa1よりも大きい。この理由は、部位3Cの反射角度が、部位3Aの反射角度よりも狭いためである。すなわち、図3(A)に示すように対象物が照明され、かつ対象物2が移動した際に、部位3Aに比べて部位3Cでは、明るさがより急峻に変化する。これは部位3Cが部位3Aよりも強い光沢を持つことを意味する。
図10は、図3(A)に示すように対象物が照明され、かつイベントベースドカメラで対象物2を撮像した場合にイベントベースドカメラから出力されるデータを模式的に示した図である。上述の通り、イベントベースドカメラは、画素の輝度が変化したときに、その変化したデータのみを、画素の座標および時間の情報と組み合わせて、イベントデータとして出力する。したがって、部位3A,3B,3Cの各々について、輝度値が元の値から所定の閾値だけ変化したことをトリガーとして、イベントデータが発生する。
各画素に対するイベントデータの発生頻度が輝度値の時間変化率(傾き)に対応する。部位3Aの輝度値のグラフと部位3Cの輝度値のグラフとの対比から理解されるように、輝度値の変化率が大きいほど、単位時間あたりのイベントデータの発生頻度が高くなる。また、部位3Aの輝度値のグラフと部位3Bの輝度値のグラフとの対比から理解されるように、イベントデータの発生時刻には差がある。イベントデータの発生時刻の差は位相差に対応する。
このように、イベントデータの発生頻度および発生時刻は、検査対象物の表面の反射特性とある関係を持つ。本実施の形態では、この関係を利用して対象物の表面における欠陥の有無を検査する。
<E.欠陥の種類>
図11は、本実施の形態において、検出の対象となる欠陥の候補を説明する図である。図11に示すように、欠陥の例として、打痕、線キズ、汚れおよび異物、擦れが挙げられる。
図11は、本実施の形態において、検出の対象となる欠陥の候補を説明する図である。図11に示すように、欠陥の例として、打痕、線キズ、汚れおよび異物、擦れが挙げられる。
打痕51は、ツール50などのような、先端が丸い物体を対象物2の表面3に押し付けることによって形成される、表面3の凹みである。打痕51の形成される前後では表面の反射率は実質的に変化しないものの、反射角度が狭くなりやすい。
線キズ52は、V字形状の断面を有するキズである。線キズは、表面3が削られた状態であり、表面の状態がほとんど変換しないために、線キズ52の形成される前後では表面の反射率および反射角度はほとんど変化しない。
擦れ53は、対象物2の表面3が擦れることによって形成された、ごく浅いキズである。
汚れあるいは異物は、対象物2の表面3に汚れ(あるいは異物)54が付着した状態を指す。
図12は、汚れおよび擦れの各々による、表面の反射率および反射角度の変化を模式的に説明した図である。図11および図12を参照して、擦れの場合、対象物2の表面3による吸収がないため、反射率はほとんど変化しない。一方、反射強度の分布が空間的に少し広がる。このため、反射角度は、擦れの無い状態の反射角度から少し広がる。したがって図12に示した角度θbは、図6に示した角度θaよりも大きい。
対象物2の表面3に汚れ(あるいは異物)が付着した場合、その汚れによって反射強度の分布は、より空間的に広がる。さらに、入射した光のエネルギーの一部が汚れによって吸収される。このため反射率が低下するとともに反射角度が広がる。図12に示した角度θcは、角度θbよりも大きい。なお、汚れが対象物2の表面3に付着した場合、その汚れの位置における入射光の反射は、拡散反射に近い反射とみなすことができる。
<F.欠陥の検査>
図13は、本実施の形態によるデータ解析処理の基本的な流れを説明するフローチャートである。主として、図1に示す制御装置18が解析プログラムを実行する。これにより図13に示す処理が実行される。
図13は、本実施の形態によるデータ解析処理の基本的な流れを説明するフローチャートである。主として、図1に示す制御装置18が解析プログラムを実行する。これにより図13に示す処理が実行される。
照明装置10が、移動する対象物2を、拡散照明により、矩形状の照明パターンで照明する。撮像装置16(イベントベースドカメラ)は、照明パターンにより照明され、かつ移動する対象物2を撮像する。制御装置18は、撮像装置16(イベントベースドカメラ)から出力されるイベントデータ(図10を参照)を受信する(ステップS10)。
対象物2が移動するため、対象物2上の同じ部位からの反射光は対象物2の移動方向に沿って移動する。このため、対象物2上のある部位での輝度の変化が、撮像素子17の同一の画素におけるイベントデータとして検出されるように、制御装置18は、撮像素子17から出力されるイベントデータに対して動き補償を行う(ステップS11)。
動き補償の方法は特に限定されない。たとえば制御装置18は、対象物2の搬送速度(対象物2の移動速度)と、撮像素子17のワーキングディスタンスとから、画像上での移動速度および移動方向を算出して、その算出結果に基づいて画素列を生成することができる。なお、対象物2の搬送速度の検出には公知の装置および方法を適用することができる。対象物を搬送させるライン(たとえばベルトコンベア)にはモータが用いられるのが一般的である。したがって、ロータリエンコーダ等によってモータの回転速度を検出することにより、対象物2の搬送速度を検出することができる。
あるいは、制御装置18は、対象物2の撮像画像から、対象物2の特徴点(たとえば対象物2の角あるいはエッジ等)を検出し写像関数を求めてもよい。制御装置18は、その写像関数を用いて、イベントデータに対して動き補償を行ってもよい。たとえば、4つの特徴点が得られた場合には、制御装置18は、それらの特徴点から射影変換を行ってもよい。
あるいは、制御装置18は、エネルギー最小化の手法を用いて写像関数を求めてもよい。たとえば移動ベクトルが空間方向および時系列方向に滑らかであること、および、移動ベクトル上の時系列データが時間方向に滑らかであることをエネルギー関数に反映して、そのエネルギーが最小となる解を、反復法等の手法によって算出してもよい。
制御装置18は、動き補償後のイベントデータ、すなわち「画素対応イベントデータ」に基づいて各画素の輝度値の位相、振幅および傾きを算出する。具体的には、撮像素子17からのイベントデータとして輝度変化の極性が出力される場合、制御装置18は、画素対応イベントデータの発生回数に基づいて輝度値の振幅を算出するとともに、画素対応イベントデータの発生タイミングに基づいて各画素の位相を算出する(ステップS12)。ただし、各画素の輝度値の位相、振幅および傾きの算出方法は、このように限定されるものではない。撮像素子17からのイベントデータとして、時刻t、座標(x,y)、輝度変化量p、を出力するタイプのカメラが撮像装置16に適用されてもよい。このような場合、制御装置18は、画素対応イベントデータの輝度変化値から輝度値を計算して輝度値の振幅を算出する。
次に、制御装置18は、各画素の輝度値の位相について、その周囲の画素の輝度値の位相との間の差分を求める(ステップS13)。たとえば、ある画素と、その画素に上、下、左、右に隣接する画素との間で輝度値の位相差が求められる。
互いに隣接する2つの画素の間の位相差を求めることは、位相の変化の一次微分を求めることと等価とみなすことができる。なお、位相差を求める方法は、上記のように限定されない。たとえば、二次微分を用いて位相差を求めてもよい。あるいは位相画像を生成し、その画像データに対して空間フィルタを適用することにより、位相空間内での位相差を求めるのでもよい。
次に、制御装置18は、欠陥画素の候補を求める(ステップS14)。具体的には、制御装置18は、輝度値の振幅および位相差に基づいて、画像の中に欠陥に対応する候補が含まれるか否かを判定する。制御装置18は、振幅がその閾値以上であり、かつ位相の差分の絶対値がその閾値以上となる画素を、欠陥画素候補とする。
欠陥画素候補が画像の中に含まれる場合、制御装置18は、欠陥画素が高い頻度で出現する画像領域を欠陥領域と判定する(ステップS15)。「画像領域」とは、所定の大きさに区画された撮像装置16の撮像領域のうちの1つの撮像領域である。「頻度」とは、たとえば画像領域内の画素のうち欠陥画素の割合である。制御装置18は、頻度をその閾値と比較することにより、欠陥領域の有無を判定することができる。
欠陥領域が画像の中に含まれる場合、制御装置18は、その欠陥領域の面積が閾値以上であり、かつ、欠陥領域の個数も閾値以上であるかどうかを判定する(ステップS16)。この処理は、欠陥の判定基準を満たすかどうかを判定する処理である。欠陥領域の面積が閾値未満である、または欠陥領域の個数が閾値未満である場合(ステップS16においてNO)、制御装置18は、対象物2の表面に欠陥がないと判定する。したがって、外観検査の結果は「OK」となる(ステップS17)。
一方、欠陥領域の面積が閾値以上であり、かつ、欠陥領域の個数も閾値以上である場合(ステップS16においてYES)、制御装置18は、対象物2の表面に欠陥があると判定する。したがって、外観検査の結果は「NG」となる(ステップS18)。
ある画素における輝度値の振幅および位相差が、他の画素の振幅および位相差と異なる場合には、その画素は対象物の表面の欠陥を反映していると考えられる。一方、対象物の表面の欠陥はある程度の大きさを有する。候補画素の数と分布とから、欠陥の対象物の表面に欠陥が有るか否かを判定することにより、正確な判定が可能となる。
<G.表示処理>
図13に示した画像処理の結果をユーザに表示する処理が追加されてもよい。画像処理の結果をユーザに表示するため、制御装置18は、画像処理の結果をユーザに提供するための画像を生成する。この処理は、図13に示したステップS17の処理の次、またはステップS18の処理の次に実行されてもよい。
図13に示した画像処理の結果をユーザに表示する処理が追加されてもよい。画像処理の結果をユーザに表示するため、制御装置18は、画像処理の結果をユーザに提供するための画像を生成する。この処理は、図13に示したステップS17の処理の次、またはステップS18の処理の次に実行されてもよい。
図14は、本実施の形態による表示処理の流れを説明するフローチャートである。主として、図1に示す制御装置18が解析プログラムを実行することにより、図14に示した処理が実行される。
制御装置18は、撮像した画像に含まれる各画素間の輝度値の位相差に基づいて形状画像を生成する(ステップS21)。形状画像とは、画像内の画素間の位相差の分布を示す画像である。
同様に、制御装置18は、各画素の振幅に基づいて、画像内の各画素の輝度値の振幅の反射率画像を生成する(ステップS22)。制御装置18は、画像内の画素の各画素の輝度値の傾きに基づいて反射角度画像を生成する(ステップS23)。なお、形状画像(位相差画像)、反射率画像および反射角度画像を生成する順序は上記のように限定されるものではなく、任意の順序でこれらの画像を生成することができる。あるいは、形状画像、反射率画像および反射角度画像が同時に生成されてもよい。
制御装置18は、生成した画像を表示装置5(図4を参照)に表示する(ステップS23)。制御装置18は、形状画像(位相差画像)、反射率画像および反射角度画像のすべてを表示装置5に表示させてもよい。あるいは、制御装置18は、形状画像(位相差画像)、反射率画像および反射角度画像のうち、ユーザによって選択された画像のみを表示装置5に表示させてもよい。
図15は、本実施の形態による画像処理の対象となる対象物の表面を例示した図である。図15を参照して、対象物2の表面3は、光沢を有する面であり、たとえば反射角度をもつ金属面である。図15では、表面3の欠陥として、打痕51、線キズ52、擦れ53および汚れ(または異物)54を示す。
図16は、図15に示した対象物の画像データから生成された形状画像(位相差画像)を示した図である。図16を参照して、形状画像61は、位相差の大きさに応じた濃淡値を有する濃淡画像となる。形状画像において明るく表示される領域は、イベントベースドカメラで撮像した対象物2の表面3のうち、位相の変化が大きい領域である。イベントベースドカメラで撮像した画像では、打痕51および線キズ52によって、画素間での輝度値の位相の変化が大きくなる。したがって、打痕51を表わす欠陥領域62、および線キズ52を表わす欠陥領域63が形状画像61の中に現れる。このように、形状画像を生成することによって、打痕51および線キズ52のような形状欠陥を視覚化することができる。
図17は、図15に示した対象物の画像データから生成された反射率画像を示した図である。図17を参照して、反射率画像64は、反射率の大きさに応じた濃淡値を有する濃淡画像となる。反射率画像64において明るく表示される領域は、対象物2の表面3のうち反射率の高い領域である。一方、反射率画像64において暗く表示される領域は、対象物2の表面3のうち反射率の低い領域である。汚れ(異物)54が表面に付着した場合、その部分では、表面3の反射率が低下する。したがって、汚れ54を表わす欠陥領域65が反射率画像64の中に現れる。なお、擦れ53により反射率の低下が大きい場合(たとえば擦れ53の領域が大きい場合)には、擦れ53を表わす欠陥領域が反射率画像64の中に現れる確率が高くなる。したがって、擦れの程度によっては、反射率画像64により擦れ53を検出することも可能である。
図18は、図15に示した対象物の画像データから生成された反射角度画像を示した図である。図18を参照して、反射角度画像66は、反射角度の大きさに応じた濃淡値を有する濃淡画像となる。反射角度画像66において明るく表示される領域は、イベントベースドカメラで撮像した対象物2の表面3のうち、反射角度の狭い領域である。すなわち、表面3のうち光沢の強い領域が反射角度画像66において明るく表示される。一方、反射角度画像において暗く表示される領域は、イベントベースドカメラで撮像した対象物2の表面3のうち反射角度の広い領域であり、光沢の弱い領域である。
対象物2の表面3に打痕51が形成された場合、表面3の反射角度が狭くなる。これにより、反射角度画像66において、打痕51に対応する欠陥領域67が明るく表示される。一方、擦れ53あるいは汚れ(異物)54の場合、表面3の反射角度が広がるため、反射角度画像66では、擦れ53に対応する欠陥領域68、および、汚れ54に対応する欠陥領域69が、暗く表示される。なお、擦れ53に比べて汚れ54のほうが反射角度の広がりが大きい。このため反射角度画像66において、欠陥領域68よりも欠陥領域69のほうが暗く表示される。
<H.検査システムの他の構成例>
本実施の形態に係る検査システム1は、上記のように限定されるものではない。以下に、本実施の形態に適用しうる種々の構成例を説明する。
本実施の形態に係る検査システム1は、上記のように限定されるものではない。以下に、本実施の形態に適用しうる種々の構成例を説明する。
図19は、本実施の形態に係る検査システムの他の構成例を示した図である。図19を参照して、検査システム1Aは、同軸光学系を有する点において、図1に示した検査システム1と相違する。すなわち、図19では、同軸落射照明のための構成が示される。
具体的には、検査システム1Aは、照明装置10に替えて照明装置10Aを備える。照明装置10Aは、光源12と、ハーフミラー13とを備える。光源12から発せられる光の光軸が対象物2の表面3の法線に対して直交するように光源12が配置される。ハーフミラー13は、光源12から発光された光を対象物2に向けるために、発光された光の光軸とハーフミラー13の反射面とのなす角度が45度となるように配置される。これにより、光源12から発せられた光は、ハーフミラー13で反射して、対象物2の表面3の法線方向から対象物2を照らす。
対象物2からの反射光は、対象物2の表面3の法線の方向に進む。撮像装置16は、撮像装置16の光軸とハーフミラー13のなす角度が45度となるように配置される。これによって対象物2からの反射光は、ハーフミラー13を透過して撮像装置16に入射する。このように、対象物2への入射光と対象物2からの反射光とが同軸となるように撮像光学系を配置してもよい。
図20は、本実施の形態によるデータ解析処理の第1の変形例を説明するフローチャートである。図20に示したフローチャートは、ステップS19の処理がステップS18の後に追加される点において、図13に示したフローチャートと異なる。したがって、図19では、特に、図13のフローチャートと相違する点を示している。
ステップS16において、制御装置18は、欠陥領域の面積が閾値以上であり、かつ、欠陥領域の個数も閾値以上であるかどうかを判定する。制御装置18は、ステップS18において対象物2の表面に欠陥があると判定する。この場合、制御装置18は、ステップS19において、欠陥領域の情報を出力する。欠陥領域の情報は特に限定されないが、たとえば、欠陥領域の座標位置、欠陥領域の面積、欠陥領域の個数を含みうる。これにより、ユーザは、欠陥の種類に加え、欠陥の位置、欠陥のサイズ、欠陥の数など、対象物2の表面3の欠陥に関するより多くの情報を取得することができる。
図21は、本実施の形態によるデータ解析処理の第2の変形例を説明するフローチャートである。図21に示したフローチャートは、ステップS20,S21の処理がステップS18の後に追加される点において、図13に示したフローチャートと異なる。したがって、図21では、特に、図13のフローチャートと相違する点を示している。ステップS20において、各画素の輝度の変化の傾きから光沢度を推定する。各画素の輝度の変化の傾きはステップS12の処理によって求められるので説明は繰り返さない。
ステップS21において、制御装置18は、光沢度を閾値と比較して欠陥の種類を推定する。上記の通り、輝度の変化の傾きは、反射角度に関連する。欠陥の種類に応じて、反射角度が広がる、あるいは狭くなる。すなわち、欠陥の種類に応じて光沢度が高くなる、あるいは低くなる。したがって、光沢度の閾値を適切に定めることによって、欠陥の種類を制御装置18により特定することができる。
図14に示したフローチャートの場合、欠陥の種類の判別は、画像処理によって生成された画像に基づいてユーザが実行する。図20に示されたフローチャートを実行することにより、制御装置18が欠陥の種類を自動的に判別することができる。なお、図21に示したフローにおいて、ステップS18の処理の後の適切な段階において、図20に示したステップS19の処理が追加されてもよい。
図22は、本実施の形態による欠陥判定のための他の構成例を示した図である。図22を参照して、制御装置18は、解析プログラム191Aおよび学習モデル192を格納したハードディスク185Aを有する。なお、図20には、欠陥判定のための主要な構成要素として、プロセッサ180、RAM181およびハードディスク185Aのみを示す。制御装置18の他の部分の構成は、図4に示した制御装置18の対応する部分の構成と同じであるので説明は繰り返さない。
学習モデル192は、撮像装置16(イベントベースドカメラ)から出力されるイベントデータを機械学習することによって欠陥の有無を判定するように訓練された、学習済みの推定モデルである。学習モデル192は、たとえばニューラルネットワーク(たとえば回帰型ニューラルネットワーク)を用いることで、ディープラーニングを行うのでもよい。学習モデル192を学習させるため、たとえば、教師あり学習のアルゴリズムが用いられる。撮像装置16(イベントベースドカメラ)の出力に対して動き補償を行った後のデータ(画素対応イベントデータ)を学習モデル192の機械学習のためのデータに用いてもよい。
対象品の検査時において、プロセッサ180は、学習モデル192を参照して、撮像装置16からのイベントデータに基づいて欠陥の有無を判定する。学習モデル192は、画素ごとに欠陥の有無を判定するように訓練されていてもよい。あるいは学習モデル192は、画像全体または、一定の大きさの画像領域を入力として欠陥の有無を判定するように訓練されていてもよい。
§3 付記
以上のように、本実施の形態は以下のような開示を含む。
以上のように、本実施の形態は以下のような開示を含む。
(構成1)
対象物(2)の表面(3)を検査する検査システム(1,1A)であって、
移動する対象物(2)を、拡散照明により、明領域と暗領域とを有する照明パターンで照明する照明装置(10,10A)と、
照明パターンにより照明され、かつ移動する対象物(2)を撮像する撮像装置(16)とを備え、撮像装置(16)は、
画素ごとに輝度値の変化を検出して、輝度値の変化をイベントデータとして出力する、イベントベースの撮像素子(17)を含み、
撮像素子(17)からのイベントデータを解析することにより対象物(2)の表面(3)を検査する画像処理部(18)をさらに備える、検査システム(1,1A)。
対象物(2)の表面(3)を検査する検査システム(1,1A)であって、
移動する対象物(2)を、拡散照明により、明領域と暗領域とを有する照明パターンで照明する照明装置(10,10A)と、
照明パターンにより照明され、かつ移動する対象物(2)を撮像する撮像装置(16)とを備え、撮像装置(16)は、
画素ごとに輝度値の変化を検出して、輝度値の変化をイベントデータとして出力する、イベントベースの撮像素子(17)を含み、
撮像素子(17)からのイベントデータを解析することにより対象物(2)の表面(3)を検査する画像処理部(18)をさらに備える、検査システム(1,1A)。
(構成2)
画像処理部(18)は、撮像素子(17)からのイベントデータに、画像上での対象物の移動速度および移動方向に応じた動き補償を施して、各画素に対するイベントデータである画素対応イベントデータを生成する、構成1に記載の検査システム(1,1A)。
画像処理部(18)は、撮像素子(17)からのイベントデータに、画像上での対象物の移動速度および移動方向に応じた動き補償を施して、各画素に対するイベントデータである画素対応イベントデータを生成する、構成1に記載の検査システム(1,1A)。
(構成3)
画像処理部(18)は、
画素対応イベントデータに基づいて輝度値の振幅および画素間の輝度値の位相差を算出して、輝度値の振幅および位相差に基づいて、対象物(2)の表面(3)の欠陥の有無を判定する、構成1に記載の検査システム(1,1A)。
画像処理部(18)は、
画素対応イベントデータに基づいて輝度値の振幅および画素間の輝度値の位相差を算出して、輝度値の振幅および位相差に基づいて、対象物(2)の表面(3)の欠陥の有無を判定する、構成1に記載の検査システム(1,1A)。
(構成4)
画像処理部(18)は、輝度値の振幅および位相差に基づいて、画像の中に欠陥に対応する候補が含まれるか否かを判定し、候補が画像の中に含まれる場合には、候補の数および分布に基づいて、欠陥の有無を判定する、構成3に記載の検査システム(1,1A)。
画像処理部(18)は、輝度値の振幅および位相差に基づいて、画像の中に欠陥に対応する候補が含まれるか否かを判定し、候補が画像の中に含まれる場合には、候補の数および分布に基づいて、欠陥の有無を判定する、構成3に記載の検査システム(1,1A)。
(構成5)
画像処理部(18)は、画像内における輝度値の位相差の分布を示す位相差画像(61)を生成する、構成3または構成4に記載の検査システム(1,1A)。
画像処理部(18)は、画像内における輝度値の位相差の分布を示す位相差画像(61)を生成する、構成3または構成4に記載の検査システム(1,1A)。
(構成6)
画像処理部(18)は、画像内における輝度値の振幅の分布を示す反射率画像(64)を生成する、構成3または構成4に記載の検査システム(1,1A)。
画像処理部(18)は、画像内における輝度値の振幅の分布を示す反射率画像(64)を生成する、構成3または構成4に記載の検査システム(1,1A)。
(構成7)
画像処理部(18)は、輝度値の時間変化率を算出して、画像内における輝度値の時間変化率の分布を示す反射角度画像(66)を生成する、構成3または構成4に記載の検査システム(1,1A)。
画像処理部(18)は、輝度値の時間変化率を算出して、画像内における輝度値の時間変化率の分布を示す反射角度画像(66)を生成する、構成3または構成4に記載の検査システム(1,1A)。
(構成8)
撮像装置(16)は、照明装置(10)から対象物(2)への光の照射方向に対して正反射方向に配置される、構成1から構成7のいずれか1つに記載の検査システム(1,1A)。
撮像装置(16)は、照明装置(10)から対象物(2)への光の照射方向に対して正反射方向に配置される、構成1から構成7のいずれか1つに記載の検査システム(1,1A)。
(構成9)
対象物(2)の表面(3)を検査する検査方法であって、
照明装置(10,10A)が、移動する対象物(2)を、拡散照明により、明領域(21)と暗領域(22)とを有する照明パターンで照明するステップ(S11)と、
撮像装置(16)が、照明パターンで照明され、かつ移動する対象物(2)を撮像するステップ(S11)とを備え、撮像装置(16)は、画素ごとに輝度値の変化を検出して、輝度値の変化をイベントデータとして出力する、イベントベースの撮像素子(17)を含み、
画像処理部(18)が撮像素子(17)からのイベントデータを解析するステップ(S11~S21)とを備える、検査方法。
対象物(2)の表面(3)を検査する検査方法であって、
照明装置(10,10A)が、移動する対象物(2)を、拡散照明により、明領域(21)と暗領域(22)とを有する照明パターンで照明するステップ(S11)と、
撮像装置(16)が、照明パターンで照明され、かつ移動する対象物(2)を撮像するステップ(S11)とを備え、撮像装置(16)は、画素ごとに輝度値の変化を検出して、輝度値の変化をイベントデータとして出力する、イベントベースの撮像素子(17)を含み、
画像処理部(18)が撮像素子(17)からのイベントデータを解析するステップ(S11~S21)とを備える、検査方法。
(構成10)
解析するステップ(S11~S21)に先立って、撮像素子(17)からのイベントデータに、画像上での対象物(2)の移動速度および移動方向に応じた動き補償を施して、各画素に対するイベントデータである画素対応イベントデータを生成するステップ(S10)をさらに備える、構成9に記載の検査方法。
解析するステップ(S11~S21)に先立って、撮像素子(17)からのイベントデータに、画像上での対象物(2)の移動速度および移動方向に応じた動き補償を施して、各画素に対するイベントデータである画素対応イベントデータを生成するステップ(S10)をさらに備える、構成9に記載の検査方法。
(構成11)
解析するステップ(S11~S21)は、
画像処理部(18)が、画素対応イベントデータに基づいて輝度値の振幅および画素間の輝度値の位相差を算出するステップ(S12)と、
画像処理部(18)が、輝度値の振幅および位相差に基づいて、対象物(2)の表面(3)の欠陥の有無を判定するステップ(S14~S18)とを含む、構成10に記載の検査方法。
解析するステップ(S11~S21)は、
画像処理部(18)が、画素対応イベントデータに基づいて輝度値の振幅および画素間の輝度値の位相差を算出するステップ(S12)と、
画像処理部(18)が、輝度値の振幅および位相差に基づいて、対象物(2)の表面(3)の欠陥の有無を判定するステップ(S14~S18)とを含む、構成10に記載の検査方法。
(構成12)
表面(3)の欠陥の有無を判定するステップ(S14~S18)は、
輝度値の振幅および位相差に基づいて、画像の中に欠陥に対応する候補が含まれるか否かを判定するステップ(S14)と、
画像の中に欠陥に対応する候補が含まれる場合に、画像内の候補の数および分布を求めるステップ(S15)と、
候補の数および分布に基づいて、画像の中の欠陥領域を特定するステップ(S15)と、
欠陥領域の数および欠陥領域の面積が、欠陥の判定基準を満たすかどうかを判定するステップ(S16)とを含む、構成11に記載の検査方法。
表面(3)の欠陥の有無を判定するステップ(S14~S18)は、
輝度値の振幅および位相差に基づいて、画像の中に欠陥に対応する候補が含まれるか否かを判定するステップ(S14)と、
画像の中に欠陥に対応する候補が含まれる場合に、画像内の候補の数および分布を求めるステップ(S15)と、
候補の数および分布に基づいて、画像の中の欠陥領域を特定するステップ(S15)と、
欠陥領域の数および欠陥領域の面積が、欠陥の判定基準を満たすかどうかを判定するステップ(S16)とを含む、構成11に記載の検査方法。
(構成13)
画像処理部(18)が、画像内における輝度値の位相差の分布を示す位相差画像(61)を生成するステップ(S21)をさらに備える、構成11または構成12に記載の検査方法。
画像処理部(18)が、画像内における輝度値の位相差の分布を示す位相差画像(61)を生成するステップ(S21)をさらに備える、構成11または構成12に記載の検査方法。
(構成14)
画像処理部(18)が、画像内における輝度値の振幅の分布を示す反射率画像(64)を生成するステップ(S22)をさらに備える、構成11または構成12に記載の検査方法。
画像処理部(18)が、画像内における輝度値の振幅の分布を示す反射率画像(64)を生成するステップ(S22)をさらに備える、構成11または構成12に記載の検査方法。
(構成15)
画像処理部(18)が、輝度値の時間変化率を算出するステップ(S12)と、
画像処理部(18)が、画像内における輝度値の時間変化率の分布を示す反射角度画像(66)を生成するステップ(S23)とをさらに備える、構成11または構成12に記載の検査方法。
画像処理部(18)が、輝度値の時間変化率を算出するステップ(S12)と、
画像処理部(18)が、画像内における輝度値の時間変化率の分布を示す反射角度画像(66)を生成するステップ(S23)とをさらに備える、構成11または構成12に記載の検査方法。
本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1,1A 検査システム、2 対象物、3 表面、3A,3B,3C 部位、5 表示装置、6 メモリカード、7 入力装置、10,10A 照明装置、11 発光面、12,101 光源、13 ハーフミラー、16 撮像装置、17 撮像素子、18 制御装置、21 明領域、22 暗領域、23 境界、30 強度分布、40 画像データ、40A,40B,40C 画素、50 ツール、51 打痕、52 線キズ、53 擦れ、54 汚れ(異物)、61 形状画像、62,63,65,67,68,69 欠陥領域、64 反射率画像、66 反射角度画像、180 プロセッサ、181 RAM、182 表示コントローラ、183 システムコントローラ、184 I/Oコントローラ、185,185A ハードディスク、186 カメラインターフェイス、187 入力インターフェイス、188 照明コントローラ、189 通信インターフェイス、190 メモリカードインターフェイス、191,191A 解析プログラム、192 学習モデル、B1 輝度の最小値、B2 輝度の最大値、S11~S23 ステップ、a1,a2 輝度値の傾き、n 法線、t1,t2,t3,t3’ 時刻。
Claims (9)
- 対象物の表面を検査する検査システムであって、
移動する前記対象物を、拡散照明により、明領域と暗領域とを有する照明パターンで照明する照明装置と、
前記照明パターンにより照明され、かつ移動する前記対象物を撮像する撮像装置とを備え、前記撮像装置は、
画素ごとに輝度値の変化を検出して、前記輝度値の変化をイベントデータとして出力する、イベントベースの撮像素子を含み、
前記撮像素子からの前記イベントデータを解析することにより前記対象物の前記表面を検査する画像処理部をさらに備える、検査システム。 - 前記画像処理部は、前記撮像素子からの前記イベントデータに、画像上での前記対象物の移動速度および移動方向に応じた動き補償を施して、各画素に対するイベントデータである画素対応イベントデータを生成する、請求項1に記載の検査システム。
- 前記画像処理部は、
前記画素対応イベントデータに基づいて前記輝度値の振幅および前記輝度値の位相差を算出して、前記輝度値の前記振幅および前記位相差に基づいて、前記対象物の前記表面の欠陥の有無を判定する、請求項2に記載の検査システム。 - 前記画像処理部は、前記輝度値の前記振幅および前記位相差に基づいて、前記画像の中に前記欠陥に対応する候補が含まれるか否かを判定し、前記候補が前記画像の中に含まれる場合には、前記候補の数および分布に基づいて、前記欠陥の有無を判定する、請求項3に記載の検査システム。
- 前記画像処理部は、前記画像内における前記輝度値の前記位相差の分布を示す位相差画像を生成する、請求項3または請求項4に記載の検査システム。
- 前記画像処理部は、前記画像内における前記輝度値の前記振幅の分布を示す反射率画像を生成する、請求項3または請求項4に記載の検査システム。
- 前記画像処理部は、前記輝度値の時間変化率を算出して、前記画像内における前記輝度値の前記時間変化率の分布を示す反射角度画像を生成する、請求項3または請求項4に記載の検査システム。
- 前記撮像装置は、前記照明装置から前記対象物への光の照射方向に対して正反射方向に配置される、請求項1に記載の検査システム。
- 対象物の表面を検査する検査方法であって、
照明装置が、移動する前記対象物を、拡散照明により、明領域と暗領域とを有する照明パターンで照明するステップと、
撮像装置が、前記照明パターンで照明され、かつ移動する前記対象物を撮像するステップとを備え、前記撮像装置は、画素ごとに輝度値の変化を検出して、前記輝度値の変化をイベントデータとして出力する、イベントベースの撮像素子を含み、
画像処理部が、前記撮像素子からの前記イベントデータを解析するステップをさらに備える、検査方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022061829A JP2023151945A (ja) | 2022-04-01 | 2022-04-01 | 検査システムおよび検査方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022061829A JP2023151945A (ja) | 2022-04-01 | 2022-04-01 | 検査システムおよび検査方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023151945A true JP2023151945A (ja) | 2023-10-16 |
Family
ID=88326182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022061829A Pending JP2023151945A (ja) | 2022-04-01 | 2022-04-01 | 検査システムおよび検査方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023151945A (ja) |
-
2022
- 2022-04-01 JP JP2022061829A patent/JP2023151945A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Molina et al. | On the detection of defects on specular car body surfaces | |
JP6507653B2 (ja) | 検査装置及び検査装置の制御方法 | |
Satorres Martínez et al. | A machine vision system for defect characterization on transparent parts with non-plane surfaces | |
JP2007206797A (ja) | 画像処理方法および画像処理装置 | |
EP3388781A1 (en) | System and method for detecting defects in specular or semi-specular surfaces by means of photogrammetric projection | |
JP2014002125A (ja) | 検査方法及び検査装置 | |
JP5682419B2 (ja) | 検査方法及び検査装置 | |
CN110231352A (zh) | 图像检查装置、图像检查方法以及图像检查程序 | |
JP4109799B2 (ja) | 半導体装置の製造方法 | |
US10740890B2 (en) | Image processing apparatus, method, and storage medium | |
JP6624161B2 (ja) | 塗装金属板の塗膜膨れ幅測定装置および塗装金属板の塗膜膨れ幅の測定方法 | |
JP4910128B2 (ja) | 対象物表面の欠陥検査方法 | |
JP2009168454A (ja) | 表面欠陥検査装置及び表面欠陥検査方法 | |
Akhtar et al. | An efficient automotive paint defect detection system | |
WO2020137121A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP3185599B2 (ja) | 表面欠陥検査装置 | |
TW202129269A (zh) | 基於雷射的夾雜物偵測系統及方法 | |
JP2021139817A (ja) | ワークの表面検査装置、表面検査システム、表面検査方法及びプログラム | |
JP2023151945A (ja) | 検査システムおよび検査方法 | |
JP2023151944A (ja) | 検査システムおよび検査方法 | |
Sills et al. | Defect identification on specular machined surfaces | |
CN111220087B (zh) | 表面形貌检测方法 | |
JP7392582B2 (ja) | 検査システムおよび検査方法 | |
Huang | A novel direct structured-light inspection technique for contaminant and defect detection | |
JP7444171B2 (ja) | 表面欠陥判別装置、外観検査装置及びプログラム |