JP2010243451A - 外観検査装置及び外観検査方法 - Google Patents

外観検査装置及び外観検査方法 Download PDF

Info

Publication number
JP2010243451A
JP2010243451A JP2009095258A JP2009095258A JP2010243451A JP 2010243451 A JP2010243451 A JP 2010243451A JP 2009095258 A JP2009095258 A JP 2009095258A JP 2009095258 A JP2009095258 A JP 2009095258A JP 2010243451 A JP2010243451 A JP 2010243451A
Authority
JP
Japan
Prior art keywords
defective product
feature amount
feature
defective
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009095258A
Other languages
English (en)
Other versions
JP5152081B2 (ja
Inventor
Takashi Murozaki
隆 室崎
Shuji Takeda
修二 竹田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2009095258A priority Critical patent/JP5152081B2/ja
Publication of JP2010243451A publication Critical patent/JP2010243451A/ja
Application granted granted Critical
Publication of JP5152081B2 publication Critical patent/JP5152081B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】検査対象物の不良品が誤って良品と判定される可能性を低減可能な外観検査装置を提供する。
【解決手段】外観検査装置(1)は、検査対象物を撮影した検査画像を取得する撮像部(3)と、検査画像から、検査対象物に関する特徴量を抽出する特徴量抽出部(51)と、特徴量をサポートベクターマシンとして構成される識別器に入力することにより、検査対象物の良否を判定する良否判定部(54)とを有する。そしてその識別器が不良品と判定する検査対象物から抽出される特徴量が含まれる領域である不良品特徴量領域が、サポートベクターマシンの学習により決定された不良品特徴量領域よりも広くなるように、不良品特徴量領域の境界が修正されている。
【選択図】図1

Description

本発明は、検査対象物の外観を検査する外観検査装置及び外観検査方法に関する。
製造工程においては、不良品が出荷されることを防ぐために、部品の加工、組み立て、溶接などが正しく行われているか否かを検査することが非常に重要である。
そこで、検査対象物の外観から得られる特徴量を抽出して、その特徴量に基づいて検査対象物が良品か否かを自動的に判別する様々な技術が開発されている。特に、予め良品と分かっている検査対象物のサンプル群と、予め不良品と分かっている検査対象物のサンプル群のそれぞれから抽出された特徴量の分布に基づいて、良品と不良品とを識別する判別境界を予め求め、着目する検査対象物から抽出された特徴量がその判別境界のどちら側に存在するかにより、着目する検査対象物を良品か否か判定する技術が開発されている(例えば、特許文献1を参照)。
例えば、特許文献1に開示された物体の色判定装置は、良品と判定された物体群の色彩値に基づいて基準空間を作成し、対象物の色彩値を測定して入力し、測定した色彩値のマハラノビスの距離を基準空間に基づいて演算し、演算したマハラノビスの距離が所定値以上か否かを判断して、物体の色を判定する。
特開2000−266602号公報
しかしながら、良品である検査対象物に関して抽出される特徴量の値と、不良品である検査対象物に関して抽出される特徴量の値を完全に区別することが可能な判別境界を決定することは必ずしも容易ではない。これは、往々にして、特定の良品について抽出された特徴量と良品についての特徴量の分布の重心とのマハラノビス距離よりも、その特徴量と不良品についての特徴量の分布の重心とのマハラノビス距離の方が近いためである。同様に、特定の不良品について抽出された特徴量と不良品についての特徴量の分布の重心とのマハラノビス距離よりも、その特徴量と良品についての特徴量の分布の重心とのマハラノビス距離の方が近いこともある。そのため、単純にマハラノビス距離に基づいて判別境界が定められると、不良品が良品と誤って判定されてしまうことがある。このような場合、不良品が市場に出荷されてしまい、重大な品質問題を生じるおそれがある。
そこで本発明は、検査対象物の不良品が誤って良品と判定される可能性を低減可能な外観検査装置及び外観検査方法を提供することを目的とする。
請求項1の記載によれば、本発明の一つの形態として、検査対象物の良否を判定する外観検査装置が提供される。係る外観検査装置は、検査対象物を撮影した検査画像を取得する撮像部(3)と、検査画像から、検査対象物に関する特徴量を抽出する特徴量抽出部(51)と、特徴量をサポートベクターマシンとして構成される識別器に入力することにより、検査対象物の良否を判定する良否判定部(54)とを有する。そしてその識別器が不良品と判定する検査対象物から抽出される特徴量が含まれる領域である不良品特徴量領域が、サポートベクターマシンの学習により決定された不良品特徴量領域よりも広くなるように、不良品特徴量領域の境界が修正されている。
係る構成を有することにより、この外観検査装置は、検査対象物の不良品が誤って良品と判定される可能性を低減することができる。
また請求項2の記載によれば、不良品特徴量領域の境界は、サポートベクターマシンの学習に用いられた複数の不良品の検査対対象物のサンプルのそれぞれから抽出された特徴量の重心から、その重心とサポートベクターマシンの学習により定められる不良品特徴量領域の境界上に位置する各サポートベクトルとを結ぶベクトルに沿って、そのベクトルの距離に1よりも大きいの所定の係数を乗じた距離だけ離れた点を結ぶように設定されることが好ましい。
これにより、この外観検査装置は、元の不良品特徴量領域の輪郭形状に類似した輪郭形状を保ったまま不良品特徴量領域を広げることができるので、検査対象物の良品が不良品と誤って判定される可能性が上昇することを極力防ぎつつ、検査対象物の不良品が良品と誤って判定される可能性を低減できる。
さらに請求項3の記載によれば、所定の係数は、複数の不良品の検査対対象物のサンプルのそれぞれから抽出された特徴量が不良品特徴量領域から外れる確率が、検査対象物に対する品質保証基準により定められる許容限度以下となるように定められることが好ましい。
これにより、この外観検査装置は、検査対象物の不良品が良品と誤って判定される可能性が検査対象物に対する品質保証基準を満たすように低減できる。
また請求項4の記載によれば、良否判定部(54)は、複数の不良品の検査対対象物のサンプルのそれぞれから抽出された特徴量の分布である不良品特徴量分布と、複数の良品の検査対対象物のサンプルのそれぞれから抽出された特徴量の分布である良品特徴量分布から求められる判別境界と特徴量抽出部(51)により抽出された検査対象物に関する特徴量を比較する。そして良否判定部(54)は、その特徴量と判別境界との距離が所定距離より大きく、かつその特徴量が判別境界よりも良品特徴量分布の重心に近ければ検査対象物を良品と判定し、その特徴量と判別境界との距離が所定距離より大きく、かつその特徴量が判別境界よりも不良品特徴量分布の重心に近ければ検査対象物を不良品と判定し、さらに、その特徴量と判別境界との距離が所定距離以下であれば、その特徴量を識別器に入力することにより、検査対象物の良否を判定することが好ましい。
これにより、この外観検査装置は、異なる手法による2段階の良否判定を行えるので、より正確に検査対象物の良否を判定できる。
この場合において、請求項5の記載によれば、判別境界は、不良品特徴量分布の重心からのマハラノビス距離が、所定の最小限距離か、良品特徴量分布の重心からのマハラノビス距離と等距離の何れか遠い方の距離となるように設定されることが好ましい。
これにより、この外観検査装置は、判別境界を用いた検査対象物の良否判定に関しても、検査対象物の不良品が良品と誤って判定される可能性を低減できる。
また請求項6の記載によれば、本発明の他の形態として、検査対象物の良否を判定する外観検査方法が提供される。係る外観検査方法は、検査対象物を撮影した検査画像を取得するステップと、検査画像から、検査対象物に関する特徴量を抽出するステップと、その特徴量をサポートベクターマシンとして構成される識別器に入力することにより、検査対象物の良否を判定するステップとを含む。そしてその識別器が不良品と判定する検査対象物から抽出される特徴量が含まれる領域である不良品特徴量領域が、サポートベクターマシンの学習により決定された不良品特徴量領域よりも広くなるように、不良品特徴量領域の境界が修正されている。
係る手順を有することにより、この外観検査方法は、検査対象物の不良品が誤って良品と判定される可能性を低減することができる。
上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
本発明の一つの実施形態に係る外観検査装置の概略構成図である。 (a)は、良品であるレクティファイヤの検査画像の一例であり、(b)は、不良品であるレクティファイヤの検査画像の一例である。 コントローラの判定部の機能ブロック図である。 サポートベクターマシンの概要を示す図である。 修正された判別境界を示す図である。 サポートベクターマシンにおける、元の不良品特徴量領域の境界と修正された不良品特徴量領域の境界の関係を示す図である。 本発明の一つの実施形態に係る外観検査装置によって実行される、外観検査処理の動作フローチャートである。
以下、図を参照しつつ、一つの実施形態による、外観検査装置について説明する。
この外観検査装置は、予め良品と分かっている検査対象物のサンプル群と、予め不良品と分かっている検査対象物のサンプル群のそれぞれから抽出された特徴量の分布に基づいて、判別分析による判別境界とサポートベクターマシンとして構成される識別器を求める。そしてこの外観検査装置は、それら判別境界及びサポートベクターマシンにおいて不良品と判定される特徴量領域の境界を、不良品と判定される特徴量の範囲を広げるように修正することで、不良品が良品と誤って判定されることを防ぐ。
図1は、本発明の一つの実施形態に係る外観検査装置1の全体構成を示す。図1に示すように、外観検査装置1は、検査対象物10を照明する照明光源2と、検査対象物10を撮影した検査画像を取得するカメラ3と、カメラ3から取得した検査画像に基づいて検査対象物10が良品か否か判定するコントローラ4とを有する。
さらにコントローラ4は、他の機器とコントローラ4を接続するための通信インターフェースである通信部41と、半導体メモリ、磁気記録媒体または光記録媒体の少なくとも何れかを有する記憶部42と、1個または複数のプロセッサ及びその周辺回路を有する判定部43とを有する。
このうち、通信部41は、カメラ3から検査画像を取得して、その検査画像を判定部43に渡す。また記憶部42は、検査対象物10の良否判定に使用される様々なパラメータ及びプログラムを記憶する。そして判定部43は、検査画像に基づいて検査対象物10が良品か否か判定する。
本実施形態では、検査対象物10は、自動車に搭載されるオルタネータが有する、ステータコイルに発生した交流電流を直流に整流するためのレクティファイヤ(整流器)である。しかし検査対象物10は、レクティファイヤに限られず、検査画像から検査対象物10を良否判定可能な特徴量が抽出できるものであればよい。
レクティファイヤは、複数個のダイオードを有しており、製造工程において、それらダイオードがターミナルと溶接される。この溶接が正常に行われると、溶接部材がダイオードとターミナルの接点を覆うように形成されるが、溶接に失敗すると、例えば、溶接部材がダイオードとターミナルの一方の接点に偏って付着し、他方の接点をほとんど覆わなくなる。
図2(a)は、レクティファイヤの良品を撮影した検査画像の一例を示す。また図2(b)は、レクティファイヤの不良品を撮影した検査画像の一例を示す。
図2(a)に示した検査画像200では、溶接部材に相当する領域201は、検査画像200上で大きな領域を占めている。また溶接部材は球状をしているため、領域201内で距離の近い画素間の輝度差は全般的にそれほど大きく変化しない。そのため、領域201内のコントラストは低くなっている。
一方、図2(b)に示した検査画像210では、溶接部材はターミナルに偏って付着しているため、溶接部材に相当する領域211の面積は、良品についての溶接部材に相当する領域201の面積よりも狭くなっている。また、溶接部材は歪な形状をしているために、照明光の照射方向に対する溶接部材表面の角度が急激に変わるところが存在する。そのようなところでは、領域211内で距離の近い画素間でも、輝度差が大きくなる。そのため、領域211のコントラストは、領域201のコントラストよりも高くなる傾向がある。
そこで、判定部43は、検査画像から溶接部材に対応する領域を検出し、その領域の面積及びコントラストを特徴量として抽出する。そして判定部43は、それら特徴量に基づいて、検査対象物10が良品か否か判定する。
図3は、コントローラ4の判定部43の機能ブロック図である。図3に示すように、判定部43は、特徴量抽出部51と、学習部52と、判別境界修正部53と、良否判定部54とを有する。判定部43が有するこれらの各部は、例えば、判定部43を構成するプロセッサ上で実行されるコンピュータプログラムにより実装される機能モジュールとすることができる。
特徴量抽出部51は、検査画像から、検査対象物10に関する特徴量として、本実施形態では、溶接部材の状態を表す特徴量を抽出する。そのために、特徴量抽出部51は、検査画像から溶接部材に相当する領域である溶接部材領域を検出する。そこで先ず、特徴量抽出部51は、検査画像の画素の色相、彩度、明度をHSV色空間の点に変換する。なお、本実施形態では、HSV色空間は、0〜360の範囲の環状の軸を色相軸とし、0〜255の範囲の彩度軸、0〜255の範囲の明度軸で表現される。
次に、特徴量抽出部51は、検査画像から溶接部材の色に相当する色相を持つ画素を抽出する。本実施形態では、溶接部材は黄銅色をしているため、特徴量抽出部51は、例えば、検査画像を、色相に関して10〜35の範囲に属する値を有する画素と、それ以外の値を有する画素に2値化する。あるいは、特徴量抽出部51は、色相だけでなく、彩度及び明度に関する条件を定めてもよい。例えば、特徴量抽出部51は、検査画像を以下の条件を満たす画素とそれ以外の画素に2値化してもよい。なお、2値化の条件は、下記の例に限られない、2値化の条件は、使用される材料に応じて適切に設定される。
色相:10〜35の範囲内に含まれること
彩度:30〜255の範囲に含まれること
明度:0〜110の範囲に含まれること
特徴量抽出部51は、黄銅色に相当する色相値を有する画素の集合領域を溶接部材領域とする。なお、特徴量抽出部51は、ノイズによる影響を軽減するために、溶接部材領域を対象とするモルフォロジー演算のクロージング演算を行ってもよい。
次に、特徴量抽出部51は、溶接部材領域から特徴量を抽出する。本実施形態では、特徴量として、溶接部材領域の面積と、溶接部材領域に含まれる画素のコントラストを用いた。なおコントラストは、以下の式により算出される。
ただし、i、jはそれぞれ明度を表し、Pd(i,j)は明度iの画素から距離d離れた画素の明度がjである確率を表す。
なお、特徴量抽出部51は、溶接部材領域から、他の様々な特徴量、例えば、エネルギー、エントロビー、均一性など、テクスチャ解析で用いられる特徴量、あるいは円形度などを用いてもよい。なお、これらの特徴量は下記の式により算出される。
ここで、Sは溶接部材領域の面積であり、Lは溶接部材領域の周囲長である。
さらに、特徴量抽出部51は、検出された溶接部材領域に含まれる全画素の輝度を特徴量としてもよい。
特徴量抽出部51は、抽出した特徴量を良否判定部54に渡す。
学習部52は、検査対象物10の良否を判定するために使用される判別境界及び識別器を予め作成する。
本実施形態では、学習部52は、判別境界を決定するために、複数の良品であるレクティファイヤを撮影した複数の良品画像のそれぞれから抽出された良品特徴量の分布と、複数の不良品であるレクティファイヤを撮影した複数の不良品画像のそれぞれから抽出された不良品特徴量の分布を調べる。なお、これらの特徴量は、特徴量抽出部51と同様の処理を良品画像または不良品画像に対して実行することにより抽出される。そして学習部52は、良品特徴量の重心から判別境界までのマハラノビス距離と、不良品特徴量の重心から判別境界までのマハラノビス距離が等距離となるように判別境界を設定する。
ここでマハラノビス距離MDは、以下の式によって算出される。
ただし、Xは、着目する特徴量の組(本実施形態では、溶接部材領域の面積及びコントラスト)を表すベクトルであり、μは、母集団となる特徴量分布の平均値(本実施形態では、良品特徴量の重心または不良品特徴量の重心に相当)である。またΣ-1は、分散共分散行列の逆行列である。
この判別境界は、例えば、特徴量の組を変数とする判別関数として求められる。なお、この判別関数の算出方法は、例えば、リチャード.O.デューダ他、「パターン識別」第2版、JOHN WILEY & SONS, Inc.、pp.29-45等に開示されているように公知であるので、その詳細な説明を省略する。
学習部52は、得られた判別境界を表す判別関数を記憶部42に記憶する。
また学習部52は、複数の良品特徴量と複数の不良品特徴量を用いて識別器を作成する。本実施形態では、学習部52は、識別器をSVMにより構成した。
図4に、SVMの概念図を示す。SVMは、所定の識別対象物が、二つのカテゴリの何れかに属する場合、その識別対象物から求めた1乃至複数の特徴量(以下、特徴量セットという)に基づいて、その識別対象物を何れのカテゴリに属するかを判定する識別器である。そしてカテゴリ間の境界は、各カテゴリに属する学習データの特徴量セットのうち、隣接するカテゴリに属する学習データの特徴量セットとの距離が最も近いものの組で表される。このカテゴリ間の境界を表す特徴量セットは、サポートベクトルと呼ばれる。図4では、丸印で示された各点が、カテゴリC1(例えば、検査対象物の良品に対応する特徴量セットが属するカテゴリ)に属する特徴量セットの一つであり、このうち特徴量セット401〜403が、カテゴリC1のサポートベクトルである。また、菱形で示された各点が、カテゴリC2(例えば、検査対象物の不良品に対応する特徴量セットが属するカテゴリ)に属する特徴量セットの一つであり、このうち特徴量セット404〜406が、カテゴリC2のサポートベクトルである。そして、サポートベクターマシンでは、識別精度を向上するために、カテゴリC1のサポートベクトルと、カテゴリC2のサポートベクトル間の距離(マージン)が最大化されるように、サポートベクトルが決定される。さらに、SVMでは、カテゴリ間の境界が非線形な場合でも、カーネル関数を利用して、学習データの特徴量セットを高次元に写像した上でサポートベクトルを決定することにより、各カテゴリに属する特徴量セットを線形分離可能とすることで、良好な識別性能を得ることができる。
本実施形態では、学習部52は、複数の良品特徴量及び複数の不良品特徴量を用いて、SVMを学習させる。
学習されたSVMは、検査対象物10の良品に対応する特徴量領域(以下、良品特徴量領域という)の境界を表すサポートベクトルである良品特徴量の組と、検査対象物10の不良品に対応する特徴量領域(以下、不良品特徴量領域という)の境界を表すサポートベクトルである不良品特徴量の組によって表される。そしてこれらのサポートベクトルは、良品・不良品というカテゴリと関連付けられて、予め記憶部42に記憶される。
判別境界修正部53は、不良品が良品と誤って判定されることを防ぐために、学習部52により求められた判別境界及び識別器を、不良品特徴量領域が広くなるように修正する。
判別境界に関して、判別境界修正部53は、判別境界から不良品特徴量の重心までのマハラノビス距離が所定の最小限距離未満である場合、マハラノビス距離がその最小限距離となるように、判別境界を修正する。なお、この最小限距離は、例えば、4に設定される。このように判別境界を修正することで、不良品特徴量の重心から、不良品特徴量の分布に対するマハラノビス距離が4(各特徴量間に相関性がなければ、不良品特徴量の分布に対する標準偏差の4倍)未満の特徴量に対応する検査対象物は、全て不良品と判定されるようになる。そのため、不良品特徴量の分布が正規分布に従うとみなしてよければ、この修正された判別境界を用いて良否判定を実行することで、不良品が良品と誤って判定される確率を0.0016%にまで低減できる。
判別境界修正部53は、修正された判別境界に沿って一定の間隔でサンプル点を設定する。そして判別境界修正部53はそのサンプル点に相当する特徴量の値を、判別境界を表すものとして、予め記憶部42に記憶する。
図5に、修正された判別境界の一例を示す。図5において、横軸は、溶接部材領域の面積を表し、縦軸はコントラストを表す。そして図5上の十字状の点のそれぞれは、良品の検査画像から抽出された良品特徴量を表す、一方、円状の点のそれぞれは、不良品の検査画像から抽出された不良品特徴量を表す。点線501は、学習部52により求められた、判別境界の決定に利用された良品のサンプルに関する良品特徴量の重心Gcと不良品のサンプルに関する不良品特徴量の重心Ncとから等マハラノビス距離に設定された判別境界を表す。また実線502は、修正された判別境界を表す。
図5に示されるように、元の判別境界501と不良品特徴量の重心Ncからのマハラノビス距離が最小限距離Dmin未満である部分について、修正された判別境界502は、良品特徴量の分布側へシフトされ、不良品特徴量の重心Ncからのマハラノビス距離が最小限距離Dminを保つように設定されている。一方、元の判別境界501と不良品特徴量の重心Ncからのマハラノビス距離が最小限距離Dmin以上となるところでは、修正された判別境界502と元の判別境界501は一致する。
識別器に関して、判別境界修正部53は、不良品特徴量領域の境界を修正する。そこで、判別境界修正部53は、不良品特徴量領域の境界を表す複数のサポートベクトルのそれぞれについて、不良品特徴量の重心からそのサポートベクトルまでのベクトルを算出する。そして判別境界修正部53は、不良品特徴量の重心から、そのベクトルに沿って、そのベクトルの距離に1よりも大きい所定係数を乗じた距離だけ離れた点同士を結ぶ線を、不良品特徴量領域の境界とする。この点を、以下では修正境界領域点と呼ぶ。このように、判別境界修正部53は、元の不良品特徴量領域の輪郭形状に類似した輪郭形状を保ったまま不良品特徴量領域を広げるので、検査対象物の良品が不良品と誤って判定される可能性が上昇することを極力防ぎつつ、検査対象物の不良品が良品と誤って判定される可能性を低減できる。
なお、所定係数は、誤って良品と判定される不良品の発生確率が、検査対象物に対して求められる品質保証基準による許容限度以下となるように設定される。例えば、修正前の不良品特徴量領域の境界では、不良品特徴量の重心から、その不良品特徴量分布の標準偏差の±3倍の残りに相当する確率で不良品が良品と誤って判定されるとき、誤判定の発生確率をその標準偏差の±4倍の残りに相当する確率以下に低下させるのであれば、所定係数は、1.33に設定される。
図6に、SVMにおける元の不良品特徴量領域の境界と修正された不良品特徴量領域の境界の関係を示す。図6において、横軸は、溶接部材領域の面積を表し、縦軸はコントラストを表す。そして図6上の十字状の点のそれぞれは、良品の検査画像から抽出された良品特徴量を表す、一方、円状の点のそれぞれは、不良品の検査画像から抽出された不良品特徴量を表す。点線601、602は、それぞれ、不良品特徴量領域の境界及び良品特徴量領域の境界を表す。そして点線601上の点a、b、cは、それぞれ、不良品特徴量領域の境界を表すサポートベクトルである。また点Ncは、SVMの学習に利用された複数の不良品のサンプルに関して抽出された不良品特徴量の重心である。
この場合、実線で表された、修正された不良品特徴量領域の境界603は、点Ncと点aを結ぶベクトル611、点Ncと点bを結ぶベクトル612、点Ncと点cを結ぶベクトル613に沿って、点Ncからそれぞれのベクトルの距離に所定係数を乗じた距離だけ離れた修正境界領域点a'、b'、c'を結ぶ線となる。
判別境界修正部53は、各修正境界領域点を表す特徴量の値を、不良品というカテゴリと関連付けて、予め記憶部42に記憶する。
良否判定部54は、特徴量抽出部51から受け取った特徴量と、学習部52により求められ、かつ判別境界修正部53により修正された判別境界及びSVMとして構成された識別器に基づいて、検査対象物10が良品か否か判定する。
本実施形態では、良否判定部54は、先ず、判別境界を用いて良否判定を行う。その際、特徴量と判別境界とのマハラノビス距離が所定距離以下である場合、良否判定部54は、識別器を用いて良否判定を行う。なお、所定距離は、例えば1に設定される。
具体的には、良否判定部54は、特徴量抽出部51から受け取った特徴量が判別境界よりも良品特徴量の重心側に近いか否か判定する。そして良否判定部54は、その特徴量が判別境界よりも良品特徴量の重心側に近く、かつ、その特徴量と判別境界との良品特徴量分布に関するマハラノビス距離が所定距離よりも大きい場合、検査対象物10は良品であると判定する。逆に、その特徴量が判別境界よりも不良品特徴量の重心側に近く、かつ、その特徴量と判別境界との不良品特徴量分布に関するマハラノビス距離が所定距離よりも大きい場合、良否判定部54は、検査対象物10は不良品であると判定する。
また、特徴量抽出部51から受け取った特徴量と判別境界との距離が上記の所定距離以下であれば、良否判定部54は、その特徴量を識別器に入力する。そして良否判定部54は、その識別器がその特徴量を良品のカテゴリに分類すれば、検査対象物10を良品と判定し、一方、その識別器がその特徴量を不良品のカテゴリに分類すれば、検査対象物10を不良品と判定する。なお、その特徴量が良品特徴量領域の境界と不良品特徴量領域の境界の間に位置する場合、識別器は、その特徴量を何れのカテゴリにも分類しない。この場合、良否判定部54は、その特徴量が判別境界に対して良品特徴量の重心側に近いか否かで、検査対象物10の良否を判定してもよい。
ここで、判別境界修正部53により不良品特徴量領域の境界が修正された識別器では、図6に示される領域620のように、元のSVMと異なり、良品特徴量領域と不良品特徴量領域がオーバーラップする領域が生じることがある。そこで良否判定部51は、特徴量がこのオーバーラップする領域に含まれる場合には、その特徴量を不良品のカテゴリに分類する。このため、良否判定部51は、不良品を良品と誤って判定する可能性を低減することができる。
良否判定部54は、検査対象物10に対する良否判定結果を、コントローラ4に接続されたディスプレイ(図示せず)に表示する。また良否判定部54は、通信部41を介して検査対象物10を搬送する搬送装置(図示せず)へ良否判定結果を通知してもよい。これにより、その搬送装置は、良否判定結果に応じて検査対象物10を異なる行き先に振り分けることができる。
図7に、外観検査装置1により実行される、一つの検査対象物に対する外観検査処理の動作フローチャートを示す。
まず、外観検査装置1は、カメラ3により検査対象物10を撮影した検査画像を取得する(ステップS101)。そしてカメラ3は、その検査画像をコントローラ4へ送信する。コントローラ4は、検査画像を受信すると、判定部43の特徴量抽出部51により、検査対象物10に関する特徴量を抽出する(ステップS102)。そして特徴量抽出部51は、抽出された特徴量を判定部43の良否判定部54に渡す。
次に、良否判定部54は、その特徴量が、記憶部42から読み込んだ判別境界よりも、判別境界の決定に用いられた良品のサンプル群に対して抽出された良品特徴量の重心に近いか否か判定する(ステップS103)。その判別境界は、学習部52により、良品のサンプル群に対する良品特徴量の重心からのマハラノビス距離と不良品のサンプル群に対する不良品特徴量の重心からのマハラノビス距離が等しい位置となるように設定され、かつ判別境界修正部53により、不良品特徴量の重心からのマハラノビス距離が所定の最小限距離未満となる部分についてはその最小限距離となるように修正されたものである。すなわち、判別境界は、不良品特徴量の重心からのマハラノビス距離が、所定の最小限距離か、良品特徴量の重心からと等距離の何れか遠い方に設定される。
特徴量が判別境界よりも良品特徴量の重心に近い場合(ステップS103−Yes)、良否判定部54は、その特徴量と判別境界との良品特徴量分布に関するマハラノビス距離が所定距離よりも大きいか否か判定する(ステップS104)。そのマハラノビス距離が所定距離よりも大きい場合、良否判定部54は、検査対象物10を良品と判定し、その判定結果を出力する(ステップS105)。一方、そのマハラノビス距離が所定距離以下である場合、良否判定部54は、その特徴量を、記憶部42から読み込んだ、不良品特徴量領域が拡張されたSVMとして構成される識別器に入力することにより、その特徴量が良品のカテゴリに分類されるか否か判定する(ステップS108)。
またステップS103において、特徴量が判別境界よりも不良品特徴量の重心に近い場合(ステップS103−No)、良否判定部54は、その特徴量と判別境界との不良品特徴量分布に関するマハラノビス距離が所定距離よりも大きいか否か判定する(ステップS106)。そのマハラノビス距離が所定距離よりも大きい場合、良否判定部54は、検査対象物10を不良品と判定し、その判定結果を出力する(ステップS107)。一方、そのマハラノビス距離が所定距離以下である場合、良否判定部54は、その特徴量を識別器に入力することにより、その特徴量が良品のカテゴリに分類されるか否か判定する(ステップS108)。
ステップS108において、識別器がその特徴量を良品のカテゴリに分類すれば(ステップS108−Yes)、良否判定部54は、検査対象物10を良品と判定し、その判定結果を出力する(ステップS105)。一方、ステップS108において、識別器がその特徴量を不良品のカテゴリに分類すれば(ステップS108−No)、良否判定部54は、検査対象物10を不良品と判定し、その判定結果を出力する(ステップS107)。
ステップS105またはS107の後、外観検査装置1は、外観検査処理を終了する。
以上説明してきたように、本発明の一つの実施形態に係る外観検査装置は、予め良品と分かっている検査対象物のサンプル群と、予め不良品と分かっている検査対象物のサンプル群のそれぞれから抽出された特徴量の分布に基づいて、判別分析による判別境界とSVMとして構成される識別器を求める。そしてこの外観検査装置は、それら判別境界及びSMVの不良品特徴量領域の境界を、不良品と判定される特徴量の範囲を広げるように修正することで、不良品が良品と誤って判定されることを防ぐことができる。
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、良否判定部は、上記の実施形態とは逆に、検査対象物を撮影した検査画像から抽出された特徴量を先ずSVMとして構成される識別器に入力して良否判定を行ってもよい。そして良否判定部は、良品特徴量の境界と不良品特徴量の境界の間に位置すると判定された特徴量についてのみ、判別境界を用いて良否判定を行うようにしてもよい。あるいは、良否判定部は、判別分析により決定される判別境界または識別器の何れか一方のみを用いて、検査対象物の良否判定を行ってもよい。この場合、学習部も、判別境界または識別器のうちの良否判定部で使用される方のみを作成すればよい。同様に、判別境界修正部も、判別境界または識別器のうちの良否判定部で使用される方のみを修正する。
また、判別境界修正部は、SVMまたは判別境界の何れか一方についてのみ修正を行ってもよい。
また、判別境界及び識別器は、外観検査装置とは、別の装置にて作成されてもよい。この場合、上記の学習部及び判別境界修正部は、判別境界及び識別器を作成する装置に実装される。そして外観検査装置は、作成された判別境界及び識別器を表すパラメータのみを記憶部に記憶しておけばよい。そのため、外観検査装置から、学習部及び判別境界修正部は省略される。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
1 外観検査装置
2 照明光源
3 カメラ
4 コントローラ
41 通信部
42 記憶部
43 判定部
51 特徴量抽出部
52 学習部
53 判別境界修正部
54 良否判定部
10 検査対象物

Claims (6)

  1. 検査対象物の良否を判定する外観検査装置であって、
    検査対象物を撮影した検査画像を取得する撮像部(3)と、
    前記検査画像から、前記検査対象物に関する特徴量を抽出する特徴量抽出部(51)と、
    前記特徴量をサポートベクターマシンとして構成される識別器に入力することにより、前記検査対象物の良否を判定する良否判定部(52)とを有し、
    前記識別器が不良品と判定する検査対象物から抽出される前記特徴量が含まれる領域である不良品特徴量領域が、サポートベクターマシンの学習により決定された不良品特徴量領域よりも広くなるように、前記不良品特徴量領域の境界が修正されていることを特徴とする外観検査装置。
  2. 前記不良品特徴量領域の境界は、前記サポートベクターマシンの学習に用いられた複数の不良品の検査対対象物のサンプルのそれぞれから抽出された特徴量の重心から、該重心とサポートベクターマシンの学習により定められる前記不良品特徴量領域の境界上に位置する各サポートベクトルとを結ぶベクトルに沿って、該ベクトルの距離に1よりも大きいの所定の係数を乗じた距離だけ離れた点を結ぶように設定される、請求項1に記載の外観検査装置。
  3. 前記所定の係数は、前記複数の不良品の検査対対象物のサンプルのそれぞれから抽出された特徴量が前記不良品特徴量領域から外れる確率が、検査対象物に対する品質保証基準により定められる許容限度以下となるように定められる、請求項2に記載の外観検査装置。
  4. 前記良否判定部(52)は、
    複数の不良品の検査対対象物のサンプルのそれぞれから抽出された特徴量の分布である不良品特徴量分布と、複数の良品の検査対対象物のサンプルのそれぞれから抽出された特徴量の分布である良品特徴量分布から求められる判別境界と前記特徴量抽出部(51)により抽出された前記検査対象物に関する特徴量を比較し、
    前記特徴量と前記判別境界との距離が所定距離より大きく、かつ前記特徴量が前記判別境界よりも前記良品特徴量分布の重心に近ければ前記検査対象物を良品と判定し、
    前記特徴量と前記判別境界との距離が前記所定距離より大きく、かつ前記特徴量が前記判別境界よりも前記不良品特徴量分布の重心に近ければ前記検査対象物を不良品と判定し、
    前記特徴量と前記判別境界との距離が前記所定距離以下であれば、前記特徴量を前記識別器に入力することにより、前記検査対象物の良否を判定する、請求項1〜3の何れか一項に記載の外観検査装置。
  5. 前記判別境界は、前記不良品特徴量分布の重心からのマハラノビス距離が、所定の最小限距離か、前記良品特徴量分布の重心からのマハラノビス距離と等距離の何れか遠い方の距離となるように設定される、請求項4に記載の外観検査装置。
  6. 検査対象物の良否を判定する外観検査方法であって、
    検査対象物を撮影した検査画像を取得するステップと、
    前記検査画像から、前記検査対象物に関する特徴量を抽出するステップと、
    前記特徴量をサポートベクターマシンとして構成される識別器に入力することにより、前記検査対象物の良否を判定するステップとを含み、
    前記識別器が不良品と判定する検査対象物から抽出される前記特徴量が含まれる領域である不良品特徴量領域が、サポートベクターマシンの学習により決定された不良品特徴量領域よりも広くなるように、前記不良品特徴量領域の境界が修正されていることを特徴とする外観検査方法。
JP2009095258A 2009-04-09 2009-04-09 外観検査装置 Expired - Fee Related JP5152081B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009095258A JP5152081B2 (ja) 2009-04-09 2009-04-09 外観検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009095258A JP5152081B2 (ja) 2009-04-09 2009-04-09 外観検査装置

Publications (2)

Publication Number Publication Date
JP2010243451A true JP2010243451A (ja) 2010-10-28
JP5152081B2 JP5152081B2 (ja) 2013-02-27

Family

ID=43096608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009095258A Expired - Fee Related JP5152081B2 (ja) 2009-04-09 2009-04-09 外観検査装置

Country Status (1)

Country Link
JP (1) JP5152081B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018001184A (ja) * 2016-06-28 2018-01-11 株式会社日立製作所 溶接監視システム
JP2018117431A (ja) * 2017-01-17 2018-07-26 株式会社トーエネック 回転機の短絡診断装置および回転機の短絡診断方法
JP2019109834A (ja) * 2017-12-20 2019-07-04 株式会社日立製作所 製造物良・不良判定システムおよび製造物良・不良判定方法
JP2019164774A (ja) * 2018-03-15 2019-09-26 富士通株式会社 学習装置、検査装置、学習検査方法、学習プログラムおよび検査プログラム
JPWO2020039581A1 (ja) * 2018-08-24 2021-08-10 技術研究組合次世代3D積層造形技術総合開発機構 情報処理装置、情報処理方法、情報処理プログラム、積層造形装置およびプロセスウィンドウ生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209628A (ja) * 2000-01-27 2001-08-03 Mitsui Eng & Shipbuild Co Ltd パターンマッチング方法
JP2004085216A (ja) * 2002-08-22 2004-03-18 Toyota Motor Corp 良否判定装置、良否判定プログラムおよび良否判定方法
JP2006184254A (ja) * 2004-12-28 2006-07-13 Meiji Milk Prod Co Ltd 検査装置における良品判定基準設定方法及び判定処理精度判定方法並びに、良品判定基準設定装置及び判定処理精度判定装置
JP2007114843A (ja) * 2005-10-18 2007-05-10 Denso Corp 良否判定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209628A (ja) * 2000-01-27 2001-08-03 Mitsui Eng & Shipbuild Co Ltd パターンマッチング方法
JP2004085216A (ja) * 2002-08-22 2004-03-18 Toyota Motor Corp 良否判定装置、良否判定プログラムおよび良否判定方法
JP2006184254A (ja) * 2004-12-28 2006-07-13 Meiji Milk Prod Co Ltd 検査装置における良品判定基準設定方法及び判定処理精度判定方法並びに、良品判定基準設定装置及び判定処理精度判定装置
JP2007114843A (ja) * 2005-10-18 2007-05-10 Denso Corp 良否判定装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018001184A (ja) * 2016-06-28 2018-01-11 株式会社日立製作所 溶接監視システム
JP2018117431A (ja) * 2017-01-17 2018-07-26 株式会社トーエネック 回転機の短絡診断装置および回転機の短絡診断方法
JP2019109834A (ja) * 2017-12-20 2019-07-04 株式会社日立製作所 製造物良・不良判定システムおよび製造物良・不良判定方法
JP2019164774A (ja) * 2018-03-15 2019-09-26 富士通株式会社 学習装置、検査装置、学習検査方法、学習プログラムおよび検査プログラム
JP7238470B2 (ja) 2018-03-15 2023-03-14 富士通株式会社 学習装置、検査装置、学習検査方法、学習プログラムおよび検査プログラム
JPWO2020039581A1 (ja) * 2018-08-24 2021-08-10 技術研究組合次世代3D積層造形技術総合開発機構 情報処理装置、情報処理方法、情報処理プログラム、積層造形装置およびプロセスウィンドウ生成方法

Also Published As

Publication number Publication date
JP5152081B2 (ja) 2013-02-27

Similar Documents

Publication Publication Date Title
US11227381B2 (en) Substrate defect inspection apparatus, substrate defect inspection method, and storage medium
JP5168215B2 (ja) 外観検査装置
US10885618B2 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
US20210019878A1 (en) Image processing device, image processing method, and image processing program
US7110591B2 (en) System and method for recognizing markers on printed circuit boards
US10861145B2 (en) Defect inspection device and defect inspection method
US20170323435A1 (en) Defect quantification method, defect quantification device, and defect evaluation value display device
JP2004077164A (ja) 欠陥検査方法
US20130170733A1 (en) Method for building rule of thumb of defect classification, and methods for classifying defect and judging killer defect based on rule of thumb and critical area analysis
JP2013167596A (ja) 欠陥検査装置、欠陥検査方法及びプログラム
KR100598381B1 (ko) 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법
JP5152081B2 (ja) 外観検査装置
KR20120068128A (ko) 패턴의 결함 검출 방법 및 이를 수행하기 위한 결함 검출 장치
JP2020106461A (ja) 画像生成装置及び外観検査装置
JP2004109018A (ja) 回路パターン検査方法および検査装置
WO2014103617A1 (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
CN108021914B (zh) 基于卷积神经网络的印刷品字符区域提取方法
JP6772059B2 (ja) 電子制御装置、電子制御システムおよび電子制御方法
JP5498109B2 (ja) 欠陥検出装置および欠陥検出方法
KR101678771B1 (ko) Smt 불량 판별 장치 및 방법
CN108171691B (zh) 一种塑料容器的检测方法
US10241000B2 (en) Method for checking the position of characteristic points in light distributions
JP2004326382A (ja) 部品認識システム及び方法並びに部品認識用プログラム
WO2022250584A1 (en) A method and an electronic device for analysing an image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5152081

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees