JP2010249547A - 外観検査装置及び外観検査方法 - Google Patents

外観検査装置及び外観検査方法 Download PDF

Info

Publication number
JP2010249547A
JP2010249547A JP2009096440A JP2009096440A JP2010249547A JP 2010249547 A JP2010249547 A JP 2010249547A JP 2009096440 A JP2009096440 A JP 2009096440A JP 2009096440 A JP2009096440 A JP 2009096440A JP 2010249547 A JP2010249547 A JP 2010249547A
Authority
JP
Japan
Prior art keywords
inspection
feature
defective product
defective
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009096440A
Other languages
English (en)
Other versions
JP5168215B2 (ja
Inventor
Takashi Murozaki
隆 室崎
Shuji Takeda
修二 竹田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2009096440A priority Critical patent/JP5168215B2/ja
Publication of JP2010249547A publication Critical patent/JP2010249547A/ja
Application granted granted Critical
Publication of JP5168215B2 publication Critical patent/JP5168215B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】検査対象物に関する外観検査の前工程または外観検査装置自体で発生した変化を検知可能な外観検査装置を提供する。
【解決手段】外観検査装置(1)は、検査対象物を撮影した検査画像を取得する撮像部(3)と、検査画像から、検査対象物に関する特徴量を抽出する特徴量抽出部(51)と、特徴量と予め設定された判定基準に従って検査対象物の良否を判定し、その良否判定結果を記憶部(42)に記憶する良否判定部(52)と、記憶部(42)に記憶された良否判定結果に基づいて、所定期間内に検査された検査対象物の総数あるいは所定数量の検査対象物に対して不良品と判定された比率を表す不良品率が、判定基準の作成時において想定される不良品率よりも高い場合、外観検査装置自体または外観検査装置による検査工程の前工程の何れかに変化が発生したと判定する変化検知部(54)とを有する。
【選択図】図1

Description

本発明は、検査対象物の外観を検査する外観検査装置及び外観検査方法に関する。
製造工程においては、不良品が出荷されることを防ぐために、部品の加工、組み立て、溶接などが正しく行われているか否かを検査することが非常に重要である。
そこで、検査対象物の外観から得られる特徴量を抽出して、その特徴量に基づいて検査対象物が良品か否かを自動的に判別する様々な技術が開発されている。特に、予め良品と分かっている検査対象物のサンプル群と、予め不良品と分かっている検査対象物のサンプル群のそれぞれから抽出された特徴量の分布に基づいて、良品と不良品とを識別する判別境界を予め求め、着目する検査対象物から抽出された特徴量がその判別境界のどちら側に存在するかにより、着目する検査対象物を良品か否か判定する技術が開発されている(例えば、特許文献1を参照)。
例えば、特許文献1に開示された物体の色判定装置は、良品と判定された物体群の色彩値に基づいて基準空間を作成し、対象物の色彩値を測定して入力し、測定した色彩値のマハラノビスの距離を基準空間に基づいて演算し、演算したマハラノビスの距離が所定値以上か否かを判断して、物体の色を判定する。
特開2000−266602号公報
ところで、例えば、加工前のワークのロッドの入れ替え、組み立て装置の制御プログラムの変更、溶接加工条件の変化など、検査前の製造工程における何らかの製造条件が変化すると、検査対象物の外観から得られる特徴量の分布が、その製造条件の変化の前後で変動することがある。そのため、上記のような技術を採用した検査装置では、その製造条件の変化後に、良品を不良品と誤って判定する偽陰性率が急激に上昇してしまうことがある。そして、偽陰性率が高くなったときに、製造現場において、その原因が、判別境界の設定が不適切なのか、製造工程の不具合なのかを特定することができず、問題の解決を遅らせてしまうおそれがあった。
そこで本発明は、検査対象物に関する外観検査の前工程または外観検査装置自体で発生した変化を検知可能な外観検査装置及び外観検査方法を提供することを目的とする。
請求項1の記載によれば、本発明の一つの形態として、検査対象物の良否を判定する外観検査装置が提供される。係る外観検査装置は、検査対象物を撮影した検査画像を取得する撮像部(3)と、記憶部(42)と、検査画像から、検査対象物に関する特徴量を抽出する特徴量抽出部(51)と、抽出された特徴量と予め設定された判定基準に従って、検査対象物の良否を判定し、その良否判定結果を記憶部(42)に記憶する良否判定部(52)と、記憶部(42)に記憶された、所定期間内に検査された検査対象物あるいは所定数量の検査対象物に対する良否判定結果に基づいて、所定期間内に検査された検査対象物の総数あるいは所定数量の検査対象物に対して不良品と判定された検査対象物の比率を表す不良品率を算出し、その不良品率が判定基準の作成時において想定される不良品率よりも高い場合、外観検査装置自体または外観検査装置による検査工程の前工程の何れかに変化が発生したと判定する変化検知部(54)とを有する。
係る構成を有することにより、この外観検査装置は、検査対象物に関する外観検査の前工程または外観検査装置自体で発生した変化を検知することができる。
また請求項2の記載によれば、記憶部(42)は、判定基準の学習時に用いられた複数の良品のサンプルに関する特徴量の分布から得られる統計的代表値である基準特徴量代表値と基準特徴量代表値に対応する不良品率上昇の原因が外観検査装置自体または前工程の何れにあるかを示した参照テーブルを記憶し、変化検知部(54)は、所定期間内に検査された全ての検査対象物あるいは所定数量の検査対象物に関する特徴量の統計的代表値である直近特徴量代表値を算出し、直近特徴量代表値と、基準特徴量代表値との差の絶対値が所定の閾値よりも大きい場合、基準特徴量代表値及び参照テーブルを参照することにより、発生した変化が外観検査装置自体または前工程の何れにあるかを特定することが好ましい。
これにより、この外観検査装置は、不良品率が上昇した場合に、その不良品率が上昇した原因が前工程にあるのか、あるいは外観検査装置自体にあるのかを自動的に判定できる。
また請求項3の記載によれば、本発明の他の形態として、検査対象物の良否を判定する外観検査方法が提供される。係る外観検査方法は、検査対象物を撮影した検査画像を取得するステップと、検査画像から、検査対象物に関する特徴量を抽出するステップと、抽出された特徴量と予め設定された判定基準に従って、検査対象物の良否を判定し、その良否判定結果を記憶部(42)に記憶するステップと、記憶部(42)に記憶された、所定期間内に検査された検査対象物あるいは所定数量の検査対象物に対する良否判定結果に基づいて、その所定期間内に検査された検査対象物の総数あるいはその所定数量の検査対象物に対して不良品と判定された検査対象物の比率を表す不良品率を算出するステップと、その不良品率が判定基準の作成時において想定される不良品率よりも高い場合、外観検査装置自体または外観検査装置による検査工程の前工程の何れかに変化が発生したと判定するステップとを含む。
係る手順を有することにより、この外観検査方法は、検査対象物に関する外観検査の前工程または外観検査装置自体で発生した変化を検知することができる。
上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
本発明の一つの実施形態に係る外観検査装置の概略構成図である。 (a)は、良品であるレクティファイヤの検査画像の一例であり、(b)は、不良品であるレクティファイヤの検査画像の一例である。 コントローラの判定部の機能ブロック図である。 サポートベクターマシンの概要を示す図である。 本発明の一つの実施形態に係る外観検査装置によって実行される、変化検知処理の動作フローチャートである。
以下、図を参照しつつ、一つの実施形態による、外観検査装置について説明する。
この外観検査装置は、予め良品と分かっている検査対象物のサンプル群と、予め不良品と分かっている検査対象物のサンプル群のそれぞれから抽出された特徴量の分布に基づいて、検査対象物を良否判定する判定基準を決定する。そしてこの外観検査装置は、その判定基準に従って一定期間に検査される検査対象物あるいは一定の数量の検査対象物に対して不良品と判定される不良品率が、判定基準設定時に想定される不良品率よりも増加したことを検知して、外観検査の前工程あるいは外観検査装置自体に生じた変化を検知する。
図1は、本発明の一つの実施形態に係る外観検査装置1の全体構成を示す。図1に示すように、外観検査装置1は、検査対象物10を照明する照明光源2と、検査対象物10を撮影した検査画像を取得するカメラ3と、カメラ3から取得した検査画像に基づいて検査対象物10が良品か否か判定するコントローラ4と、外観検査の前工程において生じた製造条件の変化などの検知結果に応じたメッセージを表示するディスプレイ5とを有する。
さらにコントローラ4は、他の機器とコントローラ4を接続するための通信インターフェースである通信部41と、半導体メモリ、磁気記録媒体または光記録媒体の少なくとも何れかを有する記憶部42と、1個または複数のプロセッサ及びその周辺回路を有する判定部43とを有する。
このうち、通信部41は、カメラ3から検査画像を取得して、その検査画像を判定部43に渡す。また通信部41は、判定部43から受け取った検査対象物10の良否判定結果、あるいは、外観検査の前工程において生じた製造条件の変化などの検知結果に応じたメッセージをディスプレイ5へ出力する。
記憶部42は、検査対象物10の良否判定に使用される様々なパラメータ及びプログラムを記憶する。また記憶部42は、検査対象物10の良否判定結果を記憶する。
判定部43は、検査画像に基づいて検査対象物10が良品か否か判定する。
本実施形態では、検査対象物10は、自動車に搭載されるオルタネータが有する、ステータコイルに発生した交流電流を直流に整流するためのレクティファイヤ(整流器)である。しかし検査対象物10は、レクティファイヤに限られず、検査画像から検査対象物10を良否判定可能な特徴量が抽出できるものであればよい。
レクティファイヤは、複数個のダイオードを有しており、製造工程において、それらダイオードがターミナルと溶接される。この溶接が正常に行われると、溶接部材がダイオードとターミナルの接点を覆うように形成されるが、溶接に失敗すると、例えば、溶接部材がダイオードとターミナルの一方の接点に偏って付着し、他方の接点をほとんど覆わなくなる。
図2(a)は、レクティファイヤの良品を撮影した検査画像の一例を示す。また図2(b)は、レクティファイヤの不良品を撮影した検査画像の一例を示す。
図2(a)に示した検査画像200では、溶接部材に相当する領域201は、検査画像200上で大きな領域を占めている。また溶接部材は球状をしているため、領域201内で距離の近い画素間の輝度差は全般的にそれほど大きく変化しない。そのため、領域201内のコントラストは低くなっている。
一方、図2(b)に示した検査画像210では、溶接部材はターミナルに偏って付着しているため、溶接部材に相当する領域211の面積は、良品についての溶接部材に相当する領域201の面積よりも狭くなっている。また、溶接部材は歪な形状をしているために、照明光の照射方向に対する溶接部材表面の角度が急激に変わるところが存在する。そのようなところでは、領域211内で距離の近い画素間でも、輝度差が大きくなる。そのため、領域211のコントラストは、領域201のコントラストよりも高くなる傾向がある。
そこで、判定部43は、検査画像から溶接部材に対応する領域を検出し、その領域の面積及びコントラストを特徴量として抽出する。そして判定部43は、それら特徴量に基づいて、検査対象物10が良品か否か判定する。
図3は、コントローラ4の判定部43の機能ブロック図である。図3に示すように、判定部43は、特徴量抽出部51と、学習部52と、良否判定部53と、変化検知部54とを有する。判定部43が有するこれらの各部は、例えば、判定部43を構成するプロセッサ上で実行されるコンピュータプログラムにより実装される機能モジュールとすることができる。
特徴量抽出部51は、検査画像から、検査対象物10に関する特徴量として、本実施形態では、溶接部材の状態を表す特徴量を抽出する。そのために、特徴量抽出部51は、検査画像から溶接部材に相当する領域である溶接部材領域を検出する。そこで先ず、特徴量抽出部51は、検査画像の画素の色相、彩度、明度をHSV色空間の点に変換する。なお、本実施形態では、HSV色空間は、0〜360の範囲の環状の軸を色相軸とし、0〜255の範囲の彩度軸、0〜255の範囲の明度軸で表現される。
次に、特徴量抽出部51は、検査画像から溶接部材の色に相当する色相を持つ画素を抽出する。本実施形態では、溶接部材は黄銅色をしているため、特徴量抽出部51は、例えば、検査画像を、色相に関して10〜35の範囲に属する値を有する画素と、それ以外の値を有する画素に2値化する。あるいは、特徴量抽出部51は、色相だけでなく、彩度及び明度に関する条件を定めてもよい。例えば、特徴量抽出部51は、検査画像を以下の条件を満たす画素とそれ以外の画素に2値化してもよい。なお、2値化の条件は、下記の例に限られない。2値化の条件は、使用される材料に応じて適切に設定される。
色相:10〜35の範囲内に含まれること
彩度:30〜255の範囲に含まれること
明度:0〜110の範囲に含まれること
特徴量抽出部51は、黄銅色に相当する色相値を有する画素の集合領域を溶接部材領域とする。なお、特徴量抽出部51は、ノイズによる影響を軽減するために、溶接部材領域を対象とするモルフォロジー演算のクロージング演算を行ってもよい。
次に、特徴量抽出部51は、溶接部材領域から特徴量を抽出する。本実施形態では、特徴量として、溶接部材領域の面積と、溶接部材領域に含まれる画素のコントラストを用いた。なおコントラストは、以下の式により算出される。
ただし、i、jはそれぞれ明度を表し、Pd(i,j)は明度iの画素から距離d離れた画素の明度がjである確率を表す。
なお、特徴量抽出部51は、溶接部材領域から、他の様々な特徴量、例えば、エネルギー、エントロビー、均一性など、テクスチャ解析で用いられる特徴量、あるいは円形度などを用いてもよい。なお、これらの特徴量は下記の式により算出される。
ここで、Sは溶接部材領域の面積であり、Lは溶接部材領域の周囲長である。
さらに、特徴量抽出部51は、検出された溶接部材領域に含まれる全画素の輝度を特徴量としてもよい。
特徴量抽出部51は、抽出した特徴量を良否判定部53に渡す。
学習部52は、検査対象物10の良否を判定するための判定基準として、判別分析による判別境界あるいは識別器を、実際の検査の実行前に予め作成する。
本実施形態では、学習部52は、検査対象物10の良否を判定するための判定基準として判別境界を用いる場合、複数の良品であるレクティファイヤを撮影した複数の良品画像のそれぞれから抽出された良品特徴量の分布と、複数の不良品であるレクティファイヤを撮影した複数の不良品画像のそれぞれから抽出された不良品特徴量の分布を調べる。なお、これらの特徴量は、特徴量抽出部51と同様の処理を良品画像または不良品画像に対して実行することにより抽出される。そして学習部52は、良品特徴量の重心から判別境界までのマハラノビス距離と、不良品特徴量の重心から判別境界までのマハラノビス距離が等距離となるように判別境界を設定する。
ここでマハラノビス距離MDは、以下の式によって算出される。
ただし、Xは、着目する特徴量の組(本実施形態では、溶接部材領域の面積及びコントラスト)を表すベクトルであり、μは、母集団となる特徴量分布の平均値(本実施形態では、良品特徴量の重心または不良品特徴量の重心に相当)である。またΣ-1は、分散共分散行列の逆行列である。
この判別境界は、例えば、特徴量の組を変数とする判別関数として求められる。なお、この判別関数の算出方法は、例えば、リチャード.O.デューダ他、「パターン識別」第2版、JOHN WILEY & SONS, Inc.、pp.29-45等に開示されているように公知であるので、その詳細な説明を省略する。
学習部52は、得られた判別境界を表す判別関数を記憶部42に記憶する。
また学習部52は、検査対象物10の良否を判定するための判定基準として、識別器を用いる場合、その識別器を作成するために、複数の良品特徴量と複数の不良品特徴量を用いる。本実施形態では、学習部52は、識別器をサポートベクターマシン(以下SVMという)により構成した。なお、外観検査装置1において使用可能な識別器はSVMに限られず、例えば、三層構成のパーセプトロン型ニューラルネットワークであってもよい。
図4に、SVMの概念図を示す。SVMは、所定の識別対象物が、二つのカテゴリの何れかに属する場合、その識別対象物から求めた1乃至複数の特徴量(以下、特徴量セットという)に基づいて、その識別対象物を何れのカテゴリに属するかを判定する識別器である。そしてカテゴリ間の境界は、各カテゴリに属する学習データの特徴量セットのうち、隣接するカテゴリに属する学習データの特徴量セットとの距離が最も近いものの組で表される。このカテゴリ間の境界を表す特徴量セットは、サポートベクトルと呼ばれる。図4では、丸印で示された各点が、カテゴリC1(例えば、検査対象物の良品に対応する特徴量セットが属するカテゴリ)に属する特徴量セットの一つであり、このうち特徴量セット401〜403が、カテゴリC1のサポートベクトルである。また、菱形で示された各点が、カテゴリC2(例えば、検査対象物の不良品に対応する特徴量セットが属するカテゴリ)に属する特徴量セットの一つであり、このうち特徴量セット404〜406が、カテゴリC2のサポートベクトルである。そして、サポートベクターマシンでは、識別精度を向上するために、カテゴリC1のサポートベクトルと、カテゴリC2のサポートベクトル間の距離(マージン)が最大化されるように、サポートベクトルが決定される。さらに、SVMでは、カテゴリ間の境界が非線形な場合でも、カーネル関数を利用して、学習データの特徴量セットを高次元に写像した上でサポートベクトルを決定することにより、各カテゴリに属する特徴量セットを線形分離可能とすることで、良好な識別性能を得ることができる。
本実施形態では、学習部52は、複数の良品特徴量及び複数の不良品特徴量を用いて、SVMを学習させる。
学習されたSVMは、検査対象物10の良品に対応する特徴量領域(以下、良品特徴量領域という)の境界を表すサポートベクトルである良品特徴量の組と、検査対象物10の不良品に対応する特徴量領域(以下、不良品特徴量領域という)の境界を表すサポートベクトルである不良品特徴量の組によって表される。そしてこれらのサポートベクトルは、良品・不良品というカテゴリと関連付けられて、予め記憶部42に記憶される。
良否判定部53は、特徴量抽出部51から受け取った特徴量と、学習部52により求められた判定基準に基づいて、検査対象物10が良品か否か判定する。
判定基準として、判別分析により求められた判別境界を用いる場合、良否判定部53は、特徴量抽出部51から受け取った特徴量が判別境界よりも良品特徴量の重心側に近いか否か判定する。そして良否判定部53は、その特徴量が判別境界よりも良品特徴量の重心側に近い場合、検査対象物10は良品であると判定する。逆に、その特徴量が判別境界よりも不良品特徴量の重心側に近い場合、良否判定部53は、検査対象物10は不良品であると判定する。
また、判定基準として識別器を用いる場合、良否判定部53は、その特徴量を識別器に入力する。そして良否判定部53は、その識別器がその特徴量を良品のカテゴリに分類すれば、検査対象物10を良品と判定し、一方、その識別器がその特徴量を不良品のカテゴリに分類すれば、検査対象物10を不良品と判定する。
良否判定部53は、検査対象物10に対する良否判定結果を、コントローラ4に接続されたディスプレイ5に表示する。また良否判定部53は、通信部41を介して検査対象物10を搬送する搬送装置(図示せず)へ良否判定結果を通知してもよい。これにより、その搬送装置は、良否判定結果に応じて検査対象物10を異なる行き先に振り分けることができる。
さらに良否判定部53は、その良否判定結果を、良否判定に使用された特徴量及び検査実行日時とともに記憶部42に記憶する。
変化検知部54は、定期的に(例えば、外観検査装置1の起動時)、あるいは任意のメンテナンス時において、検査前工程または外観検査装置1自身の変化の有無を判定する。そのために、変化検知部54は、一定期間に検査される検査対象物10あるいは一定の数量の検査対象物10に対して不良品と判定される不良品率が、判定基準設定時に想定される不良品率よりも増加したか否か判定する。そして変化検知部54は、その不良品率が増加したと判定した場合、検査前工程の変化あるいは外観検査装置1自身の変化を検知する。
なお、正常に動作する製造工程では、不良品が発生する確率は非常に低い。そのため、外観検査装置1が不良品と判定した検査対象物も、実際は良品であることが多い。従って、変化検知部54は、単に不良品率の増加を検知することにより、良品が不良品と誤って判定される率を表す擬陰性率も増加したと推定できる。
具体的に、変化検知部54は、例えば、直近の1時間、1日、あるいは1週間以内に検査された検査対象物の総数のうち、不良品と判定された検査対象物の占める比率を不良品率として算出する。あるいは、変化検知部54は、例えば、直近に検査された百個、千個あるいは一万個の検査対象物のうち、不良品と判定された検査対象物の占める比率を不良品率とする。
変化検知部54は、算出した不良品率が、判定基準設定時に想定される不良品率に対応する閾値よりも高くなったとき、不良品率が増加し、外観検査の前工程または外観検査装置1自体の何れかに、何らかの変化が生じたと判定する。なお、この閾値は、判定基準設定時に想定される不良品率そのもの、あるいはその不良品率に所定のマージンを加えた値であってもよい。例えば、この閾値は、判定基準設定時に想定される不良品率が、良品特徴量の分布に対する標準偏差の所定倍(例えば、3倍あるいは4倍)よりも外れた特徴量値となる検査対象物が不良品であるとした場合の不良品の発生率に設定されている場合、その所定倍から1を引いた倍数を乗じた標準偏差から外れる特徴量値を持つ検査対象物の発生率に設定されてもよい。
不良品率が増加したと判定した場合、変化検知部54は、不良品率の測定期間中の全ての検査対象物に関する各特徴量の分布を調べる。そして変化検知部54は、各特徴量の統計的代表値である直近特徴量代表値と、判定基準の学習時に用いられた複数の良品のサンプルに関する特徴量の分布から得られる統計的代表値である基準特徴量代表値との差の絶対値をそれぞれ調べる。なお、各特徴量に対する基準特徴量代表値は、予め記憶部42に記憶される。
変化検知部54は、着目する特徴量についてのその差の絶対値が所定の閾値以下である場合、その特徴量は、不良品率の上昇に関係していないと判定する。一方、変化検知部54は、着目する特徴量についてその差の絶対値が所定の閾値よりも大きい場合、着目する特徴量の統計的代表値に基づいて、不良品率上昇の原因が、外観検査の前工程にあるか、外観検査装置1自体にあるのかを特定する。なお、所定の閾値は、着目する特徴量の統計的代表値ごとに設定される。その原因を特定するために、各特徴量の基準特徴量代表値と、その変動に関連する不良品率上昇の原因に対応する識別番号とが関連付けられた参照テーブルが予め作成され、記憶部42に記憶される。そして、変化検知部54は、その参照テーブルを参照することにより、対象となる基準特徴量代表値の変動に対応する原因を特定できる。
本実施形態では、着目する特徴量の統計的代表値の一例は、溶接部材領域の面積の分散である。例えば、直近特徴量代表値として不良品率の測定期間中に得られた溶接部材領域の面積の分布から算出された分散値が、基準特徴量代表値として判定基準の学習時に用いられた良品のサンプルに関する溶接部材領域の面積の分布から算出された分散値よりも大きくなっていれば、変化検知部54は、外観検査装置1による外観検査工程の前工程である溶接工程において使用された溶接用の電極または溶接棒に原因があると推定する。
また、着目する特徴量の統計的代表値の他の一例は、溶接部材領域のコントラストの平均値である。例えば、直近特徴量代表値として不良品率の測定期間中に得られた溶接部材領域のコントラストの分布から算出された平均値が、基準特徴量代表値として判定基準の学習時に用いられた良品のサンプルに関する溶接部材領域のコントラストの分布から算出された平均値よりも大きくなっていれば、変化検知部54は、外観検査装置1の照明光源2に原因があると推定する。
変化検知部54は、不良品率が増加したと判定した場合、上記のように推定された検査前工程の変化あるいは外観検査装置1自身の変化を表すメッセージを含む変化検知信号を、ディスプレイ5に送信し、そのメッセージを表示させる。
あるいは、変化検知部54は、その変化検知信号を、通信部41を介して外観検査装置1と接続された他の装置へ送信してもよい。
図5に、判定部43の変化検知部54により実行される、変化検知処理の動作フローチャートを示す。
まず、変化検知部54は、一定期間に検査される検査対象物10あるいは一定の数量の検査対象物10に対する不良品率を算出する(ステップS101)。次に、変化検知部54は、その不良品率が判定基準設定時に想定される不良品率に対応する閾値よりも大きいか否か判定する(ステップS102)。その不良品率が所定の閾値以下である場合、変化検知部54は、検査前の製造工程及び外観検査に特に変化はないと判定して、変化検知処理を終了する。
一方、ステップS102において、不良品率が判定基準設定時に想定される不良品率に対応する閾値よりも高い場合、変化検知部54は、不良品率の測定期間中の全ての検査対象物に関する各特徴量の統計的代表値をそれぞれ直近特徴量代表値として算出する(ステップS103)。そして変化検知部54は、着目する特徴量について算出した直近特徴量代表値と、判定基準の学習時に用いられた複数の良品のサンプルに関するその着目する特徴量の分布から得られる統計的代表値である基準特徴量代表値との差の絶対値が所定の閾値よりも大きいか否か判定する(ステップS104)。その差の絶対値が所定の閾値よりも大きい場合、変化検知部54は、各特徴量の基準特徴量代表値と、その変動に関連する不良品率上昇の原因に対応する識別番号とが関連付けられた参照テーブルを参照することにより、不良品率の上昇の原因が外観検査前工程にあるのか、外観検査装置1自身にあるのかを特定する(ステップS105)。そして変化検知部54は、特定された原因を示すメッセージをディスプレイ5に表示させることにより、その原因を報知する(ステップS106)。
ステップS104において、着目する特徴量についての直近特徴量代表値と基準特徴量代表値の差の絶対値が所定の閾値以下である場合、あるいはステップS106の後、変化検知部54は、全ての特徴量に関してステップS103〜S106の処理を行ったか否か判定する(ステップS107)。そして何れかの特徴量についてステップS103〜S106の処理が行われていない場合、変化検知部54は、その処理が行われていない特徴量を着目する特徴量とし、ステップS103〜S106の処理を再度実行する。
一方、全ての特徴量についてステップS103〜S106の処理が終了している場合、外観検査装置1は、外観検査処理を終了する。
以上説明してきたように、本発明の一つの実施形態に係る外観検査装置は、予め良品と分かっている検査対象物のサンプル群と、予め不良品と分かっている検査対象物のサンプル群のそれぞれから抽出された特徴量の分布に基づいて、検査対象物の良否を判定するための判定基準を求める。そしてこの外観検査装置は、その判定基準に従って検査対象物が不良品と判定される不良品率が増加したことを検知することで、検査前の製造工程または外観検査装置に変化が発生したことを自動的に検知できる。さらにこの外観検査装置は、変化を検知した時、その不良品率上昇時と判定基準設定時の各特徴量の統計的代表値を比較することで、検査前の製造工程または外観検査装置の何れに変化があるかを推定できる。
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、良否判定部は、判別分析により決定される判別境界と識別器の両方を用いて、検査対象物の良否判定を行ってもよい。この場合、学習部も、判別境界及び識別器の両方を作成する。
判別境界と識別器の両方を用いる場合、良否判定部は、先ず、判別境界を用いて良否判定を行う。その際、特徴量と判別境界とのマハラノビス距離が所定距離以下である場合、良否判定部は、識別器を用いて良否判定を行う。なお、所定距離は、例えば1に設定される。
具体的には、良否判定部は、特徴量抽出部から受け取った特徴量が判別境界よりも良品特徴量の重心側に近いか否か判定する。そして良否判定部は、その特徴量が判別境界よりも良品特徴量の重心側に近く、かつ、その特徴量と判別境界との良品特徴量分布に関するマハラノビス距離が所定距離よりも大きい場合、検査対象物は良品であると判定する。逆に、その特徴量が判別境界よりも不良品特徴量の重心側に近く、かつ、その特徴量と判別境界との不良品特徴量分布に関するマハラノビス距離が所定距離よりも大きい場合、良否判定部は、検査対象物は不良品であると判定する。
また、特徴量抽出部から受け取った特徴量と判別境界との距離が上記の所定距離以下であれば、良否判定部は、その特徴量を識別器に入力する。そして良否判定部は、その識別器がその特徴量を良品のカテゴリに分類すれば、検査対象物を良品と判定し、一方、その識別器がその特徴量を不良品のカテゴリに分類すれば、検査対象物を不良品と判定する。なお、その特徴量が良品特徴量領域の境界と不良品特徴量領域の境界の間に位置する場合、識別器は、その特徴量を何れのカテゴリにも分類しない。この場合、良否判定部は、その特徴量が判別境界に対して良品特徴量の重心側に近いか否かで、検査対象物の良否を判定してもよい。
また良否判定部は、上記の実施形態とは逆に、検査対象物を撮影した検査画像から抽出された特徴量を先ずSVMとして構成される識別器に入力して良否判定を行ってもよい。そして良否判定部は、良品特徴量の境界と不良品特徴量の境界の間に位置すると判定された特徴量についてのみ、判別境界を用いて良否判定を行うようにしてもよい。
また、判定基準は、外観検査装置とは、別の装置にて作成されてもよい。この場合、上記の学習部は、判定基準を作成する装置に実装される。そして外観検査装置は、作成された判定基準を表すパラメータのみを記憶部に記憶しておけばよい。そのため、外観検査装置から、学習部は省略される。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
1 外観検査装置
2 照明光源
3 カメラ
4 コントローラ
5 ディスプレイ
41 通信部
42 記憶部
43 判定部
51 特徴量抽出部
52 学習部
53 良否判定部
54 変化検知部
10 検査対象物

Claims (3)

  1. 検査対象物の良否を判定する外観検査装置であって、
    検査対象物を撮影した検査画像を取得する撮像部(3)と、
    記憶部(42)と、
    前記検査画像から、前記検査対象物に関する特徴量を抽出する特徴量抽出部(51)と、
    前記特徴量と予め設定された判定基準に従って、前記検査対象物の良否を判定し、該良否判定結果を前記記憶部(42)に記憶する良否判定部(52)と、
    前記記憶部(42)に記憶された、所定期間内に検査された前記検査対象物あるいは所定数量の前記検査対象物に対する良否判定結果に基づいて、該所定期間内に検査された前記検査対象物の総数あるいは該所定数量の前記検査対象物に対して不良品と判定された検査対象物の比率を表す不良品率を算出し、当該不良品率が前記判定基準の作成時において想定される不良品率よりも高い場合、前記外観検査装置自体または前記外観検査装置による検査工程の前工程の何れかに変化が発生したと判定する変化検知部(54)と、
    を有することを特徴とする外観検査装置。
  2. 前記記憶部(42)は、前記判定基準の学習時に用いられた複数の検査対象物の良品のサンプルに関する前記特徴量の分布から得られる統計的代表値である基準特徴量代表値と当該基準特徴量代表値に対応する不良品率上昇の原因が前記外観検査装置自体または前記前工程の何れにあるかを示した参照テーブルを記憶し、
    前記変化検知部(54)は、前記所定期間内に検査された全ての検査対象物あるいは前記所定数量の前記検査対象物に関する前記特徴量の統計的代表値である直近特徴量代表値を算出し、該直近特徴量代表値と、前記基準特徴量代表値との差の絶対値が所定の閾値よりも大きい場合、前記基準特徴量代表値及び前記参照テーブルを参照することにより、前記発生した変化が前記外観検査装置自体または前記前工程の何れにあるかを特定する、請求項1に記載の外観検査装置。
  3. 検査対象物の良否を判定する外観検査方法であって、
    検査対象物を撮影した検査画像を取得するステップと、
    前記検査画像から、前記検査対象物に関する特徴量を抽出するステップと、
    前記特徴量と予め設定された判定基準に従って、前記検査対象物の良否を判定し、該良否判定結果を記憶部(42)に記憶するステップと、
    記憶部(42)に記憶された、所定期間内に検査された前記検査対象物あるいは所定数量の前記検査対象物に対する良否判定結果に基づいて、該所定期間内に検査された前記検査対象物の総数あるいは該所定数量の前記検査対象物に対して不良品と判定された検査対象物の比率を表す不良品率を算出するステップと、
    前記不良品率が前記判定基準の作成時において想定される不良品率よりも高い場合、前記外観検査装置自体または前記外観検査装置による検査工程の前工程の何れかに変化が発生したと判定するステップと、
    を含むことを特徴とする外観検査方法。
JP2009096440A 2009-04-10 2009-04-10 外観検査装置 Expired - Fee Related JP5168215B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009096440A JP5168215B2 (ja) 2009-04-10 2009-04-10 外観検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009096440A JP5168215B2 (ja) 2009-04-10 2009-04-10 外観検査装置

Publications (2)

Publication Number Publication Date
JP2010249547A true JP2010249547A (ja) 2010-11-04
JP5168215B2 JP5168215B2 (ja) 2013-03-21

Family

ID=43312063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009096440A Expired - Fee Related JP5168215B2 (ja) 2009-04-10 2009-04-10 外観検査装置

Country Status (1)

Country Link
JP (1) JP5168215B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013224942A (ja) * 2012-04-19 2013-10-31 Applied Materials Israel Ltd 自動欠陥分類のための未知欠陥除去の最適化
US10043264B2 (en) 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
WO2018150607A1 (ja) * 2017-02-20 2018-08-23 Serendipity株式会社 外観検査装置、照明装置、撮影照明装置
US10114368B2 (en) 2013-07-22 2018-10-30 Applied Materials Israel Ltd. Closed-loop automatic defect inspection and classification
CN110599441A (zh) * 2018-06-11 2019-12-20 发那科株式会社 接缝检查装置
JP2020042669A (ja) * 2018-09-12 2020-03-19 ファナック株式会社 検査装置及び機械学習方法
JP2020042668A (ja) * 2018-09-12 2020-03-19 ファナック株式会社 検査装置及び機械学習方法
CN111435118A (zh) * 2019-01-14 2020-07-21 日商登肯股份有限公司 检查装置和检查方法
WO2022196003A1 (ja) * 2021-03-15 2022-09-22 オムロン株式会社 品質評価装置及び検査管理システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62169040A (ja) * 1986-01-22 1987-07-25 Hitachi Ltd プリント基板パタ−ン検査装置
JPH02287241A (ja) * 1989-04-28 1990-11-27 Hitachi Ltd 外観検査方法及びその装置並びに製品の製造工程中における異常原因除去方法
JPH04328455A (ja) * 1991-04-30 1992-11-17 Mitsubishi Electric Corp はんだ付け検査装置
JPH07286836A (ja) * 1994-04-15 1995-10-31 Matsushita Electric Works Ltd 成形品検査方法及び成形制御方法
JPH10153558A (ja) * 1996-11-21 1998-06-09 Sekisui Chem Co Ltd 検査装置
JP2003017378A (ja) * 2001-06-29 2003-01-17 Toshiba Corp 半導体処理装置、半導体処理システムおよび半導体処理管理方法
JP2004226175A (ja) * 2003-01-21 2004-08-12 Omron Corp 基板実装ラインの運転支援装置
JP2007114843A (ja) * 2005-10-18 2007-05-10 Denso Corp 良否判定装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62169040A (ja) * 1986-01-22 1987-07-25 Hitachi Ltd プリント基板パタ−ン検査装置
JPH02287241A (ja) * 1989-04-28 1990-11-27 Hitachi Ltd 外観検査方法及びその装置並びに製品の製造工程中における異常原因除去方法
JPH04328455A (ja) * 1991-04-30 1992-11-17 Mitsubishi Electric Corp はんだ付け検査装置
JPH07286836A (ja) * 1994-04-15 1995-10-31 Matsushita Electric Works Ltd 成形品検査方法及び成形制御方法
JPH10153558A (ja) * 1996-11-21 1998-06-09 Sekisui Chem Co Ltd 検査装置
JP2003017378A (ja) * 2001-06-29 2003-01-17 Toshiba Corp 半導体処理装置、半導体処理システムおよび半導体処理管理方法
JP2004226175A (ja) * 2003-01-21 2004-08-12 Omron Corp 基板実装ラインの運転支援装置
JP2007114843A (ja) * 2005-10-18 2007-05-10 Denso Corp 良否判定装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013224942A (ja) * 2012-04-19 2013-10-31 Applied Materials Israel Ltd 自動欠陥分類のための未知欠陥除去の最適化
US10043264B2 (en) 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
JP2018128468A (ja) * 2012-04-19 2018-08-16 アプライド マテリアルズ イスラエル リミテッド 自動欠陥分類のための未知欠陥除去の最適化
US10901402B2 (en) 2013-07-22 2021-01-26 Applied Materials Israel, Ltd. Closed-loop automatic defect inspection and classification
US10114368B2 (en) 2013-07-22 2018-10-30 Applied Materials Israel Ltd. Closed-loop automatic defect inspection and classification
JPWO2018150607A1 (ja) * 2017-02-20 2019-02-21 Serendipity株式会社 外観検査装置、照明装置、撮影照明装置
JP2020042044A (ja) * 2017-02-20 2020-03-19 Serendipity株式会社 外観検査装置、照明装置、撮影照明装置
US10890537B2 (en) 2017-02-20 2021-01-12 Serendipity Co., Ltd Appearance inspection device, lighting device, and imaging lighting device
WO2018150607A1 (ja) * 2017-02-20 2018-08-23 Serendipity株式会社 外観検査装置、照明装置、撮影照明装置
CN110599441A (zh) * 2018-06-11 2019-12-20 发那科株式会社 接缝检查装置
CN110599441B (zh) * 2018-06-11 2023-11-07 发那科株式会社 接缝检查装置
US11682112B2 (en) 2018-09-12 2023-06-20 Fanuc Corporation Inspection device and machine learning method
JP2020042669A (ja) * 2018-09-12 2020-03-19 ファナック株式会社 検査装置及び機械学習方法
JP2020042668A (ja) * 2018-09-12 2020-03-19 ファナック株式会社 検査装置及び機械学習方法
US11521120B2 (en) 2018-09-12 2022-12-06 Fanuc Corporation Inspection apparatus and machine learning method
CN111435118A (zh) * 2019-01-14 2020-07-21 日商登肯股份有限公司 检查装置和检查方法
WO2022196003A1 (ja) * 2021-03-15 2022-09-22 オムロン株式会社 品質評価装置及び検査管理システム

Also Published As

Publication number Publication date
JP5168215B2 (ja) 2013-03-21

Similar Documents

Publication Publication Date Title
JP5168215B2 (ja) 外観検査装置
US10297021B2 (en) Defect quantification method, defect quantification device, and defect evaluation value display device
CN108445011B (zh) 一种基于深度学习的瑕疵检测系统及方法
US20190139212A1 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
JP6121425B2 (ja) ラスタ画像のエッジ検出によるベルト摩耗の測定
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
US7127099B2 (en) Image searching defect detector
KR102103853B1 (ko) 결함 검사 장치 및 결함 검사 방법
WO2014168884A1 (en) Adaptive sampling for semiconductor inspection recipe creation, defect review, and metrology
KR100598381B1 (ko) 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법
JP2013167596A (ja) 欠陥検査装置、欠陥検査方法及びプログラム
TW202242390A (zh) 缺陷檢查裝置、缺陷檢查方法以及製造方法
CN115661021A (zh) 缺陷检测方法、装置、设备及存储介质
JP2017219529A (ja) 外観異常検査装置、方法、及びプログラム
CN113168687A (zh) 图像评价装置和方法
JP2015197396A (ja) 画像検査方法および画像検査装置
CN113111903A (zh) 智能产线监测系统及监测方法
JP5152081B2 (ja) 外観検査装置
JP4840327B2 (ja) 外観検査方法
KR101929669B1 (ko) 엔트로피를 이용하여 이미지를 분석하는 방법 및 장치
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
Widodo et al. Application of self organizing map for intelligent machine fault diagnostics based on infrared thermography images
CN112485324A (zh) 磁性粒子检查装置
CN115621147B (zh) 晶圆检测方法、装置及电子设备
CN117078679B (zh) 一种基于机器视觉的散热风扇自动组装线生产检测方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121210

R151 Written notification of patent or utility model registration

Ref document number: 5168215

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160111

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees