JP2015041164A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】製造プロセスが変更になったり、環境変動が生じたりしても欠陥検出精度が劣化しない検査技術を提供する【解決手段】画像処理装置に、検査対象物の画像データから抽出される複数の第１特徴量に基づいて、各領域の中から欠陥候補点を検出する欠陥候補点検出手段と、検出された前記欠陥候補点に基づいて、欠陥候補領域を設定する欠陥候補領域設定手段と、前記欠陥候補領域を除く領域に対して、非欠陥候補領域を設定する非欠陥候補領域設定手段と、前記欠陥候補領域及び前記非欠陥候補領域のそれぞれから第２特徴量を算出する第２特徴量算出手段と、複数の非欠陥候補領域から抽出した第２特徴量に基づき、正常モデル識別器を生成する正常モデル識別器生成手段と、前記正常モデル識別器を用いて、前記検査対象物の欠陥の有無を判定する欠陥判定手段と、を備える。【選択図】 図２

Description

本発明は、検査対象領域の中から欠陥を検出する画像処理装置、画像処理方法およびプログラムに関する。

例えば、表面のキズや凹み等の欠陥の検出を行う外観検査は、目視で行うことが多いが、この工程は検査員の負荷が高く、自動化が検討されている。欠陥の自動検出手法の多くは、あらかじめ用意した正常データと検出対象データとの差を閾値と比較して、正常・異常を判断する。正常データと検出対象データとの比較に使用する特徴や、閾値等のパラメータの調整は、成功率に直結するが、その調整には専門の知識が必要であり、手間もかかっている。

そのため、特許文献１では、あらかじめ用意した正常・異常データの分離度に基づいて特徴量間の組合せを評価し、検出に使用する特徴を選択する。そして、選択された特徴に基づき、部分空間法により正常・異常判定を行う技術が開示されている。
また、特許文献２では、汎用的な特徴を使用し、部分空間法を使用して欠陥検出を行う技術が開示されている。

特開２０１０−１０２６９０号公報 特許第４６０３５１２号公報

石井健一郎，上田修功，前田英作，村瀬洋，"わかりやすいパターン認識"，オーム社，東京，1998． 麻生英樹，津田宏治，村田昇，"パターン認識と学習の統計学"，岩波書店，東京，2003．

製造プロセスの変更や環境の変動によっては、欠陥の種類や表質の仕方が異なることがある。そのため、あらかじめ用意したデータに基づいて設定した識別器やパラメータではそのような変動によって欠陥検出精度が劣化する場合がある。
そこで本発明は、製造プロセスが変更になったり、環境変動が生じたりしても欠陥検出精度が劣化しない検査技術を提供することにある。

本発明の画像処理装置は、画像データから抽出される複数の第１特徴量に基づいて、各領域の中から欠陥候補点を検出する欠陥候補点検出手段と、検出された前記欠陥候補点に基づいて、欠陥候補領域を設定する欠陥候補領域設定手段と、前記欠陥候補領域を除く領域に対して、非欠陥候補領域を設定する非欠陥候補領域設定手段と、前記欠陥候補領域及び前記非欠陥候補領域のそれぞれから第２特徴量を算出する第２特徴量算出手段と、複数の非欠陥候補領域から抽出した第２特徴量に基づき、正常モデル識別器を生成する正常モデル識別器生成手段と、前記正常モデル識別器を用いて、欠陥の有無を判定する欠陥判定手段と、を備えることを特徴とする。

本発明によれば、検査対象の欠陥候補領域、非欠陥候補領域を検出し、正常モデル識別器をオンラインで生成することにより、製造プロセスが変更になったり、環境変動が生じたりしても、高精度な欠陥検出が可能になる。

第１の実施形態におけるパターン認識システムの構成例を示す図。 第１の実施形態におけるパターン認識装置１０１の機能ブロック図である。 第１の実施形態におけるパターン認識装置１０１のパターン認識処理の流れを示すフローチャートである。 第１の実施形態におけるハール・ウェーブレット変換の概略図である。 第１の実施形態における欠陥候補領域５０２と非欠陥候補領域５０３の設定方法を示す概略図である。 第１の実施形態における表示装置１０３の概略図である。 第２の実施形態におけるパターン認識装置１０１のパターン認識処理の流れを示すフローチャートである。 第２の実施形態における特徴量の評価値の算出方法の概略図を示す。 第３の実施形態におけるパターン認識装置１０１のパターン認識処理の流れを示すフローチャートである。 第３の実施形態における特徴空間上の正常モデルと欠陥の種類の関係を示す概略図である。

［第１の実施形態］
検査ライン上で、検査対象物が運ばれており、画像を撮影して検査し、検査結果を表示するタスクを例として、説明を行う。以下、図面を用いて第１の実施形態を詳細に述べる。
図１は、第１の実施形態におけるパターン認識装置の構成を示した図である。パターン認識装置１０１は、検査を行う。パターン認識装置１０１には、撮像装置１０２で撮影された画像が入力される。
撮像装置１０２は、検査対象物１０４の画像の撮影を行う。
表示装置１０３は、欠陥の位置・種類を表示し、液晶モニタなどから構成され、パターン認識装置１０１から送信される認識結果を表示する。
欠陥の可視化のために、光源１０５から検査対象物１０４に光を照射し、撮像装置１０２で画像を撮影する。

図２は、本実施形態におけるパターン認識装置１０１をより詳しく示した図である。
欠陥候補点検出部２０１は、撮像装置１０３により検査対象領域を撮像して得られた画像データから第１特徴量を算出し、第１特徴量の算出位置に基づいて、欠陥候補点を検出する。第１特徴量については後述する。
欠陥候補領域設定部２０２は、検出された欠陥候補点に基づいて検査対象領域内に欠陥候補領域を設定する。
非欠陥候補領域設定部２０３は、欠陥候補領域設定部２０２で設定された欠陥候補領域以外の領域を非欠陥候補領域としてランダムに選択し設定する。
第２特徴量算出部２０４は、欠陥候補領域と非欠陥候補領域とのそれぞれから複数の第２特徴量を算出する。
正常モデル識別器生成部２０５は、非欠陥候補領域から求めた第２特徴量を用いて正常モデル識別器を生成する。
欠陥判定部２０６は、生成された正常モデル識別器と欠陥候補領域から求めた第２特徴量とを用いて、正常モデルと欠陥候補領域から求めた第２特徴量とを比較して、欠陥候補領域から求めた第２特徴量の異常度を算出する。そして、算出された異常度を閾値処理することにより、欠陥の有無を判定する。

図３に、本実施形態における処理のフローチャートを示す。検査対象物の欠陥検出のタスクを例に、ステップＳ３０１からステップＳ３０７までの処理を説明する。
（ステップＳ３０１：データ入力）
ステップＳ３０１では、撮影された画像データの入力を行う。なお、検査対象領域が画像上の一部であるときは、検査対象領域のみを評価対象として入力をおこなう。
（ステップＳ３０２：第１特徴量から欠陥候補点を検出）
ステップＳ３０２では、欠陥候補点の検出をおこなう。画像の検査対象領域から、第１特徴量を抽出し、第１特徴量に基づいて欠陥候補点を検出する。
第１特徴量としては、
１）輝度値の最大値や、
２）輝度画像から横方向ｕ軸の微分量，縦方向ｖ軸の微分量を算出し、異なる方向の微分量の平方和をそれぞれの画素に対して算出して得られる平方和の最大値
を用いる。
輝度値が最大値となる座標や、前記平方和が最大値となる座標を、欠陥候補点の座標として検出する。
複数の第１特徴量を用いる場合は、たとえば対象画像の注目領域に対して、ハール・ウェーブレット（Haar Wavelet）変換をかけて、階層的に画像を生成する。ハール・ウェーブレット変換とは、簡単に述べると、位置情報を保持したまま周波数変換する処理である。
図４にハール・ウェーブレット変換の概略図を示す。まず、対象画像に対して、４種類のフィルタ（式１−１〜１−４）を用意する。

式１−１が縦方向高周波数成分フィルタ（ＨＬ）、式１−２が横方向高周波数成分フィルタ（ＬＨ）、式１−３が対角方向高周波数成分フィルタ（ＨＨ）、式１−４が低周波数成分フィルタ（ＬＬ）を示す。対象画像の２×２の画素に対して、上記のフィルタで内積をとる。２×２の領域を重ね合わせることなく、移動させて、解像度が２分の１になるように、縦方向高周波成分画像、横方向高周波成分画像、対角方向高周波成分画像、低周波成分画像の４種類の画像を生成する。

この際、解像度は２分の１になるので、たとえばハール・ウェーブレット変換を８回繰り返すのであれば、画像サイズは２の８乗の倍数に設定しておくことが好ましい。

生成された低周波成分画像に対して再度４種類のフィルタを適用して、解像度が更に２分の１となるように、次の階層の縦方向高周波成分画像、横方向高周波成分画像、対角方向高周波成分画像、低周波成分画像の四種類の画像を生成する。
つまり、第１の階層の画像から、縦方向高周波成分画像、横方向高周波成分画像、対角方向高周波成分画像、低周波成分画像の４種類の画像を生成する。
そして、第１の階層の画像から生成された低周波成分画像から、第２の階層の縦方向高周波成分画像、横方向高周波成分画像、対角方向高周波成分画像、低周波成分画像の４種類の画像を生成する。
さらに、第２の階層の画像から生成された低周波成分画像から、第３の階層の縦方向高周波成分画像、横方向高周波成分画像、対角方向高周波成分画像、低周波成分画像の４種類の画像を生成する。

このような画像生成を繰り返すことによって各階層で縦方向高周波成分画像、横方向高周波成分画像、対角方向高周波成分画像の３種類の高周波数成分画像を生成する。各階層で生成した縦方向高周波成分画像、横方向高周波成分画像、対角方向高周波成分画像の３種類の高周波数成分画像から、階層ごとに３種類の高周波成分画像の和画像、高周波成分画像の二乗和画像、高周波成分画像の絶対値和画像を生成する。結果としてハール・ウェーブレット変換を８回行い、各階層から７画像生成されるので、５６画像が生成される。これに加えて入力画像が追加されるので、以下の合計５７画像が生成される。
１）入力画像
２）第１〜第８階層の各階層の縦方向高周波成分画像
３）第１〜第８階層の各階層の横方向高周波成分画像
４）第１〜第８階層の各階層の対角方向高周波成分画像
５）第１〜第８階層の各階層の低周波成分画像
６）第１〜第８階層の各階層の３種類の高周波成分画像の和画像
７）第１〜第８階層の各階層の３種類の高周波成分画像の二乗和画像
８）第１〜第８階層の各階層の３種類の高周波成分画像の絶対値和画像

ハール・ウェーブレット変換前の１種類の画像（入力画像）と、ハール・ウェーブレット変換を行った５６種類の画像との合計５７種類の画像に対して、第１特徴量を算出する。ここで、第１特徴量としては、例えば
１）輝度値の最大値と、
２）輝度画像から横方向ｕ軸の微分量，縦方向ｖ軸の微分量を算出し、縦横２方向の微分量の平方和をそれぞれの画素で算出して得られる平方和の最大値
を用いる。

画素の輝度値が最大となる位置を算出する方法を式２に示し、画像上の異なる２方向の微分量の平方和が最大となる位置を算出する方法を式３に示す。
式２、式３のｐは入力画像ｐを示し、画像上の座標位置を横軸であるｕ軸，縦軸であるｖ軸の画像に対して、第１特徴量算出位置（ｕ，ｖ）＝（ｉ，ｊ）を示す。
ただし、ハール・ウェーブレット変換を行うごとに、縦、横それぞれが２分の１のサイズの画像が生成される。このため、ｑ番目の階層の画像に対しては、ハール・ウェーブレット変換をかける前の座標において、座標位置ｉ、ｊを利用し、（ｕ，ｖ）＝（２^ｑ×ｉ，２^ｑ×ｊ）として求める。
つまり、ハール・ウェーブレット変換開始前の最初の階層を０番目の階層とし、変換を１回行った後の画像を１番目の階層の画像としたとき、ｑ番目の階層の画像から得られた座標（ｉ，ｊ）は、０番目の階層の画像の座標（２^ｑ×ｉ，２^ｑ×ｊ）に相当する。

このようにして、ハール・ウェーブレット変換をかけて生成された５７種類の画像に対して、画像ごとに式２を用いて１か所、式３を用いて１か所の合計２か所の第１特徴量算出位置（欠陥候補点）を求める。よって５７種類の画像のそれぞれについて２か所、合計１１４か所（以下、Ｍ箇所とする）の欠陥候補点を求める。
本実施形態では、輝度値の最大値算出位置と、輝度値の縦横２方向の微分量の平方和の最大値算出位置を用いて欠陥候補点を求めた。しかし、欠陥候補点が少ないときは、最大値算出位置だけを用いるのではなく、最大値算出位置からＬ番目に大きい値までの算出位置の全てを用いてもよい。つまり、最大値算出位置、２番目に大きい値の算出位置、３番目に大きい値の算出位置、・・、Ｌ−１番目に大きい値の算出位置、Ｌ番目に大きい値の算出位置の全てを欠陥候補点として用いてもよい。
また、輝度値が閾値以上の値をもつ座標位置の全てを欠陥候補点としてもよい。

（ステップＳ３０３：欠陥候補領域を設定）
ステップＳ３０３では、欠陥候補領域の設定を行う。図５は欠陥候補領域設定方法と非欠陥候補領域設定方法の例を示す図である。検査対象領域５０１に対して、ステップＳ３０３で欠陥候補領域を設定し、後述のステップＳ３０４で非欠陥候補領域を設定する。
図５中の欠陥候補領域５０２は、ステップＳ３０２で算出したＭ箇所の欠陥候補点を中心として、ａ×ｂピクセル（ａは横方向の画素数、ｂは縦方向の画素数）の矩形領域を設定する。
なお、ａ×ｂピクセルの矩形領域の一部が検査対象領域５０１の外へはみ出してしまう場合は、矩形領域の中心位置をずらさないで、矩形領域の検査対象領域５０１からはみ出してしまう部分を削り、検査対象領域５０１内の部分のみを利用してもよい。また、矩形領域全体が検査対象領域５０１内に収まるように、矩形領域の中心位置を移動するとしてもよい。

（ステップＳ３０４：非欠陥候補領域を設定）
ステップＳ３０４では、非欠陥候補領域の設定をおこなう。ステップＳ３０２で設定したＭ個の矩形領域を避けるように、非欠陥候補領域を設定する。
図５中の非欠陥候補領域５０３は、検査対象領域５０１に対して、Ｍ箇所の欠陥候補領域５０２を除いた領域から設定する。Ｍ箇所の欠陥候補領域５０２と重ならないようにａ×ｂピクセルの領域を非欠陥候補領域５０３としてランダムにＮ箇所、設定する。

（ステップＳ３０５：第２特徴量を算出）
ステップＳ３０５では、ステップＳ３０３で求めた欠陥候補領域５０２とステップＳ３０４で求めた非欠陥候補領域５０３のそれぞれに対して、複数の第２特徴量を算出する。欠陥候補領域５０２と非欠陥候補領域５０３に共通する第２特徴量として、最大値、平均、分散といった特徴量を算出する。最大値の算出方法は式４に、平均の算出方法は式５に、分散の算出方法は式６に示す。縦ｉ番目、横ｊ番目の画素値をｐ（ｉ，ｊ）とする。
ステップＳ３０２で求めたハール・ウェーブレット変換後のある階層の画像（縦方向高周波成分画像、横方向高周波成分画像、対角方向高周波成分画像又は低周波成分画像）から最大値、平均、分散といった特徴量を求めてもよい。
また、ある階層の高周波成分画像の和画像、高周波数成分画像の二乗和画像または高周波成分画像の絶対値和画像から、最大値、平均、分散を求めてもよい。
ただし、ハール・ウェーブレット変換を１回行うごとに、検査対象領域５０１の縦横のサイズがそれぞれ２分の１になるので、欠陥候補領域５０２と非欠陥候補領域５０３の中心座標を縦軸横軸のそれぞれで２分の１の値にする必要がある。また、同時に欠陥候補領域５０２と非欠陥候補領域５０３のサイズも縦横それぞれで２分の１にする必要がある。

（ステップＳ３０６：正常モデル識別器を生成）
ステップＳ３０６では、ステップＳ３０５で求めたＮ箇所の非欠陥候補領域から求められた第２特徴量を利用して学習し、正常モデル識別器を生成する。正常モデル識別器とは、良品データを利用して、特徴空間上に良品のモデルを生成し、モデル内に含まれれば良品と判定し、モデル外に含まれれば、不良品と判定する仕組みである。正常モデル識別器として、１クラス識別器を用いる。１クラス識別器としては部分空間法を用いた識別器、１クラスＳＶＭ（サポート・ベクター・マシン）、楕円体モデルを用いた識別器が存在するが、いずれを用いてもよい。
部分空間法については非特許文献１に開示されており、１クラスＳＶＭについては非特許文献２に開示されている。本実施形態ではオンラインで処理するので、計算時間が比較的短い楕円体モデルを用いた識別器を利用する。

楕円体モデルとは、式７を用いて算出されるマハラノビス距離を評価関数として異常度を算出し、欠陥か非欠陥かを識別するものである。
まず、Ｍ箇所の欠陥候補領域すべてに対して、最大値（式４）、平均（式５）、分散（式６）からなるｉ番目の欠陥候補領域ｉの特徴ベクトルｘ_ｉ（ｉ＝１，２，…，Ｍ）を求める。なお、このｉは画素の位置を示すｉとは無関係である。
特徴ベクトルｘ_ｉ＝（欠陥候補領域ｉの最大値,欠陥候補領域ｉの平均,欠陥候補領域ｉの分散）
次に、Ｎ箇所の非欠陥候補領域のそれぞれに対して、最大値（式４）、平均（式５）、分散（式６）からなる非欠陥候補領域ｊの特徴ベクトルｘ_ｊ（ｊ＝１，２，…，Ｎ）を求める。
特徴ベクトルｘ_ｊ＝（非欠陥候補領域ｊの最大値,非欠陥候補領域ｊの平均,非欠陥候補領域ｊの分散）
そして、非欠陥候補領域の平均ベクトルμ_Ｎを求める。
非欠陥候補領域の平均ベクトルμ_Ｎ＝（ｘ_１＋ｘ_２＋・・・＋ｘ_ｊ＋・・・＋ｘ_Ｎ）／Ｎ
次に、欠陥候補領域の特徴ベクトルｘ_ｉと非欠陥候補領域の平均ベクトルμ_Ｎから分散共分散行列Σを求め、さらに、式７により欠陥候補領域のマハラノビス距離Δ_Ｍｉを算出する。
また、非欠陥候補領域の特徴ベクトルｘ_ｊと非欠陥候補領域の平均ベクトルμ_Ｎから分散共分散行列Σを求め、さらに、式８により非欠陥候補領域のマハラノビス距離Δ_Ｎｊを算出する。

（ステップＳ３０７：欠陥の有無を判定）
ステップＳ３０７では、ステップＳ３０６で式７により求めた欠陥候補領域のマハラノビス距離Δ_Ｍｉと、式８により求めた非欠陥候補領域のマハラノビス距離Δ_Ｎｊをのそれぞれを閾値処理により分類し、欠陥の有無を判定する。閾値以上であれば、欠陥有と判定し、閾値未満であれば、欠陥無と判定する。そして、この判定結果を、図１の表示装置１０３により、表示する。表示方法については、図６に例を示す。
図６に示すように、検査対象物６０１の欠陥の位置を表示装置１０３に表示する。

第１の実施形態にかかるパターン認識方法によれば、検査対象の欠陥候補領域及び非欠陥候補領域を検出し、非欠陥候補領域に基づく正常モデル識別器により、欠陥候補領域の欠陥の有無を再評価することと、表示装置１０３に欠陥位置を表示することができる。

[第２の実施形態]
第１の実施形態では、すべての第２特徴量を用いて正常モデル識別器を作成した。
これに対し、第２の実施形態では、第２特徴量選択手段が選択した第２特徴量を利用して正常モデル識別器を生成する。
図７に本実施形態における処理のフローチャートを示す。なお、第２の実施形態で示した図７のステップＳ７０１、ステップＳ７０２、ステップＳ７０３、ステップＳ７０４、ステップＳ７０７、ステップＳ７０８は、第１の実施形態で示した図３のステップＳ３０１、ステップＳ３０２、ステップＳ３０３、ステップＳ３０４、ステップＳ３０６、ステップＳ３０７と同じであるので説明は省略する。

（ステップＳ７０５：第２特徴量の抽出）
ステップＳ７０５では、欠陥候補領域と非欠陥候補領域のそれぞれに対して、特徴選択を利用し共通する複数の特徴量を抽出する。まず、はじめにステップＳ７０３で設定した欠陥候補領域とステップＳ７０４で設定した非欠陥候補領域から第２特徴量を抽出する。
これらの画像から、第２特徴量として、式４、式５、式６で示した最大値、平均、分散といった特徴量に加えて、コントラスト、最大値―最小値、歪度、尖度、相乗平均といった特徴量を網羅的に抽出する。コントラストの算出方法は式９に、最大値―最小値の算出方法は式１０に、歪度の算出方法は式１１に、尖度の算出方法は式１２に、相乗平均の算出方法は式１３に示す。これらの合計８種類の特徴量を抽出する。前述の５７種類の各画像に対して、８種類の特徴量を抽出することになるので、５７×８＝４５６個（以下、Ｌ個とする）の第２特徴量を抽出することになる。

（ステップＳ７０６：第２特徴量の選択）
ステップＳ７０６では、ステップＳ７０５で求められた第２特徴量の中から、特許文献１に開示されているような正常モデル識別器に基づく特徴選択手法を用いて、特徴量の選択を行う。
図８を用いて、特徴量の評価値の算出方法を説明する。非欠陥候補領域における第２特徴量を算出し、非欠陥候補領域のすべての第２特徴量を各第２特徴量の標準偏差で正規化する。正規化されたＬ個の第２特徴量から２つの特徴量を選択し、図８のような２次元の特徴空間を_ＬＣ_２とおりの組合せだけ生成する。

図８中の８０１は２次元の特徴空間に分布する第２特徴量の重心Ｇを示し、重心Ｇからすべてのデータに対するユークリッド距離ｄ_ｉを求め、重心Ｇから最も離れているデータへのユークリッド距離ｄ_ｍａｘを評価値として求め、特徴選択をおこなう。
なお、このユークリッド距離ｄ_ｍａｘが小さければ小さいほど、欠陥データと分離すると考えられる。_ＬＣ_２とおりのすべての特徴量の組合せに対して、このユークリッド距離ｄ_ｍａｘを求め、これを評価値として特許文献１に示されている組合せを考慮した特徴選択手法で第２特徴量を選択する。
例えば、ベイズ誤り確率推定値が最も低くなる第２特徴量の組合せを選択する。また、クラス内分散・クラス間分散比を評価値として第２特徴量の組合せを選択しても良い。

なお、本実施形態ではオンラインで第２特徴量を選択することを前提としたが、あらかじめ訓練データの第２特徴量に対して、上述の特徴選択を行い、すべての欠陥候補領域と非欠陥候補領域に対し、算出する第２特徴量を固定しておいてもよい。
第２の実施形態によれば、所定の特徴選択手法により選択した第２特徴量を用いて正常モデル識別器を生成し、欠陥の有無を判定することにより、第１の実施形態に比べて、処理コストをそれほど増加させることなく、欠陥有無の判定の質を向上させることができる。

［第３の実施形態］
第１、第２の実施形態では、欠陥の位置のみを求めたが、第３の実施形態では、欠陥の位置だけではなく、欠陥の種類も特定する。
図９に本実施形態における処理のフローチャートを示す。なお、第３の実施形態で示した図９のステップＳ９０１、ステップＳ９０２、ステップＳ９０３、ステップＳ９０４、ステップＳ９０５、ステップＳ９０６と、第１の実施形態で示した図３のステップＳ３０１、ステップＳ３０２、ステップＳ３０３、ステップＳ３０４、ステップＳ３０５、ステップＳ３０６は同じであるので説明は省略する。

（ステップＳ９０７：単位ベクトルへの変換）
ステップＳ９０７では、Ｎ箇所の非欠陥候補領域における第２特徴量を利用して学習し、正常モデル識別器を生成し、特徴空間上で欠陥と判定されたデータの位置にあるかを判定する。
楕円体モデルの場合、欠陥の度合いは式７に示すマハラノビス距離で算出できる。特徴空間上の正常データ、正常モデルと欠陥の種類の概略図を図１０に示す。正常データ１００１に基づいて、楕円体モデルによる正常モデル１００２が形成される。また、欠陥の種類は、正常データ１００１の平均１００５から対象データへの向きによって求めることができる。
第２特徴量がＮ次元の場合、正常データの特徴ベクトルの平均から欠陥有と判定されたデータの特徴ベクトルへのベクトルの単位ベクトルを、式１４を用いて算出する。

この単位ベクトルの方向によって、欠陥の種類を表すことができる。
同じ欠陥は特徴空間上でクラスタを形成するため、欠陥の種類ＡはクラスタＡを形成し、欠陥の種類ＢはクラスタＢを形成する。

（ステップＳ９０８：分類によるラベルの決定）
ステップＳ９０８では、欠陥有と判定されたすべてのデータに関して、式１４で示した単位ベクトルをあらかじめ求めておき、ＳＶＭやｋ−ＮＮ法（ｋ−Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ：ｋ近傍法）といった教師付き学習により分類する。
なお、ｋ−ｍｅａｎｓ法（ｋ平均法）やｍｅａｎ−ｓｈｉｆｔ法等のクラスタリング手法で分類を行うとしてもよい。
そして得られたクラスタの平均に最も近い代表データの画像を目視で確認することにより、ラベル（欠陥の種類）を決定してもよい。
なお、部分空間法の一種である投影距離法を利用する場合も同様に、データの分布を第一主成分の主軸で表し、主軸からの距離で欠陥を決定するので、この場合も、単位ベクトルに変換し、ｋ−ＮＮ法でラベル（欠陥の種類）を決定することができる。

第３の実施形態によれば、検査対象の欠陥候補点を検出し、正常モデル識別器を用いてオンラインで欠陥の有無を再評価し、良品のモデルと特徴空間上の欠陥と判定されたデータの位置との相対関係により、欠陥の種類を特定することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１ 欠陥候補点検出部、 ２０２ 欠陥候補領域設定部、 ２０３ 非欠陥候補領域設定部、 ２０４ 第２特徴量算出部、 ２０５ 正常モデル識別器生成部、 ２０６ 欠陥判定部

Claims (11)

1. 検査対象物の画像データから抽出される複数の第１特徴量に基づいて、各領域の中から欠陥候補点を検出する欠陥候補点検出手段と、
   検出された前記欠陥候補点に基づいて、欠陥候補領域を設定する欠陥候補領域設定手段と、
   前記欠陥候補領域を除く領域に対して、非欠陥候補領域を設定する非欠陥候補領域設定手段と、
   前記欠陥候補領域及び前記非欠陥候補領域のそれぞれから第２特徴量を算出する第２特徴量算出手段と、
   複数の非欠陥候補領域から抽出した第２特徴量に基づき、正常モデル識別器を生成する正常モデル識別器生成手段と、
   前記正常モデル識別器を用いて、前記検査対象物の欠陥の有無を判定する欠陥判定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記複数の第１特徴量は、複数の周波数成分フィルタを用いて生成された複数の画像から抽出された第１特徴量であることを特徴とする請求項１に記載の画像処理装置。
3. 前記欠陥候補領域設定手段は、前記欠陥候補点を中心とする矩形領域を前記欠陥候補領域として設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１特徴量として、下記式３により算出される輝度画像の横方向ｕ軸の微分量と縦方向ｖ軸の微分量の平方和の最大値を用いることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
   

   
5. 前記正常モデル識別器は、１クラス識別器であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記欠陥判定手段は、下記式７により算出される欠陥候補領域のマハラノビス距離Δ_Ｍｉと閾値とに基づいて、または下記式８により算出される非欠陥候補領域のマハラノビス距離Δ_Ｎｊと閾値とに基づいて、欠陥の有無を判定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
   

   
7. 前記欠陥判定手段は、特徴空間における正常データの特徴ベクトルの平均から、欠陥有と判定されたデータの特徴ベクトルへのベクトルの向きに基づいて、欠陥の種類を特定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記欠陥判定手段は、下記式１４に基づいて、特徴空間において欠陥有と判定されたデータの特徴ベクトルを単位ベクトルに変換し、変換された単位ベクトルを教師付き学習により分類し、欠陥の種類を判定することを特徴とする請求項７に記載の画像処理装置。
   

   
9. 第２特徴量選択手段をさらに備え、
   前記第２特徴量選択手段は、
   非欠陥候補領域のすべての第２特徴量を、各第２特徴量の標準偏差で正規化し、
   正規化されたＬ個の第２特徴量から２つの第２特徴量を選択し、
   選択された２つの第２特徴量を縦軸または横軸とする２次元の特徴空間を_ＬＣ_２とおりの組合せだけ生成し、
   生成された２次元の特徴空間に分布する第２特徴量の重心Ｇと、前記重心Ｇから最も離れているデータへのユークリッド距離ｄ_ｍａｘを求め、
   前記_ＬＣ_２とおりの第２特徴量の組合せの中で、前記ユークリッド距離ｄ_ｍａｘが最も小さくなる第２特徴量の組合せを求め、
   前記正常モデル識別器生成手段は、前記ユークリッド距離ｄ_ｍａｘが最も小さくなる組合せとして求められた２つの第２特徴量を用いて前記正常モデル識別器を生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 検査対象物の画像データから抽出される複数の第１特徴量に基づいて、各領域の中から欠陥候補点を検出する欠陥候補点検出工程と、
    検出された前記欠陥候補点に基づいて、欠陥候補領域を設定する欠陥候補領域設定工程と、
    前記欠陥候補領域を除く領域に対して、非欠陥候補領域を設定する非欠陥候補領域設定工程と、
    前記欠陥候補領域及び前記非欠陥候補領域のそれぞれから第２特徴量を算出する第２特徴量算出工程と、
    複数の非欠陥候補領域から抽出した第２特徴量に基づき、正常モデル識別器を生成する正常モデル識別器生成工程と、
    前記正常モデル識別器を用いて、前記検査対象物の欠陥の有無を判定する欠陥判定工程と、
    を有することを特徴とする画像処理方法。
11. 請求項１乃至請求項９のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
    
    

Images