JP2016040650A - 分類器構築方法、画像分類方法および画像分類装置 - Google Patents

Abstract

【課題】画像を高精度に分類することが可能な分類器をより確実に構築する。【解決手段】分類器６１１の構築では、互いに特性が異なる複数のコア分類器６３１が複数の教師画像を用いて生成される。続いて、教師画像に対して各コア分類器にて分類を行い、コア分類器のクラス毎の重みを用いて、分類されたクラスへの重み付き投票が行われる。そして、複数のコア分類器による複数のクラスの重み付き得票数に基づいて分類結果が取得され、複数の教師画像の分類結果と教示クラスとの比較に基づく評価値が求められる。上記重み付き投票、重み付き得票数に基づく分類結果の取得、分類結果に基づく評価値の取得は、コア分類器のクラス毎の重みを変更しつつ繰り返され、評価値に基づいて最終的な重みが決定される。最終的な重みは、複数のコア分類器の後段の投票部６３２に設定される。これにより、画像を高精度に分類することが可能な分類器がより確実に構築される。【選択図】図５

Description

本発明は、画像を分類する分類器を構築する技術、および、画像を分類する技術に関する。

近年、半導体基板、ガラス基板、プリント配線基板等の表面に生じた欠陥の発生状況の迅速な把握や、欠陥クラス毎の発生数のモニタ等を目的として、欠陥部分を示す欠陥画像を取得し、自動分類することが行われている。画像を自動分類する手法には、学習型分類、および、ルールベース型分類がある。学習型分類では、それぞれが一のクラスに属すると教示された多数の教師画像を用いて学習を行うことにより分類器が生成され、当該分類器を用いて画像が分類される。また、ルールベース型分類では、予め定められたルールに従って画像が分類される。

また、弱学習器を組み合わせて高精度の学習器（分類器）を構成するアンサンブル学習も知られている。アンサンブル学習の一の手法であるバギングでは、複数の教師画像からブートストラップサンプリングを繰り返して複数の弱学習器を生成し、当該複数の弱学習器における多数決により分類結果が出力される。また、アンサンブル学習の他の一の手法であるブースティングでは、複数の教師画像に均等な重みを与えて最初の弱学習器を生成し、その弱学習器が分類を誤ったか否かで各教師画像の重みを増減して次の弱学習器を生成する。上記作業を、所定の個数の弱学習器を生成するまで繰り返し、実際に画像を分類する際には、全ての弱学習器における信頼度付き多数決により分類結果が出力される。

なお、特許文献１では、複数の分類モデルを用いて欠陥を分類する手法が開示されている。当該手法では、ルールベース型分類器と学習型分類器とを組合せた複数の分類モデルが予め作成される。そして、欠陥を分類する際には、各分類モデルにおいて分類対象欠陥のルールベース型分類器によるメインクラス尤度と学習型分類器によるユーザクラス尤度とが求められ、両尤度を統合して当該分類対象欠陥の各ユーザクラスに対するクラス尤度（ルール学習統合尤度）が算出される。また、当該分類対象欠陥に対して各分類モデルのモデル尤度が算出され、当該クラス尤度と当該モデル尤度とを用いて欠陥クラス尤度が算出される。そして、欠陥クラス尤度を用いて当該分類対象欠陥の分類が行われる。

特許第４２５３５２２号公報

ところで、学習型分類では、自動決定された内部パラメータ（例えば、線形判別式の係数）を、分類結果に与える影響を考慮しながら手動で変更することは事実上不可能であり、分類器自体はブラックボックスであるといえる。したがって、分類精度に不満がある場合でも、ユーザにできることは、複数種類のアルゴリズムから分類器の生成アルゴリズムを再選択し、分類器を再取得する程度である。また、分類器を再取得しても、分類精度が向上するとは限らない。したがって、画像を高精度に分類することが可能な学習型分類器をより確実に構築する手法が求められている。

本発明は上記課題に鑑みなされたものであり、画像を高精度に分類することが可能な分類器をより確実に構築することを目的としている。

請求項１に記載の発明は、画像を分類する分類器を構築する分類器構築方法であって、ａ）それぞれが複数のクラスのうちの一のクラスに属すると教示された複数の教師画像を用いて、互いに異なる特性を有する複数のコア分類器を生成する工程と、ｂ）複数の教師画像のそれぞれに対して、各コア分類器にて分類を行い、前記各コア分類器のクラス毎の所定の重みを用いて、分類されたクラスへの重み付きの投票を行う工程と、ｃ）前記複数の教師画像のそれぞれに対して、前記複数のコア分類器による前記複数のクラスの重み付き得票数に基づいて分類結果を取得する工程と、ｄ）前記複数の教師画像に対する分類結果と、前記複数の教師画像に対して教示されたクラスとの比較に基づく評価値を求める工程と、ｅ）前記各コア分類器のクラス毎の重みを変更しつつ前記ｂ）ないしｄ）工程を繰り返し、前記評価値に基づいて前記各コア分類器のクラス毎の最終的な重みを決定する工程と、ｆ）前記複数のコア分類器の後段に設けられる投票部に前記各コア分類器のクラス毎の最終的な重みを設定することにより、分類器を構築する工程とを備える。

請求項２に記載の発明は、請求項１に記載の分類器構築方法であって、前記ｅ）工程において、遺伝的アルゴリズムを利用して、前記各コア分類器のクラス毎の最終的な重みが決定される。

請求項３に記載の発明は、請求項１または２に記載の分類器構築方法であって、前記複数のクラスの重み付き得票数に基づく前記分類結果の種類が、前記複数のクラス以外に、判定不可を含む。

請求項４に記載の発明は、請求項１ないし３のいずれかに記載の分類器構築方法であって、前記複数の教師画像のそれぞれが、パターンの欠陥を示す欠陥画像である。

請求項５に記載の発明は、画像を分類する画像分類方法であって、分類対象の画像を準備する工程と、請求項１ないし４のいずれかに記載の分類器構築方法にて構築された分類器を用いて前記画像を分類する工程とを備える。

請求項６に記載の発明は、画像を分類する画像分類装置であって、請求項１ないし４のいずれかに記載の分類器構築方法にて構築された分類器と、前記分類器を用いて分類対象の画像を分類する分類制御部とを備える。

本発明によれば、画像を高精度に分類することが可能な分類器をより確実に構築することができる。

画像分類装置の構成を示す図である。 欠陥画像の分類の流れを示す図である。 ホストコンピュータの構成を示す図である。 ホストコンピュータの機能構成を示す図である。 分類器の構造を示す図である。 分類器の構築の流れを示す図である。 コンフュージョンマトリクスを例示する図である。 コンフュージョンマトリクスを例示する図である。

図１は本発明の一の実施の形態に係る画像分類装置１の概略構成を示す図である。画像分類装置１では、半導体基板９（以下、単に「基板９」という。）上のパターンの欠陥を示す欠陥画像が取得され、当該欠陥画像の分類が行われる。画像分類装置１は基板９上の検査対象領域を撮像する撮像装置２、欠陥を自動分類する検査・分類装置４、並びに、ホストコンピュータ５を有する。検査・分類装置４は、撮像装置２からの画像データに基づいて欠陥検査を行い、欠陥が検出された場合に欠陥が属すべき欠陥クラス（欠陥の種別であり、「カテゴリ」等とも呼ばれる。）へと欠陥を分類する。ホストコンピュータ５は、画像分類装置１の全体動作を制御するとともに検査・分類装置４における欠陥の分類に利用される分類器４２２を生成する。基板９上に存在するパターンの欠陥のクラスは、例えば、欠損、突起、断線、ショート、異物である。また、撮像装置２は基板９の製造ラインに組み込まれ、画像分類装置１はいわゆるインライン型のシステムとなっている。画像分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。

撮像装置２は、撮像部２１、基板９を保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動するステージ駆動部２３を有する。撮像部２１は、基板９上の検査対象領域を撮像して画像データを取得する。撮像部２１は、照明光を出射する照明部２１１、光学系２１２、および、撮像デバイス２１３を有する。光学系２１２は基板９に照明光を導き、基板９からの光は光学系２１２に入射する。撮像デバイス２１３は、光学系２１２により結像された基板９の像を電気信号に変換する。ステージ駆動部２３はボールねじ、ガイドレール、モータ等により構成される。ホストコンピュータ５がステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。

検査・分類装置４は、欠陥検出部４１、および、欠陥画像を分類する分類制御部４２を有する。欠陥検出部４１は、検査対象領域の画像データを処理しつつ欠陥を検出する。欠陥検出部４１は検査対象領域の画像データを高速に処理する専用の電気的回路を有し、撮像された画像と欠陥が存在しない参照画像との比較や画像処理により検査対象領域の欠陥検査を行う。分類制御部４２は各種演算処理を行うＣＰＵや各種情報を記憶するメモリ等により構成され、特徴量算出部４２１と、分類器４２２とを含む。分類器４２２は、ニューラルネットワーク、決定木、判別分析等を利用して欠陥の分類、すなわち、欠陥画像の分類を実行する。

図２は、画像分類装置１による欠陥画像の分類の流れを示す図である。まず、図１に示す撮像装置２が基板９を撮像することにより、検査・分類装置４の欠陥検出部４１が画像のデータを取得する（ステップＳ１）。次に、欠陥検出部４１が検査対象領域の欠陥検査を行い、欠陥が検出されると、欠陥部分の画像である欠陥画像のデータが生成されて準備される（ステップＳ２）。欠陥画像のデータは分類制御部４２へと送信される。分類制御部４２の特徴量算出部４２１は、欠陥画像の複数種類の特徴量の配列である特徴量ベクトルを算出し（ステップＳ３）、特徴量ベクトルが分類制御部４２の分類器４２２に入力されて分類結果が出力される。すなわち、分類器４２２を用いて欠陥画像が複数の欠陥クラスのいずれかに分類される（ステップＳ４）。画像分類装置１では、欠陥検出部４１にて欠陥が検出される毎に特徴量ベクトルの算出がリアルタイムにて行われ、多数の欠陥画像の自動分類が高速に行われる。

次に、ホストコンピュータ５による分類器の構築（取得）について説明する。図３はホストコンピュータ５の構成を示す図である。ホストコンピュータ５は各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２、および、各種情報を記憶するＲＡＭ５３を含む一般的なコンピュータシステムの構成となっている。ホストコンピュータ５は、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行うディスプレイ５５、ユーザからの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、画像分類装置１の他の構成との間で信号を送受信する通信部５８をさらに含む。

ホストコンピュータ５には、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出され、固定ディスク５４に記憶される。そして、ＣＰＵ５１によりＲＡＭ５３および固定ディスク５４を利用しつつプログラム８０に従って演算処理が実行される。

図４はホストコンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される、分類器を構築するための機能構成を示すブロック図である。図４には、検査・分類装置４も示している。ホストコンピュータ５は、分類器６１１を含む分類制御部６１と、分類器６１１を学習させて構築する学習部６２とを備える。分類器６１１は、正確には、予め定められた記憶領域に分類を行うために必要な情報を格納することにより実現される機能構成である。検査・分類装置４の分類器４２２も同様である。

ホストコンピュータ５は、画像記憶部６４と、情報記憶部６５とをさらに備える。画像記憶部６４は、各欠陥画像のデータである欠陥画像データ８０１と、特徴量ベクトル８０２とを記憶する。各欠陥画像に対応する欠陥画像データ８０１と特徴量ベクトル８０２とは関連付けられる。特徴量ベクトル８０２は、既述のように、各欠陥画像から得られる複数種類の特徴量の配列である。特徴量ベクトル８０２に含まれる特徴量は、例えば、欠陥の面積、周囲長、重心位置、モーメント量、階調値の平均、分散、最大、最小等である。実際には、複数の欠陥画像に対する欠陥画像データ８０１および特徴量ベクトル８０２が画像記憶部６４に記憶される（情報記憶部６５における後述の教示欠陥クラス８１１において同様）。情報記憶部６５は、各欠陥画像に関連付けられた教示欠陥クラス８１１を記憶する。教示欠陥クラス８１１は、ユーザにより各欠陥画像に付与された欠陥クラスである。すなわち、教示欠陥クラス８１１は、異物の種類、傷の種類、パターン不良の種類等を各欠陥画像に関連付ける教示作業の結果を示す情報である。

ホストコンピュータ５にて分類器６１１が構築されると、分類器６１１は検査・分類装置４の分類器４２２へと転送される。もちろん、ホストコンピュータ５の機能は、検査・分類装置４に含めることも可能である。

図５は、分類器６１１の構造を示す図である。分類器６１１は、Ｍ個（ただし、Ｍは２以上の整数であり、例えば、１００である。）のコア分類器６３１と、１個の投票部６３２（図５中にて破線の矩形にて示す。）とを含む。投票部６３２は、Ｍ個のコア分類器６３１の後段に設けられる。「後段に設けられる」とは、Ｍ個のコア分類器６３１から出力される分類結果を示す情報（すなわち、分類された欠陥クラス）が投票部６３２に入力されることを意味する。検査・分類装置４の分類器４２２により分類すべき欠陥クラスの数がＮ個（ただし、Ｎは２以上の整数）の場合、投票部６３２はＮ個の積算部６３３を含む。すなわち、投票部６３２では、Ｎ個の欠陥クラスにそれぞれ関連付けられたＮ個の積算部６３３が設けられる。図５では、Ｎ個の欠陥クラスを、「クラス１」、「クラス２」、・・・、「クラスＮ」と示している。各積算部６３３は、Ｍ個のコア分類器６３１にそれぞれ関連付けられたＭ個の重み（信頼度と捉えることもできる。）を記憶する。例えば、図５中の「クラス１」に対応する積算部６３３は、「ｗ_１１」、「ｗ_２１」、・・・、「ｗ_Ｍ１」の重みを記憶する。重みは、各コア分類器６３１に対して欠陥クラス毎に設定されていると捉えることもできる。

図６は、ホストコンピュータ５による分類器の構築の流れを示す図である。分類器の構築とは、分類器が含むパラメータに値を付与したり、構造を決定すること等により分類器を生成することを意味する。

分類器の構築の際には、事前準備として、検査・分類装置４にて検出された多数の欠陥画像のデータがホストコンピュータ５に入力され、画像記憶部６４に欠陥画像データ８０１として記憶される。また、検査・分類装置４の欠陥検出部４１では、欠陥を検出する際に欠陥画像の特徴量ベクトルが求められるため、欠陥画像データと共に特徴量ベクトルもホストコンピュータ５に入力され、画像記憶部６４に記憶される。なお、記憶される特徴量ベクトル８０２は、欠陥画像データ８０１に基づいてホストコンピュータ５により再度生成されてもよい。

続いて、ユーザにより、教示が行われる。すなわち、ホストコンピュータ５の入力部５６がユーザからの教示入力を受け付けることにより、複数の欠陥画像のそれぞれに対して、複数の（Ｎ個の）欠陥クラスのうちの一の欠陥クラスが関連付けられる。関連付けられた欠陥クラスは、教示欠陥クラス８１１として情報記憶部６５に記憶される。以上の処理により、複数の欠陥クラスのうちの一の欠陥クラスに属すると教示された欠陥画像（すなわち、教示欠陥クラス８１１が決定された欠陥画像）を教師画像として、複数の教師画像が準備される（ステップＳ１１）。各欠陥画像は特徴量ベクトル８０２に関連付けられているため、実質的には、特徴量ベクトル８０２と欠陥クラスとが関連付けられる。

複数の教師画像が準備されると、複数の教師画像を用いて複数のコア分類器６３１が生成される（ステップＳ１２）。詳細には、まず、Ｔ個（ただし、Ｔは２以上の整数）の教師画像が準備される場合、これらの集合から、ブートストラップサンプリングにより、Ｍ個の部分集合（サブセット）が作成される。このとき、各部分集合は、Ｔ個よりも少ない個数の教師画像を含み、教師画像が重複しない非復元抽出により作成される。一方、異なる２個の部分集合の間では、一部の教師画像が重複する復元抽出となる。Ｍ個の部分集合では、少なくとも一部の教師画像が互いに相違する。Ｍ個の部分集合の間では、各教示欠陥クラスに属する教師画像の個数の割合が一定であることが好ましい。

ホストコンピュータ５では、Ｍ個のコア分類器６３１および１個の投票部６３２におけるパラメータの値等が未設定である図５の分類器６１１が予め準備されており、学習部６２により、Ｍ個のコア分類器６３１の学習が、Ｍ個の部分集合を用いてそれぞれ行われる。このとき、各教師画像に対して欠陥画像データ８０１、特徴量ベクトル８０２および教示欠陥クラス８１１の組合せが準備され、各部分集合に含まれる複数の教師画像に対する複数の組合せが、当該部分集合に対応するコア分類器６３１の学習用教師データとして利用される。これにより、各コア分類器６３１におけるパラメータの値等が決定され、当該パラメータの値等が設定されたコア分類器６３１が取得される。すなわち、学習済みのコア分類器６３１が生成される。

学習済みのコア分類器６３１（以下、単に「コア分類器６３１」という。）では、欠陥画像の入力（特徴量ベクトルの入力）に対して、Ｎ個の欠陥クラスのうちのいずれか１つを示す分類結果が出力される。以下の説明では、コア分類器６３１による分類結果を、「補助分類結果」という。既述のように、Ｍ個の部分集合では、少なくとも一部の教師画像が互いに相違し、各コア分類器６３１の学習が、当該コア分類器６３１に対して割り当てられた１個の部分集合のみを用いて行われる。したがって、Ｍ個のコア分類器６３１では、同一の欠陥画像の入力に対して、必ずしも同じ補助分類結果を出力するとは限らない。すなわち、Ｍ個のコア分類器６３１は、互いに異なる特性（個性）を有する。

コア分類器６３１を生成する方法または機構としては、学習型（教示型）のものであれば様々なものが利用されてよい。例えば、最近傍法、最小距離法、部分空間法、決定木法、線形判別法、ファジーボーティング法、フレキシブルナイブベイズ法、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）等が採用可能である。

Ｍ個のコア分類器６３１が生成されると、後述の処理にて利用する（Ｎ−１）個の閾値ｔ_ｎ（ただし、ｎは１ないし（Ｎ−１）の整数である。）が決定される（ステップＳ１３）。（Ｎ−１）個の閾値は、ｔ_１＞ｔ_２＞・・・＞ｔ_Ｎ−１となる関係を有し、例えば、数１または数２により求められる。

閾値ｔ_ｎが生成されると、各コア分類器６３１の欠陥クラス毎の重みが決定される。ここでは、Ｍ個のコア分類器６３１におけるＮ個の欠陥クラスに対する（Ｍ×Ｎ）個の重みの配列を１個の個体として、複数の個体が取得される（ステップＳ１４）。後述するように、遺伝的アルゴリズムにより個体の内容が繰り返し変更される、すなわち、個体の世代交代が行われるため、直前のステップＳ１４にて取得される個体を、必要に応じて「現世代の個体」とも呼ぶ。例えば、各重みは（−１）以上（＋１）以下の値（連続値）であり、最初のステップＳ１３では、各個体の（Ｍ×Ｎ）個の重みは、ランダムに、あるいは、所定の一定値（例えば、１）として決定される。

重みの配列を示す複数の個体が取得されると、Ｔ個の教師画像のそれぞれに対して、各コア分類器６３１にて分類が行われる（ステップＳ１５）。これにより、各教師画像について、Ｍ個のコア分類器６３１におけるＭ個の補助分類結果が取得される。なお、本処理では、Ｔ個の教師画像の一部のみが利用されてもよい。すなわち、ステップＳ１５では、複数の教師画像の全部または一部が利用される。また、教師画像に加えて、教示欠陥クラスが未教示の欠陥画像が各コア分類器６３１にて分類されてよい。この場合、当該欠陥画像は、教示欠陥クラスが「未教示」の教師画像として扱われる。

続いて、各個体が示す重みの配列を用いて、コア分類器６３１により分類された欠陥クラスへの重み付きの投票が行われる（ステップＳ１６）。重み付きの投票は、個体毎に行われ、本実施の形態では、一の教師画像に関して、各コア分類器６３１により分類された欠陥クラスに対して、当該コア分類器６３１の当該欠陥クラスの重みを値「１」に乗じた値が投票（加算）される。分類されなかった他の欠陥クラスには、値は投票されない。したがって、各個体において、Ｎ個の欠陥クラスのうちｊ番目の欠陥クラスの重み付き得票数Ｐ（Ｃ_ｊ）は、Ｍ個のコア分類器６３１のうちｉ番目のコア分類器６３１において、ｊ番目の欠陥クラスへの投票の有無を示す値をＣ_ｉｊ（ただし、投票有りを示す値が１であり、投票無しを示す値が０である。）、当該ｊ番目の欠陥クラスに対する重みをｗ_ｉｊとして、数３により求められる。なお、ｊは１ないしＮの整数であり、ｉは１ないしＭの整数である。

数３が示す重み付き得票数Ｐ（Ｃ_ｊ）の演算は、図５中の積算部６３３の処理と同様であり、当該積算部６３３にて行われてよい。この場合、Ｎ個の欠陥クラスにそれぞれ関連付けられたＮ個の積算部６３３では、各個体が示す重みｗ_ｉｊが仮設定される。そして、ｊ番目の欠陥クラスに対応する積算部６３３では、ｉ番目のコア分類器６３１におけるｊ番目の欠陥クラスへの投票の有無を示す値Ｃ_ｉｊと当該ｊ番目の欠陥クラスに対する重みｗ_ｉｊとの積の、全てのコア分類器６３１における和が、重み付き得票数Ｐ（Ｃ_ｊ）として求められる。

Ｎ個の欠陥クラスに対して取得されるＮ個の重み付き得票数Ｐ（Ｃ_ｊ）は、ステップＳ１３にて決定された複数の閾値ｔ_ｎと比較される。具体的には、重み付き得票数Ｐ（Ｃ_ｊ）が第１の閾値ｔ_１を超える欠陥クラスの個数ｋ_１、第２の閾値ｔ_２を超える欠陥クラスの個数ｋ_２、・・・、第（Ｎ−１）の閾値ｔ_Ｎ−１を超える欠陥クラスの個数ｋ_Ｎ−１が求められる。そして、第１条件「ｋ_Ｎ−１＝０」、第２条件「ｋ_１＞１」、第３条件「ｋ_２＞２」の該当の有無が順に判定され、上記第１ないし第３条件のいずれにも該当しない場合には、重み付き得票数Ｐ（Ｃ_ｊ）が最大となる欠陥クラスが分類結果として取得される。

また、第１条件「ｋ_Ｎ−１＝０」、第２条件「ｋ_１＞１」、第３条件「ｋ_２＞２」のいずれかに該当する場合には、欠陥クラスの判定不可（不明）を示す分類結果が取得される。第１条件「ｋ_Ｎ−１＝０」に該当するケースは、どの欠陥クラスの得票数も最低限の閾値に満たないことを示す。第２条件「ｋ_１＞１」に該当するケースは、分類結果として欠陥クラスを１つに絞ることが適切ではないことを示す。第３条件「ｋ_２＞２」に該当するケースは、得票数が上位の複数の欠陥クラスに大きな差がないことを示す。以上のように、複数の教師画像のそれぞれに対して、複数のコア分類器６３１による複数の欠陥クラスの重み付き得票数に基づいて、個体毎の分類結果が取得される（ステップＳ１７）。以下の説明では、ステップＳ１７における分類結果における欠陥クラスを「分類欠陥クラス」と呼ぶ。なお、判定不可を示す分類結果を取得するための上記第１ないし第３条件は一例に過ぎず、適宜変更されてよい（構築された分類器において同様）。

続いて、各個体に関して、分類結果をまとめたコンフュージョンマトリクス（混同行列）が、図７に示すように作成される。図７では、４個の教示欠陥クラスを「未教示」、「異物」、「不良黒」、「気泡」として行見出しに記し、４個の分類欠陥クラスを「不明」、「異物」、「不良黒」、「気泡」として列見出しに記している。なお、一部の欠陥クラスの名称に追加される括弧内の値は、欠陥クラスの識別番号である。教示欠陥クラス「Ａ」に属する複数の教師画像のうち、分類欠陥クラス「Ｂ」に属すると判定された教師画像の個数は、「Ａ」の行と「Ｂ」の列との交差位置に示される。なお、見出しに「Ｃｏｒｒｅｃｔ」と記す行は、各分類欠陥クラスに分類された教師画像のうち、教示欠陥クラスが当該分類欠陥クラスと一致する教師画像の個数（総正答数）を示し、見出しに「Ｓｕｍ」と記す行は、各分類欠陥クラスに分類された教師画像の個数（総数）を示し、見出しに「Ｐｕｒｉｔｙ」と記す行は、各分類欠陥クラスの「Ｓｕｍ」の個数に占める「Ｃｏｒｒｅｃｔ」の個数の比率を示す（見出しに「Ｃｏｒｒｅｃｔ」、「Ｓｕｍ」、「Ａｃｃｕｒａｃｙ」と記す列において同様）。また、「Ｐｕｒｉｔｙ」の行と「Ａｃｃｕｒａｃｙ」の列との交差位置は、分類が行われた教師画像の総数のうち、教示欠陥クラスと分類欠陥クラスとが一致した教師画像の個数の比率（総正答率）を示す。

学習部６２では、各個体に対して作成されたコンフュージョンマトリクスから、当該個体の評価値（適応度）が求められる（ステップＳ１８）。評価値としては、総正答率、総正答数と総誤答数との差、特定の分類欠陥クラスのＰｕｒｉｔｙ、特定の教示欠陥クラスのＡｃｃｕｒａｃｙ、または、これらの値を組み合わせた値等が例示される。各教示欠陥クラスのＡｃｃｕｒａｃｙは、ユーザが当該教示欠陥クラスとして教示した教師画像のうち、ステップＳ１７にて正しく分類された教師画像の比率である正答率（精度）を示す。各分類欠陥クラスのＰｕｒｉｔｙは、ステップＳ１７にて当該分類欠陥クラスとして分類された教師画像のうち、ユーザが正しい分類と同意した教師画像の比率である正答率（信頼性）を示す。

ステップＳ１８では、評価値として他の値が取得されてもよい。例えば、分類欠陥クラスが教示欠陥クラスと一致した場合に（＋１）点を加算し、教示欠陥クラスと一致しない場合に（−１）点を加算し、不明（判定不可）である場合に０点を加算し、全ての教師画像における点数の総和が評価値として求められてよい。以上のように、ステップＳ１７における複数の教師画像に対する分類結果と、当該複数の教師画像に対して教示されたクラス（教示欠陥クラス）との比較に基づいて、各個体の評価値が求められる。なお、ステップＳ１８では、所定の評価値が取得されるのであるならば、必ずしもコンフュージョンマトリクスは作成されなくてよい。

続いて、学習部６２では、所定の終了条件に到達したか否かが確認される。最初のステップＳ１９では、後述の終了条件に到達しないため、ステップＳ１４へと戻る。既述のように、各個体は、Ｍ個のコア分類器６３１におけるＮ個の欠陥クラスに対する（Ｍ×Ｎ）個の重みの配列であり、遺伝子で表現されていると捉えられる。２回目以降のステップＳ１４では、例えば、以下の３種類の動作（遺伝的操作）のうち一の動作が確率的に選択されて実行される。

第１の動作は、現世代の複数の個体から２個の個体を確率的に選択して交叉を行い、交叉後の２個の個体を次世代の個体に含めるものである。交叉は、ランダムに選んだ１個の交叉点から後ろの部分配列を入れ換える一点交叉、ランダムに選んだ２個の交叉点に挟まれる部分配列を入れ換える二点交叉、３点以上の交叉点を利用する多点交叉、重み毎に１／２の確率で入れ換える一様交叉のいずれであってもよい。交叉が行われる個体の選択は、評価値に基づいて行われることが好ましく、周知のルーレット選択、ランキング選択、トーナメント選択等が利用可能である（後述の第２および第３の動作が行われる個体の選択において同様である。）。これらの選択手法では、評価値が高い個体ほど、選択される確率が高くなり、優先的に選択される。

第２の動作は、現世代の複数の個体から１個の個体を確率的に選択して突然変異を行い、突然変異後の１個の個体を次世代の個体に含めるものである。突然変異としては、確率的に選択された位置の重みを（−１）以上（＋１）以下の乱数に置き換える処理や、確率的に選択された２つの位置の重みを入れ換える処理が例示される。第３の動作は、現世代の複数の個体から１個の個体を確率的に選択し、そのまま次世代の個体に含めるものである。上記第１ないし第３の動作からの一の動作の選択および実行は、次世代の個体数が、現世代の個体数と同じになるまで繰り返される。次世代の個体数が、現世代の個体数と同じになると、次世代の複数の個体が、現世代の複数の個体として扱われる。すなわち、現世代の複数の個体が取得される。なお、次世代の複数の個体の取得では、現世代の個体のうち評価値が最大の個体をそのまま次世代の個体に含めるエリート戦略や、新たな個体のランダム生成等が含まれてよい。

複数の個体が取得されると、上記処理と同様に、複数のコア分類器６３１による教師画像の分類（ステップＳ１５）、各個体が示す重みの配列を用いた教師画像の重み付き投票（ステップＳ１６）、各個体に関する重み付き得票数に基づく教師画像の分類結果の取得（ステップＳ１７）が行われる。なお、ステップＳ１５における複数のコア分類器６３１による各教師画像の分類は、複数の個体の世代交代の影響を受けないため、最初のステップＳ１５における各コア分類器６３１の補助分類結果がそのまま利用されてよい。

各教師画像の分類欠陥クラスが取得されると、各個体に対してコンフュージョンマトリクスが作成され、当該コンフュージョンマトリクスから、当該個体の評価値が求められる（ステップＳ１８）。上記ステップＳ１４〜Ｓ１８は、終了条件に到達するまで繰り返される（ステップＳ１９）。ステップＳ１９における終了条件は、一の世代の複数の個体における最大の評価値を「世代評価値」として、最大の世代評価値が、所定の世代数ＧだけステップＳ１４〜Ｓ１８を繰り返しても更新されない場合である。換言すると、直前の世代の世代評価値よりも大きい世代評価値が得られた世代（すなわち、一部の個体にて進化が見られた世代）から、世代数ＧだけステップＳ１４〜Ｓ１８を繰り返しても、当該世代における世代評価値よりも大きい世代評価値が得られない場合に、終了条件に到達したものと判断される。

図８は、終了条件に到達した際に、現世代の複数の個体のうち最大の評価値が得られた個体に対して作成されたコンフュージョンマトリクスを示す図である。図８のコンフュージョンマトリクスでは、図７のコンフュージョンマトリクスに比べて、総正答率等が向上している。なお、終了条件は、上記ステップＳ１４〜Ｓ１８の繰り返し回数が所定回数に到達した場合や、世代評価値が所定の閾値以上となる場合等であってもよい。

終了条件に到達すると、上記ステップＳ１４〜Ｓ１８の繰り返しが停止される（ステップＳ１９）。そして、現世代の複数の個体のうち、最大の評価値が得られた個体が示す重みの配列が、複数のコア分類器６３１の複数の欠陥クラスに対する最終的な重みとして決定される（ステップＳ２０）。そして、図５中の投票部６３２におけるＮ個の積算部６３３に、最終的な重みを設定することにより、分類器６１１が構築される（ステップＳ２１）。

既述のように、構築された分類器６１１は検査・分類装置４の分類器４２２へと転送され、分類器４２２では、欠陥検出部４１にて検出される欠陥画像の分類が行われる。分類器４２２における欠陥画像の分類は、図６のステップＳ１５〜Ｓ１７と同様の処理により行われる。すなわち、欠陥検出部４１から入力される欠陥画像に対して各コア分類器にて分類が行われ、投票部により補助分類結果が示す欠陥クラスへの重み付きの投票が行われる。そして、複数のコア分類器による複数の欠陥クラスの重み付き得票数、すなわち、複数の積算部の出力に基づいて分類結果（分類欠陥クラス）が取得される。このとき、上記第１ないし第３条件に該当する場合に、欠陥クラスの判定不可を示す分類結果が取得され、該当しない場合に、重み付き得票数が最大となる欠陥クラスが分類結果として取得される。なお、投票部は、複数の積算部の出力から分類結果を取得する判定部を含む。

以上に説明したように、図６に示す分類器の構築では、まず、互いに特性が異なる複数のコア分類器６３１が複数の教師画像を用いて生成される。続いて、複数の教師画像のそれぞれに対して各コア分類器６３１にて分類を行い、コア分類器６３１の欠陥クラス毎の重みを用いて、分類された欠陥クラスへの重み付き投票が行われる。そして、複数のコア分類器６３１による複数の欠陥クラスの重み付き得票数に基づいて分類結果が取得され、複数の教師画像の分類結果と教示欠陥クラスとの比較に基づく評価値が求められる。上記重み付き投票、重み付き得票数に基づく分類結果の取得、分類結果に基づく評価値の取得は、各コア分類器６３１の欠陥クラス毎の重みを変更しつつ繰り返され、評価値に基づいてコア分類器６３１の欠陥クラス毎の最終的な重みが決定される。そして、複数のコア分類器６３１の後段に設けられる投票部６３２に各コア分類器６３１の欠陥クラス毎の最終的な重みを設定することにより、分類器６１１が構築される。

上記分類器の構築では、全体または特定の欠陥クラスに着目した評価値を設定して、当該評価値が向上するように、各コア分類器６３１の欠陥クラス毎の重み（信頼度）が調整される。その結果、所望の着目点に関して高精度に画像を分類することが可能な分類器を、より確実に構築することが実現される。

また、構築された分類器では、複数の欠陥クラスの重み付き得票数に基づく分類結果の種類が、当該複数の欠陥クラス以外に、判定不可を含む。これにより、特徴量空間において欠陥クラス間の境界に位置し、どの欠陥クラスに属するかの判定が困難な欠陥画像や、分類器の構築の際には考慮されなかった欠陥の種類（新種の欠陥）を、判定不可として分類することが容易に実現される。

画像分類装置１および分類器構築装置であるホストコンピュータ５、並びに、これらの動作は、様々に変更が可能である。

上記実施の形態では、評価値を最大化する（分類誤りを最小化する）遺伝的アルゴリズムを利用して、各コア分類器６３１の欠陥クラス毎の最終的な重みが適切に決定されるが、最終的な重みは、他の手法により決定されてもよい。例えば、分類器６１１の構築に要する時間に余裕がある場合には、重みが取り得る範囲を所定値ずつ刻んだ複数の候補値を決定し、（Ｍ×Ｎ）個の重みのそれぞれを複数の候補値に順次変更して得られる全ての組合せにおいて評価値を求め、最大の評価値が得られる組合せが、最終的な重みとして決定されてもよい。

同じ教師データを用いつつ、互いに異なる学習アルゴリズムにて生成される２以上のコア分類器６３１が、分類器６１１におけるＭ個のコア分類器６３１に含まれてよい。当該２以上のコア分類器６３１も、互いに異なる特性を有するといえる。また、図５中の一のコア分類器６３１が、図５の分類器６１１と同様に、複数のコア分類器および１個の投票部を含む構造であってよい。さらに、投票部６３２において、例えば、Ｎ個の積算部６３３からのＮ個の出力を入力とするニューラルネットワークを設け、当該ニューラルネットワークにより、分類結果が取得されてよい。

上記実施の形態において、特徴量ベクトルと欠陥画像とは同一視されてよい。特徴量ベクトルの入力は欠陥画像の入力の一形態に過ぎない。特徴量ベクトル以外の形態で欠陥画像が分類器６１１に入力されたり、学習に利用されてもよい。

欠陥画像は、半導体基板以外の基板のパターンの欠陥や異物等の欠陥を示すものであってもよい。当該基板として、ハードディスク基板等の薄膜デバイス、プラズマディスプレイや液晶ディスプレイ等の薄型ディスプレイに用いられるガラス基板、フォトマスク基板、フィルム基板、プリント配線基板等が例示される。

また、画像分類装置１が、血液や培養液等の所定の液中の細胞を撮像した細胞画像を分類する用途に用いられてもよい。このように、画像分類装置１は、様々な対象物を示す画像の分類に利用可能である。さらに、画像分類装置１では、可視光により撮像される画像以外に、電子線やＸ線等により撮像される画像が分類されてよい。画像分類装置１における分類対象の画像は、広義の放射線を利用して取得される。

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。

１ 画像分類装置
４２，６１ 分類制御部
４２２，６１１ 分類器
６３１ コア分類器
６３２ 投票部
８０１ 欠陥画像データ
８１１ 教示欠陥クラス
Ｓ１〜Ｓ４，Ｓ１１〜Ｓ２１ ステップ

Claims (6)

1. 画像を分類する分類器を構築する分類器構築方法であって、
   ａ）それぞれが複数のクラスのうちの一のクラスに属すると教示された複数の教師画像を用いて、互いに異なる特性を有する複数のコア分類器を生成する工程と、
   ｂ）複数の教師画像のそれぞれに対して、各コア分類器にて分類を行い、前記各コア分類器のクラス毎の所定の重みを用いて、分類されたクラスへの重み付きの投票を行う工程と、
   ｃ）前記複数の教師画像のそれぞれに対して、前記複数のコア分類器による前記複数のクラスの重み付き得票数に基づいて分類結果を取得する工程と、
   ｄ）前記複数の教師画像に対する分類結果と、前記複数の教師画像に対して教示されたクラスとの比較に基づく評価値を求める工程と、
   ｅ）前記各コア分類器のクラス毎の重みを変更しつつ前記ｂ）ないしｄ）工程を繰り返し、前記評価値に基づいて前記各コア分類器のクラス毎の最終的な重みを決定する工程と、
   ｆ）前記複数のコア分類器の後段に設けられる投票部に前記各コア分類器のクラス毎の最終的な重みを設定することにより、分類器を構築する工程と、
   を備えることを特徴とする分類器構築方法。
2. 請求項１に記載の分類器構築方法であって、
   前記ｅ）工程において、遺伝的アルゴリズムを利用して、前記各コア分類器のクラス毎の最終的な重みが決定されることを特徴とする分類器構築方法。
3. 請求項１または２に記載の分類器構築方法であって、
   前記複数のクラスの重み付き得票数に基づく前記分類結果の種類が、前記複数のクラス以外に、判定不可を含むことを特徴とする分類器構築方法。
4. 請求項１ないし３のいずれかに記載の分類器構築方法であって、
   前記複数の教師画像のそれぞれが、パターンの欠陥を示す欠陥画像であることを特徴とする分類器構築方法。
5. 画像を分類する画像分類方法であって、
   分類対象の画像を準備する工程と、
   請求項１ないし４のいずれかに記載の分類器構築方法にて構築された分類器を用いて前記画像を分類する工程と、
   を備えることを特徴とする画像分類方法。
6. 画像を分類する画像分類装置であって、
   請求項１ないし４のいずれかに記載の分類器構築方法にて構築された分類器と、
   前記分類器を用いて分類対象の画像を分類する分類制御部と、
   を備えることを特徴とする画像分類装置。

Images