JP2020052475A - 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置 - Google Patents

Abstract

【課題】加重平均で最終結果を算出するよりも分類性能の良い分類器を構築する高精度な分類器を容易に構築する。【解決手段】補助教師データに基づく各補助特徴量軸における複数のクラスの度数分布である補助判別情報を用いて複数の補助特徴量軸に対する複数のクラス評価結果を取得し、複数のクラス評価結果に基づいて分類クラスを決定する第１世代の暫定補助分類器に対して、度数分布において、誤分類教師画像から得られる値が属する区間における教示クラスの度数が、他のクラスの度数よりも相対的に増大するように、補助特徴量軸群に対する補助判別情報を修正して世代が更新され、現在の世代以前の複数の暫定補助分類器のそれぞれにより教師画像から得られる複数のクラス評価結果から取得したクラス毎のクラス確信度を特徴量軸の成分とする特徴量ベクトルと、教示クラスとを含む教師データを学習させて分類器を構築する。【選択図】図４

Description

本発明は、画像を分類する分類器を構築する技術、および、該分類器を用いて画像を分類する技術に関する。

従来、複数の弱分類器の分類結果を統合することにより高精度な分類を行う分類器の構築手法（アンサンブル学習法）が提案されており、該手法として、例えばバギング、ブースティング、ランダムフォレスト等が知られている。バギングでは、与えられたデータセットからブートストラップ法によるサンプリングで複数の教師データセットが作成され、該複数の教師データセットから複数の弱分類器が取得される。そして、複数の弱分類器の分類結果の多数決により、最終的な分類結果が取得される（バギングについて、例えば非特許文献１参照）。

ブースティングでは、与えられたデータセットを用いた弱分類器の取得と、該弱分類器の分類結果に基づくデータの重みの調整とを繰り返して複数の弱分類器が取得される。そして、複数の弱分類器の分類結果の重み付き多数決により、最終的な分類結果が取得される（ブースティングについて、例えば非特許文献２参照）。ランダムフォレストでは、与えられたデータセットからブートストラップ法によるサンプリングで複数の教師データセットが作成され、該複数の教師データセットから決定木である複数の弱分類器が取得される。そして、複数の決定木の結果の多数決により、最終的な分類結果が取得される（ランダムフォレストについて、例えば非特許文献３参照）。

なお、特許文献１では、画像を分類する分類器の学習に使用される教師データを検証する手法が提案されている。該手法では、特徴量の複数種類のそれぞれに関して、各教師画像が複数のクラスのそれぞれに属するとした場合の妥当性を示す評価値が取得される。各教師画像において、特徴量の複数種類における評価値の代表値がクラス毎に求められ、複数のクラスにおける複数の代表値に基づいて該教師画像が属すべきものと判定されるクラスの候補が決定される。

特開２０１４−７０９４４号公報

Leo Breiman, "Bagging Predictors", Machine Learning, 1996, 24, p.123-140 Yoav Freund and Robert E. Schapire, "A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting", Journal of Computer and System Sciences, 1997, 55, p.119-139 Leo Breiman, "Random Forests", Machine Learning, 2001, 45, p.5-32

ところで、アンサンブル学習法に係る分類器では、追加学習を繰り返すことで分類成績を向上させることが可能な分類器を用いたアンサンブル学習法を構成することができる。図２３は、縦軸に分類成績、横軸に追加学習の回数（分類器の世代数−１）をとり、この
様子を示したグラフである。ここで、折れ線１０１は、学習データセット自身を分類する評価法（いわゆる再代入法）と追加学習を交互に繰り返して、分類器の世代を進めることで分類成績が向上して行く様子を示す。また、折れ線１０２は、ある世代の分類器で教師データとは別に用意したテストデータセットを分類したときの分類成績を示す。
図２３に示すように、追加学習を繰り返す途中で特に分類成績の良い分類器が現れても、加重平均で最終結果を算出する場合には、その分類成績を、最終結果に充分に反映することができなかった。

本発明は上記課題に鑑みなされたものであり、加重平均で最終結果を算出するよりも分類性能の良い分類器を構築することを目的としている。

本発明に係る分類器構築方法は、
画像を分類する分類器を構築する分類器構築方法であって、
ａ）複数の教師画像のそれぞれにおいて、複数のクラスのうち１つを教示クラスとして教示されており、前記各教師画像の前記教示クラスと、前記各教師画像に対して取得される複数の補助特徴量軸における値とを含む補助教師データを準備する工程と、
ｂ）前記補助教師データに基づいて各補助特徴量軸における前記複数のクラスの度数分布を補助判別情報として求める工程と、
ｃ）前記複数の補助特徴量軸における値が入力される際に、前記複数の補助特徴量軸の補助判別情報を用いて前記複数の補助特徴量軸に対する複数のクラス評価結果を取得し、さらに、前記複数のクラス評価結果に基づいて分類クラスを決定する第１世代の暫定補助分類器を生成する工程と、
ｄ）前記複数の教師画像に含まれる教師画像群を現在の世代の暫定補助分類器を用いて分類する工程と、
ｅ）前記現在の世代以前の複数の暫定補助分類器のそれぞれにより前記教師画像から得られる複数のクラス評価結果から、前記複数のクラスに対応する複数のクラス確信度を取得し、前記現在の世代以前の複数の暫定補助分類器のそれぞれに対して取得された、前記複数のクラスに対応する複数の前記クラス確信度を特徴量軸の成分とする特徴量ベクトルを生成する工程と、
ｆ）所定の条件が満たされた場合に、前記特徴量ベクトルを最終的な特徴量ベクトルとして取得する工程と、
ｇ）前記所定の条件が満たされない場合に、前記複数の補助特徴量軸に含まれる補助特徴量軸群における前記複数のクラスの度数分布において、前記教師画像のうち、前記ｄ）工程にて得られた分類クラスが教示クラスと相違する教師画像から得られる値が属する区間における前記教示クラスの度数が、他のクラスの度数よりも相対的に増大するように、前記補助特徴量軸群に対する補助判別情報を修正することにより、次の世代の暫定補助分類器を取得する工程と、
ｈ）前記現在の世代の暫定補助分類器を前記次の世代の暫定補助分類器に更新して、前記ｄ）工程に戻る工程と、
ｉ）前記複数の教師画像のそれぞれについて、各教師画像の前記教示クラスと、前記各教師画像に対して取得される前記特徴量ベクトルとを含む教師データを準備する工程と、
ｊ）前記教師データを学習させて分類器を構築する工程と、
を備えることを特徴とする。

また、本発明に係る画像分類方法は、
画像を分類する画像分類方法であって、
対象画像を準備する工程と、
前記分類器構築方法により構築された分類器により前記対象画像を分類する工程と、
を備えることを特徴とする。

また、本発明に係る分類器構築装置は、
複数の教師画像のそれぞれに対して算出された複数の特徴量を含む特徴量ベクトルを算出する特徴量算出部と、
前記教師画像のそれぞれにおいて、複数のクラスのうち１つを教示クラスとして教示されており、前記各教師画像の前記教示クラスと、前記各教師画像に対して算出された前記特徴量ベクトルとを有する教師データを記憶する教師データ記憶部と、
前記教師データを学習させて画像を分類する分類器を構築する分類器生成部と、
を備える分類器を構築する分類器構築装置であって、
複数の教師画像のそれぞれにおいて、複数のクラスのうち１つを教示クラスとして教示されており、前記各教師画像の前記教示クラスと、前記各教師画像に対して取得された複数の補助特徴量軸における値とを含む補助教師データを記憶する補助教師データ記憶部と、
前記補助教師データに基づいて各補助特徴量軸における前記複数のクラスの度数分布を補助判別情報として取得する補助判別情報取得部と、
前記複数の補助特徴量軸における値が入力される際に、前記複数の補助特徴量軸の補助判別情報を用いて前記複数の補助特徴量軸に対する複数のクラス評価結果を取得し、さらに、前記複数のクラス評価結果に基づいて分類クラスを決定する第１世代の暫定補助分類器を生成する補助分類器生成部と、
前記複数の教師画像に含まれる教師画像群を現在の世代の暫定補助分類器を用いて分類し、前記現在の世代以前の複数の暫定補助分類器のそれぞれにより前記教師画像から得られる複数のクラス評価結果を取得する補助分類評価部と、
前記補助分類評価部にて取得された前記クラス評価結果から、前記複数のクラスに対応する複数のクラス確信度を取得し、前記現在の世代以前の複数の暫定補助分類器のそれぞれに対して取得された、前記複数のクラスに対応する複数の前記クラス確信度を特徴量軸の成分とする特徴量ベクトルを生成する特徴量ベクトル生成部と、
所定の条件が満たされない場合に、前記複数の補助特徴量軸に含まれる補助特徴量軸群における前記複数のクラスの度数分布において、前記教師画像のうち、前記現在の世代の暫定補助分類器による分類にて得られた分類クラスが教示クラスと相違する教師画像から得られる値が属する区間における前記教示クラスの度数が、他のクラスの度数よりも相対的に増大するように、前記補助特徴量軸群に対する補助判別情報を修正することにより、次の世代の暫定補助分類器を取得する補助分類器修正部と、
前記所定の条件が満たされるまで、前記現在の世代の暫定補助分類器を前記次の世代の暫定補助分類器に更新して、前記複数の教師画像に含まれる教師画像群を現在の世代の暫定補助分類器を用いて分類し、前記現在の世代以前の複数の暫定補助分類器のそれぞれにより前記教師画像から得られる複数のクラス評価結果からの、前記複数のクラスに対応する複数のクラス確信度の取得、前記現在の世代以前の複数の暫定補助分類器のそれぞれに対する前記特徴量ベクトルの生成を繰り返させ、前記所定の条件が満たされた場合に、前記特徴量ベクトルを最終的な特徴量ベクトルとして取得する繰返制御部と、
を備えることを特徴とする。

また、本発明に係る画像分類装置は、
画像を分類する画像分類装置であって、
対象画像を記憶する対象画像記憶部と、
前記分類器構築装置により構築された分類器と、
を備えることを特徴とする画像分類装置。

本発明によれば、加重平均で最終結果を算出するよりも分類性能の良い分類器を構築する高精度な分類器を容易に構築することができる。

図１は、実施形態に係る検査・分類装置の一例を示す図である。 図２は、実施形態に係るコンピュータの構成を示す図である。 図３は、実施形態に係る検査・分類装置の機能構成を示すブロック図である。 図４は、実施形態に係る特徴量算出部の機能構成を示すブロック図である。 図５は、実施形態に係る特徴量算出の流れを示す図である。 図６は、実施形態に係る第１の補助特徴量軸における複数のクラスの度数分布表を示す図である。 図７は、実施形態に係る第１の補助特徴量軸における複数のクラスのヒストグラムを示す図である。 図８は、実施形態に係る第２の補助特徴量軸における複数のクラスの度数分布表を示す図である。 図９は、実施形態に係る第２の補助特徴量軸における複数のクラスのヒストグラムを示す図である。 図１０は、実施形態に係る暫定補助分類器による教師画像群の分類結果を示す図である。 図１１は、実施形態に係る複合補助分類器の構成を説明するための図である。 図１２は、実施形態に係る複合補助分類器の構成を説明するための図である。 図１３は、実施形態に係る追加学習と正答率の関係を示す図である。 図１４は、実施形態に係る特徴量ベクトルを用いた分類器の構築の流れを説明する図である。 図１５は、実施形態に係る画像分類装置による画像分類の流れを説明する図である。 図１６は、比較例に係る分類器による教師画像の分類結果を示す図である。 図１７は、比較例に係る複合分類器の構成を説明するための図である。 図１８は、比較例に係る複合分類器による教師画像の分類結果を示す図である。 図１９は、比較例に係る暫定分類器の正答率を示す図である。 図２０は、比較例に係る１０個の暫定分類器による加重平均を行う複合分類器による教師画像の分類結果を示す図である。 図２１は、実施形態に係る分類器による教師画像の分類結果を示す図である。 図２２は、実施形態に係る特徴量ベクトルによる学習についての検定結果を示す図である。 図２３は、従来技術を説明するグラフである。

以下、図面を参照して、実施形態について説明する。以下に示す実施形態の構成は例示であり、開示の技術は実施形態の構成に限定されない。

≪実施形態≫
図１は本発明の実施の形態に係る検査・分類装置１の概略構成を示す図である。検査・分類装置１では、半導体基板９（以下、単に「基板９」という。）上のパターンの欠陥を示す欠陥画像が取得され、該欠陥画像の分類が行われる。欠陥画像の分類により、分類対象である該欠陥が分類される。

検査・分類装置１は、撮像装置２、欠陥検出部４１、および、コンピュータ５を備える。撮像装置２は、基板９上の検査対象領域を撮像する。欠陥検出部４１は、検査対象領域の画像データを処理しつつ欠陥を検出する。コンピュータ５は、欠陥検出部４１において欠陥が検出された場合に欠陥が属すべき欠陥クラス（欠陥の種別であり、「カテゴリ」等とも呼ばれる。）へと欠陥を分類する。コンピュータ５は、検査・分類装置１の全体動作の制御、および、欠陥の分類に利用される分類器の構築も行う。基板９上に存在するパターンの欠陥のクラスは、例えば、欠損、突起、断線、ショート、異物などである。撮像装置２は基板９の製造ラインに組み込まれ、検査・分類装置１はいわゆるインライン型のシステムとなっている。検査・分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。

撮像装置２は、撮像部２１、基板９を保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動するステージ駆動部２３を有する。撮像部２１は、基板９上の検査対象領域を撮像して多値の撮像画像（のデータ）を取得する。撮像部２１は、照明部２１１、光学系２１２、および、撮像デバイス２１３を有する。照明部２１１は、照明光を出射する。光学系２１２は、基板９に照明光を導き、基板９からの光は光学系２１２に入射する。撮像デバイス２１３は、光学系２１２により結像された基板９の像を電気信号に変換する。ステージ駆動部２３はボールねじ、ガイドレール、モータ等により構成される。コンピュータ５がステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。

欠陥検出部４１では、基板９の撮像画像と、該撮像画像と同じ領域（正常な領域）を示す参照画像とを比較することにより差分画像（典型的には、両画像の差の絶対値を示す画像）が得られ、該差分画像に基づいて、異常部分である欠陥が検出される。そして、欠陥部分の多値画像である欠陥画像が生成される。欠陥検出部４１では、他の手法により欠陥が検出されてよい。

図２はコンピュータ５の構成を示す図である。コンピュータ５は各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２、および、各種情報を記憶するＲＡＭ５３を含む一般的なコンピュータシステムの構成となっている。コンピュータ５は、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行う表示部であるディスプレイ５５、ユーザからの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、検査・分類装置１の他の構成との間で信号を送受信する通信部５８をさらに含む。

コンピュータ５には、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出され、固定ディスク５４に記憶される。そして、ＣＰＵ５１によりＲＡＭ５３および固定ディスク５４を利用しつつプログラム８０に従って演算処理が実行される。

図３は検査・分類装置１における機能構成を示すブロック図であり、図３では、コンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される機能構成を、符号５を付す破線の矩形にて囲んでいる。

コンピュータ５は、特徴量算出部３１、画像分類装置３２および分類器構築装置３３を有する。特徴量算出部３１は、画像から各種特徴量を算出する。本実施形態では、特徴量算出部３１を分類器構築装置３３に設けているが、機能構成に応じて適宜の配置が可能である。画像分類装置３２は、欠陥が検出された場合に該欠陥を自動的に分類する。画像分類装置３２は、対象画像記憶部３２１、分類制御部３２２および入力部５６を有し、分類
制御部３２２は、分類器３２０を有する。分類器構築装置３３は、画像分類装置３２における分類器３２０を構築する。分類器構築装置３３は、教師データ記憶部３３１、分類器生成部３３３、を有する。これらの構成が実現する機能の詳細については後述する。なお、これらの機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。

検査・分類装置１では、事前準備として、分類器構築装置３３による分類器の構築が行われる。

まず、欠陥検出部４１にて検出された多数の欠陥画像が、教師データ記憶部３３１に記憶される。続いて、特徴量算出部３１では、各欠陥画像に対して複数種類の特徴量の値、すなわち、複数の特徴量軸における値が取得される。図４は、特徴量算出部３１の構成を説明するための図である。特徴量算出部３１は、補助特徴量算出部３１０、補助教師データ記憶部３１１、補助判別情報取得部３１２、補助分類器生成部３１３、補助分類評価部３１４、補助分類器修正部３１５、繰返制御部３１６および特徴量ベクトル生成部３１７を有する。図５は、特徴量算出部３１における特徴量算出の流れを説明する図である。特徴量算出部３１では、例えば、欠陥の面積、周囲長、重心位置、モーメント量、階調値の平均、分散、最大、最小等の補助特徴量に基づいて後述する複数の特徴量を算出する。各欠陥画像に対する複数の特徴量軸の値の集合は、特徴量ベクトルとも呼ばれる。

また、各欠陥画像が示す欠陥に対して、ユーザにより、欠陥のクラスの教示（入力）が行われる。クラスの教示では、複数の欠陥画像が、コンピュータ５のディスプレイ５５に表示される。そして、ユーザにより、各欠陥画像に対して複数のクラスのいずれか１つが決定され、クラスの入力が入力部５６を介して行われる。これにより、複数の欠陥画像のそれぞれにおいて、複数のクラスのうちの１つが教示クラスとして教示される。以下、クラスの教示が行われた欠陥画像を、以下、「教師画像」という。

補助教師データ記憶部３１１では、各教師画像の教示クラスと、該教師画像に対して取得される複数の補助特徴量軸における値とが互いに関連付けられた状態で、これらの情報が記憶される。言い換えると、各教師画像の教示クラスと、該教師画像における複数の補助特徴量軸の値とを含む補助教師データ８１０が生成され、補助教師データ記憶部３１１に記憶される（ステップＳ１１）。既述のように、欠陥検出部４１では、基板９の撮像画像と参照画像とを比較することにより差分画像が得られ、該差分画像に基づいて欠陥画像が生成される。したがって、欠陥画像（教師画像）と共に、参照画像および差分画像において欠陥画像と同じ領域を示す部分等を用いて、補助特徴量軸上の値が取得されてもよい（後述する画像分類装置３２による対象画像の分類において同様）。

補助教師データ８１０が準備されると、補助判別情報取得部３１２では、補助教師データ８１０に基づいて各補助特徴量軸における複数のクラスの度数分布が求められる（ステップＳ１２）。具体的には、まず、各補助特徴量軸に関して、補助教師データ８１０に含まれる複数の値の最大値および最小値が特定され、値の分布範囲が取得される。該分布範囲は、適当な個数の区間に等分割（離散化）され、各区間においてクラス毎の値の度数（出現頻度）が求められる。例えば、分布範囲の分割数は、２の１乗以上、２の１０乗以下である。

図６は、第１の補助特徴量軸における複数のクラスの度数分布表を示す図であり、図７は、第１の補助特徴量軸における複数のクラスのヒストグラムを示す図である。また、図８は、第２の補助特徴量軸における複数のクラスの度数分布表を示す図であり、図９は、第２の補助特徴量軸における複数のクラスのヒストグラムを示す図である。図６および図８では、複数（３種類）のクラスをそれぞれ「Class 1」、「Class 2」、「Class 3」と
表し、補助特徴量軸における区間を、見出しに「bin」と記す行に０ないし１５の番号で
示している（以下同様）。

図６ないし図９では、各補助特徴量軸における値の分布範囲の分割数は１４であり、該分布範囲よりも小さい値の区間（０）および大きい値の区間（１５）も設けている。区間（０）および区間（１５）は、未知の画像から得られる値が、教師画像に基づく分布範囲よりも外側となる場合に用いられる。後述するように、各補助特徴量軸における複数のクラスの度数分布は、特徴量の算出に利用されるため、以下、「補助情報」という。

分布範囲の分割数は、補助特徴量軸毎に異なっていてもよく、全ての補助特徴量軸において同じであってもよい。例えば、全区間において度数が１となる区間が１つのみ存在するような分割数のうち、最小のものが分割数の上限として設定される。これにより、度数が１以上となる区間が不連続となることが抑制される。また、複数の補助特徴量軸により規定される補助特徴量空間において、複数の補助特徴量軸の区間により表現される領域（セル）の個数が、教師画像の総数よりも十分に多くなるように、分割数の下限が設定されることが好ましい。通常、教師画像の個数は、多くとも１０４個程度であるため、例えば、補助特徴量軸の個数が２０個である場合、分割数が２であれば、補助特徴量空間におけるセルの個数は２２０となり、教師画像の個数よりも十分に多くなる。

続いて、補助分類器生成部３１３では、複数の補助特徴量軸における値の入力により補助分類クラスを決定する初期の補助分類器である暫定補助分類器３０が生成される（ステップＳ１３）。本処理例では、暫定補助分類器３０の構造が予め決定されており、暫定補助分類器３０は、複数の補助特徴量軸に対してそれぞれ演算を行う複数の弱分類器を含む。各弱分類器は、補助特徴量軸における値を用いて補助情報を参照することにより、該値が取得された画像が、複数のクラスのそれぞれに属する確率（該補助特徴量軸のみに着目した確率）をクラス評価結果として求める。

ここで、教師画像の総数をＮ、クラスの個数をｎ、クラスＣ_ｉ（ｉ＝１、２、・・・、ｎ）に属する（すなわち、教示クラスがＣ_ｉである）教師画像の総数をＮ_ｉ（Ｎ_ｉ≠０）とすると、Ｎ_ｉはどの補助特徴量軸においても同じ数である。したがって、クラスＣｉに属する教師画像の総数Ｎ_ｉの全クラスにおける総和は、数１のように教師画像の総数となる。

また、補助特徴量軸の個数をｍ、補助特徴量軸Ｄ_ｊ（ｊ＝１、２、・・・、ｍ）における値の分布範囲の分割数をＫ_ｊとして、補助特徴量軸Ｄｊにおける区間ｋ（ｋ＝１、２、・・・、Ｋ_ｊ）において、クラスＣ_ｉに属する教師画像の個数をＦ_ｉｊ（ｋ）で表すと、クラスＣ_ｉに属する教師画像の総数Ｎ_ｉは、数２のように表される。

一方、一の補助特徴量軸Ｄ_ｊのみに着目した場合に、区間ｋにおいてクラスＣ_ｉに属する教師画像の個数Ｆ_ｉｊ（ｋ）の、クラスＣｉに属する教師画像の総数Ｎ_ｉに対する比率は、該補助特徴量軸Ｄ_ｊにおける値が区間ｋに属すると判った画像が、クラスＣ_ｉに属する確率と考えることができる。該確率をｐ_ｊｋ（Ｃ_ｉ）と表すと、確率ｐ_ｊｋ（Ｃ_ｉ）は、数３のように表される。

例えば、第１の補助特徴量軸の９番の区間について確率ｐ_ｊｋ（Ｃ_ｉ）を求めると、ｐ_１,９（Ｃ_１）は（４９／１５７８）から０．０３１となり、ｐ_１,９（Ｃ_２）は（４８６／２８４９）から０．１７１となり、ｐ_１,９（Ｃ_３）は（９／６８８）から０．０１３
となる。確率ｐ_ｊｋ（Ｃ_ｉ）は、１つの補助特徴量軸に対してｎ個（クラス数）だけ得られるが、全クラスの確率ｐ_ｊｋ（Ｃ_ｉ）の総和は１にはならない。そこで、検査・分類装置１で得られる全ての画像がｎ個のクラスのいずれかに属することを前提として、全クラスにおける総和が１となるように正規化した、新たな確率ｐ'_ｊｋ（Ｃ_ｉ）を数４のよう
に定める。

確率ｐ'_ｊｋ（Ｃ_ｉ）は、各区間ｋにおいて全てのクラスの画像の総数が同じであると
仮定した上で、補助特徴量軸Ｄ_ｊにおいて区間ｋに属する値を有する画像が、クラスＣ_ｉに属する確率（該特徴量軸Ｄ_ｊのみに着目した確率）と捉えることができ、ある種の事後確率（確率予報）とも捉えられる。例えば、第１の補助特徴量軸の９番の区間について確率ｐ'_ｊｋ（Ｃｉ）を求めると、ｐ'_１,９（Ｃ_１）は（（４９／１５７８）／（（４９／
１５７８）＋（４８６／２８４９）＋（９／６８８）））から０．１４５となり、同様の計算によりｐ'_１,９（Ｃ_２）は０．７９４となり、ｐ'_１,９（Ｃ_３）は０．０６１となる。確率ｐ'_ｊｋ（Ｃ_ｉ）の全クラスにおける総和は１となる。

暫定補助分類器３０に含まれる各弱分類器は、対応する補助特徴量軸Ｄ_ｊにおける値を用いて判別情報を参照することにより、各クラスＣ_ｉに対して確率ｐ'_ｊｋ（Ｃｉ）をク
ラス評価結果として求める。該弱分類器では、該補助特徴量軸Ｄ_ｊにおいて値が取得された画像が、複数のクラスＣ_ｉのそれぞれに属するとした場合の妥当性（確信度）を示す評価値が、クラス評価結果として求められているともいえる。

なお、通常の条件つき確率として、ｐ（Ｃ１｜Ｄ１，ｋ＝９）は（４９／（４９＋４８６＋９））から０．０９０となり、同様の計算によりｐ（Ｃ２｜Ｄ１，ｋ＝９）は０．８９３となり、ｐ（Ｃ３｜Ｄ１，ｋ＝９）は０．０１７となる。上記条件つき確率は、各クラスに属する教師画像の個数の比率が、実際に分類される未知の画像における該クラスの出現比率であることを前提としている。したがって、各クラスに属する教師画像の個数の比率が実際の出現比率と相違する場合には、正しい確率計算を行うことができない場合がある。これに対し、確率ｐ'_ｊｋ（Ｃ_ｉ）を求める場合には、全てのクラスの出現比率が
一定であることを前提としており、より安定した分類結果が得られることが期待される。暫定補助分類器３０の設計によっては、確率ｐ'_ｊｋ（Ｃ_ｉ）以外の値（例えば、上述の
条件つき確率）がクラス評価結果として求められてもよい。

ところで、多くの補助特徴量軸における複数のクラスの度数分布では、図６および図８のヒストグラムのように、互いに重なり合う部分が多く存在するため、各補助特徴量軸において求められる複数のクラスに対する確率によるクラスの予測精度は、あまり高いとは言えない（ただし、ランダムにクラスを予測するよりは精度は高いといえる。）。そこで、暫定補助分類器３０では、アンサンブル学習の考え方が取り入れられており、複数の補助特徴量軸に対する複数の弱分類器のクラス評価結果に基づいて分類クラスを決定する強分類器として、暫定補助分類器３０が構成される。このようにして構成された最初の暫定補助分類器３０を「第１世代の暫定補助分類器」と呼ぶ。

次に、補助分類評価部３１４により、第１世代の暫定補助分類器３０を用いて複数の教師画像に含まれる教師画像群の分類が行われる（ステップＳ１４）。補助分類評価部３１４は分類クラスと教示クラスとから、再代入法による補助分類評価結果を取得する（ステップＳ１５）。補助分類評価結果は、全体の正答率でもよく、クラス毎の正答率でもよい。

初回のステップＳ１６，Ｓ１７は、実質的に実行されず、ステップＳ１８の分岐処理を経由して補助分類器修正部３１５による補助判別情報の修正が行われる（ステップＳ１９）。補助判別情報の修正は実質的に暫定補助分類器３０の修正である。補助分類器修正部３１５では、補助教師データ８１における複数の教師画像に含まれる教師画像群の分類が、暫定補助分類器３０を用いて行われる（ステップＳ１４）。本処理例では、教師画像群として、補助教師データ８１０に含まれる全ての教師画像が選択される。既述のように、補助教師データ８１０は、全ての教師画像に対する複数の補助特徴量軸における値を含む。したがって、教師画像群に含まれる各教師画像の分類では、各補助特徴量軸において、該教師画像の値が属する区間が迅速に特定され、複数のクラスに対する評価値（例えば、数４の確率ｐ'_ｊｋ（Ｃ_ｉ））がクラス評価結果として容易に取得される。

暫定補助分類器３０による分類では、さらに、各クラスに対して、複数の補助特徴量軸における複数の評価値の代表値（例えば、平均値や中央値、加重平均値等）が求められる。そして、複数のクラスのうち代表値が最大であるクラスが、該教師画像の分類クラスとして決定される。各教師画像の分類クラスは、補助分類器修正部３１５において記憶される。このとき、暫定補助分類器３０における好ましい処理では、最大の代表値が一の閾値未満である場合、または、最大の代表値と２番目に大きい代表値との差（または比率）が他の閾値未満である場合等に、分類すべきクラスが不明であることを示す追加クラスが分類クラスとして決定される。以下の説明では、上記の場合に、教師画像群の教師画像が、追加クラスに分類されるものとする。

図１０は、暫定補助分類器３０による教師画像群の分類結果の一例を示す図であり、分類結果をまとめたコンフュージョンマトリクス（混同行列）である。図１０では、３種類の教示クラスを行見出しに記し、不明を含む４種類の分類クラスを列見出しに記している
。教示クラスが「Ａ」である複数の教師画像のうち、分類クラス「Ｂ」に属すると判定された教師画像の個数は、「Ａ」の行と「Ｂ」の列との交差位置に示される。また、「Precision」の行と「Recall」の列との交差位置は、分類が行われた教師画像の総数のうち、
教示クラスと分類クラスとが一致した教師画像の個数の比率（以下、単に「正答率」という。）を示す。既述のように教師画像群は、全ての教師画像であるため、図１０の分類結果は、いわゆる再代入法評価の結果である。

続いて、補助分類器修正部３１５は、教師画像群のうち、分類クラスが教示クラスと相違する教師画像（以下、「誤分類教師画像」という。）が存在する場合に、補助特徴量軸群に対する補助判別情報が誤分類教師画像に基づいて修正される（ステップＳ１９）。本処理例では、分類クラスが追加クラスである教師画像は、誤分類教師画像とは扱われない。また、補助特徴量軸群は、上記複数の補助特徴量軸に含まれ、本処理例では、補助特徴量軸群として、ステップＳ１１にて値が求められた全ての補助特徴量軸が選択される。

各補助特徴量軸の補助判別情報の修正では、各補助特徴量軸の各クラスの度数分布において、教師画像から得られる値が属する区間における教示クラスの度数が、他のクラスの度数よりも相対的に増大するように、補助判別情報が修正される。たとえば、該補助特徴量軸における複数のクラスの度数分布において誤分類教師画像の値が属する区間が特定され、該区間における誤分類教師画像の教示クラスの度数が、予め定められた正の値（ここでは、１）だけ加算される。すなわち、分類クラスが教示クラスと相違する誤分類教師画像が、各補助特徴量軸の複数のクラスの度数分布において重複して計数される。上記処理は、誤分類教師画像の重みの変更と捉えることもできる。ステップＳ１２，Ｓ１３における補助判別情報の取得および暫定補助分類器３０の生成を、学習と捉えると、ステップＳ１７，Ｓ１９における教師画像群の分類および補助判別情報の修正は、暫定補助分類器３０の追加学習であるといえる。補助教師データ８１０は、全ての教師画像に対する複数の補助特徴量軸における値を含むため、補助特徴量軸群の補助判別情報において誤分類教師画像に対応する区間の度数を変更する処理は、短時間に、かつ、容易に行うことが可能である。

これにより、第１世代の暫定補助分類器３０が修正され、第２世代の暫定補助分類器３０が生成される。換言すれば、追加学習により次の世代の暫定補助分類器３０が生成される。誤分類教師画像としては、直前のステップＳ１４にて行われる分類により取得されたものが利用されてもよく、別途、暫定補助分類器３０による教師画像の分類を行って誤分類教師画像が取得されてもよい。

暫定補助分類器３０は、教師画像の分類クラスが不明であることを示す追加クラスが出力可能であることが好ましい。分類クラスが追加クラスである場合は、教師画像に基づく補助判別情報の修正は行われない。

現在の暫定補助分類器３０が第１世代の暫定補助分類器３０から第２世代の暫定補助分類器３０に更新され、ステップＳ１４に戻る（ステップＳ２０）。ステップＳ２０の実行は、実質的にステップＳ１９を含んでもよい。

２回目のステップＳ１４では、補助分類評価部３１４により、第２世代の暫定補助分類器３０を用いて教師画像群の分類が行われる（ステップＳ１４）。補助分類評価部３１４は分類クラスと教示クラスとから、分類成績を取得する（ステップＳ１５）。

特徴量ベクトル生成部３１７は、第１および第２世代の暫定補助分類器３０から複合補助分類器４０を生成する（ステップＳ１６）。複合補助分類器４０の構成については後述する。複合補助分類器４０は、教師画像群の分類を行う（ステップＳ１７）。

ステップＳ１９では、誤分類教師画像に基づいて補助判別情報の修正が行われる。これにより、第３世代の暫定補助分類器３０が生成され、現在の暫定補助分類器３０が第３世代の暫定補助分類器３０に更新されてステップＳ１４に戻る（ステップＳ２０）。その後、第３世代の暫定補助分類器３０による分類が行われる。特徴量ベクトル生成部３１７は、第１ないし第３世代の暫定補助分類器３０を含む複合補助分類器４０を生成し、複合補助分類器４０による分類が行われる。以後、終了条件が満たされるまで、現在の世代の暫定補助分類器３０による分類、複合補助分類器４０の生成、複合補助分類器４０による分類、および、次の世代の暫定補助分類器３０の生成が繰り返される（ステップＳ１８）。

なお、複合補助分類器４０の生成（ステップＳ１６）および複合補助分類器４０による分類（ステップＳ１７）は、暫定補助分類器３０の世代が更新される毎に行われる必要はない。例えば、暫定補助分類器３０の世代の更新が所定回数行われる毎にステップＳ１６，Ｓ１７が実行されてステップＳ１８におけるループ終了確認が行われてもよい。

上記繰り返し処理は繰返制御部３１６により制御され、所定の終了条件が満たされると、その段階での複合補助分類器４０が最終的な複合補助分類器として取得される（ステップＳ１８）。そして、複合補助分類器４０を構成する第１世代から現在の世代までの暫定補助分類器３０から出力される全てのクラスＣ_ｊのクラス確信度を特徴量とする特徴量ベクトル５０が生成される（ステップＳ２０）。クラスの個数をｎとし、第１世代から第ｑ世代までの暫定補助分類器を含む複合補助分類器４０が構成された場合には、特徴量ベクトル５０は、ｎ×ｑ次元のベクトルとなる。第ｉ世代の暫定補助分類器３０によって出力されるクラスＣ_ｊのクラス確信度をＥ_ｉｊとすると、特徴量ベクトル５０は具体的には、（Ｅ_１１，Ｅ_１２，…Ｅ_１ｎ，Ｅ_２１，…Ｅ_２ｎ，…Ｅ_ｑ１，Ｅ_ｑ２，…Ｅ_ｑｎ）となる。

図１１および図１２は、複合補助分類器４０の構成を説明するための図である。複合補助分類器４０は実質的に第１世代から現在の世代までの複数の暫定補助分類器３０を含む。正確には、複合補助分類器４０は、暫定補助分類器３０のうち、複数の補助特徴量軸における複数のクラスの評価結果（上述の確率ｐ'_ｊｋ（Ｃ_ｉ））の代表値を取得するまで
の部分を含む。図１１は、１つの暫定補助分類器３０における値の流れや情報を抽象的に示す図である。図１１では、演算する機能の表示を省略し、値の流れを線のみで表現している。

現在の世代以前の複数の暫定補助分類器３０のそれぞれでは、クラスの評価結果の代表値が取得される。複合補助分類器４０ではこれらの代表値が利用される。すなわち、複合補助分類器４０では、図１１において破線にて示す部分４０１が利用される。クラスの評価結果の代表値は、画像が該クラスに属する度合いを示す確信度である。以下、クラスの評価結果の代表値を「クラス確信度」という。なお、複合補助分類器４０を構築する際の分類処理（ステップＳ１７）では、各世代の暫定補助分類器３０による分類処理（ステップＳ１４）にて求められたクラス確信度を流用することも可能である。

図１２は、複合補助分類器４０において、各世代の暫定補助分類器３０からの出力が利用される様子を示す図である。暫定補助分類器３０からは複数のクラスに対応するクラス確信度が出力されるものとして示している。また、演算処理を部分的に線のみにて表現している。

図１３は、追加学習の回数（ステップＳ１９，Ｓ２０の繰り返し回数）と正答率との関係の一例を示す図である。横軸の追加学習の回数は、「暫定補助分類器３０の世代数−１」である。縦軸は正答率である。符号１０１にて示す線は、暫定補助分類器３０に教師画
像群を分類させる評価法（再代入法）と追加学習とを交互に繰り返して暫定補助分類器３０の正答率が向上する様子を示す。符号１０２にて示す線は、追加学習を行う毎に教師画像群とは別に準備した評価用画像群を分類した場合の正答率を示す。

符号１０３にて示す線は、複合補助分類器４０を用いて教師画像群を分類した成績を示し、符号１０４にて示す線は、複合補助分類器４０を用いて評価用画像群を分類した成績を示す。複合補助分類器４０は、第１世代から最新の世代までの暫定補助分類器３０を用いて１つのBoosting分類器を構成するため、正答率は滑らかに向上する。

暫定補助分類器３０の追加学習を繰り返すのみでは暫定補助分類器３０の分類成績（すなわち、正答率）が振動し続けて１００％に到達しない場合であっても、複合補助分類器４０では追加学習により分類成績が滑らかに向上する。そのため、追加学習を終了する条件を試行錯誤することなく容易に決定することができる。Boosting分類器の分類成績は比較的初期の世代で安定するため、追加学習の演算量を少なく抑えることができ、得られたBoosting分類器は過学習にも陥らず、汎化性能の低下が抑制される。

補助特徴量軸群に対する補助判別情報の修正は、様々な手法にて行われてもよい。例えば、補助特徴量軸群における複数のクラスの度数分布において、誤分類教師画像から得られる値が属する区間における教示クラスの度数に１よりも大きい係数が掛けられてもよく、他のクラスの度数から所定の正の値が引かれる、または、該度数に１未満の係数が掛けられてもよい。以上のように、補助特徴量軸群における複数のクラスの度数分布において、誤分類教師画像から得られる値が属する区間における、誤分類教師画像の教示クラスの度数が、他のクラスの度数よりも相対的に増大するように、補助特徴量軸群に対する補助判別情報が修正されればよい。

補助分類器修正部３１５では、一部の補助特徴量軸のみが、補助判別情報が修正される補助特徴量軸群として選択されてもよい。該追加学習を効率よく行うという観点では、補助特徴量軸群に含まれる補助特徴量軸の個数が、補助教師データ８１０に値が含まれる複数（全て）の補助特徴量軸の半分以上であることが好ましい。

上記実施の形態では、暫定補助分類器３０の追加学習に利用される教師画像群として、補助教師データ８１０に含まれる全ての教師画像が選択されるが、例えば、各教示クラスの教師画像が同じ個数となるように選択された教師画像のみが教師画像群に含まれてもよい。

２以上の教師画像を含む教師画像群が分類され、全ての誤分類教師画像に基づいて補助判別情報が修正されるが、例えば、教師画像群が１つの教師画像とされ、該教師画像の分類クラスが教示クラスと相違する場合に、該教師画像のみに基づいて補助判別情報の修正が行われてもよい。ステップＳ１９においても同様である。

欠陥検出部４１において、欠陥の検出の際に補助特徴量が算出される場合には、該補助特徴量が特徴量算出部３１において利用されてよい。

図１２に示すクラス確信度としては、対象画像が各クラスに属する可能性の程度を示す値であれば他の様々な値が利用可能である。例えば、確率ｐ'_ｊｋ（Ｃ_ｉ）を求める前の
条件つき確率の代表値がクラス確信度として用いられてもよい。

教師データ記憶部３３１では、各教師画像の教示クラスと、該教師画像に対して上述のようにして取得された複数の特徴量軸における値とが互いに関連づけられた状態で、これらの情報が記憶される。言い換えると、各教師画像の教示クラスと、該教師画像における
複数の特徴量軸の値とを含む教師データ８１が生成され、教師データ記憶部３３１に記憶される。既述のように、欠陥検出部４１では、基板９の撮像画像と参照画像とを比較することにより差分画像が得られ、該差分画像に基づいて欠陥画像が生成される。

上述の教師データ８１によって分類器を構築する流れを図１４に説明する。
まず、欠陥画像を準備する（ステップＳ３１）。次に、ユーザがディスプレイ５５に表示された欠陥画像に対して入力部５６を介して該欠陥画像のクラスを入力し、教示する（ステップＳ３２）。そして、上述の方法に従って、特徴量算出部３１において、特徴量ベクトルを生成する（ステップＳ３３）。ステップＳ３２で教示されたクラスと、ステップＳ３４で取得された特徴量ベクトルと関連付けた教師データ８１が教師データ記憶部３３１に記憶される（ステップＳ３４）。このようにして準備された教師データ８１を学習させることにより、分類器生成部３３３において分類器３３０を生成し（ステップＳ３５）、分類制御部３２２に分類器３２０として登録する（ステップＳ３６）。ここで、分類器３２０としては、識別関数型の分類器を生成することができるが、これに限られず任意のアルゴリズムを用いて分類器を構築することができる。このようにして構築された分類器３２０で画像の分類を行う場合には、欠陥検出部４１で取得された欠陥画像に対して上述の特徴量ベクトルが取得され、得られた特徴量ベクトルを分類器３２０に与えて分類クラスを付与することになる。このようにすれば、複数の暫定補助分類器の個々の分類成績を保持する必要がなくなり、加重平均で最終結果を算出するよりも分類性能の良い（追加学習を繰り返す過程で得られた分類器まで含んだ全体として性能の良い）分類器を得ることができる。また、追加学習の繰返し処理において、分類器の成績が１００％に到達しないまま世代が進むとともに振動し続けるような場合でも、停止条件を見出すための試行錯誤を必要とせず、予め決めた比較的少ない世代数（例えば１０世代）で打ち切ることができる。また、このようにして構築された分類器では、教師データを分類し（再代入法）、誤分類した教師データの教示クラスを新たに定義した「不明」クラスに変更するようにしてもよい。また、再代入法による分類結果に応じて、分類器を再構築するようにしてもよい。

上述の教師データ８１に基づく学習によって生成された分類器３２０は、画像分類装置３２の分類制御部３２２に入力され、分類器３２０として画像の分類に利用される。図１５に画像分類装置３２による欠陥画像の分類について説明する。図１５は画像分類装置３２による欠陥画像の分類の流れを示す図である。既述のように、検査・分類装置１では、撮像装置２により基板９が撮像され、撮像画像が欠陥検出部４１に出力される。欠陥検出部４１では、検査対象領域の欠陥検査が行われ、欠陥が検出されると、欠陥部分の多値画像である欠陥画像が生成されて画像分類装置３２に出力される。これにより、欠陥画像が、対象画像記憶部３２１に記憶されて準備される（ステップＳ４１）。該欠陥画像は、画像分類装置３２における分類対象の画像、すなわち対象画像である。続いて、特徴量算出部３１により、対象画像に対して特徴量ベクトルが算出される（ステップＳ４２）。分類制御部３２２には、分類器構築装置３３により構築された分類器３２０が設けられており、複数の特徴量軸における値、すなわち、特徴量ベクトルの複数の成分が分類器３２０に入力されることにより、対象画像の分類が行われる（ステップＳ４３）。

以下に、総数５１１２個の欠陥画像を３クラスに分類する例を示す。まず、上述の補助特徴量を特徴量とし、教示クラスと関連付けた教師データを用い、例えばロジスティック回帰により識別関数型の分類器を構築する。図１６は、この分類器による、再代入法による分類結果をまとめたコンフュージョンマトリクス（混同行列）である。図１６では、３種類の教示クラスを見出しに記し、不明を含む４種類の分類クラスを列見出しに記している。教示クラスが「Ａ」である複数の教師画像のうち、分類クラス「Ｂ」に属すると判定された教師画像の個数は、「Ａ」の行と「Ｂ」の列との交差位置に示される。また、「Precision」の行と「Recall」の列との交差位置は、分類が行われた教師画像の総数のうち
、教示クラスと分類クラスとが一致した教師画像の個数の比率（以下、単に「正答率」という。）を示す。

一方、同じ欠陥画像データを用いて、上述の特徴量算出部３１における複合補助分類器４０と共通した構成を有するBoosting強分類器である複合分類器４１０を構築し、この分類器の再代入法による分類を行う。図１７は、複合分類器４１０の構成を説明する図である。各世代の暫定分類器３０１は、図１２に示す暫定補助分類器３０と共通の構成を有する。複合分類器４１０は、各世代の暫定分類器３０１を用いて教師画像群を分類した際の分類成績（例えば正答率）をそれぞれ保持しており、各世代の暫定分類器３０１から出力される複数のクラス確信度に該世代の暫定分類器３０１の分類成績を乗算する乗算器４１１を有する。これにより、クラスＣ_１については、第１世代の暫定分類器３０１のクラスＣ_１のクラス確信度に第１世代の暫定分類器の分類成績を乗算した値が取得され、第２世代の暫定分類器３０１のクラスＣ_１のクラス確信度に第２世代の暫定分類器の分類成績を乗算した値、…、最新世代の暫定分類器３０１のクラスＣ_１のクラス確信度に最新世代の暫定分類器３０１の分類成績を乗算した値が取得される。そして、クラスＣ_１に関するこれらの値の平均値が、クラスＣ_１の複合評価結果として取得される。他の暮らすについても同様である。複合評価結果としては、平均値以外の代表値が用いられてもよい。他の代表値としては、例えば、中央値や世代数に依存する加重平均を挙げることができる。そして、複数の複合評価結果のうち、最大のものに対応するクラスが、分類クラスとして取得される。このとき、複合分類器４１０における好ましい処理では、最大の複合評価結果が一の閾値未満である場合、または、最大の複合評価結果と２番目に大きい複合評価結果との差（または比率）が他の閾値未満である場合等に、分類すべきクラスが不明であることを示す追加クラスが分類クラスとして割り当てられる。

図１８に、上述の複合分類器４１０による、同じ欠陥画像データを用いた再代入法による分類結果をまとめたコンフュージョンマトリクスを示す。ただし、離散化の分割数６４であり、繰返しを終了する（この場合は正答率が１００％に対するという条件）までに追加学習（暫定分類器の更新）を４２回実行した。つまり、全部で４３個の分類器によるBoosting（加重平均）である。
このとき、個々の暫定分類器３０１の総正答率を調べると図１９のようになり、追加学習を９回繰り返した（第１０世代）の分類器の時点で概ね図１８に示す９７％に達していることがわかる。これは、分類を実行する際の演算量を４分の１程度に削減できる可能性があることを示している。
ただし、図２０に示す、これらの１０個の暫定分類器３０１によるBoosting（加重平均）を行う複合分類器４１０の分類結果をまたとめたコンフュージョンマトリクスによると、元の欠陥画像データの特徴量から構築した識別関数型の分類成績（図１６参照）には及ばない。

そこで、これらの１０個の暫定分類器３０１の出力するクラス毎の確信度を改めて特徴量ベクトルとみなして（この場合には全部で３０次元のベクトルとなる）、例えば、ロジスティック回帰により識別関数型の分類器３３０を構築する。図１７に示す複合分類器における加重平均計算と分類クラスの決定の役割をこのような特徴量ベクトルに基づいて構築された分類器３３０が担うことになる。
図２１に、このようにして構築された分類器３３０による、再代入法による分類結果をまとめたコンフュージョンマトリクスを示す。これによれば、分類器３３０による分類成績は、複合分類器４１０による加重平均の場合の分類成績（図１６参照）を上回っている。また、分類器３３０による分類成績は第１０世代の暫定分類器単体の成績（図１９参照）をも上回っている。

なお、上述のようにクラス確信度を新たな特徴量ベクトルとした学習について、n-Fold
s Cross Validation（ｎ分割交叉検定）（ｎ＝１０）の結果を図２２に示す。図２２に示すように、クラス確信度を新たな特徴量ベクトルに基づいて学習させた分類器に過学習は認められない。また、追加学習を繰り返す過程で得られる分類器は過学習でないことが分かっているので、全体として過学習でないといえる。

図３および図４に示す各機能要素が担う役割は、部分的に適宜変更されてよい。

欠陥画像は、半導体基板以外の基板上の欠陥を示すものであってよい。該基板として、ハードディスク基板等の薄膜デバイス、プラズマディスプレイや液晶ディスプレイ等の薄型ディスプレイに用いられるガラス基板、フォトマスク基板、フィルム基板、プリント配線基板等が例示される。

また、検査・分類装置１が、太陽電池パネルを撮像した欠陥画像を分類する用途に用いられてもよい。例えば、太陽電池パネルのＥＬ（エレクトロ・ルミネッセンス）発光やＰＬ（フォト・ルミネッセンス）発光を撮像して得られる画像や、レーザーテラヘルツエミッション顕微鏡（ＬＴＥＭ）を用いて得られる太陽電池パネルの画像において、参照画像が示す正常な領域とは異なる領域を含む部分を欠陥画像として扱って、検査・分類装置１において太陽電池パネルの欠陥が分類されてよい。さらに、欠陥画像は、電子線やＸ線等により撮像される画像であってもよい。このように、検査・分類装置１では、可視光により撮像される画像のみならず、広義の放射線により撮像される画像が分類される。

検査・分類装置１において、画像分類装置３２および分類器構築装置３３の機能は、撮像装置２および欠陥検出部４１とは独立して用いられてよい。画像分類装置および分類器構築装置は、血液や培養液等の所定の液中の細胞を撮像した細胞画像を、複数のクラスに分類する用途に用いられてもよい。画像分類装置および分類器構築装置は、様々な分類対象を示す画像の分類に利用可能である。分類器構築装置は、画像分類装置に含まれてもよい。

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。

３０ 暫定補助分類器
３１ 特徴量算出部
３２ 画像分類装置
３３ 分類器構築装置
４０ 複合補助分類器
５０ 特徴量ベクトル
５６ 入力部
８１ 教師データ
３１０ 補助特徴量算出部
３１１ 補助教師データ記憶部
３１２ 補助判別情報取得部
３１３ 補助分類器生成部
３１４ 補助分類評価部
３１５ 補助分類器修正部
３１６ 繰返制御部
３１７ 特徴量ベクトル生成部
３２０ 分類器
３２１ 対象画像記憶部
３２４ 分類器更新部
３３０ 分類器
３３１ 教師データ記憶部
３３２ 判別情報取得部
３３３ 分類器生成部
３３４ 分類器修正部
３３５ 繰返制御部
３４２ 複合分類器生成部
８１０ 補助教師データ

Claims (4)

1. 画像を分類する分類器を構築する分類器構築方法であって、
   ａ）複数の教師画像のそれぞれにおいて、複数のクラスのうち１つを教示クラスとして教示されており、前記各教師画像の前記教示クラスと、前記各教師画像に対して取得される複数の補助特徴量軸における値とを含む補助教師データを準備する工程と、
   ｂ）前記補助教師データに基づいて各補助特徴量軸における前記複数のクラスの度数分布を補助判別情報として求める工程と、
   ｃ）前記複数の補助特徴量軸における値が入力される際に、前記複数の補助特徴量軸の補助判別情報を用いて前記複数の補助特徴量軸に対する複数のクラス評価結果を取得し、さらに、前記複数のクラス評価結果に基づいて分類クラスを決定する第１世代の暫定補助分類器を生成する工程と、
   ｄ）前記複数の教師画像に含まれる教師画像群を現在の世代の暫定補助分類器を用いて分類する工程と、
   ｅ）前記現在の世代以前の複数の暫定補助分類器のそれぞれにより前記教師画像から得られる複数のクラス評価結果から、前記複数のクラスに対応する複数のクラス確信度を取得し、前記現在の世代以前の複数の暫定補助分類器のそれぞれに対して取得された、前記複数のクラスに対応する複数の前記クラス確信度を特徴量軸の成分とする特徴量ベクトルを生成する工程と、
   ｆ）所定の条件が満たされた場合に、前記特徴量ベクトルを最終的な特徴量ベクトルとして取得する工程と、
   ｇ）前記所定の条件が満たされない場合に、前記複数の補助特徴量軸に含まれる補助特徴量軸群における前記複数のクラスの度数分布において、前記教師画像のうち、前記ｄ）工程にて得られた分類クラスが教示クラスと相違する教師画像から得られる値が属する区間における前記教示クラスの度数が、他のクラスの度数よりも相対的に増大するように、前記補助特徴量軸群に対する補助判別情報を修正することにより、次の世代の暫定補助分類器を取得する工程と、
   ｈ）前記現在の世代の暫定補助分類器を前記次の世代の暫定補助分類器に更新して、前記ｄ）工程に戻る工程と、
   ｉ）前記複数の教師画像のそれぞれについて、各教師画像の前記教示クラスと、前記各教師画像に対して取得される前記特徴量ベクトルとを含む教師データを準備する工程と、
   ｊ）前記教師データを学習させて分類器を構築する工程と、
   を備えることを特徴とする分類器構築方法。
2. 画像を分類する画像分類方法であって、
   対象画像を準備する工程と、
   請求項１に記載の分類器構築方法により構築された分類器により前記対象画像を分類する工程と、
   を備えることを特徴とする画像分類方法。
3. 複数の教師画像のそれぞれに対して算出された複数の特徴量を含む特徴量ベクトルを算出する特徴量算出部と、
   前記教師画像のそれぞれにおいて、複数のクラスのうち１つを教示クラスとして教示されており、前記各教師画像の前記教示クラスと、前記各教師画像に対して算出された前記特徴量ベクトルとを有する教師データを記憶する教師データ記憶部と、
   前記教師データを学習させて画像を分類する分類器を構築する分類器生成部と、
   を備える分類器を構築する分類器構築装置であって、
   複数の教師画像のそれぞれにおいて、複数のクラスのうち１つを教示クラスとして教示されており、前記各教師画像の前記教示クラスと、前記各教師画像に対して取得された複数の補助特徴量軸における値とを含む補助教師データを記憶する補助教師データ記憶部と
   、
   前記補助教師データに基づいて各補助特徴量軸における前記複数のクラスの度数分布を補助判別情報として取得する補助判別情報取得部と、
   前記複数の補助特徴量軸における値が入力される際に、前記複数の補助特徴量軸の補助判別情報を用いて前記複数の補助特徴量軸に対する複数のクラス評価結果を取得し、さらに、前記複数のクラス評価結果に基づいて分類クラスを決定する第１世代の暫定補助分類器を生成する補助分類器生成部と、
   前記複数の教師画像に含まれる教師画像群を現在の世代の暫定補助分類器を用いて分類し、前記現在の世代以前の複数の暫定補助分類器のそれぞれにより前記教師画像から得られる複数のクラス評価結果を取得する補助分類評価部と、
   前記補助分類評価部にて取得された前記クラス評価結果から、前記複数のクラスに対応する複数のクラス確信度を取得し、前記現在の世代以前の複数の暫定補助分類器のそれぞれに対して取得された、前記複数のクラスに対応する複数の前記クラス確信度を特徴量軸の成分とする特徴量ベクトルを生成する特徴量ベクトル生成部と、
   所定の条件が満たされない場合に、前記複数の補助特徴量軸に含まれる補助特徴量軸群における前記複数のクラスの度数分布において、前記教師画像のうち、前記現在の世代の暫定補助分類器による分類にて得られた分類クラスが教示クラスと相違する教師画像から得られる値が属する区間における前記教示クラスの度数が、他のクラスの度数よりも相対的に増大するように、前記補助特徴量軸群に対する補助判別情報を修正することにより、次の世代の暫定補助分類器を取得する補助分類器修正部と、
   前記所定の条件が満たされるまで、前記現在の世代の暫定補助分類器を前記次の世代の暫定補助分類器に更新して、前記複数の教師画像に含まれる教師画像群を現在の世代の暫定補助分類器を用いて分類し、前記現在の世代以前の複数の暫定補助分類器のそれぞれにより前記教師画像から得られる複数のクラス評価結果からの、前記複数のクラスに対応する複数のクラス確信度の取得、前記現在の世代以前の複数の暫定補助分類器のそれぞれに対する前記特徴量ベクトルの生成を繰り返させ、前記所定の条件が満たされた場合に、前記特徴量ベクトルを最終的な特徴量ベクトルとして取得する繰返制御部と、
   を備えることを特徴とする分類器構築装置。
4. 画像を分類する画像分類装置であって、
   対象画像を記憶する対象画像記憶部と、
   請求項３に記載の分類器構築装置により構築された分類器と、
   を備えることを特徴とする画像分類装置。

Images