JP2019057024A - 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置 - Google Patents

分類器構築方法、画像分類方法、分類器構築装置および画像分類装置 Download PDF

Info

Publication number
JP2019057024A
JP2019057024A JP2017180082A JP2017180082A JP2019057024A JP 2019057024 A JP2019057024 A JP 2019057024A JP 2017180082 A JP2017180082 A JP 2017180082A JP 2017180082 A JP2017180082 A JP 2017180082A JP 2019057024 A JP2019057024 A JP 2019057024A
Authority
JP
Japan
Prior art keywords
classifier
teacher data
image
class
frequency distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017180082A
Other languages
English (en)
Inventor
松村　明
Akira Matsumura
明 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2017180082A priority Critical patent/JP2019057024A/ja
Publication of JP2019057024A publication Critical patent/JP2019057024A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】精度よく画像分類を行う分類器を容易に構築することができる技術を提供する。【解決手段】度数分布データ生成部３３２は、複数の教師データ８１に基づき、特徴量軸毎に、特徴量軸の値を離散化した各区間における度数をクラス別に示す度数分布データ８２を生成する。分類器生成部３３３は、度数分布データ８２に基づき画像を分類する分類器３３０を生成する。度数分布データ修正部３３４は、複数の教師データ８１のうち分類器３３０で分類したときに誤分類される教師データ８１について、その教師データ８１が持つ特徴量の値に対応する対応区間を特徴量軸毎に特定し、特定された対応区間における当該教師データ８１の教示されたクラスの度数を増加させるように度数分布データ８２を修正する。繰返制御部３３５は、度数分布データ修正部３３４に度数分布データ８２の修正を１回以上行わせる。【選択図】図３

Description

この発明は、画像を分類する分類器を構築する技術、および、当該分類器を用いて画像を分類する技術に関する。
従来、複数の弱分類器の分類結果を統合することにより、高精度な分類を行う分類器の構築手法（アンサンブル学習法）が提案されている。当該手法として、たとえばバギング、ブースティング、ランダムフォレストなどが知られている。
バギングでは、与えられたデータセットからブートストラップ法によるサンプリングで複数の教師データセットが作成され、当該複数の教師データセットから複数の弱分類器が構築される。そして、複数の弱分類器の分類結果の多数決により、最終的な分類結果が取得される（バギングについて、たとえば非特許文献１参照）。
ブースティングでは、与えられたデータセットを用いた弱分類器の取得と、当該弱分類器の分類結果に基づくデータの重みの調整とを繰り返して複数の弱分類器が構築される。そして、複数の弱分類器の分類結果の重み付き多数決により、最終的な分類結果が取得される（ブースティングについて、たとえば非特許文献２参照）。
ランダムフォレストでは、与えられたデータセットからブートストラップ法によるサンプリングで複数の教師データセットが作成され、当該複数の教師データセットから決定木である複数の弱分類器が構築される。そして、複数の決定木の多数決により、最終的な分類結果が取得される（ランダムフォレストについて、たとえば非特許文献３参照）。
また、特許文献１では、画像を分類する分類器の学習に使用される教師データを検証する手法が提案されている。当該手法では、特徴量の複数種類のそれぞれに関して、各教師画像が複数のクラスのそれぞれに属するとした場合の妥当性を示す評価値が取得される。各教師画像において、特徴量の複数種類における評価値の代表値がクラス毎に求められ、複数のクラスにおける複数の代表値に基づいて当該教師画像が属すべきものと判定されるクラスの候補が決定される。
特開２０１４−７０９４４号公報
Leo Breiman, "Bagging Predictors", Machine Learning, 1996, 24, p.123-140 YoavFreund and Robert E. Schapire, "A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting", Journal of Computer and System Sciences, 1997, 55, p.119-139 Leo Breiman, "Random Forests", Machine Learning, 2001, 45, p.5-32
ところで、アンサンブル学習法に係る上記手法では、選択されたデータの偏りが無視できるほどの多数の教師データセットの作成（多数の弱分類器の構築）や、教師データに重みを付けて学習する複雑なアルゴリズムなどが必要となる。
そこで、本発明は、精度よく画像分類を行う分類器を容易に構築することができる技術を提供することを目的とする。
上記の課題を解決するため、第１態様は、画像を複数のクラスのいずれかに分類する分類器を構築する分類器構築方法であって、（ａ）前記クラスが教示された教師画像、および、前記教師画像に基づく複数の特徴量軸毎の値を含む教師データを、前記複数のクラス各々につき１つ以上ずつ準備する工程と、（ｂ）前記工程（ａ）にて準備された前記複数の教師データに基づき、前記複数の特徴量軸毎に、特徴量軸の値を離散化して得た各区間における度数を前記クラス別に示す度数分布データを生成する工程と、（ｃ）前記度数分布データが示す前記特徴量毎の各区間における前記クラス別の出現比率に基づき、前記画像を分類する分類器を生成する工程と、（ｄ）前記複数の教師データのうち一部または全部を前記分類器で分類する工程と、（ｅ）前記度数分布データのうち前記工程（ｄ）において誤分類された教師データについて、その教師データが持つ特徴量の値に対応する対応区間を前記特徴量軸毎に特定し、特定された前記対応区間における当該教師データの前記教示されたクラスの度数を増加させるように前記度数分布データを修正する工程と、（ｆ）前記工程（ｄ）および前記工程（ｅ）を１回以上行うことにより、前記複数の教師データの分類精度が所定の基準を満たす分類器を取得する工程とを含む。
また、第２態様は、第１態様の分類器構築方法であって、前記工程（ｅ）は、前記対応する対応区間に隣接する第１隣接区間の度数が増加するように前記度数分布データを修正する工程を含む。
また、第３態様は、第２態様の分類器構築方法であって、前記工程（ｅ）は、前記対応区間の度数の増加数を、前記隣接区間よりも多くする工程を含む。
また、第４態様は、第１から第３態様のいずれか１つの分類器構築方法であって、前記工程（ｆ）は、前記複数の教師データのクラス判別の正答率が１００％となる分類器が取得されるまで、前記工程（ｄ）及び前記工程（ｅ）を１回以上行う工程である。
また、第５態様は、第１から第４態様のいずれか１つの分類器構築方法であって、前記工程（ｂ）は、（ｂ−１）前記教師データが持つ特徴量の値に対応する対応離散区間を前記特徴量軸毎に特定する工程と、（ｂ−２）前記対応離散区間において、前記教師データの前記教示されたクラスの度数を増加させる工程と、（ｂ−３）前記対応離散区間に隣接する区間において、前記教師データの前記教示されたクラスの度数を増加させる工程とを含む。
また、第６態様は、第５態様の分類器構築方法であって、前記（ｂ−２）における前記対応離散区間の度数の増加数が、前記（ｂ−３）における前記対応離散区間に隣接する区間の度数の増加数よりも多い。
また、第７態様は、画像を分類する画像分類方法であって、分類対象画像を準備する工程と、第１から第６態様のいずれか１つの分類器構築方法により取得された分類器によって、前記分類対象画像を分類する工程とを含む。
また、第８態様は、画像を複数のクラスのいずれかに分類する分類器を構築する分類器構築装置であって、前記クラスが教示された教師画像、および、前記教師画像が示す複数の特徴量軸毎の値を含む教師データを、前記複数のクラス各々につき１つ以上ずつ記憶する教師データ記憶部と、前記教師データ記憶部に記憶された前記複数の教師データに基づき、前記複数の特徴量軸毎に、特徴量軸の値を離散化した各区間における度数をクラス別に示す度数分布データを生成する度数分布データ生成部と、前記度数分布データが示す前記特徴量毎の各区間における前記クラス別の出現比率に基づき前記画像を分類する分類器を生成する分類器生成部と、前記複数の教師データのうち一部または全部を前記分類器で分類したときに誤分類される教師データについて、その教師データが持つ特徴量の値に対応する対応区間を前記特徴量軸毎に特定し、特定された前記対応区間における当該教師データの前記教示されたクラスの度数を増加させるように前記度数分布データを修正する度数分布データ修正部と、前記度数分布データ修正部に前記度数分布データの修正を１回以上行わせることにより、前記複数の教師データについての分類精度が所定の基準を満たす分類器を取得する繰返制御部とを備える。
また、第９態様は、画像を分類する画像分類装置であって、第８態様の分類器構築装置と、分類対象画像を記憶する分類対象画像記憶部と、前記分類対象画像を前記分類器に分類させる分類制御部とを備える。
第１態様の分類器構築方法によると、分類器が度数分布データに基づいて教師データを分類し、その際に誤分類された教師データに基づき度数分布データが修正される。このとき、特徴量軸毎に、誤分類された教師データが持つ特徴量の値に対応する対応区間の度数が増加するように度数分布データが修正される。これにより、誤分類された教師データ８１各々の各特徴量の値が属する区間の出現比率が、見かけ上増加した度数分布データが生成される。このため、分類器がこの修正された度数分布データに基づき画像分類を行うことにより、誤分類された教師データを予め教示されたクラスに正しく分類する確率が上昇する。したがって、このような度数分布データの修正を繰り返し行うことにより、分類器の分類精度を向上できる。
第２態様の分類器構築方法によると、誤分類された教師データが持つ特徴量が属する対応区間および隣接区間の度数を増加させることにより、それらの区間の出現比率を見かけ上増加させた度数分布データを生成できる。誤分類された教師データの教示クラスに属する画像の特徴量は、通常、特定の対応区間とそれに隣接する隣接区間に分布しうる。このため、更新された分類器により、対応区間または隣接区間の特徴量を持つ画像が、誤分類された教師データの教示クラスに分類される確率を上げることができる。
第３態様の分類器構築方法によると、対応区間の度数の増加数が隣接区間の増加数よりも多いため、対応区間の出現比率を隣接区間の出現比率よりも相対的に大きく増加する。したがって、誤分類された教師データの教示クラスに分類されるべき画像、すなわち、上記対応区間の特徴量を持つ画像が、更新された分類器により、その教示クラスに分類される確率を上げることができる。したがって、分類器の精度向上を期待できる。
第４態様の分類器構築方法によると、誤分類される教師データがなくなるまで、度数分布データの修正が行われるため、分類精度の高い分類器を取得することができる。
第５態様の分類器構築方法によると、対応離散区間およびこれに隣接する区間の度数を増加させることにより、それらの区間の出現比率を見かけ上増加させた度数分布データを生成できる。教師データの教示クラスに属する画像の特徴量は、通常、特定の対応離散区間とそれに隣接する区間に分布しうる。このため、分類器により、対応離散区間またはそれに隣接する区間の特徴量を持つ画像が教師データの教示クラスに分類される確率を上げることができる。
第６態様の分類器構築方法によると、対応離散区間の度数の増加数が隣接する区間の増加数よりも多いため、対応離散区間の出現比率が隣接する区間の出現比率よりも相対的に大きく増加する。したがって、教師データの教示クラスに分類されるべき画像、すなわち、上記対応区間の特徴量を持つ画像が、分類器により、その教示クラスに分類される確率を上げることができる。
第７態様の画像分類方法によると、教師データが少ない場合でも、分類精度の高い分類器を取得できるため、その分類器を用いることにより、クラスが未教示である画像を精度良く分類することができる。
第８態様の分類器構築装置によると、第１態様と同様の効果を奏する。
第９態様の画像分類装置によると、第７態様と同様の効果を奏する。
実施形態の検査・分類装置１の概略構成を示す図である。 実施形態のコンピュータ５の構成を示す図である。 実施形態の検査・分類装置１における機能構成を示すブロック図である。 実施形態の分類器構築装置３３による分類器３３０の構築の流れを示す図である。 度数分布データ８２が示す第１の特徴量軸における複数のクラスの度数分布表を示す図である。 度数分布データ８２が示す第１の特徴量軸におけるクラス別のヒストグラムを示す図である。 度数分布データ８２が示す第２の特徴量軸における複数のクラスの度数分布表を示す図である。 度数分布データ８２が示す第２の特徴量軸におけるクラス別のヒストグラムを示す図である。 分類器３３０による教師データ８１の分類結果の一例を示す図である。 度数分布データ８２の修正例を説明するための図である。 度数分布データ８２の他の修正例を説明するための図である。 画像分類装置３２による新たな教師データ８１の生成支援処理の流れを示す図である。 教示数（教師データ数）と分類器３３０の正答率の関係を示すグラフである。 教示数と分類器３３０の正答率の関係を示す他のグラフである。 初期の度数分布データ８２を生成する様子を説明するための図である。
以下、添付の図面を参照しながら、本発明の実施形態について説明する。なお、この実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。図面においては、理解容易のため、必要に応じて各部の寸法や数が誇張又は簡略化して図示されている場合がある。
＜１． 実施形態＞
図１は、実施形態に係る検査・分類装置１の概略構成を示す図である。検査・分類装置１では、半導体基板（以下、単に「基板」という。）９上のパターンの欠陥を示す欠陥画像が取得され、当該欠陥画像の分類が行われる。欠陥画像の分類により、分類対象である当該欠陥が分類される。
検査・分類装置１は、撮像装置２、欠陥検出部４１およびコンピュータ５を備える。撮像装置２は、基板９上の検査対象領域を撮像する。欠陥検出部４１は、検査対象領域の画像データを処理しつつ欠陥を検出する。コンピュータ５は、欠陥検出部４１において欠陥が検出された場合に、欠陥が属すべき欠陥クラス（欠陥の種別であり、「カテゴリ」などとも呼ばれる。）へと欠陥を分類する。コンピュータ５は、検査・分類装置１の全体動作の制御、および、欠陥の分類に利用される分類器の構築も行う。基板９上に存在するパターンの欠陥のクラスは、たとえば、欠損、突起、断線、ショート、異物などである。撮像装置２は、基板９の製造ラインに組み込まれる。検査・分類装置１は、いわゆるインライン型のシステムとなっている。検査・分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。
撮像装置２は、撮像部２１、ステージ２２およびステージ駆動部２３を備える。撮像部２１は、基板９の検査領域を撮像して、多値の撮像画像のデータを取得する。ステージ２２は、基板９を保持する。ステージ駆動部２３は、撮像部２１に対してステージ２２を基板９の表面に平行な方向に相対的に移動させる。ステージ駆動部２３は、ボールねじ、ガイドレールおよびモータなどで構成される。コンピュータ５がステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査領域が撮像される。
撮像部２１は、照明部２１１、光学系２１２および撮像デバイス２１３を備える。照明部２１１は照明光を出射し、光学系２１２はその照明光を基板９に導く。基板９にて反射した光は、再び光学系２１２に入射する。撮像デバイス２１３は、光学系２１２によって結像された基板９の像を電気信号に変換する。
欠陥検出部４１では、基板９の撮像画像と、当該撮像画像と同じ領域（正常な領域）を示す参照画像とを比較することにより差分画像（典型的には、両画像の差の絶対値を示す画像）が得られ、当該差分画像に基づいて、異常部分である欠陥が検出される。そして、欠陥部分の多値画像である欠陥画像が生成される。なお、欠陥検出部４１は、他の手法により欠陥を検出してもよい。
図２は、実施形態のコンピュータ５の構成を示す図である。コンピュータ５は、ＣＰＵ５１、ＲＯＭ５２およびＲＡＭ５３を有する。ＣＰＵ５１は、各種演算処理を行う演算回路を含む。ＲＯＭ５２は、基本プログラムを記憶している。ＲＡＭ５３は、各種情報を記憶する揮発性の主記憶装置である。コンピュータ５は、ＣＰＵ５１、ＲＯＭ５２およびＲＡＭ５３をバスライン５０１で接続した一般的なコンピュータシステムの構成を備えている。
コンピュータ５は、固定ディスク５４、ディスプレイ５５、入力部５６、読取装置５７および通信部５８を備えている。これらの要素は、適宜インターフェース（Ｉ／Ｆ）を介してバスライン５０１に接続されている。
固定ディスク５４は、情報記憶を行う補助記憶装置である。ディスプレイ５５は、画像などの各種情報を表示する表示部である。入力部５６は、キーボード５６ａおよびマウス５６ｂなどを含む入力用デバイスである。読取装置５７は、光ディスク、磁気ディスク、光磁気ディスクなどのコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う。通信部５８は、検査・分類装置１の他の要素との間で信号を送受信する。
コンピュータ５は、読取装置５７を介して記録媒体８からプログラム８０を読み取り、固定ディスク５４に記録する。当該プログラム８０は、ＲＡＭ５３にコピーされる。ＣＰＵ５１は、ＲＡＭ５３内に格納されたプログラム８０に従って、演算処理を実行する。
図３は、実施形態の検査・分類装置１における機能構成を示すブロック図である。図３では、コンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３および固定ディスク５４などにより実現される機能構成を、符号５を付した矩形の破線で囲んでいる。
コンピュータ５は、特徴量算出部３１、画像分類装置３２および分類器構築装置３３を有する。特徴量算出部３１は、画像から各種特徴量を算出する。画像分類装置３２は、欠陥が検出された場合に、当該欠陥を自動的に分類する。分類器構築装置３３は、分類器３３０を構築する。
画像分類装置３２は、画像記憶部３２１（分類対象画像記憶部）、分類制御部３２２、および入力部５６（図２参照）を有する。分類制御部３２２は、分類器３２０を有する。分類器構築装置３３により構築された当該分類器３３０は、画像分類装置３２における分類器３２０として登録される。
分類器構築装置３３は、教師データ記憶部３３１、度数分布データ生成部３３２、分類器生成部３３３、度数分布データ修正部３３４および繰返制御部３３５を有する。
特徴量算出部３１、画像分類装置３２および分類器構築装置３３各々が実現する機能の詳細については後述する。なお、これらの各機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。
検査・分類装置１では、事前準備として、分類器構築装置３３による分類器３３０の構築が行われる。図４は、実施形態の分類器構築装置３３による分類器３３０の構築の流れを示す図である。本処理例における分類器３３０の構築では、分類器３３０の構造が実質的に予め決定されており、分類器３３０が含むパラメータに値を付与することにより、分類器３３０が生成される。
まず、欠陥検出部４１にて検出された多数の欠陥画像が、教師データ記憶部３３１に記憶される。続いて、特徴量算出部３１では、各欠陥画像に対して複数種類の特徴量の値、すなわち、複数の特徴量軸における値が取得される。複数の特徴量軸には、たとえば、欠陥の面積、周囲長、重心位置、モーメント量、階調値の平均、分散、最大、最小等の特徴量についての軸が含まれる。各欠陥画像に対する複数の特徴量軸の値の集合は、特徴量ベクトルとも呼ばれる。
また、各欠陥画像が示す欠陥に対して、ユーザにより、欠陥のクラスの教示（入力）が行われる。クラスの教示では、複数の欠陥画像が、コンピュータ５のディスプレイ５５に表示される。そして、ユーザにより、各欠陥画像に対して複数のクラスのいずれか１つが決定され、クラスの入力が入力部５６を介して行われる。これにより、複数の欠陥画像のそれぞれにおいて、複数のクラスのうちの１つが教示クラスとして教示される。以下、クラスの教示が行われた欠陥画像を、「教師画像」という。
教師データ記憶部３３１では、各教師画像の教示クラスと、当該教師画像に対して取得される複数の特徴量軸の値とが互いに関連付けられた状態で、これらの情報が記憶される。言い換えると、各教師画像の教示クラスと、当該教師画像における複数の特徴量軸の値とを含む教師データ８１が複数生成され、教師データ記憶部３３１に記憶される（図４：ステップＳ１１）。既述のように、欠陥検出部４１では、基板９の撮像画像と参照画像とを比較することにより差分画像が得られ、当該差分画像に基づいて欠陥画像が生成される。したがって、欠陥画像（教師画像）と共に、参照画像および差分画像において欠陥画像と同じ領域を示す部分等を用いて、特徴量軸毎の値が取得されてもよい（後述する画像分類装置３２による対象画像の分類において同様）。
複数の教師データ８１が準備されると、度数分布データ生成部３３２は、複数の教師データ８１に基づいて、特徴量軸毎の度数分布を表す度数分布データ８２を生成する（図４：ステップＳ１２）。度数分布データ８２は、複数の教師データ８１を標本とする度数分布を示すデータであって、特徴量軸毎に、各特徴量軸の値を離散化した各区間における度数（出現頻度）をクラス別に示すデータである。
具体的には、度数分布データ生成部３３２は、特徴量軸毎に、複数の教師データ８１に含まれる各特徴量の値の中から、最大値および最小値を特定することにより、特徴量軸毎に値の分布範囲を取得する。そして、度数分布データ生成部３３２は、当該分布範囲を、適当な個数の区間に等分割（離散化）する。分布範囲の分割数は、たとえば、２の１乗（即ち、２）以上、２の１０乗以下としうる。そして、離散化された各区間（離散区間）におけるクラス毎の度数（出現頻度）が求められる。具体的には、特徴量軸毎に、１つの教師データ８１につき、その教師データ８１が持つ特徴量の値に対応する対応離散区間の度数を１つだけ加える。これを各教師データ８１について行うことにより、度数分布データ８２が生成される。
図５は、度数分布データ８２が示す第１の特徴量軸における複数のクラスの度数分布表を示す図である。図６は、度数分布データ８２が示す第１の特徴量軸におけるクラス別のヒストグラムを示す図である。また、図７は、度数分布データ８２が示す第２の特徴量軸における複数のクラスの度数分布表を示す図である。図８は、度数分布データ８２が示す第２の特徴量軸におけるクラス別のヒストグラムを示す図である。図５および図７では、複数（ここでは３種類）のクラスをそれぞれ「Class 1」、「Class 2」、「Class 3」と表し、特徴量軸における区間を、見出しに「bin」と記す行に０〜１５の番号で示している（以下同様）。
図５から図８では、各特徴量軸の値の分布範囲の分割数は１４（区間（１）〜区間（１４））であり、当該分布範囲よりも小さい値の区間（０）および大きい値の区間（１５）も設けられている。区間（０）および区間（１５）は、クラスが教示されていない未知の画像が示す値が、教師データ８１に基づく分布範囲の外側となる場合に用いられる。後述するように、特徴量軸毎のクラス別の度数分布は、画像の分類（すなわち、クラス判別）に供される。このため、度数分布データ８２は、クラス判別を行うための「判別情報」ともいえる。
分布範囲の分割数は、特徴量軸毎に異なっていてもよいし、全特徴量軸について同一としてもよい。たとえば、全区間において度数が１となる区間が１つのみ存在するような分割数のうち、最小のものが分割数の上限として設定されうる。これにより、度数が１以上となる区間が不連続となることが抑制される。また、複数の特徴量軸により規定される特徴量空間において、複数の特徴量軸の区間により表現される領域（セル）の個数が、教師画像の総数よりも十分に多くなるように、分割数の下限が設定されることが好ましい。通常、教師画像の個数は多くとも１００００個程度である。たとえば、特徴量軸の個数を２０個とした場合であって、分割数を２としたとき、特徴量空間におけるセルの個数は、２の２０乗個となる。この場合、セルの個数は、教師画像の数よりも十分に多くなる。
分類器生成部３３３は、各特徴量の値の入力により画像分類する（すなわち、クラス判別する）初期の分類器３３０を生成する（図４：ステップＳ１３）。当該初期の分類器３３０は、度数分布データ８２が示す、特徴量軸毎の各区間におけるクラス別の出現比率に基づき、分類対象の画像を分類するように構成される。
ここでは、分類器３３０の基本的構造は予め決定されており、分類器３３０は、複数の特徴量軸各々について、演算を行う複数の弱分類器を含む。弱分類器各々は、分類対象の画像が持つ特徴量の値を参照して、当該値が取得された画像が、複数のクラスのそれぞれに属する確率（弱分類器各々が対応する特徴量軸のみに着目した確率）をクラス評価結果として求める。
ここで、教師データ８１の総数をＮ、クラスの個数をｎ、クラスＣｉ（ｉ＝１，２，・・・，ｎ）に属する（すなわち教示クラスがＣｉである）教師データ８１の総数をＮｉとする。Ｎｉはどの特徴量軸についても同じ数である。したがって、クラスＣｉに属する教師データ８１の総数Ｎｉの全クラスの総和は、式（１）のように教師データ８１の総数となる。
Figure 2019057024
また、特徴量軸の総数をｍ、特徴量軸Dj（ｊ＝１，２，・・・，ｍ）の値を離散化したときの分割数をＫｊとし、特徴量軸Djの区間ｋ（ｋ＝１，２，・・・，Ｋｊ）におけるクラスＣｉに属する教師データ８１の個数をFij(k)で表すと、クラスＣｉに属する教師データ８１の総数Ｎｉは、式（２）のように表される。
Figure 2019057024
一方、１つの特徴量軸Djのみに着目した場合に、区間ｋにおいてクラスＣｉに属する教師データ８１の出現比率（個数Fij(k)のクラスＣｉに属する教師データ８１の総数Ｎｉに対する比率）は、当該特徴量軸Djの値が区間ｋに属する画像がクラスＣｉに属する確率と考えることができる。以下、当該確率をPjk(Ci)と表す。この確率Pjk(Ci)は、式（３）のように表される。
Figure 2019057024
たとえば、第１の特徴量軸（特徴量軸D1）の９番の区間（９）について確率Pjk(Ci)を求めた場合、たとえば、クラス１（C1）の確率P1,9(C1)は、0.031（=49/1578）となる。また、クラス２（C2）の確率P1,9(C2)は、0.171（=486/2849）となる。さらに、クラス３（C3）の確率P1,9(C3)は、0.013（=9/688）となる。１つの特徴量軸において、確率Pjk(Ci)はｎ個（クラス数）だけ得られるが、全クラスの確率Pjk(Ci)の総和は１にはならない。
分類器３３０を構成する複数の弱分類器各々は、対応する特徴量軸Djの値から度数分布データ８２を参照することにより、クラス別に出現比率（確率Pjk(Ci)）をクラス評価結果として求める。当該弱分類器では、特徴量軸Djの値が取得された画像が、特定のクラスCiに属するとした場合の妥当性（確信度）を示す評価値がクラス評価値として求められるともいえる。
ところで、多くの特徴量軸におけるクラス別の度数分布では、図６および図８のヒストグラムのように、互いに重なり合う部分が多く存在するため、各特徴量軸において求められる複数のクラスに対する確率によるクラスの予測精度は、あまり高いとは言えない（ただし、ランダムにクラスを予測するよりも精度は高いといえる。）。そこで、分類器３３０では、アンサンブル学習の考え方が取り入れられており、複数の特徴量軸に対する複数の弱分類器のクラス評価結果に基づいて分類クラスを決定する強分類器として、分類器３３０が構成される。
分類器３３０では、各特徴量軸に対するクラス評価結果として、複数のクラスの評価値（確率）が求められるが、クラス評価結果は、例えば、評価値が最大のクラスに１を付与し、他のクラスに０を付与するものであってもよい。この場合、実質的に、各特徴量軸において評価値が最大のクラスに投票を行う処理となり、複数の特徴量軸における得票数が最大のクラスが分類クラスとして決定される。
度数分布データ修正部３３４は、度数分布データ生成部３３２によって生成され、分類器生成部３３３に送られた度数分布データ８２を修正する。以下、度数分布データ修正部３３４が度数分布データ８２を修正する処理の流れについて説明する。具体的には、度数分布データ修正部３３４は、修正対象の度数分布データ８２に基づき画像分類を行う分類器３３０を用いて、複数の教師データ８１を分類する（図４：ステップＳ１４）。本処理例では、度数分布データ修正部３３４は、教師データ８１として、初期の分類器３３０を生成したとき（すなわち、初期の度数分布データ８２を生成したとき）に使用された教師データ８１全部を、分類器３３０に分類させる。なお、度数分布データ修正部３３４が、教師データ８１全部のうち一部のみを選択して、分類器３３０に分類させてもよい。また、ステップＳ１４において、これまで使用されていない教師データ８１（すなわち、度数分布データ８２に反映されていない教師データ８１）を含めて、分類器３３０に分類させてもよい。教師データ８１の分類では、各教師データ８１の各特徴量軸Djの値が特定され、クラスCi別の出現比率（確率Pjk(Ci)）がクラス評価結果として取得される。
分類器３３０による分類では、さらに、特徴量軸各々の出現比率の代表値（例えば、平均値や中央値、加重平均値等）が求められる。そして、全クラスのうち代表値が最大であるクラスが、当該教師データの分類先のクラスに決定される。各教師データの分類クラスは、度数分布データ修正部３３４において記憶される。なお、分類器３３０による好ましい処理では、（１）最大の代表値が所定の閾値ＳＨ１未満である場合、または、（２）最大の代表値と２番目に大きい代表値との差（または比率）が所定の他の閾値ＳＨ２未満である場合などに、分類すべきクラスが不明であることを示す追加クラスが分類クラスとして決定される。以下の説明では、上記（１）、（２）の場合に、教師画像群の教師画像が、追加クラスに分類されるものとする。
図９は、分類器３３０による教師データ８１の分類結果の一例を示す図である。図９は、分類結果をまとめたコンフュージョンマトリクス（混同行列）である。図９では、３種類の教示クラスを行見出しに記し、不明を含む４種類の分類クラスを列見出しに記している。教示クラスが「Ａ」である複数の教師データ８１のうち、クラス「Ｂ」に分類された教師データ８１の個数は、「Ａ」の行と「Ｂ」の列とが交差するセルに示される。たとえば、教示クラスが「Class 1」である複数の教師データ８１のうち、「Class 2」に誤分類された教師データ８１の数は、１４３個である。また、「Precision」の行と「Recall」の列とが交差するセルは、分類器３３０により分類された教師データ８１の総数のうち、分類器３３０により分類されたクラスと教示クラスとが一致した教師データ８１の総数の比率（正答率：Accuracy）である。全ての教師データ８１が分類対象とされている場合、図９の分類結果は、いわゆる再代入法評価の結果である。
続いて、度数分布データ修正部３３４は、教師データ８１のうち、分類されたクラスが教示クラスと相違していた教師データ８１（以下、このデータを「誤分類教師データ」とも称する。）が存在する場合、その教師データ各々に基づいて、度数分布データ８２を修正する（図４：ステップＳ１５）。
この度数分布データ８２の修正では、誤分類教師データを参酌することにより、特徴量軸各々に関して、その誤分類教師データが持つ特徴量の値に対応する区間（対応区間）が特定されるとともに、その対応区間における誤分類教師データの教示クラスの度数が、予め定められた正の値（たとえば「１」）だけ増加される。すなわち、分類先のクラスが教示クラスと相違した誤分類教師データについて、特徴量軸毎のクラス別の度数分布を示す度数分布データ８２において、重複して計数された度数分布データ８２が生成されることとなる。この処理は、誤分類教師データの重みの変更と捉えることもできる。
図１０は、度数分布データ８２の修正例を説明するための図である。ここでは、誤分類教師データの教示クラスが「Class 2」であり、その誤分類教師データが持つ特徴量軸Djの特徴量の値の対応区間が区間ｋであるとする。すると、この場合、図１０に示すように、度数分布データ修正部３３４は、区間ｋにおける「Class 2」の度数（個数F2j(k)）を「1」だけ増加させる。これにより、区間ｋにおける「Class 2」の出現比率（確率Pjk(C2)）が見かけ上増加することとなる。このような要領で、度数分布データ修正部３３４は、誤分類教師データの全ての特徴量軸に関して、対応区間の度数を増加させることにより、度数分布データ８２を修正する。
続いて、度数分布データ修正部３３４は、修正された度数分布データ８２に基づき画像を分類されるように、分類器３３０を更新する（図４：ステップＳ１６）。新たな度数分布データ８２では、誤分類された教師データ８１について、特徴量軸毎に対応する対応区間の出現比率が増加している。このため、新たな分類器３３０では、この誤分類された教師データ８１を教示クラスに正しく分類する確率を上げることができる。
続いて、度数分布データ修正部３３４は、修正された度数分布データ８２に基づく分類器３３０を用いて、複数の教師データ８１を分類する（図４：ステップＳ１７）。ここでは、ステップＳ１１で準備された複数の教師データ８１の全てを対象としてもよいし、そのうちの一部を対象としてもよい。また、ステップＳ１７において、これまで使用されていない教師データ８１（すなわち、度数分布データ８２に反映されていない教師データ８１）を含めて、分類器３３０に分類させてもよい。
繰返制御部３３５は、分類器３３０の教師データ８１の分類精度が所定の基準を満たすまで、度数分布データ修正部３３４に度数分布データ８２の修正を行わせる。具体的には、繰返制御部３３５は、図４のステップＳ１７の分類結果に基づき、分類器３３０による複数の教師データ８１のクラス判別の正答率が所定基準を満たすか否かを判断する（図４：ステップＳ１８）。所定基準は、たとえば正答率１００％とすることが考えられる。正答率が所定基準を満たさない場合（ステップＳ１８においてＮＯの場合）、ステップＳ１５戻って、度数分データ修正部３３４が、ステップＳ１７において誤分類された教師データ８１に基づいて、度数分布データ８２をさらに修正する処理を行う。このように、分類器３３０による複数の教師データ８１のクラス判別の正答率が１００％となるまで、ステップＳ１５からステップＳ１７までが繰り返し行われる（ステップＳ１８）。
ステップＳ１８において、所定基準を満たす分類器３３０が得られた場合（ステップＳ１８においてＹＥＳの場合）、その分類器３３０が画像分類装置３２における分類器３２０として登録される（ステップＳ１９）。
このように、分類器構築装置３３では、分類器３３０が度数分布データ８２に基づいて教師データ８１を分類し、度数分布データ修正部３３４が誤分類された教師データ８１に基づき度数分布データ８２を修正する。このとき、度数分布データ修正部３３４は、特徴量軸毎に、誤分類された教師データ８１が持つ特徴量の値に対応する対応区間の度数が増大するように度数分布データ８２を修正する。これにより、誤分類された教師データ８１各々の各特徴量の値が属する区間の出現比率が見かけ上増加した度数分布データ８２が生成される。このため、分類器３３０がこの修正された度数分布データ８２に基づき画像分類を行うように更新されることにより、誤分類された教師データ８１を予め教示されたクラスに正しく分類する確率が上昇する。したがって、このような度数分布データ８２の修正を繰り返し行うことにより、分類器３３０の分類精度を向上できる。
図１１は、度数分布データ８２の他の修正例を説明するための図である。図１０に示す例では、対応区間ｋのみの度数を「１」だけ増加させている。しかしながら、図１１に示すように、対応区間である区間ｋだけでなく、その区間ｋに隣接する区間ｋ＋１，ｋ−１（隣接区間）についても、度数を増加させてよい。また、図１１に示す例では、区間ｋの増加数は「２」としており、区間ｋ＋１，ｋ−１の増加数「１」としている。このように、対応区間の増加数と隣接区間の増加数とを異ならせてもよいし、一致させてもよい。
また、度数を増加させる区間は、対応区間及びその両側の隣接区間に限定されない。たとえば、対応区間ｋとその両側の複数区間、あるいは、対応区間ｋとその片側の複数区間について、度数を増加させてもよい。また、対応区間ｋを中心とするガウス分布（詳細には、ガウス分布を整数化したもの）に従って、両側（または片側）の各区間における度数の増加数を決定してもよい。
誤分類された教師データ８１が持つ特徴量が属する対応区間および隣接区間の度数を増加させることにより、それらの区間の出現比率を見かけ上増加させた度数分布データ８２を生成できる。ここで、誤分類された教師データ８１の教示クラスに属する画像の特徴量は、通常、特定の対応区間とそれに隣接する隣接区間に分布しうる。このため、更新された分類器３３０が、対応区間または隣接区間の特徴量を持つ画像を、誤分類された教師データ８１の教示クラスに分類する確率を上げることができる。
また、対応区間の増加数を隣接区間の増加数よりも多くする場合、対応区間の出現比率を隣接区間の出現比率よりも相対的に大きく増加させることができる。したがって、更新された分類器３３０が、誤分類された教師データ８１の教示クラスに分類されるべき画像、すなわち、上記対応区間の特徴量を持つ画像が、その教示クラスに分類される確率を上げることができる。
図１２は、画像分類装置３２による新たな教師データ８１の生成支援処理の流れを示す図である。画像分類装置３２が備える分類器３２０は、分類器構築装置３３が図４に示す流れに沿って生成した分類器３３０である。画像分類装置３２は、オペレータが未教示の欠陥画像から新たな教師画像（教師データ８１）を生成する作業を支援することができる。
具体的には、画像分類装置３２が分類器３２０を用いて未教示の欠陥画像を分類する（ステップＳ２１）。画像分類装置３２は、この分類結果を、ディスプレイ５５に表示することにより、オペレータに提示する（ステップＳ２２）。そして、画像分類装置３２は、オペレータによる操作に応じて、教師データ８１の登録を行う（ステップＳ２３）。詳細には、オペレータが、分類された欠陥画像の分類結果が適切と判断した場合には、その分類結果を採用する操作を行う。これにより、画像分類装置３２が、その分類結果に従って教師データ８１を生成し、記憶部（教師データ記憶部３３１）に保存する。一方、分類結果が不適切であった場合には、オペレータが正しいクラスを入力する操作を行う。それに基づき、画像分類装置３２がその入力に従って教師データ８１を保存する。画像分類装置３２は、教師データ数が目標数まで達したか否かを判断する（ステップＳ２４）。目標数に達していない場合（ステップＳ２４においてＮＯ）、画像分類装置３２はステップＳ２１を再び実行する。また、目標数を達成した場合（ステップＳ２４においてＹＥＳ）には、画像分類装置３２は教師データ８１の生成支援処理を終了する。
このように、画像分類装置３２を用いて教師データ８１の生成する場合、オペレータに対して、各未教示の欠陥画像についての分類先のクラスを、所定の精度で提示することができる。したがって、オペレータが全ての欠陥画像を確認してクラスを決定する場合、たとえば、未教示の欠陥画像が１０００あるいは１００００個以上となると、オペレータにとって分類作業は極めて大きい負担となる。そこで、画像分類装置３２を用いることにより、その負担を大幅に軽減できる。
なお、画像分類装置３２を使って新たに取得された教師データ８１を使って、再び分類器構築装置３３において、分類器３３０を新たに構築してもよい。あるいは、既に保存されている分類器３３０について、新たに得られた教師データ８１を使って更新することも考えられる。具体的には、度数分布データ修正部３３４が、新たな教師データ８１の度数を、度数分布データ８２が示す度数分布に加えることが考えられる。あるいは、度数分布データ修正部３３４が、それまでに得られている分類器３３０を使って新たな教師データ８１を分類し、そのうちの誤分類された教師データ８１に基づいて、図１０または図１１に説明した要領で度数分布データ８２を修正するとよい。
なお、ステップＳ２１において、分類器３２０が未教示の欠陥画像を分類した場合に、分類先のクラスが不明とされ、追加クラスに分類される場合がある。このような欠陥画像については、任意の学習アルゴリズム（線形判別分析やＳＶＭなど）で別途構築された分類器（以下、「追加的分類器」と称する。）を用いて分類を行い、その分類結果をステップＳ２２においてオペレータに提示されてもよい。この場合、分類器３２０によって分類先不明とされた欠陥画像であっても、該当する蓋然性のあるクラスをオペレータに提示できる。
また、分類器３２０によって分類先不明とされた欠陥画像だけなく、分類器３２０によってクラスが決定された欠陥画像についても、上記追加的分類器で重複的に分類を行ってもよい。このとき、分類器３２０と追加的分類器の分類結果が一致した欠陥画像については、分類先のクラスを正式なクラスとする教師データ８１を生成してもよい。また、分類器３２０と追加的分類器の分類結果が一致しない欠陥画像については、それぞれの結果をステップＳ２２にてオペレータに提示するようにしてもよい。これにより、教師データ８１を生成する際に、オペレータが確認する欠陥画像の数を軽減できることから、教師データ８１の生成を適切に支援できる。
＜画像分類装置３２による画像分類について＞
ここで、画像分類装置３２による欠陥画像の分類について、簡単に説明する。既述のように、検査・分類装置１では、撮像装置２により基板９が撮像され、撮像画像が欠陥検出部４１に入力される。欠陥検出部４１では、検査対象領域の欠陥検査が行われ、欠陥が検出されると、欠陥部分の多値画像である欠陥画像が生成されて画像分類装置３２に出力される。これにより、欠陥画像が、画像記憶部３２１に記憶された状態で準備される。当該欠陥画像は、画像分類装置３２における分類対象の画像であるため、以下、「対象画像」とも称する。
続いて、特徴量算出部３１により、対象画像に対して複数の特徴量軸の値（複数種類の特徴量の値）が算出される。分類制御部３２２には、分類器構築装置３３により構築された分類器３２０が備えられており、複数の特徴量の値が分類器３２０に入力されると、当該対象画像の分類が行われる。
対象画像の分類は、図４のステップＳ１４における教師データ８１の分類と同様にして行われる。すなわち、特徴量軸毎に、対象画像の特徴量の値が属する区間が特定され、クラス別の評価値がクラス評価結果として取得される。続いて、特徴量軸毎に、クラス別の複数の評価値の代表値が求められ、各クラスのうち代表値が最大であるクラスが、当該対象画像の分類クラスとして決定される。なお、教師データ８１の分類と同様に、必要に応じて、分類すべきクラスが不明であることを示す追加クラスが分類クラスとして決定される場合もある。検査・分類装置１では、欠陥検出部４１にて欠陥が検出される毎にこのような分類動作がリアルタイムにて行われ、多数の対象画像の自動分類が高速に行われる。
＜教示数と分類器の正答率の関係について＞
図１３は、教示数（教師データ数）と分類器３３０の正答率の関係を示すグラフである。このグラフにおいて、横軸は教示数（クラスが教示された教師データ８１の数）を示しており、縦軸はその教示数で分類器構築装置３３が生成した分類器３３０の正答率を示している。このグラフは、分類器３３０が全データ数５１１２個の欠陥画像（特徴量軸の数は１７４次元）を３クラスに分類したときの例を示している。なお、正答率を算出するために、５１１２個のデータ全てには予めクラスラベルが付与されているが、分類器３３０の分類処理中には参照されない。たとえば、分類器３３０を生成する際、１クラスにつき１つの教師データ８１を使用した場合、教示数が３となる。また、１クラスにつき２つの教師データ８１を使用した場合、教示数が６となる。教師データ８１の選出はランダムに行っている。
また、図１３では、分類器３３０を取得する際、度数分布データ修正部３３４が度数分布データ８２を修正するときに（図４：ステップＳ１５参照）、対応区間（注目区画）を中心にしてその両側に｛１，３，１｝（総数５、標準偏差１）のように度数を増加させている。どの教示数についても、正答率の評価が１００回ずつ独立して行われている。グラフ中、黒丸で示される点が１００回の評価により得られた正答率の平均値を示しており、上下の「ひげ」は正答率の分布範囲（最大および最小）を示している。また、比較のため、度数分布データ８２を修正する際に対応区間に＋１だけ増加させる単純な方法で生成された分類器３３０の正答率を破線で示している。
図１３に示すように、教示数を増やすことにより、分類器３３０の正答率が向上している。また、対応区間に度数を１だけ増加させる場合よりも、対応区間およびその隣接区間にも度数を増加させる場合の方が、正答率の高い分類器３３０を得ることができている。この傾向は、教示数が少ないほど特に顕著である。
図１４は、教示数と分類器３３０の正答率の関係を示す他のグラフである。このグラフにおいて、横軸は教示数を示しており、縦軸は分類器構築装置３３が生成した分類器３３０の正答率を示している。このグラフは、欠陥画像ではなく、細胞画像を教師データ８１として生成された分類器３３０を用いて、全データ数５０００個の細胞画像（特徴量軸の数は１１次元）を３クラスに分類したときの正答率を示している。
また、図１４では、分類器３３０を生成する際、度数分布データ修正部３３４が度数分布データ８２を修正するときに（図４：ステップＳ１５参照）、対応区間（注目区画）を中心にしてその両側に｛１，２，３，５，８，１１，１３，１４，１３，１１，８，５，３，２，１｝（総数１００，標準偏差３）のように度数を増加させている。グラフ中、黒丸で示される点が１００回の評価により得られた正答率の平均値を示しており、上下の「ひげ」は正答率の分布範囲（最大および最小）を示している。また、比較のため、度数分布データ８２を修正する際に対応区間に＋１だけ増加させる単純な方法で生成された分類器３３０の正答率を破線で示している。
図１４に示す例においても、図１３に示した例と同様に、教示数を増やすことにより、分類器３３０の正答率が向上している。また、対応区間に度数を１だけ増加させる場合よりも、対応区間及びその周辺の区間にも度数を増加させる場合の方が、正答率の高い分類器３３０を得ることができている。この傾向は、教示数が少ないほど特に顕著である。
なお、図１３及び図１４に示すように、同じ教示数であっても、教師データ８１の選び方により正答率のばらつきが発生する。たとえば、図１３に示すように、教示数を３とした場合には平均５０％程度の正答率であるが、最初にオペレータが教師データ８１を適切に選べば、６５％以上の正答率が得られる可能性がある。また、たとえば、ステップＳ１７において、新たな教師データ８１を各クラスに１つずつ追加していけば、５０回の繰り返しで分類器３３０の正答率が８０％近くに到達すると期待できる。
＜度数分布データ８２のその他の生成例について＞
上記説明では、ステップＳ１２において初期の度数分布データ８２を生成する際、特徴量軸毎に、１つの教師データ８１につき、その教師データ８１が持つ特徴量の値に対応する対応離散区間の度数を１つ加える。そして、この処理を各教師データ８１について行うことにより、度数分布データ８２（以下、初期の度数分布データ８２と称する。）が生成される。しかしながら、初期の度数分布データ８２を生成する際、このように度数を加えていくことは必須ではない。
図１５は、初期の度数分布データ８２を生成する様子を説明するための図である。図１５中、上側は度数追加前の度数分布データ８２の一部（ヒストグラム）を示しており、下側は度数追加後の度数分布データ８２の一部（ヒストグラム）を示している。
度数を追加する場合、まず、対称軸毎に、集計対象である教師データ８１が持つ特徴量の値に対応する対応離散区間が特定される。ここでは、教示クラスが「Class 2」である教師データ８１の特徴量軸Djの値が対応離散区間ｋに対応しているものとする。すると、度数分布データ生成部３３２は、図１５に示すように、対応離散区間ｋについて、教示クラス（Class 2）の度数を増加させる。ここでは、「１」よりも大きい値（ここでは「２」）が加えられている。また、図１５に示すように、度数分布データ生成部３３２は、対応離散区間ｋに隣接する区間ｋ−１，ｋ＋１についても、教示クラス（Class 2）の度数を増加させる。ここでは、対応離散区間の増加数（「２」）よりも小さい値（ここでは「１」）が加えられている。このように、初期の教師データ８１を生成する際に、対応離散区間に隣接する区間にも度数を加えてもよい。
なお、度数分布データ生成部３３２が初期の教師データ８１を生成する際に、度数を増加させる区間は、対応離散区間及びその両側に隣接する区間の３区間に限定されない。たとえば、対応離散区間ｋとその両側の４区間以上、あるいは、対応区間ｋとその片側の複数区間の２区間以上について、度数を増加させてもよい。また、対応区間ｋを中心とするガウス分布（詳細には、ガウス分布を整数化したもの）に従って、両側の各区間の増加数を決定してもよい。
このように、教師データ８１が持つ特徴量に対応する対応離散区間およびそれに隣接する区間の度数を増加させることにより、それらの区間の出現比率を見かけ上増加させた度数分布データ８２を生成できる。ここで、教師データ８１の教示クラスに属する画像の特徴量は、通常、特定の対応区間とそれに隣接する隣接区間に分布しうる。このため、更新された分類器３３０が、対応離散区間またはそれに隣接する区間の特徴量を持つ画像を、教師データ８１の教示クラスに分類する確率を上げることができる。
また、対応離散区間の増加数を隣接する区間の増加数よりも多くする場合、対応離散区間の出現比率を隣接する区間の出現比率よりも相対的に大きく増加させることができる。これにより、教師データ８１の教示クラスに分類されるべき画像、すなわち、上記対応隣接区間の特徴量を持つ画像が、生成された分類器３３０により、その教示クラスに分類される確率を上げることができる。
＜２． 変形例＞
以上、実施形態について説明してきたが、本発明は上記のようなものに限定されるものではなく、様々な変形が可能である。
欠陥画像は、半導体基板以外の基板上の欠陥を示すものであってよい。当該基板として、ハードディスク基板等の薄膜デバイス、プラズマディスプレイや液晶ディスプレイ等の薄型ディスプレイに用いられるガラス基板、フォトマスク基板、フィルム基板、プリント配線基板等が例示される。
また、検査・分類装置１が、太陽電池パネルを撮像した欠陥画像を分類する用途に用いられてもよい。例えば、太陽電池パネルのＥＬ（エレクトロ・ルミネッセンス）発光やＰＬ（フォト・ルミネッセンス）発光を撮像して得られる画像や、レーザーテラヘルツエミッション顕微鏡（ＬＴＥＭ）を用いて得られる太陽電池パネルの画像において、参照画像が示す正常な領域とは異なる領域を含む部分を欠陥画像として扱って、検査・分類装置１において太陽電池パネルの欠陥が分類されてよい。さらに、欠陥画像は、電子線やＸ線などにより撮像される画像であってもよい。このように、検査・分類装置１では、可視光により撮像される画像のみならず、広義の放射線により撮像される画像が分類される。
検査・分類装置１において、画像分類装置３２および分類器構築装置３３の機能は、撮像装置２および欠陥検出部４１とは独立して用いられてもよい。画像分類装置および分類器構築装置は、血液や培養液等の所定の液中の細胞を撮像した細胞画像を、複数のクラスに分類する用途に用いられうる（図１４参照）。また、画像分類装置および分類器構築装置は、様々な分類対象を示す画像の分類に利用可能である。また、分類器構築装置は、画像分類装置に含まれてもよい。
この発明は詳細に説明されたが、上記の説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。上記各実施形態及び各変形例で説明した各構成は、相互に矛盾しない限り適宜組み合わせたり、省略したりすることができる。
１ 検査・分類装置
５ コンピュータ
８ 記録媒体
９ 基板
３１ 特徴量算出部
３２ 画像分類装置
３２０，３３０ 分類器
３２１ 画像記憶部
３２２ 分類制御部
３３ 分類器構築装置
３３１ 教師データ記憶部
３３２ 度数分布データ生成部
３３３ 分類器生成部
３３４ 度数分布データ修正部
３３５ 繰返制御部
４１ 欠陥検出部
５６ 入力部
８１ 教師データ
８２ 度数分布データ

Claims (9)

  1. 画像を複数のクラスのいずれかに分類する分類器を構築する分類器構築方法であって、
    （ａ）前記クラスが教示された教師画像、および、前記教師画像に基づく複数の特徴量軸毎の値を含む教師データを、前記複数のクラス各々につき１つ以上ずつ準備する工程と、
    （ｂ）前記工程（ａ）にて準備された前記複数の教師データに基づき、前記複数の特徴量軸毎に、特徴量軸の値を離散化して得た各区間における度数を前記クラス別に示す度数分布データを生成する工程と、
    （ｃ）前記度数分布データが示す前記特徴量毎の各区間における前記クラス別の出現比率に基づき前記画像を分類する分類器を生成する工程と、
    （ｄ）前記複数の教師データのうち一部または全部を前記分類器で分類する工程と、
    （ｅ）前記度数分布データのうち前記工程（ｄ）において誤分類された教師データについて、その教師データが持つ特徴量の値に対応する対応区間を前記特徴量軸毎に特定し、特定された前記対応区間における当該教師データの前記教示されたクラスの度数を増加させるように前記度数分布データを修正する工程と、
    （ｆ）前記工程（ｄ）および前記工程（ｅ）を１回以上行うことにより、前記複数の教師データの分類精度が所定の基準を満たす分類器を取得する工程と、
    を含む、分類器構築方法。
  2. 請求項１の分類器構築方法であって、
    前記工程（ｅ）は、前記対応する対応区間に隣接する第１隣接区間の度数が増加するように前記度数分布データを修正する工程を含む、分類器構築方法。
  3. 請求項２の分類器構築方法であって、
    前記工程（ｅ）は、前記対応区間の度数の増加数を、前記隣接区間よりも多くする工程を含む、分類器構築方法。
  4. 請求項１から請求項３のいずれか１項の分類器構築方法であって、
    前記工程（ｆ）は、前記複数の教師データのクラス判別の正答率が１００％となる分類器が取得されるまで、前記工程（ｄ）及び前記工程（ｅ）を１回以上行う工程である、分類器構築方法。
  5. 請求項１から請求項４のいずれか１項の分類器構築方法であって、
    前記工程（ｂ）は、
    （ｂ−１）前記教師データが持つ特徴量の値に対応する対応離散区間を前記特徴量軸毎に特定する工程と、
    （ｂ−２）前記対応離散区間において、前記教師データの前記教示されたクラスの度数を増加させる工程と、
    （ｂ−３）前記対応離散区間に隣接する区間において、前記教師データの前記教示されたクラスの度数を増加させる工程と、
    を含む、
    分類器構築方法。
  6. 請求項５の分類器構築方法であって、
    前記（ｂ−２）における前記対応離散区間の度数の増加数が、前記（ｂ−３）における前記対応離散区間に隣接する区間の度数の増加数よりも多い、分類器構築方法。
  7. 画像を分類する画像分類方法であって、
    分類対象画像を準備する工程と、
    請求項１から請求項６のいずれか１項の分類器構築方法により取得された分類器によって、前記分類対象画像を分類する工程と、
    を含む、画像分類方法。
  8. 画像を複数のクラスのいずれかに分類する分類器を構築する分類器構築装置であって、
    前記クラスが教示された教師画像、および、前記教師画像が示す複数の特徴量軸毎の値を含む教師データを、前記複数のクラス各々につき１つ以上ずつ記憶する教師データ記憶部と、
    前記教師データ記憶部に記憶された前記複数の教師データに基づき、前記複数の特徴量軸毎に、特徴量軸の値を離散化した各区間における度数をクラス別に示す度数分布データを生成する度数分布データ生成部と、
    前記度数分布データが示す前記特徴量毎の各区間における前記クラス別の出現比率に基づき、前記画像を分類する分類器を生成する分類器生成部と、
    前記複数の教師データのうち一部または全部を前記分類器で分類したときに誤分類される教師データについて、その教師データが持つ特徴量の値に対応する対応区間を前記特徴量軸毎に特定し、特定された前記対応区間における当該教師データの前記教示されたクラスの度数を増加させるように前記度数分布データを修正する度数分布データ修正部と、
    前記度数分布データ修正部に前記度数分布データの修正を１回以上行わせることにより、前記複数の教師データについての分類精度が所定の基準を満たす分類器を取得する繰返制御部と、
    を備える、分類器構築装置。
  9. 画像を分類する画像分類装置であって、
    請求項８の分類器構築装置と、
    分類対象画像を記憶する分類対象画像記憶部と、
    前記分類対象画像を前記分類器に分類させる分類制御部と、
    を備える、画像分類装置。
JP2017180082A 2017-09-20 2017-09-20 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置 Pending JP2019057024A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017180082A JP2019057024A (ja) 2017-09-20 2017-09-20 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017180082A JP2019057024A (ja) 2017-09-20 2017-09-20 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置

Publications (1)

Publication Number Publication Date
JP2019057024A true JP2019057024A (ja) 2019-04-11

Family

ID=66106455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017180082A Pending JP2019057024A (ja) 2017-09-20 2017-09-20 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置

Country Status (1)

Country Link
JP (1) JP2019057024A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115151367A (zh) * 2020-02-17 2022-10-04 株式会社神户制钢所 自动焊接系统、自动焊接方法、学习装置、已学习模型的生成方法、已学习模型、推定装置、推定方法以及程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100121A (ja) * 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
JP2005122720A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体
JP2015087903A (ja) * 2013-10-30 2015-05-07 ソニー株式会社 情報処理装置及び情報処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100121A (ja) * 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
JP2005122720A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体
JP2015087903A (ja) * 2013-10-30 2015-05-07 ソニー株式会社 情報処理装置及び情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山下 隆義、藤吉 弘亘: ""Online Real Boostingによる物体追跡のための特徴選択"", 情報処理学会研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ）, JPN6021031151, 15 October 2011 (2011-10-15), JP, pages 1 - 7, ISSN: 0004709977 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115151367A (zh) * 2020-02-17 2022-10-04 株式会社神户制钢所 自动焊接系统、自动焊接方法、学习装置、已学习模型的生成方法、已学习模型、推定装置、推定方法以及程序
CN115151367B (zh) * 2020-02-17 2024-01-12 株式会社神户制钢所 自动焊接系统、自动焊接方法、学习装置、神经网络系统以及推定装置

Similar Documents

Publication Publication Date Title
US10818000B2 (en) Iterative defect filtering process
JP2018045673A (ja) 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置
JP6472621B2 (ja) 分類器構築方法、画像分類方法および画像分類装置
JP6063756B2 (ja) 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
JP6669453B2 (ja) 画像分類装置および画像分類方法
US11886990B2 (en) Classification device, classification method, and computer program product
JP6113024B2 (ja) 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム
JP6401648B2 (ja) 欠陥分類装置および欠陥分類方法
JP6531036B2 (ja) 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置
JP2014070944A (ja) 教師データ検証装置、教師データ作成装置、画像分類装置、教師データ検証方法、教師データ作成方法および画像分類方法
JP2019197355A (ja) クラスタリング装置、クラスタリング方法およびプログラム
TWI601098B (zh) 影像分類裝置及影像分類方法
US20220156585A1 (en) Training point cloud processing neural networks using pseudo-element - based data augmentation
US11373285B2 (en) Image generation device, image generation method, and image generation program
JP6763673B2 (ja) 教師データ作成支援装置、画像分類装置、教師データ作成支援方法および画像分類方法
JP2020052475A (ja) 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置
JP2019057024A (ja) 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置
JP6632124B2 (ja) 画像分類方法および画像分類装置
JP2018205860A (ja) 分類器構築方法、分類器および分類器構築装置
JP6425468B2 (ja) 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置
JP7120528B2 (ja) 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置
US11983241B2 (en) Method and system for training a neural network
WO2020026395A1 (ja) モデル作成装置、モデル作成方法、及び、モデル作成プログラムが記録された記録媒体
CN111401528A (zh) 基于模拟退火遗传算法的生成对抗网络过采样方法及装置
KR20190078710A (ko) 이미지 분류 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220222