JP2014142871A - 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法 - Google Patents

Abstract

【課題】教師データを容易にかつ適切に作成する。
【解決手段】それぞれが複数の初期カテゴリのいずれかに割り振られた複数の画像、および、当該複数の画像の初期カテゴリを示す初期データが準備される。複数の画像のうちの所定割合の画像をテスト画像群として選択し、残りの画像を用いて学習を行うことにより生成されるテスト分類器によりテスト画像群に含まれる各画像の分類カテゴリを取得する処理を選択分類処理として、テスト画像群に含まれる画像を変更しつつ、選択分類処理が多数回繰り返される。一の初期カテゴリおよび一の分類カテゴリの組合せの選択の入力が受け付けられると、当該初期カテゴリに割り振られ、かつ、当該分類カテゴリに１回以上分類された画像７２１が表示部に表示される。これにより、当該画像７２１の初期カテゴリの適否や教師画像としての適格性等を容易に判断することができ、教師データを容易にかつ適切に作成することができる。
【選択図】図８

Description

本発明は、画像を分類する分類器の学習に使用される教師データの作成を支援する技術、当該技術を利用して教師データを作成する技術、および、画像を分類する技術に関する。

半導体基板、ガラス基板、プリント配線基板等の製造では、異物や傷、エッチング不良等の欠陥を検査するために光学顕微鏡や走査電子顕微鏡等を用いて外観検査が行われる。また、このような検査工程において検出された欠陥に対して、詳細な解析を行うことによりその欠陥の発生原因を特定し、欠陥に対する対策が施される。近年では、基板上のパターンの複雑化および微細化に伴い、検出される欠陥の種類および数量が増加する傾向にあり、検査工程で検出された欠陥を自動的に分類する自動分類も用いられる。自動分類により欠陥の解析を迅速かつ効率的に行うことが実現される。自動分類では、ニューラルネットワークや決定木、判別分析等を利用した分類器が用いられる。分類器に自動分類を行わせるには、欠陥画像およびそのカテゴリ（すなわち、欠陥画像の種類）を示す信号を含む教師データを用意して分類器を学習させる必要がある（分類器の生成について、例えば特許文献１参照）。典型的には、各欠陥画像のカテゴリを操作者が決定することにより、教師データが作成される。

教師データにおいて、例えば、間違ったカテゴリが付与された欠陥画像が含まれる場合には、当該欠陥画像を間違ったカテゴリに分類するように分類器が生成されるため、分類性能が低下する虞がある。そこで、教師データに対して交差検定を行い、当該教師データにより生成される分類器の性能を予測することにより、教師データの教示の妥当性を評価することが行われる。例えば、特許文献２では、予め分類された複数の欠陥（欠陥画像）を分割したＮのグループのうち、１つのグループを分類グループ、残りのＮ−１のグループを教示グループとして選択し、教示グループに属する欠陥より分類基準を設定し、分類グループに属する欠陥を、設定した分類基準により分類する処理が行われる。上記処理は、分類グループを他のグループに変更しつつＮ回行われ、全欠陥の分類結果が得られる（いわゆる、Ｋ−分割交差検定が行われる。）。これにより、当該複数の欠陥を用いた場合の分類正解率が得られる。

特開２００３−３１７０８３号公報 特開２００４−２９５８７９号公報

ところで、特許文献２の手法（Ｋ−分割交差検定）では、Ｎ個のグループに分割する際における欠陥画像の種類の偏りを避けるため、各グループがある程度の個数の欠陥画像を含む必要がある。しかしながら、母集団となる欠陥画像の個数が少ない場合には、グループ数Ｎが制限されてしまい、分類性能（教師データの教示の妥当性）を精度よく予測することができなくなる。また、高性能な分類器を生成するには、教師データの検定において誤ったカテゴリに分類された欠陥画像の取り扱いが重要となる。したがって、上記内容を考慮しつつ教師データを容易にかつ適切に作成する新規な手法が求められる。

本発明は上記課題に鑑みなされたものであり、教師データを容易にかつ適切に作成することを目的としている。

請求項１に記載の発明は、画像を分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援装置であって、それぞれが複数の初期カテゴリのいずれかに割り振られた複数の画像、および、前記複数の画像の初期カテゴリを示す初期データを記憶する記憶部と、前記複数の画像のうちの所定割合の画像をテスト画像群として選択し、残りの画像を用いて学習を行うことにより生成されるテスト分類器により前記テスト画像群に含まれる各画像の分類カテゴリを取得する処理を選択分類処理として、前記テスト画像群に含まれる画像を変更しつつ、前記選択分類処理を多数回繰り返すテスト分類部と、一の初期カテゴリおよび一の分類カテゴリの組合せの選択の入力を受け付ける入力部と、前記一の初期カテゴリに割り振られ、かつ、前記テスト分類部において前記一の分類カテゴリに１回以上分類された少なくとも１つの画像を表示部に表示する表示制御部とを備える。

請求項２に記載の発明は、請求項１に記載の教師データ作成支援装置であって、前記表示制御部が、前記少なくとも１つの画像のそれぞれに対して、初期カテゴリと前記選択分類処理による分類カテゴリとが相違する誤分類の頻度を前記表示部に表示可能である。

請求項３に記載の発明は、請求項２に記載の教師データ作成支援装置であって、前記表示制御部が、前記少なくとも１つの画像のそれぞれに対して、複数の分類カテゴリのそれぞれの頻度を前記表示部に表示可能である。

請求項４に記載の発明は、請求項１ないし３のいずれかに記載の教師データ作成支援装置であって、前記複数の画像において同一の初期カテゴリに割り振られた画像の集合を画像集合として、前記テスト分類部において、前記複数の初期カテゴリに対する複数の画像集合のそれぞれから前記所定割合の画像が選択されることにより、前記テスト画像群が構成される。

請求項５に記載の発明は、画像を分類する分類器の学習に使用される教師データを作成する教師データ作成装置であって、請求項１ないし４のいずれかに記載の教師データ作成支援装置と、操作者の入力に従って前記初期データを修正する初期データ修正部とを備える。

請求項６に記載の発明は、画像を分類する画像分類装置であって、請求項５に記載の教師データ作成装置と、前記教師データ作成装置により作成された教師データを用いて学習が行われるとともに、画像を分類する分類器とを備える。

請求項７に記載の発明は、画像を分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援方法であって、ａ）それぞれが複数の初期カテゴリのいずれかに割り振られた複数の画像、および、前記複数の画像の初期カテゴリを示す初期データを準備する工程と、ｂ）前記複数の画像のうちの所定割合の画像をテスト画像群として選択し、残りの画像を用いて学習を行うことにより生成されるテスト分類器により前記テスト画像群に含まれる各画像の分類カテゴリを取得する処理を選択分類処理として、前記テスト画像群に含まれる画像を変更しつつ、前記選択分類処理を多数回繰り返す工程と、ｃ）一の初期カテゴリおよび一の分類カテゴリの組合せの選択の入力を受け付ける工程と、ｄ）前記一の初期カテゴリに割り振られ、かつ、前記ｂ）工程において前記一の分類カテゴリに１回以上分類された少なくとも１つの画像を表示部に表示する工程とを備える。

請求項８に記載の発明は、請求項７に記載の教師データ作成支援方法であって、前記ｄ）工程において、前記少なくとも１つの画像のそれぞれに対して、初期カテゴリと前記選択分類処理による分類カテゴリとが相違する誤分類の頻度が前記表示部に表示可能である。

請求項９に記載の発明は、請求項８に記載の教師データ作成支援方法であって、前記ｄ）工程において、前記少なくとも１つの画像のそれぞれに対して、複数の分類カテゴリのそれぞれの頻度が前記表示部に表示可能である。

請求項１０に記載の発明は、請求項７ないし９のいずれかに記載の教師データ作成支援方法であって、前記複数の画像において同一の初期カテゴリに割り振られた画像の集合を画像集合として、前記ｂ）工程において、前記複数の初期カテゴリに対する複数の画像集合のそれぞれから前記所定割合の画像が選択されることにより、前記テスト画像群が構成される。

請求項１１に記載の発明は、画像を分類する分類器の学習に使用される教師データを作成する教師データ作成方法であって、請求項７ないし１０のいずれかに記載の教師データ作成支援方法と、前記初期データを修正する工程とを備える。

請求項１２に記載の発明は、画像を分類する画像分類方法であって、請求項１１に記載の教師データ作成方法により作成された教師データを用いて分類器を学習させる工程と、前記分類器により画像を分類する工程とを備える。

本発明によれば、初期データにおける分類性能を精度よく予測することができる。また、一の初期カテゴリおよび一の分類カテゴリの組合せに係る画像を表示することにより、当該画像の初期カテゴリの適否や教師画像としての適格性等を容易に判断することができる。その結果、教師データを容易にかつ適切に作成することができる。

画像分類装置の構成を示す図である。 欠陥画像の分類の流れを示す図である。 ホストコンピュータの構成を示す図である。 ホストコンピュータの機能構成を示す図である。 教師データ作成部の機能構成を示す図である。 教師データを作成して分類器を学習させる処理の流れを示す図である。 教師データを作成して分類器を学習させる処理の流れを示す図である。 ディスプレイに表示されるウィンドウを示す図である。 比較例の手法にてディスプレイに表示されるウィンドウを示す図である。

図１は本発明の一の実施の形態に係る画像分類装置１の概略構成を示す図である。画像分類装置１では、半導体基板９（以下、単に「基板９」という。）上の欠陥を示す欠陥画像が取得され、当該欠陥画像の分類が行われる。画像分類装置１は基板９上の検査対象領域を撮像する撮像装置２、撮像装置２からの画像データに基づいて欠陥検査を行って欠陥が検出された場合に欠陥が属すべきカテゴリへと欠陥を自動分類する検査・分類装置４、並びに、画像分類装置１の全体動作を制御するとともに検査・分類装置４における欠陥の分類に利用される分類器４２１を生成するホストコンピュータ５を有する。基板９上に存在する欠陥の種類（カテゴリ）は、例えば、欠損、突起、断線、ショート、異物である。また、撮像装置２は基板９の製造ラインに組み込まれ、画像分類装置１はいわゆるインライン型のシステムとなっている。画像分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。

撮像装置２は、基板９上の検査対象領域を撮像して画像データを取得する撮像部２１、基板９を保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動するステージ駆動部２３を有する。撮像部２１は、照明光を出射する照明部２１１、基板９に照明光を導くとともに基板９からの光が入射する光学系２１２、および、光学系２１２により結像された基板９の像を電気信号に変換する撮像デバイス２１３を有する。ステージ駆動部２３はボールねじ、ガイドレール、モータ等により構成され、ホストコンピュータ５がステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。

検査・分類装置４は、検査対象領域の画像データを処理しつつ欠陥を検出する欠陥検出部４１、および、欠陥画像を分類する自動欠陥分類部４２を有する。欠陥検出部４１は検査対象領域の画像データを高速に処理する専用の電気的回路を有し、撮像された画像と欠陥が存在しない参照画像との比較や画像処理により検査対象領域の欠陥検査を行う。自動欠陥分類部４２は各種演算処理を行うＣＰＵや各種情報を記憶するメモリ等により構成され、ニューラルネットワーク、決定木、判別分析等を利用する分類器４２１を用いて欠陥の分類（すなわち、欠陥画像の分類）を実行する。

図２は画像分類装置１による欠陥画像の分類の流れを示す図である。まず、図１に示す撮像装置２が基板９を撮像することにより検査・分類装置４の欠陥検出部４１が画像データを取得する（ステップＳ１１）。次に、欠陥検出部４１が検査対象領域の欠陥検査を行い、欠陥が検出されると（ステップＳ１２）、欠陥部分の画像（すなわち、欠陥画像）のデータが自動欠陥分類部４２へと送信される。自動欠陥分類部４２は欠陥画像の複数種類の特徴量の値を算出し（ステップＳ１３）、欠陥画像の特徴量の値が自動欠陥分類部４２の分類器４２１に入力されて分類結果が出力される。すなわち、分類器４２１により欠陥画像が複数のカテゴリのいずれかに分類される（ステップＳ１４）。画像分類装置１では、欠陥検出部４１にて欠陥が検出される毎に特徴量の値の算出がリアルタイムにて行われ、多数の欠陥画像の自動分類が高速に行われる。

次に、ホストコンピュータ５による分類器の学習について説明する。図３はホストコンピュータ５の構成を示す図である。ホストコンピュータ５は各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２および各種情報を記憶するＲＡＭ５３をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行う表示部であるディスプレイ５５、操作者からの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、画像分類装置１の他の構成との間で信号を送受信する通信部５８が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。

ホストコンピュータ５には、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出されて固定ディスク５４に記憶され、さらに、プログラム８０はＲＡＭ５３にコピーされるとともにＣＰＵ５１によりＲＡＭ５３内のプログラムに従って演算処理が実行される。

図４はホストコンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される、分類器を学習させるための機能構成を示すブロック図であり、検査・分類装置４も示している。ホストコンピュータ５は分類器の学習に使用される教師データを作成する教師データ作成部６１、および、教師データを用いて分類器を学習させる学習部６２を有する。

教師データは、欠陥画像である教師画像のデータ、教師画像の特徴量の値、および、欠陥のカテゴリを示す情報である教示信号を含み、教師画像の特徴量として、例えば、欠陥の面積、明度平均、周囲長、扁平度、欠陥を楕円に近似した場合の長軸の傾き等が採用される。学習部６２では、教師データから読み出された教師画像の特徴量の値がホストコンピュータ５内の分類器（図示省略）に入力され、分類器の出力が欠陥のカテゴリを示す教示信号と同じとなるように学習が行われ、学習結果、すなわち、学習後の分類器４２１（正確には、分類器４２１の構造や変数の値を示す情報）が自動欠陥分類部４２へと転送される。

図５はホストコンピュータ５の教師データ作成部６１の機能構成を示すブロック図であり、学習部６２も示している。教師データ作成部６１は、データ演算部６１０、ディスプレイ５５および入力部５６を有する。データ演算部６１０は、テスト分類部６１１、表示制御部６１２、記憶部６１３、初期データ修正部６１４および特徴量算出部６１５を有する。データ演算部６１０の処理の詳細については後述する。なお、データ演算部６１０および学習部６２の機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。

図６および図７は、教師データを作成して分類器を学習させる処理の流れを示す図である。教師データ作成部６１では、まず、教師データ作成用の欠陥画像である多数の教師画像（例えば、数千個の教師画像）のデータが図５に示す記憶部６１３に記憶されて準備される（ステップＳ２１）。なお、教師画像は図１に示す撮像装置２および欠陥検出部４１を利用して取得されてもよいし、別途用意されてもよい。

特徴量算出部６１５では、全ての教師画像の複数種類の（例えば、１００〜２００種類の）特徴量が算出される（ステップＳ２２）。算出された特徴量は記憶部６１３に記憶される。また、ディスプレイ５５では、各教師画像が表示されるとともに当該教師画像のカテゴリの入力を促す表示が行われ、入力部５６において操作者によるカテゴリの入力が受け付けられる（ステップＳ２３）。以下の説明では、ステップＳ２３の処理において各教師画像に対して操作者により入力（教示）されたカテゴリを「初期カテゴリ」という。なお、各教師画像の初期カテゴリは、所定のアルゴリズムにより、複数種類の特徴量を利用して自動的に決定されてもよい。

このようにして、それぞれが複数の初期カテゴリのいずれかに割り振られた複数の教師画像、および、当該複数の教師画像の初期カテゴリを示す初期データ７１０が準備されて記憶部６１３にて記憶される。本実施の形態では、各教師画像における複数種類の特徴量も初期データ７１０に含まれる。また、複数種類のカテゴリのそれぞれに対して番号が割り当てられており、各教師画像に対する初期カテゴリの決定により、当該教師画像に関連付けられたカテゴリ変数の値が初期カテゴリの番号に変更される。

初期データ７１０が準備されると、テスト分類部６１１では、初期データ７１０に含まれる複数の教師画像のうちの所定割合（例えば、３０％であり、以下、「テスト画像割合」という。）の画像がテスト画像群として選択される（ステップＳ２４）。このとき、当該複数の教師画像において同一の初期カテゴリに割り振られた画像の集合を画像集合として、複数の初期カテゴリに対する複数の画像集合のそれぞれから上記テスト画像割合の画像がランダムに選択されることにより、テスト画像群が構成される。テスト画像割合は、例えば、１／３以下である。

複数の教師画像のうちの残りの画像は訓練画像群とされ、テスト分類部６１１では、訓練画像群の複数種類の特徴量を用いて学習を行うことによりテスト分類器が生成される（ステップＳ２５）。テスト分類器の生成は、学習部６２における後述の分類器４２１の生成と同様であり、訓練画像群の各教師画像に対するテスト分類器の出力が、当該教師画像の初期カテゴリと同じとなるように学習が行われ、テスト分類器が生成される。なお、テスト分類器の生成は学習部６２にて行われてもよく、この場合に、学習部６２がテスト分類部６１１の一部として捉えられてもよい。

続いて、テスト分類器によりテスト画像群に含まれる各教師画像がいずれかのカテゴリに分類される（ステップＳ２６）。すなわち、テスト分類器により分類されたカテゴリを分類カテゴリとして、テスト画像群に含まれる複数の教師画像の分類カテゴリが取得される。テスト画像群の各教師画像に対する分類カテゴリは、記憶部６１３にて記憶される。また、訓練画像群の各教師画像に対して、未分類（または訓練画像群）を示すカテゴリが割り当てられる。

上記ステップＳ２４〜Ｓ２６におけるテスト画像群の選択（ランダムな選択）、テスト分類器の生成、および、テスト画像群の分類は、操作者により予め指定された回数（例えば、１００回）だけ繰り返される（ステップＳ２７）。このとき、テスト画像群の分類を行う毎に、各教師画像に対する分類カテゴリが記憶される。

以上のように、テスト分類部６１１では、複数の教師画像からテスト画像群を選択し、残りの教師画像を用いて生成されるテスト分類器により当該テスト画像群の分類カテゴリを取得する処理を選択分類処理として、テスト画像群に含まれる画像を変更しつつ、選択分類処理が多数回繰り返される。選択分類処理の繰り返し回数は、好ましくは、１つの教師画像の平均分類回数が２以上（より好ましくは、１０以上、さらに好ましくは、３０以上）となる回数である。

選択分類処理の指定回数の繰り返しが終了すると（ステップＳ２７）、表示制御部６１２により、分類結果を示す表１の混同行列（分類表や混同対照表とも呼ばれる。）がディスプレイ５５に表示される（ステップＳ２８）。

表１では、３種類の初期カテゴリを「初期カテゴリＡ」、「初期カテゴリＢ」、「初期カテゴリＣ」として行見出しに記し、３種類の分類カテゴリを「分類カテゴリＡ」、「分類カテゴリＢ」、「分類カテゴリＣ」として列見出しに記している。表１では、例えば、初期カテゴリＡとして操作者により教示された教師画像のうち、上記多数回の選択分類処理においてテスト分類器により分類カテゴリＡとして分類された教師画像の延べ数が、４５３５９個であることを示している。なお、見出しに「Ｓｕｍ」と記す行は、各分類カテゴリに分類された教師画像の延べ数を示し、見出しに「Ｐｕｒｉｔｙ」と記す行は、各分類カテゴリに分類された教師画像の延べ数のうち、初期カテゴリが当該分類カテゴリと一致する教師画像の延べ数の比率を示す（見出しに「Ｓｕｍ」と記す列、および、「Ａｃｃｕｒａｃｙ」と記す列において同様）。また、「Ｐｕｒｉｔｙ」の行と「Ａｃｃｕｒａｃｙ」の列とが交差するセルは、分類が行われた教師画像の延べ数のうち、初期カテゴリと分類カテゴリとが一致した教師画像の延べ数の比率（すなわち、正答率であり、初期データにおける分類性能である。）を示す。

続いて、入力部５６において、一の初期カテゴリおよび一の分類カテゴリの組合せの選択の入力が受け付けられる（図７：ステップＳ２９）。当該組合せの選択の入力は、例えば、ディスプレイ５５に表示された混同行列において、一の初期カテゴリの行と、一の分類カテゴリの列とが交差するセルを選択することにより行われる。以下の説明では、選択された組合せにおける初期カテゴリおよび分類カテゴリを、それぞれ「選択初期カテゴリ」および「選択分類カテゴリ」という。

選択初期カテゴリおよび選択分類カテゴリの入力が受け付けられると、選択初期カテゴリに割り振られ、かつ、上記多数回の選択分類処理において選択分類カテゴリに１回以上分類された教師画像（以下、「対象画像」という。）が、表示制御部６１２によりディスプレイ５５に表示される（ステップＳ３０）。

図８は、ディスプレイ５５に表示されるウィンドウを示す図である。ウィンドウ内のテーブル表示領域７１には混同行列が表示され、混同行列において一のセルの色を他のセルの色と相違させることにより、当該一のセルが選択されていることを示している。また、テーブル表示領域７１の上方には画像表示領域７２が設けられ、画像表示領域７２に、複数の対象画像７２１が表示される。

図８では、初期カテゴリＡおよび分類カテゴリＢが、それぞれ選択初期カテゴリおよび選択分類カテゴリとして選択されており、画像表示領域７２には、初期カテゴリＡを教示したにもかかわらず、テスト分類器により１度でも分類カテゴリＢに誤分類された教師画像が、対象画像７２１として画像表示領域７２に表示される。

続いて、複数の対象画像７２１から一の対象画像７２１を選択する入力が入力部５６にて受け付けられると（ステップＳ３１）、選択された対象画像７２１（以下、「選択対象画像７２１」という。）に対して、上記多数回の選択分類処理にて取得される複数の分類カテゴリのそれぞれの頻度がディスプレイ５５に表示される（ステップＳ３２）。図８の例では、テーブル表示領域７１の下方に分類情報表示領域７３が設けられており、選択対象画像７２１における複数の分類カテゴリの頻度（すなわち、どのカテゴリに何回分類されたか）が、その値と共に棒グラフにより分類情報表示領域７３に表示される。既述のように、選択対象画像７２１は初期カテゴリＡを教示した教師画像であるため、分類情報表示領域７３における分類カテゴリＢおよび分類カテゴリＣの頻度の合計は、初期カテゴリと、上記多数回の選択分類処理による分類カテゴリとが相違する誤分類の頻度を示す。すなわち、分類情報表示領域７３には、選択対象画像７２１における誤分類の頻度が実質的に表示される。

画像表示領域７２に表示された対象画像７２１や、分類情報表示領域７３に表示される選択対象画像７２１における各分類カテゴリの頻度は操作者により確認され、対象画像７２１の初期カテゴリの変更が必要な場合には（ステップＳ３３）、当該対象画像７２１を特定するとともに変更後の初期カテゴリを示す入力が入力部５６にて受け付けられる。初期データ修正部６１４では、操作者の入力に従って初期データ７１０における当該対象画像７２１の初期カテゴリが変更され（すなわち、カテゴリ変数の値が変更され）、初期データ７１０が修正される（ステップＳ３４）。ステップＳ３４の処理では、例えば、異なる２つの分類カテゴリの頻度が比較的高い（すなわち、カテゴリが紛らわしい）対象画像７２１が、初期データ７１０から除外されてもよい。

以上のようにして、対象画像７２１を表示する選択初期カテゴリおよび選択分類カテゴリの組合せや、誤分類の頻度を表示する選択対象画像７２１を変更しつつ、操作者により初期データ７１０が必要に応じて修正される（ステップＳ３５，Ｓ２９〜Ｓ３４）。これにより、各教師画像に対して最終的なカテゴリが決定される。

各教師画像の最終的なカテゴリが決定されると（ステップＳ３５）、全ての教師画像のデータ、並びに、これらの特徴量およびカテゴリの情報を含む最終的な初期データ７１０が、教師データとして記憶部６１３から学習部６２に転送され、学習部６２にて教師データを用いて分類器の学習が行われる（ステップＳ３６）。すなわち、分類器（図４参照）を構成する変数の値が決定されたり、構造が決定されて分類器４２１が生成される。これにより、教師データを作成して分類器を学習させる図６および図７の処理が完了する。

ここで、初期データの教示の妥当性（すなわち、初期データにおける分類性能）を評価する際における比較例の手法について述べる。比較例の手法では、全ての教師画像を用いてテスト分類器が生成され、当該テスト分類器にて全ての教師画像が分類されるため、以下、比較例の手法を「全数学習−全数分類」と呼ぶ。表１の混同行列の取得時と同じ初期データに含まれる複数の教師画像に対して、全数学習−全数分類を用いた場合における分類結果である混同行列を表２に示す。

表２のように、操作者が初期カテゴリＡと教示した１５７８個の教師画像のうち、分類カテゴリＡとして分類された教師画像の個数は１４９８であり、分類カテゴリＢとして分類された教師画像の個数は７９であり、分類カテゴリＣとして分類された教師画像の個数は１であり、当該１５７８個の教師画像に対する正答率（分類の正確さ）は９４．９％である。また、全数学習−全数分類におけるテスト分類器が分類カテゴリＡとして分類した１７４４個の教師画像には、操作者が初期カテゴリＡと教示した１４９８個の教師画像以外に、初期カテゴリＢと教示した２４６個の教師画像が含まれており、当該１７４４個の教師画像に対する正答率（信頼性）は８５．９％である。

全数学習−全数分類では、初期データにおける複数の教師画像が全ての種類の欠陥を含む際には、初期データを教師データとして用いて分類器を生成した場合における欠陥画像の分類成績（分類性能）を精度よく予測することが可能である。しかしながら、初期データに全ての種類の欠陥を含ませることは容易ではなく、全数学習−全数分類では、初期データにおける分類性能を精度よく予測することができないことがある。

また、Ｋ−分割交差検定を利用して初期データの教示の妥当性を評価する場合、母集団となる教師画像の個数（標本数）が少ないときには、分割するグループ数が制限されてしまい、分類性能（初期データの教示の妥当性）を精度よく予測することができなくなる。さらに、初期データから１つの教師画像だけを抜き出してテスト画像とし、残りを訓練画像群とする手法（leave-one-out cross-validation （ＬＯＯＣＶ） ）では、初期データに含まれる教師画像の数と同じ回数だけテスト分類器の生成を繰り返す必要があり、膨大な時間を要してしまう。

これに対し、画像分類装置１のテスト分類部６１１では、複数の教師画像うちの所定割合の教師画像をテスト画像群として選択し、残りの教師画像を用いて生成されるテスト分類器により当該テスト画像群に含まれる各教師画像の分類カテゴリを取得する処理を選択分類処理として、テスト画像群に含まれる画像を変更しつつ、選択分類処理が多数回繰り返される。そして、分類結果を示す混同行列が取得されることにより、初期データを教師データとして用いて分類器を生成した場合における欠陥画像の分類成績（正答率）、すなわち、初期データにおける分類性能を、初期データにおける教師画像の個数の影響を受けることなく、精度よくかつ容易に予測することが可能となる。また、各初期カテゴリの教師画像がいずれの分類カテゴリに誤分類され易いか等の傾向も把握することができる。

ここで、全数学習−全数分類では、各教師画像がテスト分類器にて１回だけ分類されるため、図９に示すように、例えば、初期カテゴリＡを教示したにもかかわらず、テスト分類器により分類カテゴリＢに誤分類された教師画像を表示することは容易に実現可能である。Ｋ−分割交差検定やＬＯＯＣＶを利用する場合も同様である。

一方、選択分類処理を多数回繰り返す場合、テスト分類器にて分類される回数が教師画像毎に相違するとともに、各教師画像が必ずしも毎回同じ分類カテゴリに分類されるとは限らない。したがって、上記表示制御部６１２を省略した装置を想定した場合に、このような装置において、上記のように誤分類された教師画像を特定するには、多数回の選択分類処理のそれぞれの分類結果を保存しておき、操作者自身が、当該分類結果を順に確認しなければならず、極めて煩雑な作業が必要となる。

これに対し、画像分類装置１では、一の初期カテゴリおよび一の分類カテゴリの組合せの選択の入力が入力部５６にて受け付けられた場合に、当該初期カテゴリに割り振られ、かつ、テスト分類部６１１において当該分類カテゴリに１回以上分類された対象画像７２１が、表示制御部６１２によりディスプレイ５５に表示される。そして、操作者が、当該対象画像７２１を参照することにより、対象画像７２１の初期カテゴリの適否や、教師画像としての適格性等を容易に判断することができる。

また、各教師画像がテスト分類器にて１回だけ分類される全数学習−全数分類、Ｋ−分割交差検定およびＬＯＯＣＶと異なり、画像分類装置１では、選択分類処理が多数回繰り返されることにより、様々な誤分類例（例えば、人が理解できないような誤分類）が取得され、その教師画像が表示される。したがって、新たなカテゴリを設ける等、当該様々な誤分類例に対応するように初期データを修正することができ、その結果、教師データを容易にかつ適切に作成することができる。

また、画像分類装置１では、各対象画像７２１に対して、初期カテゴリと分類カテゴリとが相違する誤分類の頻度をディスプレイ５５に表示することが可能である。誤分類の頻度（すなわち、誤分類が頻繁であるか、希であるか、あるいは、誤分類が全くされないか）は、ある初期カテゴリに教示された教師画像が、明らかにそのカテゴリに属するといえるものであるか、または、他のカテゴリの特徴に近似するものであるか等を示すため、教示の最適化に重要な情報であるといえる。したがって、誤分類の頻度を表示することにより、当該対象画像７２１の初期カテゴリの適否等をさらに容易にかつ適切に判断することができる。また、図６のステップＳ２３の処理にて、仮に操作者が対象画像７２１の初期カテゴリを誤って教示した場合であっても、誤分類の頻度を確認することにより、当該対象画像７２１の初期カテゴリを容易に修正可能である。なお、全数学習−全数分類、Ｋ−分割交差検定およびＬＯＯＣＶでは、各教師画像がテスト分類器にて１回だけ分類されるのみであるため、誤分類の頻度は取得不能である。

さらに、各対象画像７２１に対して、複数の分類カテゴリのそれぞれの頻度が表示可能である。これにより、当該対象画像７２１が、いずれのカテゴリに誤分類され易いか（いずれのカテゴリの教師画像と特徴量が近似するか）、あるいは、当該対象画像７２１が、どの程度紛らわしいものであるか等についての情報を、操作者に直感的に提示することが実現される。これにより、各教師画像のカテゴリを最適化する作業を効率よく行うことが可能となる。また、教師データが、特徴量空間において矛盾したカテゴリに関連付けられる教師画像を含みにくくなるため、このような教師データを用いた学習結果（分類器）は高い分類性能を有することが期待できる。

以上に説明した画像分類装置１は、様々な変形が可能である。テスト分類部６１１における多数回の選択分類処理にて、テスト画像群に含まれる教師画像の組合せが、原則として毎回相違するのであるならば、初期データ７１０に含まれる複数の教師画像から所定の規則にて（例えば、当該複数の教師画像の数と互いに素となる数の教師画像を順にテスト画像群として選択する等）テスト画像群が選択されてもよい。また、テスト分類器を適切に生成するには、複数の初期カテゴリに対する複数の画像集合のそれぞれから所定割合の画像が選択されることが好ましい。

ディスプレイ５５では、選択初期カテゴリおよび選択分類カテゴリに対応する全ての対象画像７２１が必ずしも表示される必要はなく、１つの対象画像７２１のみが表示されてもよい。この場合、操作者の入力により、表示される対象画像７２１が順次切り替えられる。このように、図７のステップＳ３０の処理では、少なくとも１つの対象画像７２１がディスプレイ５５に表示される。

誤分類の頻度を示す情報は、図８の画像表示領域７２における対象画像７２１の真下の画像情報領域７２２に表示されてもよい。この場合、全ての対象画像７２１のそれぞれの画像情報領域７２２に、当該対象画像７２１の誤分類の頻度が表示されることが好ましい。また、画像表示領域７２における一の対象画像７２１にマウスカーソルをかざした際に、分類情報表示領域がポップアップで表示されてもよい（図８中にて符号７４を付す領域参照）。さらに、誤答率（または正答率）の値のみが表示されることにより、実質的に、誤分類の頻度が提示されてもよい。

画像分類装置１において、教師データに利用される多数の教師画像の特徴量の値が検査・分類装置４にて算出されてもよい。また、教師データから特徴量が省略され、学習部６２において教師画像のデータに基づいて特徴量の値が求められてもよい。

上記実施の形態では、欠陥検査装置に自動欠陥分類の機能を付加した画像分類装置１について説明したが、他の欠陥検査装置にて検出された基板上の欠陥を観察する観察装置（レビュー装置とも呼ばれる。）に自動欠陥分類の機能を付加した装置（同様に、画像分類装置として捉えることができる。）において、上記教師データ作成部６１が用いられてもよい。このような画像分類装置における撮像装置では、欠陥をより高度に解析するため、図１の撮像装置２に比べて高い解像度の画像が取得される。

図１の画像分類装置１では、半導体基板に代えてガラス基板（例えば、平面表示装置用のガラス基板）、プリント配線基板あるいは基板の露光に使用するマスク基板等の検査が行われてもよい。

また、画像分類装置１が、血液や培養液等の所定の液中の細胞を撮像した細胞画像を分類する用途に用いられてもよい。このように、画像分類装置１は、様々な対象物を示す画像の分類に利用可能である。さらに、画像分類装置１では、可視光により撮像される画像以外に、電子線やＸ線等により撮像される画像が分類されてよい。

上記実施の形態では、教師データの作成を適切に支援する教師データ作成支援装置が、教師データ作成部６１に設けられるテスト分類部６１１、表示制御部６１２、記憶部６１３および入力部５６を主たる構成として実現されるが、教師データ作成支援装置は、画像分類装置１から分離した専用の装置として実現されてもよい。また、上記教師データ作成支援装置および初期データ修正部６１４を主たる構成とする教師データ作成装置も同様である。

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。

１ 画像分類装置
５５ ディスプレイ
５６ 入力部
４２１ 分類器
６１１ テスト分類部
６１２ 表示制御部
６１３ 記憶部
６１４ 初期データ修正部
７１０ 初期データ
７２１ 対象画像
Ｓ１４，Ｓ２１〜Ｓ３６ ステップ

Claims (12)

1. 画像を分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援装置であって、
   それぞれが複数の初期カテゴリのいずれかに割り振られた複数の画像、および、前記複数の画像の初期カテゴリを示す初期データを記憶する記憶部と、
   前記複数の画像のうちの所定割合の画像をテスト画像群として選択し、残りの画像を用いて学習を行うことにより生成されるテスト分類器により前記テスト画像群に含まれる各画像の分類カテゴリを取得する処理を選択分類処理として、前記テスト画像群に含まれる画像を変更しつつ、前記選択分類処理を多数回繰り返すテスト分類部と、
   一の初期カテゴリおよび一の分類カテゴリの組合せの選択の入力を受け付ける入力部と、
   前記一の初期カテゴリに割り振られ、かつ、前記テスト分類部において前記一の分類カテゴリに１回以上分類された少なくとも１つの画像を表示部に表示する表示制御部と、
   を備えることを特徴とする教師データ作成支援装置。
2. 請求項１に記載の教師データ作成支援装置であって、
   前記表示制御部が、前記少なくとも１つの画像のそれぞれに対して、初期カテゴリと前記選択分類処理による分類カテゴリとが相違する誤分類の頻度を前記表示部に表示可能であることを特徴とする教師データ作成支援装置。
3. 請求項２に記載の教師データ作成支援装置であって、
   前記表示制御部が、前記少なくとも１つの画像のそれぞれに対して、複数の分類カテゴリのそれぞれの頻度を前記表示部に表示可能であることを特徴とする教師データ作成支援装置。
4. 請求項１ないし３のいずれかに記載の教師データ作成支援装置であって、
   前記複数の画像において同一の初期カテゴリに割り振られた画像の集合を画像集合として、前記テスト分類部において、前記複数の初期カテゴリに対する複数の画像集合のそれぞれから前記所定割合の画像が選択されることにより、前記テスト画像群が構成されることを特徴とする教師データ作成支援装置。
5. 画像を分類する分類器の学習に使用される教師データを作成する教師データ作成装置であって、
   請求項１ないし４のいずれかに記載の教師データ作成支援装置と、
   操作者の入力に従って前記初期データを修正する初期データ修正部と、
   を備えることを特徴とする教師データ作成装置。
6. 画像を分類する画像分類装置であって、
   請求項５に記載の教師データ作成装置と、
   前記教師データ作成装置により作成された教師データを用いて学習が行われるとともに、画像を分類する分類器と、
   を備えることを特徴とする画像分類装置。
7. 画像を分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援方法であって、
   ａ）それぞれが複数の初期カテゴリのいずれかに割り振られた複数の画像、および、前記複数の画像の初期カテゴリを示す初期データを準備する工程と、
   ｂ）前記複数の画像のうちの所定割合の画像をテスト画像群として選択し、残りの画像を用いて学習を行うことにより生成されるテスト分類器により前記テスト画像群に含まれる各画像の分類カテゴリを取得する処理を選択分類処理として、前記テスト画像群に含まれる画像を変更しつつ、前記選択分類処理を多数回繰り返す工程と、
   ｃ）一の初期カテゴリおよび一の分類カテゴリの組合せの選択の入力を受け付ける工程と、
   ｄ）前記一の初期カテゴリに割り振られ、かつ、前記ｂ）工程において前記一の分類カテゴリに１回以上分類された少なくとも１つの画像を表示部に表示する工程と、
   を備えることを特徴とする教師データ作成支援方法。
8. 請求項７に記載の教師データ作成支援方法であって、
   前記ｄ）工程において、前記少なくとも１つの画像のそれぞれに対して、初期カテゴリと前記選択分類処理による分類カテゴリとが相違する誤分類の頻度が前記表示部に表示可能であることを特徴とする教師データ作成支援方法。
9. 請求項８に記載の教師データ作成支援方法であって、
   前記ｄ）工程において、前記少なくとも１つの画像のそれぞれに対して、複数の分類カテゴリのそれぞれの頻度が前記表示部に表示可能であることを特徴とする教師データ作成支援方法。
10. 請求項７ないし９のいずれかに記載の教師データ作成支援方法であって、
    前記複数の画像において同一の初期カテゴリに割り振られた画像の集合を画像集合として、前記ｂ）工程において、前記複数の初期カテゴリに対する複数の画像集合のそれぞれから前記所定割合の画像が選択されることにより、前記テスト画像群が構成されることを特徴とする教師データ作成支援方法。
11. 画像を分類する分類器の学習に使用される教師データを作成する教師データ作成方法であって、
    請求項７ないし１０のいずれかに記載の教師データ作成支援方法と、
    前記初期データを修正する工程と、
    を備えることを特徴とする教師データ作成方法。
12. 画像を分類する画像分類方法であって、
    請求項１１に記載の教師データ作成方法により作成された教師データを用いて分類器を学習させる工程と、
    前記分類器により画像を分類する工程と、
    を備えることを特徴とする画像分類方法。

Images