JP2006189915A - 分類装置及び分類方法 - Google Patents

Abstract

【課題】精度の高い分類を行うことができる分類装置を提供する。
【解決手段】検査画像より欠陥領域を抽出する欠陥領域抽出手段１０１と、前記欠陥領域が分類されるべき正解カテゴリ、及び前記正解カテゴリに対する妥当性の尺度である確信レベルを入力する操作手段１０４と、正解カテゴリ及び確信レベルの情報を含む教師データを作成する教師データ作成手段１０５と、確信レベルが高い教師データを確信レベルが低い教師データより有意なデータとして分類を行う分類手段１０７と、を備える。
【選択図】 図１

Description

本発明は、分類装置及び分類方法に関するものである。

従来より種々の分類装置が知られている。例えば特開平８−２１８０３号公報には、画像内より分類対象となる欠陥領域を抽出し、その領域の面積、周囲長、フェレ径、円径度、重心座標等の特徴量を求め、予め、これら特徴量の入力パターンに対して所定の欠陥種を出力するように学習させたニューラルネットワークを用いて欠陥を分類する装置の構成が開示されている。

また、特開平１１−３４４４５０号公報には、欠陥画像の色情報、形状、サイズ等を基に統計分類を行う分類装置の構成や、教示用データ（教師データ）の作成作業を支援する構成等が示されている。
特開平８−２１８０３号公報 特開平１１−３４４４５０号公報

上記した分類装置において、分類対象の領域の大きさ（面積、フェレ径、周囲長等）や形状（円径度、フェレ径比等）に関する特徴量を用いて分類を行う場合、対象領域の抽出が適切でない場合には算出される特徴量の値も適切でなくなり、正確な分類結果は得られない。教師データに関しても同様であり、適切な抽出の後に特徴量を算出して作成しなければ、以後の分類過程において性能の低下を招く要因となってしまう。

例えば、図２０（Ａ）に示す分類対象領域に対して適切な抽出が行われた場合（図２０（Ｂ））と、不適切な抽出が行われた場合（図２０（Ｃ））とでは、算出される特徴量の値は大きく異なり、このような差を含んだ教師データ群を基に分類を行っても正確な分類はなされない。

一方、教師データ作成時の教師データ作成時の正解カテゴリ入力に関して、模範となるべき人間でも迷う場合がある。この場合、確信レベルの低い教師データを他の教師データと同様に扱うことは適切ではない。当然、これら確信レベルが低いものを考慮した分類が必要となる。このような課題に対して有効な解決策を示した分類装置は提案されていない。

本発明はこのような課題に着目してなされたものであり、その目的とするところは、教師データに対する妥当性の尺度を考慮することにより、精度の高い分類を行うことができる分類装置及び分類方法を提供することにある。

上記の目的を達成するために、本発明の第１の態様は、分類装置であって、画像より領域を抽出する領域抽出手段と、前記領域が分類されるべき正解カテゴリ、及び前記正解カテゴリに対する妥当性の尺度である確信レベルを入力する操作手段と、正解カテゴリ及び確信レベルの情報を含む教師データを作成する教師データ作成手段と、確信レベルが高い教師データを確信レベルが低い教師データより有意なデータとして分類を行う分類手段と、を備える。

また、本発明の第２の態様は、第１の態様において、前記分類手段は、確信レベルに応じた重みを教師データに設定して分類を行う。

また、本発明の第３の態様は、画像より分類対象の領域を抽出する領域抽出手段と、前記領域が分類されるべき正解カテゴリ、及び２次候補となる２次候補カテゴリを入力する操作手段と、正解カテゴリ及び２次候補カテゴリの情報を含む教師データを作成する教師データ作成手段と、前記教師データを用いて分類を行う分類手段と、を備える。

また、本発明の第４の態様は、第３の態様において、前記分類手段は、正解カテゴリと２次候補カテゴリの情報を持つ教師データを、特徴量空間において同一の位置に存在する２つの教師データとみなして分類を行う。

また、本発明の第５の態様は、第４の態様において、前記２つの教師データは、異なる重みが設定される。

また、本発明の第６の態様は、第１〜第５のいずれか１つの態様において、前記分類装置は、特徴量空間内における分類対象領域のデータ近傍に位置する複数の教師データを基に分類を行う。

また、本発明の第７の態様は、第１〜第５のいずれか１つの態様において、前記分類装置は、特徴量空間内における同一カテゴリの教師データ分布を代表するデータと分類対象領域のデータとの距離を基に分類を行う。

本発明によれば、教師データの確信レベルを考慮したので、精度の高い分類を行うことが可能となる。

また、２次候補のカテゴリを考慮したので、精度の高い分類を行うことが可能になる。

以下、図面を参照して本発明の実施形態を詳細に説明する。ここでは本発明の実施形態として、半導体ウェハを対象とした欠陥分類装置について説明する。しかしながら、本発明は、画像内の分類対象（例えば細胞）を抽出してその領域の特徴を基に分類を行う他の分類装置にも適用可能である。

図１は、本発明の一実施形態に係る欠陥分類装置の構成を示す図であり、検査画像より分類対象となる欠陥領域を抽出する欠陥領域抽出手段１０１と、抽出結果を表示する表示手段１０２と、抽出された領域に対する特徴量を算出する特徴量算出手段１０３と、抽出領域を選択して正解カテゴリあるいは正解カテゴリと当該正解カテゴリに対する確信レベルとを入力するための操作手段１０４と、正解カテゴリ及び確信レベルの情報を含む教師データを作成する教師データ作成手段１０５と、教師データを蓄積する教師データ蓄積手段１０６と、抽出領域を分類する分類手段１０７とから構成される。

なお、検査画像の取得に関する構成に関しては、本発明では特に限定しないため図示しない。また、取得した画像データの保持や各処理に用いられるメモリに関しても特に図示しない。

本欠陥分類装置の処理には、教師データ登録過程と分類過程の２つの処理の流れがある。まず、図２を参照して、教師データ登録過程の処理の流れを説明する。最初に、ここでは、図示されない撮像系を用いて、教師データ作成用の欠陥（教師サンプル）の画像を取得する(ステップＳ１１)。次に、欠陥領域抽出手段１０１において、取得した検査画像から欠陥領域を抽出する(ステップＳ１２)。

欠陥領域抽出の方法としてここでは２通りの方法を示す。第１の方法では、検査画像１３３（図３の（Ａ））に対して良品レベルの輝度範囲となる閾値を設定し、この閾値を逸脱する輝度を持つ画素の領域を欠陥抽出画像１４０として抽出する（図３の（Ｂ））。ここで、良品レベルの輝度範囲を示す閾値は、予め設定しておいても良いし、画像内の輝度分布を基に適応的に決定しても良い。また、画像内の位置に応じて変化させても良いし、画像内で共通であっても良い。（東京大学出版会：画像解析ハンドブック：高木幹夫、下田陽久、監修：502P、２値化、を参照）
第２の方法では、図４の（Ｂ）に示すような良品ウェハ画像１３４（または良品となる一定区画の画像）を保持しておき、この画像と、図４の（Ａ）に示すような検査画像１３３（または処理対象画像内の対応区画）を位置合わせし、重なり合う画素間の輝度差を求めて差分画像１３５（図４の（Ｃ））を作成し、この差分画像１３５を用いて上記第１の方法と同様の閾値処理により欠陥領域を抽出する。なお、領域の抽出方法は、分類の対象に応じて変更されるものであり、本発明の内容を限定するものではない。

また、半導体ウェハ等では、下地パターンやダイシングラインなどの影響により、領域抽出時に同一の欠陥が分割されて抽出される場合がある。よって必要に応じて、更にモルフォロジー処理（（参考）：コロナ社：モルフォロジー：小畑秀文著）などを用いて領域を連結する処理を行っても良い。

図５の（Ａ），（Ｂ）は、モルフォロジー処理（closing処理）を用いた領域連結処理の一例を示している。図５の（Ａ）に示される連続解像不良１５０やムラ１５１は領域連結処理によりそれぞれ連結欠陥領域１５０−１，１５１−１（図５の（Ｂ））となる。

欠陥領域が抽出された後は、領域の抽出形状が視覚的に速やかに識別可能となるように、表示手段１０２を用いて表示する（ステップＳ１３）。表示の方法としては、抽出領域を検査画像に重ねて表示したり、抽出した領域の輪郭を検査画像に重ねて表示する等が考えられる。

図７は、図６に示す検査画像１６０に対する抽出結果を、抽出領域形状の重ね合わせにより表示した様子を示す図である。図６の検査画像１６０に存在する欠陥１〜６の抽出結果はそれぞれ領域１〜６の形状として示されている。また、図８は、図６に示す検査画像１６０に対する抽出結果を、抽出領域の外形線の重ね合わせにより表示した様子を示す図である。外形線の形状により抽出結果が示されている。なお表示の際には、重なり部分の詳細が容易に確認できるよう、簡単な操作で、もとの検査画像と切り替えて表示できるようにする。また形状の詳細を容易に確認できるよう表示スケールも可変とする。

ここで、ユーザーは操作手段１０４を操作して、例えばポインタにより指示することにより抽出結果が良好な領域を選択して、その領域の正解カテゴリと当該正解カテゴリに対する確信レベルとを入力する（ステップＳ１４）。

図９は、領域の選択と正解カテゴリの入力の様子を示している。つまり、ポインタ１７０により領域１が選択されるとともに、正解カテゴリとして欠陥種Ａが入力される様子や、ポインタ１７０により領域５が選択されるとともに、正解カテゴリとして欠陥種Ｂが入力される様子を示している。

次に、正解カテゴリに加えて当該正解カテゴリに対する判断のレベルを入力する様子を図１０に示す。ある教師サンプルの欠陥領域（図では領域５）が明らかに欠陥種Ｂであると判断できる場合には、ポインタ１７０により確信レベルを“高”として設定する。一方、多分、欠陥種Ｂだと思われる程度の場合には、確信レベルを“中”として設定する。さらに、ここでは、確信レベルを２段階“高”“中”としているが、もちろんそれ以上に段階分けしても良い。

次に、特徴量算出手段１０３において、正解カテゴリが入力された領域に対する特徴量を算出する（ステップＳ１５）。特徴量に関しては、一般的に領域単体での大きさ、形状、位置、濃度情報に関するものに加え、幾つかの領域による配置構成に関するもの等がある。マクロ検査における特徴量に関しては、本発明人による特開２００３−１６８１１４号公報に開示されているが、特徴量の算出方法は分類の対象に応じて変更されるものであり、本発明の内容を限定するものではない。

特徴量が算出された後は、教師データ作成手段１０５において教師データを作成する（ステップＳ１６）。ここでの教師データとは、図１１に示すように、特徴量算出手段１０３で算出された特徴量情報と、操作手段１０４を用いて入力された対象領域の正解カテゴリの情報（確信レベルを含む）をセットにしたものである。

その後、作成された教師データは、教師データ蓄積手段１０６に蓄積される（ステップＳ１７）。以上の処理を必要に応じて繰り返すことにより、教師データ登録過程が終了する。

なお、本説明では正解カテゴリの入力の後に特徴量の算出を行っているが、先に全ての領域の特徴量算出を行い、後に正解カテゴリが入力された領域のみの特徴量情報を用いて教師データを作成しても良い。

次に、図１４を参照して、分類過程の処理の流れを説明する。分類過程の処理のうち、画像の取得（ステップＳ２１）、欠陥領域の抽出（ステップＳ２２）、欠陥領域に対する特徴量の算出（ステップＳ２３）は、撮像対象が検査用の被検体となるのみで、それぞれ前記した教師データ登録過程のステップＳ１１、Ｓ１２、Ｓ１５と同様の処理である。但し、特徴量の算出は全ての抽出領域に対して行う。

ステップＳ２３で各欠陥領域の特徴量を算出した後は、分類手段１０７において、算出した特徴量（分類対象領域データ）と事前に登録されている教師データの特徴量空間内における距離を基に分類を行う（ステップＳ２４）。

この時、分類手段１０７は、確信レベルが高い教師データを確信レベルが低い教師データより有意なデータとして扱いながら分類を行なうが、その方法を説明する前に基本となる分類の方法について説明する。

図１５は、教師データを用いて分類を行う方法の１つであるｋ近傍法による分類の原理を説明するための図である。図１５の○、△、□は、それぞれ欠陥種Ａ、欠陥種Ｂ、欠陥種Ｃの教師データの特徴量空間内での位置を示している。これに対しＰは分類対象の領域の特徴量空間内での位置である。

ｋ近傍法は、対象領域Ｐに最も近いｋ個（例では５個（事前設定）の教師データの中で最も多い欠陥種を対象領域の欠陥種とする方法である。図１５ではキズ３個＞解像不良１個＞ムラ１個で、キズが最も多いので対象領域＝キズと判別する。この方法の場合、特徴空間（Ｎ次元）内での２点（ｘ_i ：教師データ、ｘ_j ：分類対象）間の距離計算が必要となるが、距離計算法として下記に挙げるもの等がある。

また、ｋ近傍法以外の方法として、図１６に示すように、各欠陥種毎の教師データ分布の代表点（例えば、分布全体の重心や分布をクラスタ分けした際のクラスタ重心など）との距離に基づいて分類する方法がある。この場合、代表点における特徴量ｌ（エル）（1≦ｌ（エル）≦N）の値μ^l （上付きのエル）を下記の式により算出し、上記の距離計算を行い、最も距離が近い欠陥種に分類する。

但し、ｎは代表点に集約される（同一欠陥種の）教師データ数であり、ａ_ｉ は教師データｘ_ｉ の確信レベル、またはカテゴリ候補順序に応じた重み係数で、通常は１である。

なお、上記のｋ近傍法、代表点距離比較法ともに、特徴量数（次元数）が増えるほど計算負荷が大きくなるため、事前に、教師データを主成分分析などして分類に必要な特徴量の算出法を決定し、これに基づく特徴量削減処理を行ってから距離計算を行っても良い。

次に、上記分類法において確信レベルを考慮する方法を説明する。例えばｋ近傍法で分類する場合には、近傍ｋ個の教師データにおける個数比較を行う際に、確信レベルが低い教師データは１ではなく０．６個のようにカウントする。また、代表点距離比較法を用いて分類する場合には、確信度の低い教師データａ_ｉ の重みを１以下（例えば０．６）として代表点の値μ^ｌ （上付きのエル）を算出する。

以上のように、教師データの確信レベルを考慮することにより、精度の高い分類を行うことが可能である。

また、上記した実施形態の変形例として、確信レベルの低い対象に対して、２次候補のカテゴリを入力する例を説明する。この場合、図１２に示すような教師データが作成され、これを基に分類が行われる。例えば、ｋ近傍法で分類する場合には、近傍ｋ個の教師データにおける個数比較を行う際に、１次候補のみ入力されている教師データは、その１次候補の欠陥種として１個とカウントし、２次候補まで入力されている教師データは、その１次候補のカテゴリの欠陥種に対して０．６個、２次候補の欠陥種に対して０．４個のように候補順に重みを設定してカウントする。図１３は、２次候補を含む教師データを用いたｋ近傍法による欠陥種の判断について説明するための図である。上記の説明のようにカウントすると、図１３では、欠陥種Ｂ：２．２個＞欠陥種Ｃ：１．８個＞欠陥種Ａ：１個であり、対象領域＝欠陥種Ｂとなる。

また、代表点距離比較法を用いて分類する場合には、候補順に応じた重みａ_ｉ を設定して、代表点の値μ^ｌ （上付きのエル）を算出する。

上記した変形例によれば、２次候補のカテゴリを考慮することにより、精度の高い分類を行うことが可能である。

以上で分類過程の説明を終わる。各欠陥領域を分類した後は、分類結果の情報を出力する（ステップＳ２５）。

図１７は、図１で説明した欠陥分類装置の変形例を示す図である。この変形例は、基本的に図１の構成と同様であるが、図１の表示手段１０２に表示された画像内の任意の範囲に対して、欠陥領域の抽出の程度をユーザーがインタラクティブに変更可能となっている。

図１８は、本変形例に係る欠陥分類装置の処理の流れを説明するためのフローチャートである。図１８は、図２での処理に追加される処理とその前後の処理に該当する部分のみを図示している。抽出領域形状が表示（ステップＳ１３）された後、ユーザーは抽出の程度を確認し、再抽出が必要か否かを判断する（ステップＳ３１）。

再抽出が必要な場合には、操作手段１０４を用いて、再抽出が必要な範囲と、抽出のためのパラメータ（２値化のための閾値など）を設定する（ステップＳ３２）。当該範囲とパラメータが設定された後は、欠陥領域抽出手段１０１において、設定内容に基づいた欠陥領域の再抽出が行われる（ステップＳ３３）。欠陥領域の再抽出後は、ステップＳ１３に戻って、抽出領域形状を表示し、再度、ステップＳ３１の判断を行う。

以上の流れによりインタラクティブに部分的な範囲の抽出の程度を最適化する。図１９は、抽出の程度調整を行う画面の例を示しており、検査画像１６０に存在する欠陥１〜６のうち、欠陥４が選択された後、スライドバー１７０を左右にスライドさせてその抽出の程度が調整、最適化される様子が示されている。

調整の結果、再抽出の必要がなくなった場合には、抽出が適切な領域に対する正解カテゴリの入力を行い（ステップＳ１４）、以後は先に示した流れにより教師データ登録過程を終了する。

本発明の一実施形態の欠陥分類装置の構成を示す図である。 教師データ登録過程の処理の流れを説明するためのフローチャートである。 欠陥領域抽出の第１の方法について説明するための図である。 欠陥領域抽出の第２の方法について説明するための図である。 モルフォロジー処理（closing処理）を用いた領域連結処理の一例を説明するための図である。 処理対象画像の一例を示す図である。 図６に示す処理対象画像に対する抽出結果を領域重ね合わせにより表示した様子を示す図である。 図６に示す処理対象画像に対する抽出結果を輪郭重ね合わせにより表示した様子を示す図である。 領域の選択と正解カテゴリの入力の様子を示す図である。 欠陥種の判断に基づく確信レベルの設定のようすを示す図である。 確信レベルの情報を含む教師データ（複数）の一例を示す図である。 確信レベルの低い対象に対して、２次候補のカテゴリを入力して作成された教師データ（複数）の一例を示す図である。 ２次候補を含む教師データを用いたｋ近傍法による欠陥種の判断について説明するための図である。 分類過程の処理の流れを説明するための図である。 教師データを用いて分類を行う方法の１つであるｋ近傍法による分類の原理を説明するための図である。 各欠陥種毎の教師データ分布の代表点との距離に基づく分類方法を説明するための図である。 図１で説明した本欠陥分類装置の変形例を示す図である。 本変形例に係る欠陥分類装置の処理の流れを説明するためのフローチャートである。 抽出の程度調整を行う画面の例を示す図である。 従来の分類方法の欠点を説明するための図である。

符号の説明

１０１…欠陥領域抽出手段、１０２…表示手段、１０３…特徴量算出手段、１０４…操作手段、１０５…教師データ作成手段、１０６…教師データ蓄積手段、１０７…分類手段。

Claims (7)

1. 画像より領域を抽出する領域抽出手段と、
   前記領域が分類されるべき正解カテゴリ、及び前記正解カテゴリに対する妥当性の尺度である確信レベルを入力する操作手段と、
   正解カテゴリ及び確信レベルの情報を含む教師データを作成する教師データ作成手段と、
   確信レベルが高い教師データを確信レベルが低い教師データより有意なデータとして分類を行う分類手段と、
   を備えることを特徴とする分類装置。
2. 前記分類手段は、確信レベルに応じた重みを教師データに設定して分類を行うことを特徴とする請求項１記載の分類装置。
3. 画像より分類対象の領域を抽出する領域抽出手段と、
   前記領域が分類されるべき正解カテゴリ、及び２次候補となる２次候補カテゴリを入力する操作手段と、
   正解カテゴリ及び２次候補カテゴリの情報を含む教師データを作成する教師データ作成手段と、
   前記教師データを用いて分類を行う分類手段と、
   を備えることを特徴とする分類装置。
4. 前記分類手段は、正解カテゴリと２次候補カテゴリの情報を持つ教師データを、特徴量空間において同一の位置に存在する２つの教師データとみなして分類を行うことを特徴とする請求項３記載の分類装置。
5. 前記２つの教師データは、異なる重みが設定されることを特徴とする請求項４記載の分類装置。
6. 前記分類装置は、特徴量空間内における分類対象領域のデータ近傍に位置する複数の教師データを基に分類を行うことを特徴とする請求項１〜５のいずれか１つに記載の分類装置。
7. 前記分類装置は、特徴量空間内における同一カテゴリの教師データ分布を代表するデータと分類対象領域のデータとの距離を基に分類を行うことを特徴とする請求項１〜５のいずれか１つに記載の分類装置。

Images