JP2009032273A

JP2009032273A - 分類装置

Info

Publication number: JP2009032273A
Application number: JP2008222226A
Authority: JP
Inventors: Yamato Kanda; 大和神田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2008-08-29
Filing date: 2008-08-29
Publication date: 2009-02-12

Abstract

【課題】少ない教師サンプルを用いて抽出程度の変化に対する分類性能のロバスト性を確保すること。
【解決手段】画像より欠陥領域を抽出する欠陥領域抽出手段１０１と、前記欠陥領域が抽出されるべき正解カテゴリを入力する操作手段１０４と、正解カテゴリが入力された領域に対し、新たな抽出パラメータを設定する抽出パラメータ設定手段１０８と、前記新たな抽出パラメータを基に欠陥領域を再抽出する欠陥領域抽出手段１０１と、再抽出結果を基に前記欠陥領域に対して抽出程度が異なる複数の教師データを作成する教師データ作成手段１０５と、前記教師データを基に分類を行う分類手段１０７と、を備える。
【選択図】図１

Description

本発明は、分類装置に関するものである。

従来より種々の分類装置が知られている。例えば特開平８−２１８０３号公報には、画像内より分類対象となる欠陥領域を抽出し、その領域の面積、周囲長、フェレ径、円径度、重心座標等の特徴量を求め、予め、これら特徴量の入力パターンに対して所定の欠陥種を出力するように学習させたニューラルネットワークを用いて欠陥を分類する装置の構成が開示されている。

また、特開平１１−３４４４５０号公報には、欠陥画像の色情報、形状、サイズ等を基に統計分類を行う分類装置の構成や、教示用データ（教師データ）の作成作業を支援する構成等が示されている。
特開平８−２１８０３号公報特開平１１−３４４４５０号公報

上記した分類装置において、分類対象の領域の大きさ（面積、フェレ径、周囲長等）や形状（円径度、フェレ径比等）に関する特徴量を用いて分類を行う場合、対象領域の抽出が適切でない場合には算出される特徴量の値も適切でなくなり、正確な分類結果は得られない。教師データに関しても同様であり、適切な抽出の後に特徴量を算出して作成しなければ、以後の分類過程において性能の低下を招く要因となってしまう。

例えば、図２１（Ａ）に示す分類対象領域に対して適切な抽出が行われた場合（図２１（Ｂ））と、不適切な抽出が行われた場合（図２１（Ｃ））とでは、算出される特徴量の値は大きく異なり、このような差を含んだ教師データ群を基に分類を行っても正確な分類はなされない。

また、一方で、抽出の程度の変化に対する分類性能のロバスト性確保は重要である。多数の教師データが収集される場合には様々な抽出程度のデータが存在するため、抽出程度の変化に対するロバスト性も確保されやすい。しかしながら、教師データが少ない場合には困難である。このような課題に対し有効な解決策を示した分類装置は提案されていない。

本発明はこのような課題に着目してなされたものであり、その目的とするところは、少ない教師サンプルを用いて抽出程度の変化に対する分類性能のロバスト性を確保することができる分類装置を提供することにある。

上記の目的を達成するために、本発明の一態様に係る分類装置は、画像より領域を抽出する領域抽出手段と、前記領域が抽出されるべき正解カテゴリを入力する操作手段と、正解カテゴリが入力された領域に対し、新たな抽出パラメータを設定する抽出パラメータ設定手段と、前記新たな抽出パラメータを基に領域を再抽出する領域再抽出手段と、再抽出結果を基に前記領域に対して抽出程度が異なる複数の教師データを作成する教師データ作成手段と、前記教師データを基に分類を行う分類手段と、を備える。

また、この分類装置において、前記教師データ作成手段は、前記新たな抽出パラメータが設定される前の抽出パラメータを基に抽出された領域と、前記新たな抽出パラメータを基に抽出された領域の大きさ、形状のうち少なくとも一つの変化量を基に、再抽出領域の結果を用いた教師データを作成するか否かを判断するようにしてもよい。

本発明によれば、少ない教師サンプルを用いて抽出程度の変化に対する分類性能のロバスト性を確保することが可能になる。

以下、図面を参照して本発明の実施形態を詳細に説明する。ここでは本発明の実施形態として、半導体ウェハを対象とした欠陥分類装置について説明する。しかしながら、本発明は、画像内の分類対象（例えば細胞）を抽出してその領域の特徴を基に分類を行う他の分類装置にも適用可能である。

図１は、本発明の一実施形態に係る欠陥分類装置の構成を示す図であり、検査画像より分類対象となる欠陥領域を抽出する欠陥領域抽出手段１０１と、抽出結果を表示する表示手段１０２と、抽出された領域に対する特徴量を算出する特徴量算出手段１０３と、抽出領域を選択して正解カテゴリを入力するための操作手段１０４と、教師データを作成する教師データ作成手段１０５と、教師データを蓄積する教師データ蓄積手段１０６と、抽出領域を分類する分類手段１０７と、抽出の程度を変更するための抽出パラメータ設定手段１０８とから構成され、操作手段１０４により正解カテゴリを入力された領域に対し、抽出パラメータ設定手段１０８により抽出の程度を変更しながら、抽出の程度が異なる複数の教師データを作成するものである。

なお、検査画像の取得に関する構成に関しては、本発明では特に限定しないため図示しない。また、取得した画像データの保持や各処理に用いられるメモリに関しても特に図示しない。

本欠陥分類装置の処理には、教師データ登録過程と分類過程の２つの処理の流れがある。まず、図２及び図３を参照して、教師データ登録過程の処理の流れを説明する。最初に、ここでは、図示されない撮像系を用いて、教師データ作成用の欠陥（教師サンプル）の画像を取得する(ステップＳ１１)。次に、欠陥領域抽出手段１０１は、取得した検査画像から欠陥領域を抽出する(ステップＳ１２)。

欠陥領域抽出の方法としてここでは２通りの方法を示す。第１の方法では、検査画像１３３（図４の（Ａ））に対して良品レベルの輝度範囲となる閾値を設定し、この閾値を逸脱する輝度を持つ画素の領域を欠陥抽出画像１４０として抽出する（図４の（Ｂ））。ここで、良品レベルの輝度範囲を示す閾値は、予め設定しておいても良いし、画像内の輝度分布を基に適応的に決定しても良い。また、画像内の位置に応じて変化させても良いし、画像内で共通であっても良い（東京大学出版会：画像解析ハンドブック：高木幹夫、下田陽久、監修：502P、２値化、を参照）。

第２の方法では、図５の（Ｂ）に示すような良品ウェハ画像１３４（または良品となる一定区画の画像）を保持しておき、この画像と、図５の（Ａ）に示すような検査画像１３３（または処理対象画像内の対応区画）を位置合わせし、重なり合う画素間の輝度差を求めて差分画像１３５（図５の（Ｃ））を作成し、この差分画像１３５を用いて上記第１の方法と同様の閾値処理により欠陥領域を抽出する。なお、領域の抽出方法は、分類の対象に応じて変更されるものであり、本発明の内容を限定するものではない。

また、半導体ウェハ等では、下地パターンやダイシングラインなどの影響により、領域抽出時に同一の欠陥が分割されて抽出される場合がある。よって必要に応じて、更にモルフォロジー処理（（参考）：コロナ社：モルフォロジー：小畑秀文著）などを用いて領域を連結する処理を行っても良い。

図６の（Ａ），（Ｂ）は、モルフォロジー処理（closing処理）を用いた領域連結処理の一例を示している。図６の（Ａ）に示される連続解像不良１５０やムラ１５１は領域連結処理によりそれぞれ連結欠陥領域１５０−１，１５１−１（図６（Ｂ））となる。

欠陥領域が抽出された後は、領域の抽出形状が視覚的に速やかに識別可能となるように、表示手段１０２を用いて表示する（ステップＳ１３）。表示の方法としては、抽出領域を検査画像に重ねて表示したり、抽出した領域の輪郭を検査画像に重ねて表示する等が考えられる。

図８は、図７に示す検査画像１６０に対する抽出結果を、抽出領域形状の重ね合わせにより表示した様子を示す図である。図７の検査画像１６０に存在する欠陥１〜６の抽出結果はそれぞれ領域１〜６の形状として示されている。また、図９は、図７に示す検査画像１６０に対する抽出結果を、抽出領域の外形線の重ね合わせにより表示した様子を示す図である。外形線の形状により抽出結果が示されている。なお、表示の際には、重なり部分の詳細が容易に確認できるよう、簡単な操作で、もとの検査画像と切り替えて表示できるようにする。また形状の詳細を容易に確認できるよう表示スケールも可変とする。

ここで、ユーザーは操作手段１０４を操作して、例えばポインタにより指示することにより抽出結果が良好な領域を選択して、その領域の正解カテゴリを入力する（ステップＳ１４）。図１０は、領域の選択と正解カテゴリの入力の様子を示している。つまり、ポインタ１７０により領域１が選択されるとともに、正解カテゴリとして欠陥種Ａが入力される様子や、ポインタ１７０により領域５が選択されるとともに、正解カテゴリとして欠陥種Ｂが入力される様子を示している。

次に、特徴量算出手段１０３において、正解カテゴリが入力された領域に対する特徴量を算出する（ステップＳ１５）。特徴量に関しては、一般的に領域単体での大きさ、形状、位置、濃度情報に関するものに加え、幾つかの領域による配置構成に関するもの等がある。マクロ検査における特徴量に関しては、本発明人による特開２００３−１６８１１４号公報に開示されているが、特徴量の算出方法は分類の対象に応じて変更されるものであり、本発明の内容を限定するものではない。

特徴量が算出された後は、教師データ作成手段１０５において教師データを作成する（ステップＳ１６）。ここでの教師データとは、特徴量算出手段１０３で算出された特徴量情報と、操作手段１０４を用いて入力された対象領域の正解カテゴリの情報をセットにしたものであり、図１１は教師データ（複数）の一例を示している。

ステップＳ１６で教師データの作成が行われた後、抽出パラメータ設定手段１０８において、欠陥領域の抽出のパラメータを、元のパラメータより過剰抽出側に変化させて設定する（ステップＳ４１）。

その後、設定されたパラメータに従い、欠陥領域抽出手段１０１において、対象領域付近を再抽出する（ステップＳ４２）。再抽出する範囲は、対象領域の外接矩形座標やフェレ径を元に決定する方法や、露光区画を考慮して決定する方法などがある。

図１２は、フェレ径を用いた再抽出範囲決定の様子を示す図である。ここでは、抽出領域２００の外接矩形２０１を求め、そのＸ方向の長さ（フェレ径Ｘ）と、Ｙ方向の長さ（フェレ径Ｙ）を各々２倍の長さとし、外接矩形と中心が同じ矩形を再抽出範囲２０２と決定している。

図１３は、露光区画を考慮した再抽出範囲決定の様子を示す図である。この場合は、ます目状の露光区画２１０において、抽出領域２００が存在する露光区画の周囲１区画の範囲を再抽出範囲２１１と決定している。

抽出後は、特徴量算出手段１０３において、再抽出した領域の特徴量を算出する（ステップＳ４３）。これは図２のステップＳ１５の処理と同様である。特徴量が算出された後は、教師データ作成手段１０５において、その特徴量を用いて、領域の再抽出の結果が妥当かを判断する（ステップＳ４４）。

判断の方法としては抽出領域の大きさや形状を示す特徴量を利用する方法がある。例えば、抽出領域の形状が著しく変化する際には、面積や周囲長、フェレ径比の値もそれに応じて変化する。よって抽出パラメータ変更時の抽出領域の面積、周囲長、フェレ径比の変化量を確認し、この値が閾値以内であれば妥当であると判断する。あるいは再抽出状況を表示してユーザーに判断させても良い。

抽出結果が妥当である場合（ステップＳ４４の判断がＹＥＳ）には、算出した特徴量を用いて教師データを作成する（ステップＳ４５）。これは先に説明したステップＳ１６での処理と同様である。教師データの作成後は、再度ステップＳ４１に戻り、更に抽出パラメータを変更して以後の処理を繰り返す。

繰り返しの結果、抽出結果が妥当でなくなった場合（ステップＳ４４の判断がＮＯ）、今度は抽出のパラメータを、元のパラメータより不足抽出側に変化させて設定する（ステップＳ４６）。これ以降のステップＳ４７〜Ｓ５０は、それぞれステップＳ４２〜Ｓ４５と同様の処理である。

以上の手順により１つの教師サンプルを用いて複数の教師データを作成した後は、それら教師データを、教師データ蓄積手段１０６に蓄積し（ステップＳ１７）、教師データ登録過程を終了する。

図１４は、抽出パラメータを、過剰抽出側、不足抽出側に変化させた際の抽出領域形状の変化を示す図である。抽出パラメータを過剰抽出側に変化させた場合、再抽出範囲２２０内の領域ａは、ｂ→ｃ→ｄのように変化する。また、抽出パラメータを不足抽出側に変化させた場合、再抽出範囲２２０内の領域ａは、ｅ→ｆ→ｇのように変化する。ここで、ｄ、ｇ以外は抽出が妥当であるとすると、教師サンプルの欠陥１つに対して、ａ、ｂ、ｃ、ｅ、ｆの５つの抽出状況の異なる教師データを得ることになる。

以上の処理を必要に応じて繰り返すことにより、教師データ登録過程が終了する。

なお、本説明では正解カテゴリの入力の後に特徴量の算出を行っているが、先に全ての領域の特徴量算出を行い、後に正解カテゴリが入力された領域のみの特徴量情報を用いて教師データを作成しても良い。また、抽出パラメータの変化量は、事前に静的に設定しても良いし、パラメータ変化により生じる抽出領域の大きさ、形状などの変化量を基に動的に設定しても良い。

次に、図１５を参照して、分類過程の処理の流れを説明する。分類過程の処理のうち、画像の取得（ステップＳ２１）、欠陥領域の抽出（ステップＳ２２）、欠陥領域に対する特徴量の算出（ステップＳ２３）は、撮像対象が検査用の被検体となるのみで、それぞれ前記した教師データ登録過程のステップＳ１１、Ｓ１２、Ｓ１５と同様の処理である。但し、特徴量の算出は全ての抽出領域に対して行う。

ステップＳ２３で各欠陥領域の特徴量を算出した後は、分類手段１０７において、算出した特徴量（分類対象領域データ）と事前に登録されている教師データの特徴量空間内における距離を基に分類を行う（ステップＳ２４）。

図１６は、教師データを用いて分類を行う方法の１つであるｋ近傍法による分類の原理を説明するための図である。図１６の○、△、□は、それぞれ欠陥種Ａ、欠陥種Ｂ、欠陥種Ｃの教師データの特徴量空間内での位置を示している。これに対しＰは分類対象の領域の特徴量空間内での位置である。

ｋ近傍法は、対象領域Ｐに最も近いｋ個（例では５個（事前設定）の教師データの中で最も多い欠陥種を対象領域の欠陥種とする方法である。例ではキズ３個＞解像不良１個＞ムラ１個で、キズが最も多いので対象領域＝キズと判別する。この方法の場合、特徴空間（Ｎ次元）内での２点（ｘi：教師データ、ｘj：分類対象）間の距離計算が必要となるが、距離計算法として下記に挙げるもの等がある。

また、ｋ近傍法以外の方法として、図１７に示すように、各欠陥種毎の教師データ分布の代表点（例えば、分布全体の重心や分布をクラスタ分けした際のクラスタ重心など）との距離に基づいて分類する方法がある。この場合、代表点における特徴量ｌ（エル）（1≦ｌ（エル）≦N）の値μlを下記の式により算出し、上記の距離計算を行い、最も距離が近い欠陥種に分類する。

なお、上記のｋ近傍法、代表点距離比較法ともに、特徴量数（次元数）が増えるほど計算負荷が大きくなるため、事前に、教師データを主成分分析などして分類に必要な特徴量の算出法を決定し、これに基づく特徴量削減処理を行ってから距離計算を行っても良い。

各欠陥領域を分類した後は、分類結果の情報を出力する（ステップＳ２５）。

図１８は、図１で説明した欠陥分類装置の変形例を示す図である。この変形例は、基本的に図１の構成と同様であるが、図１の表示手段１０２に表示された画像内の任意の範囲に対して、欠陥領域の抽出の程度をユーザーがインタラクティブに変更可能となっている。

図１９は、本変形例に係る欠陥分類装置の処理の流れを説明するためのフローチャートである。図１９は、図２での処理に追加される処理とその前後の処理に該当する部分のみを図示している。抽出領域形状が表示（ステップＳ１３）された後、ユーザーは抽出の程度を確認し、再抽出が必要か否かを判断する（ステップＳ３１）。

再抽出が必要な場合には、操作手段１０４を用いて、再抽出が必要な範囲と、抽出のためのパラメータ（２値化のための閾値など）を設定する（ステップＳ３２）。当該範囲とパラメータが設定された後は、欠陥領域抽出手段１０１において、設定内容に基づいた欠陥領域の再抽出が行われる（ステップＳ３３）。欠陥領域の再抽出後は、ステップＳ１３に戻って、抽出領域形状を表示し、再度、ステップＳ３１の判断を行う。

以上の流れによりインタラクティブに部分的な範囲の抽出の程度を最適化する。図２０は、抽出の程度調整を行う画面の例を示しており、検査画像１６０に存在する欠陥１〜６のうち、欠陥４が選択された後、スライドバー１７０を左右にスライドさせてその抽出の程度が調整、最適化される様子が示されている。

調整の結果、再抽出の必要がなくなった場合には、抽出が適切な領域に対する正解カテゴリの入力を行い（ステップＳ１４）、以後は先に示した流れにより教師データ登録過程を終了する。

以上、本発明の一実施形態によれば、１つの教師サンプルを、許容範囲内の複数の抽出パラメータにより抽出し、各々の抽出状況における特徴量を算出して複数の教師データを作成するため、少ない教師サンプルを用いて抽出程度の変化に対する分類性能のロバスト性を確保することが可能である。

本発明の一実施形態に係る欠陥分類装置の構成を示す図である。教師データ登録過程の処理の流れを説明するためのフローチャート（その１）である。教師データ登録過程の処理の流れを説明するためのフローチャート（その２）である。欠陥領域抽出の第１の方法について説明するための図である。欠陥領域抽出の第２の方法について説明するための図である。モルフォロジー処理（closing処理）を用いた領域連結処理の一例を説明するための図である。処理対象画像の一例を示す図である。図６に示す処理対象画像に対する抽出結果を領域重ね合わせにより表示した様子を示す図である。図７に示す処理対象画像に対する抽出結果を輪郭重ね合わせにより表示した様子を示す図である。領域の選択と正解カテゴリの入力の様子を示す図である。教師データ（複数）の一例を示す図である。フェレ径を用いた再抽出範囲決定の様子を示す図である。露光区画を考慮した再抽出範囲決定の様子を示す図である。抽出パラメータを、過剰抽出側、不足抽出側に変化させた際の抽出領域形状の変化を示す図である。分類過程の処理の流れを説明するための図である。教師データを用いて分類を行う方法の１つであるｋ近傍法による分類の原理を説明するための図である。各欠陥種毎の教師データ分布の代表点との距離に基づく分類方法を説明するための図である。図１で説明した本欠陥分類装置の変形例を示す図である。本変形例に係る欠陥分類装置の処理の流れを説明するためのフローチャートである。抽出の程度調整を行う画面の例を示す図である。従来の分類方法の欠点を説明するための図である。

符号の説明

１０１欠陥領域抽出手段
１０２表示手段
１０３特徴量算出手段
１０４操作手段
１０５教師データ作成手段
１０６教師データ蓄積手段
１０７分類手段
１０８抽出パラメータ設定手段

Claims

画像より領域を抽出する領域抽出手段と、
前記領域が抽出されるべき正解カテゴリを入力する操作手段と、
正解カテゴリが入力された領域に対し、新たな抽出パラメータを設定する抽出パラメータ設定手段と、
前記新たな抽出パラメータを基に領域を再抽出する領域再抽出手段と、
再抽出結果を基に前記領域に対して抽出程度が異なる複数の教師データを作成する教師データ作成手段と、
前記教師データを基に分類を行う分類手段と、
を備えることを特徴とする分類装置。
前記教師データ作成手段は、前記新たな抽出パラメータが設定される前の抽出パラメータを基に抽出された領域と、前記新たな抽出パラメータを基に抽出された領域の大きさ、形状のうち少なくとも一つの変化量を基に、再抽出領域の結果を用いた教師データを作成するか否かを判断することを特徴とする請求項１記載の分類装置。