JP2020113767A - 半導体試料の欠陥を分類する方法およびそのシステム - Google Patents

Abstract

【課題】欠陥を分類するためのシステム、方法、およびコンピュータ可読媒体を提供すること。【解決手段】本方法は、分類された第１の欠陥と潜在的な欠陥を受け取るステップであって、各欠陥は属性に対する値を有する、ステップと、当該各欠陥を処理して、第１の欠陥を潜在的な欠陥から区別する属性の部分集合を選択するステップと、第１及び潜在的な欠陥に基づいて、第１及び第２の関数を取得するステップと、第１の関数に対する第１のしきい値、及び第１の関数と第２の関数の組合せに対する第２のしきい値を取得するステップと、第１及び第２の関数を各潜在的な欠陥に適用して、第１及び第２のスコアを取得するステップと、第１及び第２のスコアを組合せたスコアを決定するステップと、第１のスコアが第１のしきい値よりも低い場合、又は組合せたスコアが第２のしきい値を超える場合、潜在的な欠陥を潜在的に新しいタイプの欠陥として示すステップと、を含む。【選択図】図１

Description

本開示の主題は、一般に、試料の試験の分野に関し、より詳細には、新しいクラスに属する欠陥の自動検出が可能な方法およびシステムに関する。

製造されたデバイスの超大規模集積に関連付けられた高密度および性能に対する現在の要求には、サブミクロンの特徴、トランジスタおよび回路速度の向上、ならびに信頼性の向上が必要である。そのような要求には、高精度および均一性を備えたデバイス特徴の形成が必要であり、これには、デバイスがまだ半導体試料の形態である間に、デバイスを頻繁かつ詳細に試験することを含む製造プロセスの注意深い監視が必要である。

本明細書で使用される「試料」という用語は、半導体集積回路、磁気ヘッド、フラットパネルディスプレイ、および他の半導体製造物品を製造するために使用されるあらゆる種類のウエハ、マスク、および他の構造、それらの組合せならびに／または一部を包含すると広く解釈されるべきである。

本明細書で使用される「欠陥」という用語は、試料上に、または試料内に形成されるあらゆる種類の異常または望ましくない特徴を包含すると広く解釈されるべきである。

試料の複雑な製造プロセスには、エラーがないわけではなく、そのようなエラーは、製造されたデバイスの障害の原因になる可能性がある。障害には、デバイスの動作を損なう可能性がある欠陥、および欠陥である可能性があるが、製造されたデバイスの損傷または誤動作を引き起こさない厄介なものが含まれることがある。非限定的な例として、欠陥は、原材料の障害、機械的、電気的または光学的なエラー、人為的なエラーなどに起因して製造プロセス中に生じる可能性がある。さらに、欠陥は、試験プロセス中の、１つまたは複数の製造段階後に起きるウエハの温度変化などの時空間的要因によって生じることがあり、これにより、ウエハの変形が生じることがある。試験プロセスは、例えば、試験機材またはプロセスの光学的、機械的または電気的な問題に起因するさらなる疑わしいエラーを導入することもあり、そのため捕捉が不完全になる。そのようなエラーは、欠陥を含むように見えることがあるが、その領域には実際の欠陥が存在しない誤検出の結果を生成することがある。

多くの用途では、欠陥のタイプまたはクラスが重要である。例えば、欠陥は、微粒子、引っ掻き傷、プロセスなどのいくつかのクラスのうちの１つに分類されることがある。

特に別段の定めがない限り、本明細書で使用される「試験」という用語は、対象物の欠陥のあらゆる種類の検出および／または分類を包含すると広く解釈されるべきである。試験は、試験される対象物の製造中または製造後に非破壊検査ツールを使用することによって行われる。非限定的な例として、試験プロセスは、１つまたは複数の試験ツールを使用するスキャニング（単一もしくは複数スキャニング）、サンプリング、レビュー、測定、分類、および／または対象物もしくはその一部に関して行われる他の操作を含むことができる。同様に、試験は、試験される対象物の製造前に行われてもよく、例えば、試験方策を生成することを含むことができる。特に別段の定めがない限り、本明細書で使用される「試験」という用語またはその派生語は、検査される領域のサイズ、スキャニングの速度もしくは解像度、または試験ツールのタイプに関して限定されないことに留意されたい。様々な非破壊検査ツールには、非限定的な例として、光学ツール、走査電子顕微鏡、原子間力顕微鏡などが含まれる。

試験プロセスは、複数の試験ステップを含むことができる。製造プロセス中に、試験ステップは、例えば、ある特定の層の製造または処理などの後に複数回実行することができる。加えてまたは代替として、各試験ステップは、例えば、異なる試験セットを用いて、異なる試料位置または同じ試料位置に対して複数回繰り返すことができる。

非限定的な例として、実行時試験は、２段階の手順（例えば、試料の検査に続いて、サンプリングされた欠陥のレビュー）を用いることができる。検査ステップ中に、試料の表面またはその一部（例えば、関心のある領域、ホットスポットなど）は、典型的には、比較的高速および／または低解像度でスキャンされる。捕捉された検査画像は、欠陥を検出し、その位置および他の検査属性を取得するために分析される。レビューステップでは、検査フェーズ中に検出された欠陥の少なくとも一部の画像が、典型的には、比較的低速および／または高解像度で捕捉され、それによって、欠陥のうちの少なくとも一部の分類、および任意で他の分析が可能になる。ある場合には、両方のフェーズは、同じ検査ツールによって実施することができ、別のある場合には、これらの２つのフェーズは、異なる検査ツールによって実施される。

本開示の主題のある特定の態様によると、試料の欠陥を複数のクラスに分類することができるシステムが提供され、本システムは、複数のクラスに分類された第１の複数の第１の欠陥および第２の複数の潜在的な第２の欠陥を受け取ることであって、各第１の欠陥および各潜在的な第２の欠陥が、複数の属性の各属性に対するそれぞれの値に関連付けられ、第１の複数が第１の属性空間によって特徴付けられ、第２の複数の欠陥が第２の属性空間によって特徴付けられる、受け取ることと、第１の複数および第２の複数を処理して複数の属性から属性の部分集合を選択ことであって、各属性について、第１の複数から欠陥の属性値の第１の分布を決定すること、第２の複数から欠陥の属性値の第２の分布を決定すること、および第１の分布と第２の分布の差を決定すること、を含む、選択することと、属性の部分集合を第１の分布と第２の分布の差が最も高い属性として選択することと、第１の複数からの欠陥に対する属性の部分集合に割り当てられた値に基づいて第１の密度推定関数を取得し、第２の複数の欠陥に対する属性の部分集合に割り当てられた値に基づいて第２の密度推定関数を決定することと、第１の密度推定関数に関連付けられた第１のしきい値、および第１の密度推定関数と第２の密度推定関数の組合せに関連付けられた第２のしきい値を取得することと、第２の複数の各欠陥に第１の密度推定関数を適用して第１のスコアを取得することと、第２の複数の各欠陥に第２の密度推定関数を適用して第２のスコアを取得することと、第１のスコアと第２のスコアを組み合わせたスコアを決定することと、第１のスコアが第１のしきい値よりも低い場合、または組み合わせたスコアが第２のしきい値を超える場合、第２の複数からの欠陥を潜在的に新しいタイプの欠陥として示すことと、を行うように構成された処理およびメモリ回路（ＰＭＣ）を備える。非限定的な例として、第１のスコアが第１のしきい値よりも低い場合、潜在的な欠陥は、任意で外れ値として示される。別の非限定的な例として、第２のスコアが第２のしきい値を超える場合、潜在的な欠陥は、任意でエクスカーションとして示される。別の非限定的な例として、第１の密度推定関数と第２の密度推定関数の組合せは、第１の密度推定関数の欠陥の第１のスコアと第２の密度推定関数の欠陥の第２のスコアとの比である。

本開示の主題の別の態様によると、メモリに動作可能に接続されたプロセッサを使用して複数の欠陥を分類する方法が提供され、本方法は、プロセッサによって複数のクラスに分類された第１の複数の第１の欠陥および第２の複数の潜在的な第２の欠陥を受け取るステップであって、各第１の欠陥および各潜在的な第２の欠陥が、複数の属性の各属性に対するそれぞれの値に関連付けられ、第１の複数が第１の属性空間によって特徴付けられ、第２の複数の欠陥が第２の属性空間によって特徴付けられる、ステップと、プロセッサによって第１の複数および第２の複数を処理して複数の属性から属性の部分集合を選択するステップであって、各属性について、プロセッサによって第１の複数から欠陥の属性値の第１の分布を決定すること、プロセッサによって第２の複数から欠陥の属性値の第２の分布を決定すること、およびプロセッサによって第１の分布と第２の分布の差を決定すること、を含む、選択するステップと、プロセッサによって属性の部分集合を第１の分布と第２の分布の差が最も高い属性として選択するステップと、プロセッサによって第１の複数からの欠陥に対する属性の部分集合に割り当てられた値に基づいて第１の密度推定関数を取得し、第２の複数の欠陥に対する属性の部分集合に割り当てられた値に基づいて第２の密度推定関数を決定するステップと、プロセッサによって第１の密度推定関数に関連付けられた第１のしきい値、および第１の密度推定関数と第２の密度推定関数の組合せに関連付けられた第２のしきい値を取得するステップと、プロセッサによって第２の複数の各欠陥に第１の密度推定関数を適用して第１のスコアを取得するステップと、プロセッサによって第２の複数の各欠陥に第２の密度推定関数を適用して第２のスコアを取得するステップと、プロセッサによって第１のスコアと第２のスコアを組み合わせたスコアを決定するステップと、第１のスコアが第１のしきい値よりも低い場合、または組み合わせたスコアが第２のしきい値を超える場合、第２の複数からの欠陥を潜在的に新しいタイプの欠陥として示すステップと、を含む。非限定的な例として、第１のスコアが第１のしきい値よりも低い場合、潜在的な欠陥は、任意で外れ値として示される。別の非限定的な例として、第２のスコアが第２のしきい値を超える場合、潜在的な欠陥は、任意でエクスカーションとして示される。別の非限定的な例として、第１の密度推定関数と第２の密度推定関数の組合せは、第１の密度推定関数の欠陥の第１のスコアと第２の密度推定関数の欠陥の第２のスコアとの比である。

本開示の主題のさらに別の態様によると、コンピュータによって実行されると、コンピュータに、試料の欠陥を複数のクラスに自動分類する方法を実行させる命令を含む非一時的コンピュータ可読媒体が提供され、本方法は、プロセッサによって複数のクラスに分類された第１の複数の第１の欠陥および第２の複数の潜在的な第２の欠陥を受け取るステップであって、各第１の欠陥および各潜在的な第２の欠陥が、複数の属性の各属性に対するそれぞれの値に関連付けられ、第１の複数が第１の属性空間によって特徴付けられ、第２の複数の欠陥が第２の属性空間によって特徴付けられる、ステップと、プロセッサによって第１の複数および第２の複数を処理して複数の属性から属性の部分集合を選択するステップであって、各属性について、プロセッサによって第１の複数から欠陥の属性値の第１の分布を決定すること、プロセッサによって第２の複数から欠陥の属性値の第２の分布を決定すること、およびプロセッサによって第１の分布と第２の分布の差を決定すること、を含む、選択するステップと、プロセッサによって属性の部分集合を第１の分布と第２の分布の差が最も高い属性として選択するステップと、プロセッサによって第１の複数からの欠陥に対する属性の部分集合に割り当てられた値に基づいて第１の密度推定関数を取得し、第２の複数の欠陥に対する属性の部分集合に割り当てられた値に基づいて第２の密度推定関数を決定するステップと、プロセッサによって第１の密度推定関数に関連付けられた第１のしきい値、および第１の密度推定関数と第２の密度推定関数の組合せに関連付けられた第２のしきい値を取得するステップと、プロセッサによって第２の複数の各欠陥に第１の密度推定関数を適用して第１のスコアを取得するステップと、プロセッサによって第２の複数の各欠陥に第２の密度推定関数を適用して第２のスコアを取得するステップと、プロセッサによって第１のスコアと第２のスコアを組み合わせたスコアを決定するステップと、第１のスコアが第１のしきい値よりも低い場合、または組み合わせたスコアが第２のしきい値を超える場合、第２の複数からの欠陥を潜在的に新しいタイプの欠陥として示すステップと、を含む。

本発明を理解し、本発明が実際にどのように実行され得るかを見るために、ここで、添付図面を参照して、単に非限定的な例として、実施形態を説明する。

本開示の主題のある特定の実施形態による、試験システムの一般化されたブロック図である。 テストセットに表示された新しいクラスの欠陥の例示的な二次元の事例である。 本開示の主題のある特定の実施形態による、新タイプ識別エンジンを動作させる方法の一般化された流れ図である。

以下の詳細な説明では、本発明についての完全な理解を提供するために数多くの特定の詳細が述べられる。しかしながら、本開示の主題がこれらの特定の詳細なしに実行されてもよいことを当業者は理解するであろう。他の事例では、よく知られている方法、手順、構成要素、および回路は、本開示の主題を不明瞭にしないように詳細には記載されていない。

特に別段の定めがない限り、以下の議論から明らかなように、本明細書全体を通して、「処理する」、「計算する」、「表す」、「算出する」、「生成する」、「割り当てる」、「選択する」、「決定する」、「受け取る」、「トレーニングする」、「適用する」、「出力する」などの用語を利用する議論は、データを操作しおよび／または他のデータに変換するコンピュータのアクションおよび／またはプロセスを指し、データは、電子的などの物理的な量として表され、および／またはデータは、物理的対象を表すことを認識されたい。「コンピュータ」という用語は、非限定的な例として、本出願において開示される分類器およびＰＭＣを含むデータ処理能力を有するあらゆる種類のハードウェアベースの電子デバイスを包含すると広く解釈されるべきである。

本明細書で使用される「非一時的メモリ」および「非一時的記憶媒体」という用語は、本開示の主題に適したあらゆる揮発性または不揮発性のコンピュータメモリを包含すると広く解釈されるべきである。

特に別段の定めがない限り、別個の実施形態の文脈において説明される本開示の主題のある特定の特徴は、単一の実施形態で組み合わせて提供することもできることを認識されたい。逆に、単一の実施形態の文脈において説明される本開示の主題の様々な特徴は、別個にまたは任意の適切な部分的組合せで提供することもできる。以下の詳細な説明では、方法および装置の完全な理解を提供するために、多数の特定の詳細が述べられる。

本明細書で使用される試料の「欠陥」という用語は、試料上にまたは試料内に形成されるあらゆる種類の異常または望ましくない特徴を包含すると広く解釈されるべきである。

本明細書で使用される「クラスに属することが知られている」という用語は、グランドトルースと考えられるクラスへの欠陥のあらゆる分類、例えば、人間のユーザによって行われる分類、信頼できる分類器によって行われる分類などを包含すると広く解釈されるべきである。

対象物を試験する場合、各欠陥は、サイズ、色、背景色などの多数の属性に割り当てられた値によって特徴付けられることがある。欠陥間の距離または近接は、適用可能な距離関数、例えば、属性空間において定義された距離および各属性に対する可能な値に従って定義されてもよい。

本明細書で使用される「分類」という用語は、各欠陥が、その属性値に基づいて、いくつかのクラスのうちの１つに自動的に分類され、同じクラスのアイテムが、定義された距離関数に従って、全体的に属性空間内で互いに近接するように、欠陥を、微粒子、引っ掻き傷、プロセスなどの、複数の所定のクラスのうちのいずれか１つに割り当てることを包含すると広く解釈されるべきである。クラスは、ユーザによって定義するか、または他の方法で受け取ってもよい。

典型的には、分類器は、「トレーニングセット」と呼ばれる欠陥の集合に基づいてトレーニングされ、トレーニングセットの各欠陥が、例えば人間のユーザによって、定義されたクラスのうちの１つに分類される。トレーニングが完了すると、分類器を使用して、「テストセット」と呼ばれるさらなる欠陥をクラスに分類することができる。

一般に、予想される欠陥を可能な限り厳密に表すトレーニングセットを取得することが試みられ、すなわち、クラス間の特徴空間内の欠陥の分布は、将来のテストセットの分布と類似している。しかしながら、これは常に可能であるとは限らず、一部のクラスは、トレーニングセットで過少表示されるか、またはまったく表示されないことがあり、これは、トレーニングのための十分なクラスの欠陥がないことを意味する。その結果、これらのクラスの欠陥は、実行時に正しく分類されない。そのような誤分類は、プロセス制御、例えば、統計的プロセス制御（ＳＰＣ）の品質に悪影響を及ぼす可能性がある。

したがって、トレーニングセットおよびテストセットが与えられた場合、トレーニングセットで観察されなかった、または十分に観察されなかった新しいクラスの欠陥をテストセットで検出する必要がある。

そのような欠陥には、２つのタイプ、すなわち、新しいタイプが統計的外れ値として現われる外れ値欠陥と、新しいタイプが、知られているクラスの境界内に現われ、欠陥分布の著しい変化として現われるエクスカーション欠陥とがある場合がある。

外れ値欠陥を検出するための一部の公知の技法には、局所的外れ値要因（ＬＯＦ）、１クラスサポートベクターマシン（ＳＶＭ）、およびアイソレーションフォレストが含まれる。エクスカーション検出を処理するための公知の技法は、典型的には、Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ（ＫＬ）ダイバージェンスまたは同様のメトリックに依存する。

しかしながら、新しいタイプの欠陥ならびにエクスカーション欠陥の両方の態様を検出するための公知のソリューションはない。

したがって、分類器をトレーニングする際の、ある特定の個体群、例えば、マイノリティクラスの欠陥の過少表現は、いくつかの理由で、製造および試験プロセスにおいて重大な懸念事項である。

第１に、間違った分類は、試験プロセスの品質の不正確な評価につながる可能性がある。マイノリティ欠陥の表現が少ないことに起因して、マイノリティ欠陥がプロセス評価に与える影響が小さくなるため、プロセス全体の品質が不正確に評価される可能性がある。

第２に、試験プロセスの安定性が低い可能性があり、すなわち、欠陥が誤分類されると、個体群が小さいほど、変化に対してより脆弱になるため、少数の欠陥が、または単一の欠陥さえもがプロセス評価の標準偏差に著しく影響を与える可能性がある。したがって、試験プロセスを安定して評価することが困難である。

第３に、ほんの些細な分類誤りが、処理できないほど深刻である可能性がある欠陥を引き起こす。さらに、一部の非常に深刻な欠陥を排除することに多大な努力が注がれ、結果として、これらのタイプの残りの欠陥が少なくなる。したがって、そのような欠陥がトレーニングプロセスにおいて過少表現される場合、さらなる欠陥は、クラスに分類されず、試料の深刻な問題が見過ごされる可能性がある。

第４に、ある特定のタイプの欠陥は、同じクラスに属しているとして言及されるが、異なる特性を有することがある。例えば、「微粒子」というタイプの欠陥は、金属とシリコーンで著しく異なることがある。特定のマイノリティクラスを識別およびトレーニングしないことによって、特定の欠陥に関連する重要な情報が失われる可能性がある。

開示された主題は、新しいクラスの欠陥を検出するための方法および装置を提供する。本開示を利用して、ユーザは、テストセットで、新しいクラスである可能性がある欠陥を検出することができる。次いで、ユーザは、欠陥を試験して、それらを１つまたは複数の新しいクラスに属するものとして分類することができる。加えてまたは代替として、欠陥が新しいクラスのものであるとして高い確率で検出された場合、そのような欠陥を、（複数の新しいクラスを区別するために）クラスタ化して、新しいクラスに自動的に割り当てることができる。

１つまたは複数の新しいクラスに対して、十分な数のそのような欠陥、典型的には、数十個、例えば、１つのクラス当たり少なくとも２０〜５０個の欠陥が検出されると、分類器を欠陥でトレーニングすることができ、それにより、さらなる欠陥を正しく分類することができる。

これを念頭に置いて、本開示の主題のある特定の実施形態による試験システムの一般化されたブロック図を示す図１に注目する。図１に示す試験システム１００は、試料製造の一部として試料（例えば、ウエハおよび／またはその一部）の試験に使用することができる。試験は、対象物製造の一部とすることができ、対象物の製造中、または後から実行することができる。試験システムは、様々な試験ツール、例えば、検査画像を（典型的には、比較的高速および／または低解像度で）捕捉するように構成された１つまたは複数の検査試験ツール１０１と、検査ツール１０１によって検出された少なくとも一部の欠陥のレビュー画像を（典型的には、比較的低速および／または高解像度で）捕捉するように構成された１つまたは複数のレビュー試験ツール１０２と、を備えることができる。図示する試験システム１００は、欠陥のタイプに従って欠陥を複数のクラスに自動的に分類することができるコンピュータベースの自動欠陥分類ツール（以降、分類器とも呼ばれる）１０３をさらに備える。非限定的な例として、分類は、異なる目的を有してもよく、分類目的に従って統計的プロセス制御（ＳＰＣ）でおよび／または他の方法でエクスカーションを識別するために、分類結果を使用して、特定の関心のある欠陥（ＤｏＩ）を識別し、真の欠陥から擬似欠陥をフィルタリングし、パレートを確立することができる。

ユーザは、ＧＵＩ１０８を用いて、分類エンジン１２６をトレーニングするためにクラスおよび各クラスに割り当てられる欠陥を定義することができる。さらに、ＧＵＩ１０８は、ユーザ（および／または管理システム）が純度、精度、抽出要件、または他のパラメータをクラスごとに別々に設定し、ユーザ要件に従って分類結果を最適化することができるように構成されてもよい。

分類器１０３は、１つもしくは複数の検査ツール１０１および／または１つもしくは複数のレビューツール１０２に動作可能に接続され得る。任意で、分類器１０３は、１つもしくは複数の検査ツール１０１または１つもしくは複数のレビューツール１０２と完全にあるいは部分的に一体化されていてもよい。分類器１０３は、さらに、設計サーバ１１０およびデータリポジトリ１０９に動作可能に接続されていてもよい。

試料は、検査ツール１０１（例えば、光学検査システム、低解像度ＳＥＭなど）によって試験することができる。結果として得られる画像および／または派生物を処理して（任意で、他のデータ、例えば設計データおよび／または欠陥分類データと一緒に）、レビューのための潜在的な欠陥を選択することができる。

レビューのために選択された潜在的な欠陥位置の部分集合を、レビューツール１０２（例えば、走査電子顕微鏡（ＳＥＭ）または原子間力顕微鏡（ＡＦＭ）など）によってレビューすることができる。部分集合は、例えば、および場合によっては、追加の考慮すべき事項の一部として、検査ツール１０１によって出力された潜在的な欠陥に関連付けられたクラスに従って選択され得て、クラスは、分類器１０３によって検査データ１２８から決定されてもよい。例えば、各クラスの少なくとも所定の数または割合の欠陥をレビューすることが必要な場合がある。

加えてまたは代替として、レビュー画像および／またはその派生物の情報を提供するデータ（以降、レビューデータ１２２と呼ばれる）ならびにそれぞれの関連付けられたメタデータは、分類器１０３に直接、あるいは１つまたは複数の中間システムを介して送信することができる。レビューデータは、１つまたは複数の中間システムによって生成されたデータをレビュー画像の派生物として含むことができることに留意されたい。

分類器１０３は、ハードウェアベースの入力インタフェース１０５および／またはハードウェアベースの出力インタフェース１０６に動作可能に接続されたプロセッサならびにメモリ回路（ＰＭＣ）１０４を備える。ＰＭＣ１０４は、図３を参照してさらに詳述されるように、分類器を動作させるのに必要な処理を提供するように構成され、プロセッサおよびメモリ（ＰＭＣ内に別個に示されていない）を備える。分類器１０３およびＰＭＣ１０４の動作は、図２〜図３を参照してさらに詳述される。

出力インタフェース１０６によって出力された分類器１０３の処理結果は、検査命令関連データ１２３またはレビュー命令関連データ１２４として、それぞれ検査試験ツール１０１またはレビュー試験ツール１０２に、例えば、動作パラメータの値を変更することによってそれらの動作を変更するために提供されてもよい。

当業者は、本開示の主題の教示が図１に示すシステムによって束縛されず、等価なおよび／または修正された機能を別のやり方で統合または分割することができ、ソフトウェアと、ファームウェアおよびハードウェアとの任意の適切な組合せで実施することができることを容易に認識するであろう。

図１に示す試験システムは、図１に示す前述の機能モジュールを、いくつかのローカルおよび／またはリモート装置に分散させることができ、通信ネットワークを介してリンクさせることができる分散コンピューティング環境で実施することができることに留意されたい。他の実施形態では、試験ツール１０１および／または１０２、データリポジトリ１０９、ストレージシステム１０７、設計サーバ１１０ならびに／あるいはＧＵＩ１０８の少なくとも一部は、試験システム１００の外部にあってもよく、入力インタフェース１０５および出力インタフェース１０６を介して分類器１０３とデータ通信して動作することができることにさらに留意されたい。分類器１０３は、１つまたは複数の試験ツールと併せて使用されるスタンドアロンのコンピュータとして実施することができる。任意で、分類器１０３は、データリポジトリ１０９および／またはストレージシステム１０７に記憶された事前取得レビューデータに基づいて動作することができる。代替としてまたは加えて、分類器１０３のそれぞれの機能は、少なくとも一部は、１つまたは複数の試験ツール、プロセス制御ツール、レシピ生成ツール、自動欠陥レビューおよび／または分類のためのシステム、ならびに／あるいは試験に関連する他のシステムと一体化することができる。

ＰＭＣ１０４は、新タイプ識別エンジン１１７、トレーニングエンジン１２５、および１つまたは複数の分類エンジン１２６を備えることができる。新タイプ識別エンジン１１７は、新しいタイプの欠陥を識別するために使用することができ、それにより、トレーニングエンジン１２５が１つまたは複数の分類エンジン１２６をトレーニングして、将来の欠陥を新しい欠陥に分類することもできる。

新タイプ識別エンジン１１７は、属性部分集合識別エンジン１１８を含むことができる。属性部分集合識別エンジン１１８は、属性の部分集合を識別するように構成され得て、それにより、トレーニング中の未知のタイプの欠陥は、これらの属性に割り当てられた値によって、他のクラスに関連付けられた欠陥と区別される。

新タイプ識別エンジン１１７は、トレーニングセットの第１の密度関数およびテストセットの第２の密度関数を決定するために、密度関数取得エンジン１１９を含むことができる。密度関数は、属性部分集合識別エンジン１１８によって識別された属性部分集合に従って決定される。

新タイプ識別エンジン１１７は、第１の密度関数に関連付けられた第１のしきい値と、例えば、第１の密度関数と第２の密度関数との比などの組合せに関連付けられた第２のしきい値と、を関連付けるためのしきい値取得エンジン１２０を含むことができる。新タイプ識別エンジン１１７は、第１のスコアおよび第２のスコアを取得するために、第１の密度関数および第２の密度関数を欠陥に適用する密度関数適用エンジン１２１を含むことができる。第１のスコアが第１のしきい値を超える場合、欠陥は、潜在的に「外れ値」である可能性があり、すなわち、トレーニングセットの共通の属性値と異なる属性値を有する。第２のスコアが第２のしきい値を超える場合、欠陥は、潜在的に「エクスカーション」であり、すなわち、トレーニングセットとテストセットとの間で欠陥密度の分布が異なることを示している可能性がある。

第１のスコアが第１のしきい値を超えるか、または第２のスコアが第２のしきい値を超える場合、欠陥は、ユーザに出力されるか、または潜在的に新しいタイプの欠陥の集合に追加されるか、あるいは他のやり方で利用されてもよい。

ここで図２を参照すると、テストセットに表示された新しいクラスの欠陥の例が視覚化されている。視覚化の目的で、図２の例は、２次元であり、すなわち、２つの属性を有する欠陥を表しているが、典型的なシステムの欠陥は、著しく多くの属性、例えば数百の属性を含む。

トレーニングセットは、２つのクラスの欠陥、すなわち、部分空間２０１に含まれる第１のクラスの欠陥２００と、部分空間２０２に含まれる第２のクラスの欠陥２０４と、を含む。

テストセットは、トレーニングセットと同様に、欠陥２００および欠陥２０４を含む。しかしながら、テストセットは、部分空間２０９に含まれる欠陥２０８も含み、この欠陥２０８は、その部分空間が欠陥２００または２０４のクラスなどの知られているクラスの部分空間と大きく重なっていないため、外れ値欠陥である。

テストセットは、部分空間２１３に含まれる欠陥２１２も含み、この部分空間２１３は、部分空間２０２とかなり重なっているため、最初は同じクラスに属するとして分類されることがある。しかしながら、テストセットにおけるこれらの欠陥の存在は、欠陥２０４であると想定される欠陥、すなわち、部分空間２０２と実質的に同じ部分空間内の欠陥２０４および欠陥２１２の相対頻度の変化によって識別される。

図３を参照すると、本開示の主題のある特定の実施形態による、新タイプ識別エンジン１１７を動作させる一般化された流れ図が示されている。ＰＭＣ１０４は、非一時的コンピュータ可読記憶媒体に実装されたコンピュータ可読命令に従って、以下で詳述するそれぞれの動作を実行するように構成されている。

ＰＭＣ１０４は、第１の分類器によって複数のクラスに分類された第１の複数の第１の欠陥を受け取る（３００）。受け取った欠陥は、（例えば、人間の専門家および／または別の分類器および／または以前の分類器のバージョンなどによって）所定のクラスに事前分類され、それにより、この事前分類がグランドトルースと見なされる。ＰＭＣ１０４は、グランドトルースが利用可能でない第２の複数の第２の欠陥も受け取る（３００）。しかしながら、第２の複数は、第１の複数には存在しない、または十分存在しないタイプの欠陥を含むことがある。

各第１の欠陥および各第２の欠陥は、様々な属性に割り当てられた値の集合、例えばベクトルとして表現されてもよい。典型的には、各欠陥は、例えば、そのタイプ、色、サイズ、位置、原因などに関連する数百以上の属性に割り当てられた値として表現されることがある。

次いで、属性部分集合識別エンジン１１８は、第１の複数と第２の複数を最もよく区別する属性の部分集合を識別することができる（３０４）。したがって、場合によっては、必ずしもそうとは限らないがすべての属性を含む複数の属性は、区別する属性として試験される。属性は、第１の複数の値の範囲と第２の複数の値の範囲の重なりがより小さい場合に、２つの複数をより良好に区別すると考えられる。したがって、第１の分布が第１の複数の点の属性の値に対して決定され得て、第２の分布が第２の複数の点の属性の値に対して決定され得る。第１の分布と第２の分布の差が大きいほど、属性は、良好になる。一部の実施形態では、第１の複数の密度関数によって与えられるような、第２の複数の密度スコアの点の合計が低いほど、属性は、良好になり、その理由は、この属性を使用すると、第２の複数の点が第１の複数には発生しそうにないことを示すためである。その場合、所定の数の属性が選択されてもよく、最も良好な属性が上述したように選択され得る。

密度関数取得エンジン１１９は、第１の複数の第１の密度関数、および第２の複数の第２の密度関数をそれぞれ取得することができる（３０８）。そのような各密度関数は、属性部分集合の属性に対する値の集合として表現される欠陥を入力として受け取り、欠陥がそれぞれの複数に含まれ得るかどうかを示すスコアを出力するように構成されている。例えば、多くの隣接欠陥、例えば、その属性値が第１の欠陥の属性値に近い欠陥を有する第１の欠陥は、そのような隣接欠陥をあまり有さない欠陥よりも高いスコアを有する。密度関数は、決定され、記憶装置から検索され、ネットワークを介して受信されるなどであってもよい。

しきい値取得エンジン１２０は、第１の密度関数の第１のしきい値、および第２の密度関数の第２のしきい値をそれぞれ取得することができる（３１２）。

第１のしきい値は、第１の密度関数に関連している。欠陥に割り当てられている第１のしきい値よりも低いスコアは、欠陥がトレーニングセットに属していない可能性が高く、したがって外れ値と見なされ得ることを示す。

第２のしきい値は、第１の密度関数と第２の密度関数の差に関連している。欠陥に割り当てられている第２のしきい値よりも高いスコアは、欠陥がトレーニングセットよりもテストセットに属する可能性が高く、したがってエクスカーションと見なされ得ることを示す。

密度関数適用エンジン（１２１）は、密度関数を欠陥、例えばテストセットからの欠陥に適用し（３１６）、第１および第２のスコア、ならびに第１のスコアと第２のスコアの組合せ、例えば、第１のスコアと第２のスコアとの比を取得するように構成することができる。

したがって、欠陥が第１のしきい値よりも小さい第１のスコアを有する場合、この欠陥は、外れ値であると疑われ、示され得る（３２０）。したがって、欠陥が第２のしきい値よりも大きい第２のスコアを有する場合、この欠陥は、エクスカーションであると疑われ、示され得る（３２０）。どちらの場合も新しいタイプと疑われる可能性があり、したがって、ユーザに示され得る。

ＰＭＣ１０４は、任意で、ある期間にわたって、潜在的に新しいクラスに属する欠陥を収集することができる。収集された欠陥は、ユーザによって手動で出力および検証され、１つまたは複数の新しいクラスのものとすることができる（３２４）。代替として、欠陥をクラスタ化して、１つまたは複数の潜在的な新しいクラスを識別することができる。

そのような新しいタイプそれぞれについて十分な数の欠陥、例えば少なくとも２０〜５０個の欠陥が収集されると、トレーニングエンジン１２５は、新しいクラスに実際に属するとして識別された欠陥を含む複数の欠陥にわたってトレーニングされ得る。その場合、結果として得られる分類エンジンは、欠陥を新しいクラスに分類することもできる。

当業者は、本開示の主題の教示が図３に示す方法によって拘束されないことを容易に認識するであろう。少数の欠陥を取得し、分類器をそれに応じてトレーニングするために、他の適切なアルゴリズムおよびその組合せを実施することができる。

本発明は、その適用において、本明細書に含まれる、または図面に示される説明に記載された詳細に限定されないことを理解されたい。本発明は、他の実施形態が可能であり、様々なやり方で実施および実行することができる。したがって、本明細書で用いられる語法および用語は、説明を目的とするものであり、限定と見なされるべきでないことを理解されたい。そのため、当業者は、本開示の基礎となる概念が、本開示の主題のいくつかの目的を実行するための他の構造、方法、およびシステムを設計するための基礎として容易に利用され得ることを認識するであろう。

また、本発明によるシステムは、少なくとも一部は、適切にプログラムされたコンピュータ上で実施され得ることを理解するであろう。同様に、本発明は、本発明の方法を実行するためのコンピュータによって読取り可能なコンピュータプログラムを企図している。本発明は、本発明の方法を実行するためのコンピュータによって実行可能な命令のプログラムを明白に具現化する非一時的コンピュータ可読メモリをさらに企図している。

当業者は、添付の特許請求の範囲において、および特許請求の範囲によって定義された範囲から逸脱することなく、前述したような本発明の実施形態に様々な修正および変更を適用することができることを容易に認識するであろう。

１００ 試験システム
１０１ 検査試験ツール
１０２ レビュー試験ツール
１０３ 分類器
１０４ プロセッサおよびメモリ回路
１０５ 入力インタフェース
１０６ 出力インタフェース
１０７ ストレージシステム
１０８ ＧＵＩ
１０９ データリポジトリ
１１０ 設計サーバ
１１７ 新タイプ識別エンジン
１１８ 属性部分集合識別エンジン
１１９ 密度関数取得エンジン
１２０ しきい値取得エンジン
１２１ 密度関数適用エンジン
１２２ レビューデータ
１２３ 検査命令関連データ
１２４ レビュー命令関連データ
１２５ トレーニングエンジン
１２６ 分類エンジン
１２８ 検査データ
２００ 欠陥
２０１ 部分空間
２０２ 部分空間
２０４ 欠陥
２０８ 欠陥
２０９ 部分空間
２１２ 欠陥
２１３ 部分空間

Claims (9)

1. 試料の欠陥を複数のクラスに分類することができるシステムであって、
   複数のクラスに分類された第１の複数の第１の欠陥および第２の複数の潜在的な第２の欠陥を受け取ることであって、各第１の欠陥および各潜在的な第２の欠陥が複数の属性の各属性に対するそれぞれの値に関連付けられ、前記第１の複数が第１の属性空間によって特徴付けられ、前記第２の複数の欠陥が第２の属性空間によって特徴付けられる、受け取ることと、
   前記第１の複数および第２の複数を処理して前記複数の属性から属性の部分集合を選択することであって、
   各属性について、
   前記第１の複数から欠陥の属性値の第１の分布を決定すること、
   前記第２の複数から欠陥の属性値の第２の分布を決定すること、および
   前記第１の分布と前記第２の分布の差を決定すること、
   を含む、選択することと、
   前記属性の部分集合を前記第１の分布と前記第２の分布の差が最も高い属性として選択することと、
   前記第１の複数からの欠陥に対する前記属性の部分集合に割り当てられた値に基づいて第１の密度推定関数を取得し、前記第２の複数の欠陥に対する前記属性の部分集合に割り当てられた値に基づいて第２の密度推定関数を決定することと、
   前記第１の密度推定関数に関連付けられた第１のしきい値、および前記第１の密度推定関数と前記第２の密度推定関数の組合せに関連付けられた第２のしきい値を取得することと、
   前記第２の複数の各欠陥に前記第１の密度推定関数を適用して第１のスコアを取得することと、
   前記第２の複数の各欠陥に前記第２の密度推定関数を適用して第２のスコアを取得することと、
   前記第１のスコアと前記第２のスコアを組み合わせたスコアを決定することと、
   前記第１のスコアが前記第１のしきい値よりも低い場合、または前記組み合わせたスコアが前記第２のしきい値を超える場合、前記第２の複数からの欠陥を潜在的に新しいタイプの欠陥として示すことと、
   を行うように構成された処理およびメモリ回路（ＰＭＣ）を備える、
   システム。
2. 前記第１のスコアが前記第１のしきい値よりも低い場合、前記潜在的な欠陥が外れ値として示される、請求項１に記載のシステム。
3. 前記第２のスコアが前記の第２のしきい値を超える場合、前記潜在的な欠陥がエクスカーションとして示される、請求項１に記載のシステム。
4. 前記第１の密度推定関数と前記第２の密度推定関数の前記組合せが、前記第１の密度推定関数の欠陥の第１のスコアと前記第２の密度推定関数の前記欠陥の第２のスコアとの比である、請求項１に記載のシステム。
5. メモリに動作可能に接続されたプロセッサを使用して、複数の欠陥を分類する方法であって、
   複数のクラスに分類された第１の複数の第１の欠陥および第２の複数の潜在的な第２の欠陥を受け取るステップであって、各第１の欠陥および各潜在的な第２の欠陥が、複数の属性の各属性に対するそれぞれの値に関連付けられ、前記第１の複数が第１の属性空間によって特徴付けられ、前記第２の複数の欠陥が第２の属性空間によって特徴付けられる、ステップと、
   前記プロセッサによって前記第１の複数および第２の複数を処理して前記複数の属性から属性の部分集合を選択するステップであって、
   各属性について、
   前記プロセッサによって前記第１の複数から欠陥の属性値の第１の分布を決定すること、
   前記プロセッサによって前記第２の複数から欠陥の属性値の第２の分布を決定すること、および
   前記プロセッサによって前記第１の分布と前記第２の分布の差を決定すること、
   を含む、選択するステップと、
   前記プロセッサによって前記属性の部分集合を前記第１の分布と前記第２の分布の差が最も高い属性として選択するステップと、
   前記プロセッサによって前記第１の複数からの欠陥に対する前記属性の部分集合に割り当てられた値に基づいて第１の密度推定関数を取得し、前記第２の複数の欠陥に対する前記属性の部分集合に割り当てられた値に基づいて第２の密度推定関数を決定するステップと、
   前記プロセッサによって前記第１の密度推定関数に関連付けられた第１のしきい値、および前記第１の密度推定関数と前記第２の密度推定関数の組合せに関連付けられた第２のしきい値を取得するステップと、
   前記プロセッサによって前記第２の複数の各欠陥に前記第１の密度推定関数を適用して第１のスコアを取得するステップと、
   前記プロセッサによって前記第２の複数の各欠陥に前記第２の密度推定関数を適用して第２のスコアを取得するステップと、
   前記プロセッサによって前記第１のスコアと前記第２のスコアを組み合わせたスコアを決定するステップと、
   前記第１のスコアが前記第１のしきい値よりも低い場合、または前記組み合わせたスコアが前記第２のしきい値を超える場合、前記第２の複数からの欠陥を潜在的に新しいタイプの欠陥として示すステップと、
   を含む方法。
6. 前記第１のスコアが前記第１のしきい値よりも低い場合、前記潜在的な欠陥が外れ値として示される、請求項５に記載の方法。
7. 前記第２のスコアが前記の第２のしきい値を超える場合、前記潜在的な欠陥がエクスカーションとして示される、請求項５に記載の方法。
8. 前記第１の密度推定関数と前記第２の密度推定関数の前記組合せが、前記第１の密度推定関数の欠陥の第１のスコアと前記第２の密度推定関数の前記欠陥の第２のスコアとの比である、請求項５に記載の方法。
9. コンピュータによって実行されると、前記コンピュータに、試料の欠陥を複数のクラスに自動分類する方法を実行させる命令を含む非一時的コンピュータ可読媒体であって、前記方法が、
   プロセッサによって複数のクラスに分類された第１の複数の第１の欠陥および第２の複数の潜在的な第２の欠陥を受け取るステップであり、各第１の欠陥および各潜在的な第２の欠陥が、複数の属性の各属性に対するそれぞれの値に関連付けられ、前記第１の複数が第１の属性空間によって特徴付けられ、前記第２の複数の欠陥が第２の属性空間によって特徴付けられる、ステップと、
   前記プロセッサによって前記第１の複数および第２の複数を処理して前記複数の属性から属性の部分集合を選択するステップであって、
   各属性について、
   前記プロセッサによって前記第１の複数から欠陥の属性値の第１の分布を決定すること、
   前記プロセッサによって前記第２の複数から欠陥の属性値の第２の分布を決定すること、および
   前記プロセッサによって前記第１の分布と前記第２の分布の差を決定すること、
   を含む、選択するステップと、
   前記プロセッサによって前記属性の部分集合を前記第１の分布と前記第２の分布の差が最も高い属性として選択するステップと、
   前記プロセッサによって前記第１の複数からの欠陥に対する前記属性の部分集合に割り当てられた値に基づいて第１の密度推定関数を取得し、前記第２の複数の欠陥に対する前記属性の部分集合に割り当てられた値に基づいて第２の密度推定関数を決定するステップと、
   前記プロセッサによって前記第１の密度推定関数に関連付けられた第１のしきい値、および前記第１の密度推定関数と前記第２の密度推定関数の組合せに関連付けられた第２のしきい値を取得するステップと、
   前記プロセッサによって前記第２の複数の各欠陥に前記第１の密度推定関数を適用して第１のスコアを取得するステップと、
   前記プロセッサによって前記第２の複数の各欠陥に前記第２の密度推定関数を適用して第２のスコアを取得するステップと、
   前記プロセッサによって前記第１のスコアと前記第２のスコアを組み合わせたスコアを決定するステップと、
   前記第１のスコアが前記第１のしきい値よりも低い場合、または前記組み合わせたスコアが前記第２のしきい値を超える場合、前記第２の複数からの欠陥を潜在的に新しいタイプの欠陥として示すステップと、
   を含む、非一時的コンピュータ可読媒体。

Images