JP2009188418A - データ解析のための方法および装置 - Google Patents

Abstract

【課題】半導体製造に好適なデータ解析のための方法および装置を提供する。
【解決手段】ウエハ上に製造された複数のコンポーネントに対する試験データのようなデータ内の統計的外れ値（大きなデータ母集団のサブセット内の外れ値を表す混成外れ値を含む）を識別するための方法と装置を、半導体をテストするための自動テスト設備（ＡＴＥ）のようなテスタを有するテストシステムおよびこれと協働し得るコンピュータ支援システムにより、外れ値をデータの分布に従って識別および分類することで実現する。
【選択図】図７

Description

（関連出願の引用）
本出願は、「Ｍｅｔｈｏｄｓ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｈｙｂｒｉｄ Ｏｕｔｌｉｅｒ Ｄｅｔｅｃｔｉｏｎ」と題された、米国特許出願第１１／５３５，８５１号（出願日２００６年９月２７日）の一部継続出願であり、「Ｍｅｔｈｏｄｓ ａｎｄ
Ａｐｐａｒａｔｕｓ ｆｏｒ Ｄａｔａ Ａｎａｌｙｓｉｓ」と題された、米国特許出願第１０／８１７，７５０号（出願日２００４年４月２日）の一部継続出願であり、「Ａｄｖａｎｃｅｄ Ａｕｔｏｍａｔｉｃ Ｐａｒａｍｅｔｒｉｃ Ｏｕｔｌｉｅｒ Ｄｅｔｅｃｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｉｅｓ ｆｏｒ ｔｈｅ Ｐｒｏｄｕｃｔｉｏｎ Ｅｎｖｉｒｏｎｍｅｎｔ」と題された、米国仮特許出願第６０／７７４，６８２号（出願日２００６年２月１７日）の優先権を主張し、各出願の開示を参照により援用する。しかしながら、本開示が参照された出願のいずれかと競合する場合には、本開示が優先されるべきである。

半導体企業では、コンポーネントを試験して、コンポーネントが適切に作動することを確認している。試験データは、欠陥解析および障害分離のための、パラメトリック電気試験、光学検査、走査電子顕微鏡検査、エネルギー分散Ｘ線分光分析、および集束イオンビームプロセスのような、種々のソースに由来する場合がある。試験は、一般的に、デバイスのパッケージングの前に（ウエハレベルで）、またアセンブリ完了後に（最終試験）行われる。

試験データの収集および解析には、費用と時間がかかる。自動テスタは、信号をコンポーネントに適用し、対応する出力信号を読み取るものである。出力信号を解析して、コンポーネントが適切に作動しているかどうかを判断することができる。各テスタは、大量のデータを生成する。例えば、各テスタは、単一のコンポーネントに２００の試験を行う場合があり、これらの試験のそれぞれが１０回繰り返される場合がある。結果的に、単一のコンポーネントの試験で、２０００の結果がもたらされる。各テスタは、１時間に１００以上のコンポーネントの試験を行い、複数のテスタが同じサーバに接続されている場合があるので、試験プロセスは、莫大な量のデータを生成する。

さらに、データ解釈の大部分はエンジニアによって行われ、エンジニアは、製造および試験プロセスに関する自身の経験と知識に基づいて、データをチェックして、試験および製造プロセスについて演繹を行う。手動解析はしばしば効果的であるが、エンジニアは、製造と試験システムとを異なって理解するので、同じデータに基づいて異なった主観的結論に到達する傾向がある。熟練した要員が企業を去るか、または利用できないときには、製造および試験システムに関する要員の知識および理解、また試験データの解釈を他の要員に容易に伝達することができないという、別の問題が生じる。

本発明は、機能ブロックコンポーネントおよび種々のプロセスステップに関して記述するものである。このような機能ブロックおよびステップは、特定の機能を行うように構成された複数のハードウェアまたはソフトウェアコンポーネントによって実現することができる。例えば、本発明は、統計エンジン、メモリ素子、信号処理素子、ニューラルネットワーク、パターン解析器、論理素子、プログラムなどのような、種々のテスタ、プロセッサ、格納システム、プロセス、およびアルゴリズムを用いることができ、１つ以上のテスタ、マイクロプロセッサ、または他の制御デバイスの制御下で種々の機能を実行することができる。加えて、本発明は、複数の試験環境と連動して実行することができ、記述された各システムは、本発明の１つの例示的なアプリケーションに過ぎない。さらに、本発明は、データ解析、コンポーネントのインターフェース、データ処理、コンポーネントの取り扱いなどのために、複数の従来の手法を用いることができる。
本発明は、さらに以下の手段を提供する。
（項目１）
半導体の試験データ内の外れ値を識別するための半導体試験データ解析システムであって、
該試験データを格納するように構成されたメモリと、
該メモリに接続されたプロセッサと
を備え、該プロセッサは、
該試験データをメモリから検索することと、
該試験データを外れ値の上限閾値および外れ値の下限閾値と比較し、該外れ値の上限閾値および該外れ値の下限閾値は、該試験データの度数分布の中央値から導出される、ことと、
該試験データの該外れ値の上限閾値および該外れ値の下限閾値との比較に従って、該試験データが外れ値を含むかどうかを判断することと
を行うように構成される、半導体試験データ解析システム。
（項目２）
上記外れ値の上限閾値は、第３の四分位点から導出され、
上記外れ値の下限閾値は、第１の四分位点から導出される、項目１に記載の半導体試験データ解析システム。
（項目３）
上記閾値は、上記中央値に対して非対称である、項目１に記載の半導体試験データ解析システム。
（項目４）
上記プロセッサは、上記度数分布の傾きに従って、上記閾値を調整するように構成される、項目１に記載の半導体試験データ解析システム。
（項目５）
上記プロセッサは、上記外れ値の大きさに従って、該外れ値を分類するように構成される、項目１に記載の半導体試験データ解析システム。
（項目６）
上記プロセッサは、上記閾値のうちの少なくとも１つと上記分布のエッジとの間の範囲に従って、カテゴリを上記外れ値に割り当てるように構成される、項目１に記載の半導体試験データ解析システム。
（項目７）
上記プロセッサは、少なくとも２つのパラメータに対応するデータの相関に従って、上記試験データが外れ値を含むかどうかを判断するように構成される、項目１に記載の半導体試験データ解析システム。
（項目８）
半導体試験データ内の外れ値を識別する方法であって、
該試験データに従って、外れ値の上限閾値および外れ値の下限閾値を確立することであって、該外れ値の上限閾値および該外れ値の下限閾値は、該試験データの度数分布の中央値から導出されることと、
該試験データを該外れ値の上限閾値およびＬＣＬと比較することと
該試験データのＵＣＬおよびＬＣＬとの比較に従って、該試験データ内の外れ値を識別することと
を含む、外れ値を識別する方法。
（項目９）
上記外れ値の上限閾値を確立することは、第３の四分位点を識別することを含み、
上記外れ値の上限閾値を確立することは、第１の四分位点を識別することを含む、項目８に記載の外れ値を識別する方法。
（項目１０）
上記閾値は、上記中央値に対して非対称である、項目８に記載の外れ値を識別する方法。
（項目１１）
上記外れ値の上限閾値および上記外れ値の下限閾値を確立することは、上記度数分布の傾きに従って該閾値を調整することを含む、項目８に記載の外れ値を識別する方法。
（項目１２）
上記外れ値の大きさに従って、該外れ値を分類することをさらに含む、項目８に記載の外れ値を識別する方法。
（項目１３）
上記閾値のうちの少なくとも１つと上記分布のエッジとの間の範囲に従って、カテゴリを上記外れ値に割り当てることをさらに含む、項目８に記載の外れ値を識別する方法。
（項目１４）
少なくとも２つのパラメータに対応するデータの相関に従って、上記試験データが外れ値を含むかどうかを判断することをさらに含む、項目８に記載の外れ値を識別する方法。
（項目１５）
コンピュータにプロセスを実行させるための命令を格納する媒体であって、該プロセスは、
一連の半導体試験データをメモリから検索することと、
外れ値の上限閾値および外れ値の下限閾値を確立することであって、該外れ値の上限閾値および該外れ値の下限閾値は、該試験データの度数分布の中央値から導出される、ことと、
該試験データを該外れ値の上限閾値および該外れ値の下限閾値と比較することと、
該試験データの該外れ値の上限閾値および該外れ値の下限閾値との比較に従って、該試験データが外れ値を含むかどうかを判断することと
を含む、媒体。
（項目１６）
上記外れ値の上限閾値を確立することは、第３の四分位点を識別することを含み、
上記外れ値の上限閾値を確立することは、第１の四分位点を識別することを含む、項目１５に記載の媒体。
（項目１７）
上記閾値は、上記中央値に対して非対称である、項目１５に記載の媒体。
（項目１８）
上記外れ値の上限閾値および上記外れ値の下限閾値を確立することは、上記度数分布の傾きに従って該閾値を調整することを含む、項目１５に記載の媒体。
（項目１９）
上記プロセスは、上記外れ値の大きさに従って、該外れ値を分類することをさらに含む、項目１５に記載の媒体。
（項目２０）
上記プロセスは、上記閾値のうちの少なくとも１つと上記分布のエッジとの間の範囲に従って、カテゴリを上記外れ値に割り当てることをさらに含む、項目１５に記載の媒体。
（項目２１）
上記プロセスは、少なくとも２つのパラメータに対応するデータの相関に従って、上記試験データが外れ値を含むかどうかを判断することをさらに含む、項目１５に記載の媒体。

図１は、本発明の種々の側面および関連する機能要素による試験システムのブロック図である。 図２は、外れ値および不良を含む試験結果を示す線図である。 図３は、１つ以上の外れ値識別アルゴリズムを自動的に選択するためのシステムを示す図である。 図４は、隠れ外れ値を含む試験結果を示す線図である。 図５は、ウエハと試験プローバがウエハ上を追従するサンプル経路とを示す図である。 図６は、プローバが経路に追従するときの試験データの変化を示す図である。 図７は、混成外れ値を識別するためのフローチャートである。 図８は、ウエハおよび空間的解析ウィンドウを示す図である。 図９は、近接解析のためのポテンシャルフィルタタイプを示す図である。 図１０は、非対称分布の代表例を示す図である。 図１１Ａおよび１１Ｂは、２つの異なる試験の試験データの相関チャートである。 図１１Ａおよび１１Ｂは、２つの異なる試験の試験データの相関チャートである。 図１２は、ウエハの試験結果のマップである。

本発明のより完全な理解は、以下の例示的図面（比例尺でない場合もある）とともに考慮したときに、詳細な説明および請求項を参照することによって導かれる。図面全体を通して、同じ要素には同じ参照番号を使用する。

図面内の要素は、簡潔かつ明確にするために示されたものであり、必ずしも比例尺で描かれたものではない。例えば、図面内のいくつかの要素の関係およびこれらが行うステップは、本発明の実施形態をより理解しやすくするために、他の要素に対して誇張されたり、省略されたりする場合がある。

図１を参照すると、本発明の種々の側面による方法および装置は、試験半導体用の自動試験装置（ＡＴＥ）のようなテスタ１０２を有するシステム１００と連動して動作する。本実施形態では、試験システム１００は、テスタ１０２とコンピュータシステム１０８とを備える。試験システム１００は、ウエハ上の半導体デバイス、回路基板、パッケージ化されたデバイス、または他の電気的または光学的システムのような、あらゆるコンポーネント１０６を試験するように構成することができる。なお、本発明の種々の側面は、クレジットカード詐欺の検出、アスリートの能力解析、不正投票の解析、および高度な天気予報のような、複数のデータ点を有する多数の環境に適用することができる。本実施形態では、コンポーネント１０６は、ウエハ上に形成された複数の集積回路ダイ、またはパッケージ化された集積回路またはデバイスを備える。コンポーネント１０６は、製造プロセスを用いて作成され、このプロセスはコンポーネント１０６を作成するためのあらゆる好適な製造プロセスを含むことができる。また、このプロセスは、コンポーネント１０６のオペレーションを試験するためのあらゆる好適なプロセスを含むことができる、試験プロセスを含むことができる。

テスタ１０２は、コンポーネント１０６の試験を行い、試験に関連する出力データを生成する任意の試験装置を適切に備え、複数の機械または他のデータソースを備えることができる。テスタ１０２は、Ｔｅｒａｄｙｎｅテスタなどのような従来の自動テスタを備えることができ、試験を容易にするための他の機器と連動して適切に動作する。テスタ１０２は、試験される特定のコンポーネント１０６および／または任意の他の適切な基準に従って選択および構成することができる。

テスタ１０２は、コンピュータシステム１０８と連動して動作して、例えば、テスタ１０２のプログラム、試験プログラムのロードおよび／または実行、データの収集、テスタ１０２への命令の提供、試験データの解析、テスタのパラメータの制御などを行うことができる。本実施形態では、コンピュータシステム１０８は、テスタ１０２からテスタデータを受信して、テスタ１０２と関係なく種々のデータ解析機能を実行する。コンピュータシステム１０８は、テスタ１０２と信号を交換するようにテスタ１０２に接続するか、またはこれとネットワーク化された、パーソナルコンピュータまたはワークステーションのような、プロセッサ１１０およびメモリ１１２を有する独立したコンピュータを備えることができる。別の実施形態では、コンピュータシステム１０８は、試験システム１００の他のコンポーネントから省略されたり、これに統合されたりすることが可能であり、種々の機能は、テスタ１０２またはネットワークに接続された要素のような、他のコンポーネントによって実行することができる。

メモリ１１２は、試験されたウエハのウエハマップ上のコンポーネント１０６の位置に対応するｘ−ｙ座標のような、各コンポーネント１０６のコンポーネント識別子を適切に格納する。メモリ１１２内の各ｘ−ｙ座標は、ウエハマップ上の対応するｘ−ｙ座標において特定のコンポーネント１０６に関連付けることができる。各コンポーネント識別子は１つ以上のフィールドを有し、各フィールドは、例えば、ウエハ上の対応するｘ−ｙ位置においてコンポーネント１０６に行われる特定の試験、対応するコンポーネント１０６に関連する統計、または他の関連するデータに対応する。メモリ１１２は、あらゆる基準またはルールに従って、必要に応じてユーザが識別したあらゆるデータを含むように構成することができる。

本実施形態のコンピュータ１０８はまた、別のメモリ（またはメモリ１１２の一部）、ハードドライブアレイ、光ストレージシステム、または他の好適なストレージシステムのような、ストレージシステムへのアクセスも適切に有する。ストレージシステムは、コンピュータ１０８またはテスタ１０２専用のハードドライブのようにローカルとするか、または試験システム１００が接続されるサーバに関連付けられたハードドライブアレイのようにリモートとすることができる。ストレージシステムは、コンピュータ１０８または試験システム１００の他のコンポーネントが使用する、プログラムおよび／またはデータを格納することができる。本実施形態では、ストレージシステムは、例えば製造設備のための主プロダクションサーバを備えたリモートサーバ１１６を経て利用可能な、データベース１１４を備える。データベース１１４は、テスタデータファイル、試験システム１００とそのコンポーネントとを動作させるためのマスタデータファイル、試験プログラム、試験システム１００のためのダウンロード可能な命令などのような、テスタ情報を格納する。加えて、ストレージシステムは、分析のために保持される過去のテスタデータファイルのような、完全なテスタデータファイルを備えることができる。

試験システム１００は、コンポーネント１０６の試験を容易にするために、更なる装置を含むことができる。例えば、本試験システム１００は、コンポーネント１０６を処理して、コンポーネント１０６とテスタ１０２との間のインターフェースを提供するために、従来のデバイスインターフェースボードおよび／またはデバイスハンドラまたはプローバのような、デバイスインターフェース１０４を備える。試験システム１００は、試験システム１００の特定の構成、アプリケーション、環境、または他の関連する因子に従ったコンポーネント１０６の試験を容易にするために、他のコンポーネント、装置、ソフトウェアなどを備えるか、またはこれらに接続することができる。例えば、本実施形態では、試験システム１００は、リモートサーバ１１６のような他のシステムに情報を送信するために、ローカルエリアネットワーク、インターネット、またはインターネットの類のグローバルネットワークのような、適切な通信メディアに接続される。

試験システム１００は、１つ以上のテスタ１０２と、１つ以上のコンピュータ１０８とを備えることができる。さらに、コンピュータ１０８は、テスタ１０２から分離するか、または、例えばテスタ１０２自体の１つ以上のプロセッサ、メモリ、クロック回路などを用いて、テスタ１０２に統合することができる。加えて、様々な機能を異なるコンピュータで行うことができる。

本発明の種々の側面による試験システム１００は、コンポーネント１０６の試験を行って、拡張解析および試験結果を提供する。例えば、拡張解析では、誤った、疑わしい、または特異な結果を識別することができる。試験システム１００はまた、複数のデータセットに基づいて複合データを生成するために、複数のウエハおよび／または多数のウエハから取り込んだデータのような、複数組のデータを解析することもできる。さらに、試験データは、ウエハ上の種々の地点および／またはコンポーネント１０６に対する電気的特性に関連するプロセス制御または電気試験データ（ＥＴ）、コンポーネント１０６に対する合格／不合格のビニング分類を示す１つ以上のウエハのｂｉｎマップデータ、外れ値データおよび外れ値署名データ、および選択した基準に従ったＳＭＡＬＬ、ＭＥＤＩＵＭ、またはＣＲＩＴＩＣＡＬとしての外れ値の分類のような外れ値分類データなどの、複数のソースからのデータを含むことができる。種々のデータはまた、試験システム１００が使用することで、製造、試験、および／または問題、非効率性、ポテンシャルハザード、不安定性、または試験データから識別することができる他の側面のような他のプロセスにおける特性を診断することができる。製品技術者、試験技術者、製造技術者、デバイス技術者のようなオペレータ、または試験データおよび解析を使用する他の要員は、次いで、その結果を用いて、試験システム１００および／または製造システムの検証および／または改善、およびコンポーネント１０６の分類を行うことができる。

本発明の種々の側面による試験システム１００は、コンポーネント１０６の試験に対して、および試験データの収集および解析に対して、拡張試験プロセスを実行する。試験システム１００は、コンピュータ１０８によって実行されるソフトウェアアプリケーションと連動して適切に動作する。本実施形態のソフトウェアアプリケーションは、構成要素、補足データ解析要素、および出力素子を含む拡張試験プロセスを実行するための、複数の要素を含む。試験システム１００はまた、２つ以上のデータセットからのデータを解析するための、合成解析要素を含むこともできる。さらに、試験システムは、試験データを用いて特性およびポテンシャルの問題を識別するための、診断システムを含むことができる。

各ソフトウェア要素は、種々のタスクを行うように、コンピュータ１０８上で動作するソフトウェアモジュールを適切に備える。概して、構成要素は、試験および分析に対して試験システム１００を準備する。補足データ解析要素においては、テスタ１０２および／または他のソースからの出力試験データを解析して、インラインプロセスと連動して、または処理後に、適切にランタイムかつ自動的に補足試験データを生成する。補足試験データは、次いでオペレータまたは、合成解析要素、診断システム、および／または出力要素のような別のシステムに送信される。

試験システム１００は、テストプログラムに従って、例えば従来の一連の試験と連動して試験運転を開始する。テスタ１０２は、ウエハ上の各コンポーネント１０６に、またはウエハ自体に複数の試験を行うことが可能であり、各試験は、同じコンポーネント１０６に複数回繰り返すことができる。試験には、（これに限定されないが）連続性、供給電流、漏れ電流、パラメトリックスタティック、パラメトリックダイナミック、および機能的ストレス試験のような、あらゆる適切な試験が、挙げられる。テスタ１０２からの試験データは、試験データを取得したときの、迅速なアクセス、および補足的な解析のために格納される。データはまた、以降の解析および使用のために長期メモリに格納することもできる。

テスタ１０２が試験結果を生成するとき、各コンポーネント、試験、および繰り返しに対する出力試験データは、テスタ１０２によってテスタのデータファイル内に格納される。各コンポーネント１０６から受信した出力試験データは、テスタ１０２によって分類され、例えば試験上限および下限と比較することによって、特定のｂｉｎに分類するような、コンポーネント１０６の性能を分類し、分類の結果もテスタのデータファイル内に格納される。テスタのデータファイルは、物流データや、テストプログラムの識別データのような、追加情報も含むことができる。テスタのデータファイルは、次いで、標準テスタデータフォーマット（ＳＴＤＦ）ファイルのような出力ファイルでコンピュータ１０８に提供され、メモリ内に格納される。テスタのデータファイルはまた、合成解析要素などによって、後の解析のために、長期ストレージ用のストレージシステム内に格納することもできる。

コンピュータ１０８がテスタのデータファイルを受信すると、補足データ解析要素は、そのデータを解析して拡張出力結果を提供する。コンピュータ１０８は、テスタのデータのあらゆる適切な解析を提供して、あらゆる好適な目的を達成することができる。例えば、補足データ解析要素２０６は、ランタイムで、または後に出力試験データを解析し、データおよび関連するデータの特性を識別するための、統計エンジンを実装することができる。識別されたデータおよび特性は格納することができるが、識別されなかったデータは格納または破棄などして処理することができる。補足データ解析要素２０６は、ランタイムで、インラインプロセスとして、またはオフラインプロセスとして補足データ解析を行うことができる。本補足データ解析は、インラインプロセスとして、すなわち試験プロセス内に組み込まれた自動機能として実行される。

コンピュータ１０８は、生成された解析および出力試験データに対して更なる解析機能を実行することができる。各試験は、少なくとも１つのコンポーネントに対して少なくとも１つの結果を生成する。図２を参照すると、複数のコンポーネントの単一の試験に対する例示的な一組の試験結果は、統計的に類似した値を有する第１の組の試験結果と、第１の組から外れた値によって特徴付けられる第２の組の試験結果とを含む。各試験結果は、試験上限および試験下限と比較することができる。コンポーネントの特定の結果がいずれかの限度を超えていた場合に、そのコンポーネントは、「不良品」として分類されるか、または試験および／または試験結果に従って分類される。

第１の組から外れた第２の組の試験結果のうちのいくつかは、制御限度を超える場合があるが、超えない試験結果もある。この目的について、第１の組から外れているが制御限度を超えていない試験結果、または検出に失敗した試験結果を「外れ値」と称する。外れ値は、概して、一組のデータの残部と矛盾していると思われる見解とみなされる。試験結果の外れ値は、潜在的に信頼できないコンポーネントを識別することのような、適切な目的のために識別および解析することができる。外れ値はまた、種々のポテンシャルの問題および／または試験および製造プロセスの改善のために使用することもできる。

選択されたアルゴリズムに従った各関連データの解析は、大域的および／または混成の外れ値を適切に識別する。特定のアルゴリズムが一連のデータに対しては不適切な場合、コンピュータ１０８は異なるアルゴリズムを選択することができる。コンピュータ１０８は、予め選択された値または動的な値との比較などによって外れ値を指定するために、あらゆる好適な様式で動作することができる。例えば、本発明の種々の側面による外れ値識別システムは、各関連データまたは他のデータに対して選択された統計的関係に基づいて、最初に外れ値に対する感度を自動的に較正する。これらの統計的関係の一部は、次いで、相対的な外れ値の閾値限度を定義するために、閾値またはデータモード、平均値、または中央値、あるいはそれらを組み合わせたものなどの他の参照点と比較される。本実施形態では、統計的関係は、例えば１つ、２つ、３つ、および６つのデータの標準偏差によってスケーリングされて、異なる外れ値の幅を定義する。出力試験データは、次いで、出力試験データを識別および分類するために、外れ値の閾値限度と比較することができる。

コンピュータ１０８は、得られた統計および外れ値、ならびにｘ−ｙウエハマップの座標のような対応する識別子を格納する。選択された統計、外れ値、および／または不良はまた、オペレータへの電子メッセージの送信、ライトタワーの起動、テスタ１０２の停止、またはサーバへの通知のような、通知イベントも起動させる。

本実施形態では、補足データ解析要素２０６は、スケーリング要素２１０と、外れ値分類エンジン２１２とを含む。スケーリング要素２１０は、例えば出力試験データに従って、選択された係数および他の値を動的にスケーリングするように構成される。外れ値分類エンジン２１２は、選択されたアルゴリズムに従って、データ内の種々の外れ値を識別および／または分類するように構成される。

より詳しくは、本実施形態のスケーリング要素は、外れ値の感度を動的にスケーリングするために種々の統計的関係を使用する。スケーリング係数は、スケーリング要素によって計算され、選択された外れ値の感度値を変更するために使用される。スケーリングには、好適な統計的関係のような、あらゆる適切な基準を使用することができる。

外れ値分類エンジン２１２は、コンポーネント１０６における外れ値を識別および／または分類し、試験データおよび／またはあらゆる好適なアルゴリズムに従って、解析結果を出力するように適切に構成される。加えて、外れ値分類エンジン２１２は、外れ値識別アルゴリズムの複数の候補を用いて、出力試験結果の外れ値を識別するのに好適な１つ以上のアルゴリズムを識別するように構成することができる。１つの試験に対して適切である外れ値識別アルゴリズムが別の試験では不適切となり得るように、異なる試験では異なる母集団を生成する。外れ値分類エンジン２１２は、現データのデータ母集団に基づいて、データ母集団間の差異を区別し、１つ以上の外れ値識別アルゴリズムを自動的に選択するように適切に構成される。自動選択では、あらゆる適切な組の外れ値識別アルゴリズムの候補から選択することができ、あらゆる好適な基準および解析に従って選択を行うことができる。

例えば、図３を参照すると、外れ値分類エンジン２１２は、外れ値識別アルゴリズムの選択プロセスを自動的に行うように構成することができる。外れ値識別アルゴリズムの選択プロセスを実行して、大域的および／または混成外れ値を識別するために、１つ以上の適切なアルゴリズムを複数のアルゴリズムから選択することができる。一実施形態では、外れ値分類エンジン２１２は、前処理エンジン３１０と、分類エンジン３１２とを適切に備える。前処理エンジン３１０は、適切にデータを生成して、関連する外れ値識別アルゴリズムの選択を容易にする。分類エンジン３１２は、１つ以上の関連する外れ値識別アルゴリズムを適切に選択して、大域的および／または混成外れ値をそれぞれ識別する。

出力試験データ（例えば、特定の試験から得られたデータ）は、最初に外れ値分類エンジン２１２に提供され、外れ値識別アルゴリズムの種々の候補との互換性に対して、出力試験データを解析する。データは、あらゆる好適な様式で解析して、出力試験データ内の外れ値を識別するための適切なアルゴリズムを識別することができる。例えば、本実施形態では、前処理エンジン３１０は、出力試験データを受信して、メモリに格納された外れ値識別アルゴリズムライブラリから外れ値識別アルゴリズムを取り出すなどによって、利用可能な外れ値識別アルゴリズムを準備する。前処理エンジン３０１０は、複数の利用可能なアルゴリズムを用いて、外れ値に対する出力試験データを解析する。本実施形態では、前処理エンジン３１０は、ユーザまたは他の好適なアルゴリズムの選択によって指定されたアルゴリズムのそれぞれを用いて、出力試験データを解析して、全てのアルゴリズム、および最小値、最大値、平均値、中央値、標準偏差、ＣＰＫ、ＣＰＭのような種々の記述統計によって識別された外れ値等の前処理データを生成する。

アルゴリズムは、業界標準（例、ＩＱＲ、中央値＋／−Ｎ^＊シグマなど）および／または専用、特殊、またはユーザ定義の外れ値識別技術に基づくことができる。外れ値識別アルゴリズムライブラリは、例えば試験下にある特定の製品または行われる試験の特性に従って、ユーザが適切に設定して、例えば外れ値識別アルゴリズムの追加、除去、または編集を行うことができる。異なるアルゴリズムは、正規、対数正規、二峰性、固定、または低ＣＰＫのデータ母集団のような、異なる統計母集団のタイプに適切でありうる。外れ値識別アルゴリズムの候補は、次のような種々のタイプのデータおよび分布に対する好適なアルゴリズムを含むことができる：四分位範囲（ＩＱＲ；ｉｎｔｅｒ−ｑｕａｒｔｉｌｅ ｒａｎｇｅ）正規分布、３シグマ；ＩＱＲ正規分布、６シグマ；ＩＱＲ対数正規、３シグマ；ＩＱＲ対数正規、６シグマ；二峰性アルゴリズム；固定アルゴリズム；低機能アルゴリズム；３シグマ、６シグマ、またはｎシグマに基づくカスタムアルゴリズム；および、種々の感度を有する専用のアルゴリズム。

前処理アルゴリズムの結果は、大域的および／または混成の外れ値の検出のために動的に選択される。本実施形態では、外れ値分類エンジン２１２は、前処理エンジン３１０によって生成された試験結果を解析して、最も有用な、または適用可能な外れ値識別アルゴリズムを識別する。選択された外れ値識別アルゴリズムからのデータは保持することができるが、残りのデータは破棄される。例えば、本実施形態では、分類エンジン３１２は、利用可能な外れ値識別アルゴリズムのそれぞれによって生成された前処理解析の結果を受信する。分類エンジン３０１２は、所定の、および／またはユーザ定義のレシピ主導（ｒｅｃｉｐｅ−ｄｒｉｖｅｎ）のルールのような、あらゆる好適な基準に従って前処理データを解析して、前処理データが種々の基準を満たすどうかを判断する。

このルールでは、例えば、閾値または他の基準に対する、最小値、最大値、平均値、中間値、標準偏差、ＣＰＫ、およびＣＰＭなどの比較統計のような、統計比率または値を用いることができる。例えば、分類エンジン３０１２は、試験結果が少なすぎる、または試験結果が狭すぎる、あるいは二峰性分布であるなどの、特定の状況下にある外れ値検出プロセスをスキップすることができる。このルールは、ユーザが予め選択したり、かつ／または調整または追加して、製品および試験環境の特定の状態に対応したりすることができる。さらに、分類エンジン３１２は、例えば試験結果に特定の分布があることがわかっているときに、特定のタイプの試験に特定のアルゴリズムを適用するように構成することができる。他のルールは、特定の試験が適用可能かどうかを判断することができる。例えば、分類エンジン３１２は、ＣＰＫを閾値と比較することができる。ＣＰＫが閾値以下である場合は、ＩＱＲ正規外れ値識別アルゴリズムを使用することができる。本システムでは、ルールを満たすアルゴリズムからの結果を、外れ値の識別に使用する。その試験のための他のアルゴリズム結果は、適切に無視される。

外れ値分類エンジン２１２はまた、試験結果と補足解析要素２０６が生成した情報とに従って、選択された大域的および／または混成の外れ値およびコンポーネント１０６を識別および分類することもできる。例えば、外れ値分類エンジン２１２は、次のユーザ定義の基準と連動して、コンポーネント１０６を不良（ｃｒｉｔｉｃａｌ）／低品質（ｍａｒｇｉｎａｌ）／良好なパーツのカテゴリに分類するように構成される：ユーザ定義の良好／不良の空間的パターン認識；テスタデータ圧縮に関連するデータの分類；試験設定のインサイチュ感度の認定および解析；テスタがもたらすレベリング解析；パーツの配置および動的な再試験のための動的なウエハマップおよび／または試験片マッピング；または試験プログラム最適化の解析。外れ値分類エンジン２１２は、Ｗｅｓｔｅｒｎ ＥｌｅｃｔｒｉｃルールまたはＮｅｌｓｏｎルールのような、従来のＳＰＣ制御ルールに従ってコンポーネント１０６および関連するデータを分類して、データを特徴付けることができる。

外れ値分類エンジン１１２は、選択された一組の分類限度の計算法を用いてデータを適切に分類する。オペレータの要求に従って、あらゆる適切な分類方法をデータの特徴付けに使用することができる。例えば、本外れ値分類エンジン２１２は、例えば、試験限度、またはデータの中間値、モード、および／または中間値のような、１つ、２つ、３つ、および６つの、閾値から統計的にスケーリングされた標準偏差に対応する値のような選択された閾値を、出力試験データと比較することによって外れ値を分類する。このような外れ値の識別は、データの幅および相対的ノイズに関係なく、あらゆる試験に対してあらゆる識別された外れ値を正規化する傾向がある。

一実施形態では、外れ値の閾値は、データ分布内の選択された中央点に対して非対称的に定義することができる。非対称閾値を使用することで、外れ値の識別への非ガウス分布および／または外れ値の存在の影響を減じることができる。外れ値閾値は、外れ値が影響を及ぼし得るデータに基づいて、中間のようなデータ内の特定の位置、または標準偏差のようなスケールを判断することなく選択することができる。例えば、外れ値閾値は、試験データの度数分布の中央点から閾値を導出するなどによって、データの分布に従って選択することができる。一実施形態では、図１０を参照すると、外れ値閾値を中央点からの標準偏差に基づく代わりに、外れ値閾値１０１０および１０１２は、一連のデータに対する四分位値１０１４および１０１６に従って調整または選択することができる。四分位値は、完全なデータセットの中央値と、分布のエッジとの間の中央値に対応する。

加えて、閾値１０１０および１０１２は、データの分布のような、あらゆる関連する基準に従って調整することができる。一実施形態では、閾値１０１０および１０１２は、第１および第３の四分位地点１０１４および１０１６のような、関連する領域内のデータ分布の一般化された傾斜に従って調整される。例えば、閾値１０１０および１０１２は、関連する領域内のデータの一般的な傾きに逆相関する量によって調整することができる。結果的に、傾きの小さい領域では、閾値１０１０および１０１２は、傾斜の大きい領域よりも中央点から離れている場合がある。したがって、閾値上限１０１０および閾値下限１０１２は、次式に従って選択することができる。

ＵＣＬ＝Ｑ３＋Ｎ＊ＵＱＷ
ＬＣＬ＝Ｑ１−Ｎ＊ＬＱＷ
ここで、ＵＣＬは外れ値の上限閾値１０１０、ＬＣＬは外れ値の下限閾値１０１２、Ｑ１は第１の四分位数、Ｑ２は第３の四分位数、Ｎは定数、ＵＱＷおよびＬＱＷは傾きに対する逆相関に従って割り当てられる重みである。

更なる閾値も同様に定義して、例えば、ＳＭＡＬＬ、ＭＥＤＩＵＭ、またはＬＡＲＧＥの外れ値を定義することができる。閾値およびカテゴリは、あらゆる方法でも定義することができる。例えば、カテゴリ閾値は、例えば中央値からのデータ内の１つ、２つ、３つ、および６つの標準偏差によってスケーリングされた統計的関係に従って判断して、異なる外れ値の振幅を定義することができる。出力試験データは、次いで外れ値の閾値限度と比較して、出力試験データを識別および分類することができる。

別様には、カテゴリは、外れ値閾値に対して定義することができる。種々のカテゴリ間の境界は、外れ値閾値、試験限度、および／または分布のエッジに従うなどの、あらゆる好適な基準に従って選択することができる。例えば、外れ値閾値と試験限度との範囲は、２つ以上のカテゴリ１０２０、１０２２、１０２４に分割することができる。外れ値閾値と試験限度との範囲は、外れ値の異なる大きさを定義するように、等しい領域または異なる領域に分割することができる。本実施形態では、外れ値閾値と分布のエッジとの間の分布の各側部は、３つまたは４つの等しいカテゴリ１０２０、１０２２、および１０２４に分割して、ｌａｒｇｅ、ｍｅｄｉｕｍ、ｓｍａｌｌ、および／またはｔｉｎｙとして外れ値を定義する。種々のカテゴリのサイズおよび数は、分布の両側で同一とするか、または分布の各側部ごとに変化させることができる。

外れ値分類エンジン１１２は、ユーザ定義のルールに基づいて、正規化された外れ値および／または未加工のデータ点の解析および関連付けを行う。外れ値分類エンジン１１２は、各試験に従った分類を適切に行うが、分類は、他の試験と関係なく行うか、または他の試験からの当該のデータと連動して行うことができる。あらゆる好適な基準を、次のような試験の不良および外れ値に基づいたコンポーネントの分類に使用することができる：
ＦＡＩＬ−少なくとも１つの試験でパーツが不合格であった場合；
ＣＲＩＴＩＣＡＬ−少なくとも１つの試験がＬＡＲＧＥの外れ値を有すると識別されるか、または他の合格パーツに対する２つの異なる試験で少なくとも２つのＭＥＤＩＵＭの外れ値を有すると判断された場合；
ＭＡＲＧＩＮＡＬ−少なくとも１つの試験がＭＥＤＩＵＭの外れ値を有すると識別されるか、または他の合格パーツに対する４つの異なる試験で少なくとも４つのＳＭＡＬＬの外れ値を有すると識別された場合；
ＳＭＡＬＬ−少なくとも１つの試験が他の合格パーツに対してＳＭＡＬＬの外れ値を有すると識別された場合；
ＰＡＳＳ−他の合格パーツに対してＳＭＡＬＬ、ＭＥＤＩＵＭ、またはＬＡＲＧＥの外れ値以外の場合。

ｓｍａｌｌ、ｍｅｄｉｕｍ、またはｌａｒｇｅの外れ値の基準は、試験限度および／またはデータの特性に従った閾値のような、あらゆる好適な基準に基づいて選択することができる。

外れ値分類エンジン１１２はまた、局所的外れ値または隠れ外れ値とも称される、データ内の混成外れ値を識別するように構成された、混成外れ値システムを含むことができる。混成外れ値は、データの局所的グループ内の不整合データ点であるが、主母集団の「大域的」外れ値の境界を定義する閾値とは交わらない。図４を参照すると、大域的外れ値が、主データ母集団のデータ分布の外側に位置している。しかし、混成外れ値は、主データ母集団のデータ分布の外側に位置していないが、複数のパラメータを考慮すると、基準から大きく外れる場合がある。したがって、外れ値分類システムは、２つ以上のパラメータに従って、試験データを解析して、外れ値を識別することができる。他のパラメータは、空間的に関連するコンポーネント、相関する試験から得られたデータ、または他の関連するデータのような、あらゆる適切なデータとすることができる。例えば、空間的情報を用いて、そのパラメータは全て主分布内にあるが、より局所的な物理的領域のデータとは一致しないデバイスを認識することができる。加えて、２つのパラメータ間の高レベルの相関を用いることによって、そのパラメータが個々に主分布と一致するが別のパラメータとの関係においては一致しないデバイスを、識別することができる。

２つの試験結果のような、２つのパラメータ間の相関の程度は、あらゆる方法で評価することができる。例えば、相関指数は、２つのデータセット間の最良適合直線を確立するような、線形または対数的回帰法を用いて計算することができる。この線の傾きの大きさが近いほど単一性があり、相関の程度が高くなる。相関の程度を判断するステップは、ＬＡＲＧＥの外れ値を除く、またはマルチサイトの変化を補償するなどの、あらゆる関連する検討材料またはプロセスを含む。

予想される相関の程度を判断すると、試験結果の相関を判断して、根本的な関係に適合しない外れ値を識別することができる。図１１Ａを参照すると、高度な相関を有する試験の場合、全ての結果は、最良適合直線１１１０から特定の距離１１１２の範囲内に存在するものと予想される。図１１Ｂを参照すると、範囲外の結果１１１４がある場合、相関指数全体がわずかに影響を受けるが、試験結果が関連パラメータに対する主分布の範囲内に残っていても、対応するデータ点は、最良適合直線１１１０から予想される距離１１１２の外側に存在する。コンピュータ１０８はまた、例えば２つのパラメータ間の相関の程度、計算リソースの有用性、および最適な分析の要求に従って、相関解析を行うための状況を選択することもできる。

一実施形態では、時間的または空間的局所母集団の類の、より小さな局所母集団からのコンポーネントのような、空間的に関連するコンポーネントのデータと関連するコンポーネントの試験データに照らして、混成外れ値を識別することができる。例えば、図５を参照すると、テスタは、ウエハ上のコンポーネントを逐次的に試験することによってデータを生成する。テスタは、コンポーネント間でプローバを移動させて、各コンポーネントに対する試験データを蓄積する。製造プロセスおよび材料、および試験プロセスの変化によって、プローバがウエハを横断するときに、試験データが定期的にばらつく場合がある（図６）。単一または複数のウエハに対するばらつきの十分外側に位置するデータ点６１０は、通常、大域的外れ値として分類される。データ点６０４が、空間的に隣接するか、または対応するコンポーネントのデータ点とは大きく異なる場合であっても、そのばらつきの範囲内にあるか、またはわずかに超えているデータ点６０４は、通常外れ値としての分類を免れる。

混成外れ値は、隣接したデータ点に対して個々の未処理の、正規化した、または他の処理したデータ点を解析することによって適切に識別される。外れ値分類エンジン１１２は、個々のコンポーネントに対するパラメトリックまたは他のデータを比較することによって、空間的に関連するコンポーネントのデータを用いて計算された混成外れ値閾値に適用することができる。近接解析（ｐｒｏｘｉｍｉｔｙ ａｎａｌｙｓｉｓ）はまた、例えば中央のコンポーネントと隣接するコンポーネントとの間の距離に従って、重みを付けることもできる。近接解析は、複数のデータセットに基づいて複合の表現を生成するために使用される近接解析エンジンの類の、専用の近接解析エンジン、または別のタスクに関連付けられた近接解析エンジンのような、適切なシステムによって行うことができる。

一実施形態では、パラメトリックデータが処理されるときに、外れ値分類エンジン１１２は、選択された数の直前に生成されたデータのような局所的データセットに対する混成外れ値閾値を計算することができる。解析すべきデータは、前のデータ点、後のデータ点、前後両方のデータ点、時間的に関連するデータ点、または空間的に関連するデータ点のような、あらゆる好適なデータを含むことができる。加えて、局所的データセット内のデータ点の数は、所定の数のデータ点を使用するか、またはデータの変動性またはノイジネスのような種々の基準に従ってデータの数を選択するなどの、あらゆる好適な基準に従って選択することができる。データにノイズが多い場合、データ点の数は、例えば局所的データセット内のデータ点の数を増加させることによって自動的に調整して、ノイズの影響を減じることができる。混成外れ値閾値は、例えばファーストインファーストアウト（ＦＩＦＯ）による計算を用いることによって、新たなパラメトリックデータを蓄積して動的に再計算することができる。領域内のコンポーネントに対するパラメトリックデータは、次いで閾値と比較して混成外れ値を識別することができる。

外れ値分類エンジン１１２は、あらゆる好適な機構またはプロセスに従って、混成外れ値６０４を識別するように構成することができる。本実施形態では、混成外れ値６０４は、インラインプロセスと連動して識別される。すなわち、データが生成されたときに、または試験が完了してデータを格納した後にデータを受信し、オペレータの介入または他の動作を行わずに自動的に結果を提供するプロセスを経て、自動的に行うことで識別される。別様には、混成外れ値６０４は、ランタイムで識別するか、または分析を完了してデータを格納した後に識別することができる。外れ値分類エンジン１１２は、テスタ１０２によって実行される試験プログラムに組み込むことができる。試験データは、ｂｉｎ結果またはパラメトリック試験データのような、あらゆるタイプの試験データを含むことができる。さらに、大域的外れ値および／または不良として分類されたコンポーネントのデータを除くことによって、またはマルチサイト試験またはステッパフィールドに関連付けられたセクションのようなウエハの種々のセクションにまたがるデータを正規化するなどによって、データの前処理を行うことができる。

図７を参照すると、本実施形態では、外れ値分類エンジン１１２または他の外れ値識別システムは、最初にデータをフィルタ処理して大域的外れ値を除去し、残りのデータを処理して混成外れ値を識別する（７１０）。外れ値分類エンジン１１２は、フィルタ処理したデータをさらに処理して、例えば既存の変動ソースに照らしてデータを正規化することができる（７１２）。外れ値分類エンジン１１２は、次いで、あらゆる好適な手法または基準に従って混成外れ値を識別することができる。例えば、外れ値分類エンジン１１２は、選択された数およびジオメトリのコンポーネントを包含するウィンドウを選択および／または調整して、空間的に関連するコンポーネントを識別することができる（７１４）。外れ値分類エンジン１１２は、次いで、近傍のコンポーネントの試験データに対応する、コンポーネントの近傍値を判断することができる（７１６）。コンポーネントの試験データは、次いで近傍値に関して解析して、混成外れ値を識別することができる。

加えて、データは正規化することができるが、これは、データ値を調整して、データの一貫性に悪影響を与える既知の原因によって生成され得るデータ内の差異を修正するステップを含む。本実施形態では、混成外れ値システムは、ウエハ上の他の全てのコンポーネントの試験データに関連するそれぞれのコンポーネントの試験データを正規化する。例えば、試験データが、複数のリソースがウエハまたはコンポーネントを試験するマルチサイト試験を用いて生成された場合である。

データは、既知の変動ソースのアドレス指定を行うような、あらゆる好適な様態で正規化することができる。既知の共通矛盾ソースを共有するコンポーネントは、同じ正規化基準を用いて正規化することができる。例えば、本実施形態では、マルチサイト試験環境と連動して生成されるパラメトリック試験データは、次式に従って正規化することができる。

ここで、サイトｎの場合、ｎｏｒｍ＿ｓｉｔｅ_ｎは得られる正規化データであり、ｄａｔａ＿ｓｉｔｅ_ｎは予め正規化されたデータであり、ｍｅｄｉａｎ＿ｓｉｔｅ_ｎは統計の中央値であり、ｉｑｒ＿ｓｉｔｅ_ｎは解析されるサイトの四分位範囲である。正規化データは、あらゆる好適な様態で、例えば各デバイスの正規化データを有する正規化データのデバイスマップ上に格納することができる。

混成外れ値を検出するには、外れ値分類エンジン１１２は、空間的に近いコンポーネントのデータのような局所的データを解析する。例えば、外れ値分類エンジン１１２は、ウエハのジオメトリに従って、混成外れ値を検出することができる。混成外れ値は、あらゆる好適な手法またはプロセスに従って識別することができる。本実施形態では、外れ値分類エンジン１１２は、隣接するコンポーネントのデータを解析する。

一実施形態では、コンピュータ１０８は、ウエハ上の各コンポーネントに対して近接解析を行うことができる。例えば、コンピュータ１０８は、ウエハ上の選択したグループのコンポーネントのデータ内のような、データセット全体のサブセット内の外れ値を識別することによって、混成外れ値を識別するように構成することができる。一実施形態では、図８を参照すると、コンピュータ１０８は、ウエハ８１２上の複数のコンポーネントを選択するために使用することができる、選択されたサイズのパターンまたはウィンドウ８１０を構築することができる。パターンまたはウィンドウ８１０は、ウエハ８１２上のコンポーネントのサブセットのような、関連する空間的領域を定義する境界を含む。ウィンドウ８１０のサイズは、中央のコンポーネントに隣接したコンポーネントの数、試験またはコンポーネントのタイプ、または外れ値解析の所望の感度のような、あらゆる好適な基準に従って選択または調整することができる。ウィンドウの形状も同様に、関連する空間的領域のような、あらゆる好適な基準に従って選択することができる。例えば、ウエハ８１２の曲線の縁の付近のように、対象領域での長方形のウィンドウの使用が容易でない場合は、ウエハ８１２の関連する領域に対応するようにウィンドウ８１０に対して、他の形状を選択することができる。

図９を参照すると、一実施形態では、外れ値分類エンジン１１２は、データセット内の各コンポーネントに適用することができる１つ以上の所定のウィンドウまたはマスクを用いて、関連するウィンドウを確立することができる。ウィンドウのサイズおよび形状は、予め選択されたタイプ、オペレータの指定、または自動選択プロセスに従うなどの、あらゆる好適な基準に従って選択することができる。ユーザは、使用すべきウィンドウのタイプおよびサイズを予め定義するか、または、外れ値分類エンジン１１２が、ウエハのエッジ付近の位置、可能なサンプリング因子、ウエハ上の間隙または喪失データなどのような、関連するコンポーネントを囲む領域の性質に従って、ウィンドウの形状および／またはサイズを自動的に採用することができる。

本実施形態では、外れ値分類エンジン１１２は、解析を行うために、少なくとも４〜８つ（例、５つ）の周囲のコンポーネントのデータのような、選択された量のデータを必要とする。一実施形態では、デバイスは、「良品」デバイスとして分類されるような、１つ以上の選択された基準を満たす場合にのみ、最小値に考慮される。ウィンドウ内の最初の領域が、他の５つの「良品」デバイスよりも少ない場合、外れ値分類エンジン１１２は、そのコンポーネントの数が所要の数になるまで、ウィンドウまたはパターンのサイズおよび／または形状を増加させるように調整することができる。一実施形態では、外れ値分類エンジン１１２は、そのシーケンスが増加サイズのパターンを含む、所定のパターンのシーケンスを適用することによって、ウィンドウまたはパターンを調整する。加えて、外れ値分類エンジン１１２は、最小数の許容可能なデータが利用可能でない場合、解析を中止することができる。例えば、外れ値分類エンジン１１２は、調査中のデバイスが最初のウィンドウ内に少なくとも５つの「ｂｉｎ １」のデバイスを有する場合、ウィンドウのサイズおよび／または形状の分析および／または調整だけを行うことができる。したがって、特定のデバイスのデータは、最初のウィンドウ内の隣接するコンポーネントの十分なデータがある場合にのみ、混成外れ値として分類することができる。他の実施形態では、代わりのデータを使用することができる。例えば、喪失データは、各コンポーネントの理想的な値を表す理想的データと置き換えるか、または喪失データの周辺の周囲のバンド内のコンポーネント、またはロット内の他のウエハ上の対応する位置のコンポーネントのような、ウエハ上の他のコンポーネントに基づいたデータと置き換えることができる。

ウィンドウ８１０は、次いでウエハ８１２の種々の領域に適用され、ウィンドウ８１０内のコンポーネントのデータの中から混成外れ値が識別される。外れ値分類エンジン１１２は、あらゆる適切な基準および手法に従って混成外れ値を識別することができる。例えば、外れ値分類エンジン１１２は、ウエハの最上列左端のコンポーネントのような開始コンポーネントを最初に解析し、逐次的にウエハ上の各コンポーネントのデータを解析することができる。外れ値分類エンジン１１２は、各コンポーネントが解析されるときに、ウィンドウのサイズおよび形状を調整することができる。ウィンドウ内のコンポーネントのデータは、次いでメモリから検索され、例えばウィンドウ内のコンポーネントのデータだけを用いて、外れ値が解析される。

ウィンドウ内の領域は、あらゆる好適な基準または手法に従って、特徴付けおよび／または解析を行うことができる。例えば、外れ値分類エンジン１１２は、周囲のコンポーネントのデータに基づいて、各コンポーネントごとに１つ以上の代表的な近傍値を計算することができる。ウィンドウは、各コンポーネントに適用されて、関連する試験の各コンポーネントの近傍値を生成する。各コンポーネントのデータは、次いで解析して、および／または対応する近傍値と比較して、混成外れ値を識別することができる。

本実施形態では、ウィンドウが各コンポーネントに適用されると、外れ値分類エンジン１１２は、近傍のコンポーネントの値から導出された導出値に対応するウィンドウの近傍値を計算する。例えば、導出値は、算術平均、統計中央値、モード、幾何学的平均、加重平均などのような、複数の値の中央値を表す平均値を含むことができる。本外れ値分類エンジン１１２は、中央値が、しばしば局所的近傍の中央のロバスト推定として作用することができるので、中央値を近傍値として用いている。中央値は、次いで、例えば各デバイスごとに計算した近傍値を格納する近傍値のデバイスマップ上に格納される。外れ値分類エンジン１１２は、ウィンドウを次のコンポーネントに移動させる。加えて、外れ値分類エンジン１１２は、中央のデバイスに対するデバイスの近接性に従うなどして、異なる重みを周囲のコンポーネントのデータに適用することができる。例えば、中央のコンポーネントにより近いコンポーネントのデータは、遠く離れたコンポーネントよりも、近傍値の計算において大きな影響力を有する場合がある。

混成外れ値は、対応する近傍値に照らして各コンポーネントのデータを解析することによって識別することができる。あらゆる好適な外れ値検出システムまたは手法を用いて、混成外れ値を識別することができる。例えば、外れ値分類エンジン１１２は、各コンポーネントの近傍値に基づいて一意の混成外れ値閾値を計算し、未加工データを計算された閾値と比較することができる。別様には、外れ値分類エンジン１１２は、未加工データおよび各コンポーネントの近傍値に基づいて値を生成し、その値を閾値などと比較することができる。識別された混成外れ値の位置は、他の関連する情報とともに格納される。

本実施形態では、図７を参照すると、外れ値分類エンジン１１２は、未加工データおよび一意の近傍値に従って各コンポーネントの残余値を生成し（７１８）、従来の外れ値識別手法を残余に適用して混成外れ値を識別する（７２０）。残余コンポーネントは、あらゆる好適な基準または手法に従って判断することができる。本実施形態では、残余は、次式を用いて計算される。

ｄａｔａ_ｎｏｒｍは正規化された未加工の試験データ値であり、ｄａｔａ_{ｓｍｏｏｔｈ}は関連する近傍値であり、ＲＭＳＥは、ウエハ上の全てのデバイスのような、全ての関連する点の値の平均平方エラーの平方根を定義する。本実施形態では、ＲＭＳＥは、ウエハ上の各デバイスの正規化されたデータと平滑化されたデータとの間の差異の合計の２乗平均平方根である。この式は、標準化されたエラーを生成するが、これは、平均が０で分散が１の正規分布である。

得られる残余データは、例えば各デバイスの残余データ値を格納する残余データのデバイスマップ内に格納することができる。外れ値検出手法は、種々のコンポーネントの残余値に適用して外れ値を識別することができる。例えば、外れ値分類エンジン１１２は、残余値に基づいて制御限度を計算し、限度を超えた残余値を混成外れ値として識別することができる。例えば、外れ値分類エンジン１１２は、１つ以上の外れ値識別アルゴリズムに従って残余データを解析して、残余データ内の外れ値を識別することができる。対応するデバイスは、次いで関連する試験の外れ値として指定することができる。

外れ値分類エンジン１１２はまた、混成外れ値データの更なる解析を行うように構成することもできる。例えば、外れ値分類エンジン１１２は、大域的外れ値に関して上述したように、コンポーネント１０６を複数のカテゴリに分類するような、選択された混成外れ値およびコンポーネント１０６を識別および分類することができる。一実施形態では、混成外れ値は、例えば、ユーザ定義の基準、ユーザ定義の空間的パターン認識、テスタデータ圧縮に対する関連するデータの分類、試験設定のインサイチュ感度の適格性確認および分析、テスタがもたらすレベリング分析、パーツの配置および動的な再試験のための動的なウエハマップおよび／または試験片マッピング、試験プログラム最適化の解析と連動して、ＳＭＡＬＬ、ＭＥＤＩＵＭ、ＬＡＲＧＥの混成外れ値として分類される。

外れ値分類エンジン１１２は、選択された一組の分類限度の計算法を用いて混成外れ値データを適切に分類する。オペレータの要求に従って、あらゆる適切な分類方法を用いて混成外れ値データを特徴付けることができる。本外れ値分類エンジン１１２は、例えば、関連する試験データまたは導出したデータを、１つ、２つ、３つ、および６つの、関連する地理的領域のデータの中間値、モード、および／または中間値のような閾値から統計的にスケーリングされた標準偏差に対応する値のような選択された閾値と比較することによって、混成外れ値を分類する。このような混成外れ値の識別は、データの幅および相対的ノイズに関係なく、あらゆる試験に対してあらゆる識別された混成外れ値を正規化する傾向がある。一実施形態では、外れ値分類エンジン１１２は、中央のコンポーネントの試験データと、複数の局所のコンポーネントの導出値との差異の大きさに従って、混成外れ値を分類することができる。分類は、この差異に基づくか、またはこれから導出された値に従うような、この差異に直接または間接的に基づくことができる。

外れ値分類エンジン１１２は、ユーザ定義のルールに基づいて、正規化された混成外れ値および／または未加工のデータ点を解析して相関させる。混成外れ値分類エンジン１１２は、各試験に従って分類を適切に行うが、他の試験によるデータとは無関係に、または他の試験による当該のデータと連動して行うことができる。ＳＭＡＬＬ、ＭＥＤＩＵＭ、またはＬＡＲＧＥの外れ値の基準は、試験限度および／またはデータの特性に基づく閾値のような、あらゆる好適な基準に従って選択することができる。

一実施形態では、外れ値分類エンジン１１２は、結果から有用な情報が得られそうにないと思われる場合、混成外れ値の検出解析を行わないようにするか、または当該の解析の結果を廃棄することができる。例えば、外れ値分類エンジン１１２は、特定の試験の試験データ点の数を、２０のような閾値と比較することができる。解析の試験データ点の閾値数よりも少なかった場合、外れ値分類エンジン１１２は、混成外れ値の解析を行わないようにすることができる。同様に、検出された混成外れ値の数が１０のような閾値を超えた場合、混成外れ値の解析の結果は、混成外れ値とみなすには結果が多すぎるとして廃棄することができる。別様には、外れ値分類エンジン１１２は、結果を実行および／または保持することができるが、データの潜在的に疑わしい性質を示すように、その結果に注釈を付けることができる。

外れ値分類エンジン１１２はまた、不良および外れ値のクラスタに近いコンポーネントを識別することもできる。同じ領域内のこのようなコンポーネントは、その領域内の外れ値および不良に類似した問題を呈する可能性があるが、その問題は、試験データの最初の解析時には識別されない場合がある。したがって、外れ値分類エンジン１１２は、不良データ、大域的（または単一パラメータの）外れ値データ、および／または混成（または複数のパラメータの）外れ値データを用いて、「不良近傍内の良品のダイ」を識別する場合がある。

外れ値分類エンジン１１２は、あらゆる適切な様態で、関連する近傍および隣接するコンポーネントを識別することができる。例えば、図１２を参照すると、外れ値分類エンジン１１２は、不良データ１２１０、大域的外れ値データ１２１２、および／または混成外れ値データ１２１２を解析することによって、関連する近傍を最初に識別して、隣接するか、または他の空間的に関連するコンポーネントのグループ１２１４を識別することができる。グループ１２１４周辺の近傍は、グループ１２１４のサイズ、形状、または位置のような、あらゆる基準に従って定義することができる。加えて、近傍は、不良１２１０、大域的外れ値１２１２、または混成外れ値１２１２のグループ１２１４のような、１つ以上のタイプのデータに従って定義することができる。本実施形態では、外れ値分類エンジン１１２は、不良１２１０、大域的外れ値１２１２、および混成外れ値１２１２を有する隣接するコンポーネント１０６の最小数の試験結果を含む近傍を識別する。

関連する近傍を識別すると、外れ値分類エンジン１１２は、不良１２１０、大域的外れ値１２１２、および混成外れ値１２１２を含まない、空間的に関連する試験結果を識別する。例えば、グループ１２１４内の少なくとも１つ、２つ、または３つのコンポーネント１０６に隣接した、またはグループ１２１４から離れて選択された距離の範囲内のコンポーネント１０６の試験結果を更なる解析に指定することができる。識別されたコンポーネント１０６は、例えば「疑わしい」コンポーネント１２１６などとして指定することができる。識別された疑わしいコンポーネント１２１６および試験結果は、さらに解析し、外れ値として指定し、および／または報告することができる。

コンピュータ１０８は、適切にランタイムで、またはインラインプロセスと連動して、試験システム１００からデータを収集し、プリンタ、データベース、オペレータインターフェース、または他の所望の宛先に出力レポートを提供する。グラフィック、数値的、テキスト、印刷、または電子形態のような、あらゆる形態を用いて、以降の使用または解析のための出力レポートを示すことができる。出力要素２０８は、テスタ１０２からの選択された出力試験データ、および補足的なデータ解析の結果を含む、選択され内容を提供することができる。

本実施形態では、出力要素２０８は、オペレータおよび補足的なデータによって指定された出力試験データからのデータの選択を適切に提供する。コンピュータ１０８はまた、外れ値に関連する情報、または補足的なデータ解析要素によって生成または識別された他の情報を含むように構成することもできる。そのように構成した場合、外れ値ごとに、ｘ−ｙ座標のような識別子も組み合わされる。オペレータが選択したコンポーネントの座標および外れ値は、出力レポートにマージされ、本実施形態では、ネイティブなテスタデータの出力フォーマットである。得られたデータを動的なデータログにマージすることによって、要約統計への元のデータの圧縮、およびより小さなネイティブのテスタデータファイルへのクリティカルな未加工データファイルの圧縮が容易になり、以降の顧客の解析に対するデータの整合性を損なわずに、データ格納容量が減じられる。

取り出された情報は、次いで適切に格納される。レポートは、あらゆる適切なフォーマットまたは様式で作成することができる。本実施形態では、出力レポートは、ウエハ上の選択されたコンポーネントおよびそれらの分類を示すウエハマップを有する、動的なデータログを適切に含む。さらに、出力要素２０８は、外れ値に対応するウエハマップのデータを、予め選択されたコンポーネントのウエハマップ上に重ね合わせることができる。加えて、出力要素は、サンプリングした出力として、ウエハマップまたはバッチからの外れ値だけを含むことができる。出力レポートはまた、データ内の外れ値の発生および相関関係をハイライトするように、データの一連のグラフィック表現を含むこともできる。

出力レポートは、勧告および勧告に対する補助データをさらに含むことができる。例えば、２つの試験が同一組の不良および／または外れ値を生成しそうな場合、出力レポートは、その試験が冗長であるという提案、およびその試験のうちの１つを試験プログラムから省略すべきとの勧告を含むことができる。勧告には、試験が同じ結果であることを示すデータのグラフィック表現を含むことができる。

出力レポートは、例えば、ローカルワークステーションへの出力、サーバへの送信、アラームの起動などのあらゆる好適な様式、または他の適切な様式で提供することができる（ステップ７１２）。一実施形態では、出力レポートは、出力がシステムのオペレーションまたは主サーバへの送信に影響を及ぼさないように、オフラインで提供することができる。本構成では、コンピュータ１０８は、データファイルをコピーして、解析を行い、例えばデモまたは検証のための結果を生成する。

図とともに記述される特定の実施形態は、本発明およびその最良の形態を例示したに過ぎず、いずれにしても本発明の範囲を制限することを意図するものではない。簡潔にするため、本システムの従来の信号処理、データ転送、および他の機能的側面（および本システムの個々のオペレーティングコンポーネントのうちのコンポーネント）について詳述していない場合がある。さらに、種々の図面に示される接続線は、種々の要素間の例示的な機能的関係および／または物理的結合を示すことを意図するものである。実用的なシステムにおいては、多数の代替的となる、または更なる機能的関係または物理的接続が存在する場合がある。好適な実施形態を参照して本発明を上記に説明した。しかし、本発明の範囲から逸脱することなく、変更および改良を行うことができる。これらの、および他の変更または改良は、以下の請求項に表されるように、本発明の範囲に含まれることを意図するものである。

Claims (21)

1. ウエハ上に製造された複数のコンポーネントに対する試験データを解析する試験データ解析システムであって、
   該試験データを格納するように構成されたメモリと、
   該メモリへのアクセスを有する混成外れ値システムであって、複数の選択されたコンポーネントの各々に対する複数の試験データの各々に対し、
   中央のコンポーネントとしてのコンポーネントを選択することと、
   該中央のコンポーネントの近くの局所的な領域における複数の局所的なコンポーネントを識別することと、
   該複数の局所的なコンポーネントに対する試験データの導出値を決定することと、
   該中央のコンポーネントに対する試験データを該複数の局所的なコンポーネントに対する導出値と比較することと、
   該複数の局所的なコンポーネントに対する導出値との該中央のコンポーネントに対する試験データの比較にしたがって、該中央のコンポーネントに対する試験データが混成外れ値を表しているか否かを決定することと
   を実行するように構成されている、試験データ解析システム。
2. 前記混成外れ値システムは、各コンポーネントに対する試験データを正規化するように構成されている、請求項１に記載の試験データ解析システム。
3. 前記混成外れ値システムは、前記中央のコンポーネントに対する正規化された試験データを前記複数の試験コンポーネントに対する導出値と比較することにより、該中央のコンポーネントに対する試験データを該複数の試験コンポーネントに対する導出値と比較するように構成されている、請求項２に記載の試験データ解析システム。
4. 前記試験データは、マルチサイトの試験を用いて生成された試験データを含み、前記混成外れ値システムは、各コンポーネントに対する試験データを正規化することにより、該マルチサイトの試験によって引き起こされる不整合を補償するように構成されている、請求項２に記載の試験データ解析システム。
5. 前記中央のコンポーネントに対する試験データが前記混成外れ値を表しているか否かを識別する前に、該試験データから大域的な外れ値を除去するように構成されている外れ値識別システムをさらに含む、請求項１に記載の試験データ解析システム。
6. 前記導出値は、前記複数の局所的なコンポーネントに対する平均値を含む、請求項１に記載の試験データ解析システム。
7. 前記混成外れ値システムは、パターンにしたがって前記複数の局所的なコンポーネントにおけるコンポーネントを識別するように構成されており、該混成外れ値システムは、選択された基準を満たす最小数のコンポーネントが前記パターン内に含まれるまで、該パターンのサイズを自動的に増大させるように構成されている、請求項１に記載の試験データ解析システム。
8. ウエハ上に製造された複数のコンポーネントに対する試験データを解析するための、コンピュータに実装される方法であって、
   中央のコンポーネントとしてのコンポーネントを選択することと、
   該中央のコンポーネントの近くの局所的な領域における複数の局所的なコンポーネントを識別することと、
   該複数の局所的なコンポーネントに対する試験データの導出値を決定することと、
   該中央のコンポーネントに対する試験データを該複数の局所的なコンポーネントに対する導出値と比較することと、
   該複数の局所的なコンポーネントに対する導出値との該中央のコンポーネントに対する試験データの比較にしたがって、該中央のコンポーネントに対する試験データが混成外れ値を表しているか否かを決定することと
   を含む、試験データを解析するためのコンピュータに実装される方法。
9. 前記ウエハ上の各コンポーネントに対する試験データを正規化することをさらに含む、請求項８に記載の試験データを解析するためのコンピュータに実装される方法。
10. 前記中央のコンポーネントに対する試験データを前記複数の試験コンポーネントに対する導出値と比較することは、該中央のコンポーネントに対する正規化された試験データを該複数の試験コンポーネントに対する導出値と比較することを含む、請求項９に記載の試験データを解析するためのコンピュータに実装される方法。
11. 前記試験データは、マルチサイトの試験を用いて生成された試験データを含み、
    各コンポーネントに対する試験データを正規化することは、該試験データを正規化することにより、該マルチサイトの試験によって引き起こされる不整合を補償することを含む、請求項９に記載の試験データを解析するためのコンピュータに実装される方法。
12. 前記導出値は、前記複数の局所的なコンポーネントに対する平均値を含む、請求項８に記載の試験データを解析するためのコンピュータに実装される方法。
13. 前記中央のコンポーネントに対する試験データが前記混成外れ値を表しているか否かを識別する前に、該試験データから大域的な外れ値を除去することをさらに含む、請求項８に記載の試験データを解析するためのコンピュータに実装される方法。
14. 前記複数の局所的なコンポーネントにおけるコンポーネントを識別することは、パターンにしたがって該複数の局所的なコンポーネントにおけるコンポーネントを識別することを含み、選択された基準を満たす最小数のコンポーネントが該パターン内に含まれるまで、該パターンのサイズを自動的に増大させることをさらに含む、請求項８に記載の試験データを解析するためのコンピュータに実装される方法。
15. コンピュータにウエハ上のコンポーネントに対する試験データを解析させるように構成されているコンピュータプログラムであって、該プログラムは、該コンピュータに、
    中央のコンポーネントとしてのコンポーネントを選択することと、
    該中央のコンポーネントの近くの局所的な領域における複数の局所的なコンポーネントを識別することと、
    該複数の局所的なコンポーネントに対する試験データの導出値を決定することと、
    該中央のコンポーネントに対する試験データを該複数の局所的なコンポーネントに対する導出値と比較することと、
    該複数の局所的なコンポーネントに対する導出値との該中央のコンポーネントに対する試験データの比較にしたがって、該中央のコンポーネントに対する試験データが混成外れ値を表しているか否かを決定することと
    を実行させる、コンピュータプログラム。
16. 前記プログラムは、前記コンピュータに、
    前記ウエハ上の各コンポーネントに対する試験データを正規化すること
    を実行させる、請求項１５に記載のコンピュータプログラム。
17. 前記プログラムは、前記コンピュータに、
    前記中央のコンポーネントに対する正規化された試験データを前記複数の試験コンポーネントに対する導出値と比較することにより、該中央のコンポーネントに対する試験データを該複数の試験コンポーネントに対する導出値と比較すること
    を実行させる、請求項１６に記載のコンピュータプログラム。
18. 前記試験データは、マルチサイトの試験を用いて生成された試験データを含み、前記混成外れ値システムは、各コンポーネントに対する試験データを正規化することにより、該マルチサイトの試験によって引き起こされる不整合を補償するように構成されている、請求項１６に記載のコンピュータプログラム。
19. 前記導出値は、前記複数の局所的なコンポーネントに対する平均値を含む、請求項１５に記載のコンピュータプログラム。
20. 前記プログラムは、前記コンピュータに、
    前記中央のコンポーネントに対する試験データが前記混成外れ値を表しているか否かを識別する前に、該試験データから大域的な外れ値を除去すること
    を実行させる、請求項１５に記載のコンピュータプログラム。
21. 前記複数の局所的なコンポーネントにおけるコンポーネントは、パターンにしたがって選択され、前記プログラムは、前記コンピュータに、
    選択された基準を満たす最小数のコンポーネントが前記パターン内に含まれるまで、該パターンのサイズを自動的に増大させること
    を実行させる、請求項１５に記載のコンピュータプログラム。

Images