JP2003515942A - Power-assisted automatic monitoring and classifier fabrication tool for semiconductor defects - Google Patents

Power-assisted automatic monitoring and classifier fabrication tool for semiconductor defects

Info

Publication number
JP2003515942A
JP2003515942A JP2001541837A JP2001541837A JP2003515942A JP 2003515942 A JP2003515942 A JP 2003515942A JP 2001541837 A JP2001541837 A JP 2001541837A JP 2001541837 A JP2001541837 A JP 2001541837A JP 2003515942 A JP2003515942 A JP 2003515942A
Authority
JP
Japan
Prior art keywords
images
features
training set
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001541837A
Other languages
Japanese (ja)
Other versions
JP2003515942A5 (en
Inventor
ベーカー,デービット
バナジー,サイバル
スミス,イアン
Original Assignee
ケイエルエイ−テンコー コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ケイエルエイ−テンコー コーポレイション filed Critical ケイエルエイ−テンコー コーポレイション
Publication of JP2003515942A publication Critical patent/JP2003515942A/en
Publication of JP2003515942A5 publication Critical patent/JP2003515942A5/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

(57)【要約】 ユーザが、画像の特徴に基づいて自然なグルーピングによって編成された画像欠陥を見ることを任意選択で可能する方法およびシステムである。自然なグルーピングは、ユーザが、画像のいくつかまたは全てを、画像のトレーニング・セットにおけるクラスに編成することをより容易にする。特徴ベクトルがトレーニング・セットにおける各画像から抽出されて、自動分類器ソフトウェア・モジュールによる使用のために、そのユーザ指定クラスと共に記憶される。自動分類器は記憶された特徴ベクトルおよびクラスを用いて、トレーニング・セットにはない画像を自動的に分類する。自動的に分類された画像が、ユーザによって手動で分類された画像と一致しない場合には、ユーザは、自動分類器からよりよい結果が得られるまで、トレーニング・セットを修正する。システムはフィードバックを、検査システムのセットアップおよび微調整を支援するように設計された検査システムに提供することができる。 (57) SUMMARY A method and system that optionally allows a user to view image defects organized by natural grouping based on image features. Natural grouping makes it easier for the user to organize some or all of the images into classes in a training set of images. A feature vector is extracted from each image in the training set and stored with its user-specified class for use by the automatic classifier software module. The automatic classifier uses the stored feature vectors and classes to automatically classify images that are not in the training set. If the automatically classified image does not match the image manually classified by the user, the user modifies the training set until better results are obtained from the automatic classifier. The system can provide feedback to an inspection system designed to assist in setting up and fine-tuning the inspection system.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】 関連出願 本発明は、1999年11月29日に出願された、Bakker、Baner
jee、およびSmithほかの「Power Assisted Autom
atic Supervised Classifier Creation
Tool for Semiconductor Defects」という名称
の、米国仮出願第60/167,955号に対する、35U.S.C.§119
(e)の下での優先権を主張する。
Related Application The present invention was filed on Nov. 29, 1999, Bakker, Baner.
Jee and Smith et al., "Power Assisted Autom"
atic Supervised Classifier Creation
35 US Pat. No. 60 / 167,955 entitled “Tool for Semiconductor Defects”. S. C. § 119
Claim priority under (e).

【0002】 以下の出願は本願に関連しており、参照により本明細書中に組み込む。 1.1997年10月27日に出願された、Hardikarほかの米国出願
第08/958,288号。 2.1997年10月27日に出願された、Hardikarほかの米国出願
第08/958,780号。
The following applications are related to the present application and are incorporated herein by reference: 1. US Application No. 08 / 958,288 to Hardikar et al., Filed October 27, 1997. 2. US Application No. 08 / 958,780 to Hardikar et al., Filed October 27, 1997.

【0003】 以下の米国特許は本願に関連しており、参照により本明細書中に組み込む。 1.1993年7月6日に発行され、Bakerほかに付与された米国特許第
5,226,118号。
The following US patents are related to the present application and are incorporated herein by reference: 1. U.S. Pat. No. 5,226,118 issued July 6, 1993 and issued to Baker et al.

【0004】 (発明の背景) 発明の分野 本発明は一般的にソフトウェア・プログラムに関し、より一般的にはソフトウ
ェア制御の光学、eビーム、または他の種類の半導体ウェハ用の検査システムに
関する。
BACKGROUND OF THE INVENTION Field of the Invention The present invention relates generally to software programs, and more generally to software controlled inspection systems for optical, e-beam, or other types of semiconductor wafers.

【0005】 背景技術の説明 新しい材料、方法、および工程が半導体製造に導入されるにつれて、歩留まり
に大きく影響し得る新たな欠陥が製造工程に出現している。これらの変化は、半
導体製造業者が、その製造工程を詰めて歩留まり学習曲線を短縮するために、よ
り速く正確にかつ一貫してこれらの歩留まりを制限する欠陥を検出し分類する新
しい技術を採用することを求めている。同時に、製品のライフサイクルが収縮し
ていることや、時間対市場の要求が短縮されていることは、製造工場がその収益
性目標を満たすために、新しい製品に関するその製品ランプ・アップを速めるこ
とを強いている。そしてこれは、より速い自動欠陥分類(ADC)セットアップ
に対する必要性が、製造工場がランプ工程を遅くすることなく、ADCの利益を
獲得できることを確実にさせている。
2. Description of the Background Art As new materials, methods and processes are introduced into semiconductor manufacturing, new defects are emerging in the manufacturing process that can significantly impact yield. These changes employ new technologies that semiconductor manufacturers can use to detect and classify defects that limit their yields faster, more accurately and consistently in order to pack their manufacturing process and shorten the yield learning curve. Is seeking. At the same time, the shrinking product life cycle and reduced time-to-market requirements help manufacturing plants speed up their product ramp-up for new products to meet their profitability goals. Have to And this ensures that the need for faster automatic defect classification (ADC) setup allows the manufacturing plant to gain the ADC's benefits without slowing down the ramp process.

【0006】 自動欠陥分類を備えた既存の光学検査システムは、自動分類システムをセット
アップするために、疑われる欠陥を探して人間が半導体ウェハを視覚的に検査し
て、欠陥の種類や原因を分類することを求めている。この分類を行うために、人
間は、任意の順序で提示される数百の画像を区分しなければならない。この工程
には何時間もかかり、製造のコストを増加させる。さらに、熟練した人間のオペ
レータでさえも幾分か遅く、誤りを犯しがちである。
Existing optical inspection systems with automatic defect classification set up an automatic classification system in which a human visually inspects a semiconductor wafer looking for suspected defects and classifying the type and cause of the defects. Wants to do. To make this classification, humans must segment hundreds of images presented in any order. This process takes hours and adds to the cost of manufacturing. Moreover, even skilled human operators are somewhat slow and error prone.

【0007】 (発明の概要) 説明する本発明の実施形態は、欠陥のある画像を受け取って、ユーザが提示さ
れた欠陥の種類を分類するのを支援する。グラフィカル・ユーザ・インターフェ
ースは、人間のユーザが自動監視分類器ソフトウェアを介して、欠陥のある画像
を手動で分類することを可能にし、さらに、ユーザが自分の手動の分類を、自動
監視分類器ソフトウェアによって判断された分類と対照することを可能にする。
半導体欠陥分類用の自動監視分類器を製作するために、人間のユーザは次の2つ
の手動のタスクを行わなければならない。
SUMMARY OF THE INVENTION The described embodiments of the invention receive a defective image and assist the user in classifying the type of defect presented. The graphical user interface allows a human user to manually classify defective images through the auto-monitoring classifier software, and further allows the user to manually classify his or her own manual classification. Allows to contrast with the classification determined by.
In order to fabricate an automated monitoring classifier for semiconductor defect classification, a human user has to perform two manual tasks:

【0008】 (i)良好な分類スキーム(ユーザがどの画像をどの分類に入れるか)の作成
。 (ii)この分類スキームを備えた自動監視分類器に関する良好なトレーニン
グ・セットの例の作成。
(I) Creating a good classification scheme (which images a user puts into which classification). (Ii) Creating a good training set example for an auto-supervised classifier with this classification scheme.

【0009】 説明する本発明の実施形態は、人間のユーザが記録時間にこれらの目的の両方
を達成することを補助するツールを提供する。 本明細書中で説明する実施形態は、切れ目なく互いに相互作用する次の4つの
主要な構成要素を含む。
The described embodiments of the invention provide tools that assist human users in achieving both of these goals at the time of recording. The embodiments described herein include the following four main components that interact seamlessly with one another:

【0010】 (i)イメージ・ギャラリー:これは、画像のリストを系統立てられた様式で
表示するグラフィカル・インターフェースである。 (ii)動的自動監視分類器:欠陥のリストを与えられると、ユーザは欠陥の
任意のセットを手動で分類またはトレーニングすることが可能になる。残りの欠
陥は、それに応じて動的に分類され、その結果得られる分類器の全体的パフォー
マンスが計算される。
(I) Image Gallery: This is a graphical interface that displays a list of images in a systematic fashion. (Ii) Dynamic self-monitoring classifier: Given a list of defects, allows the user to manually classify or train any set of defects. The remaining defects are dynamically classified accordingly and the overall performance of the resulting classifier is calculated.

【0011】 (iii)動的分類器制御およびパフォーマンス・ツール:これは、ユーザが
分類器のパラメータを視覚化して、さらに最適化することを可能にする。(ii
)におけるように、その結果得られるパフォーマンスは直ちに視認できるように
なる。
(Iii) Dynamic Classifier Control and Performance Tool: This allows the user to visualize the classifier parameters for further optimization. (Ii
), The resulting performance will be immediately visible.

【0012】 (iv)未監視自動分類器(自然なグルーピング):これは、欠陥のある画像
の点からフィーチャ・スペースのレイアウトおよび構造をユーザが視覚化するこ
とを可能にする方法で、画像をグルーピングして、ユーザが、良好な分類スキー
ムおよび良好なトレーニング・セットの例の両方を作成することを助ける。
(Iv) Unsupervised automatic classifier (natural grouping): This is a method that allows the user to visualize the layout and structure of the feature space in terms of defective images. Grouping helps the user to create both good classification schemes and good training set examples.

【0013】 (好ましい実施形態の詳細な説明) 説明する本発明の実施形態は、外部源からシステムに入力された欠陥のある画
像を分類する際にユーザを支援する。たとえば、画像は、走査型電子顕微鏡(S
EM)、KLA−Tencorの2132検査ツールなどの欠陥検査システム、
または画像を生成してその中の誤りを検出するために用いられるあらゆる類似の
機器から受け取ることができる。特定の実施形態において、画像は2つ以上の種
類の入力源から来ることがあり得る。たとえば、画像はSEMおよび2132検
査ツールの両方から受け取ることができる。異なった入力源から受け取った異な
る種類の画像は、欠陥分類の際の助けとなるが、これは、分類される欠陥に関し
て、より多くの情報を生成する異なった種類の画像が提供されるからである。画
像はウェハ上の点の位置でもあり得る。
Detailed Description of the Preferred Embodiments The described embodiments of the present invention assist a user in classifying defective images input to the system from external sources. For example, the image is a scanning electron microscope (S
EM), defect inspection system such as KLA-Tencor 2132 inspection tool,
Or it can be received from any similar device used to generate an image and detect errors in it. In particular embodiments, images may come from more than one type of input source. For example, images can be received from both SEM and 2132 inspection tools. Different types of images received from different sources help in defect classification because they provide different types of images that produce more information about the defects to be classified. is there. The image can also be the location of points on the wafer.

【0014】 図1(a)は、半導体光学、eビーム、または他の種類の検査システムの概略
を示したブロック図である。上記のように、欠陥のある画像は、光学、eビーム
、または他の種類の検査システム102、SEMまたは2132検査ツールなど
の外部源から受け取ることが好適である。欠陥のある画像から分類システム10
4に欠陥が発生したことがわかるが、種類または原因に関する欠陥の分類はしな
い。欠陥が分類された後に、以下で説明するように、欠陥はKLA−Tenco
rのKLArityシステムなどの分析器106に送られるが、その例は上記で
参照した米国特許出願第08/958,288号および第08/958,780
号に記載されている。
FIG. 1A is a schematic block diagram of a semiconductor optics, e-beam, or other type of inspection system. As mentioned above, the defective image is preferably received from an external source such as an optical, e-beam, or other type of inspection system 102, SEM or 2132 inspection tool. Classification system from defective images 10
It can be seen that a defect occurred in No. 4, but the defect regarding the type or cause is not classified. After the defects have been classified, the defects may be KLA-Tenco, as described below.
to an analyzer 106, such as the Klarity system of R.r., an example of which is referenced above in US patent application Ser. Nos. 08 / 958,288 and 08 / 958,780.
No.

【0015】 図1(b)は、検査セットアップのために本発明を用いた、半導体光学、eビ
ーム、または他の種類の検査システムの概略を示したブロック図である。上記の
ように、欠陥のある画像は、光学、eビーム、または他の種類の検査システム1
02、SEMあるいは2132検査ツールなどの外部源から受け取ることが好適
である。これらの画像は、エッチング、フォトリソグラフィ、堆積、CMP、ま
たは他の何らかの製造工程に関連し得る。欠陥のある画像から分類システム10
4に欠陥が発生したことがわかるが、種類および原因に関する欠陥の分類はしな
い。分類された後に、下記のように、欠陥はKLA−TencorのKLAri
tyシステムなどの分析器106に送られるが、その例は上記で参照した米国特
許出願第08/958,288号および08/958,780号に記載されてい
る。分析器106の出力は、検査システムを微調整するためにフィードバックと
して用いる。
FIG. 1 (b) is a schematic block diagram of a semiconductor optics, e-beam, or other type of inspection system that uses the present invention for inspection setup. As mentioned above, the defective image may be detected by an optical, e-beam, or other type of inspection system 1.
02, SEM or 2132 inspection tools are preferred. These images may be associated with etching, photolithography, deposition, CMP, or some other manufacturing process. Classification system from defective images 10
It can be seen that a defect occurred in No. 4, but the defect is not classified with respect to type and cause. After being categorized, the defects are KLA-Tencor's KLAri as described below.
The output is sent to an analyzer 106, such as a ty system, an example of which is described in US patent application Ser. Nos. 08 / 958,288 and 08 / 958,780 referenced above. The output of analyzer 106 is used as feedback to fine tune the inspection system.

【0016】 たとえば、発見された誤りの数および所望の正確性に応じて、システムの感度
を上げたり下げたりするために、検査システムを微調整することができる。たと
えば、システムがあまりにも多くの誤りまたは、特定の製造工程に関連しない誤
りを発見している場合には、システムを微調整してその感度を下げることができ
、検出される誤りがより少なくなる。別の例として、十分な誤りが検出されてい
ない場合、または特定の種類の誤りが検出されていない場合には、より多くの誤
りまたは所望の種類の誤りの検出につながるデータを検出するために、さらに感
度がよくなるように検査システムを調節することができる。特定の実施形態にお
いて、感度を上げると、誤り検出が幾何級数的に増加することが観察されている
。かかるシステムにおいて、ADCへのフィードバックを用いて、照明、感度ま
たは感知(光学、eビームなど)、検出の閾値、フィルタリング、および/また
は偏光を含むがこれらに限定されない、検査パラメータを制御することができる
The inspection system can be fine-tuned to increase or decrease the sensitivity of the system, for example, depending on the number of errors found and the desired accuracy. For example, if the system finds too many errors, or errors that are not related to a particular manufacturing process, you can fine-tune the system to reduce its sensitivity and detect fewer errors. . As another example, if not enough errors have been detected, or if a particular type of error has not been detected, to detect data that leads to the detection of more or desired types of errors. , The inspection system can be adjusted for even greater sensitivity. In certain embodiments, increasing sensitivity has been observed to increase error detection in a geometrical manner. In such a system, feedback to the ADC may be used to control inspection parameters including, but not limited to, illumination, sensitivity or sensing (optical, e-beam, etc.), detection thresholds, filtering, and / or polarization. it can.

【0017】 別の実施形態においては、フィードバックを用いて製造工程を制御する。たと
えば、特定の機械からあまりにも多くの誤りが検出された場合には、分析部から
のフィードバックを用いてその工程またはその機械を停止することができる。同
様に、静的または動的の何れかで、フィードバックを用いてロット(lot)を最低
の誤り率の機械または工程に向け直すこともできる。
In another embodiment, feedback is used to control the manufacturing process. For example, if too many errors are detected on a particular machine, the feedback from the analyzer can be used to shut down the process or the machine. Similarly, feedback, either static or dynamic, can be used to redirect the lot to the lowest error rate machine or process.

【0018】 別の実施形態においては、別個の工程の代わりに、検査工程中にリアルタイム
で検査および分析/分類工程を行う。(この一例を図10(c)のシステムに示
した。)かかるシステムにおいて、検査システム1052をシステム1004の
内部に示し、それが分析器1056と同じシステムの一部であることを表した。
In another embodiment, instead of a separate step, the inspection and analysis / classification step is performed in real time during the inspection step. (An example of this is shown in the system of FIG. 10 (c).) In such a system, the inspection system 1052 is shown inside the system 1004, indicating that it is part of the same system as the analyzer 1056.

【0019】 図2は、人間のユーザの、検出分類器ソフトウェアの実施形態との相互作用を
示したブロック図である。ウェハ欠陥のある画像などの画像のワーキング・セッ
ト208が、ユーザの検討のために表示されている(図3に関連して以下で説明
するように)。人間のユーザ210は、ワーキング・セットにおいて欠陥のある
画像を検討することができる。
FIG. 2 is a block diagram illustrating the interaction of a human user with an embodiment of detection classifier software. A working set of images 208, such as an image with wafer defects, is displayed for user review (as described below in connection with FIG. 3). A human user 210 can review defective images in the working set.

【0020】 人間のユーザは、画像が自然のグルーピング212によって編成され、この編
成に従って表示されるように要求することもできる。人間は、画像によって表現
された欠陥の種類に関するその人間の理解に応じて、欠陥のある画像を手動でク
ラス(「ビン」とも呼ばれる)に分類することができる。現在、Kohonen
マッピング技術を利用して、欠陥のある画像に関して抽出された特徴を用いて欠
陥のある画像を自然にグルーピングしている。Kohonenマッピングは、た
とえば、T.Kohonen、「The Self−Organizing M
ap」、Proceedings of the IEEE、Vol.78、1
990年、1464〜1480ページにおいて説明されており、これは参照によ
り本明細書に組み込む。自然なグルーピングのための他の方法、N.Otsu、
「A Threshold Selection Method from G
ray−Level Histograms」、IEEE Trans.Sys
tems,Man,and Cybernetics、Vol.SMC−9、1
979年、62〜66ページ(参照により本明細書に組み込む)に記載されてい
る方法であるK平均、あるいは共通の特徴に従って欠陥のある画像をグルーピン
グする他の任意の適切な技術または方法などを用いることができる。説明した実
施形態において、自然なグルーピング212および自動分類器204の両方が同
じ特徴セットを用いている。
A human user can also request that images be organized by natural grouping 212 and displayed according to this organization. Humans can manually classify defective images into classes (also called "bins") depending on their understanding of the type of defect represented by the image. Currently Kohonen
Mapping techniques are used to naturally group defective images using the features extracted for the defective images. Kohonen mapping is described, for example, in T.W. Kohonen, "The Self-Organizing M
ap ", Proceedings of the IEEE, Vol. 78, 1
990, pp. 1464-1480, which is incorporated herein by reference. Other methods for natural grouping, N.N. Otsu,
"A Threshold Selection Method from G
ray-Level Histograms ", IEEE Trans. Sys
tems, Man, and Cybernetics, Vol. SMC-9, 1
979, pp. 62-66 (incorporated herein by reference), K-means, or any other suitable technique or method for grouping defective images according to common features. Can be used. In the described embodiment, both the natural grouping 212 and the automatic classifier 204 use the same feature set.

【0021】 また、人間のユーザは、ワーキング・セットから「トレーニング・セット」に
置くべき画像を選択できる。画像を選択して、そして、ユーザはトレーニング・
セットのクラス/ビン(class/bin)に画像/欠陥を手動で追加する。
特徴は選択された画像から抽出されて、「トレーニング分類器」の動作の間にク
ラス/ビンと共に記憶される。そして、分類器は一連の画像(セットW−Tなど
)を分類し、ユーザは分類器の決定において発見された誤りを検討する。たとえ
ば、ユーザはコンフュージョン・マトリックスを見て、分類器はどこでユーザの
分類と異なっていたかを判断することができる。そして、ユーザは、たとえばド
ラッグ・アンド・ドロップ・インターフェースを介して画像を付加、削除または
再分類することにより、トレーニング・セットを改善して、納得できる結果が達
成されるまで分類器のパフォーマンスを再評価する。
Also, a human user can select images from the working set to be placed on the “training set”. Select an image and the user
Manually add images / defects to the set's classes / bins.
Features are extracted from the selected images and stored with the class / bin during the "training classifier" operation. The classifier then classifies the sequence of images (such as set WT) and the user reviews the errors found in the classifier's decision. For example, the user can look at the confusion matrix to determine where the classifier differs from the user's classification. The user can then improve the training set by re-classifying the images, for example by adding, deleting or re-classifying images via a drag-and-drop interface and re-classifying the classifier performance until satisfactory results are achieved. evaluate.

【0022】 トレーニング・セット内の画像は特徴抽出機ソフトウェア206に送られ、特
徴抽出機ソフトウェア206はトレーニング・セット内の各画像に関する一連の
予め定義された特徴を抽出する。画像に関する一連の特徴を記憶したデータ構造
を、その画像の「特徴ベクトル」と呼ぶ。特徴ベクトルは、特定の画像に関する
各特徴の値を含む。
The images in the training set are sent to the feature extractor software 206, which extracts a set of predefined features for each image in the training set. The data structure that stores a series of features for an image is called the "feature vector" for that image. The feature vector contains the value of each feature for a particular image.

【0023】 好ましくはトレーニング・セットから抽出された事前定義された特徴は、次の
ものを含むがこれらに限定されない。 a)サイズ、明るさ、色、形状、テクスチャ、慣性モーメント、コンテキスト
、ウェハ・フィーチャへまたは他の欠陥への近接、隣接するフィーチャまたは他
の欠陥への接続性、画像から得られる他の歩留まり関連特性(たとえば、短い、
開いている、ブリッジしている、粒子である、傷があるなど)などの、画像から
抽出された特徴 b)空間クラスタ分析(spatial cluster analysis
)の場合における、ウェハにおける欠陥座標および欠陥座標の空間クラスタ、お
よび c)リストa)およびb)にあるような画像種類情報、分析技術から得られた
複合情報または電気的情報、および問題の欠陥の処理履歴、歩留まり関連性また
は出所に関する情報を含むがこれらに限定されない、演繹的に展開された欠陥に
関する他の情報。本発明の趣旨から逸脱せずに、任意の適切な特徴を抽出できる
ことが理解されるであろう。合成情報または電気的情報を得るために用いられる
分析技術の例は、欠陥を分析する無数の方法およびそれらの歩留まり関連性の概
要を含み、参照により本明細書に組み込む、「Semiconductor C
haracterization:Present Status & Fut
ure Needs」W.M.Bullis編、D.G.Seiler、A.C
.Diebold、American Institute of Physi
cs 1996年、ISBN 1−56396−503−8に記載されている。
The predefined features that are preferably extracted from the training set include, but are not limited to: a) size, brightness, color, shape, texture, moment of inertia, context, proximity to wafer features or to other defects, connectivity to adjacent features or other defects, other yield related images. Characteristics (for example, short,
Features extracted from the image, such as open, bridged, particles, scratched, etc. b) Spatial cluster analysis
A) defect coordinates on the wafer and spatial clusters of defect coordinates, and c) image type information as in lists a) and b), composite or electrical information obtained from analysis techniques, and defects in question. Other information about deductively deployed defects, including, but not limited to, processing history, yield relevance or origin information. It will be appreciated that any suitable feature can be extracted without departing from the spirit of the invention. Examples of analytical techniques used to obtain synthetic or electrical information include a myriad of methods for analyzing defects and a summary of their yield relevance, the “Semiconductor C
harmonization: Present Status & Fut
ure Needs "W. M. Bullis, D. G. Seiler, A .; C
. Diebold, American Institute of Physi
cs 1996, ISBN 1-56396-503-8.

【0024】 監視自動動的分類器ソフトウェア204は、トレーニング・セットにおける画
像の抽出された特徴を用いて、トレーニング・セット(T)の一部としてユーザ
によって選択されなかった、ワーキング・セット(W)における画像を分類する
(すなわち、画像W−Tのセットを分類する)。本発明の好適な実施形態におい
て、分類器204は、特徴が画像セットW−Tから抽出され、W−Tの各画像は
クラスに属するものとして分類される最近隣法を用いる。一般的に、W−Tの画
像は、構成要素が画像の特徴ベクトルに最も密接に似ている特徴ベクトルを有す
るクラスに属する。他の自動分類方法を用いることができることを理解されたい
。たとえば、特徴ベクトルにおける特徴は重み付けすることができる(ユーザに
よって、または予め定義された重み付けを用いて)。
The monitoring automatic dynamic classifier software 204 uses the extracted features of the images in the training set, the working set (W), which was not selected by the user as part of the training set (T). Classify the images in (i.e., classify the set of images WT). In the preferred embodiment of the invention, the classifier 204 uses a nearest neighbor method in which features are extracted from the image set WT and each image in WT is classified as belonging to a class. In general, WT images belong to a class whose components have feature vectors that most closely resemble the image feature vector. It should be appreciated that other automatic classification methods can be used. For example, the features in the feature vector can be weighted (either by the user or with a predefined weighting).

【0025】 セットW−Tの画像が分類器204によって一旦分類されると、自動分類の結
果は、ユーザの手動分類の結果と比較される。ユーザが、分類器204によって
も分類された任意の画像を分類した場合には、その結果が比較されて、その比較
が視覚的形態でユーザに対して表示される。この時点で、ユーザは自分の分類ス
キームを変更して、それに応じて画像のトレーニング・セットに対する変更を行
うことができる。ユーザは、自動分類の方がより正しいようであると判断した場
合には、自分の手動分類を変更することもできる。
Once the images of set WT have been classified by the classifier 204, the results of automatic classification are compared to the results of manual classification by the user. If the user has classified any images that were also classified by the classifier 204, the results are compared and the comparison is displayed to the user in visual form. At this point, the user can change his classification scheme and make changes to the training set of images accordingly. The user may also change his manual classification if he determines that automatic classification seems more correct.

【0026】 図3は、本発明の好適な実施形態に従って、欠陥分類器ソフトウェアによって
生成されたインターフェースを示している。特に、図3は、本発明の好適な実施
形態に係る「スマート・ギャラリー(Smart Gallery)」ウィンド
ウの例を示している。スマート・ギャラリー・ウィンドウの背後にある主たる目
的の1つは、ギャラリー・ベースの分類能力を提供することである。スマート・
ギャラリーは、ユーザが欠陥の簡潔な画像を調節可能なサイズと解像度で見るこ
とを可能にして、系統立てた様式で欠陥のグループを提示する。また、欠陥を外
観に基づいたグループで提供することにより、分類スキーム作成に際してユーザ
を支援する。
FIG. 3 illustrates the interface generated by the defect classifier software in accordance with the preferred embodiment of the present invention. In particular, FIG. 3 shows an example of a "Smart Gallery" window according to a preferred embodiment of the present invention. One of the main purposes behind the smart gallery window is to provide gallery-based classification capabilities. smart·
The gallery presents groups of defects in a systematic fashion, allowing the user to view a concise image of defects with adjustable size and resolution. It also assists users in creating classification schemes by providing defects in groups based on their appearance.

【0027】 スマート・ギャラリー・システムの利益は次のものを含む。 ・欠陥ソーティング ・人間のユーザが、自分の手動ソーティング・スキームのより速くより効率的
な分類および編成を行うことを可能にすること ・より速い手動ソーティング・スキーム作成 ・より短い手動分類時間 ・より優れた手動分類品質(反復性) ・より速くより効率的な分類器作成工程
The benefits of the smart gallery system include: • Defect sorting • Allowing human users to perform faster and more efficient classification and organization of their manual sorting schemes • Faster manual sorting scheme creation • Shorter manual sorting time • Better Manual classification quality (repeatability) -Faster and more efficient classifier creation process

【0028】 図3のウィンドウはツールバー302を含み、これはユーザがクラスと欠陥の
ある画像を開き保存し、ワーキング・セットで画像を分類し、トレーニング・セ
ットを作成し操作することを可能にするコマンドを含む。信頼度設定領域304
は、ユーザが、未知の欠陥をトレーニング・セットにどれくらい近くできるかの
調節可能な設定である、信頼度レベルを調節することを可能にする。値は0(最
も緩い設定)から1(最もきつい設定)の範囲にあることが好ましい。変化はコ
ンフュージョン・マトリックス306で動的に見ることができる。
The window of FIG. 3 includes a toolbar 302 that allows the user to open and save images with classes and defects, classify images with working sets, and create and manipulate training sets. Including commands. Reliability setting area 304
Allows the user to adjust the confidence level, which is an adjustable setting of how close an unknown defect can be to the training set. The value is preferably in the range of 0 (the loosest setting) to 1 (the tightest setting). The changes can be viewed dynamically in the confusion matrix 306.

【0029】 コンフュージョン・マトリックス306は、手動対自動の欠陥分類の結果を表
示するために用いられる。コンフュージョン・マトリックスは、画像の現在のセ
ットまたは明示的に選択されたセットの両方について生成することができる。手
動(人間による)分類の結果は、X軸に表示され、分類器204による自動分類
はy軸に表示される。全ての欠陥クラスについて一致する比較の結果(手動およ
び自動の分類結果が一致する場合)は、コンフュージョン・マトリックス上に斜
めに表示される。
The confusion matrix 306 is used to display the results of manual versus automatic defect classification. A confusion matrix can be generated for both the current set of images or an explicitly selected set. The results of the manual (human) classification are displayed on the X-axis and the automatic classification by the classifier 204 is displayed on the y-axis. The results of the matching comparisons for all defect classes (if the manual and automatic classification results match) are displayed diagonally on the confusion matrix.

【0030】 領域308は、画像のワーキング・セットを表示する。これらの画像は、ユー
ザの選択で、分類されていない順序で表示しても、自然なグルーピングによって
分類または配列されてもよい。ユーザは、ワーキング・セット・ギャラリー30
8からトレーニング・セット・ギャラリー310内に画像をドラッグしドロップ
することが好適である。ここで、トレーニング・セットにおける画像は、ユーザ
指定のクラスで配列されて表示される。トレーニング・セット領域312は、ト
レーニング・セットの構成を含むクラス(「ビン」とも呼ぶ)を表示し、グルー
ピングを定義し、ユーザが新しいクラス/ビンを作成することを可能にする。こ
の領域312が有効であるときに、ユーザはツールバー302を用いて新しいク
ラス/ビンを作成することができる。
Area 308 displays the working set of images. These images may be displayed in an unsorted order or may be sorted or arranged by natural grouping at the user's option. Users are working set gallery 30
It is preferred to drag and drop images from 8 into the training set gallery 310. Here, the images in the training set are arranged and displayed in a user-specified class. The training set area 312 displays the classes (also referred to as "bins") that contain the composition of the training set, defines groupings, and allows the user to create new classes / bins. When this area 312 is active, the user can use the toolbar 302 to create new classes / bins.

【0031】 自然なグルーピング・マトリックス314は、ユーザが、ワーキング・グルー
プの画像がどのように自然なグルーピングにおいて分散されるかを見ることを可
能にする。グループ内の画像の数は、マトリックス314の要素の番号で表され
る。ユーザはマトリックス314内の要素をクリックして、特定の自然なグルー
ピングにおける全ての欠陥のある画像を見ることができる。
The natural grouping matrix 314 allows the user to see how the images of the working group are distributed in the natural grouping. The number of images in the group is represented by the element number of the matrix 314. The user can click on the elements in the matrix 314 to see all defective images in a particular natural grouping.

【0032】 要約すれば、ユーザは、自然なグルーピングにおいて分類されたワーキング・
セットの画像が欲しいことを任意選択で示すことができる(たとえば、ツールバ
ーまたはメニュー・アイテムを介して)。そして、ユーザは、領域308からト
レーニング・セットのクラス/ビン310/312内に画像をドラッグしてドロ
ップし、「トレーニング」機能を表示する。トレーニング機能は、トレーニング
・セットのユーザ選択画像の特徴ベクトルを記憶し、それらをクラス/ビンとの
関連で記憶する。一旦トレーニング・セットが表示されると、自動分類器は残り
の画像を分類する。分類器204はトレーニング・セットを用いて画像の何らか
の他のセットを分類することもできる。異なった実施形態においては、分類器2
04はバックグラウンドで動作して、トレーニング・セットが変更されたときは
常に画像を再分類することもでき、ユーザが明示的に動作させることもできる。
分類器204の結果はユーザによって行われた任意の手動分類と比較され、比較
結果はコンフュージョン・マトリックス上に表示される。そして、ユーザは、コ
ンフュージョン・マトリックスの内容に従って、図3の310を介してトレーニ
ング・セットに画像を付加するか、トレーニング・セットから画像を減じること
ができる。
In summary, users are classified into working groups classified in natural groupings.
It can optionally indicate that a set of images is desired (eg, via a toolbar or menu item). The user then drags and drops the image from the area 308 into the training set class / bin 310/312 to display the "training" feature. The training function stores the feature vectors of user-selected images of the training set and stores them in association with class / bin. Once the training set is displayed, the automatic classifier classifies the remaining images. The classifier 204 may also use the training set to classify some other set of images. In a different embodiment, the classifier 2
04 can run in the background, reclassify images whenever the training set changes, or be explicitly run by the user.
The classifier 204 results are compared to any manual classifications made by the user, and the comparison results are displayed on the confusion matrix. The user can then add images to the training set or subtract images from the training set via 310 of FIG. 3, depending on the contents of the confusion matrix.

【0033】 画像は、参照により本明細書に組み込む、2000年1月20日公開のPCT
公開第WO00/03234号(発明者:Ben−Porath他)に示された
もののような、不変コア・クラスに応じて自動的にグルーピングすることができ
る。ADC工程の結果は、参照により本明細書に組み込む、1999年11月1
8日公開のPCT公開第WO99/59200号(発明者:Lamey他)に示
されたもののような、総ファブ歩留まり(overall fab yield
)管理システムに組み込むこともできる。本願は、1999年12月29日に公
開されたPCT公開第WO99/67626号(発明者:Ravid)も、参照
することにより一体化している。
Images are included in the PCT published January 20, 2000, which is hereby incorporated by reference.
Grouping can be done automatically according to immutable core classes, such as those shown in publication WO 00/03234 (inventor: Ben-Porath et al.). The results of the ADC process are incorporated herein by reference, November 1, 1999.
Overall Fab Yield, such as that shown in PCT Publication No. WO 99/59200 (Inventor: Lamey et al.) Published 8th.
) It can also be built into the management system. This application is also integrated by reference to PCT Publication No. WO 99/67626 (inventor: Ravid), which was published on December 29, 1999.

【0034】 図4(a)は、手動および自動の分類が一致する(斜めの要素402を参照)
コンフュージョン・マトリックス306の一例を示している。この例において、
1つの画像はクラス「3」に一致させられており、3つの画像がクラス「2」に
一致させられており、1つの画像がクラス「1」に一致させられている。マトリ
ックスの隣の「修正」ボタンをクリックすると、一致する結果をハイライト(h
ighlight)させる。「既知の誤り」ボタンをクリックすると、一致して
いない結果をハイライトさせる。「画像」ボタンをクリックすると、マトリック
スの特定の要素を生成するために用いられた画像をユーザが見ることを可能にす
る。
In FIG. 4A, the manual and automatic classifications match (see diagonal element 402).
An example of a confusion matrix 306 is shown. In this example,
One image is matched to class "3", three images are matched to class "2", and one image is matched to class "1". Click the Modify button next to the matrix to highlight matching results (h
light). Clicking on the "Known errors" button will highlight the inconsistent results. Clicking on the "Image" button allows the user to view the image used to generate the particular element of the matrix.

【0035】 図4(b)は、手動および自動の分類(classification)が一
致しないコンフュージョン・マトリックス306の一例を示している。要素45
2は、マトリックスの斜めの列から外れた非ゼロ要素である。
FIG. 4B shows an example of the confusion matrix 306 in which the manual and automatic classifications do not match. Element 45
2 is a non-zero element that is off the diagonal column of the matrix.

【0036】 図5(a)および5(b)は、ユーザが、ワーキング・セットおよびトレーニ
ング・セットにおける画像を分類(sort)された順序で表示することを可能
にする、インターフェースの個々の例502、504を示している。画像は、ロ
ット番号、手動ビン、提案ビン、およびサイズなどの要因によって分類されるこ
とが好ましい。
FIGS. 5 (a) and 5 (b) show individual examples of interfaces 502 that allow a user to display images in a working set and a training set in a sorted order. , 504 are shown. Images are preferably sorted by factors such as lot number, manual bin, suggested bin, and size.

【0037】 図6(a)は、ワーキング・セット308における画像の自然なグルーピング
の方法を示したフローチャートである。要素602において、欠陥のある画像を
探して画像を取り込む。要素604において画像から特徴を抽出する。抽出され
た特徴は自然なグルーピング方法606に入力されるが、これは任意の適切な方
法とすることができる。説明した実施形態において、画像の特徴ベクトルは、既
知のKohonenマッピング技術を用いてグルーピングされる。説明した実施
形態において、Kohonenマップには非乱数を分散させて、グルーピングの
安定性を高め、かつグルーピングを反復可能にする。いくつかの実施形態におい
て、図6(b)に示したように、画像はそれらの自然なグループ(クラスタとも
呼ぶ)に表示される。他の実施形態においては、画像は実際のKohonenマ
ップ・レイアウトを反映するように配置される。
FIG. 6A is a flowchart showing a method of natural grouping of images in the working set 308. At element 602, the defective image is searched for and the image is captured. Features are extracted from the image at element 604. The extracted features are input to the natural grouping method 606, which can be any suitable method. In the described embodiment, the image feature vectors are grouped using the known Kohonen mapping technique. In the described embodiment, non-random numbers are distributed in the Kohonen map to increase the stability of the grouping and make the grouping repeatable. In some embodiments, the images are displayed in their natural groups (also called clusters), as shown in Figure 6 (b). In other embodiments, the images are arranged to reflect the actual Kohonen map layout.

【0038】 特定の実施形態は、参照により本明細書に組み込む、1)http://ww
w−ismv.ic.ornl.gov/projects/SSA.html
、2)Gleason S.S.、Tobin K.W.& Karnowsk
i T.P.、「Spatial Signature Analysis o
f Semiconductor Defects for Manufact
uring Problem Diagnosis」、Solid State
Technology、July、1996、3)http://www.d
ym.com/ssa.htm、4)http://www.electrog
las.com/products/knights_datasheets/
spar_ds.htm、および5)http://www.ornl.gov
/Press_Releases/archive/mr19980804−0
0.html.に記載されたような、空間シグナチャ分析(spatial s
ignature analysis)(SSA)技術を用いている。
Particular embodiments are incorporated herein by reference: 1) http: // www
w-ismv. ic. ornl. gov / projects / SSA. html
2) Gleason S.M. S. Tobin K .; W. & Karnowsk
i T. P. , "Spatial Signal Analysis o
f Semiconductor Defects for Manufact
URING PROBLEM DIAGNOSSIS ”, Solid State
Technology, July, 1996, 3) http: // www. d
ym. com / ssa. html, 4) http: // www. electrog
las. com / products / knights_datasheets /
spar_ds. and 5) http: // www. ornl. gov
/ Press_Releases / archive / mr199980804-0
0. html. Spatial signature analysis, as described in
Ignition analysis (SSA) technology is used.

【0039】 また、特定の実施形態においては、分析および分類は画像に限定されず、クラ
スタ自体上で行うこともできる。かかる実施形態において、参照により本明細書
に組み込む、T.P.Karnowski、K.W.Tobin、S.S.Gl
eason、Fred Lakhani、SPIE’s 24th Annua
l International Symposium on Metrolo
gy,Inspection and Process Control fo
r Microlithography XIII、Santa Clara
Convention Center、Santa Clara、CA、199
9年2月に記載されたように、分類器は未処理画像の代わりに「クラスタベース
の特徴」を受け取る。かかるシステムはグルーピングおよびKohonenマッ
ピングを、未処理画像ではなくクラスタに適用する。非画像データについて、ク
ラスタリングはEDS指定器(eビーム・システムにおける分析用のX線システ
ムを用いる)によって、またはSSA分析によって収集される。
Also, in certain embodiments, analysis and classification is not limited to images, but can be performed on the clusters themselves. In such an embodiment, T.W. P. Karnowski, K .; W. Tobin, S .; S. Gl
eason, Fred Lakhani, SPIE's 24th Annua
l International Symposium on Metrolo
gy, Inspection and Process Control fo
r Microlithography XIII, Santa Clara
Convention Center, Santa Clara, CA, 199
As described in February 1997, the classifier receives "cluster-based features" instead of raw images. Such systems apply grouping and Kohonen mapping to clusters rather than raw images. For non-image data, clustering is collected by EDS specifier (using X-ray system for analysis in e-beam system) or by SSA analysis.

【0040】 図7は、トレーニング領域312の拡大図を示している。ユーザはワーキング
・グループ308から領域310に表示されたグループ内に、または領域312
のクラス/ビン内に画像をドラッグできる。表示した実施形態において、各クラ
ス/ビンは、現在クラス/グループに割り当てられているクラス・コード、グル
ープ・コード(その自然なグループを反映している)およびいくつかの欠陥のあ
る画像を有している。もちろん、ユーザは希望どおりにクラス/ビンを付加およ
び削除できる(たとえば、ツールバーを介して)。
FIG. 7 shows an enlarged view of the training area 312. The user may be in the group displayed in area 310 from working group 308, or in area 312.
Images can be dragged into the class / bin of. In the illustrated embodiment, each class / bin has a class code currently assigned to the class / group, a group code (reflecting its natural group) and some defective images. ing. Of course, the user can add and delete classes / bins as desired (eg via the toolbar).

【0041】 ユーザが新しいクラス/ビンを付加した場合には、クラス/ビンが付加される
。そうでなければ、既存のクラス/ビンが開かれる。そして、ユーザは画像/欠
陥をそのクラスに手動で付加する。選択された画像から特徴が抽出されて、「分
類器トレーニング」動作中に記憶される(たとえば、ツールバーを介して)。そ
して、分類器は一連の画像(セットW−Tなど)を分類し、ユーザは分類器の決
定において発見された誤りを検討する。たとえば、ユーザはコンフュージョン・
マトリックスを見て、分類器はユーザの分類とどこが異なっていたかを判断する
ことができる。そして、ユーザは、たとえばドラッグ・アンド・ドロップ・イン
ターフェースを介して画像を付加、削除または再分類することによりトレーニン
グ・セットを改善し、納得できる結果が達成されるまで、分類器のパフォーマン
スを再評価する。
When the user adds a new class / bin, the class / bin is added. Otherwise, the existing class / bin is opened. The user then manually adds the image / defect to the class. Features are extracted from the selected images and stored during the "classifier training" operation (eg, via the toolbar). The classifier then classifies the sequence of images (such as set WT) and the user reviews the errors found in the classifier's decision. For example, if the user
Looking at the matrix, the classifier can determine what was different from the user's classification. The user can then improve the training set by adding, deleting or reclassifying images, for example via a drag and drop interface, and reassess the classifier performance until satisfactory results are achieved. To do.

【0042】 図8は、「スマート・ギャラリー(Smart Gallery)」セットア
ップ機能802、自動分類器製作機能(auto Classifier Cr
eation)804および分類器機能(classifier functi
on)806を備えた、例示的なユーザ・インターフェースを示している。スマ
ート・ギャラリー・セットアップ機能は、図3のユーザ・インターフェースにつ
ながる。分類器機能は図9のユーザ・インターフェースにつながる。「スマート
・ギャラリー」はKLA−Tencor Corporationの商標である
FIG. 8 shows a “Smart Gallery” setup function 802 and an automatic classifier production function (auto Classifier Cr).
804) and a classifier function (classifier function)
on) 806, an exemplary user interface is shown. The smart gallery setup feature leads to the user interface of FIG. The classifier function leads to the user interface of FIG. "Smart Gallery" is a trademark of KLA-Tencor Corporation.

【0043】 図9は、自動分類器機能の実施形態のための、付加的なユーザ・インターフェ
ースを示している。この実施形態は、ツールバー駆動のドラッグ・アンド・ドロ
ップ方法に代わるものである。このインターフェースを用いて、ユーザはトレー
ニング・セット902に欠陥のある画像を付加して、自然なグルーピングのため
および分類器904の特徴抽出器のために抽出する特徴を指定できる。ユーザは
抽出する特徴の数を指定できる(ここでは、80)。ユーザがトレーニング・ボ
タン906を選択すると、トレーニング・セットにおける画像の特徴が抽出され
て、各画像に関する特徴ベクトルとして保存される。各画像のクラス/ビンは、
特徴ベクトルとの関連で保存される。
FIG. 9 shows an additional user interface for an embodiment of the automatic classifier function. This embodiment is an alternative to the toolbar driven drag and drop method. Using this interface, the user can add defective images to the training set 902 and specify features to extract for natural grouping and for the feature extractor of the classifier 904. The user can specify the number of features to be extracted (here, 80). When the user selects the training button 906, the features of the images in the training set are extracted and saved as a feature vector for each image. The class / bin of each image is
Saved in relation to the feature vector.

【0044】 ユーザは画像上にフィルタ908を設定して、特定のグループ、画像、および
画像の種類を特徴抽出工程から取り除くことができる。ユーザはボタン910を
用いて、分類器204によって用いられる特徴方法の信頼度を調節することもで
きる。
The user can set filters 908 on the images to remove specific groups, images, and image types from the feature extraction process. The user can also use button 910 to adjust the confidence of the feature method used by classifier 204.

【0045】 ユーザがテスト(トレーニング・セット)ボタン912をクリックすると、分
類器204は、トレーニング・セットにおける画像の特徴ベクトルに従って、一
連の画像W−Tをトレーニング・セットにおけるビンに分類する。
When the user clicks the test (training set) button 912, the classifier 204 classifies the series of images WT into bins in the training set according to the feature vectors of the images in the training set.

【0046】 図10(a)および10(b)は、インターネットまたはイントラネットなど
のネットワーク上で分散される、本発明にかかるシステムのブロック図である。
図10(a)において、光学、eビーム、または他の種類の検査システム100
2、分類器1004/104、および分析システム1006(図1参照)がネッ
トワーク上で分散されている。図10(b)において、自然なグルーピング工程
1054、自動監視分類器1056/204、および特徴抽出器1058を含む
分類器1004の要素がネットワーク上で分散されている。自然なグルーピング
工程1054は、ワーキング・セットの特徴を入力として受け取り、ワーキング
・セットの自然なグルーピングを出力する。自動監視分類器1056は、分類さ
れる欠陥のある画像のクラスを出力しながら、トレーニング・セットの特徴およ
びクラスならびに欠陥のある画像の特徴を受け取る。特徴抽出器1058は画像
を受け取り、その画像の特徴を出力する。
10 (a) and 10 (b) are block diagrams of systems according to the present invention distributed over a network such as the Internet or an intranet.
In FIG. 10 (a), an optical, e-beam, or other type of inspection system 100.
2, the classifiers 1004/104, and the analysis system 1006 (see FIG. 1) are distributed over the network. In FIG. 10 (b), the elements of the classifier 1004, including the natural grouping process 1054, the automatic monitoring classifiers 1056/204, and the feature extractor 1058 are distributed over the network. The natural grouping step 1054 receives the characteristics of the working set as input and outputs the natural grouping of the working set. The auto-monitoring classifier 1056 receives the training set features and classes as well as the defective image features while outputting the defective image classes to be classified. The feature extractor 1058 receives the image and outputs the features of the image.

【0047】 図10(b)は、分類器がツール履歴1005を入力として受け取る実施形態
も示している。ツール履歴は、たとえば、検査工程および/または製造工程を行
うツールまたは機械のメンテナンス履歴を含む。ツールが提案されたメンテナン
ス・スケジュールに従って補修されている場合には、そのデータは、補修されて
いないツールからのデータよりも多く重み付けすることができる。ツール履歴1
055は、分類器がそのツールからのデータに信頼を与えるために、メンテナン
スを行わなければならないことを示す、検査値の閾値を含むこともできる。この
閾値は個々のツール毎に異なってもよく、特定の種類または機能のツール全てに
ついて同じであってもよい。ツール履歴は、たとえば、同じツールから2種類の
半導体が得られたかどうか(またはどのツールから得られたか)を示すこともで
きる。よって、ツール履歴1055は、たとえば機器IDを含むことができる。
たとえば、ツールAには過去に問題があったことが知られている場合には、ツー
ルAからのデータは、問題のないツールBからのデータとは異なった方法で扱う
ことができる。
FIG. 10 (b) also shows an embodiment in which the classifier receives the tool history 1005 as input. The tool history includes, for example, a maintenance history of a tool or machine that performs an inspection process and / or a manufacturing process. If the tool has been repaired according to the proposed maintenance schedule, the data can be weighted more than the data from the unfixed tool. Tool history 1
055 may also include a test value threshold that indicates that the classifier must perform maintenance in order to trust the data from the tool. This threshold may be different for each individual tool and may be the same for all tools of a particular type or function. The tool history can also indicate, for example, whether (or from which tool) two types of semiconductors were obtained from the same tool. Therefore, the tool history 1055 can include the device ID, for example.
For example, if it is known that Tool A had a problem in the past, the data from Tool A can be treated differently than the data from Tool B, which is not a problem.

【0048】 上記のように、図10(c)は、検査および分析/分類工程が、別個の工程と
してではなく、検査工程中にリアルタイムで行われることを示している。かかる
システムにおいて、検査システム1052は、それが分類器1056と同じシス
テムの一部であることを示すために、システム1004の内部に示されている。
このシステムはレビュー画像(「パッチ」画像)を利用して、リアルタイム検査
を達成する。KLA2350などの新しい検査システムは、検査中に「リアルタ
イム」で動作する画像コンピュータ内に埋め込まれたADCを備えている。iA
DC(集積ADC)システムと呼ばれるこのシステムは、スキャン中に欠陥場所
周囲の「パッチ」を掴み、これらのパッチ中の欠陥ピクセルにADCを行うこと
により機能する。この全ては、追加のスループットを必要としないように、検査
器内のハードウェアで行われる。
As mentioned above, FIG. 10 (c) shows that the inspection and analysis / classification steps are performed in real time during the inspection step rather than as separate steps. In such a system, inspection system 1052 is shown inside system 1004 to show that it is part of the same system as classifier 1056.
This system utilizes review images (“patch” images) to achieve real-time inspection. Newer inspection systems, such as the KLA2350, include ADCs embedded in an image computer that operate in "real time" during inspection. iA
This system, called the DC (Integrated ADC) system, works by grabbing "patches" around the defect location during the scan and performing an ADC on the defective pixels in these patches. All this is done in hardware within the tester so that no additional throughput is required.

【0049】 図10(a)、10(b)、および10(c)は、特定のシステムにおいて、
分類器は、図1に関連して上記で説明したのと類似の方法で、フィードバック信
号を検査システムに提供できることを示す、点線1003、1053をそれぞれ
含む。
FIGS. 10 (a), 10 (b), and 10 (c) show that in a particular system,
The classifier includes dotted lines 1003, 1053, respectively, which indicate that a feedback signal can be provided to the inspection system in a manner similar to that described above in connection with FIG.

【0050】 本発明の主旨および範囲から逸脱せずに、様々な実施形態および変形が存在で
きることが理解されるであろう。たとえば、本発明の概念は、欠陥の種類によっ
て、バックグラウンドで(たとえば、欠陥分析ソフトウェアを実行している間に
)画像を自動的に分類し、そして、全体にわたって各選択された種類の分布が示
されているウェハ・マップとしてその結果を表示することを含むように拡張する
ことができる。これは出力データを用いる1つの方法にすぎない。欠陥場所分布
が欠陥源を識別する際に有用になり得るので、その空間的分布を見る能力と結合
された類似の欠陥を選択する能力(自然なグルーピング)は強力になり得る。K
ohonenマップのクラスタ毎に、a)代表的な画像、およびb)クラスタに
おける欠陥の場所を示した欠陥マップを示すディスプレイを備えることができる
It will be appreciated that various embodiments and modifications may be made without departing from the spirit and scope of the invention. For example, the inventive concept automatically classifies images in the background by defect type (eg, while running defect analysis software), and then distributes each selected type throughout. It can be expanded to include displaying the results as the wafer map shown. This is just one way to use the output data. Since the defect location distribution can be useful in identifying defect sources, the ability to select similar defects combined with its ability to see its spatial distribution (natural grouping) can be powerful. K
For each cluster of the Ohen map, a display can be provided that shows a) a representative image and b) a defect map showing the location of defects in the cluster.

【0051】 上記の説明から、本明細書において開示した発明は、半導体の欠陥を分類する
ために用いられる光学的検査の新しく有利なシステムおよび方法を提供すること
が明らかになるであろう。
From the above description, it will be apparent that the invention disclosed herein provides a new and advantageous system and method for optical inspection used to classify semiconductor defects.

【図面の簡単な説明】[Brief description of drawings]

【図1】 図1aは、半導体光学、eビーム、または他の種類の検査システムの概略を示
すブロック図である。 図1bは、検査セットアップのために本発明を用いた、半導体光学、eビーム
、または他の種類の検査システムの概略を示すブロック図である。
1a is a schematic block diagram of a semiconductor optics, e-beam, or other type of inspection system. FIG. FIG. 1b is a schematic block diagram of a semiconductor optics, e-beam, or other type of inspection system that employs the present invention for inspection setup.

【図2】 人間のユーザと欠陥分類器ソフトウェアの実施形態のセクションとの相互作用
を示すブロック図である。
FIG. 2 is a block diagram illustrating the interaction of a human user with a section of an embodiment of the defect classifier software.

【図3】 本発明の好適な実施形態に係る欠陥分類器ソフトウェアによって生成されるイ
ンターフェースを示す図である。
FIG. 3 is a diagram showing an interface generated by defect classifier software according to a preferred embodiment of the present invention.

【図4】 図4aは、手動および自動の分類が一致する、ユーザ・インターフェースにお
けるコンフュージョン・マトリックス(confusion matrix)の
例を示す図である。 図4bは、手動および自動の分類が一致しない、ユーザ・インターフェースに
おけるコンフュージョン・マトリックスの例を示す図である。
FIG. 4a is a diagram showing an example of a confusion matrix in a user interface with matching manual and automatic classification. FIG. 4b is a diagram showing an example of a confusion matrix in a user interface where manual and automatic classification do not match.

【図5】 図5aは、ワーキング・セットおよびトレーニング・セットにおいて、ユーザ
が画像を分類された順序で表示することを可能にするインターフェースの例を示
す図である。 図5bは、ワーキング・セットおよびトレーニング・セットにおいて、ユーザ
が画像を分類された順序で表示することを可能にするインターフェースの例を示
す図である。
FIG. 5a is a diagram showing an example interface that allows a user to display images in a sorted order in a working set and a training set. FIG. 5b is a diagram illustrating an example interface that allows a user to view images in a sorted order in a working set and a training set.

【図6】 図6aは、ワーキング・セットにおける画像の自然なグルーピングの方法を示
すフローチャートである。 図6bは、自然なグループで編成され表示された画像を示す図である。
FIG. 6a is a flow chart showing a method of natural grouping of images in a working set. FIG. 6b shows an image organized and displayed in natural groups.

【図7】 ユーザ・インターフェースにおけるトレーニング領域の拡大図を示す図である
FIG. 7 shows an enlarged view of the training area in the user interface.

【図8】 本発明の好適な実施形態において用いられる例示的なユーザ・インターフェー
スを示す図である。
FIG. 8 illustrates an exemplary user interface used in the preferred embodiment of the present invention.

【図9】 分類器機能のための付加的なユーザ・インターフェースを示す図である。[Figure 9]   FIG. 7 illustrates an additional user interface for classifier functionality.

【図10】 図10aは、インターネットまたはイントラネットなどのネットワーク上で分
散された、本発明によるシステムのブロック図である。 図10bは、インターネットまたはイントラネットなどのネットワーク上で分
散された、本発明によるシステムのブロック図である。 図10cは、インターネットまたはイントラネットなどのネットワーク上で分
散された、本発明によるシステムのブロック図である。
FIG. 10a is a block diagram of a system according to the present invention distributed over a network such as the Internet or an intranet. FIG. 10b is a block diagram of a system according to the present invention distributed over a network such as the Internet or an intranet. FIG. 10c is a block diagram of a system according to the present invention distributed over a network such as the Internet or an intranet.

───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE,TR),OA(BF ,BJ,CF,CG,CI,CM,GA,GN,GW, ML,MR,NE,SN,TD,TG),AP(GH,G M,KE,LS,MW,MZ,SD,SL,SZ,TZ ,UG,ZW),EA(AM,AZ,BY,KG,KZ, MD,RU,TJ,TM),AE,AG,AL,AM, AT,AU,AZ,BA,BB,BG,BR,BY,B Z,CA,CH,CN,CR,CU,CZ,DE,DK ,DM,DZ,EE,ES,FI,GB,GD,GE, GH,GM,HR,HU,ID,IL,IN,IS,J P,KE,KG,KP,KR,KZ,LC,LK,LR ,LS,LT,LU,LV,MA,MD,MG,MK, MN,MW,MX,MZ,NO,NZ,PL,PT,R O,RU,SD,SE,SG,SI,SK,SL,TJ ,TM,TR,TT,TZ,UA,UG,UZ,VN, YU,ZA,ZW (72)発明者 バナジー,サイバル アメリカ合衆国カリフォルニア州94536, フレモント,リッチフィールド・アヴェニ ュー 1250 (72)発明者 スミス,イアン アメリカ合衆国カリフォルニア州95032, ロス・ガトス,ドーバー・ストリート 228 Fターム(参考) 4M106 CA38 DJ40 ─────────────────────────────────────────────────── ─── Continued front page    (81) Designated countries EP (AT, BE, CH, CY, DE, DK, ES, FI, FR, GB, GR, IE, I T, LU, MC, NL, PT, SE, TR), OA (BF , BJ, CF, CG, CI, CM, GA, GN, GW, ML, MR, NE, SN, TD, TG), AP (GH, G M, KE, LS, MW, MZ, SD, SL, SZ, TZ , UG, ZW), EA (AM, AZ, BY, KG, KZ, MD, RU, TJ, TM), AE, AG, AL, AM, AT, AU, AZ, BA, BB, BG, BR, BY, B Z, CA, CH, CN, CR, CU, CZ, DE, DK , DM, DZ, EE, ES, FI, GB, GD, GE, GH, GM, HR, HU, ID, IL, IN, IS, J P, KE, KG, KP, KR, KZ, LC, LK, LR , LS, LT, LU, LV, MA, MD, MG, MK, MN, MW, MX, MZ, NO, NZ, PL, PT, R O, RU, SD, SE, SG, SI, SK, SL, TJ , TM, TR, TT, TZ, UA, UG, UZ, VN, YU, ZA, ZW (72) Inventor Banazy, Cybal             California 94536,             Fremont, Litchfield Aveni             View 1250 (72) Inventor Smith, Ian             United States California 95032,             Los Gatos, Dover Street             228 F-term (reference) 4M106 CA38 DJ40

Claims (40)

【特許請求の範囲】[Claims] 【請求項1】 複数の受信画像を分類するデータ処理システムによって実施
される方法であって、 前記複数の画像のユーザ選択サブセットであるトレーニング・セットから特徴
を抽出することであって、前記トレーニング・セットの各画像が連づけられたク
ラスを有すること、 前記データ処理システムによって、前記トレーニング・セットの抽出された特
徴およびクラスに従って前記複数の画像のうち少なくとも1つを分類すること、 ユーザが前記複数の画像のうち1つを分類することを可能にすること、および 前記データ処理システムによる分類とユーザによる分類との間の比較の結果を
表示すること、 を含む方法。
1. A method implemented by a data processing system for classifying a plurality of received images, the method comprising extracting features from a training set that is a user-selected subset of the plurality of images. Each image of the set has a concatenated class; the data processing system classifies at least one of the plurality of images according to the extracted features and classes of the training set; Of one of the images of, and displaying the results of the comparison between the classification by the data processing system and the classification by the user.
【請求項2】 前記トレーニング・セットの前記特徴がサイズを含む、請求
項1に記載の方法。
2. The method of claim 1, wherein the features of the training set include size.
【請求項3】 前記トレーニング・セットの前記特徴が明るさを含む、請求
項1に記載の方法。
3. The method of claim 1, wherein the features of the training set include brightness.
【請求項4】 前記トレーニング・セットの前記特徴が色を含む、請求項1
に記載の方法。
4. The feature of the training set comprises color.
The method described in.
【請求項5】 前記トレーニング・セットの前記特徴が形状を含む、請求項
1に記載の方法。
5. The method of claim 1, wherein the features of the training set include shapes.
【請求項6】 前記トレーニング・セットの前記特徴が、テクスチャ、慣性
モーメント、コンテキスト、ウェハ・フィーチャへの近接、他の欠陥への近接、
隣接するフィーチャへの接続性、他の欠陥への接続性、および画像から得られる
歩留まり関連特性のうち少なくとも1つからなる、請求項1に記載の方法。
6. The features of the training set include textures, moments of inertia, contexts, proximity to wafer features, proximity to other defects,
The method of claim 1, comprising at least one of connectivity to adjacent features, connectivity to other defects, and yield-related properties obtained from the image.
【請求項7】 前記トレーニング・セットの前記特徴が、ウェハにおける欠
陥座標を含む、請求項1に記載の方法。
7. The method of claim 1, wherein the features of the training set include defect coordinates on a wafer.
【請求項8】 前記トレーニング・セットの前記特徴が、空間クラスタ分析
が用いられるときに欠陥座標を含む、請求項1に記載の方法。
8. The method of claim 1, wherein the features of the training set include defect coordinates when spatial cluster analysis is used.
【請求項9】 前記トレーニング・セットの前記特徴が、処理履歴、歩留ま
り、関連性、および欠陥の出所のうち1つから得られる情報を含む、請求項1に
記載の方法。
9. The method of claim 1, wherein the features of the training set include information obtained from one of processing history, yield, relevance, and origin of defects.
【請求項10】 前記トレーニング・セットの抽出された特徴およびクラス
に従って、前記複数の画像のうち少なくとも1つを前記データ処理システムによ
って分類することが、Kohonenマップ技術を用いて前記複数の画像を分類
することを含む、請求項1に記載の方法。
10. Classifying at least one of the plurality of images by the data processing system according to extracted features and classes of the training set includes classifying the plurality of images using Kohonen map technology. The method of claim 1, comprising:
【請求項11】 前記Kohonenマップに非乱数を分散させる、請求項
10に記載の方法。
11. The method according to claim 10, wherein a non-random number is distributed in the Kohonen map.
【請求項12】 前記トレーニング・セットの抽出された特徴およびクラス
に従って、前記複数の画像のうち少なくとも1つを前記データ処理システムによ
って分類することが、空間シグナチャ分析技術を用いて前記複数の画像を分類す
ることを含む、請求項1に記載の方法。
12. Categorizing at least one of the plurality of images by the data processing system according to extracted features and classes of the training set includes using the spatial signature analysis technique to classify the plurality of images. The method of claim 1, comprising classifying.
【請求項13】 前記複数の画像のうち少なくとも1つを前記データ処理シ
ステムによって分類することは、画像の代わりにクラスタ・ベースの特徴に従っ
て分類することをさらに含む、請求項1に記載の方法。
13. The method of claim 1, wherein classifying at least one of the plurality of images by the data processing system further comprises classifying according to cluster-based features instead of images.
【請求項14】 ユーザが前記複数の画像のうち1つを分類することを可能
にすることは、前記分類するステップによって決定された分類グループで、画像
をユーザに対して表示することを含む、請求項1に記載の方法。
14. Allowing a user to classify one of the plurality of images includes displaying the images to the user in a classification group determined by the classifying step. The method of claim 1.
【請求項15】 検査システムにフィードバックを送って、ユーザの分類に
従って前記検査システムを微調整することをさらに含む、請求項1に記載の方法
15. The method of claim 1, further comprising sending feedback to the inspection system to fine tune the inspection system according to user classification.
【請求項16】 検査対象をリアルタイムで検査し、検査セットの結果を、
ユーザによって分類された前記複数の画像に従ってトレーニングされた分類器に
送ることをさらに含む、請求項1に記載の方法。
16. The inspection object is inspected in real time, and the result of the inspection set is
The method of claim 1, further comprising sending to a classifier trained according to the plurality of images classified by a user.
【請求項17】 前記特徴は検査システムに関連したツール履歴情報を含む
、請求項1に記載の方法。
17. The method of claim 1, wherein the features include tool history information associated with an inspection system.
【請求項18】 前記特徴は前記分類ステップに関する過去の成功率に関連
したツール履歴情報を含む、請求項1に記載の方法。
18. The method of claim 1, wherein the features include tool history information related to past success rates for the classifying step.
【請求項19】 前記複数の画像のうちいくつかだけが半導体エッチング工
程に関連する、請求項1に記載の方法。
19. The method of claim 1, wherein only some of the plurality of images are associated with a semiconductor etching process.
【請求項20】 複数の受信画像を分類するデータ処理システムによって実
施される方法であって、 前記複数の画像のユーザ選択サブセットであるトレーニング・セットから特徴
を抽出することであって、前記トレーニング・セットの各画像は関連づけられた
クラスを有すること、 前記データ処理システムによって、前記トレーニング・セットの抽出された特
徴およびクラスに従って前記複数の画像のうち少なくとも1つを分類すること、 前記データ処理システムによる分類とユーザによる分類との間の比較の結果を
表示すること、 を含む方法。
20. A method implemented by a data processing system for classifying a plurality of received images, the method comprising extracting features from a training set that is a user-selected subset of the plurality of images. Each image of the set has an associated class, the data processing system classifies at least one of the plurality of images according to the extracted features and classes of the training set, by the data processing system Displaying the result of the comparison between the classification and the classification by the user.
【請求項21】 複数の受信画像を分類するシステムであって、 前記複数の画像のユーザ選択サブセットであるトレーニング・セットから特徴
を抽出するように構成されたソフトウェア部分であって、前記トレーニング・セ
ットの各画像は関連づけられたクラスを有するソフトウェア部分と、 前記システムによって、前記トレーニング・セットの抽出された特徴およびク
ラスに従って前記複数の画像のうち少なくとも1つを分類するように構成された
ソフトウェア部分と、 ユーザが前記複数の画像のうち1つを分類することを可能にするように構成さ
れたソフトウェア部分と、 フィードバックを検査システムに送って、前記ユーザの分類に従って前記検査
システムを微調整するように構成されたソフトウェア部分と、 を含むシステム。
21. A system for classifying a plurality of received images, the software portion configured to extract features from a training set that is a user-selected subset of the plurality of images. Each image of a software part having an associated class, and a software part configured by the system to classify at least one of the plurality of images according to the extracted features and classes of the training set. A software portion configured to allow a user to classify one of the plurality of images; and to send feedback to the inspection system to fine tune the inspection system according to the user's classification. A system that includes a configured software portion.
【請求項22】 前記トレーニング・セットの前記特徴がサイズを含む、請
求項21に記載のシステム。
22. The system of claim 21, wherein the features of the training set include size.
【請求項23】 前記トレーニング・セットの前記特徴が明るさを含む、請
求項21に記載のシステム。
23. The system of claim 21, wherein the features of the training set include brightness.
【請求項24】 前記トレーニング・セットの前記特徴が色を含む、請求項
21に記載のシステム。
24. The system of claim 21, wherein the features of the training set include color.
【請求項25】 前記トレーニング・セットの前記特徴が形状を含む、請求
項21に記載のシステム。
25. The system of claim 21, wherein the features of the training set include shapes.
【請求項26】 前記トレーニング・セットの前記特徴が、テクスチャ、慣
性モーメント、コンテキスト、ウェハ・フィーチャへの近接、他の欠陥への近接
、隣接するフィーチャへの接続性、他の欠陥への接続性、および画像から得られ
る歩留まり関連特性のうち少なくとも1つからなる、請求項21に記載のシステ
ム。
26. The features of the training set are textures, moments of inertia, contexts, proximity to wafer features, proximity to other defects, connectivity to adjacent features, connectivity to other defects. , And at least one of a yield-related characteristic obtained from the image.
【請求項27】 前記トレーニング・セットの前記特徴が、ウェハにおける
欠陥座標を含む、請求項21に記載のシステム。
27. The system of claim 21, wherein the features of the training set include defect coordinates on a wafer.
【請求項28】 前記トレーニング・セットの前記特徴が、空間クラスタ分
析が用いられるときに欠陥座標を含む、請求項21に記載のシステム。
28. The system of claim 21, wherein the features of the training set include defect coordinates when spatial cluster analysis is used.
【請求項29】 前記トレーニング・セットの前記特徴が、処理履歴、歩留
まり、関連性、および欠陥の出所のうち1つから得られる情報を含む、請求項2
1に記載のシステム。
29. The features of the training set include information obtained from one of processing history, yield, relevance, and source of defects.
The system according to 1.
【請求項30】 前記トレーニング・セットの抽出された特徴およびクラス
に従って、前記複数の画像のうち少なくとも1つを前記データ処理システムによ
って分類するように構成された前記部分が、Kohonenマップ技術を用いて
前記複数の画像を分類するように構成された部分を含む、請求項21に記載のシ
ステム。
30. The portion configured to classify at least one of the plurality of images by the data processing system according to extracted features and classes of the training set using the Kohonen map technique. 22. The system of claim 21, including a portion configured to classify the plurality of images.
【請求項31】 前記Kohonenマップには非乱数を分散させる、請求
項30に記載のシステム。
31. The system of claim 30, wherein the Kohonen map is distributed with non-random numbers.
【請求項32】 前記トレーニング・セットの抽出された特徴およびクラス
に従って、前記複数の画像のうち少なくとも1つを前記データ処理システムによ
って分類するように構成された部分が、空間シグナチャ分析技術を用いて前記複
数の画像を分類するように構成された部分を含む、請求項21に記載のシステム
32. A portion configured to classify at least one of the plurality of images by the data processing system according to extracted features and classes of the training set using spatial signature analysis techniques. 22. The system of claim 21, including a portion configured to classify the plurality of images.
【請求項33】 前記複数の画像のうち少なくとも1つを前記データ処理シ
ステムによって分類するように構成された部分は、画像の代わりにクラスタ・ベ
ースの特徴に従って分類するように構成された部分をさらに含む、請求項21に
記載のシステム。
33. The portion configured to classify at least one of the plurality of images by the data processing system further comprises a portion configured to classify according to a cluster-based feature instead of the image. 22. The system of claim 21, comprising.
【請求項34】 ユーザが前記複数の画像のうち1つを分類することを可能
にするように構成された部分が、前記分類するステップによって決定された分類
グループで、画像をユーザに対して表示するように構成された部分を含む、請求
項21に記載のシステム。
34. The portion configured to allow a user to classify one of the plurality of images displays the image to the user in the classification group determined by the classifying step. 22. The system of claim 21, including a portion configured to:
【請求項35】 検査システムにフィードバックを送って、ユーザの分類に
従って前記検査システムを微調整するように構成された部分をさらに含む、請求
項21に記載のシステム。
35. The system of claim 21, further comprising a portion configured to send feedback to the inspection system to fine tune the inspection system according to user classification.
【請求項36】 検査対象をリアルタイムで検査し、検査セットの結果を、
ユーザによって分類された前記複数の画像に従ってトレーニングされた分類器に
送るように構成された部分をさらに含む、請求項21に記載のシステム。
36. The inspection target is inspected in real time, and the result of the inspection set is
22. The system of claim 21, further comprising a portion configured to send to a classifier trained according to the plurality of images classified by a user.
【請求項37】 前記特徴は検査システムに関連したツール履歴情報を含む
、請求項21に記載のシステム。
37. The system of claim 21, wherein the features include tool history information associated with an inspection system.
【請求項38】 前記特徴は前記分類ステップに関する過去の成功率に関連
したツール履歴情報を含む、請求項21に記載のシステム。
38. The system of claim 21, wherein the features include tool history information related to past success rates for the classifying step.
【請求項39】 前記複数の画像のうちいくつかだけが半導体エッチング工
程に関連する、請求項21に記載のシステム。
39. The system of claim 21, wherein only some of the plurality of images are associated with a semiconductor etching process.
【請求項40】 複数の受信画像を分類するシステムであって、 前記複数の画像のユーザ選択サブセットであるトレーニング・セットから特徴
を抽出するように構成されたソフトウェア部分であって、前記トレーニング・セ
ットの各画像は関連づけられたクラスを有する部分と、 前記システムによって、前記トレーニング・セットの抽出された特徴およびク
ラスに従って前記複数の画像のうち少なくとも1つを分類するように構成された
部分と、 フィードバックを検査システムに送って、前記データ処理システムによって行
われた分類に従って前記検査システムを微調整するように構成された部分とを含
むシステム。
40. A system for classifying a plurality of received images, the software portion being configured to extract features from a training set that is a user-selected subset of the plurality of images. A portion of each of the images having an associated class, and a portion configured by the system to classify at least one of the plurality of images according to the extracted features and classes of the training set. To the inspection system to fine tune the inspection system according to the classification made by the data processing system.
JP2001541837A 1999-11-29 2000-11-29 Power-assisted automatic monitoring and classifier fabrication tool for semiconductor defects Pending JP2003515942A (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16795599P 1999-11-29 1999-11-29
US60/167,955 1999-11-29
US09/724,633 2000-11-28
US09/724,633 US6999614B1 (en) 1999-11-29 2000-11-28 Power assisted automatic supervised classifier creation tool for semiconductor defects
PCT/US2000/032635 WO2001040145A2 (en) 1999-11-29 2000-11-29 Power assisted automatic supervised classifier creation tool for semiconductor defects

Publications (2)

Publication Number Publication Date
JP2003515942A true JP2003515942A (en) 2003-05-07
JP2003515942A5 JP2003515942A5 (en) 2008-01-31

Family

ID=26863656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001541837A Pending JP2003515942A (en) 1999-11-29 2000-11-29 Power-assisted automatic monitoring and classifier fabrication tool for semiconductor defects

Country Status (5)

Country Link
US (1) US6999614B1 (en)
EP (1) EP1238367B1 (en)
JP (1) JP2003515942A (en)
AU (1) AU2054101A (en)
WO (1) WO2001040145A2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070834A (en) * 2007-09-10 2009-04-02 Sharp Corp Method and device of classifying substrate, method and device of estimating abnormal facility, program for executing the method of classifying substrate or the method of estimating abnormal facility by computer, and computer readable recording medium storing the program
WO2011155123A1 (en) * 2010-06-07 2011-12-15 株式会社 日立ハイテクノロジーズ Observation image classification reference optimization method and image classification device
US8111902B2 (en) 2005-08-31 2012-02-07 Hitachi High-Technologies Corporation Method and apparatus for inspecting defects of circuit patterns
KR20130118822A (en) * 2012-04-20 2013-10-30 어플라이드 머티리얼즈 이스라엘 리미티드 Classifier readiness and maintenance in automatic defect classification
JP2017107313A (en) * 2015-12-08 2017-06-15 株式会社Screenホールディングス Teacher data creation support method, image classification method, teacher data creation support device and image classification device
US10043264B2 (en) 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US10114368B2 (en) 2013-07-22 2018-10-30 Applied Materials Israel Ltd. Closed-loop automatic defect inspection and classification
JP2019220116A (en) * 2018-06-22 2019-12-26 日立造船株式会社 Information processing device, determination method, and object determination program
JP2020149557A (en) * 2019-03-15 2020-09-17 株式会社東芝 Analysis system, analysis method, program, and storage medium

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132547A (en) * 2000-10-27 2002-05-10 Fuji Xerox Co Ltd Server for electronics information control, client therefor, method therefor and readable record medium recording program therefor
US20030123737A1 (en) * 2001-12-27 2003-07-03 Aleksandra Mojsilovic Perceptual method for browsing, searching, querying and visualizing collections of digital images
US7283659B1 (en) 2002-01-09 2007-10-16 Kla-Tencor Technologies Corporation Apparatus and methods for searching through and analyzing defect images and wafer maps
US7175503B2 (en) 2002-02-04 2007-02-13 Kla-Tencor Technologies Corp. Methods and systems for determining a characteristic of polishing within a zone on a specimen from combined output signals of an eddy current device
US6833913B1 (en) 2002-02-26 2004-12-21 Kla-Tencor Technologies Corporation Apparatus and methods for optically inspecting a sample for anomalies
JP4155496B2 (en) * 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 Classification support device, classification device, and program
US7968354B1 (en) 2002-10-04 2011-06-28 Kla-Tencor Technologies Corp. Methods for correlating backside and frontside defects detected on a specimen and classification of backside defects
US7027143B1 (en) 2002-10-15 2006-04-11 Kla-Tencor Technologies Corp. Methods and systems for inspecting reticles using aerial imaging at off-stepper wavelengths
US7123356B1 (en) 2002-10-15 2006-10-17 Kla-Tencor Technologies Corp. Methods and systems for inspecting reticles using aerial imaging and die-to-database detection
US7379175B1 (en) 2002-10-15 2008-05-27 Kla-Tencor Technologies Corp. Methods and systems for reticle inspection and defect review using aerial imaging
US7359544B2 (en) 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
US7132652B1 (en) 2003-03-25 2006-11-07 Kla-Tencor Technologies Corporation Automatic classification of defects using pattern recognition applied to X-ray spectra
US7352456B2 (en) 2003-04-08 2008-04-01 Kla-Tencor Technologies Corp. Method and apparatus for inspecting a substrate using a plurality of inspection wavelength regimes
US9002497B2 (en) 2003-07-03 2015-04-07 Kla-Tencor Technologies Corp. Methods and systems for inspection of wafers and reticles using designer intent data
EP2256487B1 (en) 2003-09-04 2019-11-06 KLA-Tencor Corporation Methods for inspection of a specimen using different inspection parameters
US20050135667A1 (en) * 2003-12-22 2005-06-23 Abb Oy. Method and apparatus for labeling images and creating training material
US8126861B2 (en) * 2004-01-02 2012-02-28 Cerner Innovation, Inc. System and method for managing large data sets
CN103439346B (en) 2004-10-12 2017-10-20 恪纳腾技术公司 The computer implemented method and system of defect on graded samples
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US7660468B2 (en) 2005-05-09 2010-02-09 Like.Com System and method for enabling image searching using manual enrichment, classification, and/or segmentation
US20080177640A1 (en) 2005-05-09 2008-07-24 Salih Burak Gokturk System and method for using image analysis and search in e-commerce
US7945099B2 (en) 2005-05-09 2011-05-17 Like.Com System and method for use of images with recognition analysis
US7783135B2 (en) 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
US8732025B2 (en) 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
US7657126B2 (en) 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
US7760917B2 (en) 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US8571272B2 (en) * 2006-03-12 2013-10-29 Google Inc. Techniques for enabling or establishing the use of face recognition algorithms
US9690979B2 (en) 2006-03-12 2017-06-27 Google Inc. Techniques for enabling or establishing the use of face recognition algorithms
US7875851B1 (en) * 2006-05-01 2011-01-25 Advanced Micro Devices, Inc. Advanced process control framework using two-dimensional image analysis
US8416981B2 (en) 2007-07-29 2013-04-09 Google Inc. System and method for displaying contextual supplemental content based on image content
DE102007054099A1 (en) * 2007-11-13 2009-05-14 Robert Bosch Gmbh Assignment of particles to formation processes
US8233723B2 (en) 2007-12-06 2012-07-31 Ebay Inc. Image categorization based on comparisons between images
JP5572293B2 (en) * 2008-07-07 2014-08-13 株式会社日立ハイテクノロジーズ Defect inspection method and defect inspection apparatus
AU2009270946A1 (en) * 2008-07-14 2010-01-21 Google Inc. System and method for using supplemental content items for search criteria for identifying other content items of interest
KR101841897B1 (en) 2008-07-28 2018-03-23 케이엘에이-텐코어 코오포레이션 Computer-implemented methods, computer-readable media, and systems for classifying defects detected in a memory device area on a wafer
WO2010091307A2 (en) 2009-02-06 2010-08-12 Kla-Tencor Corporation Selecting one or more parameters for inspection of a wafer
US20100313141A1 (en) * 2009-06-03 2010-12-09 Tianli Yu System and Method for Learning User Genres and Styles and for Matching Products to User Preferences
US8315453B2 (en) * 2010-07-27 2012-11-20 Applied Materials Israel, Ltd. Defect classification with optimized purity
KR101800057B1 (en) * 2010-10-19 2017-11-21 쓰리엠 이노베이티브 프로퍼티즈 컴파니 Method and apparatus for assigning ratings to training images
SG189226A1 (en) * 2010-10-19 2013-05-31 3M Innovative Properties Co Continuous charting of non-uniformity severity for detecting variability in web-based materials
BR112013011107A2 (en) * 2010-11-12 2016-08-02 3M Innovative Properties Co '' Fast processing and detection of non-uniformity in mat materials ''
SG192768A1 (en) * 2011-02-24 2013-09-30 3M Innovative Properties Co System for detection of non-uniformities in web-based materials
US9170211B2 (en) 2011-03-25 2015-10-27 Kla-Tencor Corp. Design-based inspection using repeating structures
US9087367B2 (en) 2011-09-13 2015-07-21 Kla-Tencor Corp. Determining design coordinates for wafer defects
JP5719760B2 (en) 2011-12-28 2015-05-20 株式会社日立ハイテクノロジーズ Defect classification device
US9715723B2 (en) 2012-04-19 2017-07-25 Applied Materials Israel Ltd Optimization of unknown defect rejection for automatic defect classification
US9858658B2 (en) * 2012-04-19 2018-01-02 Applied Materials Israel Ltd Defect classification using CAD-based context attributes
US9229446B2 (en) * 2012-05-08 2016-01-05 International Business Machines Corporation Production line quality processes
US9984300B2 (en) * 2012-09-19 2018-05-29 Nec Corporation Image processing system, image processing method, and program
US9189844B2 (en) 2012-10-15 2015-11-17 Kla-Tencor Corp. Detecting defects on a wafer using defect-specific information
US9053527B2 (en) 2013-01-02 2015-06-09 Kla-Tencor Corp. Detecting defects on a wafer
US9134254B2 (en) 2013-01-07 2015-09-15 Kla-Tencor Corp. Determining a position of inspection system output in design data space
US9311698B2 (en) 2013-01-09 2016-04-12 Kla-Tencor Corp. Detecting defects on a wafer using template image matching
JP6074272B2 (en) * 2013-01-17 2017-02-01 キヤノン株式会社 Image processing apparatus and image processing method
WO2014149197A1 (en) 2013-02-01 2014-09-25 Kla-Tencor Corporation Detecting defects on a wafer using defect-specific and multi-channel information
JP6232999B2 (en) * 2013-03-15 2017-11-22 株式会社リコー Image inspection apparatus, image inspection system, and image inspection method
US9865512B2 (en) 2013-04-08 2018-01-09 Kla-Tencor Corp. Dynamic design attributes for wafer inspection
CN103196922B (en) * 2013-04-09 2015-06-10 上海华力微电子有限公司 Defect checking load counting system and method
US9310320B2 (en) 2013-04-15 2016-04-12 Kla-Tencor Corp. Based sampling and binning for yield critical defects
US10013639B1 (en) * 2013-12-16 2018-07-03 Amazon Technologies, Inc. Analyzing digital images based on criteria
US9349076B1 (en) * 2013-12-20 2016-05-24 Amazon Technologies, Inc. Template-based target object detection in an image
US9430743B2 (en) * 2014-03-06 2016-08-30 Kla-Tencor Corp. Composite defect classifier
US9412048B2 (en) 2014-04-21 2016-08-09 Haier Us Appliance Solutions, Inc. Systems and methods for cookware detection
US9449220B2 (en) * 2014-04-21 2016-09-20 Haier Us Appliance Solutions, Inc. Systems and methods for cookware detection
KR101581917B1 (en) * 2014-08-12 2016-01-04 네이버 주식회사 Method and apparatus for controlling display of contents, and computer program for executing the method
US10599953B2 (en) 2014-08-27 2020-03-24 Verint Americas Inc. Method and system for generating and correcting classification models
TWI737659B (en) * 2015-12-22 2021-09-01 以色列商應用材料以色列公司 Method of deep learning - based examination of a semiconductor specimen and system thereof
US10223615B2 (en) 2016-08-23 2019-03-05 Dongfang Jingyuan Electron Limited Learning based defect classification
CN106290378B (en) * 2016-08-23 2019-03-19 东方晶源微电子科技(北京)有限公司 Defect classification method and defect inspecting system
US10964013B2 (en) * 2017-01-10 2021-03-30 Kla-Tencor Corporation System, method for training and applying defect classifiers in wafers having deeply stacked layers
CN110998463B (en) * 2017-01-18 2023-08-25 Asml荷兰有限公司 Knowledge recommendation server and method for defect inspection
WO2018134290A1 (en) * 2017-01-18 2018-07-26 Asml Netherlands B.V. Defect displaying method
US11514357B2 (en) 2018-03-19 2022-11-29 Kla-Tencor Corporation Nuisance mining for novel defect discovery
IL261733B (en) * 2018-09-13 2022-09-01 Inspekto A M V Ltd Streamlining an automatic visual inspection process
US11468553B2 (en) * 2018-11-02 2022-10-11 Kla Corporation System and method for determining type and size of defects on blank reticles
IL263097B2 (en) * 2018-11-18 2024-01-01 Inspekto A M V Ltd Optimizing a set-up stage in an automatic visual inspection process
KR20200137219A (en) * 2019-05-29 2020-12-09 삼성에스디에스 주식회사 Method and apparatus for wafer defect pattern detection based on unsupervised learning
CN111257715B (en) * 2020-02-19 2022-06-24 上海韦尔半导体股份有限公司 Wafer testing method and device
CN114723751B (en) * 2022-06-07 2022-09-23 中国空气动力研究与发展中心设备设计与测试技术研究所 Unsupervised strip steel surface defect online detection method

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4441205A (en) * 1981-05-18 1984-04-03 Kulicke & Soffa Industries, Inc. Pattern recognition system
CA1318977C (en) * 1987-07-22 1993-06-08 Kazuhito Hori Image recognition system
DE68927489T2 (en) * 1988-08-12 1997-03-27 Sumitomo Wiring Systems Image processing device for the detection of incomplete objects
US5353356A (en) * 1989-02-09 1994-10-04 Waugh Richard M Product gauge methods and apparatus for use in the optical determination of the acceptability of products
US5226118A (en) 1991-01-29 1993-07-06 Prometrix Corporation Data analysis system and method for industrial process control systems
US5237621A (en) * 1991-08-08 1993-08-17 Philip Morris Incorporated Product appearance inspection methods and apparatus employing low variance filter
FR2681947A1 (en) 1991-10-01 1993-04-02 Micro Controle Method for the automatic classification of defects in micro-circuits
US5544256A (en) * 1993-10-22 1996-08-06 International Business Machines Corporation Automated defect classification system
US5526437A (en) * 1994-03-15 1996-06-11 Key Technology, Inc. Integrated food sorting and analysis apparatus
US5991699A (en) * 1995-05-04 1999-11-23 Kla Instruments Corporation Detecting groups of defects in semiconductor feature space
US6292582B1 (en) * 1996-05-31 2001-09-18 Lin Youling Method and system for identifying defects in a semiconductor
US6148099A (en) * 1997-07-03 2000-11-14 Neopath, Inc. Method and apparatus for incremental concurrent learning in automatic semiconductor wafer and liquid crystal display defect classification
EP1025512A4 (en) 1997-10-27 2005-01-19 Kla Tencor Corp Software system and method for extending classifications and attributes in production analysis
US6408219B2 (en) 1998-05-11 2002-06-18 Applied Materials, Inc. FAB yield enhancement system
US6256093B1 (en) 1998-06-25 2001-07-03 Applied Materials, Inc. On-the-fly automatic defect classification for substrates using signal attributes
US6987873B1 (en) 1998-07-08 2006-01-17 Applied Materials, Inc. Automatic defect classification with invariant core classes
US6480627B1 (en) * 1999-06-29 2002-11-12 Koninklijke Philips Electronics N.V. Image classification using evolved parameters
US6577757B1 (en) * 1999-07-28 2003-06-10 Intelligent Reasoning Systems, Inc. System and method for dynamic image recognition

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111902B2 (en) 2005-08-31 2012-02-07 Hitachi High-Technologies Corporation Method and apparatus for inspecting defects of circuit patterns
JP4723544B2 (en) * 2007-09-10 2011-07-13 シャープ株式会社 Substrate classification method and apparatus, program for causing a computer to execute the substrate classification method, and a computer-readable recording medium storing the program
JP2009070834A (en) * 2007-09-10 2009-04-02 Sharp Corp Method and device of classifying substrate, method and device of estimating abnormal facility, program for executing the method of classifying substrate or the method of estimating abnormal facility by computer, and computer readable recording medium storing the program
US9020237B2 (en) 2010-06-07 2015-04-28 Hitachi High-Technologies Corporation Method for optimizing observed image classification criterion and image classification apparatus
WO2011155123A1 (en) * 2010-06-07 2011-12-15 株式会社 日立ハイテクノロジーズ Observation image classification reference optimization method and image classification device
JPWO2011155123A1 (en) * 2010-06-07 2013-08-01 株式会社日立ハイテクノロジーズ Method for optimizing observation image classification criteria and image classification apparatus
US10043264B2 (en) 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
KR102092054B1 (en) * 2012-04-20 2020-03-24 어플라이드 머티리얼즈 이스라엘 리미티드 Classifier readiness and maintenance in automatic defect classification
JP2013225313A (en) * 2012-04-20 2013-10-31 Applied Materials Israel Ltd Preparation and maintenance of classifier in automatic defect classification
KR20130118822A (en) * 2012-04-20 2013-10-30 어플라이드 머티리얼즈 이스라엘 리미티드 Classifier readiness and maintenance in automatic defect classification
US10114368B2 (en) 2013-07-22 2018-10-30 Applied Materials Israel Ltd. Closed-loop automatic defect inspection and classification
US10901402B2 (en) 2013-07-22 2021-01-26 Applied Materials Israel, Ltd. Closed-loop automatic defect inspection and classification
JP2017107313A (en) * 2015-12-08 2017-06-15 株式会社Screenホールディングス Teacher data creation support method, image classification method, teacher data creation support device and image classification device
JP2019220116A (en) * 2018-06-22 2019-12-26 日立造船株式会社 Information processing device, determination method, and object determination program
JP7219023B2 (en) 2018-06-22 2023-02-07 日立造船株式会社 Information processing device and object determination program
JP2020149557A (en) * 2019-03-15 2020-09-17 株式会社東芝 Analysis system, analysis method, program, and storage medium
JP7273556B2 (en) 2019-03-15 2023-05-15 株式会社東芝 Analysis system, analysis method, program, and storage medium

Also Published As

Publication number Publication date
EP1238367A2 (en) 2002-09-11
EP1238367B1 (en) 2012-09-19
WO2001040145A2 (en) 2001-06-07
WO2001040145A3 (en) 2002-07-11
US6999614B1 (en) 2006-02-14
AU2054101A (en) 2001-06-12

Similar Documents

Publication Publication Date Title
JP2003515942A (en) Power-assisted automatic monitoring and classifier fabrication tool for semiconductor defects
US6718526B1 (en) Spatial signature analysis
US7570797B1 (en) Methods and systems for generating an inspection process for an inspection system
US7602962B2 (en) Method of classifying defects using multiple inspection machines
JP4118703B2 (en) Defect classification apparatus, automatic defect classification method, defect inspection method, and processing apparatus
US8437534B2 (en) Defect classification method and apparatus, and defect inspection apparatus
US9075026B2 (en) Defect inspection device and defect inspection method
JP4374303B2 (en) Inspection method and apparatus
KR100824217B1 (en) Hybrid invariant adaptive automatic defect classification
US5933519A (en) Cytological slide scoring apparatus
US7283659B1 (en) Apparatus and methods for searching through and analyzing defect images and wafer maps
CN108319968A (en) A kind of recognition methods of fruits and vegetables image classification and system based on Model Fusion
US20040156540A1 (en) Automatic supervised classifier setup tool for semiconductor defects
US20220172497A1 (en) Characterization System and Method With Guided Defect Discovery
JP6576342B2 (en) Method and wafer inspection tool for classifying defects
WO2013083972A1 (en) Method and apparatus for automatic detection of features in an image and method for training the apparatus
Rad et al. Classification of rice varieties using optimal color and texture features and BP neural networks
JP2000162135A (en) Inspecting method, inspecting system and production of electronic device
TW202209153A (en) Automatic optimization of an examination recipe
TWI791930B (en) System, method and computer readable medium for classifying defects in a semiconductor specimen
JP2001188906A (en) Method and device for automatic image calssification
Supekar et al. Multi-parameter based mango grading using image processing and machine learning techniques
CN108921172A (en) Image processing apparatus and method based on support vector machines
WO2020120039A1 (en) Classification of cell nuclei
CN110348373A (en) A kind of wheatland block identifying method based on high score image

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071129

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20071205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20071205

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20080108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080227

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080526

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080724

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080819