JP2020500422A - 検査関連アルゴリズムのセットアップに用いられる訓練集合の最適化 - Google Patents

検査関連アルゴリズムのセットアップに用いられる訓練集合の最適化 Download PDF

Info

Publication number
JP2020500422A
JP2020500422A JP2019520517A JP2019520517A JP2020500422A JP 2020500422 A JP2020500422 A JP 2020500422A JP 2019520517 A JP2019520517 A JP 2019520517A JP 2019520517 A JP2019520517 A JP 2019520517A JP 2020500422 A JP2020500422 A JP 2020500422A
Authority
JP
Japan
Prior art keywords
inspection
related algorithm
defects
defect
labeled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019520517A
Other languages
English (en)
Other versions
JP6833027B2 (ja
Inventor
マーティン プリハル
マーティン プリハル
エルファン ソルタンモハンマディ
エルファン ソルタンモハンマディ
サラバナン パラマシバム
サラバナン パラマシバム
サイラム ラヴ
サイラム ラヴ
アンキット ジャイン
アンキット ジャイン
サラス シェキザール
サラス シェキザール
プラサンティ アッパールリ
プラサンティ アッパールリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KLA Corp
Original Assignee
KLA Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/782,820 external-priority patent/US10267748B2/en
Application filed by KLA Corp filed Critical KLA Corp
Publication of JP2020500422A publication Critical patent/JP2020500422A/ja
Application granted granted Critical
Publication of JP6833027B2 publication Critical patent/JP6833027B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H01L22/24—Optical enhancement of defects or not directly visible states, e.g. selective electrolytic deposition, bubbles in liquids, light emission, colour change
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H01L22/26—Acting in response to an ongoing measurement without interruption of processing, e.g. endpoint detection, in-situ thickness measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95676—Masks, reticles, shadow masks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Complex Calculations (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Abstract

検査関連アルゴリズムを訓練する方法及びシステムが提供される。あるシステムに備わる１個又は複数個のコンピュータサブシステムを、ラベル付き欠陥集合で以て検査関連アルゴリズムの初期訓練を実行することでその検査関連アルゴリズムの初版を生成し、その初版の検査関連アルゴリズムをラベル無し欠陥集合に適用するよう構成する。また、そのコンピュータサブシステム（群）を、その適用の結果に基づきラベル付き欠陥集合を改変するよう構成する。その後は、最新版のアルゴリズムによりもたらされた結果と旧版によるそれとの間の一通り又は複数通りの差異が一通り又は複数通りの基準を満たすまでそのコンピュータサブシステム（群）により反復的に検査関連アルゴリズムを再訓練してラベル付き欠陥集合を改変する。当該一通り又は複数通りの差異が当該一通り又は複数通りの基準を満たしたときに、最新版の検査関連アルゴリズムが既訓練アルゴリズムとして出力される。

Description

本発明は、検査関連アルゴリズムのセットアップに用いられる訓練集合を最適化する方法及びシステムに関する。
以下の記述及び諸例は、本欄中にあるとはいえ従来技術であるとは認められない。
検査プロセスは半導体製造プロセスの諸工程にて用いられており、それによりウェハ上の欠陥を検出することで、その製造プロセスでの歩留まり向上、ひいては利益増大を促すことができる。検査はこれまでも半導体デバイス製造の重要部分であり続けてきた。とはいえ、より小さな欠陥がデバイスを故障させかねないことから、半導体デバイスの寸法が縮小されるにつれ、許容できる半導体デバイスの首尾よい製造のために検査が更に重要になってきている。
欠陥が試料例えばウェハ上で検出されたときには、しばしば、検出された欠陥に対しある種のアルゴリズムが適用され、それらが幾種類かの欠陥に分別される（或いは欠陥でないものから欠陥が分離される）。その実行手法の一つが、検出された欠陥に欠陥クラシファイアを適用することで、それら検出された欠陥を幾つかの欠陥種別又は階級に分別する、というものである。通常、欠陥クラシファイアは、それら欠陥及び／又は欠陥画像（例．欠陥周辺で捉えられた比較的小さな画像であり「パッチ」画像又は「パッチ」と通称されているもの）の一通り又は複数通りの属性を入力として用い、欠陥種別又は階級を判別する。欠陥クラシファイアは、その上で、ある種の識別子即ちＩＤを各欠陥に割り当てることで、その判別された種別又は階級を明らかにする。もう一つの検出欠陥分別手法は、ニュイサンス（ｎｕｉｓａｎｃｅ）又はノイズから実欠陥を分離させるものである。「ニュイサンス」欠陥は、一般に、ユーザが気にしない欠陥として、及び／又は、欠陥として検出されるが実際には欠陥でないものとして、定義されている。そうしたアルゴリズムは欠陥フィルタ及び／又はニュイサンスフィルタと通称されている。
光学検査ツール上で最も広範に用いられているクラシファイア／ニュイサンスフィルタは、マニュアル構築された決定木に依拠するものである。それら決定木をチューニングする方法により、木構築用ベストノウンメソッド（ＢＫＭ）に組み込まれる経験及びドメイン知識を梃子入れすることができる。これにより、典型的には、ＢＫＭ「テンプレート」、欠陥クラスタリング及び（パッチを用いた）実質的に粗な欠陥ラベリングを用い決定木が初期構築される。その上で、木の構造が得られた後に、その木の葉ノードに亘るスマートサンプル分布でのダイバーシティサンプリングを用い、その木が多様にサンプリングされる。その上で、サンプリングされた欠陥が走査型電子顕微鏡（ＳＥＭ）レビューされ、分類され、そして決定カットライン（異種欠陥分別境界）の最終チューニングに用いられる。他の機械学習アルゴリズム依拠クラシファイア（例．最近傍型クラシファイア）でも、訓練集合が与えられれば決定境界が自動的に見つかるが、それらの性能が最大化されそうな訓練集合を得る方法は目下存在していない。
米国特許第８６６４５９４号明細書 米国特許第８６９２２０４号明細書 米国特許第８６９８０９３号明細書 米国特許第８７１６６６２号明細書 米国特許第８１２６２５５号明細書 米国特許第９２２２８９５号明細書 米国特許出願公開第２０１７／０１４８２２６号明細書 米国特許出願公開第２０１７／０１９３６８０号明細書 米国特許出願公開第２０１７／０１９４１２６号明細書 米国特許出願公開第２０１７／０２００２６０号明細書 米国特許出願公開第２０１７／０２００２６５号明細書
しかしながら、現在用いられている欠陥クラシファイアセットアップ及びチューニング方法には幾つかの短所がある。例えば、既存方法は労働集約的であり、高度な専門性を必要としており、しかも人的エキスパートにより左右される非一貫的な結果をもたらす。人的エキスパートによるクラシファイア構築は、ともすれば誤りがちで、高コストで、時間も消費する。個々の欠陥が割合に多数の特徴を有しているため、分類向けにそれらの特徴を適正可視化することがほとんど不可能である。そのため、下地たる多次元分布についての知識の欠如ゆえに、人的エキスパートでは分類境界構築時に重大な過誤が起きかねない。重大な過誤がないにしても、非最適なクラシファイアがマニュアル生成される割合がかなり高い。
従って、検査関連アルゴリズムのセットアップに用いられる訓練集合を最適化するシステム及び／又は方法であり、上述した短所のうち１個又は複数個を有していないものを開発することが有益である。
諸実施形態についての以下の記述は、如何なるやり方であれ、添付する特許請求の範囲の主題を限定するものとして解されるべきではない。
実施形態の一つは、検査関連アルゴリズムを訓練するよう構成されたシステムに関する。本システムは、少なくともエネルギ源及び検出器を有する検査サブシステムを備える。そのエネルギ源は、試料に向かうエネルギを生成するよう構成される。検出器は、その試料からのエネルギを検出するよう且つ検出されたエネルギに応じ出力を生成するよう構成される。本システムは１個又は複数個のコンピュータサブシステムも備える。当該１個又は複数個のコンピュータサブシステムは、ラベル付き欠陥集合で以て検査関連アルゴリズムの初期訓練を実行することで、その検査関連アルゴリズムの初版(initial version)を生成するよう構成される。また、そのコンピュータサブシステム（群）は、初版の検査関連アルゴリズムをラベル無し欠陥集合に適用し、その適用の結果に基づきラベル付き欠陥集合を改変するよう構成される。加えて、そのコンピュータサブシステム（群）は、その改変されたラベル付き欠陥集合で以てその検査関連アルゴリズムを再訓練することで、その検査関連アルゴリズムの更新版(more recent version)を生成するよう構成される。更に、そのコンピュータサブシステム（群）は、更新版の検査関連アルゴリズムを別のラベル無し欠陥集合に適用するよう構成される。加えて、そのコンピュータサブシステム（群）は、更新版の検査関連アルゴリズムの適用結果と、初版又は従前版(less recent version)の検査関連アルゴリズムの適用結果との間の一通り又は複数通りの差異を判別するよう構成される。また、そのコンピュータサブシステム（群）は、ラベル付き欠陥集合の改変、検査関連アルゴリズムの再訓練、更新版の検査関連アルゴリズムの適用、並びに一通り又は複数通りの差異の判別を、その一通り又は複数通りの差異が一通り又は複数通りの基準を満たすまで繰り返すよう構成される。そのコンピュータサブシステム（群）は、当該一通り又は複数通りの差異が当該一通り又は複数通りの基準を満たしたとき、その検査関連アルゴリズムの最新版(most recent version)を、他試料の検査に用いられる既訓練検査関連アルゴリズムとして出力するよう構成される。更に、本システムは本願記載の如く構成され得る。
もう一つの実施形態は、検査関連アルゴリズムを訓練するためのコンピュータ実施方法に関するものである。本方法は、上述した１個又は複数個のコンピュータサブシステムの機能それぞれに係るステップを有する。本方法の諸ステップは１個又は複数個のコンピュータシステムにより実行される。本方法は本願詳述の如く実行されうる。加えて、本方法には本願記載のいずれの他方法（群）のいずれの他ステップ（群）も含め得る。更に、本方法は本願記載のシステムのいずれでも実行され得る。
更なる実施形態は、プログラム命令が格納された非一時的コンピュータ可読媒体であり、そのプログラム命令をコンピュータシステム上で実行することで、検査関連アルゴリズムを訓練するためのコンピュータ実施方法が実行されるものに関する。そのコンピュータ実施方法は上述の方法の諸ステップを有する。更に、本コンピュータ可読媒体は本願記載の如く構成され得る。そのコンピュータ実施方法の諸ステップは本願詳述の如く実行され得る。加えて、そのコンピュータ実施方法はプログラム命令を実行可能なもので、本願記載のいずれの他方法（群）のいずれの他ステップ（群）も含まれ得る。
後述の記載及び以下の如き添付図面を参照することで、本発明の他の目的及び長所が明らかとなる。
本願記載の如く構成されたシステムの実施形態の側面を描いた模式図である。 本願記載の如く構成されたシステムの実施形態の側面を描いた模式図である。 本願記載の諸実施形態により実行されうる諸ステップの一実施形態を描いたフローチャートである。 本願記載のコンピュータ実施方法のうち１個又は複数個を実行すべくコンピュータシステム上で実行されるプログラム命令が格納される、非一時的コンピュータ可読媒体の一実施形態を描いたブロック図である。
本発明は様々な修正及び代替形態を含み得るものであり、その具体的諸実施形態が、図中に例示され且つ本願中で詳述されている。とはいえ、理解されるように、図面及びそれについての詳述の意図は本発明を特定の被開示形態に限定することではなく、むしろその逆に、その意図は、別項の特許請求の範囲により定義される本発明の本質及び技術的範囲内に収まる全ての修正物、均等物及び代替物をカバーすることにある。
図面において注記すべきは、それら図面が均等縮尺で描かれていないことである。とりわけ、図中の諸要素のうち幾つかの縮尺が、その要素の特質を強調すべく大きく誇張されている。また、諸図が同じ縮尺で描かれているわけではない。複数図面に示されている要素のうち同様に構成され得るものが、同じ参照符号を用いて示されている。本願中に別様の注記がない限り、いずれの図示記載要素にもあらゆる好適な市販要素を具備させ得る。
実施形態の一つは、検査関連アルゴリズムを訓練するよう構成されたシステムに関する。総じて、本願記載の諸実施形態により提供される方法及びシステムによれば、最小サイズの訓練集合を得て、光学その他のツールにより捕捉された欠陥を分類することや、その他の検査関連機能に供することができる。加えて、本願記載の諸実施形態を有益に用いることで、最教示的欠陥の最小集合を見つけ、それによりクラシファイアその他本願記載の検査関連アルゴリズムを構築し、それを欠陥分類その他本願記載の検査関連機能に役立てることができる。
最適性能をめざして試料検査（例．光学的ウェハ検査）をチューニングするプロセスは、従来、ほぼ丸ごとマニュアル的なものであった。チューニングプロセスは、一般的に、ベストノウンメソッド（ＢＫＭ）と、そのチューニングを実行する人的エキスパートの経験及び熟練とに依拠している。（労力及び工数的に）極端に高コストでもあるし、チューニングの成果が主観的であり一貫性を欠いてもいるので、そうしたアプローチは生産監視システムのセットアップに相応しくない。しかしながら、現在の検査チューニング方法論のこうした自明な短所にもかかわらず、そのプロセスを自動化する試みが生産環境にて市民権を得ているようには見受けられない。その主因は、そうした自動化がアルゴリズムに依拠しており、しかもそれが自身の性能を自身の訓練基礎データ（訓練集合と呼ばれるもの）から導き出していることにある。そのため、その訓練データが系統的手法で捕捉されない限り、それらアルゴリズムの性能が不確実になる。言い換えれば、信頼できる方法により訓練集合を見つけそれらアルゴリズムの性能を最適化することなくしては、そうした自動化策はマニュアル的アプローチの全問題を被ることになる。とりわけ、そうした策は首尾一貫していないし、下地となるアルゴリズムがどれだけ良好であっても、それらの性能がマニュアル的方法のそれに整合するとは保証されない。加えて、性能問題を診断すること及び見つかった場合にそうした問題を正すことは、往々にして、不可能ではないにしてもかなり困難である。そのため、機械学習法（これらのアプローチは今日そう知られている）が今のところ成功していないことは驚きではない。
本願記載の諸実施形態により提供される包括的なチューニング方法論は、あらゆる機械学習アルゴリズム向けのものであり、検査関連機能例えば分類及びフィルタリング向けに用いることができる（それら実施形態は検出アルゴリズムチューニングにも適用できるが、本願記載の諸実施形態がとりわけ役立つのはニュイサンスフィルタ及びクラシファイアである）。それら実施形態の基礎にある認識は、検査（例．光学検査）の場合、訓練集合捕捉手法をアルゴリズムチューニングそれ自体と有益にも全統合できる、というものである。それら二者を相互リンクさせ、それらが互いに分離しないようにすべきであり、それにより一貫した挙動をもたらすことができる。この相互依存化の基礎的理由は以下の通りである。
検査、例えば光学検査は、ホットスキャン（かなり高いニュイサンス率を有する極度に不完全な走査）を用いてチューニングされる。チューニングそれ自体に、ラベル付けされた欠陥（即ち分類された欠陥、典型的には人的エキスパートにより分類されたそれ）が必要である。この分類は、ＳＥＭレビューツールで以て捕捉された走査型電子顕微鏡（ＳＥＭ）画像について実行される。仮に、ホットスキャンにて検出された欠陥全てをレビュー及び分類できるのなら、本願記載の諸実施形態は必要ないであろう。しかしながら、そのレビュー／分類プロセスは工数的にもツール時間的にもかなり高価であるため、それを行うのは事実上不可能である。そのため、欠陥からなる好適な部分集合を識別し、それによりクラシファイアその他の検査関連アルゴリズムの最適性能を発現させ得るようにすることが絶対に必要であり、それを達成する最小限集合を探すことが強く望まれる。
本願記載の諸実施形態により提供される方法及びシステムでは学習反復により欠陥の訓練集合の選択が最適化され、またその学習反復にて検査関連アルゴリズム（例．クラシファイアモデル）がデータを学び自身の性能を改善するのに何が必要かを問いかける。また、本願記載の諸実施形態により提供される方法及びシステムでは、好適にも、その学習が終わりに達した時点が判別される。
ある実施形態では試料にウェハが含まれる。別の実施形態では試料にレティクルが含まれる。それらウェハ及びレティクルには本願技術分野で既知なあらゆるウェハ及びレティクルが含まれ得る。
このようなシステムの一実施形態を図１に示す。本システムは検査サブシステムを有しており、またそれが少なくともエネルギ源及び検出器を有している。そのエネルギ源は、試料に向かうエネルギを生成するよう構成されている。検出器は、その試料からのエネルギを検出するよう且つ検出されたエネルギに応じて出力を生成するよう構成されている。
ある実施形態では、光を含むエネルギが試料に向かい、光を含むエネルギがその試料から検出される。例えば図１に示す実施形態のシステムでは、検査サブシステム１０が照明サブシステムを有し、試料１４に光を向かわせるように構成されている。その照明サブシステムは少なくとも１個の光源を有している。例えば、図１に示す照明サブシステムは光源１６を有している。ある実施形態では、照明サブシステムが、一通り又は複数通りの入射角、例えば一通り又は複数通りの斜め角及び／又は一通り又は複数通りの直交角を含むそれにて光を試料に向かわせるよう構成される。例えば、図１に示すように、光源１６からの光を光学素子１８、更にはレンズ２０を経てビームスプリッタ２１へと向かわせ、そこからその光を試料１４へと直交入射角にて向かわせる。その入射角は、好適であればどのような入射角でもよいが、例えば、試料及びその試料上にある検出対象欠陥の特性によって左右され得る。
その照明サブシステムを、別の時点では別の入射角にて試料に光を向かわせるよう、構成してもよい。例えば、その照明サブシステムに備わる１個又は複数個の素子の一通り又は複数通りの特性を改変することで、図１に示したそれとは異なる入射角にて試料に光を向かわせうるよう検査サブシステムを構成することができる。一例としては、光源１６、光学素子１８及びレンズ２０を動かし別の入射角にて試料に光を向かわせることができるよう検査サブシステムを構成することができる。
場合によっては、その検査サブシステムを、同時に複数通りの入射角にて試料に光を向かわせるよう構成してもよい。例えば、その照明サブシステムに複数個の照明チャネルを具備させ、それら照明チャネルのうち１個に図１に示す如く光源１６、光学素子１８及びレンズ２０を具備させ、且つそれら照明チャネルのうち別の１個（図示せず）に同類の素子群を具備させればよく、またそれら同類の素子を、別様に構成しても、同様に構成しても、少なくとも光源を有するものとしても、更に１個又は複数個の他部材例えば本願詳述のそれを有するものとしてもよい。その光を他の光と同時に試料へと向かわせる場合、相異なる入射角にて試料に向かう光の一通り又は複数通りの特性（例．波長、偏向等々）を異ならせることで、相異なる入射角での試料の照明によりもたらされた光を、検出器（群）にて互いに弁別することが可能となる。
また、場合によっては、照明サブシステムに備わる光源を１個だけ（例．図１に示す光源１６）とし、その照明サブシステムに備わる１個又は複数個の光学素子（図示せず）によって、その光源からの光を（例．波長、偏向等々に基づき）別々の光路に分け入れるようにしてもよい。その上で、当該別々の光路それぞれに存する光を試料へと向かわせればよい。複数個の照明チャネルを、光を試料に同時に向かわせるよう構成してもよいし、別々の時点で向かわせるよう構成してもよい（例．幾つかの照明チャネルを用いその試料を順次照明する際）。また、場合によっては、同じ照明チャネルを、別の時点では別の特性で以て試料に光を向かわせるよう構成してもよい。例えば、場合によっては光学素子１８を分光フィルタとして構成してもよく、その分光フィルタの特性を様々なやり方で（例．その分光フィルタの入替により）変えることで、別々の波長の光を別々の時点で試料に向かわせることができる。照明サブシステムには、別々の又は同じ特性を有する光を別々の又は同じ入射角にて順繰り又は同時に向かわせるべく、本願技術分野で既知で好適なあらゆる他構成を具備させ得る。
ある実施形態によれば、光源１６を、広帯域プラズマ（ＢＢＰ）光源を有するものとすることができる。これにより、その光源により生成され試料に向かう光を、広帯域光を含むものにすることができる。しかしながら、その光源が他の何らかの好適光源、例えばレーザを有していてもよい。そのレーザには本願技術分野で既知で好適なあらゆるレーザが含まれ得るし、そのレーザが、本願技術分野で既知で好適ないずれの波長又は波長群にて光を生成するよう構成されていてもよい。加えて、そのレーザが、単色又は近単色の光を生成するよう構成されていてもよい。こうしてそのレーザを狭帯域レーザとすることができる。また、その光源が多色光源を有し、それにより複数の離散波長又は波帯にて光が生成されるようにしてもよい。
光学素子１８からの光は、レンズ２０によりビームスプリッタ２１へと集束させることができる。図１ではレンズ２０が単体の屈折性光学素子として示されているが、理解されるように、実際には、レンズ２０が複数個の屈折性及び／又は反射性光学素子を有していて、それらの協働で当該光学素子からの光が試料へと集束されることもある。図１に示され本願に記載されている照明サブシステムには、あらゆる好適な他光学素子（図示せず）を具備させ得る。そうした光学素子の例としては、これに限られるものではないが、偏向部品（群）、分光フィルタ（群）、空間フィルタ（群）、反射性光学素子（群）、アポダイザ（群）、ビームスプリッタ（群）、アパーチャ（群）及びそれに類するものがあり、それらには本願技術分野で既知で好適なその種の光学素子全てが包含され得る。加えて、本システムを、検査に用いられる照明の種類に基づきその照明サブシステムの構成要素のうち１個又は複数個を改変するよう構成してもよい。
その検査サブシステムが、試料上を光で走査するよう構成された走査サブシステムを有していてもよい。例えば、その検査サブシステムがステージ２２を有し、検査時にはその上に試料１４が配置されるようにしてもよい。その走査サブシステムが、何らかの好適な機械的及び／又はロボット的アセンブリ（ステージ２２を有するもの）であり、試料を動かすことで試料上を光で走査し得るよう構成できるものを有していてもよい。これに加え又は代え、検査サブシステムを、その検査サブシステムに備わる１個又は複数個の光学素子により試料に対する幾らかの光走査が実行されるように構成してもよい。その光による試料の走査はいずれか好適な様式で行えばよい。
更に、検査サブシステムには１個又は複数個の検出チャネルが備わる。当該１個又は複数個の検出チャネルのうち少なくとも１個に備わる検出器が、試料からの光のうちその検査サブシステムによる試料照明に由来するものを検出するよう、且つその検出光に応じ出力を生成するよう構成される。例えば、図１に示す検査サブシステムは２個の検出チャネルを有しており、そのうち１個が集光器２４、素子２６及び検出器２８で形成され、もう１個が集光器３０、素子３２及び検出器３４で形成されている。図１に示すように、それら２個の検出チャネルは、別々の集光角にて光を集光、検出するよう構成されている。場合によっては、鏡面反射光を検出するよう一方の検出チャネルが構成され、試料からの非鏡面反射光（例．散乱光、回折光等々）を検出するよう他方の検出チャネルが構成される。とはいえ、検出チャネルのうち２個以上が、試料からの同種の光（例．鏡面反射光）を検出するよう構成されていてもよい。図１には、検査サブシステムが２個の検出チャネルを有する実施形態が示されているが、検査サブシステムが別の個数の検出チャネル（例．単一の検出チャネル又は２個以上の検出チャネル）を有していてもよい。図１では各集光器が単体の屈折性光学素子として示されているが、理解されるように、各集光器が１個又は複数個の屈折性光学素子及び／又は１個又は複数個の反射性光学素子を有していてもよい。
前記１個又は複数個の検出チャネルに備わる検出器は、本願技術分野で既知で好適ないずれの検出器でもよい。そうした検出器の例としては、光電子増倍管（ＰＭＴ）、電荷結合デバイス（ＣＣＤ）及び時間遅延積分（ＴＤＩ）カメラがある。それら検出器に、本願技術分野で既知で好適な他のいずれの検出器が含まれていてもよい。それら検出器に非撮像型検出器や撮像型検出器が含まれていてもよい。検出器を非撮像型検出器にする場合、各検出器を、散乱光のある特定の特性例えば強度を検出するようには構成し得るが、その特性を撮像面内位置の関数として検出するようには構成しない。そのため、検査サブシステムの各検出チャネル内に備わる個々の検出器により生成される出力は、信号やデータではあり得ても、画像信号や画像データではあり得ない。こうした場合には、本システムのコンピュータサブシステム例えばコンピュータサブシステム３６を、それら検出器の非撮像出力からその試料の画像を生成するように構成すればよい。対するに、場合によっては、それら検出器を、画像信号又は画像データを生成するよう構成された撮像型検出器として構成してもよい。このように、本システムは、本願記載の出力を生成するよう多様なやり方で構成され得るものである。
注記すべきことに、図１が本願に設けられているのは、本願記載の諸システム実施形態に備わり得る検査サブシステムの構成を大まかに描出するためである。自明なことに、本願記載の検査サブシステムコンフィギュレーションを改変して本システムの性能を最適化してもよいのであり、これは商用検査システム設計時に普通に行われていることである。加えて、本願記載のシステムを実施するに当たり、（例．本願記載の機能を既存検査システムに付加することで）既存検査システム、例えば米国カリフォルニア州ミルピタス所在のＫＬＡ−Ｔｅｎｃｏｒから商業的に入手可能な２８ｘｘ及び２９ｘｘシリーズのツールを用いてもよい。そうしたシステムのうち幾つかでは、本願記載の方法を（例．そのシステムの他の機能に加え）そのシステムのオプション的機能として提供することができる。或いは、本願記載のシステムを「初めから」設計することで完全に新規なシステムを提供してもよい。
本システムのコンピュータサブシステム３６は、（例．１個又は複数個の伝送媒体例えば「有線」及び／又は「無線」伝送媒体を含むそれを介した）何らかの好適な要領で検査サブシステムの検出器に結合させることができ、ひいては試料の走査中にそれら検出器により生成された出力をそのコンピュータサブシステムにて受け取れるようにすることができる。コンピュータサブシステム３６は、本願記載の如くそれら検出器の出力を用いる数多くの機能その他、本願詳述のいずれの機能を実行するようにも構成され得る。更に、このコンピュータサブシステムは本願記載の如く構成され得る。
本願では、このコンピュータサブシステム（並びに本願記載の他のコンピュータサブシステム）のことをコンピュータシステム（群）とも呼ぶことがある。本願記載のコンピュータサブシステム（群）又はシステム（群）は、それぞれ、パーソナルコンピュータシステム、イメージコンピュータ、メインフレームコンピュータシステム、ワークステーション、ネットワーク機器、インターネット機器その他の装置を含め、様々な形態を採り得る。総じて、用語「コンピュータシステム」を広義に定義し、記憶媒体から得た命令を実行するプロセッサを１個又は複数個有する装置全てを包括させることができる。また、そのコンピュータサブシステム（群）又はシステム（群）には、本願技術分野で既知で好適なあらゆるプロセッサ、例えば並列プロセッサを具備させ得る。加えて、そのコンピュータサブシステム（群）又はシステム（群）には、高速処理プラットフォーム及びソフトウェアを、スタンドアロンかネットワーク化ツールかを問わず具備させ得る。
そのシステムに複数個のコンピュータサブシステムが備わっている場合、それら異種サブシステムを相互結合させることで、本願詳述の如くそれらコンピュータサブシステム間で画像、データ、情報、命令等々を送れるようにすることができる。例えば、コンピュータサブシステム３６を、（図１中に破線で示す如く）コンピュータサブシステム（群）１０２にどのような好適伝送媒体により結合させてもよいし、その伝送媒体を、本願技術分野で既知で好適ないずれの有線及び／又は無線伝送媒体を含むとしてもよい。また、そうしたコンピュータサブシステムのうち２個以上を共有コンピュータ可読格納媒体（図示せず）により実質結合させてもよい。
検査サブシステムが光学式又は光学式検査サブシステムとして上述したが、検査サブシステムを電子ビーム式検査サブシステムとしてもよい。例えば、ある実施形態では電子を含むエネルギが試料に向かい、電子を含むエネルギがその試料から検出される。このように、そのエネルギ源を電子ビーム源としてもよい。図２に示すその種の実施形態では、その検査サブシステムに備わる電子カラム１２２がコンピュータサブシステム１２４に結合されている。
図２に示すように、その電子カラムは電子ビーム源１２６を有しており、電子を生成するようにその電子ビーム源が構成されており、それら電子が１個又は複数個の素子１３０により試料１２８へと集束されている。その電子ビーム源の例としてはカソード源、エミッタチップ等があり、１個又は複数個の素子１３０の例としてはガンレンズ、アノード、ビーム制限アパーチャ、ゲートバルブ、ビーム流選択アパーチャ、対物レンズ、走査サブシステム等があり、そのいずれにも、本願技術分野で既知で好適なあらゆる類種の素子が含まれ得る。
試料から戻ってきた電子（例．二次電子）は、１個又は複数個の素子１３２により検出器１３４へと集束させればよい。１個又は複数個の素子１３２の例としては走査サブシステムがあり、これは素子（群）１３０に含まれているのと同じ走査サブシステムとすることができる。
その電子カラムには、本願技術分野で既知で好適なあらゆる他素子を具備させ得る。加えて、その電子カラムを、Ｊｉａｎｇ ｅｔ ａｌ．名義の２０１４年４月４日付特許文献１、Ｋｏｊｉｍａ ｅｔ ａｌ．名義の２０１４年４月８日付特許文献２、Ｇｕｂｂｅｎｓ ｅｔ ａｌ．名義の２０１４年４月１５日付特許文献３、並びにＭａｃＤｏｎａｌｄ ｅｔ ａｌ．名義の２０１４年５月６日付特許文献４に記載の如く構成してもよく、この参照を以てそれらの文献を本願中に全面説明があるかの如く繰り入れるものとする。
図２に示した電子カラムは、電子がある斜め入射角にて試料に向かい別の斜め角にてその試料から散乱されてくるよう構成されているが、理解されるように、その電子ビームが試料に向かいそこから散乱されてくる角度は、好適ならどのような角度でもよい。加えて、その電子ビーム式サブシステムを、複数通りのモードを用い（例．様々な照射角、収集角等々で以て）試料の画像を生成するよう構成してもよい。それら電子ビーム式サブシステムの複数通りのモードの違いは、そのサブシステムのいずれかの画像生成パラメータにおける違いとなる。
コンピュータサブシステム１２４は上述の如く検出器１３４に結合させることができる。試料の表面から戻ってきた電子をその検出器により検出することで、その試料の電子ビーム画像を形成することができる。それら電子ビーム画像にはあらゆる好適な電子ビーム画像が含まれ得る。コンピュータサブシステム１２４は、その検出器の出力及び／又はそれら電子ビーム画像を用い本願記載のいずれの機能を実行するようにも構成され得る。コンピュータサブシステム１２４は、本願記載のいずれの付加的ステップ（群）を実行するようにも構成され得る。図２に示す検査サブシステムを有するシステムは、更に、本願記載の如く構成され得る。
注記すべきことに、図２が本願に設けられているのは、本願記載の諸実施形態に備わり得る電子ビーム式検査サブシステムの構成を大まかに描出するためである。上述の光学検査サブシステムと同様、本願記載の電子ビーム式検査サブシステムコンフィギュレーションを改変してその検査サブシステムの性能を最適化してもよいのであり、これは商用検査システム設計時に普通に行われていることである。加えて、本願記載のシステムを実施するに当たり、（例．本願記載の機能を既存検査システムに付加することで）既存検査システムを用いてもよい。そうしたシステムのうち幾つかでは、本願記載の方法を（例．そのシステムの他機能に加え）そのシステムのオプション的機能として提供することができる。或いは、本願記載のシステムを「初めから」設計して完全に新規なシステムを提供してもよい。
検査サブシステムが光又は電子ビーム式検査サブシステムとして上述したが、その検査サブシステムをイオンビーム式検査サブシステムにしてもよい。そうした検査サブシステムは、その電子ビーム源が本願技術分野で既知で好適ないずれかのイオンビーム源に置き換わることを除き、図２に示す如く構成することができる。加えて、その検査サブシステムを他のいずれか好適なイオンビーム式サブシステム、例えば商業的に入手可能な集束イオンビーム（ＦＩＢ）システム、ヘリウムイオン顕微（ＨＩＭ）システム及び二次イオン質量分光（ＳＩＭＳ）システムに含まれるものとしてもよい。
本願詳述の１個又は複数個のコンピュータサブシステムを、試料の検査を実行する検査サブシステムに結合させてもよい。例えば、ある実施形態では、前記１個又は複数個のコンピュータサブシステムが、検出器により生成された出力に基づきその試料上の欠陥を検出するよう構成される。或いは、他の１個又は複数個のコンピュータサブシステムを、試料の検査を実行する検査サブシステムに結合させてもよい。そうしたコンピュータサブシステム（群）は本願詳述の如く構成することができる。いずれにせよ、検査サブシステムに結合された１個又は複数個のコンピュータサブシステムを適宜構成することで、その検査サブシステムに備わる１個又は複数個の検出器により生成された出力に基づき、その試料上の欠陥を検出することができる。それらの欠陥は、いずれか好適な要領にて（例．その出力に対ししきい値を適用し、そのしきい値を上回る一通り又は複数通りの値を有する出力を欠陥として識別する一方、そのしきい値を下回る一通り又は複数通りの値を有する出力を欠陥としては識別しないようにすることで）試料上で検出すればよい。試料上で検出される欠陥には本願技術分野にて既知なあらゆる欠陥が含まれ得る。
但し、本願記載のシステムに備わるコンピュータサブシステム（群）が必須的に試料上の欠陥を検出するわけではない。例えば、そのコンピュータサブシステム（群）を、試料の検査結果でありその試料上で検出された欠陥についての情報を含むものを獲得するよう構成してもよい。その試料の検査結果を、本願記載のコンピュータサブシステム（群）により、その検査を実行するシステムから（例．その検査システムのコンピュータサブシステムから）直に獲得してもよいし、検査結果が格納されている格納媒体例えばファブデータベースから獲得してもよい。
前記の通り、その検査サブシステムは、有形版(physical version)の試料上をエネルギ（例．光又は電子）で走査し、それによりその有形版の試料に係る実画像を生成するよう構成される。このように、検査サブシステムは「実在」ツールとして構成されるのであり、「仮想」ツールとしては構成され得ない。「仮想」ツールとして構成され得るのは、例えば格納媒体（図示せず）並びに図１に示したコンピュータサブシステム（群）１０２である。とりわけ、それら格納媒体及びコンピュータサブシステム（群）は検査サブシステム１０の一部分ではなく、有形版の試料を扱う能力を何ら有していない。言い換えれば、仮想ツールとして構成されたツールにて、それに備わる１個又は複数個の「検出器」の出力とされ得るのは、実ツールに備わる１個又は複数個の検出器により先立って生成されその仮想ツール内に格納された出力であり、「走査」時には、あたかもその試料が走査中であるかの如くその既格納出力をその仮想ツールにより再生することができる。このように、仮想ツールによる試料の走査は、見かけ上、有形試料が実ツールにより走査されているのと同様になり得るが、現実には、その「走査」においては、その試料が走査されている場合と同じ態をなし、試料に係る出力が単純に再生されるだけである。「仮想」検査ツールとして構成されたシステム及び方法については、本願出願人を譲受人とするＢｈａｓｋａｒ ｅｔ ａｌ．名義の２０１２年２月２８日付特許文献５並びにＤｕｆｆｙ ｅｔ ａｌ．名義の２０１５年１２月２９日付特許文献６に記載があるので、この参照を以て、本願中に全面記載があるかの如く両者を繰り入れるものとする。更に、本願記載の諸実施形態はそれら特許文献に記載の如く構成され得る。例えば、本願記載の１個又は複数個のコンピュータサブシステムを、更に、これら特許文献に記載の如く構成してもよい。加えて、当該１個又は複数個の仮想システムの中央計算格納（ＣＣＳ）システムとしての構築を、上掲の特許文献６に記載の如く実行してもよい。本願記載の持続的格納機構は、分散型情報処理及び格納を伴うもの、例えばＣＣＳアーキテクチャを有するものとすることができるが、本願記載の諸実施形態がそうしたアーキテクチャに限定されるわけではない。
前記の通り、その検査サブシステムを、試料に係る出力を複数通りのモードで以て生成するよう構成してもよい。総じて、「モード」は、その検査サブシステムのパラメータのうち、試料に係る出力の生成に用いられるものの値により定義することができる。そのため、モードが違えば、その検査サブシステムの撮像パラメータのうち少なくとも１個で値が異なることとなる。例えばある実施形態に係る光学式検査サブシステムでは、それら複数通りのモードのうち少なくとも一通りにて用いられる少なくとも一通りの照明光波長と、当該複数通りのモードのうち他の少なくとも一通りにて用いられる少なくとも一通りの照明光波長とが異なるものとされる。諸モードの照明波長を本願詳述の如くそのモードの違いにより（例．別々の光源、別々の分光フィルタ等々を用いることで）異ならせてもよい。また別の実施形態では、それら複数通りのモードのうち少なくとも一通りにて用いられる検査サブシステム内照明チャネルと、当該複数通りのモードのうち他の少なくとも一通りにて用いられる検査サブシステム内照明チャネルとが、異なるものとされる。例えば、前記の通り、その検査サブシステムに複数個の照明チャネルを具備させればよい。そして、別々のモードで別々の照明チャネルを用いればよい。
本願詳述の如く、本願記載の光学及び電子ビームサブシステムを検査サブシステムとして構成してもよい。とはいえ、本願記載の光学式及び電子ビームサブシステムを他種のツール例えば欠陥レビューサブシステムとして構成してもよい。特に、本願に記載され図１及び図２に示されている諸実施形態の検査サブシステムにて、１個又は複数個のパラメータに修正を施すことで、それらが用いられる用途によって異なる撮像能力が提供されるようにしてもよい。その種のある例では、検査ではなく欠陥レビューにそれを用いたい場合に、図２に示した検査サブシステムが、高めの解像度を呈するよう構成され得る。言い換えれば、図１及び図２に示されている諸実施形態の検査サブシステムは、光学又は電子ビームサブシステムに関し幾つかの一般的且つ多様な構成を物語るものであり、本願技術分野に習熟した者（いわゆる当業者）にとり自明であろう多様な要領で設えることで、相異なる撮像能力を有し、相異なる用途に大なり小なり適する様々なサブシステムを提供することができる。
前記１個又は複数個のコンピュータサブシステムを、本願記載の検査サブシステムによりその試料に関し生成された出力を獲得するよう構成してもよい。その出力獲得は、本願記載の検査サブシステムのうち１個を用い（例．光又は電子ビームをその試料に向かわせそれぞれその試料から光又は電子ビームを検出することにより）実行すればよい。このように、その出力獲得を、有形試料自体と、ある種の撮像ハードウェアとを用いて実行することができる。とはいえ、その出力獲得に際し、必須的に、撮像ハードウェアを用い試料が撮像されるわけではない。例えば、また別のシステム及び／又は方法により出力を生成してもよく、生成された出力を１個又は複数個の格納媒体、例えば本願記載の仮想検査システムや本願記載の別の格納媒体に格納してもよい。ひいては、その出力獲得に際し、それらが格納されている格納媒体から出力を獲得してもよい。
一実施形態に係る検査関連アルゴリズムは欠陥クラシファイアである。例えば、そのアルゴリズムによって、試料上で検出された欠陥を様々な欠陥種別又は階級に分別することができる。その欠陥クラシファイアはあらゆる好適構成、例えば決定木又は最近傍型の構成にすることができる。別の実施形態に係る検査関連アルゴリズムは欠陥フィルタである。その欠陥フィルタをニュイサンスフィルタとして構成してもよく、またそれを、実欠陥をニュイサンス（これは本願詳述の如く定義されうる）その他のノイズから分離させた上でそれらニュイサンス及びノイズを検査結果から除外（することでフィルタイリング）するよう構成してもよい。この欠陥フィルタもまた、あらゆる好適構成例えば決定木又は最近傍型の構成にすることができる。追加の実施形態に係る検査関連アルゴリズムは欠陥検出アルゴリズムである。その欠陥検出アルゴリズムを然るべく構成することで、本願詳述の如く及び／又は本願技術分野で既知で好適な他のいずれかの要領にて、欠陥検出を実行することができる。更なる実施形態に係る検査関連アルゴリズムは機械学習アルゴリズムである。本願記載の諸検査関連アルゴリズムは、機械学習アルゴリズムとして構成することができる。例えば欠陥クラシファイア、欠陥フィルタ及び欠陥検出アルゴリズムが採る構成を機械学習アルゴリズム型の構成としてもよい。加えて、それら機械学習アルゴリズムを、Ｚｈａｎｇ ｅｔ ａｌ．名義の２０１７年５月２５日付特許文献７、Ｚｈａｎｇ ｅｔ ａｌ．名義の２０１７年７月６日付特許文献８、Ｂｈａｓｋａｒ ｅｔ ａｌ．名義の２０１７年７月６日付特許文献９、Ｂｈａｓｋａｒ ｅｔ ａｌ．名義の２０１７年７月１３日付特許文献１０、Ｂｈａｓｋａｒ ｅｔ ａｌ．名義の２０１７年７月１３日付特許文献１１並びにＺｈａｎｇ ｅｔ ａｌ．名義の２０１７年５月２３日付米国特許出願第１５／６０３２４９号に記載の如く構成してもよいので、この参照を以て、それらを、本願中で全面説明されているが如くに繰り入れるものとする。本願記載の諸検査関連アルゴリズムは、これらの文献又は出願に記載のあるいずれの構成を有するものとすることができる。
前記１個又は複数個のコンピュータサブシステムは、ラベル付き欠陥集合で以て検査関連アルゴリズムの初期訓練を実行することでその検査関連アルゴリズムの初版を生成するよう構成される。幾つかの実施形態によれば、そのコンピュータサブシステム（群）を、初期訓練実行用のラベル付き欠陥集合を生成するよう構成することができる。例えば、図３に示すように、そのコンピュータサブシステム（群）により、第１バッチの欠陥をステップ３００に示す如く選択すればよい。その第１バッチの欠陥は本願詳述の如く選択すればよい。加えて、そのコンピュータサブシステム（群）により、それら選択された欠陥をステップ３０２に示す如く分類すればよい（図３では欠陥クラシファイアに関わる諸工程が記述されているが、図３に示され本願にて述べられている諸工程を、本願記載の別の検査関連アルゴリズムに関し実行してもよい）。そのコンピュータサブシステム（群）により本願詳述の如く既選択欠陥を分類し及び／又は既選択欠陥に係る分類を獲得することができる。その後は、そのコンピュータサブシステム（群）により、クラシファイアをステップ３０４に示す如く訓練すればよい。従って、ステップ３０４にて実行される訓練が本願記載の初期訓練となる。この初期訓練は、本願技術分野で既知で好適ないずれの要領で実行してもよい。例えば、属性及び／又は画像（或いはその他の検出器出力）等、それら欠陥に関する情報を欠陥クラシファイアに入力してそれらラベル付き欠陥を分類させればよい。その上で、その欠陥クラシファイアの１個又は複数個のパラメータ（例．カットライン、欠陥属性等々）を、それら欠陥に関しその欠陥クラシファイアにより求まる分類がそれら欠陥に割り振られるラベルと整合するまで、修正していけばよい。欠陥は本願記載の如くラベル付けされ得、欠陥属性及び欠陥パッチ（例．光学属性及び／又は光学パッチ）はその検査関連アルゴリズムに関する入力データとして用いられ得る。
前記コンピュータサブシステム（群）は、また、初版の検査関連アルゴリズムをラベル無し欠陥集合に適用するよう構成される。例えば、検査関連アルゴリズムがラベル付き欠陥について初期訓練された後に、その検査関連アルゴリズムの初版を残りの欠陥（及び潜在欠陥）に適用すること、即ち試料（ウェハのホット検査ではこれが数万個の欠陥を有していることがある）の検査により検出されたがラベル付けされていない欠陥に適用することができる。
上述の通り、欠陥が本願記載の如くラベル付けされ得るところ、属性（群）及び／又はパッチ画像（群）その他の検出器出力が初期訓練向けに検査関連アルゴリズムに入力され得る。ラベル付き集合についての（例．欠陥属性（群）及び／又はパッチ群その他の検出器出力を用いた）初期訓練後には、初版の検査関連アルゴリズムを、ラベル無し欠陥集合に適用することができる。初版の検査関連アルゴリズムの適用は、そのラベル無し欠陥集合に関する入手可能情報の全て（又は一部）をその検査関連アルゴリズムに入力することで実行すればよい。そのラベル無し欠陥集合は本願詳述の如く構成すればよい。
前記コンピュータサブシステム（群）は、更に、前記適用の結果に基づきラベル付き欠陥集合を改変するよう構成される。例えば、初版の検査関連アルゴリズムをラベル無し欠陥に適用する際に、その検査関連アルゴリズムにより、各ラベル無し欠陥に関する結果（例．欠陥分類）のみならず、その決定の自信度（例．分類についてのもの）をも出力すればよい。その上で、その自信度を用いその欠陥選択プロセスの次回反復を行えばよい。その欠陥選択プロセスにて選択された欠陥に本願詳述の如くラベル付すればよく、そしてそれらをラベル付き欠陥集合に加えることで、そのラベル付き欠陥集合を改変すればよい。ラベル付き欠陥集合の改変は本願詳述の如く実行すればよい。
ある実施形態ではラベル付き欠陥集合及びラベル無し欠陥集合が同じ検査結果内に共存する。例えば、本願詳述の通り、１個又は複数個の試料を走査することでラベル付き欠陥集合及びラベル無し欠陥集合を作成すればよい。そうした走査をホットスキャンとして実行することで、極力多数の欠陥又は欠陥種別が捕捉されるようにするとよい。走査にホットスキャンが含まれている場合、大量の欠陥がその走査で検出されるので、単一試料の単一ホットスキャンのみで十分な欠陥を得て本願記載の全ステップに供することができる。その走査で検出された欠陥のうち幾つかに本願記載の如くラベル付けすればよく、それによりラベル付き欠陥集合（即ち欠陥の訓練集合）を作成することができる。その走査で検出されたがラベル付き欠陥集合ではない残りの欠陥を以て、ラベル無し欠陥集合とすればよい。そのため、１回又は複数回のホットスキャンにより検出された欠陥全てで、本願記載の諸実施形態により用いられる欠陥の総体を形成することができ、そのうち一部はラベル付けされて本願記載の１個又は複数個のステップで用いられ、他のものはラベル付けされずに本願記載の他の１個又は複数個のステップで用いられる。
別の実施形態では、ラベル付き欠陥集合を改変する際、ラベル無し集合内の欠陥のうち１個又は複数個にラベル付けされ、それらラベル付けされた欠陥のうち１個又は複数個がラベル付き集合に追加される。例えば、選択されたラベル無し集合内欠陥のうち１個又は複数個を本願記載の如く選択した上で、当該１個又は複数個の欠陥にいずれか好適な要領でラベル付けすればよい。その種の一例によれば、当該１個又は複数個の既選択欠陥を撮像サブシステムにより撮像すること、またその解像度を検査サブシステムのそれよりも高くすることで、当該１個又は複数個の既選択欠陥の高解像度画像を生成することができる。その上で、その高解像度欠陥画像をユーザに提示し、そのユーザがそれら欠陥にラベルを割り振るようにすればよい。とはいえ、本願詳述の通り、それら既選択欠陥に自動欠陥クラシファイア（ＡＤＣ）でラベル付けしてもよい。従って、高解像度欠陥画像をユーザかＡＤＣに提供してそこでその高解像度画像を操作してもよい。ユーザにより割り振られるラベルには本願記載のラベル、例えば欠陥、ニュイサンス、ノイズ、欠陥分類コード等々のいずれも含まれ得る。ユーザにより割り振られるラベルは検査関連アルゴリズムの構成次第で変わり得る。場合によっては、前記コンピュータサブシステム（群）がユーザに多数のラベル候補（例．欠陥、非欠陥、欠陥階級コードｘ、欠陥階級コードｙ等々）を提示することがある。加えて、そのコンピュータサブシステム（群）が、新たなラベル例えば新たな欠陥階級コードの入力をユーザが行えるようにし、それを用いその検査関連アルゴリズムの構成が修正されるようにしてもよい（例．検査関連アルゴリズムが新たな欠陥ラベルに関し新たなコード、ビン、定義等々を生成する際）。それらラベル付けされた１個又は複数個の欠陥は、いずれか好適な要領にて（例．それら新たにラベル付けされた欠陥（群）に関する情報を、先にラベル付けされた欠陥に関する情報が格納されているファイルその他のデータ構造に付加することで）ラベル付き欠陥集合に加えればよい。
本願詳述の通り、ある実施形態では、前記１個又は複数個のコンピュータサブシステムが、検出器により生成された出力に基づき試料上の欠陥を検出するよう構成され、それら試料上で検出された欠陥内にラベル付き欠陥集合及びラベル無し欠陥集合が共存する。例えば、本願記載のコンピュータサブシステム（群）により用いられる欠陥全てを、その試料（群）について１回又は複数回のホットスキャンを実行することによって、試料又は試料群上で検出してもよい。とりわけ、検査例えば光学検査では、ニュイサンスフィルタその他の検査関連アルゴリズムが典型的にはホットスキャン（即ち数万個の欠陥を孕む結果をもたらす試料検査）の結果について訓練される。「ホットスキャン」は、総じて、試料について実行される検査のうち、その走査により生成される出力のノイズフロア又はそのすぐ近くに潜在欠陥及び欠陥検出用しきい値が意図的に設定されたものとして、定義することができる。「ホットスキャン」は、典型的には、検査レシピセットアップ等を目的として、極力多数の潜在欠陥及び欠陥が検出され大半の欠陥又は興味深い欠陥全てが確かに捕捉されるよう実行される。そのため、ニュイサンスフィルタその他の検査関連アルゴリズムを、ホットスキャン結果を用い訓練することができる。
検査関連アルゴリズム例えばニュイサンスフィルタ又は欠陥クラシファイアを訓練するには、試料上で検出された比較的小規模な欠陥部分集合にラベル付けすればよい。「ラベル付けする」の意味は、それらの欠陥を「分類する」ことである。欠陥を「分類する」の意味は、前記コンピュータサブシステム（群）により訓練又は生成されている検査関連アルゴリズム次第で変わり得る。例えば、その検査関連アルゴリズムが欠陥検出アルゴリズムであるのなら、分類する際に、既検出欠陥に実欠陥及び非実欠陥（例．ノイズ）とラベル付けすればよい。また例えば、その検査関連アルゴリズムがニュイサンスフィルタであるのなら、分類する際に、既検出欠陥に実欠陥及びニュイサンス欠陥（これはノイズ及び／又は実欠陥でありユーザが実際には気にしないものとして一般に定義できる）とラベル付けすればよい。更に例えば、その検査関連アルゴリズムが欠陥クラシファイアであるのなら、分類する際に、既検出欠陥に欠陥ＩＤ例えば階級コードで以てラベル付けし、それにより様々な欠陥種別、例えば橋絡（ブリッジ）、粒子、ひっかき傷（スクラッチ）、形状特徴逸失、粗部分等を示すようにすればよい。この欠陥分類又はラベル付けにおいては、総じて、それら欠陥のかなり高解像度な画像が初期捕捉されよう。それら高解像度画像はＳＥＭ又は高解像度光学撮像を用い生成すればよい。
ある実施形態では、初期訓練用ラベル付き欠陥集合が、試料上で検出された欠陥全てから選択された所定最小限個数の欠陥を含むものとされる。例えば、本願詳述の通り、諸実施形態の長所のうち一つは、既訓練検査関連アルゴリズムの質を損なうことなく訓練集合内ラベル付き欠陥を最少化し得る点にある。そのためには、初期訓練用ラベル付き欠陥の所定最小限個数が、粗訓練された初版の検査関連アルゴリズムを生成するのに必要な最小欠陥個数であればよい。ラベル付き欠陥の最小限個数は、経験的に又は（例．検査関連アルゴリズムを訓練するのに何個のラベル付き欠陥が必要かについての）過去の経験及び知識に基づき、予め定めておくことができる。加えて、ラベル付き欠陥の所定最小限個数はその検査関連アルゴリズム次第で変わり得る。例えば欠陥クラシファイアでは、ラベル付き欠陥の所定最小限個数が、その試料上に現れそうな及び／又はそのクラシファイアの構成対象たる欠陥種別毎に数個（例．２個又は３個）とされ得る。別の検査関連アルゴリズム例えば欠陥検出アルゴリズム又はニュイサンスフィルタでは、ラベル付き欠陥の所定最小限個数が、欠陥及び非欠陥について数個又は数十個（例．各１０〜５０個）とされ得る。当該所定最小限個数の欠陥は、本願記載の諸実施形態で使用可能な及び／又はその試料上で検出された欠陥（例．ホットスキャン結果中のラベル無し欠陥）全てからランダムに選択すればよい。その上で、それらランダム選択された欠陥に本願記載の如くラベル付けすればよい。そして、それらラベル付き欠陥を分析することで、それら所定最小限個数のラベル付き欠陥が初期訓練に十分かどうかを判別すればよい。ある特定種別の欠陥が十分に選択及びラベル付けされていないのであれば、ラベル付き欠陥のサンプルに所望のラベル付き欠陥が所望個数含まれることとなるまで、上述の諸ステップを繰り返せばよい。
本願記載の諸実施形態では、反復的なやり方で、下地となる分布の境界付近にある欠陥が探索される。加えて、本願記載の諸実施形態では、訓練集合選択及び欠陥ラベル付けがチューニングプロセスと組み合わされ、またそれが前記検査関連アルゴリズムによりその選択プロセスを推進することで行われており、そのことがとりわけ光学検査向けの新規な発想となっている。例えば、更なる実施形態では、ラベル付き欠陥集合を改変する際に、初版の検査関連アルゴリズムの適用によりラベル無し集合内欠陥に関しもたらされた結果の確実性が判別され、最低の確実性を有するラベル無し集合内欠陥が選択され、それら選択された欠陥に関しラベルが取得され、そしてそれら既選択欠陥及びそれらのラベルがラベル付き欠陥集合に追加される。例えば、図３に示すように、前記コンピュータサブシステム（群）を、そのモデル即ち検査関連アルゴリズムの不確実性をステップ３０６に示す如く欠陥毎に計算するよう構成すればよい。加えて、そのコンピュータサブシステム（群）を、その試験データ内で最低の確実性を有する欠陥の新規集合をステップ３０８に示す如く探すよう構成すればよい。更に、そのコンピュータサブシステム（群）を、その新規集合をステップ３１０に示す如く分類するよう構成すればよい。更に、そのコンピュータサブシステム（群）を、その新規集合をステップ３１２に示す如く訓練集合に加えるよう構成すればよい。このように、これらのステップでは、十分に小規模なラベル付き欠陥集合で以て検査関連アルゴリズムが初期訓練された後であるので、各欠陥についてのその検査関連アルゴリズム（例．クラシファイア）の確実性を計測することができる。その確実性はあらゆる好適な要領で判別することができる。例えば、その検査関連アルゴリズムを、自身が生成する結果それぞれに関連付けて自信度（例．各欠陥分類に係る自信度）を生成するよう構成すればよい。その自信度を用い確実性を判別すればよい。また、検査関連アルゴリズムを、その検査関連アルゴリズムにより生成された結果毎に確実性を自動導出するよう構成してもよい。その上で、その検査関連アルゴリズムが最も不確かとしている欠陥の集合が選択され、ラベル付けされる。訓練集合に係る欠陥のラベル付け（分類）は、光学画像（例．パッチ）又はＳＥＭ画像を用いマニュアルで行えばよい。そのラベル付けを、予め訓練されているＳＥＭ自動欠陥クラシファイア（ＡＤＣ）を用い自動実行することもできる。信頼できるＳＥＭＡＤＣを以てすれば、本方法により訓練プロセスを完全に自動化すること及びレシピチューニングプロセスを本願記載の主構成着想を超え更に高速化することができよう。この新規バッチのラベル付き欠陥を先にラベル付けされている欠陥に追加して用い、その検査関連アルゴリズムを再訓練（又は補正）することができる。これらのステップは、それぞれ本願詳述の如く実行すればよい。
この種の実施形態のうちあるものでは、最低の確実性を有するラベル無し集合内欠陥を選択する際に、最低の確実性を有する所定最小限個数のラベル無し集合内欠陥が選択される。例えば、ラベル無し集合内の欠陥を、まずは最低の確実性を有する欠陥、更にその次に低い確実性を有する欠陥等々と選択していき、当該所定最小限個数を満たすようにすればよい。ラベル無し集合内にあり選択される欠陥の所定最小限個数は、本願記載の如く予め定めておけばよい（例．経験的に又は以前の経験及び履歴に基づき、前記検査関連アルゴリズムの適切な訓練を果たすのに必要な最小限の欠陥個数を定めればよい）。
この種の実施形態のうち別のあるものでは、最低の確実性を有するラベル無し集合内欠陥の選択が、それらラベル無し集合内欠陥の一通り又は複数通りの特性における多様性（ダイバーシティ）とは独立に実行される。例えば、本願記載の諸実施形態によれば、前記検査関連アルゴリズムにより割り振られたラベルの不確実性に基づき欠陥を選択することができ、欠陥の第１特性における多様性、欠陥の第２特性における多様性その他、欠陥のどのような特性における多様性も関係しない。このように、検査関連アルゴリズムによりそれら欠陥に関しもたらされる結果の不確実性に基づく欠陥の選択は、ダイバーシティサンプリングとは別物である。加えて、最低の確実性を有するラベル無し集合内欠陥の選択は、他のどのような属性又は欠陥関連情報とも関わりなく実行することができる。それでいて、相異なる未ラベル付け欠陥には相異なるラベルを割り振るよう検査関連アルゴリズムが構成されている場合、それら最低確実性欠陥のなかに、第１ラベルが割り振られた最低確実性欠陥と、第２ラベルが割り振られた最低確実性欠陥とが含まれることがあり得る。言い換えれば、欠陥の一通り又は複数通りの特性における多様性とは関わりのないラベル無し集合内最低確実性欠陥選択を、その検査関連アルゴリズムにより割り振られたラベルに基づき（又は依拠し）実行することができる。それでいて、その選択はやはりそれら欠陥自体のいずれか一通り又は複数通りの特性の多様性に基づき実行されてはいない。例えば、相異なるラベルが割り振られた最低確実性欠陥が、それら欠陥のいずれか一通りの特性に関し、必ずしも相対的に多様な値を有するわけではない。実のところは、多様性ではなく類似性がそれら欠陥のいずれか一通りの特性に存するために、初版、先行版(preliminary version)又は中間版(intermediate version)の検査関連アルゴリズムによるそれらへのラベル付けが、難しくなることがあり得る。
幾つかの実施形態では、ラベル付き欠陥集合を改変する際に、ラベル無し集合内欠陥に関し初版の検査関連アルゴリズムの適用によりもたらされた結果の確実性が判別され、そのラベル無し集合内で最低の確実性を有する欠陥群が選択され、その群内の欠陥の部分集合でありその部分集合内の欠陥の特性において最大の多様性を呈するものが選択され、その部分集合の欠陥に関しラベルが取得され、そしてその選択された部分集合の欠陥及びそれらのラベルがラベル付き欠陥集合に追加される。例えば、本願記載の諸実施形態によれば、不確実性と多様性を組み合わせることでサンプリングをより効率的なものとすることができる。最優先事項は、その検査関連アルゴリズムをほとんど信頼できない欠陥をサンプリングすることであり、その理由は、それらが分類境界付近に存する欠陥であり、それら欠陥に関するグラウンドトゥルースを提供することで、その検査関連アルゴリズムの質が最も改善されるからである。しかしながら、多数の「低信頼度」欠陥が存しているときには、前記コンピュータサブシステム（群）が、本質的に同外観の欠陥即ちいずれも同じ信頼度を呈するであろう欠陥を選択するのではなく、多くの相異なる低信頼度欠陥間で選択対象欠陥を多様化させることとなるように試みることが有益になり得る。こうすることで、境界の一部分のみに所在する多くの欠陥を単に選択するのとは対照的に、そのコンピュータサブシステム（群）により、その分類境界付近の最多様集合を選択することができる（分類境界は原理的に複雑、未知であり恐らくは多次元空間内で超平面をなしているので、前記最小限個数のラベル付き欠陥で以て適切に訓練された検査関連アルゴリズムを獲得するには、そのコンピュータサブシステム（群）によって、境界全体に亘り注意深く欠陥を選択することが望ましい。言い換えれば、そのコンピュータサブシステム（群）によって、その分類境界から比較的遠くにある欠陥即ち比較的高い信頼度を呈する欠陥群や、その境界の同じ部分にある欠陥群即ち特段多様でない欠陥群が、選択されないことが望ましい）。
前記コンピュータサブシステム（群）は、また、改変されたラベル付き欠陥集合で以て検査関連アルゴリズムを再訓練することでその検査関連アルゴリズムの更新版を生成するよう構成される。例えば、図３に示すように、そのコンピュータサブシステム（群）を、ステップ３１４に示す如くクラシファイアを再訓練（又は補正）するよう構成するとよい。その再訓練は、初期訓練との関連で本願にて詳述されている如くに実行すればよい。但し、この再訓練ステップにおける再訓練は、最旧版(most previous version)の検査関連アルゴリズム（例．初期訓練によりもたらされた検査関連アルゴリズムのパラメータ）又は初版の検査関連アルゴリズム（例．初期訓練前パラメータを有する版の検査関連アルゴリズム）で以て始められよう。総じて、新規バッチの欠陥がラベル付けされ訓練集合に追加された後にクラシファイアを再訓練する際には、その再訓練を旧版のクラシファイアから開始してもよいが、大抵は再訓練が初めから開始される（新たなクラシファイアは単純に個々の新たな訓練集合について訓練されるがいずれの手段も実行されうる）。このように、再訓練には、本質的に、初期訓練前版(pre-initial-training version)の検査関連アルゴリズムを用いその検査関連アルゴリズムを初めから訓練することや、直前版の１個又は複数個のパラメータをチューニング、可能なら精細チューニングすることでその直前版(immediately prior version)の検査関連アルゴリズムを再訓練することが包括され得る。
加えて、前記コンピュータサブシステム（群）は、更新版の検査関連アルゴリズムを別のラベル無し欠陥集合に適用するよう構成される。更新版の検査関連アルゴリズムが適用されるラベル無し欠陥集合は、本願記載の諸実施形態での使用に備え入手可能な及び／又はその若しくはそれらの試料上で検出されたラベル無し欠陥のうち、残っているものの一部及び／又は全てを含むものとすることができる。このように、更新版が適用されるラベル無し集合が、初版（又は旧版）が適用されるラベル無し集合と異なってくるのは、１個又は複数個のラベル無し集合内欠陥が選択されラベル付けされてラベル付き欠陥集合に追加されているからである。そのため、更新版が適用されるラベル無し欠陥集合は、初版（又は旧版）が適用されたラベル無し欠陥集合よりも少数の欠陥を含むものになり得る。但し、場合によっては、残っているラベル無し欠陥集合、即ち幾つかの欠陥が選択されラベル付けされラベル付き集合に追加された後のそれを、その残存ラベル無し欠陥個数が十分多くないときに、付加的なラベル無し欠陥で以て補強してもよい。ラベル無し集合の補強はいずれか好適な要領、例えば別の試料についてもう１回ホットスキャンを実行すること及び／又は格納媒体、仮想システム等々から付加的な検査結果を獲得することで実行すればよい。総じて、本願記載の走査では、本願記載の諸機能／諸ステップ向けに十分なラベル無し欠陥が提供される。そのため、より広く実行される補強となるのは、その種の欠陥が十分存在していないときのラベル付き欠陥集合の補強、ひいてはそれらの個数の増大である。更新版の検査関連アルゴリズムは、他のラベル無し欠陥集合に対し、本願記載の如く適用すればよい。例えば、当該他のラベル無し集合内の欠陥のうち全て又は少なくとも一部分に係る情報を更新版の検査関連アルゴリズムに入力した上で、その集合内のラベル無し欠陥のうち個々又は少なくとも一部分に係る結果をそこで発生させればよい。
前記コンピュータサブシステム（群）は、また、更新版の検査関連アルゴリズムの適用結果と、初版又は従前版の検査関連アルゴリズムの適用結果と、の間の一通り又は複数通りの差異を判別するよう構成される。初版の検査関連アルゴリズムがその差異判別に用いられるのは、更新版が、生成された第２版の検査関連アルゴリズム（初版のすぐ後に生成された版）しかない場合である。他のいずれの場合にも、本ステップで差異判別に用いられる従前版の検査関連アルゴリズムは、その更新版のすぐ前に生成された検査関連アルゴリズムとすればよい。この場合、最近生成された版の検査関連アルゴリズムと、その版のすぐ前に生成された版との間の差異を判別すればよい。言い換えれば、本ステップでは、第ｎ版の検査関連アルゴリズムと、第ｎ−１版の検査関連アルゴリズムと、の間の差異を判別すればよい。
その後は、これらの差異を用い、そのプロセスが収束しているか否かを本願詳述の如く判別する。例えば、本願詳述の通り、分類（又はその他の結果）の反復間変化が比較的小さくなったときに、前記コンピュータサブシステム（群）により実行されているプロセスが収束したと判定すればよい。訓練プロセスに統計揺らぎがあるため、この変化は厳密に０にはなりえない。言い換えれば、同じ訓練集合について訓練を複数回繰り返しても、その同じ欠陥に関し厳密に同じ分類（その他の結果）がもたらされるわけではない。これらの小揺らぎは見積もれるので、反復間変化がその見積もり以下に小さくなったときに、そのコンピュータサブシステム（群）により実行されているプロセスを停止させることができる。そのプロセスが収束したのである。また、この基準に到達した時点で前記検査関連アルゴリズムは自身の最大限性能を達成している。
前記コンピュータサブシステム（群）は、更に、ラベル付き欠陥集合の改変、検査関連アルゴリズムの再訓練、更新版の検査関連アルゴリズムの適用、並びに前記一通り又は複数通りの差異の判別を、当該一通り又は複数通りの差異が一通り又は複数通りの基準を満たすまで繰り返すよう構成される。そのため、当該一通り又は複数通りの基準により、欠陥へのラベル付けその他、本願記載の諸ステップの反復を終結させる停止基準が定まる。例えば、上述の通り、当該一通り又は複数通りの差異が、その検査関連アルゴリズムの性能如何によらず訓練のたびに起こるであろう比較的小さな揺らぎの見積もり以下であるときに、当該一通り又は複数通りの差異が当該一通り又は複数通りの基準を満たしていると判別すればよい。加えて、その検査関連アルゴリズムによりもたらされる種々の結果が相異なる基準を有していてもよい。例えば、ある欠陥分類に関しもたらされる結果の差異に係る一通り又は複数通りの基準を、別の欠陥分類に関しもたらされる結果の差異に係る一通り又は複数通りの基準とは異なるものにしてもよい。こうした場合、当該一通り又は複数通りの基準全てが満たされるまで上述の諸ステップを繰り返せばよい。それ以外の場合には、その検査関連アルゴリズムによりもたらされる種々の結果全てが同じ基準を有するようにすればよい。例えば、別々の欠陥分類に関しもたらされる結果の差異に係る一通り又は複数通りの基準が同じであってもよい。但し、そうした場合にも、当該一通り又は複数通りの基準全てが満たされるまで上述の諸ステップが繰り返されるようにすることができる。例えば、双方の欠陥分類が同一の一通り又は複数通りの基準を満たすことが求められるような場合には、ある欠陥分類に関しもたらされる結果が別の欠陥分類に関しもたらされる結果よりも早期に当該一通り又は複数通りの基準を満たすこととなり得る。
その種の一例によれば、図３に示すように、前記コンピュータサブシステム（群）を、収束基準が満たされたか否かをステップ３１６に示す如く判別するよう構成することができる。収束基準が満たされていない場合は、図３に示すように、そのコンピュータサブシステム（群）にて、ステップ３０６に戻り欠陥毎にそのモデル（検査関連アルゴリズム）の不確実性を計算すればよい。また、そのコンピュータサブシステム（群）にて、収束基準が満たされたと判別されるまで図３に示すステップ３０８、３１０、３１２及び３１４を繰り返せばよい。データ駆動型収束基準に対する本願記載の諸実施形態の依拠は新規なことである。言い換えれば、本願詳述の通り、その検査関連アルゴリズム（例．クラシファイア）をほとんど信頼できないバッチのラベル無し欠陥を選択することができる。その上で、それら選択された欠陥に本願記載の如くラベル付けすることができる。それら新たにラベル付けされた欠陥を訓練集合に加えることができ、その改変された訓練集合を用い新たな検査関連アルゴリズムを訓練することができる。これらのステップを、収束が満たされるまで繰り返すことができる。
ある実施形態では、前記一通り又は複数通りの基準により、ａ）前記一通り又は複数通りの差異であり、更新版の検査関連アルゴリズムが初版又は従前版の検査関連アルゴリズムに対し無視し得るほどしか異ならないことを示すものと、ｂ）前記一通り又は複数通りの差異であり、更新版の検査関連アルゴリズムが初版又は従前版の検査関連アルゴリズムに対し顕著に異なることを示すものとの間の境界が定まる。一通り又は複数通りの差異とは上述の如く定められたもののことである（例．第ｎ版の検査関連アルゴリズムと第ｎ−１版の検査関連アルゴリズムとの間の差異）。このように、前記コンピュータサブシステム（群）が各回反復後に検査関連アルゴリズムの履歴を追尾し、その検査関連アルゴリズムによりもたらされる結果の変化が十分に小さい場合に、その反復を終結させるようにするとよい。
本願にて用いられる語の「無視し得るほどしか異ならない」は、検査関連アルゴリズム毎に違っている。とはいえ、本願にて用いられる「無視し得るほどしか異ならない」は、何らかの差異が十分に小さく、その検査関連アルゴリズムのある版から次の版にかけ検査関連アルゴリズムが大きくは変化しなかったことを示すものとして定義することができる。そのため、「無視し得るほどしか異ならない」に質的に相応しい一通り又は複数通りの差異を以て、本願記載の諸実施形態に係る停止基準が定まる。故に、前記一通り又は複数通りの差異に係る「無視し得るほどしか異ならない」値を、（それらの許容停止基準が何であるかに基づき）ユーザが事前決定及び定義すること、及び／又は、特定の訓練対象検査関連アルゴリズムの再現性及び／又は訓練対象検査関連アルゴリズムの種類についての全般的又は具体的情報に基づき前記コンピュータサブシステム（群）その他の方法又はシステムが事前決定することができる。本願にて用いられる語の「顕著に異なる」一通り又は複数通りの差異は、「無視し得るほどしか異ならない」値の差異以外の、一切の差異とされ得る。このように、当該一通り又は複数通りの差異は二通りの値域、即ち１）本願記載の如く定義された「無視し得るほどしか異ならない」、並びに２）「無視し得るほどしか異ならない」もの以外の全ての「顕著に異なる」を有するものとなり得る。
前回の反復から今回の反復にかけての変化が０である（又は小さい）場合、前記コンピュータサブシステム（群）は、ラベル付けする価値がある新たな欠陥は全く存在していない、その理由は前記検査関連アルゴリズムでそれらを確認できないから、と判別する。ある具体例によれば、そのコンピュータサブシステム（群）にて、最終試験データ集合内欠陥について予測された階級コードの変化履歴を用いることができる。但し、収束指標はこれ以外にも数多くあり、それらを本願記載の諸実施形態での使用向けに考慮することができる。それら収束指標のいずれでも、クラシファイア性能のある種の側面及び／又は訓練集合の内容を、訓練反復の関数として監視することができる。例えば、反復の関数たる正確性を追跡することで、そのコンピュータサブシステム（群）によりその検査関連アルゴリズムの性能自体を監視することができる。もう一つの方法は、受信者動作曲線（ＲＯＣ）の改善具合を反復の関数として監視することに、依拠するものである。ＲＯＣは、基本的には、動作点全域（例．様々なニュイサンス率）に亘る二値クラシファイアの性能についての指標である。加えて、ある種の状況下では、あるいはある種の具体的目的向けに、そのコンピュータサブシステム（群）によって、どのような種類の欠陥が各回反復で以て訓練集合に入れられつつあるかを監視することができるので、例えば、そのコンピュータサブシステム（群）がもはや注目欠陥（ＤＯＩ）を訓練集合に入れさせていないときにそのコンピュータサブシステム（群）を停止させることができる。
前記コンピュータサブシステム（群）は、前記一通り又は複数通りの差異が前記一通り又は複数通りの基準を満たしたとき、前記検査関連アルゴリズムの最新版を、他試料の検査に用いられる既訓練検査関連アルゴリズムとして出力するよう構成される。検査関連アルゴリズムの最新版を出力するに際しては、その検査関連アルゴリズムの最近訓練されたパラメータを、可能ならその検査関連アルゴリズムの概略構成と共に必要に応じ出力すればよい。検査関連アルゴリズムの最新版を出力するに際し、例えば本願記載の格納媒体のうち一つたる格納媒体及び／又は検査レシピにその最新版を格納することで、検査レシピ実行時にその検査関連アルゴリズムが実行されるようにしてもよい（本願にて用いられている語の「レシピ」は、大略、プロセスを実行すべくシステムにて用いられ得る命令の集合として定義することができる）。
ある実施形態では、前記１個又は複数個のコンピュータサブシステムが、最新版の検査関連アルゴリズムによりもたらされる様々な結果の可分離性指標を判別するよう構成され、判別された可分離性指標が所定のしきい値を上回った後に限りその出力が実行される。例えば、ニュイサンスフィルタ（クラシファイア）等の検査関連アルゴリズムが適用されるデータは、様々な事物例えば欠陥対ニュイサンス、ある種の欠陥対別種の欠陥等々に対応する、様々な度合のデータ間可分離性を呈する。データ間分離が実質的に良好であるときには、総じて、その検査関連アルゴリズムにより比較的良好な性能が比較的高い信頼度で以て達成される。データにおける分離が凡庸又は不良であるときには、その検査関連アルゴリズムもまた実行されないので、典型的には、かなりの量の比較的低信頼度な結果が何をやっても残ることとなる。故にその収束基準はいずれの信頼度又は性能指標にも基づかない。そのため、そのコンピュータサブシステム（群）により、単に、その検査関連アルゴリズムがいつ改善を停止するのかを監視すればよく、その時点では、最良な検査関連アルゴリズムがそのデータに関しもたらされている。故に、可分離性指標を最新版の検査関連アルゴリズムに関し判別することで、利用可能な訓練データで以てもたらされた最良の検査関連アルゴリズムが他試料向けに十分用い得るほど実際に良好に動作するか否かを判別することができる。その可分離性指標が十分でないと判別された場合は他のオプション、例えばその検査サブシステムの他の出力生成パラメータで以てもたらされた他のデータを調べ、本願詳述の如くその検査関連アルゴリズムへの代替的入力とすればよい。
その種の一例によれば、図３に示すように、収束基準が満たされた旨ステップ３１６にて判別されたときに、前記コンピュータサブシステム（群）にて、そのデータが分離可能か否かをステップ３１８に示す如く判別することができる。そのデータが分離可能であるとステップ３１８にて判別された場合は、ステップ３２０にて、そのコンピュータサブシステム（群）により、前記検査関連アルゴリズムの準備ができた（即ち他試料の検査に用いる準備ができた、生産監視に用いる準備ができた等々）と判別することができる。このように、諸実施形態にて、その検査関連アルゴリズムの正しさについての保証指標を用いることができる。その検査関連アルゴリズムにてデータを正しく分離できるようにするためには、そのデータの可分離性を計測すればよい。この指標はそのデータが分離可能であるか否かを告げるものである。検査関連アルゴリズムが欠陥クラシファイアである場合、その指標により、そのデータが分離可能か否か並びにそのクラシファイアで各欠陥階級を当てずっぽうよりは良好に分類できるか否かを告げることができる。訓練集合内データが分離可能である場合、正しいクラシファイアが構築されたと謳うことができる。そのクラシファイアの階級コード毎の正確性があるしきい値（例．５０％超のどこか（なぜなら平衡訓練集合についての５０％なる正確度は完全にランダムな分類であり可分離性がないことを意味するからである））を上回っている場合、その訓練集合内データが分離可能であるとみなすことができる。
前記コンピュータサブシステム（群）が、図３のステップ３１８にて、データが分離可能でないと判別した場合は、図３に示すように、そのコンピュータサブシステム（群）により検査パラメータをステップ３２２に示す如く変更すればよい。例えば、そのデータが分離可能でないのであれば、欠陥クラシファイアの場合、そのデータを分類することができない。この場合、そのコンピュータサブシステム（群）により、その検査サブシステムの１個又は複数個のパラメータを変更すべきであると判別すればよい。例えば、そのコンピュータサブシステム（群）により、検査モードを変更すべきであると判別すればよい。その上で、そのコンピュータサブシステム（群）により、その検査サブシステムの１個又は複数個のパラメータのチューニングを実行するか、あるいは単に、そのチューニングを実行するよう別のサブシステム（コンピュータその他）に命令を発すればよい。その検査サブシステムの１個又は複数個のパラメータのチューニング又は改変は、どのような好適要領にて実行してもよい。その上で、その検査サブシステムのチューニング又は改変されたパラメータ（群）を用いて出力を生成し、その出力を用いラベル付き欠陥集合及びラベル無し欠陥集合を生成すればよく、その上でそれを用い本願記載のステップ（群）を実行することで、既訓練検査関連アルゴリズムを生成することができる。このようにして、その検査サブシステムの新規パラメータ（群）に関し訓練された検査関連アルゴリズムを生成すればよい。
本願記載の諸実施形態によれば、検査関連アルゴリズムの訓練に関し数多くの長所がもたらされる。例えば、本願記載の検査関連アルゴリズムチューニング及び訓練集合の獲得はその検査関連アルゴリズムの性能に係るラベル付き欠陥の有効性を高めるものであるため、検査関連アルゴリズムチューニングと訓練集合獲得とを組み合わせて単一の方法論にすることで、既存手法に優る巨大な長所がもたらされる（それらラベル付き欠陥は訓練目的向けの最教示的欠陥であるので、その検査関連アルゴリズムの性能が所与データに関し常に最適となる）。加えて、欠陥へのラベル付け（例．それらをマニュアル分類すること）はツール時間及び労力の面でかなり高価である。訓練集合獲得及び検査関連アルゴリズムチューニングプロセスに係る収束基準を識別することで、訓練集合のサイズが小さくなり、そのことが長所となる。更に、訓練集合選択及び欠陥ラベル付けをそのチューニングプロセスと組み合わせるプロセスが、光学検査ニュイサンスフィルタ及びクラシファイア向けのどの機械学習アルゴリズムの適用に関しても絶対的に本質的であるという認識は、新規なものである（訓練集合選択及び欠陥ラベル付けをそのチューニングプロセスと組み合わせることが必要なのは、その訓練データに数万個の欠陥が含まれていて、その大半がニュイサンスであるためである）。また、本願記載の諸実施形態では検査レシピの首尾一貫性も保証されるため、ニュイサンスフィルタチューニングがもはや経験及び熟練に依存しなくなる。
本願記載のシステムの各実施形態は、本願記載のシステムのあらゆる他実施形態と組み合わせることができる。
もう一つの実施形態は、検査関連アルゴリズムを訓練するためのコンピュータ実施方法に関するものである。本方法は、上述したコンピュータサブシステム（群）の各機能に係るステップを有する。とりわけ、本方法においては、ラベル付き欠陥集合で以て検査関連アルゴリズムの初期訓練を実行することで、その検査関連アルゴリズムの初版が生成される。また、本方法においては、初版の検査関連アルゴリズムがラベル無し欠陥集合に適用され、その適用の結果に基づきそのラベル付き欠陥集合が改変される。加えて、本方法においては、その改変されたラベル付き欠陥集合で以て検査関連アルゴリズムを再訓練することで、その検査関連アルゴリズムの更新版が生成される。更に、本方法においては、更新版の検査関連アルゴリズムが別のラベル無し欠陥集合に適用される。また、本方法においては、更新版の検査関連アルゴリズムの適用結果と、初版又は従前版の検査関連アルゴリズムの適用結果と、の間の一通り又は複数通りの差異が判別される。加えて、本方法においては、それらラベル付き欠陥集合の改変、検査関連アルゴリズムの再訓練、更新版の検査関連アルゴリズムの適用、並びに一通り又は複数通りの差異の判別が、当該一通り又は複数通りの差異が一通り又は複数通りの基準を満たすまで繰り返される。当該一通り又は複数通りの差異が当該一通り又は複数通りの基準を満たしたとき、本方法においては、検査関連アルゴリズムの最新版が、他試料の検査に用いられる既訓練検査関連アルゴリズムとして出力される。
本方法の各ステップは本願詳述の如く実行され得る。また、本方法に、本願記載の検査サブシステム及び／又はコンピュータサブシステム（群）若しくはシステム（群）により実行できるどのような他ステップ（群）を含めてもよい。本方法の諸ステップを実行する１個又は複数個のコンピュータシステムを、本願記載の諸実施形態のいずれに従い構成してもよい。加えて、上述の方法を、本願記載のシステム実施形態のいずれにより実行してもよい。
更なる実施形態は、プログラム命令が格納された非一時的コンピュータ可読媒体であり、そのプログラム命令をコンピュータシステム上で実行することで、検査関連アルゴリズムを訓練するためのコンピュータ実施方法が実行される非一時的コンピュータ可読媒体に、関するものである。その種の実施形態の一つを図４に示す。とりわけ、図４に示す非一時的コンピュータ可読媒体４００内には、コンピュータシステム４０４上で実行可能なプログラム命令４０２がある。そのコンピュータ実施方法には、本願記載のあらゆる方法（群）のあらゆるステップ（群）をも含め得る。
方法例えば本願記載のそれらを体現するプログラム命令４０２を、コンピュータ可読媒体４００上に格納すればよい。そのコンピュータ可読媒体は、格納媒体例えば磁気又は光ディスク、磁気テープその他、本願技術分野で既知で好適ないずれの非一時的コンピュータ可読媒体としてもよい。
それらプログラム命令は、手続きベース技術、要素ベース技術、及び／又はオブジェクト指向技術等を含め、諸種あるやり方のいずれに従い実現してもよい。例えば、ＡｃｔｉｖｅＸ（登録商標）コントロール、Ｃ＋＋オブジェクト、ＪａｖａＢｅａｎｓ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＦｏｕｎｄａｔｉｏｎＣｌａｓｓｅｓ（ＭＦＣ）、ＳＳＥ（ストリーミングＳＩＭＤエクステンション）その他のテクノロジ又は方法論を随意に用い、それらプログラム命令を実現すればよい。
コンピュータシステム４０４は、本願記載の諸実施形態のいずれに従い構成してもよい。
本願記載の方法のいずれにおいても、それら方法実施形態の１個又は複数個のステップの結果がコンピュータ可読格納媒体内に格納され得る。それらの結果は、本願記載のいずれの結果を含むものでもよく、また本件技術分野で既知ないずれの要領で格納されるのでもよい。その格納媒体には本願記載のあらゆる格納媒体、あるいは本願技術分野で既知で好適なあらゆる他格納媒体が含まれうる。それら結果が格納された後には、格納媒体内にあるそれら結果を、本願記載の諸方法又はシステム実施形態のうちいずれかによりアクセスして用いること、対ユーザ向けにフォーマットすること、別のソフトウェアモジュール、方法又はシステムにより用いること等々ができる。例えば、既訓練検査関連アルゴリズムを用い他試料（群）について一通り又は複数通りの検査を実行することができ、またそれを本願記載の如く実行することができる。その又はそれらの検査により生成された結果を用い、他試料（群）に関し、或いは他試料（群）を形成するのに用いられたプロセスに関し、１個又は複数個の機能を実行することができる。例えば、本願記載の如く訓練された検査関連アルゴリズムを用い一通り又は複数通りの検査を実行することで生成された結果を用い、他試料（群）を形成するのに用いられる１個又は複数個のプロセスの１個又は複数個のパラメータを改変することができる。これに加え又は代え、本願記載の如く訓練された検査関連アルゴリズムを用い一通り又は複数通りの検査を実行することで生成された結果を用い、他試料（群）について実行されるであろう１個又は複数個のプロセスの１個又は複数個のパラメータを改変することで、他の試料（群）上に付加的な特徴又は素材を形成することや、他の試料（群）上の欠陥を補正して他の試料（群）自体を改変することができる。
いわゆる当業者なら、本明細書を参照することで、本発明の諸態様の更なる修正及び代替的実施形態を想到することができる。例えば、検査関連アルゴリズムを訓練する方法及びシステムが提示されている。従って、本明細書は、専ら例証として解されるべきであり、また本発明の一般的実行要領をいわゆる当業者に教示する目的のものである。理解されるように、本願にて図示及び記述されている発明の諸形態は好適な実施形態として捉えられるべきである。要素及び素材を本願にて図示及び記述されているそれに置き換え得ること、部材及びプロセスの順序を入れ替え得ること、並びに本発明のある種の特徴を独立利用し得ることについては、いずれも、本発明についてのこの記述を参照することでいわゆる当業者には理解されよう。本願記載の諸要素においては、別項の特許請求の範囲に記載されている発明の神髄及び技術的範囲から離隔することなく、改変することができる。

Claims (20)

  1. 検査関連アルゴリズムを訓練するように構成されたシステムであって、
    少なくともエネルギ源及び検出器を備える検査サブシステムであり、試料に向かうエネルギを生成するよう前記エネルギ源が構成されており、前記試料からのエネルギを検出するよう且つ検出されたエネルギに応じ出力を生成するよう前記検出器が構成されている検査サブシステムと、
    １個又は複数個のコンピュータサブシステムであり、
    ラベル付き欠陥集合で以て検査関連アルゴリズムの初期訓練を実行することでその検査関連アルゴリズムの初版を生成し、
    前記初版の検査関連アルゴリズムをラベル無し欠陥集合に適用し、
    前記適用の結果に基づき前記ラベル付き欠陥集合を改変し、
    前記改変されたラベル付き欠陥集合で以て前記検査関連アルゴリズムを再訓練することでその検査関連アルゴリズムの更新版を生成し、
    前記更新版の検査関連アルゴリズムを別のラベル無し欠陥集合に適用し、
    前記更新版の検査関連アルゴリズムの適用結果と、前記初版又は従前版の検査関連アルゴリズムの適用結果との間の一通り又は複数通りの差異を判別し、
    前記ラベル付き欠陥集合の改変、前記検査関連アルゴリズムの再訓練、前記更新版の検査関連アルゴリズムの適用、並びに前記一通り又は複数通りの差異の判別を、当該一通り又は複数通りの差異が一通り又は複数通りの基準を満たすまで繰り返し、
    前記一通り又は複数通りの差異が前記一通り又は複数通りの基準を満たしたとき、前記検査関連アルゴリズムの最新版を、他試料の検査に用いられる既訓練検査関連アルゴリズムとして出力するよう構成されたコンピュータサブシステムと、
    を備えるシステム。
  2. 請求項１に記載のシステムであって、
    前記検査関連アルゴリズムが欠陥クラシファイアであるシステム。
  3. 請求項１に記載のシステムであって、
    前記検査関連アルゴリズムが欠陥フィルタであるシステム。
  4. 請求項１に記載のシステムであって、
    前記検査関連アルゴリズムが欠陥検出アルゴリズムであるシステム。
  5. 請求項１に記載のシステムであって、
    前記検査関連アルゴリズムが機械学習アルゴリズムであるシステム。
  6. 請求項１に記載のシステムであって、
    前記ラベル付き欠陥集合及び前記ラベル無し欠陥集合が同じ検査結果に含まれるシステム。
  7. 請求項１に記載のシステムであって、
    前記ラベル付き欠陥集合の改変が、
    前記ラベル無し集合内の欠陥のうち１個又は複数個にラベル付けするステップと、
    そのラベル付けされた１個又は複数個の欠陥を前記ラベル付き集合に加えるステップと、
    を含むシステム。
  8. 請求項１に記載のシステムであって、
    前記１個又は複数個のコンピュータサブシステムが、更に、前記検出器により生成された出力に基づき前記試料上の欠陥を検出するよう構成されており、前記試料上で検出された欠陥が前記ラベル付き欠陥集合及び前記ラベル無し欠陥集合に含まれるシステム。
  9. 請求項１に記載のシステムであって、
    前記ラベル付き欠陥集合に、前記試料上で検出された欠陥全てから選択された所定最小限個数の欠陥が含まれるシステム。
  10. 請求項１に記載のシステムであって、
    前記ラベル付き欠陥集合の改変が、
    初版の検査関連アルゴリズムの前記適用により前記ラベル無し集合内の欠陥に関しもたらされた結果の確実性を判別するステップと、
    前記ラベル無し集合内の欠陥のうち最低の確実性を有するものを選択するステップと、
    その選択された欠陥に関しラベルを取得するステップと、
    当該選択された欠陥及びそれらのラベルを前記ラベル付き欠陥集合に加えるステップと、
    を含むシステム。
  11. 請求項１０に記載のシステムであって、
    前記ラベル無し集合内の欠陥のうち最低の確実性を有するものの選択が、そのラベル無し集合内の欠陥のうち最低の確実性を有する所定最小限個数の欠陥を選択するステップを含むシステム。
  12. 請求項１０に記載のシステムであって、
    前記ラベル無し集合内の欠陥のうち最低の確実性を有するものの選択が、そのラベル無し集合内の欠陥の一通り又は複数通りの特性における多様性とは独立に実行されるシステム。
  13. 請求項１に記載のシステムであって、
    前記ラベル付き欠陥集合の改変が、
    初版の検査関連アルゴリズムの前記適用により前記ラベル無し集合内の欠陥に関しもたらされた結果の確実性を判別するステップと、
    前記ラベル無し集合内の欠陥のうち最低の確実性を有する欠陥群を選択するステップと、
    その群内の欠陥の部分集合でありその部分集合内の欠陥の特性において最大の多様性を呈するものを選択するステップと、
    その部分集合の欠陥に関しラベルを取得するステップと、
    当該選択された部分集合の欠陥及びそれらのラベルを前記ラベル付き欠陥集合に加えるステップと、
    を含むシステム。
  14. 請求項１に記載のシステムであって、
    前記一通り又は複数通りの基準が、
    ａ）前記一通り又は複数通りの差異であり、前記更新版の検査関連アルゴリズムが前記初版又は前記従前版の検査関連アルゴリズムに対し無視し得るほどしか異ならないことを示すものと、
    ｂ）前記一通り又は複数通りの差異であり、当該更新版の検査関連アルゴリズムが当該初版又は当該従前版の検査関連アルゴリズムに対し顕著に異なることを示すものと、の間の境界を定めるものであるシステム。
  15. 請求項１に記載のシステムであって、
    前記１個又は複数個のコンピュータサブシステムが、更に、前記最新版の検査関連アルゴリズムによりもたらされる様々な結果の可分離性指標を判別するよう構成されており、判別された可分離性指標が所定のしきい値を上回った後に限り前記出力が実行されるシステム。
  16. 請求項１に記載のシステムであって、
    前記試料にウェハが含まれるシステム。
  17. 請求項１に記載のシステムであって、
    前記試料に向かうエネルギに光が含まれ、その試料から検出されるエネルギに光が含まれるシステム。
  18. 請求項１に記載のシステムであって、
    前記試料に向かうエネルギに電子が含まれ、その試料から検出されるエネルギに電子が含まれるシステム。
  19. プログラム命令が格納された非一時的コンピュータ可読媒体であり、そのプログラム命令をコンピュータシステム上で実行することで、検査関連アルゴリズムを訓練するためのコンピュータ実施方法が実行される非一時的コンピュータ可読媒体であって、そのコンピュータ実施方法が、
    ラベル付き欠陥集合で以て検査関連アルゴリズムの初期訓練を実行することでその検査関連アルゴリズムの初版を生成するステップと、
    前記初版の検査関連アルゴリズムをラベル無し欠陥集合に適用するステップと、
    前記適用の結果に基づき前記ラベル付き欠陥集合を改変するステップと、
    前記改変されたラベル付き欠陥集合で以て前記検査関連アルゴリズムを再訓練することでその検査関連アルゴリズムの更新版を生成するステップと、
    前記更新版の検査関連アルゴリズムを別のラベル無し欠陥集合に適用するステップと、
    前記更新版の検査関連アルゴリズムの適用結果と、前記初版又は従前版の検査関連アルゴリズムの適用結果と、の間の一通り又は複数通りの差異を判別するステップと、
    前記ラベル付き欠陥集合の改変、前記検査関連アルゴリズムの再訓練、前記更新版の検査関連アルゴリズムの適用、並びに前記一通り又は複数通りの差異の判別を、当該一通り又は複数通りの差異が一通り又は複数通りの基準を満たすまで繰り返すステップと、
    前記一通り又は複数通りの差異が前記一通り又は複数通りの基準を満たしたとき、前記検査関連アルゴリズムの最新版を、他試料の検査に用いられる既訓練検査関連アルゴリズムとして出力するステップと、
    を有し、前記初期訓練の実行、前記初版の適用、前記ラベル付き集合の改変、前記検査関連アルゴリズムの再訓練、前記更新版の適用、前記一通り又は複数通りの差異の判別、前記繰り返し、並びに前記出力が、前記コンピュータシステムにより実行される非一時的コンピュータ可読媒体。
  20. 検査関連アルゴリズムを訓練するためのコンピュータ実施方法であって、
    ラベル付き欠陥集合で以て検査関連アルゴリズムの初期訓練を実行することでその検査関連アルゴリズムの初版を生成するステップと、
    前記初版の検査関連アルゴリズムをラベル無し欠陥集合に適用するステップと、
    前記適用の結果に基づき前記ラベル付き欠陥集合を改変するステップと、
    前記改変されたラベル付き欠陥集合で以て前記検査関連アルゴリズムを再訓練することでその検査関連アルゴリズムの更新版を生成するステップと、
    前記更新版の検査関連アルゴリズムを別のラベル無し欠陥集合に適用するステップと、
    前記更新版の検査関連アルゴリズムの適用結果と、前記初版又は従前版の検査関連アルゴリズムの適用結果と、の間の一通り又は複数通りの差異を判別するステップと、
    前記ラベル付き欠陥集合の改変、前記検査関連アルゴリズムの再訓練、前記更新版の検査関連アルゴリズムの適用、並びに前記一通り又は複数通りの差異の判別を、当該一通り又は複数通りの差異が一通り又は複数通りの基準を満たすまで繰り返すステップと、
    前記一通り又は複数通りの差異が前記一通り又は複数通りの基準を満たしたとき、前記検査関連アルゴリズムの最新版を、他試料の検査に用いられる既訓練検査関連アルゴリズムとして出力するステップと、
    を有し、前記初期訓練の実行、前記初版の適用、前記ラベル付き集合の改変、前記検査関連アルゴリズムの再訓練、前記更新版の適用、前記一通り又は複数通りの差異の判別、前記繰り返し、並びに前記出力が、１個又は複数個のコンピュータシステムにより実行されるコンピュータ実施方法。
JP2019520517A 2016-10-17 2017-10-17 検査関連アルゴリズムのセットアップに用いられる訓練集合の最適化 Active JP6833027B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
IN201641035490 2016-10-17
IN201641035490 2016-10-17
US201762477248P 2017-03-27 2017-03-27
US62/477,248 2017-03-27
US15/782,820 US10267748B2 (en) 2016-10-17 2017-10-12 Optimizing training sets used for setting up inspection-related algorithms
US15/782,820 2017-10-12
PCT/US2017/057029 WO2018075547A1 (en) 2016-10-17 2017-10-17 Optimizing training sets used for setting up inspection-related algorithms

Publications (2)

Publication Number Publication Date
JP2020500422A true JP2020500422A (ja) 2020-01-09
JP6833027B2 JP6833027B2 (ja) 2021-02-24

Family

ID=66656811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019520517A Active JP6833027B2 (ja) 2016-10-17 2017-10-17 検査関連アルゴリズムのセットアップに用いられる訓練集合の最適化

Country Status (6)

Country Link
JP (1) JP6833027B2 (ja)
KR (1) KR102293789B1 (ja)
CN (1) CN109844919B (ja)
IL (1) IL265744B (ja)
SG (1) SG11201902745RA (ja)
TW (1) TWI752100B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021250884A1 (ja) * 2020-06-12 2021-12-16 株式会社日立ハイテク 欠陥検査のための方法、システム、及びコンピューター可読媒体
CN116344378A (zh) * 2023-03-31 2023-06-27 江苏神州新能源电力有限公司 一种光伏板生产用智能检测系统及其检测方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10677586B2 (en) * 2018-07-27 2020-06-09 Kla-Tencor Corporation Phase revealing optical and X-ray semiconductor metrology
US11468553B2 (en) * 2018-11-02 2022-10-11 Kla Corporation System and method for determining type and size of defects on blank reticles
US20220130027A1 (en) * 2019-02-15 2022-04-28 Hitachi High-Tech Corporation Structure Estimation System and Structure Estimation Program
TWI694250B (zh) * 2019-03-20 2020-05-21 英業達股份有限公司 表面缺陷偵測系統及其方法
KR102203222B1 (ko) * 2020-10-08 2021-01-14 (주)이랑텍 Ai 학습 기반 rf 필터 자동 튜닝 시스템 및 방법
CN116666248B (zh) * 2023-07-26 2023-11-17 北京象帝先计算技术有限公司 测试结果异常确定方法、装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008082821A (ja) * 2006-09-27 2008-04-10 Hitachi High-Technologies Corp 欠陥分類方法及びその装置並びに欠陥検査装置
JP2013224943A (ja) * 2012-04-19 2013-10-31 Applied Materials Israel Ltd 自動及び手動欠陥分類の統合
US20150262038A1 (en) * 2014-03-17 2015-09-17 Kla-Tencor Corporation Creating Defect Classifiers and Nuisance Filters

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061601B2 (en) * 1999-07-02 2006-06-13 Kla-Tencor Technologies Corporation System and method for double sided optical inspection of thin film disks or wafers
US8948494B2 (en) * 2012-11-12 2015-02-03 Kla-Tencor Corp. Unbiased wafer defect samples
TWI525317B (zh) * 2013-10-08 2016-03-11 國立清華大學 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法
US9518932B2 (en) * 2013-11-06 2016-12-13 Kla-Tencor Corp. Metrology optimized inspection
US9286675B1 (en) * 2014-10-23 2016-03-15 Applied Materials Israel Ltd. Iterative defect filtering process
US10012599B2 (en) * 2015-04-03 2018-07-03 Kla-Tencor Corp. Optical die to database inspection
CN106409711B (zh) * 2016-09-12 2019-03-12 佛山市南海区广工大数控装备协同创新研究院 一种太阳能硅晶片缺陷检测系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008082821A (ja) * 2006-09-27 2008-04-10 Hitachi High-Technologies Corp 欠陥分類方法及びその装置並びに欠陥検査装置
JP2013224943A (ja) * 2012-04-19 2013-10-31 Applied Materials Israel Ltd 自動及び手動欠陥分類の統合
US20150262038A1 (en) * 2014-03-17 2015-09-17 Kla-Tencor Corporation Creating Defect Classifiers and Nuisance Filters

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021250884A1 (ja) * 2020-06-12 2021-12-16 株式会社日立ハイテク 欠陥検査のための方法、システム、及びコンピューター可読媒体
CN116344378A (zh) * 2023-03-31 2023-06-27 江苏神州新能源电力有限公司 一种光伏板生产用智能检测系统及其检测方法
CN116344378B (zh) * 2023-03-31 2024-01-23 江苏神州新能源电力有限公司 一种光伏板生产用智能检测系统及其检测方法

Also Published As

Publication number Publication date
TWI752100B (zh) 2022-01-11
KR102293789B1 (ko) 2021-08-24
IL265744A (en) 2019-06-30
IL265744B (en) 2021-06-30
CN109844919A (zh) 2019-06-04
JP6833027B2 (ja) 2021-02-24
KR20190057402A (ko) 2019-05-28
SG11201902745RA (en) 2019-05-30
CN109844919B (zh) 2020-12-11
TW201825883A (zh) 2018-07-16

Similar Documents

Publication Publication Date Title
US10267748B2 (en) Optimizing training sets used for setting up inspection-related algorithms
JP6833027B2 (ja) 検査関連アルゴリズムのセットアップに用いられる訓練集合の最適化
KR102466582B1 (ko) 결함 분류기 트레이닝을 위한 능동적 학습
JP7200113B2 (ja) 深くスタック化された層を有するウェハにおいて欠陥分類器を訓練して適用するためのシステムと方法
US10818000B2 (en) Iterative defect filtering process
KR102220437B1 (ko) 결함 분류기들 및 뉴슨스 필터들의 생성
US10679333B2 (en) Defect detection, classification, and process window control using scanning electron microscope metrology
CN108291878A (zh) 单一图像检测
KR102330733B1 (ko) 적응형 뉴슨스 필터
KR102472309B1 (ko) 검사를 위한 모드 선택
US20170082555A1 (en) Adaptive Automatic Defect Classification
KR20180037323A (ko) 표본 상의 결함들을 분류하기 위한 컴퓨터-구현 방법 및 시스템
US10930597B2 (en) Die screening using inline defect information
US9714905B1 (en) Wafer inspection recipe setup
CN116152153A (zh) 用于自动化缺陷检测的方法和装置
US20240127421A1 (en) Defect Classification Device and Defect Classification Program
Darwin et al. Automatic classification of microlithography macrodefects using a knowledge-based system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201012

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201012

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210202

R150 Certificate of patent or registration of utility model

Ref document number: 6833027

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250