CN112219270B - 用于缺陷分类器训练的主动学习 - Google Patents
用于缺陷分类器训练的主动学习 Download PDFInfo
- Publication number
- CN112219270B CN112219270B CN201980037055.0A CN201980037055A CN112219270B CN 112219270 B CN112219270 B CN 112219270B CN 201980037055 A CN201980037055 A CN 201980037055A CN 112219270 B CN112219270 B CN 112219270B
- Authority
- CN
- China
- Prior art keywords
- data points
- defect
- acquisition function
- sample
- imaging subsystem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 199
- 238000012549 training Methods 0.000 title claims abstract description 65
- 238000003384 imaging method Methods 0.000 claims abstract description 127
- 238000000034 method Methods 0.000 claims abstract description 110
- 230000006870 function Effects 0.000 claims abstract description 88
- 238000007689 inspection Methods 0.000 claims description 53
- 238000005070 sampling Methods 0.000 claims description 45
- 239000003550 marker Substances 0.000 claims description 41
- 238000010894 electron beam technology Methods 0.000 claims description 29
- 230000003287 optical effect Effects 0.000 claims description 29
- 238000010801 machine learning Methods 0.000 claims description 26
- 238000009826 distribution Methods 0.000 claims description 23
- 230000009467 reduction Effects 0.000 claims description 19
- 238000012634 optical imaging Methods 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 9
- 238000013136 deep learning model Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000012358 sourcing Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 34
- 238000013135 deep learning Methods 0.000 description 27
- 238000005286 illumination Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 21
- 239000004065 semiconductor Substances 0.000 description 21
- 238000013528 artificial neural network Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 11
- 238000013459 approach Methods 0.000 description 10
- 230000001537 neural effect Effects 0.000 description 9
- 235000012431 wafers Nutrition 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000012795 verification Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000012552 review Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000010884 ion-beam technique Methods 0.000 description 4
- 238000004886 process control Methods 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013398 bayesian method Methods 0.000 description 2
- 238000013531 bayesian neural network Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000000991 chicken egg Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 238000001433 helium-ion microscopy Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- PGZUMBJQJWIWGJ-ONAKXNSWSA-N oseltamivir phosphate Chemical compound OP(O)(O)=O.CCOC(=O)C1=C[C@@H](OC(CC)CC)[C@H](NC(C)=O)[C@@H](N)C1 PGZUMBJQJWIWGJ-ONAKXNSWSA-N 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 229940061367 tamiflu Drugs 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000006719 Cassia obtusifolia Nutrition 0.000 description 1
- 235000014552 Cassia tora Nutrition 0.000 description 1
- 244000201986 Cassia tora Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 210000003050 axon Anatomy 0.000 description 1
- 238000013476 bayesian approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013400 design of experiment Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005468 ion implantation Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 238000000206 photolithography Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
- H01L21/67005—Apparatus not specifically provided for elsewhere
- H01L21/67242—Apparatus for monitoring, sorting or marking
- H01L21/67288—Monitoring of warpage, curvature, damage, defects or the like
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
- G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
- G03F7/70—Microphotolithographic exposure; Apparatus therefor
- G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
- G03F7/70605—Workpiece metrology
- G03F7/70616—Monitoring the printed patterns
- G03F7/7065—Defects, e.g. optical inspection of patterned layer for defects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
- G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
- G03F7/70—Microphotolithographic exposure; Apparatus therefor
- G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
- G03F7/70605—Workpiece metrology
- G03F7/70653—Metrology techniques
- G03F7/70675—Latent image, i.e. measuring the image of the exposed resist prior to development
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
- G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
- G03F7/70—Microphotolithographic exposure; Apparatus therefor
- G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
- G03F7/70605—Workpiece metrology
- G03F7/706835—Metrology information management or control
- G03F7/706839—Modelling, e.g. modelling scattering or solving inverse problems
- G03F7/706841—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
- H01L21/67005—Apparatus not specifically provided for elsewhere
- H01L21/67242—Apparatus for monitoring, sorting or marking
- H01L21/67271—Sorting devices
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
- H01L21/67005—Apparatus not specifically provided for elsewhere
- H01L21/67242—Apparatus for monitoring, sorting or marking
- H01L21/67294—Apparatus for monitoring, sorting or marking using identification means, e.g. labels on substrates or labels on containers
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
- H01L22/10—Measuring as part of the manufacturing process
- H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
- H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
- H01L22/24—Optical enhancement of defects or not directly visible states, e.g. selective electrolytic deposition, bubbles in liquids, light emission, colour change
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
- H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Manufacturing & Machinery (AREA)
- Computing Systems (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Operations Research (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Feedback Control In General (AREA)
Abstract
本发明提供用于执行用于缺陷分类器的主动学习的方法及系统。一种系统包含经配置用于执行用于训练缺陷分类器的主动学习的一或多个计算机子系统。所述主动学习包含将采集函数应用于样品的数据点。所述采集函数基于与所述数据点相关联的不确定性估计而选择所述数据点中的一或多者。所述主动学习还包含获取所选择的所述一或多个数据点的标记及生成包含所选择的所述一或多个数据点及所获取的所述标记的标记数据集。所述计算机子系统还经配置用于使用所述标记数据集来训练所述缺陷分类器。所述缺陷分类器经配置用于使用由成像子系统生成的图像对所述样品上检测到的缺陷进行分类。
Description
技术领域
本发明大体上涉及用于执行用于训练缺陷分类器的主动学习的方法及系统。
背景技术
以下描述及实例不因其包含于此章节中而被认为是现有技术。
制造例如逻辑及存储器装置的半导体装置通常包含使用大量半导体制造过程处理例如半导体晶片的衬底以形成半导体装置的各种特征及多个层级。举例来说，光刻是涉及将图案从分划板转印到布置于半导体晶片上的抗蚀剂的半导体制造过程。半导体制造过程的额外实例包含(但不限于)化学机械抛光(CMP)、蚀刻、沉积及离子植入。多个半导体装置可制造为单个半导体晶片上的布置，且接着分离成个别半导体装置。
在半导体制造过程期间的各个步骤使用检验过程来检测晶片上的缺陷以促进制造过程中的较高良率及因此较高利润。检验始终是制造半导体装置的重要部分。然而，随着半导体装置的尺寸减小，检验对于可接受半导体装置的成功制造而言变得甚至更重要，这是因为较小缺陷可导致装置故障。
任何成功的基于机器学习的检验过程需要特定量的训练。训练包含选择用于使样品成像(或以其它方式生成样品的输出)的一或多个参数及/或选择用于处理图像(或其它输出)以检测样品上的缺陷及/或执行样品的其它功能的一或多个参数。用于使样品成像的(若干)参数通常可为检验系统的成像硬件的参数而用于处理图像的(若干)参数可为用于从图像确定关于样品的有用信息的计算机系统及/或算法的参数。
发现用于检验过程的适当参数的一个困难产生于发现可用于设置检验过程的样品上的实际缺陷的适合实例的有时繁琐及/或困难性质。举例来说，尤其与样品上检测到的扰乱事件(nuisance event)的数目相比较，样品上的实际令人关注的所关注缺陷(DOI)的数目可能相对较小。然而，通常需要在一或多个设置样品上发现适合DOI实例且使用那些DOI实例来设置检验配方以发现可在其它样品上检测到那些DOI的检验配方参数。因此，发现DOI及/或新DOI类型对于成功检验过程设置而言可能相对困难但为必要的。
从算法角度，已在具有启发式采集函数的树或随机森林缺陷分类模型上构建缺陷发现的一些尝试。从系统角度，全部缺陷发现尝试已集中于单个工具类型，例如，仅一个类型的检验工具。
因此，用于设置检验过程的当前使用方法及系统具有若干缺点。举例来说，现存方法无法支持深度及广泛模型(例如，深度神经网络、卷积神经网络等)或模型的组合。在另一实例中，现存方法中使用的启发式采集函数不具有理论基础且不具有下限性能保证。在额外实例中，本发明扰乱过滤器模型预测无法提供不确定性估计。在又另一实例中，现存方法集中于单个工具类型，其不支持例如本文中描述的其它工具类型。
因此，开发不具有上文描述的缺点中的一或多者的用于执行用于训练缺陷分类器的主动学习的系统及方法将为有利的。
发明内容
各个实施例的以下描述绝不应被解释为限制随附技术方案的标的物。
一个实施例涉及一种经配置以执行用于训练缺陷分类器的主动学习的系统。所述系统包含成像子系统，所述成像子系统包含至少一能量源及检测器。能量源经配置以生成被引导到样品的能量。检测器经配置以检测来自样品的能量且响应于所检测能量而生成图像。系统还包含经配置用于执行用于训练缺陷分类器的主动学习的一或多个计算机子系统。主动学习包含将采集函数应用于样品的数据点。采集函数基于与数据点相关联的不确定性估计而选择数据点中的一或多者。主动学习还包含获取所选择的一或多个数据点的标记及生成包含所选择的一或多个数据点及所获取数据的标记数据集。一或多个计算机子系统还经配置用于使用标记数据集来训练缺陷分类器。缺陷分类器经配置用于使用通过成像子系统生成的图像对样品上检测到的缺陷进行分类。可如本文中描述那样进一步配置系统。
另一实施例涉及一种用于执行用于训练缺陷分类器的主动学习的计算机实施方法。所述方法包含执行用于训练缺陷分类器的主动学习。主动学习包含上文描述的应用、获取及生成步骤。方法还包含上文描述的训练步骤。执行主动学习及训练缺陷分类器由一或多个计算机子系统执行。
可如本文中进一步描述那样进一步执行上文描述的方法的步骤中的每一者。另外，上文描述的方法的实施例可包含本文中描述的(若干)任何其它方法的(若干)任何其它步骤。此外，上文描述的方法可由本文中描述的系统的任一者执行。
另一实施例涉及一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在一或多个计算机系统上执行以执行用于执行用于训练缺陷分类器的主动学习的计算机实施方法。计算机实施方法包含上文描述的方法的步骤。可如本文中描述那样进一步配置计算机可读媒体。可如本文中进一步描述那样执行计算机实施方法的步骤。另外，程序指令可针对其执行的计算机实施方法可包含本文中描述的(若干)任何其它方法的(若干)任何其它步骤。
附图说明
所属领域的技术人员在受益于优选实施例的以下详细描述的情况下且在参考随附图式之后将明白本发明的进一步优点，其中：
图1及1a是说明如本文中描述那样配置的系统的实施例的侧视图的示意图；
图2及3是说明可由本文中描述的实施例执行的步骤的流程图；及
图4是说明存储用于导致(若干)计算机系统执行本文中描述的计算机实施方法的程序指令的非暂时性计算机可读媒体的一个实施例的框图。
虽然本发明易于以多种修改及替代形式呈现，但本发明的特定实施例通过实例在图式中展示且在本文中详细描述。图式可未按比例。然而，应理解，图式及其详细描述不希望将本发明限于所揭示的特定形式，而相反，本发明欲涵盖落于如由随附权利要求书界定的本发明的精神及范围内的全部修改、等效物及替代。
具体实施方式
现参考图式，应注意，图未按比例绘制。特定来说，极大地放大图的一些元件的比例以强调元件的特性。还应注意，所述图未按相同比例绘制。已使用相同元件符号指示可经类似配置的展示于一个以上图中的元件。除非本文中另有说明，否则所描述且展示的元件的任一者可包含任何适合市售元件。
一个实施例涉及一种经配置以执行用于训练缺陷分类器的主动学习的系统。本文中描述的一些实施例经配置用于用于半导体检验及计量应用中的适应性取样的贝叶斯深度学习。
当经济上可获得足够数量标记数据(大约数百万)时，深度学习被认为是监督学习的最先进解决方案。当深度学习遇到半导体过程控制应用时，挑战产生于如何将拍字节级样品成像数据转换为可用于学习过程的机器学习/深度学习有用标记数据集。归因于每一过程生成的唯一性(例如，新材料、纳米技术及设计规则)，缺陷的出现在生成间变化很大，尤其在光学/电子束响应方面。由于先前发现的缺陷不太相关，所以发现足够缺陷对于模型学习而言变得至关重要。
不幸地，缺陷发现/取样与模型训练耦合，尤其针对新层的第一样品(其中术语“层”是指对样品或仅样品的多个部分中的一者执行的一系列过程步骤，每一部分源自一系列过程步骤)。举例来说，在半导体检验及计量系统中，缺陷候选者的发现及扰乱事件过滤器(NEF)的形成具有相互依赖性，即，在无经训练NEF的情况下，基本上难以执行发现；在无缺陷候选者的情况下，也几乎不可能形成NEF。此相互依赖性(即，鸡-蛋问题)使得极难独立地解决两个问题。用基本上有限实例解决发现及训练的一个系统方法是主动学习(即，适应性发现)。
上述问题的当前使用缓解可包含在检验及检视工具之间执行多个手动循环，直到符合满意或已达到最大时间。人类参与此类循环往往增加不一致性且更重要地限制细粒度优化。另一替代例是使用调制/歪斜过程来故意增加样品上的缺陷密度以帮助缺陷取样。然而，这些缓解并不始终足以应对小的亚10nm缺陷或3D嵌入式缺陷的挑战。
本文中描述的实施例提供系统架构(包含算法、工作流程及硬件)以从贝叶斯视角支持机器学习模型、深度神经网络及其复杂组合的主动学习，以在一个工具内或跨多个工具实现实时缺陷发现及NEF训练。本文中描述的实施例具有本文中进一步描述的多个可能应用。举例来说，实施例建立可能系统算法统一解决方案，其可组合混合检验器概念及贝叶斯深度学习。
本文中描述的实施例提供若干重要改进，其可应用于各种检验工具及任何其它半导体过程质量相关工具。一个此改进是破坏缺陷取样与模型训练之间的相互依赖性以增强缺陷取样。另一改进是扩展贝叶斯深度学习以实施主动学习。额外改进是针对混合检验器上的多个工具组件(例如，光学检验工具及缺陷检视工具)建立联合设置概念。
系统包含成像子系统，所述成像子系统包含至少一能量源及检测器。能量源经配置以生成被引导到样品的能量。检测器经配置以检测来自样品的能量且响应于所检测能量而生成图像。在一个实施例中，成像子系统经配置为光学检验子系统。图1中展示此系统的一个实施例。
在一个实施例中，样品包含晶片。晶片可包含所属领域中已知的任何晶片。在一个此实例中，晶片可为已对其执行一或多个后端封装过程步骤(以将多个芯片组装成高级封装)的晶片。在另一实施例中，样品包含分划板。分划板可包含所属领域中已知的任何分划板。
成像子系统通过将光引导到样品或使光扫描遍及样品且检测来自样品的光而生成光学图像。在图1中展示的系统的实施例中，成像子系统10包含经配置以将光引导到样品14的照明子系统。照明子系统包含至少一个光源。举例来说，如图1中展示，照明子系统包含光源16。在一个实施例中，照明子系统经配置以依一或多个入射角将光引导到样品，所述一或多个入射角可包含一或多个倾斜角及/或一或多个法向角。举例来说，如图1中展示，来自光源16的光依一倾斜入射角引导穿过光学元件18且接着穿过透镜20到样品14。倾斜入射角可包含可取决于(例如)样品的特性而变化的任何适合倾斜入射角。
成像子系统可经配置以在不同时间依不同入射角将光引导到样品。举例来说，成像子系统可经配置以更改照明子系统的一或多个元件的一或多个特性，使得可依不同于图1中展示的入射角将光引导到样品。在一个此实例中，成像子系统可经配置以移动光源16、光学元件18及透镜20，使得依一不同倾斜入射角或法向(或近法向)入射角将光引导到样品。
在一些例子中，成像子系统可经配置以在相同时间依多于一个入射角将光引导到样品。举例来说，照明子系统可包含多于一个照明通道，所述照明通道中的一者可包含如图1中展示的光源16、光学元件18及透镜20，且所述照明通道中的另一者(未展示)可包含可不同或相同配置的类似元件或可包含至少一光源及可能一或多个其它组件(例如本文中进一步描述的组件)。如果在与其它光相同的时间将此光引导到样品，那么依不同入射角引导到样品的光的一或多个特性(例如，波长、偏光等)可不同，使得可在(若干)检测器处将源自依不同入射角照明样品的光彼此区分。
在另一例子中，照明子系统可仅包含一个光源(例如，图1中展示的源16)且来自所述光源的光可由照明子系统的一或多个光学元件(未展示)分成不同光学路径(例如，基于波长、偏光等)。接着，可将不同光学路径中的每一者中的光引导到样品。多个照明通道可经配置以在相同时间或不同时间(例如，当使用不同照明通道以依序照明样品时)将光引导到样品。在另一例子中，相同照明通道可经配置以在不同时间将具有不同特性的光引导到样品。举例来说，光学元件18可经配置为光谱滤光器且可以多种不同方式(例如，通过调换出光谱滤光器)改变光谱滤光器的性质，使得可在不同时间将不同波长的光引导到样品。照明子系统可具有所属领域中已知的用于依序或同时依不同或相同入射角将具有不同或相同特性的光引导到样品的任何其它适合配置。
在一个实施例中，光源16是宽带等离子体(BBP)光源。以此方式，由光源生成且被引导到样品的光可包含宽带光。然而，光源可包含任何其它适合光源，例如经配置以生成(若干)任何适合波长的光的所属领域中已知的任何适合激光器。另外，激光器可经配置以生成单色或近单色光。以此方式，激光器可为窄带激光器。光源还可包含生成多个离散波长或波带的光的多色光源。
来自光学元件18的光可通过透镜20聚焦到样品14上。尽管透镜20在图1中被展示为单折射光学元件，但应理解，在实践上，透镜20可包含组合地将来自光学元件的光聚焦到样品的若干折射及/或反射光学元件。照明子系统可包含任何其它适合光学元件(未展示)。此类光学元件的实例包含(但不限于)(若干)偏光组件、(若干)光谱滤光器、(若干)空间滤光器、(若干)反射光学元件、(若干)变迹器、(若干)光束分离器、(若干)光圈及可包含所属领域中已知的任何此类适合光学元件的类似物。另外，成像子系统可经配置以基于待用于成像的照明的类型而更改照明子系统的元件的一或多者。
成像子系统还可包含经配置以导致光扫描遍及样品的扫描子系统。举例来说，成像子系统可包含在成像期间在其上安置样品14的载物台22。扫描子系统可包含可经配置以移动样品，使得光可扫描遍及样品的任何适合机械及/或机器人组合件(其包含载物台22)。另外或替代地，成像子系统可经配置使得成像子系统的一或多个光学元件执行遍及样品的光的某一扫描。可以任何适合方式(例如以蛇纹状路径或以螺旋路径)使光扫描遍及样品。
成像子系统进一步包含一或多个检测通道。所述一或多个检测通道中的至少一者包含检测器，所述检测器经配置以检测归因于照明样品而来自样品的光且响应于所检测光而生成输出。举例来说，图1中展示的成像子系统包含两个检测通道，检测通道由集光器24、元件26及检测器28形成且另一检测通道由集光器30、元件32及检测器34形成。如图1中展示，两个检测通道经配置以依不同收集角收集并检测光。在一些例子中，两个检测通道经配置以检测散射光，且检测通道经配置以检测依不同角度从样品散射的光。然而，检测通道的一或多者可经配置以检测来自样品的另一类型的光(例如，反射光)。
如图1中进一步展示，两个检测通道被展示为定位在纸平面中且照明子系统也被展示为定位在纸平面中。因此，在此实施例中，两个检测通道定位在(例如，居中于)入射平面中。然而，检测通道的一或多者可定位在入射平面外。举例来说，由集光器30、元件32及检测器34形成的检测通道可经配置以收集并检测散射离开入射平面的光。因此，此检测通道通常可被称为“侧”通道，且此侧通道可居中于基本上垂直于入射平面的平面中。
尽管图1展示包含两个检测通道的成像子系统的实施例，但成像子系统可包含不同数目个检测通道(例如，仅一个检测通道或两个或更多个检测通道)。在一个此例子中，由集光器30、元件32及检测器34形成的检测通道可形成如上文描述的一个侧通道，且成像子系统可包含额外检测通道(未展示)作为定位在入射平面的相对侧上的另一侧通道。因此，成像子系统可包含检测通道，所述检测通道包含集光器24、元件26及检测器28且其居中于入射平面中且经配置以依处于或接近法向于样品表面的(若干)散射角收集并检测光。因此，此检测通道通常可被称为“顶部”通道，且成像子系统还可包含如上文描述那样配置的两个或更多个侧通道。因而，成像子系统可包含至少三个通道(即，一个顶部通道及两个侧通道)，且所述至少三个通道中的每一者具有其自身集光器，所述集光器中的每一者经配置以依不同于其它集光器中的每一者的散射角收集光。
如上文进一步描述，包含在成像子系统中的检测通道中的每一者可经配置以检测散射光。因此，图1中展示的成像子系统可经配置用于样品的暗场(DF)成像。然而，成像子系统还可或替代地包含经配置用于样品的明场(BF)成像的(若干)检测通道。换句话来说，成像子系统可包含经配置以检测从样品镜面反射的光的至少一个检测通道。因此，本文中描述的成像子系统可经配置用于仅DF、仅BF或DF及BF成像两者。尽管在图1中将集光器中的每一者展示为单折射光学元件，但应理解，集光器中的每一者可包含一或多个折射光学元件及/或一或多个反射光学元件。
一或多个检测器可包含光电倍增管(PMT)、电荷耦合装置(CCD)、延时积分(TDI)相机及所属领域中已知的任何其它适合检测器。检测器还可包含非成像检测器或成像检测器。如果检测器是非成像检测器，那么检测器中的每一者可经配置以检测散射光的某些特性(例如强度)，但可未经配置以检测依据成像平面内的位置而变化的此类特性。因而，由检测器中的每一者生成的输出可为信号或数据，而非图像信号或图像数据。在此类例子中，计算机子系统(例如计算机子系统36)可经配置以从检测器的非成像输出生成样品的图像。然而，在其它例子中，检测器可配置为经配置以生成成像信号或图像数据的成像检测器。因此，成像子系统可经配置以依若干方式生成本文中描述的图像。
应注意，本文中提供图1以大体上说明可包含在本文中描述的系统实施例中或可生成由本文中描述的系统实施例使用的图像的光学成像子系统的配置。显然，可更改本文中描述的光学成像子系统布置以如在设计商业成像系统时所通常执行那样优化子系统的性能。另外，可使用例如商业上可购自加利福尼亚州米尔皮塔斯市(Milpitas,Calif)KLA的29xx/28xx系列工具的现存系统(例如，通过将本文中描述的功能性添加到现存系统)来实施本文中描述的系统。对于一些此类系统，本文中描述的实施例可被提供为系统的任选功能性(例如，除系统的其它功能性以外)。替代地，可“从头开始”设计本文中描述的光学成像子系统以提供全新光学成像子系统。
计算机子系统36可以任何适合方式(例如，经由一或多个传输媒体，其可包含“有线”及/或“无线”传输媒体)耦合到成像子系统的检测器，使得计算机子系统可接收由检测器针对样品生成的输出。计算机子系统36可经配置以使用检测器的输出来执行本文中进一步描述的若干功能。
系统还可包含可不同或相同配置的多于一个计算机子系统(例如，图1中展示的计算机子系统36及(若干)计算机子系统102)。图1中展示的计算机子系统(以及本文中描述的其它计算机子系统)还可被称为(若干)计算机系统。(若干)计算机子系统或(若干)系统中的每一者可采取多种形式，包含个人计算机系统、图像计算机、主计算机系统、工作站、网络设备、因特网设备或其它装置。一般来说，术语“计算机系统”可经广泛定义以涵盖具有执行来自存储器媒体的指令的一或多个处理器的任何装置。(若干)计算机子系统或(若干)系统还可包含所属领域中已知的任何适合处理器(例如平行处理器)。另外，(若干)计算机子系统或(若干)系统可包含具有高速度处理及软件的计算机平台(作为独立工具或联网工具)。
如果系统包含多于一个计算机子系统，那么不同计算机子系统可彼此耦合，使得可在计算机子系统之间发送图像、数据、信息、指令等，如本文中进一步描述。举例来说，计算机子系统36可通过可包含所属领域中已知的任何适合有线及/或无线传输媒体的任何适合传输媒体耦合到(若干)计算机子系统102(如由图1中的虚线展示)。两个或更多个此类计算机子系统还可通过共享计算机可读存储媒体(未展示)而有效耦合。
尽管上文将成像子系统描述为光学或基于光的成像子系统，但在另一实施例中，成像子系统经配置为电子束检验子系统。举例来说，系统还可或替代地包含经配置以生成样品的电子束图像的电子束成像子系统。电子束成像子系统可经配置以将电子引导到样品或使电子扫描遍及样品且检测来自样品的电子。在图1a中展示的一个此类实施例中，电子束成像子系统包含耦合到计算机子系统124的电子柱122。
还如图1a中展示，电子柱包含电子束源126，所述电子束源126经配置以生成由一或多个元件130聚焦到样品128的电子。电子束源可包含(举例来说)阴极源或射极尖端，且一或多个元件130可包含(举例来说)枪透镜、阳极、束限制孔隙、闸阀、束电流选择孔隙、物镜及扫描子系统，其全部可包含所属领域中已知的任何此类适合元件。
从样品返回的电子(例如，二次电子)可由一或多个元件132聚焦到检测器134。一或多个元件132可包含(举例来说)扫描子系统，所述扫描子系统可为包含于(若干)元件130中的相同扫描子系统。
电子柱可包含所属领域中已知的任何其它适合元件。另外，电子柱可如以下专利中描述那样进一步配置：2014年4月4日颁予蒋(Jiang)等人的第8,664,594号美国专利、2014年4月8日颁予小岛(Kojima)等人的第8,692,204号美国专利、2014年4月15日颁予固本(Gubbens)等人的第8,698,093号美国专利及2014年5月6日颁予麦克唐纳(MacDonald)等人的第8,716,662号美国专利，所述案宛如完整陈述那样以引用的方式并入本文中。
尽管电子柱在图1a中被展示为经配置使得电子依一倾斜入射角引导到样品且依另一倾斜角从样品散射，但应理解，电子束可依任何适合角度引导到样品且从样品散射。另外，如本文中进一步描述，电子束成像子系统可经配置以使用多种模式来生成样品的图像(例如，运用不同照射角度、收集角度等)。电子束成像子系统的多种模式可在电子束成像子系统的任何图像生成参数方面不同。
计算机子系统124可耦合到检测器134，如上文中描述。检测器可检测从样品的表面返回的电子，借此形成样品的电子束图像。电子束图像可包含任何适合电子束图像。计算机子系统124可经配置以针对样品使用由检测器134生成的输出执行本文中进一步描述的一或多个功能。计算机子系统124可经配置以执行本文中描述的(若干)任何额外步骤。可如本文中描述那样进一步配置包含图1a中展示的电子束成像子系统的系统。
应注意，本文中提供图1a以大体上说明可包含于本文中描述的实施例中的电子束成像子系统的配置。如同上文描述的光学成像子系统，可更改本文中描述的电子束成像子系统以如在设计商业成像子系统时所通常执行那样优化成像子系统的性能。另外，可使用例如商业上可购自KLA的工具的现存系统(例如，通过将本文中描述的功能性添加到现存系统)实施本文中描述的系统。对于一些此类系统，本文中描述的实施例可被提供为系统的任选功能性(例如，除系统的其它功能性以外)。替代地，可“从头开始”设计本文中描述的系统以提供全新系统。
尽管上文将成像子系统描述为光或电子束成像子系统，但成像子系统可为离子束成像子系统。可如图1a中展示那样配置此成像子系统，除电子束源可由所属领域中已知的任何适合离子束源取代外。另外，成像子系统可为任何其它适合离子束成像子系统，例如包含于市售聚焦离子束(FIB)系统、氦离子显微术(HIM)系统及二次离子质谱仪(SIMS)系统中的成像子系统。
如上所述，成像子系统可经配置用于将能量(例如，光、电子)引导到样品的物理版本及/或遍及样品的物理版本扫描能量，借此生成样品的物理版本的实际图像。以此方式，成像子系统可经配置为“实际”成像系统而非“虚拟”系统。然而，存储媒体(未展示)及1中展示的(若干)计算机子系统102可经配置为“虚拟”系统。特定来说，存储媒体及(若干)计算机子系统并非成像子系统10的部分且不具有用于处置样品的物理版本的任何能力但可经配置为使用所存储检测器输出来执行类似检验的功能的虚拟检验器。配置为“虚拟”检验系统的系统及方法描述于以下专利中：共同转让的2012年2月28日颁予巴斯卡尔(Bhaskar)等人的第8,126,255号美国专利、2015年12月29日颁予达菲(Duffy)等人的第9,222,895号美国专利及2017年11月14日颁予达菲(Duffy)等人的第9,816,939号美国专利，所述案宛如完整陈述那样以引用的方式并入本文中。可如这些专利中描述那样进一步配置本文中描述的实施例。举例来说，可如这些专利中描述那样进一步配置本文中描述的一或多个计算机子系统。
如上文进一步所述，成像子系统可经配置以用多种模式生成样品的图像。一般来说，可通过用于生成样品的图像的成像子系统的参数值或用来生成样品的图像的输出定义“模式”。因此，不同模式可在成像子系统的成像参数的至少一者的值方面不同。举例来说，在光学成像子系统中，不同模式可使用不同波长的光用于照明。如本文中进一步描述(例如，通过使用不同光源、不同光谱滤光器等)，对于不同模式，模式可在照明波长方面不同。在另一实施例中，不同模式使用成像子系统的不同照明通道。举例来说，如上所述，成像子系统可包含多于一个照明通道。因而，不同照明通道可用于不同模式。
本文中描述的成像子系统可经配置为检验子系统。如果如此，那么(若干)计算机子系统可经配置以从如上文描述的检验子系统(例如，从成像子系统的(若干)检测器)接收输出且可经配置以依任何适合方式基于输出检测样品上的缺陷。举例来说，(若干)计算机子系统可经配置以比较输出与一或多个阈值，超过所述一或多个阈值的任何输出可由(若干)计算机子系统识别为缺陷或潜在缺陷，且未超过所述一或多个阈值的任何输出可由(若干)计算机子系统识别为非缺陷或非潜在缺陷。然而，(若干)计算机子系统可经配置以使用(若干)任何适合算法及/或方法来基于输出检测样品上的缺陷。
在一个实施例中，成像系统是检验子系统。以此方式，本文中描述的系统可经配置为检验系统。然而，本文中描述的系统可经配置为另一类型的半导体相关过程/质量控制类型系统，例如缺陷检视系统及计量系统。举例来说，在本文中描述且在图1及1a中展示的成像子系统的实施例可在一或多个参数方面经修改以取决于将使用其的应用而提供不同成像能力。在一个实施例中，成像子系统经配置为电子束缺陷检视子系统。举例来说，如果图1a中展示的成像子系统将用于缺陷检视或计量而非用于检验，那么其可经配置以具有较高分辨率。换句话来说，图1及1a中展示的成像子系统的实施例描述成像子系统的一些一般及各种配置，可以所属领域的技术人员将明了的若干方式定制所述配置以产生具有或多或少适于不同应用的不同成像能力的成像子系统。
(若干)计算机子系统经配置用于执行用于训练缺陷分类器的主动学习。主动学习包含将采集函数应用于样品的数据点。采集函数基于与数据点相关联的不确定性估计而选择数据点中的一或多者。数据点可包含样品的多种不同数据，此取决于(举例来说)所选择的一或多个数据点将用来训练的缺陷分类器。举例来说，数据点可包含由检测器针对样品生成的原始输出及/或从原始输出确定的一些信息，例如可如本文中描述那样检测的检测事件(其中“检测事件”被定义为在样品上检测为潜在缺陷(其可如本文中进一步描述那样分为实际缺陷及DOI及扰乱或“扰乱事件”)的任何事件)、对应于检测事件的输出的一或多个特性(例如，强度值)、从原始输出确定的检测事件的一或多个特性(例如，大小、形状等)。可以所属领域中已知的任何适合方式确定从原始输出确定的信息。
采集函数在应用步骤中所应用于的数据点还可包含一或多个样品的数据点。举例来说，如本文中描述，实施例对于发现新缺陷类型及对于运用相对较少缺陷或DOI实例执行步骤特别有用。然而，当样品类型上的缺陷密度基本上为低时，相同类型的多个样品的数据点可由本文中描述的实施例使用以获得甚至所需的相对较小数目个实例及/或简单地增加可用数据点。以此方式，可改进本文中描述的实施例将能够生成用于低缺陷密度案例的适合缺陷分类器的可能性。
如图2中展示，在一个实施例中，可将数据点200输入到采集函数202。在过程开始时(在第一迭代的第一步骤中)，数据点200可被认为是初始数据，可将本文中描述的一或多个步骤的结果添加到所述初始数据以借此生成包含至少一些标记数据点的数据集。在一个实施例中，样品的数据点由未标记数据点组成。举例来说，初始数据可不包含标准真值(ground truth)数据(其中“标准真值数据”大体上被定义为已通过“标准真值”方法(例如使用能够解析缺陷的图像及/或例如手动缺陷分类的用户提供信息的缺陷检视工具执行的缺陷检视过程)生成的数据)。在另一实施例中，样品的数据点包含针对任一缺陷类型及未标记数据的少于十个标准真值数据点的组合。举例来说，初始数据可包含多于一个缺陷数据点。在一个特定实例中，数据点可包含仅任一缺陷类型的1或2个标记实例，可能具有多个缺陷类型的1或2个标记实例(例如，1或2个桥接缺陷、1或2个微粒缺陷、1或2个3D嵌入式缺陷等等)。以此方式，工作流程可从(1)无标准真值数据(即，未标记数据池)或(2)任选地与未标记数据池组合的一些(＞1)标准真值数据开始。
图2中展示的适应性发现循环的目标是基于当前“已知”数据动态地决定(若干)待验证候选者，此可如本文中进一步描述那样执行。举例来说，如图2中展示，使用采集函数202来决定接着发送至标记204的一批未知候选者，此可由待验证的验证者执行。标记可包含本文中描述的标准真值方法的一或多者。
在一个实施例中，采集函数经配置以选择具有最高不确定性是任何已知缺陷类型的数据点中的一或多者。举例来说，采集函数可经配置以选择具有最高不确定性是任何已知缺陷类型的数据点，使得可发送那些数据点用于验证(标记)，如本文中进一步描述。通过选择最高不确定性数据点用于验证或标记且接着使用那些标记数据点用于如本文中描述的缺陷分类器训练，所得经训练缺陷分类器将具有针对其经配置用于的功能的较佳性能(即，通过选择且接着验证最高不确定性数据点且接着运用那些标记数据点训练缺陷分类器，可输入到缺陷分类器的数据点的不确定性可基本上从缺陷分类器“训练出来”，借此致使其能够对那些先前不确定数据点正确地分类)。取决于本文中描述的实施例中使用的采集函数的类型，采集函数可经配置以选择具有任何已知缺陷类型的最高不确定性的数据点，如本文中进一步描述。
在一些实施例中，采集函数被定义为适应性取样方法，库尔卡尼(Kulkarni)等人的第9,098,891号美国专利中描述其的一些适合实例，所述案宛如完整陈述那样以引用的方式并入本文中。可如此专利中描述那样进一步配置本文中描述的实施例。本文中描述的实施例可建立基于(机器)学习的方法以呈现能够对具有较高程序变异的较小设计规则进行适应性取样的基于原始规则的方法。净结果是跨多个设计规则的较佳普遍性及较高过程变异(例如，噪声)下的较高取样效率。取样可以任何其它适合方式为适应性的(例如，其可取决于初始数据点(或其确定特性)而非一些预定规则而变化，其可取决于由于标记204产生的标记而变化等)。
机器学习可大体上被定义为一类型的人工智能(AI)，其向计算机提供在未明确编程的情况下学习的能力。机器学习专注于计算机程序的开发，所述计算机程序可教示其自身在曝露于新数据时成长并改变。换句话来说，机器学习可被定义为“给予计算机在未明确编程的情况下学习的能力”的计算机科学的子领域。机器学习探索可从数据学习且对数据进行预测的算法的研究及建构，此类算法通过通过从样本输入建置模型进行数据驱动预测或决策而克服以下严格静态程序指令。
本文中描述的实施例还可对深度学习/机器学习训练数据集执行适应性标记。在一个实例中，实施例运用深度学习分类/检测模型实现实时图像标记(即，以半导体图像的像素级精确度标记缺陷)。此解决方案实现针对新样品或新设计规则的较快速配方形成时间，此降低配方设置成本且实现实验的相对较快速设计且增加工具的价值。
在一个实施例中，采集函数被定义为无监督取样方法。举例来说，定义采集函数的一些可能方法是随机(或加权随机)取样及相异度取样。可以所属领域中已知的任何适合方式执行随机(或加权随机)取样。相异度取样可包含选择以某种方式最相异(最不同)(例如，在数据点的特性方面最相异，其可包含数据点的任何适合特性)的两个或更多个数据点。无监督取样方法可为无监督的，这是因为被取样的数据点未被标记及/或未基于可用于被取样的数据点的任何标记执行取样。
在另一实施例中，采集函数被定义为监督取样方法。举例来说，定义采集函数的一些可能方法包含监督方法，例如随机森林、最近相邻者、支援向量机(SVM)等。可以所属领域中已知的任何适合方式执行此类监督方法。在额外实施例中，采集函数被定义为半监督取样方法。在另一实施例中，采集函数被定义为监督取样方法及无监督取样方法的组合。举例来说，采集函数可被定义为半监督或组合方法，其可包含以所属领域中已知的任何适合方式执行的所属领域中的已知的任何此适合方法。
在一个实施例中，采集函数被定义为基于最大熵的取样方法。举例来说，定义采集函数的一个可能方法是不确定性取样，例如最大熵。以此方式，采集函数可经由熵实施。最大熵可包含评估任何数据集(例如本文中描述的数据点集)的若干不同概率分布以发现具有最大熵(最大不确定性)的概率分布。概率分布可包含任何适合概率分布，且可以所属领域中已知的任何适合方式执行最大熵。基于最大熵的取样可包含基于具有最大熵的概率分布对数据点进行取样。
在另一实施例中，采集函数被定义为基于贝叶斯主动学习的取样方法。举例来说，采集函数可被定义为贝叶斯方法。用于定义采集函数的一个可能方法是不一致贝叶斯主动学习(BALD)。侯尔斯比(Houlsby)等人的“用于分类及偏好学习的贝叶斯主动学习(Bayesian Active Learning for Classification and Preference Learning)”，arXiv:1112.5745,2011年中描述可用于定义本文中描述的实施例中使用的采集函数的BALD的一些实例，所述案宛如完整陈述那样以引用的方式并入本文中。以此方式，采集函数可经由BALD实施。
在一些实施例中，采集函数被定义为误差减小方法。举例来说，用于定义采集函数的一个可能方法是通过误差减小，例如期望误差减小、最大误差减小及组合误差减小。误差减小通常涉及选取最大化总预测标记熵的减小的数据点。期望误差减小通常涉及估计泛化误差可能减小的程度，此可能涉及估计模型(使用标记数据集训练)在应用于未标记数据集时的期望未来误差，及发现具有最小期望未来误差损失的例子。可如郭(Guo)等人的“使用交互信息的积极主动学习(Optimistic active learning using mutual information)”，IJCAI’07第20届国际人工智能联合会议论文集(IJCAI’07Proceedings of the 20thInternational Joint Conference on Artificial Intelligence)，第823页到第829页，印度海得拉巴(Hyderabad，India)，2007年1月6日到12日中描述那样执行最大误差减小，所述案宛如完整陈述那样以引用的方式并入本文中。可如郭(Guo)等人的“区分批处理模式主动学习(Discriminative Batch Mode Active Learning)”，NIPS’07第20届神经信息处理系统国际会议论文集(NIPS’07Proceedings of the 20th International Conference onNeural Information Processing Systems)，第593页到第600页，2007年12月3日到6日及格兰德瓦利特(Grandvalet)等人的“熵最小化的半监督学习(Semi-supervised Learningby Entropy Minimization)”，神经信息处理系统的进展(Advances in neuralinformation processing systems)，2004年9月16日，第529页到第553页中描述那样执行组合误差减小，所述案宛如完整陈述那样以引用的方式并入本文中。还可以所属领域中已知的任何其它适合方式执行误差减小方法。
在另一实施例中，采集函数被定义为变异减小方法。举例来说，用于定义采集函数的一个可能方法是通过变异减小，例如费雪信息及期望变异数减小。以此方式，采集函数可经由变异减小实施。在统计学中，费雪信息是用于测量可观察随机变量关于建模变量的分布的未知参数载送的信息量的方法。费雪信息是分数的变异数或所观察信息的期望值。关于费雪信息的更多信息可见于李(Ly)等人的“费雪信息教程(A Tutorial on FisherInformation)”，arXiv:1705.01064v2，2017年10月17日，59页中，所述案宛如完整陈述那样以引用的方式并入本文中。可如此参考中描述那样进一步配置本文中描述的实施例。可如沙因(Schein)等人的“主动学习逻辑回归：一项评估(Active Learning for LogisticRegression:An Evaluation)”，机器学习(Machine Learning)，第68卷，第3期，2007年10月，第235页到第265页中描述那样执行期望变异数减小，所述案宛如完整陈述那样以引用的方式并入本文中。可如此参考中描述那样进一步配置本文中描述的实施例。还可以所属领域中已知的任何其它适合方式执行变异减小方法。
在一些实施例中，采集函数被定义为深度学习模型。举例来说，贝叶斯模型支持深度神经网络(包含卷积神经网络(CNN)、递归神经网络(RNN)、长短期存储器(LSTM)(其是深度学习领域中使用的人工RNN架构，其不同于标准前馈神经网络而具有反馈连接)、生成对抗网络(GAN)(其是包含互相竞争的两个网络的深度神经网络架构)、深度生成模型等)。深度神经网络可具有所属领域中已知的任何适合配置。
神经网络可大体上被定义为计算方法，其基于松散地建模生物大脑运用通过轴突连接的相对较大生物神经元群集解决问题的方式的相对较大神经单元集合。神经网络通常由多个层组成，且信号路径从前部横穿到背部。每一神经单元与许多其它神经单元连接，且链接在其对连接神经单元的启动状态的影响上可为强制或抑制的。这些系统为自学习并训练而非明确编程且在其中在传统计算机程序中难以表达解决方案或特征检测的区域中表现优异。
在额外实施例中，采集函数被定义为机器学习模型。举例来说，贝叶斯模型支持机器学习模型(包含树、随机森林、支持向量机(SVM)等)。贝叶斯模型还支持上述模型的组合(尤其级联模型、整体模型、增强模型等)。这些机器学习模型可具有所属领域中已知的任何适合配置。
实施例还可在相同系统中使用多个不同采集函数，且采集函数中的每一者可涉及多个贝叶斯深度学习/机器学习模型或(非贝叶斯)生成深度学习/机器学习模型。
“生成”模型可大体上被定义为本质上概率性的模型。换句话来说，“生成”模型并非执行正向模拟或基于规则的方法的模型。代替地，如本文中进一步描述，可基于适合训练数据集学习生成模型(其中可学习其参数)。生成模型可经配置以具有深度学习架构，其中所述生成模型可包含执行若干算法或变换的多个层。包含于生成模型中的层数可为使用情况相依的。出于实践目的，层的适合范围从2层到几十层。
在另一实施例中，应用采集函数包含通过使用贝叶斯学习模型评估一或多个概率分布而估计采集函数。在一个此实施例中，贝叶斯学习模型是贝叶斯深度学习模型。在另一此实施例中，贝叶斯学习模型是贝叶斯机器学习模型。举例来说，可利用贝叶斯深度学习/机器学习模型来评估采集函数(以计算有关涉及模型后验的概率分布的期望值)。另外，采集函数的估计可包含使用贝叶斯深度学习或贝叶斯机器学习模型来评估以下概率分布的一或多者。以此方式，实施例可包含估计有关未标记数据的预测不确定性的贝叶斯模型。可由常态分布、伯努利分布等表达不确定性。贝叶斯深度学习或机器学习模型还可具有所属领域中已知的任何其它适合配置。
在另一此实施例中，一或多个概率分布包含由成像子系统生成的图像中的一或多者的样本概率的无监督估计。举例来说，一或多个概率分布可包含样本概率p(X)的无监督估计，其中X是经由变分自动编码器(VAE)、像素卷积神经网络(PixelCNN)、像素递归神经网络(PixelRNN)、实值非体积保持(RealNVP)变换或“Glow”的输入图像。
VAE经配置用于从输入重建输出且包含分别对数据进行编码及解码的编码器及解码器。编码器生成输出数据的压缩表示而解码器学习使用压缩表示作为输入来重建初始输入数据。可使用VAE的解码器部分作为能够生成特定特征的生成模型。关于VAE之额外信息可见于多施(Doersch)的“可变自动编码器教程(Tutorial on VariationalAutoencoders)”，arXiv:1606.05908，2016年8月13日，23页中，所述案宛如完整陈述那样以引用的方式并入本文中。可如此参考中描述那样进一步配置本文中描述的实施例。
PixelCNN是架构，其为遍及层保持其输入的空间分辨率且在每一位置处输出条件分布的层的完全卷积网络。PixelRNN包含快速LSTM层，所述快速LSTM层在其状态下使用LSTM单元且采用卷积以同时计算沿数据的空间维度中的一者的全部状态。可用于本文中描述的实施例中的PixelCNN及PixelRNN的实例包含于范登奥德(van den Oord)等人的“像素递归神经网络(Pixel Recurrent Neural Networks)”，arXiv:1601.06759，2016年8月19日，11页，所述案宛如完整陈述那样以引用的方式并入本文中。可用于本文中描述的实施例中的RealNVP变换的实例在丁赫(Dinh)等人的“使用实际NVP进行密度估计(DensityEstimation Using Real NVP)”，arXiv:1605.08803中描述，所述案宛如完整陈述那样以引用的方式并入本文中。可用于本文中描述的实施例中的Glow的实例在金马(Kingma)等人的“发光：具有可逆1x1卷积的生成流(Glow:Generative Flow with Invertible 1x1Convolutions)”，NeuroIPS 2018，arXiv:1807.03039，2018年7月10日，15页中描述，所述案宛如完整陈述那样以引用的方式并入本文中。
在另一此实施例中，一或多个概率分布包含模型后验的监督或半监督估计及其导出的不确定性分布。举例来说，一或多个概率分布可包含模型后验p(w|D)的监督或半监督估计及其导出的不确定性分布，其中w是模型参数，D是用于监督方法的标记数据集，且D是用于半监督情况的标记及未标记数据集。此估计可基于例如盖尔(Gal)等人的“丢弃作为贝叶斯近似：表示深度学习中的模型不确定性(Dropout as a Bayesian Approximation:Representing Model Uncertainty in Deep Learning)”，arXiv:1506.02142中描述的随机丢弃来执行，所述案宛如完整陈述那样以引用的方式并入本文中。此估计还可基于例如麦凯(MacKay)的“反向传播网络的实用贝叶斯框架(A Practical Bayesian Frameworkfor Backpropagation Networks)”，神经计算(Neural Computation)，4(3)，第448页到第472页，1992年及尼尔(Neal)的“贝叶斯神经网络学习(Bayesian Learning for NeuralNetworks)”，计算机科学系博士论文(Ph.D.Thesis,Dept.of Computer Science)，多伦多大学，1994年中描述的贝叶斯神经网络来执行，所述案宛如完整陈述那样以引用的方式并入本文中。另外，可基于例如贝叶斯CNN的变分推理来执行此估计，贝叶斯CNN的适合实例在什里达尔(Shridhar)等人的“具有变分推理的贝叶斯卷积神经网络(BayesianConvolutional Neural Networks with Variational Inference)”，arXiv:1806.05978，2018年11月14日，8页中描述，所述案宛如完整陈述那样以引用的方式并入本文中。此外，此估计可基于可以所属领域中已知的任何适合方式执行的马尔可夫链蒙地卡罗(MCMC)来执行。上文描述的方法可搭配深度学习模型(例如，CNN)及机器学习模型(例如，随机森林、SVM)使用以执行上文描述的不确定性取样、误差减小取样及变异减小取样以执行采集步骤。
一般来说，主动学习可被视为涉及一个机器人及一个教示者，其中机器人通过从当前最少信息区(CLIR)向教示者传导式查询样本而执行半监督学习。此方案可通过将机器人定义为“智能型”检测/分类算法且将教示者定义为检视工具或另一标准真值方法或系统而应用于缺陷取样。实施主动学习方案可能因如何针对监督学习算法(尤其深度学习)定义CLIR而产生困难。
本文中描述的实施例并入有贝叶斯概念以用于识别CLIR。这些解决方案往往以模型后验p(ω|D)的估计开始且接着可由以下方程式计算模型预测的期望值：
E[y|x,ω]＝∫p(y|x,ω)p(ω|D)dω。
深度神经网络的模型后验的估计通常被认为是棘手的。粗略估计模型后验的实际方法包含模型整体、随机丢弃、变分推理、MCMC等。
图3说明可针对贝叶斯深度学习(BDL)及主动发现执行的步骤的一个实施例。在此实施例中，使用BDL来估计CLIR。此架构采用模型整体及随机丢弃概念两者以近似表示有关隐式学习的模型后验的模型预测的期望值。此图呈现单个BDL采集迭代的工作流程，其包含以下步骤。以基本上有限标记数据(例如，有限数据点300)开始，(若干)计算机子系统训练一或多个模型(包含深度神经网络的任何模型)，此允许预测生成不确定性估计。有限数据点可包含(举例来说)仅1或2个DOI实例(总计或每一缺陷类别)。举例来说，如图3中展示，可将有限数据点300输入到训练1 302、训练2 304、训练4 306、…、训练k 308。这些训练可包含多个独立训练。可以所属领域中已知的任何适合方式执行训练。
通过在引导时并入任何无监督取样或检测算法，BDL还可用于其中完全不存在标记数据的情境中。一旦识别到几个(至少一个)缺陷，BDL就可开始增强缺陷取样及模型学习。
任选地，(若干)计算机子系统可从数据池310生成未标记数据的子池(sub-pool)312。可使用不同方法(例如随机取样、相异度取样、无监督算法(例如，自动编码器及其变体、GAN等)及离群点检测算法)来生成数据的子池。接着，(若干)计算机子系统可对数据的子池应用(若干)模型。举例来说，如图3中展示，可将数据的子池312输入到预测1 314、预测2 316、预测3 318、…、预测k 320。可通过对子池数据集运行每一模型的推理而执行这些预测。
可运用随机丢弃来执行推理以估计CLIR，即，采集得分322。还可应用变分推理及MCMC。通常通过信息论中的不确定性定义(例如熵)经由下式：
H[y|x,D]＝-Σcp(y＝c|x,D)log p(y＝c|x,D)，
或通过更高级度量(例如BALD)经由下式量化CLIR：
I[y|x,D]＝H[y|x,D]-Ep(ω|D)[H[y|x,ω]]。
直观地，这些度量希望识别位于当前决策边界(即，模糊数据点)或不具有数据支持(即，看不见)的区域上的数据点。
因此，本文中描述的实施例可针对多个模型执行训练及推理。多个模型还可被称为“模型整体”，即，计算跨多个模型的预测的整体期望值。相对较小数目的(深度学习)模型的整体可合理地近似表示模型后验，这是因为损失景观上的障碍可忽略。此方法的优势包含(a)其允许使用不同模型，(b)其在模型数目变得无限或模型分布遵循模型后验时提供渐近正确结构，及(c)其还针对工具的计算模型及成本要求提供调适模型选择的自由。
不同贝叶斯模型可用于相同采集函数中。举例来说，在图3中，存在多个垂直分支以说明(可能)不同模型上的多个训练。分支中的每一者可为不同模型，分支中的每一者可为相同模型，或一些分支可为不同模型且其它分支可为相同模型。而相同分支中的训练及推理将共享相同模型，即，训练1及预测1中使用的模型应为相同；训练1(预测1)中使用的模型可能不同于训练2(预测2)中使用的模型等等。
(若干)计算机子系统还计算采集函数(例如，BALD)以识别具有最高不确定性的数据点。对于贝叶斯模型估计预测不确定性，其可估计模型概率p(w|x)的后验。此可由变分推理、MCMC、MC丢弃等执行。存在采集函数并入数据不确定性及模型不确定性两者的数个选择。举例来说，深度学习可使用设计上下文、检验到设计对准、及/或噪声分割来处置数据不确定性。在一个此实例中，可使用深度学习估计的不确定性来执行设计空间噪声分割或生成关照区域。可使用本文中在于2010年3月9日发布的库尔卡尼(Kulkarni)等人的第7,676,077号美国专利及于2011年1月25日发布的达菲(Duffy)等人的第7,877,722号美国专利中描述的系统及方法中所描述的深度学习估计的不确定性来执行设计空间噪声分割及生成关照区域，所述案宛如完整陈述那样以引用的方式并入本文中。可如这些专利中描述那样进一步配置本文中描述的实施例。另外，深度学习可经由模型平均化(模型整体)及/或MC丢弃(即，随机评估)来处置模型不确定性。
计算采集函数可生成采集得分322。在此实施例中，应用跨多个模型或多个例子的集体模型不确定性以导出/计算采集函数(例如，BDL)。(若干)计算机子系统可进一步从成像工具获取经识别为具有最高不确定性的数据点的标记。接着，可将下一样本324添加到有限数据点300，如本文中进一步描述。以此方式，(若干)计算机子系统可计算采集得分并决定下一批样本。实施例还可执行缺陷检视(例如，SEM检视)，将缺陷检视结果汇总到训练数据集，且从池移除缺陷经检视样本。图3中展示的方法可被视为半监督学习及主动学习。
主动学习还包含获取所选择的一或多个数据点的标记。在一个实施例中，获取标记包含使用标准真值方法对所选择的一或多个数据点进行分类。举例来说，可将由采集函数选择的未知候选者发送到图2中展示的标记204，所述标记204可由验证者(例如获取选择候选者的缺陷类型的检视或检验工具)执行。另外，可通过检视或检验工具(经由光学、扫描电子显微镜(SEM)或其它手段)通过客户数据库验证并标记所选择的未标记候选者以从手动指派标记的用户或任何其它适合标准真值方法或系统获取缺陷标记。在一个此实施例中，获取标记包含通过人类输入(例如，人际互动及/或标记)对所选择的一或多个数据点进行分类。可以所属领域中已知的任何适合方式实现人际互动及/或标记。
在另一实施例中，获取标记包含通过众包(crowd sourcing)方法对所选择的一或多个数据点进行分类。本文中描述的实施例的上下文中的“众包”大体上被定义为方法，其中从相对较大、稍微开放且可能演变的参与者群组获取标记，借此在参与者之间划分工作以实现积累结果。另外可以所属领域中已知的任何适合方式执行众包。
在另一实施例中，获取标记包含通过物理模拟对所选择的一或多个数据点进行分类。如本文中使用的术语“物理模拟”是指对应于数据点的事件(缺陷或潜在缺陷)将对样品或样品上或与样品一起形成的装置的物理(包含电气及/或材料)特性的一或多者具有的影响的模拟。接着，可使用物理模拟的结果来确定任何选择数据点的适当标记(例如，缺陷、缺陷类型、扰乱、扰乱类型等)。可使用可用于生成模拟样品的凭经验训练的过程模型(例如在商业上可购自北卡罗莱纳州卡里(Cary)的Coventor,Inc.的SEMulator 3D)来执行物理模拟。以此方式，可执行物理模拟以模拟针对其生成数据点的样品在样品空间中将呈现的样子(不一定是此样品对于成像系统而言将呈现的样子)。因此，物理模拟可生成样品的模拟表示，其表示样品在样品的2D或3D空间中将呈现的样子。
因此，缺陷类型信息可为此步骤中获取的标记。可通过标记204产生图2中展示的标记206。标记可具有所属领域中已知的任何适合格式。
主动学习进一步包含生成包含所选择的一或多个数据点及所获取标记的标记数据集。生成标记数据集可包含生成新的标记数据集，其不同于从其选择数据点的数据集。替代地，生成标记数据集可包含将(若干)选择数据点及其相关联标记添加到从其选择数据点的数据集。生成的标记数据集可具有所属领域中已知的任何适合格式。
在一个实施例中，主动学习包含重复至少一次包含应用、获取及生成步骤的步骤序列，且步骤序列中执行的生成步骤包含将针对步骤序列中执行的应用步骤中所选择的一或多个数据点获取的标记附加到标记数据集。举例来说，如图2中展示，可将标记206发送回到数据点200以借此将标记附加到数据集，在此之后可重复图2中展示的步骤。以此方式，将新的标记数据附加到初始数据且循环可根据需要继续。因而，当针对不同应用步骤中选择的不同数据点获取标记时，可通过将标记及其数据点重复添加到初始数据集或在第一迭代之后形成的数据集而将标记及其数据点积累于单个数据集中。可以若干方式(例如最大预定数目次迭代(其可从实际性观点建立)、标记数据点的所要预定特性(例如某些(或全部)DOI类型的预定最小数目个实例)、通过基于本文中描述的步骤的任一者的结果的用户反馈、采集得分本身或采集得分的性质(例如运行间采集得分的变化)、或其一些组合)限制由本文中描述的实施例执行的循环中的步骤的迭代次数。
(若干)计算机子系统还经配置用于使用标记数据集来训练缺陷分类器。缺陷分类器经配置用于使用通过成像子系统生成的图像对样品上检测到的缺陷进行分类。可以所属领域中已知的任何适合方式(例如，通过将数据点输入到缺陷分类器中且修改缺陷分类器的一或多个参数，直到缺陷分类器针对输入数据点的输出匹配针对数据点获取的标记)执行使用标记数据集训练缺陷分类器。缺陷分类器可包含本文中描述的缺陷分类器的任一者。
在一个实施例中，缺陷分类器经配置为扰乱事件过滤器(NEF)。NEF可简单地经配置以将扰乱事件与任何其它类型的事件分离，借此产生可包含多个缺陷类型的缺陷集。接着，可将NEF过滤器的输出输入到对非扰乱事件进行分类的缺陷分类器及/或可使用NEF过滤器的输出作为检验结果。NEF可具有所属领域中已知的任何适合配置。以此方式，本文中描述的实施例可经配置用于NEF训练。通过组合深度学习及主动学习的优点，本文中描述的实施例可为不同工具设置下的NEF训练提供系统解决方案。
在一些实施例中，缺陷分类器经配置为缺陷检测器。在此情况中，缺陷分类器可基本上充当经检测事件分类器，其中其可将通过缺陷检测方法及/或算法检测到的任何事件分类(且因此检测)为缺陷或扰乱。经配置为缺陷检测器的缺陷分类器还可执行缺陷分类及扰乱过滤，如本文中进一步描述。还可执行缺陷检测且是基于机器学习的缺陷分类器的一些实例在于2019年3月7日公开的何(He)等人的第2019/0073568号美国专利申请公开案中描述，所述案宛如完整陈述那样以引用的方式并入本文中。基于机器学习的缺陷检测器的一些实例在于2019年1月22日发布的卡尔桑迪(Karsenti)等人的第10,186,026号美国专利中描述，所述案宛如完整陈述那样以引用的方式并入本文中。本文中描述的实施例可如这些参考中描述那样进一步配置。缺陷检测器还可为非机器学习缺陷检测器。
在另一实施例中，缺陷分类器经配置为自动缺陷分类器。自动缺陷分类器可具有所属领域中已知的任何适合配置及格式。另外，自动缺陷分类器可包含机器学习缺陷分类器或非机器学习缺陷分类器两者。本文中描述的其它缺陷分类器还可为自动缺陷分类器，其中一旦其经设置并训练，其就可(在无用户输入的情况下)自动对缺陷进行分类。
在另一实施例中，缺陷分类器经配置为多类别分类器。举例来说，本文中描述的采集函数支持多类别分类。多类别分类器可具有所属领域中已知的任何适合配置。多类别分类器可将缺陷分成不同类别(因此多类别命名法)，其可包含像桥、微粒、缺失特征、划痕及类似物的不同类别。可以任何适合方式(简单地通过数字或用名称)识别或标记不同缺陷类别。多类别分类器还可将不同类型的DOI与扰乱分离。举例来说，多类别分类器可包含用于扰乱事件的分级，借此充当缺陷分类器及扰乱过滤器两者。
通过本文中描述的实施例训练的缺陷分类器可包含深度学习/机器学习缺陷分类器或任何其它类型的缺陷分类器。举例来说，缺陷分类器可为具有用于将经检测事件分成与不同缺陷类型相关联的不同分级(及可能扰乱分级)的适当切割线的简单确定树类型缺陷分类器。然而，缺陷分类器可具有例如在于2018年4月19日公开的张(Zhang)等人的第2018/0107928号美国专利申请公开案及在于2019年3月7日公开的何(He)等人的第2019/0073568号美国专利申请公开案中描述的深度学习/机器学习架构，所述案宛如完整陈述那样以引用的方式并入本文中。(若干)计算机子系统可经配置以训练如在于2017年7月6日公开的巴斯卡尔(Bhaskar)等人的第2017/0193400号美国专利申请公开案及在于2018年4月19日公开的张(Zhang)等人的第2018/0107928号美国专利申请公开案中描述的缺陷分类器，所述案宛如完整陈述那样以引用的方式并入本文中。可如此等公开案中描述那样进一步配置本文中描述的实施例。
在一些实施例中，采集函数经配置以选择具有最高概率是新缺陷类型的数据点中的一或多者。举例来说，可选择采集函数的参数，使得采集函数优先选择先前未见数据点(不同于类似样品的任何其它先前所见数据点的数据点，其中其具有先前未见的一或多个特性)(首先或更侧重地从其选择)、相对于整个数据点群体为离群点的数据点、在一或多个特性方面具有最大相异度的数据点等。以此方式，可增大采集函数选择对应于新缺陷类型的(若干)数据点的概率。换句话来说，采集函数可经配置用于缺陷发现。通过组合深度学习及主动学习的优点，本文中描述的实施例可为例如本文中进一步描述的不同工具设置下的缺陷发现提供系统解决方案。此外，本文中描述的实施例可应用于联合执行缺陷发现及NEF/缺陷分类器训练。
本文中描述的实施例可有利地减小检验工具的授权时间(TTE)，即，配方设置及优化时间。举例来说，鉴于“工作”检验配方，本文中描述的实施例可用于适应性地训练NEF。另外，可对第一样品执行缺陷发现。还可对初始少数样品执行模式选择。举例来说，可使用本文中描述的实施例作为决定哪一(些)成像模式及配方设置对于选择缺陷类型而言最佳的度量。特定来说，如果针对用不同成像参数及/或配方设置生成的不同数据集执行本文中描述的步骤，那么可使用本文中描述的实施例的结果来识别哪一成像参数及/或配方设置对于样品的检验而言较佳(例如，通过比较使用不同成像模式及/或配方设置发现或可检测哪些缺陷，此可能反映在针对由采集函数选择的数据点所获取的标记中，或通过比较由通过本文中描述的实施例训练的不同缺陷分类器所产生的结果，其中实施例可训练多个缺陷分类器，每一缺陷分类器用于输入到实施例的不同数据集中的每一者，多个缺陷分类器可包含相同缺陷分类器或不同类型的缺陷分类器，且结果是由经训练的缺陷分类器产生的每一类型的DOI的数目)。举例来说，可使用本文中描述的实施例来识别检测大多数类型的DOI及/或产生由(若干)经训练缺陷分类器正确分类的最大数目个DOI的成像模式及/或配方参数。本文中描述的实施例还可用于连续学习并监测几个(或多个)样品。实施例通过汇总标记缺陷且从每一样品收集未标记样本而允许针对多个样品的NEF学习及配方学习。
在另一实施例中，系统包含经配置以生成样品的额外图像的额外成像子系统，且(若干)计算机子系统经配置用于通过使用由成像子系统生成的图像及由额外成像子系统生成的额外图像来检测样品上的缺陷而执行混合检验。举例来说，混合检验器概念基本上在对单个样品执行的单个检验过程中组合不同工具。可由本文中描述的实施例执行混合检验，如在于2018年3月13日发布的巴斯卡尔(Bhaskar)等人的第9,916,965号美国专利及在于2015年12月29日发布的达菲(Duffy)等人的第9,222,895号美国专利及在于2019年3月25日申请的巴斯卡尔(Bhaskar)等人的共同转让的美国专利申请案序号16/364,140中描述，所述案宛如完整陈述那样以引用的方式并入本文中。可如此专利及专利申请案中描述那样进一步配置本文中描述的实施例。
半导体过程控制的一个实际挑战是趋向于不存在可识别全部故障缺陷类型的一个工具。然而，本文中描述的实施例提供一系统以利用来自其它不同工具(包含SEM、x射线工具等)(即，除检验工具以外的工具)的缺陷标准真值以执行缺陷发现及NEF训练以便实现自动化且稳健配方设置及调谐。另外，实施例可应用于仅单个检验工具或混合检验器(其组合两个或更多个检验工具)。通过组合深度学习及主动学习的优点，本文中描述的实施例可为不同工具设置下的缺陷发现及NEF训练提供系统解决方案。因此，本文中描述的实施例尤其可改进配方设置且从质量及时间成本度量两者调谐，此将潜在地通过实现更复杂且高级配方调谐而减小检验工具的所有权成本且增加混合工具的价值。另外，本文中描述的实施例提供路径以运用深度学习真实地实施混合检验器概念以联合利用电子束及光学检验工具，这是混合检验器蓝图的基础。还可在光学检验工具上且特别地在混合检验工具上直接实施本文中描述的实施例。
因此，本文中描述的实施例可将贝叶斯深度学习(BDL)架构及混合检验并入到单个系统或方法中。举例来说，BDL可在混合检验器上提供增强缺陷取样及适应性模型训练。另外，本文中描述的实施例可将主动学习概念并入到深度学习领域中：通过利用混合检验器概念(例如，实时电子束图像获取)，此工作建立系统方法论以破坏模型训练与数据发现之间的互相依赖性且提供用于从极其有限(或甚至无)标记数据点学习深度模型的一般解决方案。另外，将贝叶斯视角并入到本文中描述的实施例中提供用于管理与数据不足及群体不平衡相关联的风险的工具。由本发明者对平凡且真实的晶片数据集执行的实验已证实BDL在改进缺陷取样及分类器精确度方面的有效性。将BDL与混合检验组合还可解决例如BBP检验工具的高级检验工具的复杂配方设置及优化。
归因于本文中描述的统一系统算法解决方案，BDL对于减少检验与检视之间的手动迭代也是有效的。另外，归因于主动学习，BDL对于增强缺陷取样效率是有效的。此外，归因于深度学习，BDL对于改进NEF性能是有效的。还可使用BDL来进一步解决配方中的其它参数的优化，例如成像模式及关照区域优化。此外，本文中描述的实施例提供用于将深度学习方法论带入过程控制领域中的基础，此与自然图像处理应用相比是显著不同的。
BDL的另一可能独特应用是同时针对未见(新)层联合设置检验及检视工具。传统上，归因于每一工具的限制，此也是“鸡-蛋”问题。BDL实际上可通过应用核心主动学习概念而统一此互相依赖性。由于在基本上坚实理论基础上建立BDL，所以不难想象BDL可成为用于解决数个其它工具线上的联合取样及学习问题的有效工具。举例来说，尽管本文中明确来说关于检验或检验工具来描述一些实施例，但可使用本文中描述的实施例来解决其它工具线(例如计量工具、缺陷检视工具及类似物)上的联合取样及学习问题。
在一个此实施例中，成像及额外成像子系统中的一者经配置为光学成像子系统，且成像及额外成像子系统中的另一者经配置为电子束成像子系统。举例来说，成像子系统可为包含于例如BBP检验工具的检验工具中的光学成像子系统，且额外成像子系统可为可为基于电子束的另一检验及/或检视工具。可如本文中描述及1及1a中展示那样进一步配置成像及额外成像子系统。
本文中描述的实施例具有优于用于取样的先前使用系统及方法的若干优点。举例来说，本文中描述的实施例以若干不同方式具有优于任何当前使用解决方案的较佳性能。在一个此实例中，实施例可搭配基本上有限标记数据(例如，每一缺陷类别一个标记数据点)工作。本文中描述的实施例出于若干原因(例如其可使用贝叶斯方法，即，估计不确定性，快速引导学习过程且可渐近地快速收敛到最佳模型)特别适合搭配基本上有限数据集(例如，每一缺陷类别1或2个DOI)使用。在另一此实例中，本文中描述的实施例可对(若干)缺失缺陷类别有效且在迭代期间发现缺失缺陷类别。在额外此实例中，本文中描述的实施例可搭配任何模型(尤其深度神经网络)工作。在另一此实例中，本文中描述的实施例可估计NEF预测不确定性。预测不确定性的优势包含实现贝叶斯主动发现。贝叶斯方法实现更可靠地处理不足数据案例及缺失数据案例。预测不确定性的另一优势包含允许采集函数处理模糊数据及未见数据，如本文中进一步说明。本文中进一步描述本文中描述的实施例的优势的额外实例。
本文中描述的实施例可如盖尔(Gal)等人的“利用图像数据进行深度贝叶斯主动学习(Deep Bayesian Active Learning with Image Data)”，arXiv:1703.02910v1，2017年3月8日，10页中描述那样进一步配置，所述案宛如完整陈述那样以引用的方式并入本文中。
上文描述的系统中的每一者的实施例中的每一者可一起组合成一个单个的实施例。
另一实施例涉及一种用于执行用于训练缺陷分类器的主动学习的计算机实施方法。所述方法包含执行用于训练缺陷分类器的主动学习。主动学习包含上文描述的应用、获取及生成步骤。方法还包含上文描述的训练步骤。如本文中进一步描述那样配置缺陷分类器。执行主动学习及训练缺陷分类器由可如本文中进一步描述那样配置的一或多个计算机子系统执行。
可如本文中进一步描述那样执行方法的步骤中的每一者。方法还可包含本文中描述的(若干)任何其它步骤。可根据本文中描述的实施例的任一者(例如，(若干)计算机子系统102)配置(若干)计算机子系统。另外，可由本文中描述的系统实施例的任一者执行上文描述的方法。
额外实施例涉及一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在一或多个计算机系统上执行以执行用于执行用于训练缺陷分类器的主动学习的计算机实施方法。图4中展示一个此实施例。特定来说，如图4中展示，非暂时性计算机可读媒体400包含可在(若干)计算机系统404上执行的程序指令402。计算机实施方法可包含本文中描述的(若干)任何方法的(若干)任何步骤。
实施例如本文中描述的方法的方法的程序指令402可存储于计算机可读媒体400上。计算机可读媒体可是存储媒体，例如磁盘或光盘、磁带或所属领域中已知的任何其它适合非暂时性计算机可读媒体。
可以多种方式(包含基于程序的技术、基于组件的技术及/或面向对象技术等等)的任一者实施程序指令。举例来说，可视需要使用ActiveX控件、C++对象、JavaBeans、微软基础类别(“MFC”)、SSE(串流SIMD扩展)或其它技术或方法论实施程序指令。
可根据本文中描述的实施例中的任一者配置(若干)计算机系统404。
鉴于此描述，所属领域的技术人员将明白本发明的各个方面的另外修改及替代实施例。举例来说，提供用于执行用于训练缺陷分类器的主动学习的方法及系统。因此，将此描述解释为仅为说明性且是出于向所属领域的技术人员教示实行本发明的一般方式的目的。应理解，应将本文中展示且描述的本发明的形式视为目前优选实施例。都如所属领域的技术人员在受益于本发明的此描述之后将明白，元件及材料可替代本文中说明且描述的那些元件及材料，可颠倒部分及过程且可独立利用本发明的某些特征。可对本文中描述的元件做出改变而不脱离如以下权利要求书中所描述的本发明的精神及范围。
Claims (36)
1.一种经配置以执行用于训练缺陷分类器的主动学习的系统，其包括：
成像子系统，其包括至少一能量源及检测器，其中所述能量源经配置以生成被引导到样品的能量，且其中所述检测器经配置以检测来自所述样品的能量且响应于所检测的所述能量而生成图像；及
一或多个计算机子系统，其经配置用于执行用于训练缺陷分类器的主动学习，其中所述主动学习包括：
将采集函数应用于所述样品的数据点，其中所述采集函数基于与所述数据点相关联的不确定性估计而选择所述数据点中的一或多者，其中所述采集函数所应用于的所述样品的所述数据点包含针对任一缺陷类型及未标记数据的少于十个标准真值数据点的组合；
获取所选择的所述一或多个数据点的标记；及
生成包括所选择的所述一或多个数据点及所获取的所述标记的标记数据集；且
其中所述一或多个计算机子系统进一步经配置用于使用所述标记数据集来训练所述缺陷分类器，且其中所述缺陷分类器经配置用于使用由所述成像子系统生成的所述图像对所述样品上检测到的缺陷进行分类。
2.根据权利要求1所述的系统，其中所述主动学习进一步包括重复至少一次包括所述应用、所述获取及所述生成步骤的步骤序列，且其中所述步骤序列中执行的所述生成步骤包括将针对在所述步骤序列中执行的所述应用步骤中选择的所述一或多个数据点获取的所述标记附加到所述标记数据集。
3.根据权利要求1所述的系统，其中所述采集函数被定义为无监督取样方法。
4.根据权利要求1所述的系统，其中所述采集函数被定义为监督取样方法。
5.根据权利要求1所述的系统，其中所述采集函数被定义为半监督取样方法。
6.根据权利要求1所述的系统，其中所述采集函数被定义为监督及无监督取样方法的组合。
7.根据权利要求1所述的系统，其中所述采集函数被定义为基于最大熵的取样方法。
8.根据权利要求1所述的系统，其中所述采集函数被定义为基于贝叶斯主动学习的取样方法。
9.根据权利要求1所述的系统，其中所述采集函数被定义为误差减小方法。
10.根据权利要求1所述的系统，其中所述采集函数被定义为变异数减小方法。
11.根据权利要求1所述的系统，其中所述采集函数被定义为深度学习模型。
12.根据权利要求1所述的系统，其中所述采集函数被定义为机器学习模型。
13.根据权利要求1所述的系统，其中应用所述采集函数包括通过使用贝叶斯学习模型评估一或多个概率分布而估计所述采集函数。
14.根据权利要求13所述的系统，其中所述贝叶斯学习模型是贝叶斯深度学习模型。
15.根据权利要求13所述的系统，其中所述贝叶斯学习模型是贝叶斯机器学习模型。
16.根据权利要求13所述的系统，其中所述一或多个概率分布包括由所述成像子系统生成的所述图像中的一或多者的样本概率的无监督估计。
17.根据权利要求13所述的系统，其中所述一或多个概率分布包括模型后验的监督或半监督估计及其导出的不确定性分布。
18.根据权利要求1所述的系统，其中获取所述标记包括使用标准真值方法对所选择的所述一或多个数据点进行分类。
19.根据权利要求1所述的系统，其中获取所述标记包括通过人类输入对所选择的所述一或多个数据点进行分类。
20.根据权利要求1所述的系统，其中获取所述标记包括通过众包方法对所选择的所述一或多个数据点进行分类。
21.根据权利要求1所述的系统，其中获取所述标记包括通过物理模拟对所选择的所述一或多个数据点进行分类。
22.根据权利要求1所述的系统，其中所述缺陷分类器进一步经配置为扰乱事件过滤器。
23.根据权利要求1所述的系统，其中所述缺陷分类器进一步经配置为缺陷检测器。
24.根据权利要求1所述的系统，其中所述缺陷分类器进一步经配置为自动缺陷分类器。
25.根据权利要求1所述的系统，其中所述缺陷分类器进一步经配置为多类别分类器。
26.根据权利要求1所述的系统，其中所述采集函数经配置以选择具有最高概率是新缺陷类型的所述数据点中的所述一或多者。
27.根据权利要求1所述的系统，其中所述采集函数经配置以选择具有最高不确定性是任何已知缺陷类型的所述数据点中的所述一或多者。
28.根据权利要求1所述的系统，其中所述成像子系统经配置为光学检验子系统。
29.根据权利要求1所述的系统，其中所述成像子系统经配置为电子束检验子系统。
30.根据权利要求1所述的系统，其中所述成像子系统经配置为电子束缺陷检视子系统。
31.根据权利要求1所述的系统，其进一步包括经配置以生成所述样品的额外图像的额外成像子系统，其中所述一或多个计算机子系统进一步经配置用于通过使用由所述成像子系统生成的所述图像及由所述额外成像子系统生成的所述额外图像来检测所述样品上的缺陷而执行混合检验。
32.根据权利要求31所述的系统，其中所述成像子系统及所述额外成像子系统中的一者经配置为光学成像子系统，且其中所述成像子系统及所述额外成像子系统中的另一者经配置为电子束成像子系统。
33.根据权利要求1所述的系统，其中所述样品包括晶片。
34.根据权利要求1所述的系统，其中所述样品包括分划板。
35.一种非暂时性计算机可读媒体，其存储程序指令，所述程序指令可在一或多个计算机系统上执行，以执行用于执行用于训练缺陷分类器的主动学习的计算机实施方法，其中所述计算机实施方法包括：
执行用于训练缺陷分类器的主动学习，其中所述主动学习包括：
将采集函数应用于样品的数据点，其中所述采集函数基于与所述数据点相关联的不确定性估计而选择所述数据点中的一或多者，其中所述采集函数所应用于的所述样品的所述数据点包含针对任一缺陷类型及未标记数据的少于十个标准真值数据点的组合；
获取所选择的所述一或多个数据点的标记；及
生成包括所选择的所述一或多个数据点及所获取的所述标记的标记数据集；及
使用所述标记数据集来训练所述缺陷分类器，其中所述缺陷分类器经配置用于使用由成像子系统针对所述样品生成的图像对所述样品上检测到的缺陷进行分类。
36.一种用于执行用于训练缺陷分类器的主动学习的计算机实施方法，其包括：
执行用于训练缺陷分类器的主动学习，其中所述主动学习包括：
将采集函数应用于样品的数据点，其中所述采集函数基于与所述数据点相关联的不确定性估计而选择所述数据点中的一或多者，其中所述采集函数所应用于的所述样品的所述数据点包含针对任一缺陷类型及未标记数据的少于十个标准真值数据点的组合；
获取所选择的所述一或多个数据点的标记；及
生成包括所选择的所述一或多个数据点及所获取的所述标记的标记数据集；及
使用所述标记数据集来训练所述缺陷分类器，其中所述缺陷分类器经配置用于使用由成像子系统针对所述样品生成的图像对所述样品上检测到的缺陷进行分类，且
其中执行所述主动学习及训练所述缺陷分类器由一或多个计算机子系统执行。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862681073P | 2018-06-05 | 2018-06-05 | |
| US62/681,073 | 2018-06-05 | ||
| US16/424,431 US10713769B2 (en) | 2018-06-05 | 2019-05-28 | Active learning for defect classifier training |
| US16/424,431 | 2019-05-28 | ||
| PCT/US2019/035272 WO2019236506A1 (en) | 2018-06-05 | 2019-06-04 | Active learning for defect classifier training |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112219270A CN112219270A (zh) | 2021-01-12 |
| CN112219270B true CN112219270B (zh) | 2021-09-14 |
Family
ID=68693542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980037055.0A Active CN112219270B (zh) | 2018-06-05 | 2019-06-04 | 用于缺陷分类器训练的主动学习 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10713769B2 (zh) |
| KR (1) | KR102466582B1 (zh) |
| CN (1) | CN112219270B (zh) |
| TW (1) | TWI771591B (zh) |
| WO (1) | WO2019236506A1 (zh) |
Families Citing this family (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11397633B2 (en) * | 2017-01-26 | 2022-07-26 | Siemens Aktiengesellschaft | Unifying semi-supervised approach for machine condition monitoring and fault diagnosis |
| US11138507B2 (en) * | 2017-09-28 | 2021-10-05 | Applied Materials Israel Ltd. | System, method and computer program product for classifying a multiplicity of items |
| US10854486B2 (en) * | 2018-09-19 | 2020-12-01 | Kla Corporation | System and method for characterization of buried defects |
| US11430677B2 (en) * | 2018-10-30 | 2022-08-30 | Taiwan Semiconductor Manufacturing Co., Ltd. | Wafer taping apparatus and method |
| US10958532B2 (en) * | 2018-11-09 | 2021-03-23 | Servicenow, Inc. | Machine learning based discovery of software as a service |
| US10902238B2 (en) * | 2018-11-28 | 2021-01-26 | Toyota Research Institute, Inc. | Systems and methods for predicting semantics of a particle using semantic segmentation |
| US10762618B1 (en) * | 2019-02-14 | 2020-09-01 | United Microelectronics Corp. | Mask weak pattern recognition apparatus and mask weak pattern recognition method |
| US11551348B2 (en) | 2019-04-09 | 2023-01-10 | KLA Corp. | Learnable defect detection for semiconductor applications |
| DE102019208121A1 (de) * | 2019-06-04 | 2020-12-10 | Continental Automotive Gmbh | Aktive Datengenerierung unter Berücksichtigung von Unsicherheiten |
| JP7162134B2 (ja) * | 2019-06-13 | 2022-10-27 | 株式会社日立ハイテク | 画像処理プログラム、画像処理装置および画像処理方法 |
| US20210010953A1 (en) * | 2019-07-12 | 2021-01-14 | SVXR, Inc. | Methods and Systems for Defects Detection and Classification Using X-rays |
| US11042981B2 (en) * | 2019-07-12 | 2021-06-22 | SVXR, Inc. | Methods and systems for printed circuit board design based on automatic corrections |
| US11651492B2 (en) * | 2019-07-12 | 2023-05-16 | Bruker Nano, Inc. | Methods and systems for manufacturing printed circuit board based on x-ray inspection |
| US11663494B2 (en) | 2019-12-05 | 2023-05-30 | Uchicago Argonne, Llc | Systems and methods for hierarchical multi-objective optimization |
| US11922613B2 (en) * | 2019-12-30 | 2024-03-05 | Micron Technology, Inc. | Apparatuses and methods for determining wafer defects |
| US11256967B2 (en) * | 2020-01-27 | 2022-02-22 | Kla Corporation | Characterization system and method with guided defect discovery |
| US11651839B2 (en) | 2020-03-02 | 2023-05-16 | Uchicago Argonne, Llc | Systems and methods for generating phase diagrams for metastable material states |
| TWI798655B (zh) * | 2020-03-09 | 2023-04-11 | 美商奈米創尼克影像公司 | 缺陷偵測系統 |
| US20210295213A1 (en) * | 2020-03-23 | 2021-09-23 | Orbotech Ltd. | Adaptive learning for image classification |
| US11710038B2 (en) * | 2020-04-13 | 2023-07-25 | Uchicago Argonne, Llc | Systems and methods for active learning from sparse training data |
| US20230153582A1 (en) * | 2020-04-20 | 2023-05-18 | Asml Netherlands B.V. | Configuration of an imputer model |
| US10970645B1 (en) * | 2020-05-08 | 2021-04-06 | StradVision, Inc. | Method for explainable active learning, to be used for object detector, by using Bayesian dual autoencoder and active learning device using the same |
| JP7101920B2 (ja) * | 2020-05-15 | 2022-07-15 | 三菱電機株式会社 | 攻撃検知システム、攻撃検知方法および攻撃検知プログラム |
| CN115668286A (zh) * | 2020-05-22 | 2023-01-31 | 日本电产理德股份有限公司 | 训练自动缺陷分类的检测仪器的方法与系统 |
| TWI742710B (zh) * | 2020-06-05 | 2021-10-11 | 樂達創意科技股份有限公司 | 改良機器學習使用資料進行訓練的方法及系統 |
| US20230175981A1 (en) * | 2020-06-12 | 2023-06-08 | Hitachi High-Tech Corporation | Method for Defect Inspection, System, and Computer-Readable Medium |
| TWI747334B (zh) * | 2020-06-17 | 2021-11-21 | 王其宏 | 檢測數據詐欺裝置、方法、程式產品及電腦可讀取媒體 |
| CN113837209A (zh) * | 2020-06-23 | 2021-12-24 | 乐达创意科技股份有限公司 | 改良机器学习使用数据进行训练的方法及系统 |
| TW202217354A (zh) * | 2020-08-07 | 2022-05-01 | 美商Ｐｄｆ對策公司 | 測試結構與晶粒級回應的圖案增強的空間相關性 |
| US12008737B2 (en) | 2020-08-07 | 2024-06-11 | Nanotronics Imaging, Inc. | Deep learning model for noise reduction in low SNR imaging conditions |
| US11307150B2 (en) * | 2020-08-17 | 2022-04-19 | Applied Materials Israel Ltd. | Automatic optimization of an examination recipe |
| CN111932639B (zh) * | 2020-09-09 | 2020-12-18 | 苏州鼎纳自动化技术有限公司 | 一种基于卷积神经网络的不均衡缺陷样本的检测方法 |
| TWI748685B (zh) * | 2020-10-13 | 2021-12-01 | 中華電信股份有限公司 | 優化聯合物件偵測模型的方法及伺服器 |
| CN112666189A (zh) * | 2020-12-15 | 2021-04-16 | 河南九域恩湃电力技术有限公司 | 一种基于dr检测的耐张线夹检测装置及检测方法 |
| KR102545670B1 (ko) * | 2021-03-17 | 2023-06-20 | 전남대학교산학협력단 | 조건부 순환 생성적 적대 신경망을 활용한 질병의 진행 과정 이미지 생성 방법 및 그 장치 |
| CN113222031B (zh) * | 2021-05-19 | 2022-04-12 | 浙江大学 | 基于联邦个性化学习的光刻热区检测方法 |
| CN113033716B (zh) * | 2021-05-26 | 2021-09-21 | 南京航空航天大学 | 一种基于对抗融合众包标签的图像标记估计方法 |
| EP4102318A1 (en) * | 2021-06-10 | 2022-12-14 | Siemens Aktiengesellschaft | A method of virtually inspecting a quality of a product |
| KR102321205B1 (ko) | 2021-06-10 | 2021-11-03 | 주식회사 스누아이랩 | 인공지능 서비스장치 및 그 장치의 구동방법 |
| US20240221369A1 (en) * | 2021-06-16 | 2024-07-04 | Mihaela Vlasea | Method and system for active learning using adaptive weighted uncertainty sampling(awus) |
| CN113418940B (zh) * | 2021-06-24 | 2023-03-14 | 电子科技大学 | 一种基于x射线示踪颗粒的检测方法及检测装置 |
| CN113407936B (zh) * | 2021-06-30 | 2022-10-28 | 中国科学技术大学 | 基于生成对抗网络的侧信道防护方法 |
| CN113657159B (zh) * | 2021-07-13 | 2024-02-06 | 西安理工大学 | 一种基于样本选择策略的高光谱图像分类方法 |
| CN113868957B (zh) * | 2021-10-11 | 2024-05-31 | 北京航空航天大学 | 贝叶斯深度学习下剩余寿命预测及不确定性量化校准方法 |
| CN118648033A (zh) | 2022-01-27 | 2024-09-13 | 卡尔蔡司Smt有限责任公司 | 用于晶片的成像数据集中异常的检测与分类的计算机实施方法以及使用此方法的系统 |
| CN118696311A (zh) * | 2022-02-11 | 2024-09-24 | Asml荷兰有限公司 | 主动学习以改善晶片缺陷分类 |
| US12020475B2 (en) | 2022-02-21 | 2024-06-25 | Ford Global Technologies, Llc | Neural network training |
| WO2023160986A1 (en) * | 2022-02-28 | 2023-08-31 | Asml Netherlands B.V. | Methods and systems for improving wafer defect classification nuisance rate |
| US20230281457A1 (en) | 2022-03-07 | 2023-09-07 | Hyperconnect LLC | Apparatus for Training and Method Thereof |
| CN114897909B (zh) * | 2022-07-15 | 2022-09-20 | 四川大学 | 基于无监督学习的曲轴表面裂纹监测方法及系统 |
| CN116309245B (zh) * | 2022-09-07 | 2024-01-19 | 南京唐壹信息科技有限公司 | 基于深度学习的地下排水管道缺陷智能检测方法与系统 |
| WO2024075579A1 (ja) * | 2022-10-07 | 2024-04-11 | 東京エレクトロン株式会社 | 基板処理システム及び基板異常検出方法 |
| CN115690090B (zh) * | 2022-11-16 | 2023-03-28 | 北京阿丘科技有限公司 | 缺陷样本图像生成方法、装置、设备及存储介质 |
| CN115631204A (zh) * | 2022-11-30 | 2023-01-20 | 北京矩视智能科技有限公司 | 工件表面缺陷区域分割方法和装置 |
| KR102703844B1 (ko) * | 2023-06-01 | 2024-09-09 | 주식회사 디월드 | 빅데이터 기반 딥러닝을 이용한 비전 검사 서비스 제공 시스템 |
| CN117094986B (zh) * | 2023-10-13 | 2024-04-05 | 中山大学深圳研究院 | 基于小样本的自适应缺陷检测方法及终端设备 |
| CN118212242A (zh) * | 2024-05-22 | 2024-06-18 | 三峡金沙江川云水电开发有限公司 | 一种基于主动学习策略的管道缺陷检测模型性能增强方法 |
Family Cites Families (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5544256A (en) | 1993-10-22 | 1996-08-06 | International Business Machines Corporation | Automated defect classification system |
| US7359544B2 (en) | 2003-02-12 | 2008-04-15 | Kla-Tencor Technologies Corporation | Automatic supervised classifier setup tool for semiconductor defects |
| KR101387785B1 (ko) * | 2005-01-21 | 2014-04-25 | 포톤 다이나믹스, 인코포레이티드 | 자동 결함 복구 시스템 |
| US7676077B2 (en) | 2005-11-18 | 2010-03-09 | Kla-Tencor Technologies Corp. | Methods and systems for utilizing design data in combination with inspection data |
| US7769219B2 (en) * | 2006-12-11 | 2010-08-03 | Cytyc Corporation | Method for assessing image focus quality |
| WO2008077100A2 (en) | 2006-12-19 | 2008-06-26 | Kla-Tencor Corporation | Systems and methods for creating inspection recipes |
| US8698093B1 (en) | 2007-01-19 | 2014-04-15 | Kla-Tencor Corporation | Objective lens with deflector plates immersed in electrostatic lens field |
| US8126255B2 (en) | 2007-09-20 | 2012-02-28 | Kla-Tencor Corp. | Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions |
| US8078552B2 (en) | 2008-03-08 | 2011-12-13 | Tokyo Electron Limited | Autonomous adaptive system and method for improving semiconductor manufacturing quality |
| US8396582B2 (en) | 2008-03-08 | 2013-03-12 | Tokyo Electron Limited | Method and apparatus for self-learning and self-improving a semiconductor manufacturing tool |
| US8664594B1 (en) | 2011-04-18 | 2014-03-04 | Kla-Tencor Corporation | Electron-optical system for high-speed and high-sensitivity inspections |
| US8692204B2 (en) | 2011-04-26 | 2014-04-08 | Kla-Tencor Corporation | Apparatus and methods for electron beam detection |
| CN102324046A (zh) * | 2011-09-01 | 2012-01-18 | 西安电子科技大学 | 结合主动学习的四分类器协同训练方法 |
| US9519868B2 (en) * | 2012-06-21 | 2016-12-13 | Microsoft Technology Licensing, Llc | Semi-supervised random decision forests for machine learning using mahalanobis distance to identify geodesic paths |
| US8716662B1 (en) | 2012-07-16 | 2014-05-06 | Kla-Tencor Corporation | Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations |
| US9240360B2 (en) | 2012-07-25 | 2016-01-19 | International Business Machines Corporation | Run-to-run control utilizing virtual metrology in semiconductor manufacturing |
| CN103020711A (zh) * | 2012-12-25 | 2013-04-03 | 中国科学院深圳先进技术研究院 | 分类器训练方法及其系统 |
| US9222895B2 (en) | 2013-02-25 | 2015-12-29 | Kla-Tencor Corp. | Generalized virtual inspector |
| US9098891B2 (en) | 2013-04-08 | 2015-08-04 | Kla-Tencor Corp. | Adaptive sampling for semiconductor inspection recipe creation, defect review, and metrology |
| US10521671B2 (en) * | 2014-02-28 | 2019-12-31 | Second Spectrum, Inc. | Methods and systems of spatiotemporal pattern recognition for video content development |
| JP6362893B2 (ja) * | 2014-03-20 | 2018-07-25 | 株式会社東芝 | モデル更新装置及びモデル更新方法 |
| US20150332167A1 (en) | 2014-05-13 | 2015-11-19 | Tokyo Electron Limited | System and method for modeling and/or analyzing manufacturing processes |
| US9816939B2 (en) | 2014-07-22 | 2017-11-14 | Kla-Tencor Corp. | Virtual inspection systems with multiple modes |
| US20160189055A1 (en) | 2014-12-31 | 2016-06-30 | Applied Materials Israel Ltd. | Tuning of parameters for automatic classification |
| US9477652B2 (en) * | 2015-02-13 | 2016-10-25 | Facebook, Inc. | Machine learning dialect identification |
| US9835566B2 (en) * | 2015-03-03 | 2017-12-05 | Kla-Tencor Corp. | Adaptive nuisance filter |
| US9628506B1 (en) * | 2015-06-26 | 2017-04-18 | Symantec Corporation | Systems and methods for detecting security events |
| US10436720B2 (en) * | 2015-09-18 | 2019-10-08 | KLA-Tenfor Corp. | Adaptive automatic defect classification |
| GB201517462D0 (en) * | 2015-10-02 | 2015-11-18 | Tractable Ltd | Semi-automatic labelling of datasets |
| US10186026B2 (en) | 2015-11-17 | 2019-01-22 | Kla-Tencor Corp. | Single image detection |
| US9916965B2 (en) | 2015-12-31 | 2018-03-13 | Kla-Tencor Corp. | Hybrid inspectors |
| US11580375B2 (en) | 2015-12-31 | 2023-02-14 | Kla-Tencor Corp. | Accelerated training of a machine learning based model for semiconductor applications |
| US10043261B2 (en) | 2016-01-11 | 2018-08-07 | Kla-Tencor Corp. | Generating simulated output for a specimen |
| US11443083B2 (en) | 2016-05-12 | 2022-09-13 | Asml Netherlands B.V. | Identification of hot spots or defects by machine learning |
| US11120505B2 (en) * | 2016-06-03 | 2021-09-14 | Conduent Business Services, Llc | Image analysis system for verification of property roof damage |
| US11580398B2 (en) | 2016-10-14 | 2023-02-14 | KLA-Tenor Corp. | Diagnostic systems and methods for deep learning models configured for semiconductor applications |
| US10267748B2 (en) | 2016-10-17 | 2019-04-23 | Kla-Tencor Corp. | Optimizing training sets used for setting up inspection-related algorithms |
| US20180144241A1 (en) * | 2016-11-22 | 2018-05-24 | Mitsubishi Electric Research Laboratories, Inc. | Active Learning Method for Training Artificial Neural Networks |
| US10417524B2 (en) * | 2017-02-16 | 2019-09-17 | Mitsubishi Electric Research Laboratories, Inc. | Deep active learning method for civil infrastructure defect detection |
| US10719780B2 (en) * | 2017-03-31 | 2020-07-21 | Drvision Technologies Llc | Efficient machine learning method |
| US10607119B2 (en) | 2017-09-06 | 2020-03-31 | Kla-Tencor Corp. | Unified neural network for defect detection and classification |
| CN107797391B (zh) * | 2017-11-03 | 2020-04-24 | 上海集成电路研发中心有限公司 | 光学邻近校正方法 |
| US20200050935A1 (en) * | 2018-08-10 | 2020-02-13 | Nvidia Corporation | Deep learning model execution using tagged data |
-
2019
- 2019-05-28 US US16/424,431 patent/US10713769B2/en active Active
- 2019-06-04 TW TW108119324A patent/TWI771591B/zh active
- 2019-06-04 CN CN201980037055.0A patent/CN112219270B/zh active Active
- 2019-06-04 KR KR1020217000069A patent/KR102466582B1/ko active IP Right Grant
- 2019-06-04 WO PCT/US2019/035272 patent/WO2019236506A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| KR102466582B1 (ko) | 2022-11-11 |
| US10713769B2 (en) | 2020-07-14 |
| US20190370955A1 (en) | 2019-12-05 |
| KR20210006502A (ko) | 2021-01-18 |
| TWI771591B (zh) | 2022-07-21 |
| TW202004513A (zh) | 2020-01-16 |
| CN112219270A (zh) | 2021-01-12 |
| WO2019236506A1 (en) | 2019-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112219270B (zh) | 用于缺陷分类器训练的主动学习 | |
| CN111052332B (zh) | 训练以学习为基础的缺陷分类器 | |
| CN111819676B (zh) | 训练用于低分辨率图像中的缺陷检测的神经网络 | |
| EP3465174B1 (en) | Generating simulated images from input images for semiconductor applications | |
| CN109313724B (zh) | 针对半导体应用并入神经网络及前向物理模型的系统及方法 | |
| US11580375B2 (en) | Accelerated training of a machine learning based model for semiconductor applications | |
| CN108475351B (zh) | 用于训练基于机器学习的模型的系统和计算机实施方法 | |
| CN108463876B (zh) | 为样品产生模拟输出 | |
| US10679333B2 (en) | Defect detection, classification, and process window control using scanning electron microscope metrology | |
| US20170194126A1 (en) | Hybrid inspectors | |
| TW201921542A (zh) | 識別在一晶圓上偵測到之缺陷中之損害及所關注缺陷 | |
| JP2019537839A (ja) | 半導体用途向けに構成された深層学習モデルのための診断システムおよび方法 | |
| US11087449B2 (en) | Deep learning networks for nuisance filtering | |
| US11694327B2 (en) | Cross layer common-unique analysis for nuisance filtering | |
| KR20210042997A (ko) | 반도체 제조에서 확률적 불량 메트릭의 사용 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |