CN107690671B - 用于迭代缺陷分类的方法及系统 - Google Patents

用于迭代缺陷分类的方法及系统 Download PDF

Info

Publication number
CN107690671B
CN107690671B CN201680032123.0A CN201680032123A CN107690671B CN 107690671 B CN107690671 B CN 107690671B CN 201680032123 A CN201680032123 A CN 201680032123A CN 107690671 B CN107690671 B CN 107690671B
Authority
CN
China
Prior art keywords
defect
classification
additional
classifier
manual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680032123.0A
Other languages
English (en)
Other versions
CN107690671A (zh
Inventor
桑卡·梵卡泰若曼
贺力
约翰·R·约尔丹三世
哈什·辛哈
O·T·巴里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KLA Corp
Original Assignee
KLA Tencor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KLA Tencor Corp filed Critical KLA Tencor Corp
Publication of CN107690671A publication Critical patent/CN107690671A/zh
Application granted granted Critical
Publication of CN107690671B publication Critical patent/CN107690671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8858—Flaw counting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Textile Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

缺陷分类包含：获取包含多个缺陷的样本的一或多个图像；基于所述缺陷的属性将所述缺陷分组成缺陷类型群组；从用户接口装置接收指示来自所述群组的选定数目个缺陷的第一手动分类的信号；基于所述第一手动分类及所述缺陷的所述属性产生分类器；使用所述分类器对未由所述手动分类手动分类的一或多个缺陷分类；识别由所述分类器分类的具有最低置信度的所述缺陷；从所述用户接口装置接收指示具有所述最低置信度的所述缺陷的额外手动分类的信号；确定所述额外手动分类是否识别在所述第一手动分类中未识别的一或多个额外缺陷类型；及迭代过程直到未发现新缺陷类型。

Description

用于迭代缺陷分类的方法及系统
相关申请案的交叉参考
本申请案涉及且主张来自下文所列申请案(“相关申请案”)的最早可用的有效申请日期的权利(例如，主张除临时专利申请案以外的最早可用的优先日期，或根据35USC§119(e)规定主张临时专利申请案、所述相关申请案的任何及全部父代申请案、祖父代申请案、曾祖父代申请案等等的权利)。
相关申请案：
出于美国专利商标局(USPTO)的额外法定要求，本申请案构成2015年6月5日申请的序列号为62/171,898的申请案的以桑卡尔·文卡塔拉曼(Sankar Venkataraman)、李·何(Li He)、约翰·约旦(John Jordan)、奥克森·巴里斯(Oksen Baris)及哈什·辛哈(Harsh Sinha)为发明者的标题为迭代缺陷分类策略(ITERATIVE DEFECT CLASSIFICATIONSTRATEGY)的美国临时专利申请案的正规(非临时)专利申请案。序列号为62/171,898的申请案的全文以引用的方式并入本文中。
技术领域
本发明大体上涉及缺陷重检及分类，且特定来说，本发明涉及迭代缺陷分类。
背景技术
制造例如逻辑及存储器装置的半导体装置通常包含使用大量半导体制造工艺处理例如半导体晶片的衬底以形成半导体装置的多种特征及多个层级。随着半导体装置大小变得越来越小，开发增强的检验及重检装置及过程变得至关重要。一个此过程包含分类且分析样本(例如晶片)上的缺陷。如贯穿本发明使用的术语“晶片”通常是指由半导体或非半导体材料形成的衬底。举例来说，半导体或非半导体材料可包含(但不限于)单晶硅、砷化镓及磷化铟。
缺陷重检是用户通过其重检由检验器或检验工具获取的缺陷的过程。缺陷重检需要基于一组缺陷属性的缺陷分类及缺陷类型的区分或分离。然而，当前缺陷分类方法具有若干限制。现有方法涉及视觉分析一或多个扫描电子显微镜(SEM)图像以基于在人类重检过程期间观察到的缺陷类型指派类别码。此手动重检及分类过程遭受若干缺点。首先，应注意，通常用户以每小时少于1000个缺陷对图像进行分类。鉴于典型样品大小可大于4000个缺陷，因此手动分类过程缓慢。另外，此过程是用户密集且易受人为误差影响。
因而，提供一种解决上文识别的缺点的提供改进缺陷分类的系统及方法将是有利的。
发明内容
根据本发明的一或多个说明性实施例，本发明揭示一种用于迭代缺陷分类的方法。在一个实施例中，所述方法包含获取样本的一或多个图像，所述一或多个图像包含多个缺陷。在另一实施例中，所述方法包含基于所述缺陷的一或多个属性将所述多个缺陷的至少一部分中的每一者分组成两个或两个以上缺陷类型群组中的一者。在另一实施例中，所述方法包含从用户接口装置接收指示来自所述两个或两个以上缺陷类型群组中的每一者的选定数目个缺陷的第一手动分类的信号。在另一实施例中，所述方法包含基于所述经接收的第一手动分类及所述缺陷的所述属性产生分类器。在另一实施例中，所述方法包含使用所述分类器对未由所述手动分类手动分类的一或多个缺陷分类。在另一实施例中，所述方法包含识别由所述分类器分类的具有最低置信度的选定数目个缺陷。在另一实施例中，所述方法包含从所述用户接口装置接收指示具有所述最低置信度的所述选定数目个所述缺陷的额外手动分类的信号。在另一实施例中，所述方法包含确定所述额外手动分类是否识别在所述第一手动分类中未识别的一或多个额外缺陷类型。在另一实施例中，响应于通过所述额外手动分类对未由所述第一手动分类识别的一或多个缺陷类型的所述识别，所述方法产生额外分类器且重复分类及分析过程。
根据本发明的一或多个说明性实施例，本发明揭示一种用于迭代缺陷分类的设备。在一个实施例中，所述设备包含检验工具。在另一实施例中，所述检验工具包含经配置以获取样本的至少一部分的一或多个图像的一或多个检测器。在另一实施例中，所述设备包含用户接口装置。在另一实施例中，所述设备包含控制器。在一个实施例中，所述控制器包含以通信方式耦合到所述检验工具的所述一或多个检测器的一或多个处理器，其中所述一或多个处理器经配置以执行存储于存储器中的一组程序指令。在一个实施例中，所述组程序指令经配置以致使所述一或多个处理器从所述检验工具的所述一或多个检测器接收所述一或多个图像。在另一实施例中，所述组程序指令经配置以致使所述一或多个处理器基于所述缺陷的一或多个属性将所述多个缺陷的至少一部分中的每一者分组成两个或两个以上缺陷类型群组中的每一者。在另一实施例中，所述组程序指令经配置以致使所述一或多个处理器从用户接口装置接收指示来自所述两个或两个以上缺陷类型群组中的每一者的选定数目个缺陷的第一手动分类的信号。在另一实施例中，所述组程序指令经配置以致使所述一或多个处理器基于所述经接收的第一手动分类及所述缺陷的所述属性产生分类器。在另一实施例中，所述组程序指令经配置以致使所述一或多个处理器使用所述分类器对未由所述手动分类手动分类的一或多个缺陷分类。在另一实施例中，所述组程序指令经配置以致使所述一或多个处理器识别由所述分类器分类的具有最低置信度的选定数目个缺陷。在另一实施例中，所述组程序指令经配置以致使所述一或多个处理器从所述用户接口装置接收指示具有最低置信度的所述选定数目个所述缺陷的额外手动分类的信号。在另一实施例中，所述组程序指令经配置以致使所述一或多个处理器确定所述额外手动分类是否识别在所述第一手动分类中未识别的一或多个额外缺陷类型。在另一实施例中，响应于通过所述额外手动分类对未由所述第一手动分类识别的一或多个缺陷类型的所述识别，所述组程序指令致使所述一或多个处理器产生额外分类器且重复分类及分析过程。
应了解，前述一般描述及以下详细描述两者仅是示范性及说明性的且未必限制本发明。并入到本说明书中且构成本说明书的部分的附图说明本发明的实施例且与一般描述一起用于解释本发明的原理。
附图说明
所属领域的技术人员可通过参考附图而更好地理解本发明的多个优点，其中：
图1是根据本发明的一个实施例的用于缺陷分类及分析的系统的框图。
图2是说明根据本发明的一个实施例的在用于缺陷分类的方法中执行的步骤的流程图。
具体实施方式
现在将详细参考在附图中说明的所揭示的标的物。
大体上参考图1到2，根据本发明描述一种用于缺陷分类及分析的方法及系统。本发明的实施例涉及通过可用缺陷的子集的分类而高置信度地确定样品的图像数据中存在的缺陷类型。
本发明的实施例利用缺陷属性以向用户提供不同缺陷的子集。针对每一缺陷类型，由用户对缺陷的小部分手动分类。基于手动分类，产生自动缺陷分类模型或分类器。分类器接着对整个样品集分类。额外实施例向用户提供识别为来自初始自动分类的最低可信度置信度缺陷的缺陷的额外更小部分。一旦识别最低可信度置信度缺陷，这些缺陷便经历通过用户的额外手动分类。倘若在额外手动分类中发现新缺陷类型，那么可使用第一及额外手动分类的结果产生新分类器。凭借每一迭代，分类可信度置信度增加。凭借足够迭代，预期以超过选定阈值的全部缺陷的分类可信度置信度确定全部缺陷类型。
由李·何(Li He)等人在2015年6月24日申请的第14/749,316号美国专利申请案中大体上描述缺陷分类，所述申请案的全文以引用的方式并入本文中。
图1说明根据本发明的一或多个实施例的用于缺陷分类及分析的系统100的概念框图。在一个实施例中，系统100包含检验工具102。在一个实施例中，检验工具102经配置以测量安置于样本(例如(但不限于)半导体晶片(例如，Si晶片))的表面上或表面中的一或多个缺陷的一或多个特性。
检验工具102可包含所属领域中已知的能够进行缺陷重检及分类的任何检验配置。在一个实施例中，如图1中描绘，检验工具102包含电子束缺陷重检(EDR)工具。举例来说，如图1中展示，检验工具102包含电子源101(例如，用以发射一或多个电子束的一或多个电子枪)、检测器103(例如，次级电子检测器)及所属领域中已知的用于实行缺陷重检的任何一或多个电子光学组件105。
本文中应注意，本发明的范围通常不限于系统100的EDR配置或电子束重检。在一个实施例中，检验工具102可经配置为基于光的检验工具。举例来说，检验工具102可(但不需要)经配置用于暗场检验。通过另一实例，检验工具102可(但不需要)经配置用于明场检验。在基于光的检验的情况中，检验工具102可包含一或多个光源以照明样本112。光源可包含所属领域中已知的任何光源。举例来说，光源可包含窄带光源，例如激光源。通过另一实例，光源可包含宽带光源，例如放电灯或激光维持等离子体(LSP)光源。在另一实施例中，光源可经配置以(经由多种光学组件)将光引导到安置于样品载物台115上的样本112的表面。此外，检验工具102的多种光学组件经配置以将从晶片112的表面反射、散射及/或衍射的光引导到检验工具102的检测器(未展示)。检测器可包含所属领域中已知的任何适当光检测器。在一个实施例中，检测器可包含(但不限于)电荷耦合装置(CCD)检测器、光电倍增管(PMT)检测器及类似者。
应注意，为了简洁起见，已在简化框图中描绘检验工具102。此描绘(包含组件及几何配置)并非限制性且仅是为了说明性目的而提供。在本文中应认识到，检验工具102可包含任何数目个光学元件(例如，透镜、镜、滤光器、光束分离器及类似者)、能量源(例如，光源或电子源)及检测器(例如，光检测器或电子检测器，例如次级电子检测器)以实行安置于样品载物台115上的晶片112的一或多个部分的检验。
在另一实施例中，系统100包含控制器104。在一个实施例中，控制器104以通信方式耦合到检验工具102。举例来说，控制器104可耦合到检验工具102的检测器103的输出。控制器104可以任何适合方式(例如，通过由图1中展示的线指示的一或多个传输媒体)耦合到检测器使得控制器104可接收由检验工具102产生的输出。
在一个实施例中，控制器104包含以通信方式耦合到检测器103及存储器108的一或多个处理器106。在一个实施例中，一或多个处理器106经配置以执行维持在存储器108中的一组程序指令116。
控制器104的一或多个处理器106可包含所属领域中已知的任何一或多个处理元件。在此意义上，一或多个处理器106可包含经配置以执行算法及/或指令的任何微处理器装置。在一个实施例中，一或多个处理器106可由桌上型计算机、主计算机系统、工作站、图像计算机、并行处理器或经配置以执行程序(其经配置以操作系统100)的其它计算机系统(例如，网络计算机)组成，如贯穿本发明所描述。应认识到，贯穿本发明描述的步骤可通过单个计算机系统或替代地多个计算机系统实行。一般来说，术语“处理器”可经广泛定义以涵盖具有执行来自非暂时性存储器媒体(例如，存储器108)的程序指令的一或多个处理元件的任何装置。再者，系统100的不同子系统(例如，检验工具、显示器或用户接口110)可包含适合于实行贯穿本发明描述的步骤的至少一部分的处理器或逻辑元件。因此，上文描述不应解释为对本发明的限制而仅解释为说明。
存储器媒体108可包含所属领域中已知的适合于存储可由相关联的一或多个处理器106执行的程序指令的任何存储媒体。举例来说，存储器媒体108可包含非暂时性存储器媒体。举例来说，存储器媒体108可包含(但不限于)只读存储器、随机存取存储器、磁性或光学存储器装置(例如，磁盘)、磁带、固态驱动器及类似者。在另一实施例中，本文中应注意，存储器108经配置以存储来自检验工具102的一或多个结果及/或本文中描述的多种步骤的输出。应进一步注意，存储器108可与一或多个处理器106一起容置于共同控制器外壳中。在替代实施例中，存储器108可相对于处理器及控制器104的实体位置远程定位。举例来说，控制器104的一或多个处理器106可存取远程存储器(例如，服务器)，所述远程存储器可通过网络(例如，因特网、内部网及类似者)存取。在另一实施例中，存储器媒体108存储用于导致一或多个处理器106实行贯穿本发明描述的多种步骤的程序指令116。
在另一实施例中，系统100的控制器104可经配置以通过可包含有线及/或无线部分的传输媒体从其它系统接收及/或获取数据或信息(例如，来自检验系统的检验结果或来自计量系统的计量结果)。在另一实施例中，系统100的控制器104可经配置以通过可包含有线及/或无线部分的传输媒体将数据或信息(例如，本文中揭示的一或多个过程的输出)传输到一或多个系统或子系统(例如，检验系统或计量系统)。以此方式，传输媒体可充当控制器104与系统100的其它子系统之间的数据链路。此外，控制器104可经由传输媒体(例如，网络连接)将数据发送到外部系统。
在另一实施例中，系统100包含用户接口110。在一个实施例中，用户接口110以通信方式耦合到控制器104的一或多个处理器106。在另一实施例中，用户接口装置110可由控制器104利用以接受来自用户的选择及/或指令。在一些实施例中，在本文中进一步描述，显示器114可用于将数据显示给用户(未展示)。用户又可响应于经由显示装置114显示给用户的数据而经由用户输入装置113输入选择及/或指令。
用户接口装置110可包含所属领域中已知的任何用户接口。举例来说，用户接口110的用户输入装置113可包含(但不限于)键盘、小键盘、触摸屏幕、杠杆、旋钮、滚轮、轨迹球、开关、拨号盘、滑杆、滚动条杆、滑件、把手、触摸垫、踏板、方向盘、操纵杆、面板输入装置或类似者。在触摸屏幕接口装置的情况中，所属领域的技术人员应认识到，大量触摸屏幕接口装置可适合实施于本发明中。举例来说，显示装置114可与触摸屏幕接口集成，例如(但不限于)电容式触摸屏幕、电阻式触摸屏幕、基于表面声波的触摸屏幕、基于红外线的触摸屏幕或类似者。在一般意义上，能够与显示装置的显示部分集成的任何触摸屏幕接口适合实施于本发明中。在另一实施例中，用户输入装置113可包含(但不限于)面板安装接口。
显示装置114可包含所属领域中已知的任何显示装置。在一个实施例中，显示装置可包含(但不限于)液晶显示器(LCD)。在另一实施例中，显示装置可包含(但不限于)基于有机发光二极管(OLED)的显示器。在另一实施例中，显示装置可包含(但不限于)CRT显示器。所属领域的技术人员应认识到，多种显示装置可适合实施于本发明中且显示装置的特定选择可取决于多种因素，包含(但不限于)外观因素、成本及类似者。在一般意义上，能够与用户输入装置(例如，触摸屏幕、面板安装接口、键盘、鼠标、轨迹垫及类似者)集成的任何显示装置适合实施于本发明中。
在一个实施例中，控制器104的一或多个处理器106经编程以实行如下文中描述的迭代缺陷分类过程的一或多个步骤。可如本文中描述那样进一步配置图1中说明的系统100的实施例。另外，系统100可经配置以执行本文中描述的方法实施例中的任何者的任何其它步骤。
图2是说明根据本发明的一个实施例的在缺陷分类的方法200中执行的步骤的流程图。本文中应注意，可全部或部分通过系统100实施方法200的步骤。然而，应进一步认识到，方法200不限于系统100，因为额外或替代系统级实施例可实行方法200的全部或部分步骤。
在步骤202中，获取包含多个缺陷的样本的一或多个图像107。一或多个缺陷由多个缺陷类型组成。举例来说，样本上或样本中含有的缺陷的类型可包含(但不限于)颗粒缺陷、残余缺陷、空隙或划痕缺陷、凸块或突部缺陷、桥接缺陷及类似者。在一个实施例中，检验工具102获取一或多个图像107且将一或多个图像107传输到一或多个控制器104。进一步预期，一或多个图像107可存储于存储器108中且用于随后分析。
在步骤204中，将缺陷的至少一部分分组成多个缺陷类型群组中的一者。在一个实施例中，通过控制器104的一或多个处理器106根据缺陷的一或多个属性将缺陷分组成多个缺陷类型群组使得相同缺陷分组在相同分组中。举例来说，可将缺陷分组成k个缺陷类型群组，其中k在2与100之间。举例来说，可将图像107中获取的缺陷分组成10个不同缺陷类型分组。此外，本文中应认识到，可通过将缺陷数据分布且存储到维持在存储器108(或另一存储器)中的一组k个文件夹中而实行将缺陷数据分组成k个群组。
在一个实施例中，可通过自动分类过程(例如(但不限于)实时自动分类(RT-ADC)过程)处理一或多个图像107中的缺陷的属性以对缺陷分类。应注意，利用RT-ADC提供缺陷的“粗略”自动分类而不牺牲高处理速度。在2009年10月13日颁布的第7,602,962号美国专利中大体上描述实时自动分类，所述专利的全文以引用的方式并入上文中。本文中应注意，可使用任何类型的自动分组算法以对一或多个图像107的缺陷自动分类且分组。举例来说，自动分组算法可包含(但不限于)基于质心的集群过程(例如，k平均分组算法)。通过另一实例，自动分组算法可包含(但不限于)基于连接能力的集群过程(例如，阶层式集群算法)。通过另一实例，自动分组算法可包含(但不限于)基于分布的集群过程(例如，期望最大化(EM)算法)。
用于将缺陷分组的一或多个属性可包含(但不限于)图像特征量、缺陷坐标、组合物分析结果、制造起始历史数据或机器QC(质量控制)数据。此外，可从多个类型的缺陷检验工具或系统获得一或多个属性，所述多个类型的缺陷检验工具或系统例如(但不限于)光学或SEM异物检验机器、图案检验机器、缺陷重检机器、SPM或元素分析机器。在2009年10月13日颁布的第7,602,962号美国专利中描述适合于缺陷分类的属性，所述专利的全文以引用的方式并入本文中。
在步骤206中，实行来自k个缺陷类型群组中的每一者的选定数目个缺陷的第一手动分类。举例来说，用户可对来自经获取的一或多个图像107的k个缺陷类型群组中的每一者中含有的选定数目个缺陷手动分类。在一个实施例中，通过控制器104的一或多个处理器106从步骤204中发现的k个缺陷群组中的每一者自动选择n个缺陷。举例来说，控制器104可从k个缺陷类型群组中的每一者自动选择n个缺陷，其中n在2与100之间。举例来说，控制器104可从缺陷类型群组中的每一者选择50个缺陷以用于手动分类。
在另一实施例中，控制器104的一或多个处理器106可在用户接口装置110的显示器114上显示来自每一缺陷类型群组的选定n个缺陷。用户又可基于一或多个缺陷的一或多个属性经由用户接口装置110的用户输入114而对来自k个缺陷类型群组中的每一者的n个缺陷手动分类。用户接口装置110可接着将指示样本112的缺陷的手动分类的信号传输到控制器104。在另一实施例中，控制器104可接收缺陷的手动分类且将结果存储于存储器108中。用以实行步骤206的分类的一或多个属性包含可从缺陷检验或重检工具导出的任何一或多个属性，如上文中提及。
在步骤208中，产生第一分类器117。在一个实施例中，基于步骤206的缺陷的第一手动分类及一或多个相关联的属性产生或训练第一分类器117。在一个实施例中，控制器104的一或多个处理器106可产生或训练第一分类器117且将第一分类器117存储于存储器108中。在一个实施例中，第一分类器包含集成学习分类器(ensemble learningclassifier)。举例来说，集成学习分类器可包含随机森林分类器。举例来说，一或多个处理器106可训练随机森林分类器，所述随机森林分类器通过在训练周期期间建构多个决策树且输出类别(其是个别树的类别的模式)而操作。在此方面，一或多个处理器106可使用缺陷的手动分类及相关联的属性以训练随机森林分类器。由布雷曼(Breiman)在随机森林，机器学习(Random Forests,Machine Learning)，第45卷，第1期，第5到32页(2001年)中大体上描述随机森林分类器的实施方案，所述文献的全文以引用的方式并入本文中。还由库尔卡尼(Kulkarni)等人在随机森林分类器：调查及未来研究方向，国际先进计算杂志(RandomForest Classifiers:A Survey and Future Research Directions,InternationalJournal of Advanced Computing)，第36卷，第1期，第1144到1153页(2013年)中论述随机森林，所述文献的全文以引用的方式并入本文中。
通过另一实例，集成学习分类器包含支持向量机(SVM)。一或多个处理器106可使用缺陷的第一手动分类及相关联的属性以训练基于SVM的分类器。由谢(Xie)等人在使用支持向量机的光学检验中的缺陷模式的检测和分类，计算机科学智能计算理论讲义(Detection and Classification of Defect Patterns in Optical Inspection UsingSupport Vector Machines,Intelligent Computing Theories Lecture Notes inComputer Science)，第7995卷，第376到384页(2013年)中大体上描述基于SVM的分类器的实施方案，所述文献的全文以引用的方式并入本文中。
本文中应注意，步骤208中产生的分类器可包含所属领域中已知的任何分类器且不限于集成学习分类器。举例来说，经产生的分类器可包含单个决策树分类器或多个决策树分类器(例如，超级分类器)。
在第14/749,316号美国申请案中描述分类器产生，所述申请案的全文先前以引用的方式并入本文中。
在步骤210中，使用第一分类器117对一或多个缺陷分类。在一个实施例中，一或多个处理器106可检索存储于存储器108中(见步骤208)的第一分类器117且将第一分类器117应用到在步骤206中未手动分类的一或多个剩余缺陷。在此方面，一旦已在步骤208中训练第一分类器，其便可用于对步骤206中未手动分类的从给定样品获取的图像数据中含有的一或多个缺陷分类。
在步骤212中，识别由第一分类器分类的具有最低置信度的选定数目个缺陷。举例来说，针对由第一分类器分类的缺陷的全部或部分计算置信度。本文中应注意，可以所属领域中已知的任何方式计算一或多个缺陷的分类的置信度。在一个实施例中，一或多个处理器106经由投票过程而计算一或多个缺陷的置信度。举例来说，在第一分类器117是随机森林分类器的情况中，随机森林分类器的每一树具有在本文中称为“投票”的分类输出。在此情况中，可(但不需要)经由通过以下给定的主要两个投票方案计算由第一分类器117分类的一或多个缺陷的置信度：
在另一实施例中，在针对由第一分类器分类的缺陷计算置信度之后，控制器104的一或多个处理器106可识别具有最低置信度的m个缺陷。在一个实施例中，具有最低置信度的缺陷的数目可对应于由用户经由用户接口110预选择的数目(例如，具有最低置信度的N个缺陷)。在此方面，一或多个处理器106可选择具有最低置信度的N个缺陷(例如，1到50个缺陷)。在另一实施例中，具有最低置信度的缺陷的数目可对应于由用户经由用户接口110预选择的总缺陷的百分比(例如，依据置信度的缺陷的最低P％)。在此方面，一或多个处理器106可选择具有最低置信度的缺陷的P％(例如，缺陷的最低10％)。
本文中应注意，可将任何数目个经分类缺陷识别为具有最低置信度的缺陷。举例来说，可由控制器104选择1与50之间个最低置信度缺陷。
替代地，识别为最低置信度缺陷的缺陷的数目(或百分比)可依据选定置信度阈值而变化。在此方面，用户可预选择经分类缺陷中的充分置信度的阈值。选择具有低于此阈值的置信度的缺陷以用于额外分类，这在本文中进一步论述。举例来说，可产生一或多个缺陷的每一缺陷类型的置信度阈值。在一个实施例中，一或多个处理器106基于从用户接口110接收的置信度阈值产生所述一或多个缺陷的每一缺陷类型的置信度阈值。在另一实施例中，由一或多个处理器106经由交叉验证过程而产生置信度阈值。在另一实施例中，用户可经由用户接口110选择纯度要求或纯度水平。用户接口装置110又可将指示选定纯度要求的信号传输到控制器104的一或多个处理器106。接着，控制器104可将选定纯度要求存储于存储器108中。本文中应注意，所接收的纯度要求可依据多种参数而变化。举例来说，所接收的纯度要求可取决于用户偏好及/或给定晶片上存在的预期缺陷类型。
例如，用户可对于全部缺陷类型选择单个分类纯度要求(例如，90％)。在另一例子中，用户可对于第一缺陷类型选择第一分类纯度要求(例如，90％)且对于第二缺陷类型选择第二分类纯度要求(例如，85％)等等。应进一步注意，在一些实施例中，提高的纯度要求与较高置信度阈值相关。在此方面，控制器104的一或多个处理器106响应于经由用户接口110的用户输入而自动调整置信度阈值。
在第14/749,316号美国专利申请案中描述缺陷类型分类的阈值水平的产生及置信度阈值的产生，所述申请案的全文先前以引用的方式并入本文中。
在步骤214中，实行由第一分类器117分类的选定数目个最低置信度缺陷的额外手动分类。举例来说，在步骤212中识别具有最低置信度的m个缺陷之后，用户可对具有最低置信度的m个缺陷手动分类。
在一个实施例中，控制器104可在用户接口装置110的显示器114上显示具有最低置信度的m个缺陷。在另一实施例中，用户可基于一或多个缺陷的一或多个属性经由用户接口装置110的用户输入114而对具有最低置信度的m个缺陷手动分类。继而，用户接口装置110可将指示具有最低置信度的m个缺陷的手动分类的信号传输到控制器104。在另一实施例中，控制器104可接收具有最低置信度的m个缺陷的手动分类且将结果存储于存储器108中。用以实行步骤214的分类的一或多个属性包含可从缺陷检验或重检工具导出的任何一或多个属性，如上文中提及。
在步骤216中，确定步骤212的额外手动分类是否识别在步骤206的第一手动分类中未识别的一或多个额外缺陷类型。举例来说，控制器104的一或多个处理器106可比较在第一手动分类中识别的第一组缺陷类型(步骤206)与额外手动分类的缺陷类型(步骤214)。倘若在额外手动分类中识别的缺陷类型不匹配在步骤206的第一手动分类中识别的缺陷类型，那么确定存在额外缺陷类型。
在由步骤216发现一或多个新缺陷类型的情况中，过程移动到步骤218。在步骤218中，将新识别的缺陷类型添加到在步骤206中手动分类的n个缺陷且过程重复步骤208到216。在此方面，由额外手动分类进行分类的额外缺陷类型与由步骤206的第一手动分类进行分类的n个缺陷组合。接着，所述组经组合缺陷类型经历步骤208到216。
举例来说，可重复步骤208，借此使用在步骤206中发现的n个缺陷及在步骤216中发现的新缺陷产生新分类器。类似地，可使用新分类器重复步骤210到216。此过程可重复达任何数目个迭代(例如，1到10)。应注意，凭借步骤208到216的每一迭代，在步骤212中计算的分类置信度增加。可继续迭代过程直到缺陷类型中的每一者(或至少一些)的分类置信度超过选定置信度。
在步骤216未发现新缺陷类型的情况中，过程移动到步骤220。在步骤220中，收集且报告在每一迭代中发现的缺陷类型。举例来说，可将经分类缺陷类型报告到用户接口110。通过另一实例，可将经分类缺陷类型报告到存储器108。通过另一实例，可将经分类缺陷类型报告到远程存储器(例如，远程计算机或服务器的存储器)。通过另一实例，可将经分类缺陷类型报告到以通信方式耦合到检验工具100的额外光学分析工具(例如，检验工具、重检工具、计量工具及类似者)。通过另一实例，可将经分类缺陷类型报告到相关联装置(例如，半导体装置)制造线的一或多个控制系统。在一个实施例中，可使用与样品112的缺陷类型的分类相关联的信息以调整一或多个下游过程工具参数以减轻经分类缺陷类型的存在的影响。在另一实施例中，可使用与样品112的缺陷类型的分类相关联的信息以调整一或多个上游过程工具参数以减少在由制造线的工艺工具处理的随后晶片中形成在方法200中分类的特定缺陷类型。
本文中描述的全部方法可包含将方法实施例的一或多个步骤的结果存储于存储媒体中。结果可包含本文中描述的任何结果且可以所属领域中已知的任何方式存储。存储媒体可包含本文中描述的任何存储媒体或所属领域中已知的任何其它适合存储媒体。在已存储结果之后，结果可在存储媒体中存取且由本文中描述的方法或系统实施例中的任何者使用；经格式化用于显示给用户；由另一软件模块、方法或系统等使用。此外，结果可“永久”、“半永久”、暂时存储或存储达某个时间段。举例来说，存储媒体可为随机存取存储器(RAM)且结果可不必无限期地保存在存储媒体中。
所属领域的技术人员将认识到，当前最先进技术已进展到系统的方面的硬件与软件实施方案之间不存在区别的地步；硬件或软件的使用通常是(但非始终，由于在某些背景内容中，硬件与软件之间的选择可变得显著)表示成本对效率权衡的设计选择。所属领域的技术人员将了解，存在可通过其实现本文中描述的过程及/或系统及/或其它技术的多种载具(例如，硬件、软件及/或固件)且优选载具将随着部署过程及/或系统及/或其它技术的背景内容而变动。举例来说，如果实施者确定速度及准确度是最重要的，那么实施者可选取主要硬件及/或固件载具；替代地，如果灵活性是最重要的，那么实施者可选取主要软件实施方案；或再次替代地，实施者可选取硬件、软件及/或固件的某个组合。因此，存在可通过其实现本文中描述的过程及/或装置及/或其它技术的若干可能载具，所述载具中的任何者本质上并不优于其它载具，因为待利用的任何载具是取决于其中将部署载具的背景内容及实施者的特定关注(例如，速度、灵活性或可预测性)(其中的任何者可变动)的选择。所属领域的技术人员将认识到，实施方案的光学方面通常将采用光学定向硬件、软件及/或固件。
虽然已展示且描述本文中描述的当前标的物的特定方面，但所属领域的技术人员将了解，基于本文中的教示，可做出改变及修改而不脱离本文中描述的标的物及其较广方面，且因此，所附权利要求书在其的范围内涵盖如在本文中描述的标的物的真实精神及范围内的全部此类改变及修改。
此外，应理解，本发明由所附权利要求书界定。所属领域的技术人员将理解，一般来说，本文中所使用的术语且尤其所附权利要求书(例如，所附权利要求书的正文)中所使用的术语一般希望作为“开放式”术语(例如，术语“包含(including)”应解释为“包含但不限于”，术语“具有”应解释为“至少具有”，术语“包含(includes)”应解释为“包含但不限于”等)。所属领域的技术人员将进一步理解，如果预期特定数目个引入权利要求叙述，那么将在权利要求书中明确叙述此意图，且在缺乏此叙述的情况下不存在此意图。举例来说，为帮助理解，以下所附权利要求书可含有介绍性词组“至少一个”及“一或多个”的使用以引入权利要求叙述。然而，即使在相同权利要求书包含介绍性词组“一或多个”或“至少一个”及例如“一”或“一个”的不定冠词(例如，“一”及/或“一个”通常应解释为是指“至少一个”或“一或多个”)时，还不应将此类词组的使用理解为暗示通过不定冠词“一”或“一个”引入的权利要求叙述将含有此引入权利要求叙述的任何特定权利要求书限于仅含有此叙述的发明；对于用于引入权利要求叙述的定冠词的使用同样有效。此外，即使明确叙述引入的权利要求叙述的特定数目，所属领域的技术人员应认识到，此叙述通常应解释为意味着至少所叙述的数目(例如，无其它修饰语的“两个叙述”的裸露叙述，通常意味着至少两个叙述，或两个或两个以上叙述)。此外，在使用类似于“A、B及C等等中的至少一者”惯例的所述例子中，一般以所属领域的技术人员理解所述惯例的意义预期此构造(例如，“具有A、B及C中的至少一者的系统”应包含(但不限于)仅具有A、仅具有B、仅具有C、同时具有A及B、同时具有A及C、同时具有B及C及/或同时具有A、B及C等等的系统)。在使用类似于“A、B或C等等中的至少一者”的惯例的所述例子中，一般以所属领域的技术人员理解所述惯例的意义预期此构造(例如，“具有A、B或C中的至少一者的系统”应包含(但不限制于)仅具有A、仅具有B、仅具有C、同时具有A及B、同时具有A及C、同时具有B及C，及/或同时具有A、B及C等等的系统)。所属领域的技术人员应进一步理解，无论在描述、权利要求或图式中，实际上呈现两个或两个以上替代项目的任何分离性字词及/或词组应理解为考虑包含所述项目中的每一者、所述项目中的任一者或两个项目的可能性。举例来说，词组“A或B”应理解为包含“A”或“B”或“A及B”的可能性。
据信，通过前述描述，将理解本发明及其许多伴随优点且将明白，可对组件的形式、构造及布置进行多种改变而不脱离所揭示的标的物或不牺牲全部其材料优点。所描述的形式仅是说明性，且所附权利要求书希望涵盖且包含此类改变。

Claims (16)

1.一种用于缺陷分类的方法，其包括：
获取样本的一或多个图像，所述一或多个图像包含多个缺陷；
基于所述缺陷的一或多个属性将所述多个缺陷的至少一部分中的每一者分组成两个或两个以上缺陷类型群组中的每一者；
从用户接口装置接收指示来自所述两个或两个以上缺陷类型群组中的每一者的选定数目个缺陷的第一手动分类的信号；
基于所述经接收的第一手动分类及所述缺陷的所述属性产生分类器；
使用所述分类器对所述多个缺陷的至少一些分类；
由投票过程确定使用所述分类器分类的所述多个缺陷的所述至少一些的置信度，其中所述投票过程包含来自于所述分类器的每一分类输出的投票；
识别由所述分类器分类的具有最低置信度的选定数目个缺陷；
从所述用户接口装置接收指示具有所述最低置信度的所述选定数目个所述缺陷的额外手动分类的信号，其中所述分类器包括随机森林分类器，其中所述随机森林分类器的每一树具有分类输出，所述分类输出被配置为在所述投票过程中的投票；以及
确定所述额外手动分类是否识别在所述第一手动分类中未识别的一或多个额外缺陷类型。
2.根据权利要求1所述的方法，其进一步包括：
响应于通过所述额外手动分类对未由所述第一手动分类识别的一或多个缺陷类型的所述识别，基于所述第一手动分类及所述额外手动分类产生额外分类器；
使用所述额外分类器对未由所述第一手动分类或所述额外手动分类所分类的一或多个缺陷分类；
识别由所述额外分类器分类的具有所述最低置信度的选定数目个缺陷；
从所述用户接口装置接收指示具有所述最低置信度的所述选定数目个所述缺陷的第二额外手动分类的信号；以及
确定所述第二额外手动分类是否识别在所述第一手动分类或所述额外手动分类中未识别的一或多个额外缺陷类型。
3.根据权利要求1所述的方法，其进一步包括：
响应于所述额外手动分类不识别未包含于所述第一手动分类中的缺陷类型的所述确定，报告至少由所述第一手动分类所分类的所述缺陷类型及由所述分类器分类的所述缺陷类型。
4.根据权利要求1所述的方法，其中所述基于所述缺陷的一或多个属性将所述多个缺陷的至少一部分中的每一者分组成两个或两个以上缺陷类型群组中的一者包括：
使用应用到所述一或多个属性的实时自动缺陷分类RT-ADC方案将所述多个缺陷的至少一部分中的每一者分组成两个或两个以上缺陷类型群组中的每一者。
5.根据权利要求1所述的方法，其中所述随机森林分类器包括：
单决策树分类器或多决策树分类器中的至少一者。
6.根据权利要求1所述的方法，其中所述投票过程包括多数两个投票方案。
7.一种用于缺陷分类的设备，其包括：
检验工具，所述检验工具包含经配置以获取样本的至少一部分的一或多个图像的一或多个检测器；
用户接口装置；及
控制器，所述控制器包含以通信方式耦合到所述检验工具的所述一或多个检测器的一或多个处理器，其中所述一或多个处理器经配置以执行存储于存储器中的一组程序指令，该组程序指令经配置以致使所述一或多个处理器执行以下操作：
从所述检验工具的所述一或多个检测器接收所述一或多个图像；
基于所述缺陷的一或多个属性将多个缺陷的至少一部分中的每一者分组成两个或两个以上缺陷类型群组中的每一者；
从用户接口装置接收指示来自所述两个或两个以上缺陷类型群组中的每一者的选定数目个缺陷的第一手动分类的信号；
基于所述经接收的第一手动分类及所述缺陷的所述属性产生分类器；
使用所述分类器对所述多个缺陷的至少一些分类；
由投票过程确定使用所述分类器分类的所述多个缺陷的所述至少一些的置信度，其中所述投票过程包含来自于所述分类器的每一分类输出的投票；
识别由所述分类器分类的具有最低置信度的选定数目个缺陷；
从所述用户接口装置接收指示具有所述最低置信度的所述选定数目个所述缺陷的额外手动分类的信号，其中所述分类器包含随机森林分类器，其中所述随机森林分类器的每一树具有分类输出，所述分类输出被配置为在所述投票过程中的投票；以及
确定所述额外手动分类是否识别在所述第一手动分类中未识别的一或多个额外缺陷类型。
8.根据权利要求7所述的设备，其中控制器进一步经配置以：
响应于通过所述额外手动分类对未由所述第一手动分类识别的一或多个缺陷类型的所述识别，基于所述第一手动分类及所述额外手动分类产生额外分类器；
使用所述额外分类器对未由所述第一手动分类或所述额外手动分类所分类的一或多个缺陷分类；
识别由所述额外分类器分类的具有所述最低置信度的选定数目个缺陷；
从所述用户接口装置接收指示具有所述最低置信度的所述选定数目个所述缺陷的第二额外手动分类的信号；以及
确定所述第二额外手动分类是否识别在所述第一手动分类或所述额外手动分类中未识别的一或多个额外缺陷类型。
9.根据权利要求8所述的设备，其中所述控制器进一步经配置以：
响应于所述额外手动分类不识别未包含于所述第一手动分类中的缺陷类型的所述确定，报告至少由所述第一手动分类所分类的所述缺陷类型及由所述分类器分类的所述缺陷类型。
10.根据权利要求7所述的设备，其中所述控制器进一步经配置以：
使用应用到所述一或多个属性的实时自动缺陷分类RT-ADC方案将所述多个缺陷的至少一部分中的每一者分组成两个或两个以上缺陷类型群组中的每一者。
11.根据权利要求8所述的设备，其中所述分类器或所述额外分类器中的至少一者包括：
决策树分类器或多个决策树分类器中的至少一者。
12.根据权利要求7所述的设备，其中所述控制器进一步经配置以：
由包括多数两个投票方案的投票过程计算置信度。
13.根据权利要求7所述的设备，其中所述检验工具包括：
电子束缺陷重检工具。
14.根据权利要求7所述的设备，其中所述检验工具包括：
暗场检验工具。
15.根据权利要求7所述的设备，其中所述检验工具包括：
明场检验工具。
16.根据权利要求7所述的设备，其中所述随机森林分类器的每一树具有分类输出，所述分类输出配置为在所述投票过程中的投票。
CN201680032123.0A 2015-06-05 2016-06-02 用于迭代缺陷分类的方法及系统 Active CN107690671B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562171898P 2015-06-05 2015-06-05
US62/171,898 2015-06-05
US15/010,887 US9922269B2 (en) 2015-06-05 2016-01-29 Method and system for iterative defect classification
US15/010,887 2016-01-29
PCT/US2016/035466 WO2016196760A1 (en) 2015-06-05 2016-06-02 Method and system for iterative defect classification

Publications (2)

Publication Number Publication Date
CN107690671A CN107690671A (zh) 2018-02-13
CN107690671B true CN107690671B (zh) 2019-10-18

Family

ID=57441960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680032123.0A Active CN107690671B (zh) 2015-06-05 2016-06-02 用于迭代缺陷分类的方法及系统

Country Status (6)

Country Link
US (1) US9922269B2 (zh)
JP (1) JP6857620B2 (zh)
KR (1) KR102351346B1 (zh)
CN (1) CN107690671B (zh)
TW (1) TWI670652B (zh)
WO (1) WO2016196760A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426926B (zh) * 2016-01-04 2019-09-24 京东方科技集团股份有限公司 一种对amoled进行检测分类的方法及装置
US10796235B2 (en) * 2016-03-25 2020-10-06 Uptake Technologies, Inc. Computer systems and methods for providing a visualization of asset event and signal data
US10185728B2 (en) * 2016-12-19 2019-01-22 Capital One Services, Llc Systems and methods for providing data quality management
US10964013B2 (en) * 2017-01-10 2021-03-30 Kla-Tencor Corporation System, method for training and applying defect classifiers in wafers having deeply stacked layers
TWI688761B (zh) 2017-01-18 2020-03-21 荷蘭商Ａｓｍｌ荷蘭公司 缺陷顯示方法
TWI778078B (zh) * 2017-06-14 2022-09-21 以色列商肯提克有限公司 用於自動缺陷分類之方法及系統以及相關非暫時性電腦程式產品
US11037286B2 (en) * 2017-09-28 2021-06-15 Applied Materials Israel Ltd. Method of classifying defects in a semiconductor specimen and system thereof
US10809635B2 (en) * 2017-11-20 2020-10-20 Taiwan Semiconductor Manufacturing Company, Ltd. Defect inspection method and defect inspection system
JP6992475B2 (ja) * 2017-12-14 2022-01-13 オムロン株式会社 情報処理装置、識別システム、設定方法及びプログラム
JP7054436B2 (ja) * 2017-12-14 2022-04-14 オムロン株式会社 検出システム、情報処理装置、評価方法及びプログラム
US10937705B2 (en) * 2018-03-30 2021-03-02 Onto Innovation Inc. Sample inspection using topography
KR102154393B1 (ko) * 2018-06-20 2020-09-09 에임시스템 주식회사 기계 학습 기반의 자동 결함 분류 방법
US11151707B2 (en) 2018-12-07 2021-10-19 Kla Corporation System and method for difference filter and aperture selection using shallow deep learning
WO2020234863A1 (en) * 2019-05-22 2020-11-26 Applied Materials Israel Ltd. Machine learning-based classification of defects in a semiconductor specimen
US11361423B2 (en) 2019-06-17 2022-06-14 RecognAIse Technologies Inc. Artificial intelligence-based process and system for visual inspection of infrastructure
JP2021015546A (ja) * 2019-07-16 2021-02-12 株式会社日立製作所 情報処理システムおよび情報処理方法
CN114175093A (zh) * 2020-05-29 2022-03-11 京东方科技集团股份有限公司 显示面板的检测装置、检测方法、电子装置、可读介质
US20230175981A1 (en) * 2020-06-12 2023-06-08 Hitachi High-Tech Corporation Method for Defect Inspection, System, and Computer-Readable Medium
EP3945548A1 (en) * 2020-07-30 2022-02-02 ASML Netherlands B.V. Method for classifying semiconductor wafers
US11810284B2 (en) * 2020-08-21 2023-11-07 Kla Corporation Unsupervised learning for repeater-defect detection
KR102637170B1 (ko) * 2021-03-16 2024-02-14 현대모비스 주식회사 설명가능 ai 기반 불량검출 장치 및 방법
US11216932B1 (en) * 2021-03-26 2022-01-04 Minds AI Technologies Ltd Electronic substrate defect detection
US20220335254A1 (en) * 2021-04-16 2022-10-20 Baker Hughes Holdings Llc Computer vision inferencing for non-destructive testing
EP4400832A1 (en) * 2021-09-07 2024-07-17 Maintech Co., Ltd. Defect classification system
CN113688802B (zh) * 2021-10-22 2022-04-01 季华实验室 基于肌电信号的手势识别方法、装置、设备及存储介质
CN113781485B (zh) * 2021-11-12 2022-09-09 成都数联云算科技有限公司 一种pcb缺陷类别的智能检测方法、装置、电子设备及介质
US20230306572A1 (en) * 2022-03-23 2023-09-28 Saudi Arabian Oil Company Flange Integrity Classification Using Artificial Intelligence

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201346593A (zh) * 2012-04-20 2013-11-16 Applied Materials Israel Ltd 自動缺陷分類的分類器準備與維持

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324298B1 (en) 1998-07-15 2001-11-27 August Technology Corp. Automated wafer defect inspection system and a process of performing such inspection
US6922482B1 (en) 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
JP4118703B2 (ja) * 2002-05-23 2008-07-16 株式会社日立ハイテクノロジーズ 欠陥分類装置及び欠陥自動分類方法並びに欠陥検査方法及び処理装置
US7359544B2 (en) * 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
US7602962B2 (en) 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
US8995747B2 (en) 2010-07-29 2015-03-31 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for defect detection and classification
JP5675214B2 (ja) * 2010-08-18 2015-02-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US20120323506A1 (en) 2010-11-23 2012-12-20 Andrew Payshin King Semiconductor Defect Signal Capturing and Statistical System and Method
US9401013B2 (en) * 2012-02-03 2016-07-26 Applied Materials Israel, Ltd. Method of design-based defect classification and system thereof
US10043264B2 (en) 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US8848068B2 (en) 2012-05-08 2014-09-30 Oulun Yliopisto Automated recognition algorithm for detecting facial expressions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201346593A (zh) * 2012-04-20 2013-11-16 Applied Materials Israel Ltd 自動缺陷分類的分類器準備與維持

Also Published As

Publication number Publication date
JP2018524804A (ja) 2018-08-30
WO2016196760A1 (en) 2016-12-08
KR102351346B1 (ko) 2022-01-13
US9922269B2 (en) 2018-03-20
TW201710952A (zh) 2017-03-16
US20160358041A1 (en) 2016-12-08
CN107690671A (zh) 2018-02-13
TWI670652B (zh) 2019-09-01
JP6857620B2 (ja) 2021-04-14
KR20180005737A (ko) 2018-01-16

Similar Documents

Publication Publication Date Title
CN107690671B (zh) 用于迭代缺陷分类的方法及系统
CN107820620A (zh) 用于缺陷分类的方法和系统
Waszczak et al. Asteroid light curves from the Palomar Transient Factory survey: rotation periods and phase functions from sparse photometry
CN106290378B (zh) 缺陷分类方法和缺陷检查系统
US7720275B2 (en) Method and apparatus for detecting pattern defects
CN109409533B (zh) 一种机器学习模型的生成方法、装置、设备及存储介质
CN107004123A (zh) 迭代式缺陷滤除工艺
CN110402487A (zh) 用于在具有深堆叠层的芯片中训练且应用缺陷分类器的系统、方法
Stevans et al. Bridging Star-forming Galaxy and AGN Ultraviolet Luminosity Functions at z= 4 with the SHELA Wide-field Survey
KR20160134740A (ko) 결함 분류기들 및 뉴슨스 필터들의 생성
CN106796180B (zh) 用于分集化及缺陷发现的动态分格
CN108020561A (zh) 用于在检查对象时自适应采样的方法和其系统
CN115618282B (zh) 一种合成宝石的鉴定方法、装置及存储介质
JP6763673B2 (ja) 教師データ作成支援装置、画像分類装置、教師データ作成支援方法および画像分類方法
Kovačević et al. Exploring X-ray variability with unsupervised machine learning-I. Self-organizing maps applied to XMM-Newton data
Andika et al. Streamlined lensed quasar identification in multiband images via ensemble networks
George et al. Two rest-frame wavelength measurements of galaxy sizes at z< 1: the evolutionary effects of emerging bulges and quenched newcomers
Kovacevic et al. Exploring X-ray variability with unsupervised machine learning
CN115186776B (zh) 一种红宝石产地分类的方法、装置及存储介质
Murugeshan et al. The HI in Ring Galaxies Survey (HI-RINGS)—Effects of the bar on the HI gas in ring galaxies
Ferreira et al. Galaxy mergers in UNIONS–I. A simulation-driven hybrid deep learning ensemble for pure galaxy merger classification
Fujimoto et al. Primordial Rotating Disk Composed of $\geq $15 Dense Star-Forming Clumps at Cosmic Dawn
Tarsitano Galaxy morphology and cosmological predictions for wide-field surveys analyses
Chatterjee Gauging the inner mass power spectrum of early-type galaxies
Avestruz et al. Automated Lensing Learner-I: An Automated Strong Lensing Identification Pipeline

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant