CN109598698B - 用于对多个项进行分类的系统、方法和非暂时性计算机可读取介质 - Google Patents

用于对多个项进行分类的系统、方法和非暂时性计算机可读取介质 Download PDF

Info

Publication number
CN109598698B
CN109598698B CN201811133946.XA CN201811133946A CN109598698B CN 109598698 B CN109598698 B CN 109598698B CN 201811133946 A CN201811133946 A CN 201811133946A CN 109598698 B CN109598698 B CN 109598698B
Authority
CN
China
Prior art keywords
defects
class
defect
user
given
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811133946.XA
Other languages
English (en)
Other versions
CN109598698A (zh
Inventor
阿萨夫·阿斯巴克
波阿斯·科恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Applied Materials Israel Ltd
Original Assignee
Applied Materials Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Applied Materials Israel Ltd filed Critical Applied Materials Israel Ltd
Publication of CN109598698A publication Critical patent/CN109598698A/zh
Application granted granted Critical
Publication of CN109598698B publication Critical patent/CN109598698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了一种系统、方法和非暂时性计算机可读取介质。所述系统能够对缺陷进行分类并且包括：基于硬件的GUI部件；及处理和存储电路，所述处理和存储电路经配置以：a.在获得提供多个缺陷和其属性值的信息的数据之后，使用所述属性值产生将所述多个缺陷分为多个类的初始分类；b.针对给定类，由所述基于硬件的GUI部件向用户呈现以低似然性被初始分类为所述给定类的缺陷的图像，其中所述图像连同以最高似然性被初始分类为所述给定类的一个或多个缺陷的图像一起呈现；和c.在由所述用户使用所述基于硬件的GUI部件确认将所述至少一个缺陷分类为所述给定类的情况下，将所述至少一个缺陷指示为属于所述给定类。

Description

用于对多个项进行分类的系统、方法和非暂时性计算机可读 取介质
技术领域
本文公开的主题涉及检查对象(例如，晶片、掩模版等)，并且尤其是，涉及对通过检查对象的被捕获的图像而检测到的缺陷进行分类，并且涉及产生分类模型。
背景技术
对与所制造的器件的超大规模集成相关联的高密度和性能的当前需求需要亚微米特征、增加的晶体管和电路速度、和提高的可靠性。此类需求需要形成具有高精确度和均匀性的器件特征，这继而有必要小心监控制造工艺，其中包含在器件仍处于半导体晶片的形式时频繁且详细地检验所述器件。
本说明书中使用的术语“对象”应广泛地被解释为涵盖用于制造半导体集成电路、磁头、平板显示器和其它半导体制造的对象的任何种类的晶片、掩模和其它结构的样品，上述的组合和/或部分。
本说明书中使用的术语“缺陷”应广泛地被解释为涵盖在晶片上或晶片内形成的任何种类的异常或不期望的特征。
复杂的对象制造工艺并不是无误的，并且这些错误可能导致制造的对象中的瑕疵。瑕疵可包含可能损害对象操作的缺陷，以及可为缺陷的滋扰(nuisance)，但不导致所制造单元的任何损害或故障。作为非限制性示例，由原材料中的瑕疵，机械、电或光学误差，人为误差或其它原因所致，在制造工艺期间可导致缺陷。此外，缺陷可由空间时间因素导致，所述因素诸如在检查工艺期间的一个或多个制造阶段之后出现的晶片温度改变，这可导致一些晶片变形。例如由检查设备或工艺中的光学、机械或电问题所致，检查工艺也可以引入另外的所谓的误差，因此提供不完全捕获。此种误差可产生假阳性发现，它看上去似乎含有缺陷，但实际上在所述区域处不存在缺陷。
在许多应用中，缺陷的类型或类是重要的。例如，可将缺陷分类为多个类中的一种，诸如颗粒、刮痕、工艺等。
除非另作具体声明，否则本说明书中使用的术语“检查”应广泛地被解释为涵盖任何类对于对象中的缺陷的检测和/或分类。检查通过在制造待检查的对象期间或之后使用非破坏性检验工具来提供。作为非限制性示例，检查工艺可以包含使用一个或多个检验工具扫描(单次或多次扫描)、取样、审查、测量、分类和/或关于对象或其部分提供的其它操作。同样，检查可以在制造待检查的对象之前提供，并且可以包含例如产生检查方案。注意到，除非另作具体声明，否则本说明书中使用的术语“检查”或其衍生词不限于关于所检验区域的大小或扫描的速度或分辨率。作为非限制性示例，各种非破坏性检验工具包含光学检验工具、扫描电子显微镜、原子力显微镜等。
检查工艺可以包含多个检查步骤。在制造工艺期间，例如，在制造或处理某些层或类似者之后，检查步骤可以执行多次。另外或替代地，例如针对不同的晶片位置或针对具有不同检查设置的相同晶片位置，每个检查步骤可以重复多次。
作为非限制性示例，运行时间检查可以采用两步过程，例如，检验样品接着审查取样缺陷。在检验步骤期间，样品或其部分的表面(例如，关注区域、热点等)通常以相对高速度和/或低分辨率来扫描。分析所捕获的检验图像来检测缺陷并获得所述缺陷的位置和其它检验属性。在审查步骤处，在检验阶段期间检测的至少一些缺陷的图像通常以相对低的速度和/或高分辨率被捕获，由此实现分类以及任选地，至少一些缺陷的其它分析。在一些情况下，两个阶段都可以由相同检验工具来实现，并且在一些其它情况下，这两个阶段由不同的检验工具来实现。
发明内容
所公开的主题的一个方面涉及一种能够对缺陷进行分类的系统，包括：基于硬件的CUI部件；及处理和存储电路(PMC)，经配置以：在获得提供多个缺陷和其属性值的信息的数据之后，使用所述属性值来产生将所述多个缺陷初始分类为多个类；针对来自所述多个类的给定类，由所述基于硬件的GUI部件向用户呈现以低似然性被初始分类为所述给定类的缺陷图像，其中所述图像连同以最高似然性被初始分类为所述给定类的一个或多个缺陷的图像一起呈现；和在由所述用户使用所述基于硬件的GUI部件确认将所述缺陷分类为所述给定类的情况下，将所述缺陷指示为属于所述给定类。在所述系统内，PMC任选地进一步经配置以针对以最低似然性被初始分类为给定类的预定数量的缺陷或针对以低于预定阈值似然性的似然性被初始分类为给定类的所有缺陷重复操作b)和c)。在所述系统内，将多个缺陷初始分类为多个类任选地包括：根据属性值将所述多个缺陷群集为群集；由基于硬件的GUI部件向用户呈现被群集为来自所述群集中的一个群集的一个或多个缺陷；和在使用所述基于硬件的GUI部件从用户接收对一个或多个缺陷形成一个群集的批准的情况下，基于所述群集产生类，并且接收所述类的标识符。在所述系统内，PMC任选地进一步经配置以：在由用户使用基于硬件的GUI部件拒绝将缺陷分类为给定类的情况下：使用基于硬件的GUI部件向用户呈现具有第二类的表示的缺陷；和在由用户使用基于硬件的GUI部件确认将缺陷分类为所述第二类的情况下，将缺陷指示为属于所述第二类。在所述系统内，将缺陷分类为给定类的似然性任选地高于将缺陷分类为第二类的似然性。在所述系统内，PMC任选地进一步经配置以：在使用基于硬件的GUI部件从用户接受对将缺陷分类为第二类的拒绝的情况下：使用所述基于硬件的GUI部件向用户呈现具有多个额外的缺陷的缺陷；和使用基于硬件的GUI部件从用户接收第三类的标识符；和将所述缺陷指示为属于所述第三类。在所述系统内，PMC任选地进一步经配置以：使用基于硬件的GUI部件从用户接收对来自多个额外的缺陷的一个额外的缺陷的指示；和将所述额外的缺陷指示为属于第三类。在所述系统内，PMC任选地进一步经配置以：在完成向用户呈现被分类为多个类的缺陷之后：向用户呈现非关联的缺陷；从用户接收第四类的标识符，所述非关联的缺陷将与所述第四类关联；和使所述非关联的缺陷与所述第四类关联。在所述系统内，PMC任选地进一步经配置以出于选自由下列组成的群组的目的使用如与多个类关联的多个缺陷：基于项与类的关联训练分类器、确定检查工具的配置参数、和样品设计。
所公开的主题的另一方面涉及一种将样品中的缺陷分类为多个类的方法，所述方法包括：在由处理和存储电路(PMC)获得提供多个缺陷和其属性值的信息的数据之后，使用所述属性值来使用PMC将所述多个缺陷初始分类为所述多个类；针对来自多个类的给定类，向用户呈现以低似然性被初始分类为所述给定类的缺陷图像，其中所述图像连同以最高似然性被初始分类为所述给定类的一个或多个缺陷的图像一起呈现；和在由用户确认将缺陷分类为所述给定类的情况下，将所述缺陷指示为属于所述给定类。所述方法可以进一步包括针对以最低似然性被初始分类为给定类的预定数量的缺陷或针对以低于预定阈值似然性的似然性被初始分类为给定类的所有缺陷重复操作b)和c)。在所述方法内，将多个缺陷初始分类为多个类任选地包括：根据属性值将所述多个缺陷群集为群集；向用户呈现被群集为来自所述群集中的一个群集的一个或多个缺陷；和在从用户接收批准一个或多个缺陷形成一个群集的情况下，基于所述群集产生类，并且接收所述类的标识符。所述方法可以进一步包括：在由用户拒绝将缺陷分类为给定类的情况下：向用户呈现具有第二类的表示的缺陷；和在由用户确认将缺陷分类为所述第二类的情况下，将缺陷指示为属于所述第二类。在所述方法内，将缺陷分类为给定类的似然性任选地高于将缺陷分类为第二类的似然性。所述方法可以进一步包括：在接收用户对将缺陷分类为第二类的拒绝的情况下：向用户呈现具有多个额外的缺陷的缺陷；和从用户接收第三类的标识符；和将所述缺陷指示为属于所述第三类。所述方法可以进一步包括：从用户接收对来自多个额外的缺陷的一个额外的缺陷的指示；和将所述额外的缺陷指示为属于第三类。所述方法可以进一步包括：在完成向用户呈现被分类为多个类的缺陷之后：向用户呈现非关联的缺陷；从用户接收第四类的标识符，所述非关联的缺陷将与所述第四类关联；和使所述非关联的缺陷与所述第四类关联。所述方法可以进一步包括出于选自由下列组成的群组的目的使用如与多个类关联的多个缺陷：基于项与类的关联训练分类器、确定检查工具的配置参数、和样品设计。
所公开的主题的另一方面涉及一种非暂时性计算机可读取介质，当由计算机读取时，所述指令致使计算机：在获得提供多个缺陷和其属性值的信息的数据之后，使用所述属性值来实现将所述多个缺陷初始分类为所述多个类；针对来自多个类的给定类，向用户呈现以低似然性被初始分类为所述给定类的缺陷图像，其中所述图像连同以最高似然性被初始分类为所述给定类的一个或多个缺陷的图像一起呈现；和在由用户确认将缺陷分类为所述给定类的情况下，将所述缺陷指示为属于所述给定类。
附图说明
为了理解本发明并了解本发明如何在实践中执行，现将参考附图仅作为非限制性示例来描述实施方式，在附图中：
图1图示根据本文公开的主题的某些实施方式的检查系统的方框图；
图2A图解根据本文公开的主题的某些实施方式的用于对缺陷进行分类的方法的概括性流程图；
图2B图解根据本文公开的主题的某些实施方式的用于对缺陷进行分类的方法的详细流程图；
图3为根据本文公开的主题的某些实施方式的接收关于无监督群集的用户审查的显示的说明性示例；和
图4为根据本文公开的主题的某些实施方式的接收对建议被分类为一个类的缺陷的用户审查的显示的说明性示例。
具体实施方式
在以下详细描述中，阐述一些具体细节来提供对本发明的全面理解。然而，本领域的技术人员将理解，本文公开的主题可在不具有这些具体细节的情况下实践。在其它示例中，熟知方法、过程、部件和电路尚未详细描述，以免混淆本文公开的主题。
除非另作具体声明，如从以下讨论显而易见的，了解到在整个本说明书的讨论中，采用术语诸如“确定”、“计算”、“处理”、“运算”、“表示”、“比较”、“产生”、“估计”、“匹配”、“处理”、“选择”或类似术语是指将数据操纵和/或变换为其它数据的计算机的动作和/或处理，所述数据表示为物理的，诸如电子、数量和/或表示物理对象的所述数据。术语“计算机”应广泛地被解释为涵盖任何种类的具有数据处理能力的基于硬件的电子装置，作为非限制性示例，所述电子装置包含在本申请中公开的FPEI系统和其部件。
在本说明书中使用的术语“分类”应广泛地被解释为涵盖任何种类的将项分配为类集合，使得为每个项分配一个类。类可由用户定义或以其它方式接收。也可接收训练集，所述训练集包括项集合和类，将每个项分配至所述类。分类器可随后在训练集上训练，使得另外的项可以根据它们与来自训练集的项或与由训练确定的类特性的相似性或不相似性来分类。
在本说明书中使用的术语“主动学习”应广泛地被解释为涵盖任何种类的半监督机器学习，其中学习算法能够查询用户或数据源的另一来源以获得关于输入的输出，诸如一个或多个数据点。在许多情况下，诸如当捕获缺陷时，过剩的数据是可用的，然而，人工或其它可信标记成本很高。在此情况下，学习算法可以主动且反复地查询用户标签。
当检查对象时，每个缺陷可由分配给多个属性的值表征，所述属性诸如大小、颜色、背景颜色、出现的上下文、形状、纹理等。属性数量不受限制并且可以在一与数千之间变化。可训练分类器，并且分类可基于项之间的邻近、或在项与类特性之间的邻近。邻近可根据可应用的距离函数定义，例如基于属性空间和每种属性的值范围定义的距离。
每个缺陷可随后基于其属性值被自动分类为多个类中的一个类，诸如颗粒、刮痕、工艺等。
本文使用的术语“非暂时性存储器”和“非暂时性存储介质”应广泛地被解释为涵盖适用于本文公开的主题的任何易失性或非易失性计算机存储器。
了解到，除非另作具体声明，在独立实施方式的上下文中描述的本文公开的主题的某些特征亦可以在单个实施方式中组合提供。相反地，在单个实施方式的上下文中描述的本文公开的主题的各种特征也可以分别提供或以任何合适的子组合提供。在以下详细描述中，阐述一些具体细节以提供对方法和设备的全面理解。
有鉴于此，参见图1，示出根据本文公开的主题的某些实施方式的检查系统的概括性方框图。图1中示出的检查系统100可以用于检查(例如，晶片和/或其部件的)对象的缺陷。检查可以为对象制造的一部分，并且可以在制造对象期间或其后执行。所示出的检查系统100包括基于计算机的系统103，所述系统能够使用在对象制造之前、期间或之后获得的图像(下文称为制造工艺(FP)图像)和/或其衍生物来自动地确定度量(metrology)有关和/或缺陷有关的信息。缺陷检测系统103在下文称为制造工艺检查信息(FPEI)系统103。FPEI系统103可以可操作地连接到一个或多个检验工具101和/或一个或多个审查工具102。检验工具101经配置以捕获检验图像(通常，以相对高速度和/或低分辨率)。审查工具102经配置以捕获由检验工具101检测的至少一些缺陷的审查图像(通常，以相对低速度和/或高分辨率)。
FPEI系统103可以进一步可操作地连接到设计服务器110和数据储库109。
对象可以由检验工具101(例如，光学检验系统、低分辨率SEM等)检查。提供所显示潜在缺陷的信息的所得图像和/或其衍生物(下文共同称为检验数据121)可以直接或经由一个或多个中间系统传输到FPEI系统103。如将参考下图进一步详述的，FPEI系统103经配置以经由输入接口105接收由检验工具101产生的数据和/或在一个或多个数据储库109和/或设计服务器110中存储的数据，数据诸如使用基于硬件的图形用户接口(GUI)120和/或另一相关数据储库从用户接收的指示。检验数据121可以指示潜在缺陷的位置和所述缺陷的其它属性。
FPEI系统103进一步经配置以处理所接收数据并经由输出接口106将结果(或其部分)发送到存储系统107、检查工具、用于向用户呈现结果的基于计算机的图形用户接口(GUI)120(例如在显示装置(未图示)上)、和/或另外的检查工具、外部系统或存储装置和/或外部系统(例如，FAB的收益管理系统(YMS)、方案节点等)。GUI 120可以进一步经配置以实现关于操作FPEI系统103并且具体来说关于分类系统112的用户指定的输入。
如将参考下图进一步详述，FPEI系统103可以经配置以处理所接收的检验数据(任选地与其它数据一起，例如，设计数据和/或缺陷分类数据)来选择用于审查的潜在缺陷。注意到，用于审查的潜在缺陷在下文也被称为用于审查的缺陷。
FPEI系统103可以将处理结果(例如，指令相关数据125和/或潜在缺陷124)发送到任何检查工具、将结果(例如，缺陷分类)存储在存储系统107中、经由GUI 108将结果呈现和/或发送到外部系统(例如，到YMS、方案节点等)。
样本可以由审查工具102进一步检查。根据由FPEI系统103产生的数据的针对审查选择的潜在缺陷位置的子组可以由扫描电子显微镜(SEM)或原子力显微镜(AFM)等审查。提供审查图像和/或其衍生物的信息的所得数据(下文称为审查数据122)可以直接或经由一个或多个中间系统传输到FPEI系统103，并且可以用于进一步选择用于审查的潜在缺陷、分类所审查的缺陷等。
FPEI系统103包括处理器和存储器电路(PMC)104，PMC 104可操作地连接到基于硬件的输入接口105和基于硬件的输出接口106。如参考下图进一步详述，PMC 104经配置以提供操作FPEI系统103所必须的处理，并且包括处理器(未分别图示)及存储器(未分别图示)。PMC 104的处理器可以经配置以根据计算机可读取指令执行多个功能模块，所述计算机可读取指令在PMC 104中包括的非暂时性计算机可读取存储器上实现。此类功能模块下文被称为包括在PMC 104中。在处理器中包括的功能模块包含或可操作地连接到分类系统112，包括群集引擎113、分类引擎114(也称为分类器)、训练引擎115和缺陷选择呈现引擎116。
本领域的技术人员将容易了解，本文公开的主题的教示不限于图1所示的系统；等效和/或修改的功能可以另一方式合并或分开，并且可以以软件与固件和/或硬件的任何适当组合来实现。
应注意到，图1所示的检查系统可以在分布式计算环境中实现，其中先前提及的图1所示的功能模块可以分布在多个本地和/或远端装置上，并且可以通过通信网络连接。进一步注意到，在其它实施方式中，检查工具101和/或102、数据储库109、存储系统107和/或GUI 108的至少部分可以在检查系统100外部并且经由输入接口105和输出接口106与FPEI系统103数据通信地操作。FPEI系统103可以实现为与检查工具结合使用的独立式计算机。或者，FPEI系统103的相应功能可以至少部分与一个或多个检查工具、处理控制工具、方案产生工具、用于自动缺陷审查和/或分类的系统、和/或有关检查的其它系统集成。
本领域的技术人员将容易了解，本文公开的主题的教示不限于图1所示的系统；等效和/或修改的功能可以另一方式合并或分开，并且可以软件与固件和硬件的任何适当组合来实现。
通常，所检查的对象由检验工具101捕获，从而捕获对象或其部分的一个或多个图像。所述图像可覆盖物件中的一层或多层的整个区域、或其任何部分。例如，由于捕获所检查对象的类型的取样对象，使用默认(default)方案或修改方案拍摄并分析所述图像。
检查系统分析所捕获图像并确定多个潜在缺陷位置。检查系统100可以随后从潜在缺陷中选择用于审查的多个位置。位置可以被选择为对应于具有为真缺陷的最高概率的潜在缺陷、选择在对象区域上方均匀分布的位置、或根据其它考量。
所选择位置或其一些位置可以随后由审查工具102成像。可以随后分析图像，用于由自动缺陷识别(ADR)模块111确定每个成像位置是否确实包括缺陷。
真实缺陷和任选地额外的缺陷，例如，滋扰(其为不导致损害的缺陷)，可表达为分配给多个属性的值的集合，并且可以使用分类系统112的分类引擎114来分类为预定类的集合中的一个。术语分类和关联在下文公开内容中可互换地使用。
额外地或可替代地，分类系统112可以用于分类项集合，诸如在任何其它时间从任何其它源接收的缺陷。分类系统112可以采用主动学习技术，以有效获得训练集中。主动学习可以包含选择少数示例并请求用户针对所述示例审查所建议分类，因此以用户的相对较少努力产生用于分类器的训练集中。
分类引擎114可以在训练集之后由分类器训练引擎115来训练，其中在训练之后，分类引擎114可以对缺陷进行分类。训练集可以包括多个缺陷，每个缺陷表达为属性值的集合，并且每个缺陷与类之一的关联也被称为标记。
然而，获得训练集是价值不大的。缺陷(诸如由检验工具101或审查工具102输出的缺陷)的集合可以包括数万至数百万的缺陷，其中分类器可在所述缺陷上训练，例如在数千的数量级。然而，选择待由人类标记的样品价值也不大。随机选择易于导致常见缺陷或来自密集区域的缺陷的过度表示以及在所有其它缺陷处的过少表示或无表示。也应注意到，当分类大量缺陷时，可发生人为误差，其可等于40％的误差率。将了解到，也在其它情况下，例如当对改良分类的需求提高时，可能需要标记或分类大量缺陷。在另一示例中，当校准方案时，可能需要扫描晶片并检查所发现的缺陷群体，此举需要群体分类以验证已表示所有分类。在另一示例中，所分类的群体可以在新对象的研究和发展(R&D)阶段期间使用。另外的示例涉及改良分类器性能、选择分歧群体之间的自动且稳定阈值以降低操作者之间的不一致性等。
如下文详述，分类系统112可以用于以半自动方式有效地对大量缺陷或其它项进行分类。
现参考图2A，示出了根据本文公开的主题的某些实施方式的用于对缺陷进行分类的工艺的概括性流程图。
分类系统112可以获得(200)将多个缺陷初始分类为类。初始分类可能不被处理为使缺陷与类正相关的“基本真值”，而是更多地被处理为另外的分类。初始分类可通过以下步骤来获得：将多个缺陷群集为群集；向用户提供类；和在批准缺陷被正确群集之后，向每个此群集提供标识符，诸如名称或数量，因此将群集视为类。
分类系统112可以启动关联呈现模块123，用于检查缺陷与类的关联(204)。检查可以通过向用户提供每个分类多个缺陷来针对每个类执行，其中将缺陷自动分类为类，并且以最高似然性将缺陷分类为类。每个此呈现包括提供缺陷图像和被分类为所述类的其它缺陷图像(或若不存在正向分类的缺陷，则包括被初始分类为所述类的缺陷图像)。用户可以随后决定缺陷是否应当确实与类关联，例如被分类为该类。若用户指示缺陷不与类关联，则可再次向缺陷提供有一个或多个其它类，以较低似然性将缺陷自动分类为所述其它类。可以确定的是，针对每个类，向用户提供的缺陷可为那些分类到类的最有问题的缺陷。例如，若以90％的确定性将第一缺陷分类为类A(并且以更低似然性将第一缺陷分类为其它类)，并且以20％的确定性将第二缺陷分类为类A(并且以更低似然性将第二缺陷分类为其它类)，则优先请求用户关于第二缺陷与类A的关联，由于第二缺陷在估计类边界方面更为有用。
若缺陷不与任何所提供类关联，则向缺陷提供与其类似的其它缺陷(216)。例如，若将每个缺陷表示为针对多个属性的值的集合，则类似缺陷可为在属性空间中接近所述缺陷的那些缺陷。用户可以随后使缺陷或其它所提供的缺陷与任何现有类关联，并且不限于接受或拒绝所提供的类。
若确定(208)缺陷属于一类(第一所提供类、第二所提供类等)，除非用户选择结束212处理，否则所述处理针对另外的缺陷继续。
一旦已经为缺陷提供所有类，或若用户人工选择结束处理，则可结束所述处理(212)。可通过在正相关的缺陷上训练分类器来结束处理。处理可随后接着向用户提供另外的非关联缺陷和相关类的进一步迭代。
一旦结束，就意味着请求用户结束或已经为预定数量的缺陷提供每个类并且所述缺陷与所述类或另一类关联，可执行一些关闭操作(220)，这取决于具体应用或需要。
现参考图2B，示出了根据本文公开的主题的某些实施方式的用于分类项(诸如缺陷)的工艺的详细流程图。
群集引擎113可以接收多个缺陷，每个缺陷表征或表示为属性值的集合。群集引擎113可以随后将项群集(240)为多个群集。群集可以基于在属性空间中的距离，但也基于其它度量，例如基于信息理论或概率量度。也可以理解，空间探索属性空间不限于群集，并且可使用其它技术。
群集可以使用任何无监督群集方法，诸如但不限于K均值或K中心点(K-medoids)群集，其中K不是给定先验(a-priori)、均值偏移群集、分级群集、OPTICS+群集、GMM、光谱群集或当前已知或将来变为已知的任何其它群集方法。群集数量可限于可以由人类管理的数量，诸如在10与100之间。
在一些示例性实施方式中，群集可以通过将两个最远缺陷选择为群集中心开始，其中在属性空间中测量缺陷之间的距离。随后，可以选择距离两个缺陷最远的第三缺陷，其中可以将距离确定为距两个初始缺陷的距离的总和、平方距离的总和等。因此，可以将每个下个缺陷选择为距所有先前选择的缺陷最远的缺陷，直至获得所需数量的群集。此方法可被认为是探查，其中尝试形成具有覆盖大部分属性空间的缺陷的群集。
选择最远缺陷本身也可以用作初始化方法，来替代群集使用。
一旦群集了缺陷，关于一个或多个群集的用户指示可以经由GUI 120的群集呈现模块121接收(244)。可在向用户显示群集之后接收用户指示。
现也参考图3，示出了接收关于由无监督群集产生的群集的用户审查的显示的说明性示例。
如窗格300中所示，GUI 120的群集呈现121可以向用户显示群集表示。显示可包括项图像，例如，被群集为相同群集的缺陷图像。显示可进一步包括文本框316，其中用户可以基于群集向类提供标记，例如，适当名称、描述或另一标识符。在用户确认缺陷确实相关于相同群集的情况下，可提供标识符。否则，用户可以分别使用按钮308和310忽略并移动到上一个或下一个群集。若所显示缺陷的显著部分似乎相关于彼此，则用户可接受群集，尽管其它缺陷(诸如缺陷304)似乎不相关。在一些实施方式中，用户可接受群集，同时拒绝具体缺陷与所述缺陷关联。
用户也可将已经存在类的标识符输入文本框316中，因此指示当前缺陷应当与存在类关联。一旦标识符是可用的，群集可被认为成类。
在多个方法中，待向用户显示的缺陷可从被群集为相同群集的多个缺陷中选择。例如，可选择尝试表示群集的一组缺陷，诸如具有到其它缺陷的低累加距离的群集、具有接近所群集项的平均属性值的属性值的缺陷、或以任何其它方式。
群集(240)和接收用户指示(244)构成获得初始分类(200)的示例性实现方式。
如下文详述，重复执行以下步骤，直到满足停止准则。
一旦已经获得分类，训练引擎115可在缺陷与所产生类关联之后训练(248)分类器。
注意到，在第一迭代上，尚未有缺陷由用户正向指示为与类关联。而是，所标识类可包括尚未与类正相关而是显示为群集的部分的缺陷。
在第二和后续迭代中，在缺陷与每个类正相关之后训练分类器。
分类引擎114可以分类(252)尚未与类正相关的所有项。在第一迭代上，由于缺陷均未由用户独立地指示为与类正相关，可分类所有缺陷。分类可以通过检查缺陷与每个类的关联来实现，因此确定多个置信水平，每个置信水平指示缺陷确实与所述类关联的置信度。
缺陷选择引擎116可以随后为每个类选择(256)缺陷数量，针对所述缺陷数量，在当前迭代上与所述类关联的置信水平高于与其它类关联的置信水平。取决于置信水平、在用户设置的情况下等，可以关于被分类为特定类的项数量预定所述数量。
在一些示例中，选择的缺陷可为以最高置信水平被分类为特定类的缺陷，其中第二高置信水平接近最高置信水平，例如至多由预定差区分，这意味着此缺陷的分类可为有分歧的。
在另外的方法中，选择的缺陷可为被分配至所述类的似然性低于被分配至所述类的其它缺陷的似然性的缺陷。
缺陷选择(256)也可以采用用于选择待由用户审查的缺陷的其它方法。一种方法被称为开发，其中以较高概率选择接近类中心的缺陷，例如，接近针对每个属性具有一值的点的缺陷，所述值为与所述类关联的缺陷的属性值的平均值。被称为探查的另一种方法可查找距类中心最远的缺陷，以定义类边界。
将了解到，也可使用两种方法的组合，其中一些缺陷通过探查选择，而其它缺陷通过开发选择。
另一方法被称为“由委员会查询”，所述方法采用训练多个分类模型。模型无法确定的缺陷(即，不同模型将这些缺陷分类为不同类)更易于选择，由于针对这些缺陷接收用户的输入可以帮助明确它们的关联。
又一种方法被称为“期望误差减少”，其中将缺陷分类为每个类，并且在任何此分类之后构造模型。被分类直到所述时间的缺陷随后由每个分类器再次分类。可以选择与最小误差率关联的缺陷。然而，由模型的较大数量作为样本数量乘以类数量所致，此种方法需要密集的计算资源。因此，若使用此种方法，可需要一些试探法(heuristics)以减少模型数量。
也将了解到，所采取方法可在迭代之间变化。例如，为了在基于群集的第一迭代中在短时间内获得对大量缺陷的分类，缺陷可通过开发选择，而后面的迭代可通过探查选择更多缺陷。
GUI 120的关联呈现123可以随后向用户显示缺陷的图像或另一表示，以及与最高置信水平关联的类的图像或另一表示，并且从用户接收(260)项是否确实属于所述类并且应当与其关联的指示。所建议类可由与所述类关联的缺陷图像的集合来显示。
所公开方法提供了选择提供信息的样本而无冗余。分配类随后应用到未标记的缺陷来产生训练集中。
现参考图4，示出了接收建议分类为一类的缺陷的用户审查的显示的说明性示例。
表示可包括缺陷图像400和类表示，包括例如窗格404，所述窗格显示先前与类关联的多个缺陷图像。将了解到，在初始分类之后并且在任何特定缺陷与类正相关之前，可显示被群集到所述类所基于的群集的缺陷图像。
表示包括对照，诸如用户指示缺陷400是否与类关联的复选框408和412。
在另外的实现方式中，可同时提供而非相继提供建议与类关联的多个缺陷，并且用户可以针对每个缺陷指示所述缺陷是否确实与类关联。
若用户指示所显示缺陷不与类关联，则GUI 120的关联呈现123可以显示缺陷和置信水平为第二高的类，并且接收(264)缺陷是否属于第二类的用户指示。将了解到，若用户指示缺陷不与类关联，则另外类可针对用户指示显示。所尝试的类数量可预定(例如三个)、或以任何其它方式设置。
可以理解，尽管存在其它方法，仅给予用户指示缺陷是否与类关联的选项而非多个选择，这提供了快节奏和误差率降低。
在一些实施方式中，若用户不使缺陷与任何建议类关联，则可向用户提供(216)当前缺陷和与当前缺陷类似的其它缺陷。用户可以随后具有先前可能不可用的选项来为缺陷从分类下拉菜单420中选择任何类。利用此显示，用户可以将其它缺陷中的一个或多个缺陷指示为也与相同类关联。
以上步骤可以重复，直到满足停止准则，例如，用户已请求结束处理，已执行预定数量的迭代，不存在非关联缺陷，所有非关联缺陷接近例如距关联缺陷小于预定值的距离处并且可以因此假定为属于相同类，在迭代之间的非关联缺陷的数量落到预定阈值以下，在迭代之间的类特性改变低于预定阈值，已经使用了最大时间等。
一旦已满足停止准则，则可执行关闭操作(220)。
一旦完成分类，可以多个方式利用(272)分类。出于诸如产品的研究和发展(R&D)之类的目的，一种此方式是简单地使用缺陷的分类集中。另外的目的可为训练分类器，用于分类另外的缺陷。又一目的可为调节一个或多个检查工具的参数，例如调节方案。
本公开内容可以用于有效地接收多个缺陷的用户验证的分类。分类的缺陷可以原样用于训练分类器、检查其它分类或任何其它目的。
可以理解，本公开内容不限于对缺陷进行分类，并且可以用于任何领域中的项的任何分类器。
应理解，本发明不限于应用到在本文含有的描述中阐述或在图中示出的细节。本发明能够具有其它实施方式并且以各种方式实践和实现。因此，应理解，本文采用的措辞和术语是出于描述的目的并且不应当被认为是限制。因此，本领域的技术人员将了解，本公开内容所基于的概念可容易用作设计其它结构、方法和系统的基础，以用于实现本文公开的主题的多个目的。
也可以理解，根据本发明的系统可至少部分地在合适的程序计算机上实现。同样，本发明预期可由计算机读取的计算机程序用于执行本发明的方法。本发明进一步预期一种有形地实现指令程序的非暂时性计算机可读取存储器，所述指令可由计算机执行用于执行本发明的方法。
本领域的技术人员将容易了解，在不脱离本发明的在随附权利要求书所限定的保护范围的情况下，可以对如上文描述的本发明的实施方式应用各种变型和修改。

Claims (19)

1.一种辅助用户对由检验工具检验的半导体样品中的缺陷进行分类的系统，所述缺陷包括在所述半导体样品上或所述半导体样品内形成的异常或不期望的特征，所述系统包括：
基于硬件的图形用户界面(GUI)部件；和
处理和存储电路(PMC)，用于：
i)在获得提供多个缺陷和其属性值的信息的数据之后，基于所述属性值来产生将所述多个缺陷的至少部分与多个类关联的初始分类，基于所述初始分类训练分类器，并且使用所训练的分类器来对所述多个缺陷的尚未与任何类关联的至少部分进行分类，并且确定所分类的缺陷属于所述多个类的相应类的似然性；
ii)针对来自所述多个类的每个给定类，
由所述基于硬件的GUI部件向所述用户呈现来自一组缺陷的每个给定缺陷的图像，所述一组缺陷以属于所述给定类的低似然性被分类为所述给定类；
在所述基于硬件的GUI部件的区域中同时地呈现以属于所述给定类的最高似然性被分类为所述给定类的一个或多个示例缺陷的图像；
基于每个给定缺陷与所述一个或多个示例缺陷的视觉比较，经由所述基于硬件的GUI部件实现用户人工指示是否将所述给定缺陷分类为所述给定类，其中所述人工指示基于二元选择，由此基于所述人工指示产生所述多个缺陷的更新的分类，所述更新的分类包括在每个给定类中的所述一组缺陷的更新的标签；和
iii)使用所述更新的分类来重新训练所述分类器，并且重复所述的ii)直到满足停止准则。
2.如权利要求1所述的系统，其中所述一组缺陷是以最低似然性被初始分类为所述给定类的预定数量的缺陷或以低于预定阈值似然性的似然性被初始分类为所述给定类的所有缺陷。
3.如权利要求1所述的系统，其中将所述多个缺陷初始分类为所述多个类包括：
根据所述属性值将所述多个缺陷群集为群集；
由所述基于硬件的GUI部件向所述用户呈现被群集为来自所述群集中的至少一个群集的一个或多个缺陷；和
在使用所述基于硬件的GUI部件从所述用户接收对所述一个或多个缺陷形成一个群集的批准的情况下，基于所述至少一个群集产生类，并且接收所述类的标识符。
4.如权利要求1所述的系统，其中所述PMC进一步用于：
在由所述用户使用所述基于硬件的GUI部件拒绝将所述给定缺陷分类为所述给定类之后：
使用所述基于硬件的GUI部件向所述用户呈现以属于第二类的最高似然性被分类为所述第二类的一个或多个示例缺陷的图像；和
在由所述用户使用所述基于硬件的GUI部件确认将所述给定缺陷分类为所述第二类的情况下，将所述至少一个缺陷指示为属于所述第二类。
5.如权利要求4所述的系统，其中将所述给定缺陷分类为所述给定类的第一似然性高于将所述给定缺陷分类为所述第二类的第二似然性。
6.如权利要求4所述的系统，其中所述PMC进一步用于：
在使用所述基于硬件的GUI部件从所述用户接收对将所述给定缺陷分类为所述第二类的拒绝的情况下：
使用所述基于硬件的GUI部件向所述用户呈现具有多个额外的缺陷的所述给定缺陷；
使用所述基于硬件的GUI部件从所述用户接收第三类的标识符；和
将所述给定缺陷指示为属于所述第三类。
7.如权利要求6所述的系统，其中所述PMC进一步用于：
使用所述基于硬件的GUI部件从所述用户接收对来自所述多个额外的缺陷的至少一个额外的缺陷的指示；和
将所述至少一个额外的缺陷指示为属于所述第三类。
8.如权利要求1所述的系统，其中所述PMC进一步用于：
在完成向所述用户呈现被分类为所述多个类的缺陷之后：
向所述用户呈现至少一个非关联缺陷；
从所述用户接收第四类的标识符，所述至少一个非关联缺陷将与所述第四类关联；和
将所述至少一个非关联缺陷与所述第四类关联。
9.如权利要求1所述的系统，其中所述PMC进一步用于在满足所述停止准则之后，出于选自由下列组成的群组的目的使用所述多个缺陷的所述更新的分类：确定检查工具的配置参数，和样品设计。
10.一种辅助用户对由检验工具检验的半导体样品中的缺陷进行分类的方法，所述缺陷包括在所述半导体样品上或所述半导体样品内形成的异常或不期望的特征，所述方法包括：
i)在由处理和存储电路(PMC)获得呈现多个缺陷和其属性值的信息的数据之后，基于所述属性值来使用所述PMC将所述多个缺陷的至少部分初始分类为与多个类关联，基于所述初始分类训练分类器，并且使用所训练的分类器来对所述多个缺陷的尚未与任何类关联的至少部分进行分类，并且确定所分类的缺陷属于所述多个类的相应类的似然性；
ii)针对来自所述多个类的每个给定类，
向所述用户呈现来自一组缺陷的每个给定缺陷的图像，所述一组缺陷以属于所述给定类的低似然性被分类为所述给定类；
同时地呈现以属于所述给定类的最高似然性被分类为所述给定类的一个或多个示例缺陷的图像；
基于每个给定缺陷与所述一个或多个示例缺陷的视觉比较，实现所述用户人工指示是否将所述给定缺陷分类为所述给定类，其中所述人工指示基于二元选择，由此基于所述人工指示产生所述多个缺陷的更新的分类，所述更新的分类包括在每个给定类中的所述一组缺陷的更新的标签；和
iii)使用所述更新的分类来重新训练所述分类器，并且重复所述的ii)直到满足停止准则。
11.如权利要求10所述的方法，其中所述一组缺陷是以最低似然性被初始分类为所述给定类的预定数量的缺陷或是以低于预定阈值似然性的似然性被初始分类为所述给定类的所有缺陷。
12.如权利要求10所述的方法，其中将所述多个缺陷初始分类为所述多个类包括：
根据所述属性值将所述多个缺陷群集为群集；
向所述用户呈现被群集为来自所述群集中的至少一个群集的一个或多个缺陷；和
在从所述用户接收对所述一个或多个缺陷形成一个群集的批准的情况下，基于所述至少一个群集产生类，并且接收所述类的标识符。
13.如权利要求10所述的方法，进一步包括：
在由所述用户拒绝将所述给定缺陷分类为所述给定类之后：
向所述用户呈现具有第二类的表示的所述至少一个缺陷；和
在由所述用户确认将所述给定缺陷分类为所述第二类的情况下，将所述给定缺陷指示为属于所述第二类。
14.如权利要求13所述的方法，其中将所述给定缺陷分类为所述给定类的第一似然性高于将所述给定缺陷分类为所述第二类的第二似然性。
15.如权利要求13所述的方法，进一步包括：
在从所述用户接收对将所述给定缺陷分类为所述第二类的拒绝的情况下：
向所述用户呈现具有多个额外的缺陷的所述给定缺陷；
从所述用户接收第三类的标识符；和
将所述给定缺陷指示为属于所述第三类。
16.如权利要求15所述的方法，进一步包括：
从所述用户接收对来自所述多个额外的缺陷的至少一个额外的缺陷的指示；和
将所述至少一个额外的缺陷指示为属于所述第三类。
17.如权利要求10所述的方法，进一步包括：
在完成向所述用户呈现被分类为所述多个类的缺陷之后：
向所述用户呈现至少一个非关联缺陷；
从所述用户接收第四类的标识符，所述至少一个非关联缺陷将与所述第四类关联；和
将所述至少一个非关联缺陷与所述第四类关联。
18.如权利要求10所述的方法，进一步包括在满足所述停止准则之后，出于选自由下列组成的群组的目的使用所述多个缺陷的所述更新的分类：确定检查工具的配置参数，和样品设计。
19.一种用于辅助用户对由检验工具检验的半导体样品中的缺陷进行分类的非暂时性计算机可读取介质，所述缺陷包括在所述半导体样品上或所述半导体样品内形成的异常或不期望的特征，所述非暂时性计算机可读取介质包括在所述非暂时性计算机可读取介质中存储的程序指令，当由计算机读取时，所述指令致使所述计算机：
i)在由所述计算机获得呈现多个缺陷和其属性值的信息的数据之后，基于所述属性值来使用所述计算机将所述多个缺陷的至少部分初始分类为与多个类关联，基于所述初始分类训练分类器，并且使用所训练的分类器来对所述多个缺陷的尚未与任何类关联的至少部分进行分类，并且确定所分类的缺陷属于所述多个类的相应类的似然性；
ii)针对来自所述多个类的每个给定类，
向所述用户呈现以属于所述给定类的低似然性被分类为所述给定类的来自一组缺陷的每个给定缺陷的图像；
同时地呈现以属于所述给定类的最高似然性被分类为所述给定类的一个或多个示例缺陷的图像；
基于每个给定缺陷与所述一个或多个示例缺陷的视觉比较，实现所述用户人工指示是否将所述给定缺陷分类为所述给定类，其中所述人工指示基于二元选择，由此基于所述人工指示产生所述多个缺陷的更新的分类，所述更新的分类包括在每个给定类中的所述一组缺陷的更新的标签；和
iii)使用所述更新的分类来重新训练所述分类器，并且重复所述的ii)直到满足停止准则。
CN201811133946.XA 2017-09-28 2018-09-27 用于对多个项进行分类的系统、方法和非暂时性计算机可读取介质 Active CN109598698B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/719,433 US11138507B2 (en) 2017-09-28 2017-09-28 System, method and computer program product for classifying a multiplicity of items
US15/719,433 2017-09-28

Publications (2)

Publication Number Publication Date
CN109598698A CN109598698A (zh) 2019-04-09
CN109598698B true CN109598698B (zh) 2024-02-27

Family

ID=65807515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811133946.XA Active CN109598698B (zh) 2017-09-28 2018-09-27 用于对多个项进行分类的系统、方法和非暂时性计算机可读取介质

Country Status (5)

Country Link
US (1) US11138507B2 (zh)
JP (1) JP2019106171A (zh)
KR (1) KR102377374B1 (zh)
CN (1) CN109598698B (zh)
TW (1) TWI748122B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598086B (zh) * 2018-05-25 2020-11-24 腾讯科技（深圳）有限公司 文章推荐方法、装置、计算机设备及存储介质
EP3792717A1 (en) * 2019-09-12 2021-03-17 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Tracking system
US11282189B2 (en) * 2019-09-16 2022-03-22 Intel Corporation Unsupervised clustering to identify anomalies
US11360030B2 (en) * 2020-02-04 2022-06-14 Applied Materials Isreal Ltd Selecting a coreset of potential defects for estimating expected defects of interest
US11379972B2 (en) 2020-06-03 2022-07-05 Applied Materials Israel Ltd. Detecting defects in semiconductor specimens using weak labeling
CN111680750B (zh) * 2020-06-09 2022-12-06 创新奇智(合肥)科技有限公司 图像识别方法、装置和设备
US11507252B2 (en) 2020-08-19 2022-11-22 Panasonic Intellectual Property Management Co., Ltd. Methods and systems for monitoring objects for labelling
US20240053278A1 (en) * 2021-03-30 2024-02-15 Siemens Industry Software Inc. Method and system for detecting a false error on a component of a board inspected by an aoi machine
US20230100179A1 (en) * 2021-09-28 2023-03-30 Varian Medical Systems, Inc. Automated, collaborative process for ai model production
WO2023117238A1 (en) 2021-12-20 2023-06-29 Carl Zeiss Smt Gmbh Measurement method and apparatus for semiconductor features with increased throughput
WO2023143950A1 (en) 2022-01-27 2023-08-03 Carl Zeiss Smt Gmbh Computer implemented method for the detection and classification of anomalies in an imaging dataset of a wafer, and systems making use of such methods
CN116486178B (zh) * 2023-05-16 2024-01-19 中科慧远视觉技术（洛阳）有限公司 一种缺陷检测方法、装置、电子设备及存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544256A (en) * 1993-10-22 1996-08-06 International Business Machines Corporation Automated defect classification system
US5966459A (en) * 1997-07-17 1999-10-12 Advanced Micro Devices, Inc. Automatic defect classification (ADC) reclassification engine
US6185511B1 (en) * 1997-11-28 2001-02-06 Advanced Micro Devices, Inc. Method to accurately determine classification codes for defects during semiconductor manufacturing
JP4132229B2 (ja) * 1998-06-03 2008-08-13 株式会社ルネサステクノロジ 欠陥分類方法
US6922482B1 (en) * 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2001168160A (ja) * 1999-12-07 2001-06-22 Sony Corp 半導体ウェハの検査システム
US6456899B1 (en) * 1999-12-07 2002-09-24 Ut-Battelle, Llc Context-based automated defect classification system using multiple morphological masks
JP2002310962A (ja) * 2001-04-19 2002-10-23 Hitachi Ltd 画像分類方法並びに観察方法及びその装置
US7162071B2 (en) * 2002-12-20 2007-01-09 Taiwan Semiconductor Manufacturing Co., Ltd. Progressive self-learning defect review and classification method
US7756320B2 (en) * 2003-03-12 2010-07-13 Hitachi High-Technologies Corporation Defect classification using a logical equation for high stage classification
US7020536B2 (en) * 2004-02-06 2006-03-28 Powerchip Semiconductor Corp. Method of building a defect database
JP3834041B2 (ja) * 2004-03-31 2006-10-18 オリンパス株式会社 学習型分類装置及び学習型分類方法
JP5871446B2 (ja) * 2004-10-12 2016-03-01 ケーエルエー−テンカー コーポレイション 試験体上の欠陥を分類するためのコンピュータに実装された方法およびシステム
US7904845B2 (en) * 2006-12-06 2011-03-08 Kla-Tencor Corp. Determining locations on a wafer to be reviewed during defect review
WO2010041377A1 (ja) * 2008-10-06 2010-04-15 パナソニック株式会社 代表画像表示装置及び代表画像選択方法
KR101214806B1 (ko) * 2010-05-11 2012-12-24 가부시키가이샤 사무코 웨이퍼 결함 검사 장치 및 웨이퍼 결함 검사 방법
JPWO2011155123A1 (ja) * 2010-06-07 2013-08-01 株式会社日立ハイテクノロジーズ 観察画像の分類基準の最適化方法、および画像分類装置
JP5608575B2 (ja) * 2011-01-19 2014-10-15 株式会社日立ハイテクノロジーズ 画像分類方法および画像分類装置
US10330608B2 (en) * 2012-05-11 2019-06-25 Kla-Tencor Corporation Systems and methods for wafer surface feature detection, classification and quantification with wafer geometry metrology tools
US10140698B2 (en) * 2015-08-10 2018-11-27 Kla-Tencor Corporation Polygon-based geometry classification for semiconductor mask inspection
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
TWI797699B (zh) * 2015-12-22 2023-04-01 以色列商應用材料以色列公司 半導體試樣的基於深度學習之檢查的方法及其系統
US10223615B2 (en) * 2016-08-23 2019-03-05 Dongfang Jingyuan Electron Limited Learning based defect classification
US10713769B2 (en) * 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training
US10825650B2 (en) * 2018-09-28 2020-11-03 Taiwan Semiconductor Manufacturing Co., Ltd. Machine learning on wafer defect review
CN110414538B (zh) * 2019-07-24 2022-05-27 京东方科技集团股份有限公司 缺陷分类方法、缺陷分类训练方法及其装置

Also Published As

Publication number Publication date
KR102377374B1 (ko) 2022-03-21
TW201933279A (zh) 2019-08-16
KR20190037161A (ko) 2019-04-05
US20190095800A1 (en) 2019-03-28
JP2019106171A (ja) 2019-06-27
US11138507B2 (en) 2021-10-05
TWI748122B (zh) 2021-12-01
CN109598698A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN109598698B (zh) 用于对多个项进行分类的系统、方法和非暂时性计算机可读取介质
CN110945528B (zh) 产生可用于检查半导体样品的训练集的方法及其系统
US11568531B2 (en) Method of deep learning-based examination of a semiconductor specimen and system thereof
US12007335B2 (en) Automatic optimization of an examination recipe
US20220222806A1 (en) Machine learning-based classification of defects in a semiconductor specimen
CN114092387B (zh) 生成可用于检查半导体样本的训练数据
KR102530950B1 (ko) 반도체 시편에서의 결함들의 분류
US10921334B2 (en) System, method and computer program product for classifying defects
US11940390B2 (en) Selecting a representative subset of potential defects to improve defect classifier training and estimation of expected defects of interest
US11423529B2 (en) Determination of defect location for examination of a specimen
TWI772735B (zh) 對半導體取樣中的缺陷進行分類的方法及其系統
US10937706B2 (en) Method of examining defects in a semiconductor specimen and system thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant