CN108352339B - 自适应自动缺陷分类 - Google Patents

自适应自动缺陷分类 Download PDF

Info

Publication number
CN108352339B
CN108352339B CN201680066102.0A CN201680066102A CN108352339B CN 108352339 B CN108352339 B CN 108352339B CN 201680066102 A CN201680066102 A CN 201680066102A CN 108352339 B CN108352339 B CN 108352339B
Authority
CN
China
Prior art keywords
defects
classifier
defect
batch
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680066102.0A
Other languages
English (en)
Other versions
CN108352339A (zh
Inventor
贺力
M·普利哈尔
应华俊
A·巴蒂亚
A·S·达恩狄安娜
R·拉米尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KLA Corp
Original Assignee
KLA Tencor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KLA Tencor Corp filed Critical KLA Tencor Corp
Publication of CN108352339A publication Critical patent/CN108352339A/zh
Application granted granted Critical
Publication of CN108352339B publication Critical patent/CN108352339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H01L22/24—Optical enhancement of defects or not directly visible states, e.g. selective electrolytic deposition, bubbles in liquids, light emission, colour change
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
    • H01L22/34—Circuits for electrically characterising or monitoring manufacturing processes, e. g. whole test die, wafers filled with test structures, on-board-devices incorporated on each die, process control monitors or pad structures thereof, devices in scribe line
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/061—Sources
    • G01N2201/06113—Coherent sources; lasers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps

Abstract

本发明提供用于使用自适应自动缺陷分类器来分类在样品上检测到的缺陷的方法及系统。一个方法包含基于从用户接收的用于第一批结果中的不同群组的缺陷的分类及包含在所述第一批结果中的全部所述缺陷的一组训练缺陷来产生缺陷分类器。所述第一批结果及额外批结果经组合以产生累计批结果。使用所述所产生缺陷分类器来分类所述累计批结果中的缺陷。如果所述缺陷中的任何者经分类而具有低于阈值的置信度，那么基于包含所述低置信度经分类缺陷的经修改训练组及用于从用户接收的这些缺陷的分类来修改所述缺陷分类器。接着所述经修改缺陷分类器用于分类额外累计批结果中的缺陷。

Description

自适应自动缺陷分类
技术领域
本发明大体上涉及用于使用自适应自动缺陷分类器分类样品上的缺陷的方法及系统。
背景技术
以下描述及实例不因其包含在此段落中而被认为是现有技术。
制造半导体装置(例如逻辑及存储器装置)通常包含使用大量半导体制造工艺处理衬底(例如半导体晶片)以形成半导体装置的各种特征及多个层级。举例来说，光刻是涉及将图案从光罩转印到布置在半导体晶片上的抗蚀剂的半导体制造工艺。半导体制造工艺的额外实例包含(但不限于)：化学机械抛光、蚀刻、沉积及离子植入。多个半导体装置可在单个半导体晶片上的布置中制造且接着被分成个别半导体装置。
在半导体制造工艺期间的各种步骤中使用检验过程以检测晶片上的缺陷。检验过程一直是制造半导体装置(例如集成电路)的重要部分。然而，随着半导体装置的尺寸的减小，检测过程对成功制造可接受的半导体装置变得更重要。例如，随着半导体装置的尺寸减小，减小大小的缺陷的检测已成为必要的，这是因为即使相当小的缺陷也可引起所述半导体装置中的非所要的畸变。
一旦缺陷已通过检验检测，就可以一或多个方式产生用于缺陷的额外信息。举例来说，可由缺陷复检重访缺陷，其中具有大于在检验期间使用的分辨率能力的分辨率能力的系统用以产生缺陷的图像。接着使用此类图像而产生的关于缺陷的信息可用以确定缺陷的类型(或分类)。举例来说，缺陷可分类为颗粒类型缺陷、桥接类型缺陷、刮痕类型缺陷及类似物。虽然缺陷分类可基于由缺陷复检而产生的信息确定，但有时缺陷分类基于通过检验而产生的信息执行(例如，如果针对通过检验而产生的缺陷的信息对于缺陷分类及/或用于基于通过检验而产生的有限信息量的初步分类来说是足够的)。
执行缺陷的分类的方法、算法及/或系统通常是指“缺陷分类器”。缺陷分类器产生及监测通常包含三个阶段：训练阶段、验证阶段及产生阶段。在训练阶段，可收集数据，直到已经收集M批结果。接着操作者可手动地分类全部缺陷。一旦已经收集M批结果，分类器就经产生用于具有N个以上缺陷的类，其中N是预定义值。在验证阶段，可收集用于M批的数据，且操作者手动地分类全部缺陷。如果验证批的准确度等于或少于训练批，那么训练分类器可用于生产。否则，验证分类器可用于生产。在生产阶段，可监测分类器的比重。操作者可分类无比重组格(bin)(例如，低置信度缺陷)。如果置信度下降低于预定义阈值，那么可再次执行训练阶段。
然而，用于缺陷分类器产生及监测的当前所执行方法存在数个缺点。举例来说，分类器产生及监测过程是难处理的且无法提供对制造中的动态缺陷改变的相对较快响应。另外，用户必须在产生第一分类器之前等待至少2xM批。此外，在训练及验证阶段期间，全部缺陷需要手动分类且未提供辅助手动分类。而且，如果存在缺陷移位或偏移，那么用户需要等待至少M批来使新的分类器来发布到生产。另外，训练组可严重失衡且不够好而无法产生稳健分类器。在许多情况下，训练组包含90％的扰乱点且训练组中的仅10％包含所关注缺陷(DOI)。因此，缺陷的数目不足以产生稳健分类器。当前所使用方法及系统也不具有一种用以决定分类器的稳健性的方法。
因此，开发不具有上文所描述的所述缺点中的一或多者的用于使用自适应自动缺陷分类器分类样品上的缺陷的系统及/或方法将是有利的。
发明内容
不以任何方式将各种实施例的以下描述视为限制所附权利要求书的标的物。
一个实施例涉及经配置以使用自适应自动缺陷分类器分类样品上的缺陷的系统。所述系统包含输出获取子系统，其包含至少一能量源及检测器。所述能量源经配置以产生引导到样品的能量。所述检测器经配置以检测来自所述样品的能量且响应于所述检测到的能量而产生输出。所述系统还包含一或多个计算机子系统，其经配置用于基于由所述检测器产生的所述输出而检测所述样品上的缺陷以借此产生第一批结果。所述一或多个计算机子系统还经配置用于使用聚类方法而将所述缺陷分成不同群组且从用户接收针对所述不同群组中的每一者的分类。另外，所述计算机子系统经配置用于基于所述接收到的分类及包含于所述第一批结果中的全部所述缺陷的训练缺陷组而产生缺陷分类器。所述计算机子系统进一步经配置用于基于由所述检测器针对另一样品产生的额外输出而检测在与所述样品类型相同的另一样品上的额外缺陷以借此产生额外批结果。所述计算机子系统还经配置用于组合所述第一批结果及所述额外批结果以产生累计批结果且通过应用所述所产生缺陷分类器而将所述累计批结果中的所述缺陷分类到所述累计批结果中的所述缺陷。另外，所述计算机子系统经配置用于确定所述额外批结果中的所述缺陷中的任何者是否具有低于置信度阈值的置信度值。所述计算机子系统还经配置用于当所述额外批结果中的所述缺陷中的一或多者具有低于所述置信度阈值的置信度值时，从用户接收所述一或多个缺陷的一或多个分类且修改所述训练组以包含所述一或多个缺陷及所述一或多个分类。另外，所述计算机子系统经配置用于基于所述经修改训练组而修改所述缺陷分类器且使用所述经修改缺陷分类器来分类所述累计批结果中的缺陷。所述计算机子系统进一步经配置用于当所述累计批结果中的全部所述缺陷由所述用户分类或所述额外批结果中的所述缺陷没有一个具有低于所述置信度阈值的置信度值时，结束自适应分类器产生。所述系统可进一步如本文中所描述而配置。
另一实施例涉及用于使用自适应自动缺陷分类器来分类样品上的缺陷的计算机实施方法。所述方法包含用于上文所描述的一或多个计算机子系统的功能中的每一者的步骤。所述方法的所述步骤由一或多个计算机系统执行。所述方法可如本文中进一步所描述而执行。另外，所述方法可包含本文中所描述的任何其它方法的其它步骤。此外，所述方法可由本文中所描述的所述系统中的任何者执行。
额外实施例涉及非暂时性计算机可读媒体，其存储可执行于计算机系统上的程序指令用于执行计算机实施方法用于使用自适应自动缺陷分类器分类样品上的缺陷。所述计算机实施方法包含上文所描述的所述方法的所述步骤。所述计算机可读媒体可进一步如本文中所描述而配置。所述计算机实施方法的所述步骤可如本文中进一步所描述而执行。另外，所述程序指令可针对其而执行的所述计算机实施方法可包含本文中所描述的任何其它方法的任何其它步骤。
附图说明
在阅读下列详细描述及在参考附图时将明白本发明的其它目的及优点，其中：
图1及2是说明如本文中所描述而配置的系统的实施例的侧视图的示意图；
图3是说明步骤的一个实施例的流程图，所述步骤可由本文中所描述的一或多个计算机子系统实施例执行用于使用自适应自动缺陷分类器分类缺陷；
图4是说明步骤的一个实施例的流程图，所述步骤可由本文中所描述的一或多个计算机子系统实施例执行用于确定数据冗余分数；
图5是说明步骤的一个实施例的流程图，所述步骤可由本文中所描述的一或多个计算机子系统实施例执行用于新颖缺陷检测；
图6是说明步骤的一个实施例的流程图，所述步骤可由本文中所描述的一或多个计算机子系统实施例执行用于使用缺陷分类器序列的缺陷分类；及
图7是说明非暂时性计算机可读媒体的一个实施例的框图，其存储可执行于计算机系统上的程序指令用于执行本文中所描述的计算机实施方法中的一或多者。
虽然本发明易受各种修改及替代形式影响，但其特定实施例通过实例的方式在图式中展示且将在本文中详细描述。然而，应理解图式及其详细描述不希望将本发明限于所揭示的特定形式，但相反，本发明覆盖落入如由所附权利要求书所界定的本发明的精神及范围内的所有修改、等效物及替代方式。
具体实施方式
现在转到图式，应注意图不按比例绘制。特定来说，图的一些元件的比例极度夸大以强调元件的特性。还应注意图未按相同比例绘制。可类似地配置的一个以上图中展示的元件已使用相同元件符号指示。除非本文中另有规定，否则所描述及展示的元件中的任何者可包含任何合适的可购得的元件。
一个实施例涉及经配置以使用自适应自动缺陷分类器分类样品上的缺陷的系统。所述实施例提供自适应策略以动态地更新并监测用于自动缺陷分类(ADC)的缺陷分类器以适应于半导体制造工艺的动态环境。所述实施例还提供使用自适应策略产生的数据冗余分数(DRS)，其中DRS可结合分类器训练准确度一起使用以确定分类器的稳健性。
在一个实施例中，样品包含晶片。在另一实施例中，样品包含光罩。晶片及光罩可包含领域中已知的任何晶片及光罩。
此系统的一个实施例展示于图1中。所述系统包含输出获取子系统，其包含至少一能量源及检测器。所述能量源经配置以产生引导到样品的能量。所述检测器经配置以检测来自所述样品的能量且响应于所述检测到的能量而产生输出。
在一个实施例中，引导到所述样品的所述能量包含光，且从所述样品检测的所述能量包含光。举例来说，在图1中所展示的所述系统的实施例中，输出获取子系统10包含经配置以引导光到样品14的照明子系统。所述照明子系统包含至少一个光源。举例来说，如图1中所展示，所述照明子系统包含光源16。在一个实施例中，所述照明子系统经配置以按一或多个入射角引导所述光到所述样品，所述一或多个入射角可包含一或多个倾斜角及/或一或多个法线角。举例来说，如图1中所展示，来自光源16的光被引导穿过光学元件18且接着透镜20到分束器21，其以法线入射角引导所述光到样品14。所述入射角可包含任何合适入射角，其可取决于(例如)所述样品的特性及待在所述样品上检测的缺陷而改变。
所述照明子系统可经配置以不同时以不同入射角引导所述光到所述样品。举例来说，所述输出获取子系统可经配置以更改所述照明子系统的一或多个元件的一或多个特性，使得可以不同于图1中所展示的入射角的入射角使所述光引导到所述样品。在一个此实例中，所述输出获取子系统可经配置以移动光源16、光学元件18及透镜20，使得在以不同入射角引导所述光到所述样品。
在一些例子中，所述输出获取子系统可经配置以按一个以上入射角同时引导光到所述样品。举例来说，所述照明子系统可包含一个以上照明通道，所述照明通道中的一者可包含光源16、光学元件18及透镜20，如图1中所展示，且所述照明通道中的另一者(未展示)可包含类似元件，其可经相同或不同地配置或可包含至少一光源及可能地一或多个其它组件，例如本文中进一步所描述的组件。如果此光与其它光同时引导到所述样品，那么以不同入射角引导到所述样品的所述光的一或多个特性(例如，波长、偏光等)可不同，使得由以不同入射角对所述样品的照明所致的光可在所述检测器处彼此区分开。
在另一例子中，所述照明子系统可包含仅一个光源(例如，图1中所展示的光源16)且来自所述光源的光可由所述照明子系统的一或多个光学元件(未展示)而被分到不同光学路径中(例如基于波长、偏光等)。接着，在所述不同光学路径中的每一者中的光可被引导到所述样品。多个照明通道可经配置以同时或不同时(例如，当不同照明通道用以循序地照明所述样品时)引导光到所述样品。在另一例子中，相同照明通道可经配置以在不同时间引导具有不同特性的光到所述样品。举例来说，在一些例子中，光学元件18可经配置为光谱滤光器且所述光谱滤光器的性质可以各种不同方式(例如，通过置换出所述光谱滤光器)而改变，使得不同波长的光可在不同时间被引导到所述样品。所述照明子系统可具有本领域中已知的任何其它合适配置以用于以不同或相同入射角循序地或同时引导具有不同或相同特性的光到所述样品。
在一个实施例中，光源16可包含宽带等离子(BBP)光源。以此方式，由所述光源产生且被引导到所述样品的所述光可包含宽带光。然而，所述光源可包含任何其它合适光源，例如激光器。所述激光器可包含本领域中已知的任何合适激光器且可经配置以产生本领域中已知的任何合适波长下的光。另外，所述激光器可经配置以产生单色或几乎单色的光。以此方式，所述激光器可为窄带激光器。所述光源还可包含以多个离散波长或波带产生光的多色光源。
来自光学元件18的光可由透镜20聚焦到分束器21。尽管在图1中透镜20展示为单个折射光学元件，但应理解在实践中透镜20可包含若干以组合方式将光从所述光学元件聚焦到所述样品的折射及/或反射光学元件。图1中展示及本文所描述的所述照明子系统可包含任何其它合适光学元件(未展示)。此类光学元件的实例包含但不限于偏光组件、光谱滤光器、空间滤光器、反射光学元件、变迹器、分束器、孔径及其类似物，其可包含所属领域中已知的任何此类合适光学元件。此外，所述系统可经配置以基于待用于输出获取的照明的类型修改所述照明子系统的元件中的一或多者。
所述输出获取子系统还可包含经配置以引起光在所述样品上扫描的扫描子系统。举例来说，所述输出获取子系统可包含在输出获取期间样品14安置于其上的置物台22。所述扫描子系统可包含任何合适机械及/或机器人组合件(其包含置物台22)，其可经配置以移动所述样品，使得可在所述样品上方扫描所述光。另外或替代地，所述输出获取子系统可经配置使得所述输出获取子系统的一或多个光学元件执行所述光在所述样品上方的一些扫描。可以任何合适方式在所述样品上方扫描所述光。
所述输出获取子系统进一步包含一或多个检测通道。所述一或多个检测通道中的至少一者包含检测器，其经配置以检测归因于所述样品通过所述输出获取子系统的照明的来自所述样品的光且响应于所述检测到的光而产生输出。举例来说，图1中所展示的所述输出获取子系统包含两个检测通道，一个由集光器24、元件26及检测器28形成且另一个由集光器30、元件32及检测器34形成。如图1中所展示，所述两个检测通道经配置以按不同收集角度收集并检测光。在一些例子中，一个检测通道经配置以检测镜面反射光，且另一检测通道经配置以检测不从所述样品镜面反射(例如，散射、衍射等)的光。然而，所述检测通道中的两个或两个以上可经配置以检测来自所述样品的相同类型的光(例如，镜面反射光)。虽然图1展示包含两个检测通道的所述输出获取子系统的实施例，但所述输出获取子系统可包含不同数目个检测通道(例如，仅一个检测通道或两个或两个以上检测通道)。尽管所述集光器中的每一者在图1中展示为单个折射光学元件，但应理解所述集光器中的每一者可包含一或多个折射光学元件及/或一或多个反射光学元件。
所述一或多个检测通道可包含所属领域中已知的任何合适检测器。举例来说，所述检测器可包含光电倍增管(PMT)、电荷耦合装置(CCD)及延时积分(TDI)摄像机。所述检测器还可包含所属领域中已知的任何其它合适检测器。所述检测器还可包含非成像检测器或成像检测器。以此方式，如果所述检测器是非成像检测器，那么所述检测器中的每一者可经配置以检测散射光的某些特性(例如强度)，但可不经配置以检测依据成像平面内的位置的此类特性。因而，由包含在所述输出获取子系统的所述检测通道中的每一者中的所述检测器中的每一者产生的输出可为信号或数据，但不是图像信号或图像数据。在此类例子中，计算机子系统(例如所述系统的计算机子系统36)可经配置以从所述检测器的非成像输出产生所述样品的图像。然而，在其它例子中，所述检测器可配置为经配置以产生成像信号或图像数据的成像检测器。因此，所述系统可经配置以按若干方式产生本文中所描述的输出。
应注意本文中提供图1以大体上说明可包含于本文所描述的系统实施例中的输出获取子系统的配置。明显地，本文所描述的所述输出获取子系统布置可经修改以如当设计商用检验或缺陷复检系统时所通常执行那样来优化所述系统的性能。此外，本文中所描述的系统可使用现存输出获取系统(例如，通过将本文中所描述的功能性加到现存输出获取系统)(例如光学检验及/或缺陷复检工具)实施，例如可从科磊公司(KLA-Tencor)商业购得的28xx及29xx系列的工具及从其它源商业购得的其它工具。对于一些此类系统，本文所描述的方法可提供为所述系统的任选功能性(例如，除所述系统的其它功能性外)。替代地，本文所描述的所述系统可“从头开始”设计以提供全新系统。
所述系统的计算机子系统36可以任何合适方式(例如，经由一或多个传输媒体，其可包含“有线”及/或“无线”传输媒体)耦合到所述输出获取子系统的所述检测器，使得在所述样品的扫描期间，所述计算机子系统可接收由所述检测器产生的输出。计算机子系统36可经配置以使用如本文中所描述的所述检测器的输出来执行若干功能及本文中进一步描述的任何其它功能。此计算机子系统可进一步如本文中所描述而配置。
此计算机子系统(以及本文所描述的其它计算机子系统)在本文中也可称为计算机系统。本文所描述的所述计算机子系统或系统中的每一者可采用各种形式，包含个人计算机系统、图像计算机、主计算机系统、工作站、网络设备、因特网设备或其它装置。一般来说，术语“计算机系统”可经广义定义以涵盖任何具有一或多个处理器的装置，其执行来自存储器媒体的指令。所述计算机子系统或系统还可包含所属领域中已知的任何合适处理器(例如并行处理器)。另外，所述计算机子系统或系统可包含具有高速处理及软件的计算机平台，作为独立或网络工具。
如果所述系统包含一个以上计算机子系统，那么不同计算机子系统可彼此耦合，使得可在所述计算机子系统之间发送图像、数据、信息、指令等，如本文中进一步所描述。举例来说，计算机子系统36可通过任何合适传输媒体而耦合到计算机子系统102(如由图1中的虚线所展示)，所述传输媒体可包含所属领域中已知的任何合适有线及/或无线传输媒体。此类计算机子系统的两个或两个以上还可由共享计算机可读存储媒体(未展示)有效地耦合。
虽然所述输出获取子系统在上文描述为光学或基于光的输出获取子系统，但所述输出获取子系统可为基于电子束输出获取子系统。举例来说，在一个实施例中，引导到所述样品的能量包含电子，且从所述样品检测的能量包含电子。以此方式，所述能量源可为电子束源。在图2中所展示的一个此实施例中，所述输出获取子系统包含电子柱122，其耦合到计算机子系统124。
还如图2中所展示，所述电子柱包含电子束源126，其经配置以产生由一或多个元件130而聚焦到样品128的电子。所述电子束源可包含(例如)阴极源或射极尖端，且一或多个元件130可包含(例如)枪透镜、阳极、光束限制孔径、闸阀、束流选择孔径、物镜及扫描子系统，其中所有都可包含所属领域中已知的任何此类合适元件。
从所述样品返回的电子(例如，次级电子)可由一或多个元件132聚焦到检测器134。一或多个元件132可包含(例如)扫描子系统，其可为包含在元件130中的相同扫描子系统。
所述电子柱可包含所属领域中已知的任何其它合适元件。另外，所述电子柱可如在2014年4月4日颁予蒋(Jiang)等人的第8,664,594号美国专利、2014年4月8日颁予小岛(Kojima)等人的第8,692,204号美国专利、2014年4月15日颁予固本(Gubbens)等人的第8,698,093号美国专利及2014年5月6日颁予麦克唐纳(MacDonald)等人的第8,716,662号美国专利中所描述而进一步配置，所述专利宛如在本文中充分地陈述以引用方式并入。
尽管所述电子柱在图2中展示为经配置使得所述电子以入射斜角引导到所述样品且以另一斜角从所述样品散射，但应理解所述电子束可以任何合适角度引导到所述样品且从所述样品散射。另外，所述基于电子束的子系统可经配置以使用多个模式产生所述样品的图像(例如，以不同照明角度、收集角度等等)。所述基于电子束的子系统的多个模式在所述子系统的任何图像产生参数上可不同。
计算机子系统124可耦合到检测器134，如上文所描述。所述检测器可检测从所述样品的表面返回的电子，借此形成所述样品的电子束图像。所述电子束图像可包含任何合适电子束图像。计算机子系统124可经配置以使用所述检测器的输出及/或所述电子束图像而执行本文中所描述的所述功能中的任何者。计算机子系统124可经配置以执行本文所描述的任何额外步骤。包含图2中展示的所述输出获取子系统的系统可如本文所描述而进一步配置。
应注意本文中提供图2以大体上说明可包含在本文所描述的所述实施例中的基于电子束的输出获取子系统的配置。如同上文所描述的光学输出获取子系统，本文所描述的基于电子束的输出获取子系统配置可经修改以如当设计商用检验或缺陷复检系统时所通常执行那样优化输出获取子系统的性能。另外，本文所描述的所述系统可使用现存缺陷复检系统(例如，通过添加本文所描述的功能性到现存检验或缺陷复检系统)(例如可从科磊公司购得的eDR-xxxx系列工具)实施。对于一些此类系统，本文所描述的方法可提供为所述系统的任选功能性(例如，除所述系统的其它功能性外)。替代地，本文所描述的所述系统可“从头开始”设计以提供全新系统。
虽然所述输出获取子系统在上文经描述为基于光或基于电子束的输出获取子系统，但输出获取子系统可为基于离子束的输出获取子系统。此输出获取子系统可如图2中所展示而配置，除所述电子束源可由所属领域中已知的任何合适离子束源替换外。另外，所述输出获取子系统可为任何其它合适基于离子束的子系统，例如商业可用的聚焦离子束(FIB)系统、氦离子显微镜(HIM)系统及次级离子质谱(SIMS)系统中包含的子系统。
上文所描述的一或多个计算机子系统经配置用于基于由检测器产生的所述输出而检测所述样品上的缺陷以借此产生第一批结果。本文中所描述的计算机子系统可经配置以按任何合适方式(例如，通过施加阈值到输出且将具有高于阈值的一或多个值的输出识别为缺陷或潜在缺陷且不识别具有低于阈值的一或多个值的输出为缺陷或潜在缺陷)而检测所述样品上的所述缺陷。所述样品上检测的所述缺陷可包含所属领域中已知的任何缺陷。第一批结果可包含针对检测到的缺陷的任何信息，例如缺陷ID、缺陷位置、属性、对应于缺陷的输出及类似物。以此方式，本文中所描述的所述计算机子系统可产生批结果。
然而，在一些例子中，计算机子系统并不一定产生批结果。举例来说，计算机子系统可经配置以获取针对样品的批结果。用户可选择批结果文件以待由计算机子系统使用。批结果包含针对由检验过程及/或可能地缺陷复检过程而在晶片上检测到的缺陷的信息。所述信息可包含针对缺陷的一或多个属性的信息。一或多个缺陷属性可包含可由检验或缺陷复检系统或从由检验或缺陷复检系统产生的结果来确定的任何缺陷属性。可如本文中进一步描述而使用的合适缺陷属性的实例包含(但不限于)能量、量值、裸片坐标及设计属性。批结果可包含关于在所述晶片上检测的所述缺陷的任何其它合适信息，例如所述晶片上检测的所述缺陷的位置及针对所述缺陷而产生的图像数据或图像。
计算机子系统还经配置用于使用聚类方法来使所述缺陷分到不同群组中。举例来说，图3展示可由一或多个计算机子系统执行以用于自适应自动缺陷分类的步骤。如此图中所展示，步骤包含基于第一批300执行的缺陷聚类302。用以分组所述缺陷的缺陷聚类方法可为自然分组或任何其它合适缺陷聚类方法(例如，K方法、均值漂移、期望最大(EM)等)，其可以所属领域中已知的任何合适的方法来执行。
计算机子系统进一步经配置用于从用户接收不同群组中的每一者的分类。举例来说，如图3中所展示，步骤可包含在步骤304中分类缺陷。以此方式，就第一批结果来说，全部所述缺陷可由用户使用来自自然分组或另一聚类方法的指导来分类。举例来说，计算机子系统可将缺陷聚类302的结果显示到用户，所述结果具有针对所述不同群组中的每一者的可行分类的建议。接着用户可接受所述建议中的一或多者及/或根据所建议的进入不同分类。因而，就第一批来说，未标记缺陷可由用户通过聚类方法指导来分类。不同群组中的缺陷可因此被手动地分类。从用户接收不同群组中的每一者的分类可以任何合适方式来执行。
计算机子系统还经配置用于基于接收到的分类及包含第一批结果中的全部缺陷的训练缺陷组来产生缺陷分类器。举例来说，如图3的步骤304中所展示，此步骤还可包含产生训练组。训练组可为使用第一批中的全部缺陷来产生。训练组可以任何合适方式来产生。如图3的步骤306中进一步展示，所述步骤可包含产生分类器。以此方式，分类器可使用第一批的缺陷数据及分类来产生，且如本文中进一步所描述，缺陷分类器可用于后续批(即，第二、第三批结果等)。
在一个实施例中，使用自动置信度阈值来执行产生缺陷分类器。举例来说，可使用自动置信度阈值来产生自动分类器，其可用于针对下一批结果的手动辅助分类。特定来说，使用随机森林类型分类器(作为实例)产生具自动置信度阈值的分类器，每一缺陷可指派袋外类代码及置信度(袋外类似于交叉验证)。针对每一缺陷类型，置信度阈值可从最小值(例如0.7)增加，直到其达到纯度目标(例如90％)为止。接着记录针对每一类型的所述置信度阈值。然而，产生缺陷分类器也可以所属领域中已知的任何其它合适的方式来执行。
在一个实施例中，所述所产生缺陷分类器是随机森林类型缺陷分类器。随机森林类型缺陷分类器是所属领域中一般已知的一类型缺陷分类器。一般来说，随机森林类型缺陷分类器包含并行操作的多个决策树。以此方式，任何一个缺陷可经输入到多个决策树中的每一者。接着，经指派到任何一个缺陷的类可基于藉由多个决策树(例如，经由仲裁或一些其它技术)而指派到缺陷的类来确定。
在额外实施例中，所产生缺陷分类器是支持向量机(SVM)类型缺陷分类器。SVM类型分类器也是所属领域中一般已知的一类型缺陷分类器。一般来说，SVM类型缺陷分类器分析数据且辨识用于分类的图案。举例来说，给定缺陷的不同类的数据的训练组，可建立模型，其指派新的缺陷到不同类中的一者中。SVM模型是训练组的表示为空间中的点，其经映射使得不同类别由尽可能多的空间来划分。接着SVM缺陷分类器可映射新的缺陷到相同空间，且基于不同类别的分类对应于新的缺陷被定位于其中的空间来确定新的缺陷的分类。以此方式，所产生缺陷分类器可为随机森林类型缺陷分类器、SVM类型缺陷分类器，或所属领域中已知的任何其它合适类型的缺陷分类器。
计算机子系统进一步经配置用于基于由检测器针对另一样品产生的额外输出来检测在与样品类型相同的另一样品上的额外缺陷，以借此产生额外批结果。举例来说，如图3中所展示，计算机子系统可产生新的批308。额外缺陷可由计算机子系统检测，如本文中进一步所描述。额外缺陷可包含本文中所描述的缺陷中的任何者。
另外，计算机子系统经配置用于组合第一批结果及额外批结果以产生累计批结果。第一批结果及额外批结果可以任何合适方式组合。
计算机子系统还经配置用于通过应用所产生缺陷分类器到累计批结果中的缺陷而分类累计批结果中的缺陷。举例来说，如图3的步骤310中所展示，由计算机子系统执行的步骤可包含分类累计批中的缺陷。以此方式，针对任何新的批，与在全部先前缺陷组合的新的批中的所述缺陷使用所产生缺陷分类器来分类。所产生缺陷分类器可以任何合适方式应用到累计批结果。
计算机子系统进一步经配置用于确定额外批结果中的缺陷中的任何者是否具有低于置信度阈值的置信度值。换句话来说，计算机子系统可经配置用于确定额外批结果缺陷中的任何者(或非训练缺陷组)是否由所产生缺陷分类器分类为具低于置信度阈值的置信度且因此由所产生缺陷分类器指派置信度值，其低于置信度阈值。举例来说，如图3的步骤312中所展示，由计算机子系统执行的步骤可包含确定任何非训练缺陷组是否是低于置信度阈值。置信度阈值可为经预先确定阈值，其经自动地或手动地(由用户)确定且可取决于缺陷分类器而改变。以此方式，由缺陷分类器经指派到缺陷中的每一者的置信度值可与阈值比较以确定缺陷中的任何者是否已被指派低于阈值的置信度值。
另外，计算机子系统经配置用于当累计批结果中的全部缺陷由用户分类或额外批结果中的缺陷没有一个(或非训练缺陷组)具有低于置信度阈值的置信度值，那么由计算机子系统执行的步骤可包含结束自适应自动缺陷分类(例如，直到产生新的另一批)，如图3的步骤314中所展示。
计算机子系统还经配置用于当额外批结果中的缺陷中的一或多者具有低于置信度阈值的置信度值时，从用户接收一或多个缺陷的一或多个分类且修改训练组以包含一或多个缺陷及一或多个分类。举例来说，如图3的步骤316中所展示，由计算机子系统执行的步骤包含分类低置信度缺陷且添加低置信度缺陷到训练组。特定来说，如果存在低于置信度阈值的缺陷，那么用户可使用手动辅助分类而分类这些缺陷且添加这些缺陷到训练组。在手动辅助分类的一个实例中，当缺陷是未知类型的缺陷时，用户可具有来自本文中所描述的实施例的缺陷类型建议且接着经询问以输入缺陷类型(例如，通过选择或确认缺陷类型建议及/或通过输入新的、不同缺陷类型)。
计算机子系统进一步经配置用于基于经修改训练组而修改缺陷分类器。举例来说，使用新的训练组重新产生自动分类器。在一个此实例中，经修改训练组可输入到图3中所展示的步骤306且步骤306可以经修改训练组重复以产生缺陷分类器的经修改版本。这些步骤可经重复，直到低于置信度阈值的全部缺陷由操作者手动地分类。另外，这些步骤可如本文中进一步所描述而执行。
另外，计算机子系统经配置用于使用经修改缺陷分类器分类累计批结果中的缺陷。使用经修改缺陷分类器分类缺陷可如本文中进一步所描述而执行。另外，计算机子系统可经配置用于使用经修改缺陷分类器分类额外累计批结果中的缺陷。使用经修改缺陷分类器分类额外累计批结果中的缺陷可如本文中进一步所描述而执行(例如，通过应用经修改缺陷分类器到额外累计批结果)。额外累计批结果可包含第一批结果、额外批结果及任何其它另外批结果，其可如本文中所描述而产生。以此方式，经修改缺陷分类器可用以分类其它新的累计批结果，其包含经产生达到那个点的全部批结果。
在一个实施例中，计算机子系统经配置用于通过以下确定数据冗余分数(DRS)：a)针对缺陷的多个类的第一类，使用聚类方法选择第一类中的缺陷的一部分且添加缺陷的所选择的部分到针对第一类的训练组。图4展示可针对第一类的DRS执行的步骤的一个实施例。如图4的步骤402中所展示，计算机子系统可基于缺陷数据400(从第一类的缺陷的选择)而执行缺陷聚类且添加所选择的缺陷到针对第一类的训练组。在此步骤中，针对第一类的全部缺陷数据，自然分组或另一聚类方法可用以从第一类拾取N个缺陷且添加缺陷到第一类的训练组。
确定DRS还包含：b)使用第一类的训练组及多个类的其它类的训练组产生自动分类器。举例来说，如图4中的步骤404中所展示，计算机子系统可经配置以组合第一类的训练组与其它类。另外，如图4的步骤406中所展示，计算机子系统可经配置以产生分类器。以此方式，可使用第一类的训练组及全部其它类产生自动分类器。分类器可如本文中进一步所描述而产生，且所产生分类器可具有本文中所描述的任何分类器类型。
另外，确定DRS包含：c)使用自动分类器分类在步骤a)中未被选择的第一类中的缺陷的一部分。举例来说，如图4的步骤408中所展示，计算机子系统可经配置以分类第一类的剩余者。特定来说，第一类的剩余者可使用步骤406中产生的分类器而分类。
确定DRS进一步包含：d)如果第一类中的任何缺陷由自动分类器分类成低于预定义置信度阈值，那么添加第一类中的缺陷的经预先确定数目到第一类的训练组且重复步骤a)到c)。举例来说，如图4的步骤410中所展示，计算机子系统可经配置用于确定第一类中的缺陷是否经分类成低于预定义置信度阈值，其可如本文中进一步所描述而执行。另外，如图4的步骤412中所展示，计算机子系统可经配置用于添加N个低置信度缺陷到第一类的训练组，其可如本文中进一步所描述而执行。以此方式，如果第一类中存在低于预定义阈值C的任何缺陷，那么可添加N个缺陷到第一类的训练组，且计算机子系统可重复图4中所展示的步骤404、406、408及410。此步骤中的N的值可包含任何合适值。
确定DRS还包含：e)如果第一类中的缺陷没有一个由自动分类器分类成低于预定义置信度阈值，那么计算数据冗余分数等于1-(第一类的训练组的大小)除以(第一类的大小)。举例来说，如图4的步骤414中所展示，如果第一类中不存在低于预定义阈值C的任何缺陷，那么计算机子系统可根据DRS＝1-(第一类的训练组的大小)/(第一类的大小)而计算DRS。DRS可因此用以评估缺陷分类器的稳健性(即，分类器是否以足够的数据产生)。举例来说，如果DRS分数满足某个预定义标准(例如在一个实例中大于0.4)，那么可确定分类器已以足够的数据产生且是稳健的。接着分类器可经发布以进行生产。
上文所描述的实施例具有优于先前所使用的用于ADC的方法及系统的数个优点。举例来说，实施例提供具有第一可用批结果的所产生缺陷分类器。所产生缺陷分类器可用于手动辅助分类。以此方式，所述分类器可更容易生产，且用户可更快看见分类器的比重。比重可经定义为(缺陷类型的缺陷的#，其具有大于90％的纯度)/(总缺陷)。以此方式，比重本质上是无需人类复检的缺陷的比例。
另外，本文中所描述的实施例提供对缺陷特性及分类中的动态改变(例如缺陷排列(pareto))及工具漂移的适应。特定来说，由于分类器针对每一新批进行重新训练，所以其可适应工具、成像或原位工艺的任何改变。所产生分类器还更快适应缺陷数据的动态改变，借此增加分类的值。以此方式，本文中所描述的实施例提供自适应ADC，其适应半导体制造的缺陷环境。此外，本文中所描述的实施例无需训练、验证及生产阶段，因为分类器始终并连续地进行重新训练。
而且，本文中所描述的实施例改进所有权的成本，因为在执行手动复检上花较少时间。举例来说，由于在第一批结果之后，用户仅需要分类低于所述置信度阈值的缺陷，所以随时间推移用户将仅需要分类(例如)缺陷的20％(如果所述比重是80％)。以此方式，本文中所描述的实施例可通过手动地复检缺陷的相对较小部分而动态地更新分类器。因此，本文中所描述的实施例帮助用户降低工具所有权的成本，因为用户仅必须手动地复检缺陷的相对较小部分。另外，由本文中所描述的实施例提供的手动辅助分类缩短手动分类时间。换句话来说，本文中所描述的实施例帮助用户手动分类，因为初始分类器可用于手动辅助分类。
本文中所描述的实施例还提供平衡训练组，其可用以产生稳健及更好分类器。平衡训练组可为包含全部缺陷类型(例如，相比于1颗粒、1残渣及28刮痕的10颗粒、10残渣、10刮痕)的相同数目(或几乎相同数目)个实例中的一者。例如，在许多情况下，缺陷数据含有90％以上扰乱点且这些扰乱点缺陷被分类成具有相当高置信度。由于在本文中所描述的实施例中仅手动分类落于低于置信度阈值的那些缺陷且将其添加到训练组，所以在训练组中将存在更多DOI且更好地平衡训练组中的缺陷。使用平衡训练组产生的分类器是更稳健且具有相较于先前方法更高的准确度，因为训练组更平衡且包含更多DOI。
本文中所描述的实施例还可用以计算且提供DRS，其可用以确定每一类的分类器的稳健性。如果DRS大于零，那么其指示已经存在足够缺陷数据来产生用于类的分类器。
本文中所描述的一些额外实施例使用缺陷分类器的结果作为针对归因于工具漂移的生产中的分类器降级的诊断。一些用于复检的当前所使用ADC方法使用分类器，例如随机森林类型缺陷分类器，作为分类器引擎来提供ADC到缺陷复检工具的用户。然而，随着时间推移，缺陷复检工具的成像条件可在工具上显著改变(称为工具漂移的过程)，这是归因于输出获取子系统的一或多个参数的变化，例如在基于电子束的工具的情况中为束流及iRaw(从电子束工具的电子束源获取的总电流)或在基于光的工具的情况下为由工具引导到样品的光及由工具的光源产生的光。工具条件随时间推移的此改变可致使由分类器使用的属性漂移，从而导致随时间推移的分类器性能降级。举例来说，iRaw电流与图像像素的强度/亮度级及因此可能地从此类图像像素确定的任何属性直接相关。因此，可期望控制iRaw电流以确保图像具有类似亮度级。
然而，工具漂移与属性漂移之间的直接关系可为未知的且取决于各种因素，例如缺陷类型、层背景、成像条件等。此外，一些分类器相较于其它分类器可对属性漂移更加稳健。举例来说，其中缺陷类型良好分离的分类器可比具有更难以在属性空间中分离的缺陷类型的分类器对属性漂移更加稳健。此外，已发现仅基于表面构形缺陷的分类器相较于基于基于对比度的缺陷的分类器对工具漂移更加稳定，因为基于强度的属性相较于表面构形属性趋向于随着工具漂移而更多地漂移。
一些当前在开发中的解决方案目的在于直接监测束流及iRaw作为确保工具条件保持在规格内的措施。举例来说，为帮助分类器抵抗工具漂移，一些当前对基于电子束的缺陷复检工具所执行的技术监测工具的束流及iRaw。当工具超出在两者中的任一者的规格范围时收集的数据不用于分类器训练，且在工具上触发校准以使工具返回到规格中。
由于工具漂移与属性漂移之间的关系可为未知的，所以在经测试的另一可行技术中，在用于校准的标准晶片上产生手动决策树。决策树对最容易受影响的强度属性的范围进行检查且确保属性在用于标准晶片的范围内。因此，如果标准晶片上的属性在规格内，那么工具可经发布以进行生产。
然而，上文所描述的方法存在数个缺点。举例来说，在束流及iRaw监测方法中，直接测量工具漂移，但不考虑工具漂移对分类器的影响。换句话来说，监测工具参数(例如iRaw、束流及平均灰度)可给出工具漂移的概念，但无法知晓此工具漂移是否影响分类器。以此方式，如果生产中的分类器对工具漂移相对较稳定，那么如果束流及iRaw超出规格那么可执行不必要校准。规格经全局预定义。另外，如果生产中使用的分类器对工具漂移相对较不稳定，那么分类器性能可降级，但iRaw及束流仍可在规格内。因此，对iRaw及束流提出全局界限是不现实的，因为适当界限因层上的分类器及缺陷类型而不同。如果规格过于严格，那么其将导致大量错误警报。相反，如果规格过于宽松，那么其将导致生产中使用的许多分类器具有降级性能。
在对标准晶片执行的缺陷分类中，尽管此技术因其意在估计工具漂移对属性的影响而是优于先前技术的改进，但其仅测量标准晶片上的属性及分类器性能。此类测量不可跨分类器一般化，因为工具漂移的影响取决于缺陷类型及缺陷类型的属性空间中的分离而为每一分类器所特有。因此，即使此方法也无法针对每个分类器估计工具漂移对分类器性能的影响且遭遇到与先前方法相同的缺点。
工具漂移与分类器性能降级之间的关系因此从分类器到分类器及从缺陷类型到缺陷类型而改变。在生产中，在用户不验证ADC建议的组格代码的情况下，不存在真正真实的数据且因此不存在直接估计分类器性能降级的方式。然而，如本文中进一步所描述，本文中所描述的实施例可经配置以直接监测缺陷分类器结果，例如拒绝组格大小及/或置信度直方图，以直接诊断归因于由随时间推移的工具漂移所致的属性移位的缺陷类型的分类器性能的任何下降。每个缺陷组格可针对归因于工具漂移的性能下降而个别分析。
在一个实施例中，计算机子系统经配置用于监测由所产生缺陷分类器及经修改缺陷分类器产生的结果中的未经分类缺陷的组格的大小且当组格的大小大于经预先确定大小时产生警报，且警报指示输出获取子系统的一或多个参数的校准是必要的。举例来说，实施例可使用被拒绝组格大小的增加来检测增加属性漂移。特定来说，一些缺陷分类器将仅具高置信度的缺陷分类到缺陷组格。可将置信度阈值施加于每一缺陷组格上，且低于阈值的缺陷可被发送到被拒绝组格以由用户手动地分类。以此方式，实施例可监测分类器的被拒绝组格大小且发出警报：缺陷组格的性能正受工具漂移影响。因而，实施例可经配置用于使用被拒绝组格大小作为分类器性能降级的指示符而触发束重新校准。
在另一实施例中，一或多个计算机子系统经配置用于监测由所产生缺陷分类器及经修改缺陷分类器产生的结果中的每一缺陷组格的置信度直方图且当置信度直方图具有一或多个经预先确定特性时产生警报，且所述警报指示，输出获取子系统的一或多个参数的校准是必要的。举例来说，实施例可使用缺陷组格的平均置信度的下降作为属性漂移。以此方式，实施例可监测每一缺陷组格的置信度直方图且发出警报：缺陷组格的性能正受工具漂移的影响。因而，实施例可经配置用于使用置信度直方图作为分类器性能降级的指示器而触发束重新校准。
特定来说，置信度可由分类器而指派到每一缺陷。此置信度是分类器具有的置信度：此缺陷的缺陷类型的确是分类器指派到其的类型。每缺陷组格的置信度可通过在属性空间中指派置信度级到每个区域而显现。具有相对高密度的缺陷类型的区域被给予相对较高置信度，而其中密度较低的区域指派较低置信度。
随着工具随时间推移漂移，每一缺陷类型的属性云开始移位。因此，特定缺陷类型的缺陷开始移出其先前在属性空间中占据的区域，即其中置信度是高的区域。因此，将预期随着工具漂移，置信度直方图将从相对较高置信度移动到中间置信度且逐渐到低置信度。另外，随着直方图移动朝向较低置信度，越来越多的缺陷将在每一缺陷类型的置信度阈值以下由分类器结束且因此拒绝组格大小将随时间增加。因此，本文中所描述的实施例可监测每一缺陷类型的被拒绝组格大小及/或置信度直方图以测量工具漂移对分类器性能的直接影响。因而，本文中所描述的实施例可用于使用由分类器输出的置信度测量而监测分类器以抵抗工具漂移。另外，本文中所描述的实施例可用于在其中无真正真实数据可用的情况下在生产中监测分类器以抵抗工具漂移。
在一些实施例中，一或多个计算机子系统经配置用于通过扰乱由所产生缺陷分类器用于分类缺陷的缺陷的一或多个属性中的训练组且确定在所产生缺陷分类器的性能下降低于经预先确定程度之前所产生缺陷分类器可承受的扰乱量而确定所产生缺陷分类器的稳健性分数。以此方式，本文中所描述的实施例可指派稳健性分数到每一分类器，其估计分类器可容忍的属性漂移量。可在属性空间中扰乱训练组，且在分类器性能开始下降(例如，按某一经预先确定百分比)之前训练组可承受的扰乱量经界定为分类器的稳健性分数。因此，本文中所描述的实施例的一个优点是其可界定每分类器的稳健性分数，即，分类器对工具漂移的免疫力的测量。
在一个此实施例中，计算机子系统经配置用于基于稳健性分数而确定输出获取子系统的一或多个参数的一或多个控制设置。举例来说，如果在制造中，相对较大数目个分类器具有相对较低稳健性分数，可期望在束流及iRaw的更严格规格，例如在基于电子束的工具的情况下，而如果全部分类器具有相对较高稳健性分数，那么规格可较宽松。因此，本文中所描述的实施例可用作独立方法使用或使用稳健性分数可与工具漂移监测方法一起使用以定义规格上的界限。
因此，与本文中所描述的实施例相对照，当前所使用方法目的在于估计关于工具参数的工具漂移或关于对标准晶片执行的分类的性能降级。不同于那些方法，本文中所描述的实施例直接估计每分类器的每缺陷组格的性能降级。因此，本文中所描述的实施例的一个优点是其可直接估计归因于工具/属性漂移的每分类器的分类器降级。先前方法不具有针对每分类器的估计，仅在工具程度或特定标准晶片测量处。另外，本文中所描述的实施例的优点是其可直接估计归因于工具/属性漂移的每分类器的每缺陷类型的分类器降级。先前方法不具有针对每分类器的每缺陷类型的估计，仅在工具程度或特定标准晶片测量处。拒绝组格百分比及置信度直方图中的移位可经阈值化以针对性能降级发出警报。此针对降级的警报可用以重新校准工具。先前方法遭受其可在无任何分类器降级时触发重新校准(即，在错误肯定的情况下)或当分类器实际上已降级时其可能未触发重新校准(即，失效情况)的缺点。以此方式，先前方法可在工具仍在规格内的情况下(例如相对于束流及iRaw)使分类器运行于降级模式中。本文中所描述的实施例不遭受这些缺点的任一者且其直接监测归因于工具漂移的分类器降级。举例来说，本文中所描述的实施例的一个优点是其相较于先前方法大大地最小化用于工具的束校准或其它图像相关校准的假警报的数目。另外，本文中所描述的实施例的另一优点是其确保在生产中无分类器以降级性能运行。本文中所描述的实施例还可用以确定从一个工具转到另一工具的分类器是否在另一工具上工作，即工具状态匹配，而不需要用户分类数据以验证分类器。
以此方式，本文中所描述的实施例可在针对归因于工具漂移的性能降级监测生产中的分类器中起到重要作用。实施例提供一组直接测量用于估计归因于工具漂移的分类器性能降级并触发工具的重新校准而非依赖于定义工具性能的测量的硬界限。另外，此类界限难以估计。另外，如上文所提及，即使当无分类器性能降级时，当前解决方案也可触发重新校准，这涉及许多时间成本，需要从生产中拉出工具。类似地，分类器可降级，即使工具是在所定义界限的规格内，且用户可对分类器失去信任。本文中所描述的实施例提供对这两个问题的直接解决方案。
本文中所描述的一些额外实施例经配置用于在生产中针对ADC的新颖检测。针对缺陷复检的当前ADC方法提供用户针对每一层的分类器，且每一分类器区分且标记发生于所述层上的全部不同缺陷类型。这些分类结果帮助用户跟踪层上的缺陷分类结果(例如缺陷排列)并监测偏移及过程改变。然而，由于分类器在特定组缺陷(其存在于训练组中)上训练，所以其不能够捕捉并区分在生产期间发生于层上的任何新的类型的缺陷。
捕捉新颖缺陷的能力对用户来说非常重要，因为新颖缺陷用信号通知对层执行的工艺的变化，且如果新颖缺陷是重要的，那么其可使晶片不可用。因此，用户想要尽可能快的捕捉这些新颖缺陷。
新颖缺陷的出现对ADC来说也是重要的，因为ADC优选地经配置用于随时间的稳定分类器性能。归因于在层上的工艺改变，新颖缺陷可发生于层上，其可致使分类器性能随着新颖缺陷开始被分类成其它缺陷类而降级。因此，当前所使用ADC易受归因于工艺改变的性能降级的影响。因此，重要的是，具有新颖缺陷检测用于生产使用情况以便在层上检测新的缺陷以及使用新的缺陷类触发分类器的重新训练。
由于还可在现存缺陷类的缺陷中存在显著改变，所以具有显著改变的缺陷可充当相对于分类器的新颖缺陷，但这些缺陷并非有兴趣捕捉的缺陷。为确保纯新颖缺陷检测，本文中所描述的实施例检测新颖缺陷的集群，即，数目上足以形成集群同时非常不同于现存缺陷类的新颖缺陷。
本文中所描述的实施例可用于检测发生于在生产中运行的晶片上的新颖缺陷。除帮助分类器抵抗归因于工艺漂移的性能降级外，由本文中所描述的实施例产生的结果可用以通知用户层上的任何工艺漂移。另外，一旦新颖缺陷组格的大小超过阈值，那么新颖缺陷组格可由用户分类且触发分类器的重新训练。
在开发ADC用于基于电子束的缺陷复检中所完成的研究先前已比较随机森林置信度及基于近似离群点测量的使用来检测新颖类，且基于随机森林置信度的离群点测量被证明对新颖检测更有效。在基于随机森林置信度新颖检测中，随机森林分类指派类代码及置信度等级到每一缺陷。通过梳理出具有最低随机森林置信度的缺陷(即分类器不能够分类的缺陷)而完成新颖检测。
除机器学习领域外，1类分类器是用于区分所见数据与未见数据(其中所见数据是可用于分类器的训练阶段中的数据，且未见数据是将在未来出现的分类器可对其测试的数据)的最先进技术。这些分类器基于训练数据建立模型，且向生产数据指派其类似于所见数据的置信度。此可经阈值化以获得新颖缺陷。
然而，当前所使用方法及系统存在数个缺点。举例来说，在基于随机森林置信度新颖检测中，现存类的缺陷中的显著变化致使其经分类而具低随机森林置信度，且这些缺陷被分类为新颖缺陷。即，即使这些缺陷可能相对于分类器是新颖的，类内变化也不受关注。另外，如果在给定层上存在两个类似类(例如颗粒及残渣)，那么随机森林将能够仅使用低置信度来将其分类，因为难以在两个类之间区分。因此，这些缺陷类也可在新颖组格中结束。此外，为防止分类器性能降级并触发分类器的重新训练，在生产中，捕捉具显著数量的新颖缺陷的集群比捕捉各自具一或两个缺陷的新颖缺陷类更受关注。即使可在生产中使用一或两个实例来捕捉一组新颖缺陷，但归因于数据缺乏，随机森林分类器也无法针对那个类进行训练。在这方面，基于随机森林置信度的新颖缺陷检测不能提供新颖缺陷的任何聚类以借此提供主要组格且梳理出具有极少实例的新颖缺陷。此外，新颖类可能以高置信度被错误地指派到存在于训练中的另一类。归因于上文所描述的缺点，此方法因具相对较大数目个错误肯定而具有相对较低的准确度。
在另一实例中，在一类分类器中，模型的选择是困难的。模型的数目是已知的，但选择集群的数目等是困难的，且影响新颖缺陷检测的性能。另外，此类分类器不能够在新颖缺陷的集群与现存类的缺陷的变化之间区分，此类分类器将现存类的缺陷的变化识别为新颖缺陷。此外，此类分类器将训练数据缺陷的5％阈值化为离群点，且使用训练数据的5％及95％(5％的阈值可手动修改)作为两个类来使所述问题模型化为2类问题。因此，离群点检测显著取决于训练数据。
生产中使用的ADC分类器将缺陷分类成缺陷组格及被拒绝组格。被拒绝组格包含分类器不能以高置信度进行分类的缺陷。被拒绝组格可包含新颖类以及层上的现存缺陷类型两者。另外，一些新颖类缺陷可能也已被分类到缺陷组格。
本文中所描述的实施例中的一些实施例使用以下事实：针对属于已在原始训练数据组中的类的被拒绝组格中的缺陷，分类器将不能够以相对较高置信度将其分类为新颖缺陷，虽然所述缺陷确实属于新颖类且不同于以高置信度被分类为新颖缺陷的训练组缺陷。举例来说，在一个实施例中，计算机子系统经配置用于将在由所产生缺陷分类器或经修改缺陷分类器产生的未经分类缺陷的组格中的缺陷分别附加到训练组或经修改训练组，借此产生额外训练组。举例来说，在本文中所描述的实施例中，被拒绝组格缺陷可被附加到用于分类器设置且被给予唯一类代码(例如256)用于训练的原始训练数据组。在另一实例中，针对生产批中的全部x批，全部被拒绝组格(例如类256)缺陷可被标记到另一类代码“拒绝”。接着这些缺陷可被附加到原始训练数据组或最近训练数据组。以此方式，接着训练数据可包含被拒绝组格。
在一个此实例中，如图5中所展示，针对4类(1、2、3及4)的训练数据500可被输入到分类器502。训练数据可用以训练分类器502，接着其可被用以分类生产数据504中的缺陷。应用分类器502到生产数据504的结果可包含经分类缺陷506及被拒绝缺陷508。经分类缺陷可包含被分类成类1、2、3及4的包含于训练组中的任何数目个缺陷，而被拒绝缺陷可包含被包含于生产数据中的任何缺陷，其不可被分类成被包含于训练组中的类中的一者。以此方式，被拒绝缺陷可视作未经分类缺陷，且可被指派不同组格或类号(例如，例如如图5中所展示的组格256)。特定来说，例如随机森林分类器的分类器可梳理出已指派到具相对较低置信度的经分类缺陷组格的缺陷，且发送其到被拒绝组格。以此方式，针对生产数据自身中的缺陷的随机森林置信度值不被证明足以从现存类的其它低置信度缺陷滤出新颖类缺陷集群，即，新颖类并不一定具有最低随机森林置信度。本文中所描述的实施例可被用以从其它低置信度缺陷滤出新的缺陷的集群及新的子类型的缺陷。
接着可将被拒绝缺陷508附加到训练数据500。以此方式，如图5中所展示，额外训练组510可通过附加被拒绝缺陷到训练数据500而产生。另外，如图5中所展示，额外训练组将包含被包含于原始训练数据中的全部类以及用于被拒绝缺陷的类(例如256)。
在此实施例中，计算机子系统经配置用于训练额外训练组上的另一分类器，且另一分类器将额外训练组中的缺陷的两个或两个以上分类到未经分类缺陷的额外组格。举例来说，(具相同类型的)另一分类器或相同分类器可在附加数据组上进行训练。以此方式，分类器可以训练类代码以及拒绝类代码重新训练。在一个此实例中，如图5中所展示，额外训练组510可用以重新训练分类器512。作为此重新训练的结果，因为额外训练组510包含缺陷类以及用于被拒绝缺陷的类，所以重新训练分类器将缺陷分类成缺陷及被拒绝类，例如缺陷类1、2、3及4及被拒绝类256。
另外，在此实施例中，计算机子系统经配置用于基于指派到额外组格中的缺陷中的每一者的另一分类器的置信度而分离未经分类缺陷的额外组格中的缺陷，使得具有高于另一置信度阈值的置信度的缺陷被指派到第一组格，且具有低于另一置信度阈值的置信度的缺陷被指派到第二组格，且第一组格是初步新颖组格。举例来说，经分类为组格256的缺陷的开箱(OOB)置信度(如在随机森林的情况下)或k重交叉验证置信度(如在SVM的情况下)可用作由分类器的阈值以获得初步新颖组格。在一个此实例中，如图5的步骤514中所展示，计算机子系统可阈值化经分类到被拒绝(或256)组格的被拒绝缺陷的OOB置信度，借此将被拒绝缺陷分成新颖组格516及非新颖组格518。换句话来说，与训练类良好区分开的新颖类的集群可被分离出且变成新颖组格。经分类到被拒绝组格256但具低于阈值的OOB置信度的缺陷可经保存到另一非新颖组格。以此方式，在被拒绝组格中高于阈值的缺陷可被发送到新颖类且缺陷的剩余者可被发送到另一组格(例如，非新颖组格)。因此，本文中所描述的实施例可界定新颖缺陷置信度。先前所使用的基于随机森林置信度方法指派(1-经指派随机森林代码的随机森林置信度)作为每缺陷的新颖组格置信度。相比之下，本文中所描述的置信度阈值提供可由用户调谐以取决于其需要改变准确度对新颖组格的纯度的参数，捕捉重要的全部新颖缺陷或维持重要的新颖组格的纯度具相对较少错误肯定。针对其中用户不可标记阈值的情况，可使用自动阈值。可基于具有高于x(其大于缺陷的数目y)的置信度的新颖缺陷的数目而确定自动阈值。举例来说，如果具有高于0.9的置信度的新颖缺陷的数目大于30，那么可使用阈值0.9。以此方式，阈值可以用以确保足够的新颖缺陷存在于新颖组格中以确保训练可如本文中进一步所描述而执行的方式来选择。
此外，在此实施例中，计算机子系统经配置用于分别附加初步新颖组格到训练组或经修改训练组，借此产生另一训练组，且计算机子系统经配置用于在另一训练组上训练额外分类器。举例来说，初步新颖组格可附加到训练数据组以训练另一分类器或重新训练分类器。在一个此实例中，如图5中所展示，计算机子系统可产生另一训练组520，其包含5类，缺陷类1、2、3及4及初步新颖组格516。如图5的步骤522中所展示，接着计算机子系统可使用另一训练组520而重新训练分类器。在对新颖组格及原始训练数据的重新训练完成之后，新颖类缺陷的OOB置信度经定义为新颖缺陷置信度，即缺陷属于新颖类的置信度。
而且，在此实施例中，计算机子系统经配置用于使用额外分类器分类经指派到第二组格的缺陷以借此将经指派到第二组格的缺陷分成经指派的第二组格的具高于额外置信度阈值的置信度的缺陷及经指派到第二组格的具低于额外置信度阈值的置信度的缺陷。举例来说，此分类器可重新运行于非新颖组格上，且置信度阈值可用以从非新颖组格梳理出类似于新颖组格的缺陷。在一个此实例中，步骤522中重新训练的分类器可应用到非新颖组格518，且如步骤524中所展示，计算机子系统可阈值化非新颖组格缺陷的置信度，如由分类器所指派。以此方式，高于用于新颖类的阈值的缺陷可被发送到新颖组格。换句话来说，在对非新颖缺陷组格518中的缺陷重新运行如上文所描述而训练的分类器之后，非新颖缺陷组格518中的一些缺陷可由分类器重新分类作为在此步骤中具某个置信度的新颖组格缺陷。这些缺陷可在置信度上阈值化，添加到新颖类组格，且给定新颖缺陷置信度作为此分类器的置信度。在此步骤之后，新颖缺陷将从被拒绝组格恢复。另外，此步骤可获得属于新颖组格的缺陷以及指派新颖检测置信度到缺陷。
另外，在此实施例中，计算机子系统经配置用于添加经指派到第二组格的具高于额外置信度阈值的置信度的缺陷到初步新颖组格以借此产生最终新颖组格。举例来说，如图5的步骤526中所展示，计算机子系统可经配置用于添加步骤524的结果到新颖组格516，这可以任何合适方式执行。
在一个此实施例中，计算机子系统经配置用于分别附加最终新颖组格中的缺陷到训练组或经修改训练组，借此产生另一进一步训练组，基于另一进一步训练组分别重新训练所产生缺陷分类器或经修改缺陷分类器，使得重新训练缺陷分类器产生对应于第一新颖组格的额外新颖组格，且使用所述经重新训练缺陷分类器分类除分别由所产生缺陷分类器或经修改缺陷分类器产生的未经分类缺陷之外的一或多个组格中的缺陷，使得在一或多个组格中的缺陷(其是新颖缺陷)从一或多个组格移动到额外新颖组格。举例来说，最后新颖组格可用以进一步通过附加新颖组格到原始训练数据组及对缺陷组格重新运行进一步经重新训练分类器而重新训练分类器。在一个此实例中，如图5中所展示，可通过将由步骤526产生的最后新颖组格中的缺陷添加到训练组而产生训练组528。因此，训练组将包含缺陷类1、2、3及4及新颖缺陷类。如图5的步骤530中进一步所展示，计算机子系统可经配置用于使用训练组528重新训练分类器。另外，如图5的步骤532中所展示，计算机子系统可经配置用于对原始分类缺陷(例如，分类缺陷506)运行分类器以从分类缺陷分离出新颖类。如图5的步骤534中进一步所展示，分类缺陷506中的缺陷(其经分离出作为新颖缺陷)可添加到新颖组格(例如，新颖组格516)以借此产生额外新颖组格536。这些步骤使新颖缺陷与由当前所使用ADC分类器而分类具相对较高置信度的缺陷分离。换句话来说，此分类器可在缺陷组格(即，由原始分类器分类的缺陷)上重新运行以获得整体新颖类。因而，可梳理出由原始分类器发送到经分类组格的新颖类缺陷。
本文中所描述的实施例具有优于用于检测新颖缺陷的其它方法的数种优点。举例来说，本文中所描述的实施例提供显著较高准确度及新颖组格的纯度。特定来说，本文中所描述的实施例通过使用相较于当前所使用的方法及系统的新的方法而提供显著改进。本文中所描述的实施例在相同纯度级处相较于基于随机森林置信度方法而获得高得多的准确度，即，其能够最大化新颖组格中的新颖缺陷的数目，其是准确度，同时维持新颖组格的纯度，即最小化错误肯定的数目。为报告与新颖组格相同的缺陷的数目，基于随机森林的方法报告大量错误肯定，这可导致在分类器监测期间的相对较大数目个假警报且可触发分类器的不必要重新训练。
本文中所描述的实施例还可经配置以使用新颖组格作为阈值以触发分类器重新训练。特定来说，本文中所描述的实施例可经配置用于使用新颖组格大小来触发关于新颖类的分类器重新训练。以此方式，计算机子系统可经配置以针对工艺改变监测层且如果检测到显著新颖类缺陷那么升起旗标。举例来说，当新类缺陷出现于层上时，分类器应重新训练，使得其可分类那个新类。生产使用情况的挑战中的一者是不仅检测新颖类，而且确定何时已收集足够数目的新颖缺陷以触发关于新颖组格的分类器重新训练。为针对新类而训练分类器，随机森林分类器需要新颖组格的最小20到30个缺陷。换句话来说，随机森林技术每类需要至少20到30个缺陷以重新训练分类器。因此，仅当检测到具大于20到30个缺陷实例的新颖类时触发分类器重新训练将是有利的。在一个此实施例中，一或多个计算机子系统经配置用于比较最终新颖组格的大小与阈值，且当最终新颖组格的大小高于阈值时分别触发所产生缺陷分类器或经修改缺陷分类器的重新训练。以此方式，本文中所描述的实施例能够检测新颖缺陷的相对较大集群且当新颖组格超过某一极限时触发分类器关于新颖组格的重新训练。重新训练分类器是昂贵的过程，其中手动分类必须针对新的缺陷执行且分类器的重新训练必须在工具上触发。因此，做出关于新颖类型的缺陷的充分数目何时能触发分类器的重新训练的自动决策在触发不正确的情况下可具有高成本。本文中所描述的实施例可有利地捕捉具大于20到30个缺陷实例的新颖类中的大部分缺陷，其中缺陷中的一些被不正确地捕捉为新颖缺陷。
使用新颖组格大小以针对新颖缺陷触发分类器重新训练(如本文中所描述)将相较于其它方法具有较高重新训练成功率。举例来说，在其它方法中，可在不具有可用于新颖类的充分数据(其可用于重新训练)的情况下触发分类器重新训练。相较于本文中所描述的实施例，在基于随机森林方法中，新颖组格包含新颖组格缺陷的相对较大集群(即，具大于20到30个缺陷实例的新颖类)、相对较大数目的新颖缺陷类(各自具有相对较少实例)(即，少于20个缺陷实例的新颖类)两者以及相对较大数目个错误肯定(即，经不正确地捕捉为新颖缺陷的缺陷)。在此情况下，如果存在太多具极少缺陷实例的新颖类或存在相对较大数目个错误肯定，那么即使显著数目个新颖缺陷可收集于新颖组格中，分类器也不可重新训练。因此，新颖组格大小不可用作用于在随机森林置信度阈值方法中重新训练的阈值。换句话来说，阈值化新颖组格中的缺陷的数目以触发自动重新训练将在本文中所描述的实施例中是有效的但在基于随机森林置信度方法中无效，因为在具有大于20到30个缺陷的新颖组格中的许多缺陷可为属于在新颖组格中具少于20个缺陷实例的新颖缺陷类的缺陷以及不正确地捕捉为新颖缺陷的缺陷。
上文所描述的实施例可用以在(例如)基于电子束缺陷复检及执行于生产中的其它过程中监测分类器。举例来说，针对线内新颖缺陷检测，针对每第n个生产批运行，用于那个批的被拒绝组格数据可与前n-1个被拒绝组格数据组合。可使用经组合数据执行本文中所描述的新颖检测步骤且可线内报告针对那个批的新颖类。另外，如本文中进一步所描述，实施例可防止性能降级。实施例还可产生指示过程偏移的警报，其可受到用户极大关注。举例来说，本文中所描述的实施例提供一般方法，其可用以在生产中检测新颖类的集群且可跨基于电子束及基于光的使用情况应用。在没有在生产中及分类器的监测中检测新颖类的处在适当位置中的机构的情况下，当前ADC解决方案将不用于生产中。因此，新颖缺陷检测在用于生产的整体ADC解决方案中是重要成份。
本文中所描述的实施例还可经配置用于消除归因于出现于层上的新颖类的缺陷组格纯度的下降。例如，一旦用户已分类被拒绝组格，被拒绝组格就可添加到训练数据(如本文中进一步所描述)且用以重新训练分类器，这可如本文中进一步所描述而执行。接着先前由那个分类器分类的缺陷可通过经重新训练分类器而重新运行以获得针对那个数据的另一组分类。在此额外运行中，接着经分类到新颖类的缺陷(即，被拒绝缺陷的类，其已由用户手动指派为新颖类)可用以估计在原始分类器中的纯度下降。
另外，实施例可直接用于连续缺陷发现。举例来说，本文中所描述的实施例可提供连续发现使用情况的重要成份，其中目标是在适用的情况下向用户提供生产晶片上的潜在新缺陷类型的相对较小样本总体。一旦检验或缺陷复检配方处在生产中，那么用户主要针对扰乱点率及偏移监测配方。可对生产批执行随机取样，样本可经复检且经分类以评估生产晶片上的扰乱点率，且用户还可从随机取样看见缺陷的排列。当前ADC解决方案不能够报告新颖类作为排列的部分且因此需要使用新颖检测方法使用户意识到在晶片上的潜在新缺陷类型。
本文中所描述的实施例还可经配置用于针对分类器性能稳健性使用循序分类器。举例来说，本文中所描述的实施例通过给予更高优先权到稳定属性的选择列表以改进分类器在跨不同工具转移时的性能的一致性及与工具参数状态无关的性能的稳定性而提供用于分类器产生的经改进方法。
在当前所使用的基于随机森林ADC方法中，已通过仅考虑基于分离属性的唯一标准而执行分级分类器产生的属性且不考虑属性关于工具漂移的稳定性。属性的此分级可通过随机森林方法内部执行，同时基于由每一属性给出的在不同类型的缺陷之间的分离量而建立决策树。因此，当前没有执行本文中进一步所描述的功能的方法。另外，用于分类器产生的当前所使用方法不具有处理具极少实例的缺陷类型的任何方法。以此方式，具极少实例的缺陷类型可干扰主要缺陷组格，这可使其纯度降低到低于性能规格。
因此，当前所使用的方法具有数个缺点。举例来说，在用于分类器产生的当前所使用方法中，在其中使用稳定及不稳定属性两者实现分离的情况下，在一些情况下，不稳定属性被给予比稳定属性更高的等级。因此，以此方式产生的分类器当跨不同工具转移时且还归因于工具参数的变化可具有不一致性能。特定来说，当前所使用ADC方法不能够处理工具/成像漂移。在另一实例中，当前所使用方法不具有引入关于具极少实例的缺陷类的现有信息的任何方法。关于缺陷类型及其性质的此信息大体上由用户提供且可有助于梳理出这些缺陷类型。在额外实例中，当前所使用方法放置极其严格界限于工具到工具匹配上用于多工具分类器建立，且如果两个工具超出规格，那么其数据不可用以建立共同分类器。
本文中所描述的实施例提供可行解决方案用于稳定分类器性能，其对工具漂移是稳健的且当分类器跨不同工具转移时用于稳定性能。即使在在一些基于缺陷检验工具的电子束的稳定工具条件下，基于强度的缺陷属性在跨不同工具的属性中展示相对较高变化。举例来说，针对基于P1属性(能量密度P1及极性P1，其中P1指示在样品的俯视透视图像上计算的图像特征，其可使用一或多个算法产生且通过将不同权重给予不同检测器的不同通道而后处理)，针对相同缺陷类型跨不同工具的属性中的改变可接近于约50％且针对基于P0强度的属性(强度StdMix0，其中P0指示从Mix0透视所计算的图像特征，其是通过将相等权重添加到全部通道具且不使用任何后处理产生的透视，且其中StdMix0是缺陷属性，其经计算为在Mix0透视上计算的图像中的缺陷像素的标准偏差)，其接近于约40％。然而，基于表面构形的属性的变化是相对较低的。举例来说，平均高度属性展示跨不同工具的小于15％变化。归因于跨不同工具的基于强度属性的相对较高变化，已发现在分类器产生期间使用此类属性使分类器性能不稳定。
在一个实施例中，所产生缺陷分类器包含以某一顺序布置的至少一第一缺陷分类器及第二缺陷分类器，使得仅将由第一缺陷分类器分类的具有低于另一置信度阈值的置信度的缺陷发送到第二缺陷分类器，第一缺陷分类器经配置以仅使用由针对缺陷的一或多个计算机子系统确定的缺陷属性的第一部分以将缺陷分到一或多个第一类中，且缺陷属性的第一部分基本上对输出获取子系统的一或多个参数中的漂移是稳定的。因此，本文中所描述的实施例提供以某一顺序建立分类器的方法，一者仅基于稳定属性，接着另一者基于全部属性(或至少一些相对较不稳定属性)以提供可对工具漂移稳定的分类器。另外，实施例提供对基于电子束缺陷复检工具(及本文中所描述的其它工具)具有稳定分类器性能的分类器，其对工具漂移稳健，且其可包含梳理出具极少缺陷实例的类以改进由分类器产生的结果的纯度。
在一个此实施例中，缺陷属性的第一部分包含一或多个基于表面构形的属性。在另一此实施例中，缺陷属性的第一部分包含一或多个基于形状的属性。在另一此实施例中，缺陷属性的第一部分不包含基于强度的属性。举例来说，已确定基于表面构形的属性展示跨不同工具的相对较稳定性能。因此，已发现在其中其可在缺陷类之间提供相对良好分离的情况下使用仅相对较稳定属性(例如，基于表面构形及基于形状属性)且仅在其中稳定属性不可在缺陷类之间提供良好分离的情况下使用其它相对较不稳定属性而产生循序分类器可导致一致分类器性能。因此，所述属性可基于其对归因于工具参数的改变的敏感性而分离。以此方式，可将最高优先权给予相对较稳定属性来建立第一分类器。
在另一此实施例中，第二缺陷分类器经配置以使用缺陷属性的第二部分来将缺陷分成一或多个第二类，且缺陷属性的第二部分比缺陷属性的第一部分对漂移较不稳定。举例来说，当所述属性基于其对归因于工具参数的改变的敏感性而分离时，可将更高优先权给予相对较稳定属性以建立第一分类器且第二分类器可使用全部属性建立，而不仅仅基本上稳定缺陷属性。举例来说，在一些此类实施例中，缺陷属性的第二部分包含一或多个基于强度的属性。另外，缺陷属性的第二部分可包含可用于分类的全部缺陷属性。因而，基于基本上稳定缺陷属性的分类器可由基于全部属性的分类器循序跟随。以此方式，仅由第一分类器使用相对较低置信度分类的缺陷可被发送到第二分类器，借此导致基本上稳定分类器性能。因此，本文中所描述的实施例提供基本上对工具漂移稳定的分类器性能。
在另一此实施例中，缺陷属性的第一部分基本上对输出获取子系统的一或多个参数与另一输出获取子系统的一或多个参数之间的差稳定。在一个此实施例中，一或多个计算机子系统经配置用于分类基于由具所产生缺陷分类器的另一输出获取子系统产生的输出检测的缺陷。因此，本文中所描述的实施例在转移分类器从一个工具到另一工具之后提供基本上稳定分类器性能。举例来说，循序分类器可使用不同工具/成像条件转移到另一工具以提供对另一工具的稳健性能。对多个工具的稳健性能通过以下事实提供：基本上保证由第一顺序分类器分类的所述组缺陷以在独立于工具条件的全部工具上分类。另外，仅第一顺序分类器(其是基于稳定属性，例如表面构形及形状属性)可转移到另一工具，直到可收集充分数据以证实第二顺序分类器对另一工具的性能。以此方式，本文中所描述的实施例可经配置用于转移顺序分类器或仅将第一分类器从一个工具转移到另一者。
在另一此实施例中，用以产生缺陷分类器的训练缺陷组还包含基于由另一输出获取子系统产生的输出而检测的缺陷，且当输出由输出获取子系统及另一输出获取子系统产生时，输出获取子系统及另一输出获取子系统彼此不匹配。举例来说，如果多个工具中的每一者不在规格内，那么当前所使用ADC技术不使用来自多个工具的数据以建立分类器。然而，本文中所描述的实施例提供某一方式以使用此数据来建立多工具分类器，即使工具中的一或多者超出规格，且因此建立多工具分类器的时间显著减少。更明确来说，如果表面构形属性更不受工具漂移影响，那么此数据可用以建立第一顺序分类器、建立于仅相对较稳定属性(例如表面构形及/或形状属性)上的分类器。因此，本文中所描述的实施例可使用多工具数据来建立顺序分类器，即使工具不匹配及/或超出规格。
在另一此实施例中，所产生缺陷分类器包含以顺序布置的第三缺陷分类器，使得应用至少第一缺陷分类器及第二缺陷分类器的结果被输入到第三缺陷分类器，且第三缺陷分类器是手动决策树。与本文中所描述的实施例相反，当前所使用基于随机森林ADC分类器不能够使具极少缺陷的类与归因于缺乏实例的大多数类分离。然而，基于手动切割线方法可用以基于来自用户的现有知识而分离此类缺陷类。因此，本文中所描述的实施例提供分类器性能，其在具有相对较大数目个实例极少的缺陷类型的层上是稳定的。
在一个此实例中，第三顺序分类器可为基于一些属性及现有知识的一组决策。举例来说，可存在训练组中的类的两个缺陷，但两个缺陷不足以使用机器学习技术来训练。然而，用户可指示缺陷具有显著高度，例如高于其它缺陷类型。接着，基于高度属性的决策树可经添加以滤出具相对较大高度的缺陷。此决策将构成第三分类器。一个以上决策可基于此现有知识添加。类似于决策树，接着全部这些决策可构成第三分类器。
以此方式，本文中所描述的缺陷分类器可为3步骤顺序分类器，其对工具漂移及具小数目的缺陷类是稳健的。如上文进一步所描述，第一分类器可为仅由相对较稳定ADC属性建立的随机森林分类器，即所述组属性已知对成像工具变化是稳定的。第二分类器可为由全部ADC属性建立的随机森林分类器。第三分类器可为基于现有知识的手动决策树，其中工程师设置手动切割线以滤出干扰现有类的相对较小缺陷类。以此方式，手动决策树可用以基于现有知识梳理出具极少实例的缺陷。
一个此实施例展示于图6中。如在此图中所展示，数据600可通过输入到第一分类器602(其经配置为基于表面构形及/或形状属性的分类器)而输入到分类器。另外，第一分类器602可仅在基于表面构形及形状属性上建立。仅使用这些属性良好分离的缺陷将由此分类器良好分离。换句话来说，此类缺陷可包含高置信度缺陷604。由于这些属性基本上对工具漂移稳定，所以即使在工具漂移之后，这些缺陷也将总是正确地分类为具高置信度。缺陷的剩余者(即，低置信度缺陷606或不由第一分类器分类为具相对较高置信度的缺陷)可被发送到下一顺序分类器，其可为基于随机森林分类器的全部可用缺陷属性。举例来说，如图6中所展示，低置信度缺陷可被发送到第二分类器608，其是基于全部属性的分类器。由此分类器执行的分类可产生包含高置信度缺陷610的结果，其可与高置信度缺陷604组合且被发送到第三分类器612，其是手动决策树用于梳理出相对较小类。举例来说，第三顺序分类器可为手动决策树，其使用每一分类器组格建立作为根节点以梳理出具极少实例的缺陷。在一个此实例中，如果线桥接正经分类为桥接，那么手动决策树可建立于ADC组格上用于桥接，即所述组缺陷分类为桥接于第一顺序分类器及第二顺序分类器中以梳理出线桥接。
因此，上文所描述的缺陷分类器实施例提供优于当前所使用的缺陷分类器的数个优点。举例来说，本文中所描述的实施例提供建立分类器的方法，其对工具漂移或随时间推移的成像条件的改变是稳健的。由发明者执行的一些研究已展示缺陷的几乎90％可使用仅基于表面构形及形状属性而分离。因此，就本文中所描述的顺序分类器实施例来说，即使工具漂移，也将保证性能的90％。因此，本文中所描述的实施例可用以建立分类器，其对改变条件更具弹性。
在另一实例中，实施例提供处理具极少缺陷的类的方法，所述类已知降级分类器性能。相比之下，当前所使用ADC方法不能够在具极大数目个少数缺陷类(具极少实例缺陷)的层上维持性能，其是跨制造的共同使用情况且可严重地妨碍ADC性能。
在额外实例中，实施例提供用于跨工具转移分类器的方法，其可具有变化工具/成像条件。相比之下，当前所使用ADC方法严重受工具漂移影响且不具有用于分类器的有效转移的任何解决方案。因此，当前，放置严厉约束于系统稳定性上，其难以在无一致重新校准的情况下满足。举例来说，在当前所使用ADC方法中，全部缺陷类型易受工具漂移影响，但在本文中所描述的顺序分类器中，仅基于表面构形及形状属性不能够分类的缺陷易受工具漂移影响。如果在转移之后，发现分类器不工作，那么在当前所使用ADC方法中，重新训练全部分类器，同时针对本文中所描述的顺序分类器，仅可重新训练第二分类器。因此，本文中所描述的实施例实现分类器的有效工具到工具转移且通过梳理出具相对较小缺陷的缺陷类而改进分类器性能。
在另一实例中，即使工具成像条件基本上不同，实施例提供用于使用多工具数据用于分类器建立的方法。以此方式，本文中所描述的实施例提供分类器的相对较简单多工具建立，而不放置严格约束于工具匹配上。本文中所描述的实施例可因此对ADC方法的成功是重要的。以此方式，ADC工作可涉及来自多个工具的分类器建立，所述多个工具即使最初匹配但也随时间而漂移。因此，确保可建立多工具分类器使得其能够处理漂移工具状况是至关重要的。顺序分类器将提供更稳健及更可靠方式来建立分类器，其对工具漂移是不变的且显著地放松工具到工具匹配上的约束。
另一实施例涉及用于使用自适应自动缺陷分类器分类样品上的缺陷的计算机实施方法。所述方法包含用于上文所描述的计算机子系统的功能中的每一者的步骤。
方法的步骤中的每一者可如本文中进一步描述那样加以执行。所述方法还可包含任何其它步骤，其可由本文中描述的输出获取子系统及/或计算机子系统或系统执行。由一或多个计算机系统执行方法的步骤，其可根据本文中所描述的实施例中的任何者配置。另外，可由本文中所描述的系统实施例中的任何者执行上文所描述的方法。
额外实施例涉及非暂时性计算机可读媒体，其存储可在计算机系统上执行的程序指令，用于执行用于使用自适应自动缺陷分类器分类样品上的缺陷的计算机实施方法。一个此实施例展示于图7中。特定来说，如图7中所示，非暂时性计算机可读媒体700包含可在计算机系统704上执行的程序指令702。所述计算机实施方法可包含本文所描述的任何方法的任何步骤。
实施例如本文中所描述的方法的程序指令702可存储于计算机可读媒体700上。所述计算机可读媒体可为存储媒体(例如磁盘或光盘、磁带或所属领域中已知的任何其它合适非暂时性计算机可读媒体)。
可以各种方式中的任何者实施所述程序指令，其包含(尤其)基于程序的技术、基于组件的技术及/或面向对象技术。举例来说，可使用ActiveX控件、C++对象、JavaBeans、微软基础类别(“MFC”)、SSE(流SIMD扩展)或如所需的其它技术或方法实施所述程序指令。
计算机系统704可根据本文中所描述的实施例中的任何者配置。
本文所描述的所有方法可包含存储计算机可读存储媒体中的方法实施例的一或多个步骤的结果。所述结果可包含本文所描述的结果中的任何者且可以所属领域中已知的任何方式存储。所述存储媒体可包含本文所描述的任何存储媒体或所属领域中已知的任何其它合适存储媒体。在已存储所述结果之后，结果可在存储媒体中存取且由本文所描述的方法或系统实施例中的任一者使用、经格式化用于对用户显示、由另一软件模块、方法或系统使用等等。
鉴于此描述，所属领域的技术人员应明白本发明的各种方面的另外修改及替代实施例。举例来说，提供用于使用自适应自动缺陷分类器分类样品上的缺陷的方法及系统。因此，此描述希望视为仅说明且为教示所属领域的技术人员执行本发明的一般方式的目的。应理解本文展示及描述的本发明的形式希望视为目前优选的实施例。元件及材料可替代本文所说明及描述的所述元件及材料，可颠倒部件及过程，且可独立地利用本发明的特定特征，所属领域的技术人员在获得本发明的此描述的优点之后当明白上述所有。可在本文所描述的元件中进行改变而不会背离如在以下权利要求书中所描述的本发明的精神及范围。

Claims (25)

1.一种经配置以使用自适应自动缺陷分类器来分类样品上的缺陷的系统，其包括：
输出获取子系统，其包括至少一能量源及检测器，其中所述能量源经配置以产生被引导到样品的能量，且其中所述检测器经配置以检测来自所述样品的能量且响应于所述检测到的能量而产生输出；及
一或多个计算机子系统，其经配置用于：
基于由所述检测器产生的所述输出来检测所述样品上的缺陷，以借此产生第一批结果；
使用聚类方法来将所述缺陷分成不同群组；
从用户接收用于所述不同群组中的每一者的分类；
基于接收到的分类及包括在所述第一批结果的全部所述缺陷中的缺陷的训练组来产生缺陷分类器；
通过扰乱由用于分类所述缺陷的所产生缺陷分类器使用的所述缺陷的一或多个属性中的所述训练组来针对所述所产生缺陷分类器确定稳健性分数，且确定在所述所产生缺陷分类器的性能下降低于经预先确定程度之前所述所产生缺陷分类器可承受的扰乱量；
基于所述稳健性分数来确定一或多个控制设置，用于所述输出获取子系统的一或多个参数；
基于由所述检测器针对另一样品产生的额外输出而检测与所述样品类型相同的另一样品上的额外缺陷，以借此产生额外批结果；
组合所述第一批结果及所述额外批结果，以产生累计批结果；
通过应用所述所产生缺陷分类器到所述累计批结果中的所述缺陷来分类所述累计批结果中的所述缺陷；
确定所述额外批结果中的所述缺陷中的任何者是否具有低于置信度阈值的置信度值；
当所述额外批结果中的所述缺陷中的一或多者具有低于所述置信度阈值的置信度值时，从用户接收一或多个缺陷的一或多个分类且修改所述训练组以包含所述一或多个缺陷及所述一或多个分类；
基于经修改训练组来修改所述缺陷分类器；
使用所述经修改缺陷分类器来分类所述累计批结果中的缺陷；及
当所述累计批结果中的全部所述缺陷由所述用户分类或所述额外批结果中的所述缺陷没有一个具有低于所述置信度阈值的置信度值时，结束自适应分类器产生。
2.根据权利要求1所述的系统，其中产生所述缺陷分类器是使用自动置信度阈值来执行。
3.根据权利要求1所述的系统，其中所述所产生缺陷分类器是随机森林型缺陷分类器。
4.根据权利要求1所述的系统，其中所述所产生缺陷分类器是支持向量机类型缺陷分类器。
5.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置用于通过以下操作来确定数据冗余分数：
a)针对缺陷的多个类的第一类，使用聚类方法来选择所述第一类中的所述缺陷的一部分，且添加所述缺陷的所选择的部分到针对所述第一类的训练组；
b)产生具有针对所述第一类的所述训练组及所述多个类的其它类的训练组的自动分类器；
c)使用所述自动分类器来分类在步骤a)中未被选择的所述第一类中的所述缺陷的一部分；
d)如果所述第一类中的任何缺陷由所述自动分类器分类成低于预定义置信度阈值，那么添加所述第一类中的经预先确定数目个所述缺陷到针对所述第一类的所述训练组，且重复步骤a)到c)；及
e)如果所述第一类中的所述缺陷没有一个由所述自动分类器分类成低于所述预定义置信度阈值，那么计算所述数据冗余分数等于1- (针对所述第一类的所述训练组的大小)除以(所述第一类的大小)。
6.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置用于监测由所述所产生缺陷分类器及所述经修改缺陷分类器产生的结果中的未经分类缺陷的组格的大小，且当所述组格的所述大小大于经预先确定大小时产生警报，且其中所述警报指示所述输出获取子系统的一或多个参数的校准是必要的。
7.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置用于监测由所述所产生缺陷分类器及所述经修改缺陷分类器产生的结果中的每一缺陷组格的置信度直方图，且当所述置信度直方图具有一或多个经预先确定特性时产生警报，且其中所述警报指示所述输出获取子系统的一或多个参数的校准是必要的。
8.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置用于：
将由所述所产生缺陷分类器或所述经修改缺陷分类器产生的未经分类缺陷的组格中的缺陷分别附加到所述训练组或所述经修改训练组，借此产生额外训练组；
在所述额外训练组上训练另一分类器，其中所述另一分类器将所述额外训练组中的所述缺陷的两个或两个以上分类到未经分类缺陷的额外组格；
基于经指派到所述额外组格中的所述缺陷中的每一者的另一分类器的置信度来分离所述额外组格中的所述缺陷，使得具有高于另一置信度阈值的置信度的所述缺陷被指派到第一组格，且具有低于所述另一置信度阈值的置信度的缺陷被指派到第二组格，其中所述第一组格是初步新颖组格；
使所述初步新颖组格分别附加到所述训练组或所述经修改训练组，借此产生另一训练组；
在所述另一训练组上训练额外分类器；
使用所述额外分类器将经指派到所述第二组格的所述缺陷分类，以借此将经指派到所述第二组格的所述缺陷分到经指派到所述第二组格的具有高于额外置信度阈值的置信度的缺陷中及经指派到所述第二组格的具有低于所述额外置信度阈值的置信度的缺陷中；及
将经指派到所述第二组格的具有高于所述额外置信度阈值的置信度的所述缺陷添加到所述初步新颖组格，以借此产生最终新颖组格。
9.根据权利要求8所述的系统，其中所述一或多个计算机子系统进一步经配置用于：
将所述最终新颖组格中的所述缺陷分别附加到所述训练组或所述经修改训练组，借此产生另一进一步训练组；
基于所述另一进一步训练组来分别重新训练所述所产生缺陷分类器或所述经修改缺陷分类器，使得所述经重新训练缺陷分类器产生对应于所述最终新颖组格的额外新颖组格；及
使用所述经重新训练缺陷分类器来分类除分别由所述所产生缺陷分类器或所述经修改缺陷分类器产生的未经分类缺陷的所述组格外的在一或多个组格中的所述缺陷，使得在所述一或多个组格中为新颖缺陷的所述缺陷从所述一或多个组格移动到所述额外新颖组格。
10.根据权利要求8所述的系统，其中所述一或多个计算机子系统进一步经配置用于比较所述最终新颖组格的大小与阈值，且当所述最终新颖组格的所述大小高于所述阈值时，分别触发所述所产生缺陷分类器或所述经修改缺陷分类器的重新训练。
11.根据权利要求1所述的系统，其中所述所产生缺陷分类器包括以一定顺序布置的至少一第一缺陷分类器及第二缺陷分类器，使得仅将由所述第一缺陷分类器分类的具有低于另一置信度阈值的置信度的所述缺陷被发送到所述第二缺陷分类器，其中所述第一缺陷分类器经配置以仅使用由所述一或多个计算机子系统针对所述缺陷确定的缺陷属性的第一部分以将所述缺陷分到一或多个第一类中，且其中所述缺陷属性的所述第一部分对所述输出获取子系统的一或多个参数中的漂移是稳定的。
12.根据权利要求11所述的系统，其中所述缺陷属性的所述第一部分包括一或多个基于表面构形属性。
13.根据权利要求11所述的系统，其中所述缺陷属性的所述第一部分包括一或多个基于形状属性。
14.根据权利要求11所述的系统，其中所述缺陷属性的所述第一部分不包括基于强度属性。
15.根据权利要求11所述的系统，其中所述第二缺陷分类器经配置以使用所述缺陷属性的第二部分来使所述缺陷分到一或多个第二类中，且其中所述缺陷属性的所述第二部分比起所述缺陷属性的所述第一部分对所述漂移较不稳定。
16.根据权利要求15所述的系统，其中所述缺陷属性的所述第二部分包括一或多个基于强度属性。
17.根据权利要求11所述的系统，其中所述缺陷属性的所述第一部分对所述输出获取子系统的所述一或多个参数与另一输出获取子系统的一或多个参数之间的差是稳定的。
18.根据权利要求17所述的系统，其中所述一或多个计算机子系统进一步经配置用于使用所述所产生缺陷分类器来分类基于由所述另一输出获取子系统产生的输出而检测到的缺陷。
19.根据权利要求11所述的系统，其中用以产生所述缺陷分类器的缺陷的所述训练组进一步包括基于由另一输出获取子系统产生的输出而检测到的缺陷，且其中当所述输出是由所述输出获取子系统及所述另一输出获取子系统产生时，所述输出获取子系统及所述另一输出获取子系统彼此不匹配。
20.根据权利要求11所述的系统，其中所述所产生缺陷分类器进一步包括以所述顺序布置的第三缺陷分类器，使得应用至少所述第一及第二缺陷分类器的结果被输入到所述第三缺陷分类器，且其中所述第三缺陷分类器包括手动决策树。
21.根据权利要求1所述的系统，其中所述样品包括晶片。
22.根据权利要求1所述的系统，其中引导到所述样品的所述能量包括光，且其中从所述样品检测的所述能量包括光。
23.根据权利要求1所述的系统，其中引导到所述样品的所述能量包括电子，且其中从所述样品检测的所述能量包括电子。
24.一种非暂时性计算机可读媒体，其存储可在计算机系统上执行的程序指令，用于执行计算机实施方法，用于使用自适应自动缺陷分类器来分类样品上的缺陷，其中所述计算机实施方法包括：
基于由输出获取子系统的检测器产生的输出来检测所述样品上的缺陷，以借此产生第一批结果，其中所述输出获取子系统包括至少一能量源及所述检测器，其中所述能量源经配置以产生被引导到样品的能量，且其中所述检测器经配置以检测来自所述样品的能量，且响应于所述检测到的能量而产生所述输出；
使用聚类方法来将所述缺陷分成不同群组；
从用户接收用于所述不同群组中的每一者的分类；
基于接收到的分类及包括在所述第一批结果的全部所述缺陷中的缺陷的训练组来产生缺陷分类器；
通过扰乱由用于分类所述缺陷的所产生缺陷分类器使用的所述缺陷的一或多个属性中的所述训练组来针对所述所产生缺陷分类器确定稳健性分数，且确定在所述所产生缺陷分类器的性能下降低于经预先确定程度之前所述所产生缺陷分类器可承受的扰乱量；
基于所述稳健性分数来确定一或多个控制设置，用于所述输出获取子系统的一或多个参数；
基于由所述检测器针对另一样品产生的额外输出来检测在与所述样品类型相同的另一样品上的额外缺陷，以借此产生额外批结果；
组合所述第一批结果及额外批结果，以产生累计批结果；
通过应用所述所产生缺陷分类器到所述累计批结果中的所述缺陷来分类所述累计批结果中的所述缺陷；
确定所述额外批结果中的所述缺陷中的任何者是否具有低于置信度阈值的置信度值；
当所述额外批结果中的所述缺陷中的一或多者具有低于所述置信度阈值的置信度值时，从用户接收一或多个缺陷的一或多个分类，且修改所述训练组以包含所述一或多个缺陷及所述一或多个分类；
基于经修改训练组来修改所述缺陷分类器；
使用所述经修改缺陷分类器来分类所述累计批结果中的缺陷；及
当所述累计批结果中的全部所述缺陷未由所述用户分类或所述额外批结果中的所述缺陷没有一个具有低于所述置信度阈值的置信度值时，结束自适应分类器产生。
25.一种用于使用自适应自动缺陷分类器来分类样品上的缺陷的计算机实施方法，其包括：
基于由输出获取子系统的检测器产生的输出来检测所述样品上的缺陷，以借此产生第一批结果，其中所述输出获取子系统包括至少一能量源及所述检测器，其中所述能量源经配置以产生被引导到样品的能量，且其中所述检测器经配置以检测来自所述样品的能量，且响应于所述检测到的能量产生所述输出；
使用聚类方法来将所述缺陷分成不同群组；
从用户接收用于所述不同群组中的每一者的分类；
基于接收到的分类及包括在所述第一批结果的全部所述缺陷中的缺陷的训练组来产生缺陷分类器；
通过扰乱由用于分类所述缺陷的所产生缺陷分类器使用的所述缺陷的一或多个属性中的所述训练组来针对所述所产生缺陷分类器确定稳健性分数，且确定在所述所产生缺陷分类器的性能下降低于经预先确定程度之前所述所产生缺陷分类器可承受的扰乱量；
基于所述稳健性分数来确定一或多个控制设置，用于所述输出获取子系统的一或多个参数；
基于由所述检测器针对另一样品产生的额外输出来检测在与所述样品类型相同的另一样品上的额外缺陷，以借此产生额外批结果；
组合所述第一批结果及所述额外批结果，以产生累计批结果；
通过应用所述所产生缺陷分类器到所述累计批结果中的所述缺陷来分类所述累计批结果中的所述缺陷；
确定所述额外批结果中的所述缺陷中的任何者是否具有低于置信度阈值的置信度值；
当所述额外批结果中的所述缺陷中的一或多者具有低于所述置信度阈值的置信度值时，从用户接收一或多个缺陷的一或多个分类，且修改所述训练组以包含所述一或多个缺陷及所述一或多个分类；
基于经修改训练组来修改所述缺陷分类器；
使用所述经修改缺陷分类器来分类所述累计批结果中的缺陷；及
当所述累计批结果中的全部所述缺陷未由所述用户分类或所述额外批结果中的所述缺陷没有一个具有低于所述置信度阈值的置信度值时，结束自适应分类器产生，其中所述方法的步骤由一或多个计算机系统执行。
CN201680066102.0A 2015-09-18 2016-09-16 自适应自动缺陷分类 Active CN108352339B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201562220868P 2015-09-18 2015-09-18
US62/220,868 2015-09-18
US201562387461P 2015-12-23 2015-12-23
US62/387,461 2015-12-23
US201562274013P 2015-12-31 2015-12-31
US62/274,013 2015-12-31
US14/991,901 2016-01-08
US14/991,901 US10436720B2 (en) 2015-09-18 2016-01-08 Adaptive automatic defect classification
PCT/US2016/052323 WO2017049219A1 (en) 2015-09-18 2016-09-16 Adaptive automatic defect classification

Publications (2)

Publication Number Publication Date
CN108352339A CN108352339A (zh) 2018-07-31
CN108352339B true CN108352339B (zh) 2022-11-08

Family

ID=58277077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680066102.0A Active CN108352339B (zh) 2015-09-18 2016-09-16 自适应自动缺陷分类

Country Status (5)

Country Link
US (1) US10436720B2 (zh)
KR (1) KR102397736B1 (zh)
CN (1) CN108352339B (zh)
TW (1) TWI690007B (zh)
WO (1) WO2017049219A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2932892C (en) * 2014-01-28 2020-09-22 Ventana Medical Systems, Inc. Adaptive classification for whole slide tissue segmentation
US9947596B2 (en) 2015-08-05 2018-04-17 Kla-Tencor Corporation Range-based real-time scanning electron microscope non-visual binner
US10620618B2 (en) * 2016-12-20 2020-04-14 Palantir Technologies Inc. Systems and methods for determining relationships between defects
WO2018119684A1 (zh) * 2016-12-27 2018-07-05 深圳前海达闼云端智能科技有限公司 一种图像识别系统及图像识别方法
US11237119B2 (en) * 2017-01-10 2022-02-01 Kla-Tencor Corporation Diagnostic methods for the classifiers and the defects captured by optical tools
TWI660249B (zh) * 2017-01-18 2019-05-21 荷蘭商Ａｓｍｌ荷蘭公司 缺陷圖案分組方法及系統
TWI688761B (zh) 2017-01-18 2020-03-21 荷蘭商Ａｓｍｌ荷蘭公司 缺陷顯示方法
US11275361B2 (en) 2017-06-30 2022-03-15 Kla-Tencor Corporation Systems and methods for predicting defects and critical dimension using deep learning in the semiconductor manufacturing process
JP7210873B2 (ja) * 2017-07-26 2023-01-24 横浜ゴム株式会社 欠陥検査方法及び欠陥検査装置
US10713534B2 (en) * 2017-09-01 2020-07-14 Kla-Tencor Corp. Training a learning based defect classifier
US11138507B2 (en) * 2017-09-28 2021-10-05 Applied Materials Israel Ltd. System, method and computer program product for classifying a multiplicity of items
US11037286B2 (en) * 2017-09-28 2021-06-15 Applied Materials Israel Ltd. Method of classifying defects in a semiconductor specimen and system thereof
WO2019113313A1 (en) * 2017-12-07 2019-06-13 Walmart Apollo, Llc System and method for the distributed approval of image-based claims
JP7054436B2 (ja) * 2017-12-14 2022-04-14 オムロン株式会社 検出システム、情報処理装置、評価方法及びプログラム
KR20190073756A (ko) 2017-12-19 2019-06-27 삼성전자주식회사 반도체 결함 분류 장치, 반도체의 결함을 분류하는 방법, 그리고 반도체 결함 분류 시스템
US11029359B2 (en) * 2018-03-09 2021-06-08 Pdf Solutions, Inc. Failure detection and classsification using sensor data and/or measurement data
US11514357B2 (en) * 2018-03-19 2022-11-29 Kla-Tencor Corporation Nuisance mining for novel defect discovery
US10670536B2 (en) 2018-03-28 2020-06-02 Kla-Tencor Corp. Mode selection for inspection
JP7219016B2 (ja) * 2018-04-27 2023-02-07 日立造船株式会社 判定装置、判定方法、および対象物判定プログラム
KR20190138434A (ko) * 2018-06-05 2019-12-13 삼성전자주식회사 기계 학습 장치 및 기계 학습 장치의 학습 방법
US10713769B2 (en) * 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training
DE102018114005A1 (de) 2018-06-12 2019-12-12 Carl Zeiss Jena Gmbh Materialprüfung von optischen Prüflingen
CN109065467B (zh) * 2018-08-31 2020-11-13 上海华力微电子有限公司 晶圆缺陷检测系统及检测方法和计算机存储介质
US10854486B2 (en) * 2018-09-19 2020-12-01 Kla Corporation System and method for characterization of buried defects
CN109283685B (zh) * 2018-09-27 2020-10-09 中山大学 一种超构透镜纳米单元的设计方法及超构透镜
CN109741295B (zh) * 2018-11-28 2021-04-20 歌尔股份有限公司 产品质量检测方法及装置
KR102324622B1 (ko) * 2018-12-12 2021-11-12 어플라이드 머티리얼즈 이스라엘 리미티드 프로세스 모니터링
US11010885B2 (en) * 2018-12-18 2021-05-18 Kla Corporation Optical-mode selection for multi-mode semiconductor inspection
US11550309B2 (en) 2019-01-08 2023-01-10 Kla Corporation Unsupervised defect segmentation
US11941493B2 (en) 2019-02-27 2024-03-26 International Business Machines Corporation Discovering and resolving training conflicts in machine learning systems
US20220198785A1 (en) * 2019-03-29 2022-06-23 Musashi Ai Limited Inspection device and inspection method
CN110146513B (zh) * 2019-05-27 2021-07-06 Tcl华星光电技术有限公司 缺陷判定方法及缺陷判定装置
US11676264B2 (en) * 2019-07-26 2023-06-13 Kla Corporation System and method for determining defects using physics-based image perturbations
US11055840B2 (en) * 2019-08-07 2021-07-06 Kla Corporation Semiconductor hot-spot and process-window discovery combining optical and electron-beam inspection
US20210056466A1 (en) * 2019-08-19 2021-02-25 Parsons Corporation System and methodology for data classification, learning and transfer
CN110515753A (zh) * 2019-08-28 2019-11-29 中国银行股份有限公司 一种功能缺陷类型检测方法及系统
JP7470784B2 (ja) * 2019-10-06 2024-04-18 ピーディーエフ ソリューションズ，インコーポレイテッド 異常機器トレース検出および分類
US20210110207A1 (en) * 2019-10-15 2021-04-15 UiPath, Inc. Automatic activation and configuration of robotic process automation workflows using machine learning
CN114585443B (zh) * 2019-10-31 2023-11-03 美国西门子医学诊断股份有限公司 训练诊断分析仪模型的设备和方法
CA3161159A1 (en) * 2019-11-12 2021-05-20 Bright Machines, Inc. Image analysis system for testing in manufacturing
US11379718B2 (en) * 2019-12-10 2022-07-05 International Business Machines Corporation Ground truth quality for machine learning models
US11360030B2 (en) 2020-02-04 2022-06-14 Applied Materials Isreal Ltd Selecting a coreset of potential defects for estimating expected defects of interest
US11430105B2 (en) 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
US11150200B1 (en) 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
US11620578B2 (en) * 2020-07-08 2023-04-04 Vmware, Inc. Unsupervised anomaly detection via supervised methods
EP4043975A1 (en) * 2021-02-15 2022-08-17 Siemens Aktiengesellschaft Computer-implemented method for determining at least one quality attribute for at least one defect of interest
JP2022140951A (ja) * 2021-03-15 2022-09-29 オムロン株式会社 品質評価装置及び検査管理システム
CN113176275B (zh) * 2021-03-19 2022-02-01 哈工大机器人(中山)无人装备与人工智能研究院 一种用于显示面板复检的方法、装置及系统
US11216932B1 (en) * 2021-03-26 2022-01-04 Minds AI Technologies Ltd Electronic substrate defect detection
US20240053278A1 (en) * 2021-03-30 2024-02-15 Siemens Industry Software Inc. Method and system for detecting a false error on a component of a board inspected by an aoi machine
US11961218B2 (en) * 2021-07-29 2024-04-16 Zebra Technologies Corporation Machine vision systems and methods for automatically generating one or more machine vision jobs based on region of interests (ROIs) of digital images
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
JP2023076992A (ja) * 2021-11-24 2023-06-05 東レエンジニアリング株式会社 自動欠陥分類装置
CN117409261B (zh) * 2023-12-14 2024-02-20 成都数之联科技股份有限公司 一种基于分类模型的元件角度分类方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966459A (en) * 1997-07-17 1999-10-12 Advanced Micro Devices, Inc. Automatic defect classification (ADC) reclassification engine
US6256093B1 (en) * 1998-06-25 2001-07-03 Applied Materials, Inc. On-the-fly automatic defect classification for substrates using signal attributes
JP2011254084A (ja) * 2011-06-27 2011-12-15 Hitachi High-Technologies Corp 欠陥分類方法及びその装置
CN104272185A (zh) * 2012-03-08 2015-01-07 科磊股份有限公司 使用系统性缺陷过滤器的光罩缺陷检验
CN104598500A (zh) * 2013-10-30 2015-05-06 三星Sds株式会社 数据分类装置及方法和利用该装置及方法的数据收集系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978497A (en) * 1994-09-20 1999-11-02 Neopath, Inc. Apparatus for the identification of free-lying cells
US6922482B1 (en) * 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
US7359544B2 (en) * 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
US7271891B1 (en) * 2003-08-29 2007-09-18 Kla-Tencor Technologies Corporation Apparatus and methods for providing selective defect sensitivity
US7564552B2 (en) * 2004-05-14 2009-07-21 Kla-Tencor Technologies Corp. Systems and methods for measurement of a specimen with vacuum ultraviolet light
US8532949B2 (en) 2004-10-12 2013-09-10 Kla-Tencor Technologies Corp. Computer-implemented methods and systems for classifying defects on a specimen
US7570796B2 (en) * 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
JP4644613B2 (ja) * 2006-02-27 2011-03-02 株式会社日立ハイテクノロジーズ 欠陥観察方法及びその装置
JP4908995B2 (ja) * 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
US9710903B2 (en) * 2008-06-11 2017-07-18 Kla-Tencor Corp. System and method for detecting design and process defects on a wafer using process monitoring features
US8781781B2 (en) * 2010-07-30 2014-07-15 Kla-Tencor Corp. Dynamic care areas
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
US9152700B2 (en) * 2011-09-30 2015-10-06 Google Inc. Applying query based image relevance models
US10043264B2 (en) * 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US9607233B2 (en) * 2012-04-20 2017-03-28 Applied Materials Israel Ltd. Classifier readiness and maintenance in automatic defect classification
US8716662B1 (en) 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
US9053390B2 (en) * 2012-08-14 2015-06-09 Kla-Tencor Corporation Automated inspection scenario generation
US8934091B2 (en) * 2012-09-09 2015-01-13 Kla-Tencor Corp. Monitoring incident beam position in a wafer inspection system
GB2514836B (en) * 2013-06-07 2020-04-22 Thermo Fisher Scient Bremen Gmbh Isotopic Pattern Recognition
US9509112B2 (en) * 2013-06-11 2016-11-29 Kla-Tencor Corporation CW DUV laser with improved stability
TWI525317B (zh) 2013-10-08 2016-03-11 國立清華大學 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法
US10127652B2 (en) 2014-02-06 2018-11-13 Kla-Tencor Corp. Defect detection and classification based on attributes determined from a standard reference image
US9613411B2 (en) 2014-03-17 2017-04-04 Kla-Tencor Corp. Creating defect classifiers and nuisance filters
US9535905B2 (en) * 2014-12-12 2017-01-03 International Business Machines Corporation Statistical process control and analytics for translation supply chain operational management

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966459A (en) * 1997-07-17 1999-10-12 Advanced Micro Devices, Inc. Automatic defect classification (ADC) reclassification engine
US6256093B1 (en) * 1998-06-25 2001-07-03 Applied Materials, Inc. On-the-fly automatic defect classification for substrates using signal attributes
JP2011254084A (ja) * 2011-06-27 2011-12-15 Hitachi High-Technologies Corp 欠陥分類方法及びその装置
CN104272185A (zh) * 2012-03-08 2015-01-07 科磊股份有限公司 使用系统性缺陷过滤器的光罩缺陷检验
CN104598500A (zh) * 2013-10-30 2015-05-06 三星Sds株式会社 数据分类装置及方法和利用该装置及方法的数据收集系统

Also Published As

Publication number Publication date
US20170082555A1 (en) 2017-03-23
TWI690007B (zh) 2020-04-01
KR102397736B1 (ko) 2022-05-13
TW201721784A (zh) 2017-06-16
US10436720B2 (en) 2019-10-08
KR20180043394A (ko) 2018-04-27
WO2017049219A1 (en) 2017-03-23
CN108352339A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
CN108352339B (zh) 自适应自动缺陷分类
CN111052331B (zh) 识别检测到的缺陷中的扰乱及所关注缺陷的系统及方法
CN113302728B (zh) 利用自动产生缺陷特征检验半导体结构的方法及系统
TWI640049B (zh) 複合式缺陷分類器
US10818000B2 (en) Iterative defect filtering process
JP6490211B2 (ja) ウェハ欠陥発見
US10267748B2 (en) Optimizing training sets used for setting up inspection-related algorithms
KR102330733B1 (ko) 적응형 뉴슨스 필터
CN109844919B (zh) 优化用于设置检验相关算法的训练组
US10670536B2 (en) Mode selection for inspection
JP6113024B2 (ja) 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム
KR102550474B1 (ko) 자율 결함 세그먼트화
TW202226027A (zh) 用於光學或其他模式選擇之深度生成模型
TWI755468B (zh) 用於分類器及藉由光學工具所捕捉之缺陷之診斷方法
KR102483787B1 (ko) 반도체 장치의 결함 모델링 장치 및 방법, 이를 위한 컴퓨터 프로그램과, 이를 이용한 반도체 장치의 결함 검사 시스템
US11644756B2 (en) 3D structure inspection or metrology using deep learning
TWI683284B (zh) 保留可重標準化性之製造樣本成型
KR20220104776A (ko) 노이즈 특성에 기초한 서브케어 영역의 클러스터링

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant