CN111094952A - 用于缺陷检测及分类的统一神经网络 - Google Patents

用于缺陷检测及分类的统一神经网络 Download PDF

Info

Publication number
CN111094952A
CN111094952A CN201880057727.XA CN201880057727A CN111094952A CN 111094952 A CN111094952 A CN 111094952A CN 201880057727 A CN201880057727 A CN 201880057727A CN 111094952 A CN111094952 A CN 111094952A
Authority
CN
China
Prior art keywords
image
neural network
training
sample
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880057727.XA
Other languages
English (en)
Other versions
CN111094952B (zh
Inventor
贺力
M·马哈德凡
S·梵卡泰若曼
应华俊
杨河东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KLA Corp
Original Assignee
KLA Tencor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KLA Tencor Corp filed Critical KLA Tencor Corp
Publication of CN111094952A publication Critical patent/CN111094952A/zh
Application granted granted Critical
Publication of CN111094952B publication Critical patent/CN111094952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

本发明提供用于检测样品上的缺陷且对所述缺陷进行分类的方法及系统。一种系统包含由一或多个计算机子系统执行的一或多个组件。所述一或多个组件包含神经网络，所述神经网络经配置以检测样品上的缺陷且对在所述样品上检测到的所述缺陷进行分类。所述神经网络包含第一部分，所述第一部分经配置以确定由成像子系统产生的所述样品的图像的特征。所述神经网络还包含第二部分，所述第二部分经配置以基于所述图像的所述经确定特征检测所述样品上的缺陷，且基于所述图像的所述经确定特征对在所述样品上检测到的所述缺陷进行分类。

Description

用于缺陷检测及分类的统一神经网络
技术领域
本发明大体上涉及经配置以使用统一神经网络进行缺陷检测及分类的方法及系统。
背景技术
以下描述及实例并不凭借其包含于此章节中而被认为是现有技术。
制造半导体装置(例如逻辑及存储器装置)通常包含使用大量半导体制造工艺处理衬底(例如半导体晶片)以形成半导体装置的各种特征及多个层级。举例来说，光刻是涉及将图案从光罩转印到布置于半导体晶片上的光致抗蚀剂的半导体制造工艺。半导体制造工艺的额外实例包含但不限于化学机械抛光(CMP)、蚀刻、沉积及离子植入。多个半导体装置可制造于单个半导体晶片上的布置中且接着分离成个别半导体装置。
在半导体制造过程期间的各个步骤使用检验过程来检测样品上的缺陷以推动制造过程的较高良率及因此较高收益。检验始终为制造半导体装置的重要部分。然而，随着半导体装置尺寸的减小，检验对于可接受半导体装置的成功制造变得更加重要，这是因为较小缺陷可引起装置失效。
缺陷重检通常涉及使用高放大率光学系统或扫描电子显微镜(SEM)以较高分辨率再次检测本身由检验过程检测到的缺陷且产生关于所述缺陷的额外信息。因此，缺陷重检是在样品上已通过检验检测到缺陷之处的离散位置处执行。通过缺陷重检针对缺陷产生的较高分辨率数据更适于确定缺陷的属性，例如轮廓、粗糙度、更准确大小信息等。与检验相比，基于通过缺陷重检确定的信息通常可将缺陷更准确地分类成若干缺陷类型。
深度学习的进展已使深度学习成为用于缺陷检测及分类的有吸引力的框架。使用深度学习框架用于缺陷检测及分类的当前方法已独立地解决这些问题中的每一者。举例来说，针对分类，在训练时，用户可将图像级标签指派给缺陷图像。使用图像级标签及缺陷图像来训练卷积神经网络(CNN)。在生产期间(在训练之后)，在将缺陷图像作为到CNN的输入的情况下，CNN将输出图像分类及与图像分类相关联的置信度。另外，针对检测，用户可将像素级标签指派给缺陷图像(通常多个类别的缺陷图像)。使用像素级标签及缺陷图像来训练不同于经训练用于缺陷分类的CNN的检测CNN。换句话说，检测CNN及分类CNN相互排斥。可使用来自检测CNN的输出(斑块(blob))及斑块级标签来训练分类CNN。在生产期间(在训练检测CNN之后)，将缺陷图像输入到检测CNN，检测CNN输出斑块，且分类CNN按斑块输出分类及相关联置信度。
然而，上文描述的当前所使用方法及系统存在若干缺点。举例来说，当前所使用方法的易用性是不利的。特定来说，用户在像素级注释缺陷以供检测网络学习具有显著高负担。另外，归因于三个网络的大体上长训练时间及训练缺陷要求，存在大体上高训练成本。在另一实例中，当前所使用方法的缺乏知识共享是不利的。特定来说，在当前所使用方法中，难以使用现有知识。举例来说，用户需要注释大体上大量先前数据的像素以针对网络获得预训练权重。另外，当前所使用方法需要针对用于分类及检测的不同网络获得单独预训练权重。此外，当前所使用方法为最大性能并未针对检测取得在分类网络中学习的内容。在额外实例中，当前所使用框架将检测及分类作为单独问题处理，借此增加训练成本。在另一实例中，当前所使用方法难以随着全球深度学习路线图的发展而扩展到更新颖技术。在另一实例中，当前所使用方法的成本是不利的。特定来说，图像计算机成本归因于单独训练过程而大体上高。
因此，发展出不具有上述缺点中的一或多者的用于检测样品上的缺陷且对所述缺陷进行分类的系统及方法将为有利的。
发明内容
各种实施例的以下描述绝不应理解为限制所附权利要求书的标的物。
一个实施例涉及一种经配置以检测样品上的缺陷且对所述缺陷进行分类的系统。所述系统包含一或多个计算机子系统及由所述一或多个计算机子系统执行的一或多个组件。所述一或多个组件包含神经网络，所述神经网络经配置以检测样品上的缺陷且对在所述样品上检测到的所述缺陷进行分类。所述神经网络包含第一部分，所述第一部分经配置以确定由成像子系统产生的所述样品的图像的特征。所述神经网络还包含第二部分，所述第二部分经配置以基于所述图像的所述经确定特征检测所述样品上的缺陷，且基于所述图像的所述经确定特征对在所述样品上检测到的所述缺陷进行分类。所述一或多个计算机子系统经配置以产生所述检测及分类的结果。所述系统可如本文中描述那样进一步配置。
额外实施例涉及经配置以检测样品上的缺陷且对所述缺陷进行分类的另一系统。此系统如上文描述那样配置。此系统还包含经配置以产生样品的图像的成像子系统。计算机子系统在此实施例中经配置以获取图像。系统的此实施例可如本文中描述那样进一步配置。
另一实施例涉及一种用于检测样品上的缺陷且对所述缺陷进行分类的计算机实施方法。所述方法包含获取由成像子系统产生的样品的图像。所述方法还包含通过将所述图像输入到神经网络的第一部分中而确定所述样品的所述图像的特征，所述神经网络经配置以检测所述样品上的缺陷且对在所述样品上检测到的所述缺陷进行分类。一或多个组件是由一或多个计算机系统执行，且所述一或多个组件包含所述神经网络。另外，所述方法包含通过将所述图像的所述经确定特征输入到所述神经网络的第二部分中而基于所述图像的所述经确定特征检测所述样品上的缺陷，且基于所述图像的所述经确定特征对在所述样品上检测到的所述缺陷进行分类。所述方法进一步包含产生所述检测及分类的结果。
上文描述的方法的步骤中的每一者可如本文中进一步描述那样进一步执行。另外，上文描述的方法的实施例可包含本文中描述的任何其它方法的任何其它步骤。此外，上文描述的方法可由本文中描述的系统中的任一者执行。
另一实施例涉及一种非暂时性计算机可读媒体，其存储可在一或多个计算机系统上执行以执行用于检测样品上的缺陷且对所述缺陷进行分类的计算机实施方法的程序指令。所述计算机实施方法包含上文描述的方法的步骤。所述计算机可读媒体可如本文中描述那样进一步配置。所述计算机实施方法的步骤可如本文中进一步描述那样执行。另外，可对其执行所述程序指令的所述计算机实施方法可包含本文中描述的任何其它方法的任何其它步骤。
附图说明
所属领域的技术人员在获益于优选实施例的以下详细描述并参考附图之后将明白本发明的进一步优点，其中：
图1及1a是说明如本文中描述那样配置的系统的实施例的侧视图的示意图；
图2是说明在训练阶段中的神经网络的一个实施例的流程图；
图3是说明在测试阶段中的图2的神经网络的一个实施例的流程图；
图4是说明在缺陷分类使用案例中的图2的神经网络的一个实施例的流程图；
图5是说明在缺陷检测使用案例中的图2的神经网络的一个实施例的流程图；
图6是说明在缺陷检测及分类使用案例中的图2的神经网络的一个实施例的流程图；及
图7是说明存储用于引起一或多个计算机系统执行本文中描述的计算机实施方法的程序指令的非暂时性计算机可读媒体的一个实施例的框图。
虽然本发明易于以各种修改及替代形式呈现，但在图式中以实例方式展示且在本文中详细描述本发明的特定实施例。图式可不按比例绘制。然而，应了解，图式及其详细描述并不希望将本发明限制于所揭示的特定形式，恰相反，希望涵盖落于如所附权利要求书所定义的本发明的精神及范围内的全部修改、等效物及替代物。
具体实施方式
如本文中可互换地使用的术语“设计”、“设计数据”及“设计信息”大体上指代IC的物理设计(布局)及通过复杂模拟或简单几何及布尔(Boolean)运算从所述物理设计导出的数据。另外，通过光罩检验系统获取的光罩的图像及/或其衍生物可用作设计的一或多个“代理”。此光罩图像或其衍生物可用作本文中描述的任何实施例中的使用设计的设计布局的替代。设计可包含在2009年8月4日颁予扎法尔(Zafar)等人的共同拥有的第7,570,796号美国专利及在2010年3月9日颁予库尔卡尼(Kulkarni)等人的共同拥有的第7,676,077号美国专利中描述的任何其它设计数据或设计数据代理，所述两个专利宛如全文阐述以引用的方式并入本文中。另外，设计数据可为标准单元库数据、集成布局数据、用于一或多个层的设计数据、设计数据的衍生物及全部或部分芯片设计数据。
另外，本文中描述的“设计”、“设计数据”及“设计信息”指代由半导体装置设计者在设计过程中产生且因此在将设计印刷于任何物理样品(例如光罩及晶片)上之前可良好用于本文中描述的实施例中的信息及数据。
现参考图式，应注意，图未按比例绘制。特定来说，极大地放大图的一些元件的比例以强调元件的特性。还应注意，图未按相同比例绘制。已使用相同元件符号指示在一个以上图中展示的可类似配置的元件。除非本文中另有提及，否则所描述及展示的元件中的任一者可包含任何合适市售元件。
一个实施例涉及一种经配置以检测样品上的缺陷且对所述缺陷进行分类的系统。如本文中进一步描述，实施例提供用于重检及检验(例如，选举束(或e束))重检及检验)的统一深度学习框架。缺陷检测及自动缺陷分类(ADC)在当前半导体制造中变得极其重要。某一当前提出的基于深度学习的检测已达到电子束的4nm灵敏度，且所提出的基于深度学习的分类已以相对较高水平的易用性达成90％准确度及纯度的圣杯。
然而，如本文中进一步描述，当前所使用方法已独立地解决这些问题中的每一者，此针对此类方法产生若干缺点。举例来说，此独立方法在一些方面遇到两倍的训练成本。此外，每一件无法利用来自另一件的信息，借此还影响性能。用于检测的注释成本(即，注释图像用于训练)相对较高，且在实现此激发及相对较高性能的基于深度学习的检测及分类时，减少注释量具有大体上高价值。
本文中描述的新颖统一方法具有优于当前所使用方法的许多优点。举例来说，本文中描述的统一方法能够将来自分类的学习应用于较难检测问题。在另一实例中，本文中描述的统一方法显著减小用户在像素级注释缺陷以供检测网络学习的负担。在额外实例中，本文中描述的统一方法减少用于两个网络的训练时间。此外，本文中描述的新颖统一方法允许网络随着全球技术路线图在深度网络领域中的发展而扩展。另外，本文中描述的配置提供建立此框架的极简洁方式。本文中描述的所提出的统一深度学习框架还可扩展到多种检验、重检及其它工具，例如商业上可购自加利福尼亚州米尔皮塔斯市的科磊公司(KLA-Tencor,Milpitas,Calif.)的工具。
图1中展示经配置以检测样品上的缺陷且对所述缺陷进行分类的系统的一个实施例。系统包含一或多个计算机子系统(例如，计算机子系统36及计算机子系统102)及由一或多个计算机子系统执行的一或多个组件100。在一些实施例中，系统包含经配置以产生样品的图像的成像系统(或子系统)10。在图1的实施例中，成像子系统经配置以用光在样品的物理版本上方扫描或将光引导到所述物理版本，同时检测来自样品的光以借此产生样品的图像。成像子系统还可经配置以用多种模式执行扫描(或引导)及检测。
在一个实施例中，样品是晶片。晶片可包含所属领域中已知的任何晶片。在另一实施例中，样品是光罩。光罩可包含所属领域中已知的任何光罩。
在一个实施例中，成像子系统配置为基于光学的成像系统。以此方式，在一些实施例中，通过基于光学的成像系统产生图像。在一个此实例中，在图1中展示的系统的实施例中，基于光学的成像子系统10包含经配置以将光引导到样品14的照明子系统。照明子系统包含至少一个光源。举例来说，如图1中展示，照明子系统包含光源16。在一个实施例中，照明子系统经配置以按一或多个入射角将光引导到样品，所述一或多个入射角可包含一或多个倾斜角及/或一或多个法线角。举例来说，如图1中展示，来自光源16的光以倾斜入射角引导穿过光学元件18且接着透镜20而到样品14。倾斜入射角可包含可取决于例如样品的特性而变化的任何合适倾斜入射角。
成像子系统可经配置以在不同时间以不同入射角将光引导到样品。举例来说，成像子系统可经配置以更改照明子系统的一或多个元件的一或多个特性，使得可以不同于图1中展示的入射角的入射角将光引导到样品。在一个此实例中，成像子系统可经配置以使光源16、光学元件18及透镜20移动，使得以不同倾斜入射角或法线(或近法线)入射角将光引导到样品。
在一些例子中，成像子系统可经配置以同时以一个以上入射角将光引导到样品。举例来说，照明子系统可包含一个以上照明通道，所述照明通道中的一者可包含如图1中展示的光源16、光学元件18及透镜20，且所述照明通道中的另一者(未展示)可包含可不同地配置或相同的类似元件，或可包含至少光源及可能一或多个其它组件，例如本文中进一步描述的组件。如果将此光与另一光同时引导到样品，那么以不同入射角引导到样品的光的一或多个特性(例如，波长、偏光等)可为不同的，使得由以不同入射角照明样品引起的光可在检测器处彼此区别。
在另一例子中，照明子系统可仅包含一个光源(例如，图1中展示的源16)，且可通过照明子系统的一或多个光学元件(未展示)将来自光源的光分离到不同光学路径中(例如，基于波长、偏光等)。接着，可将不同光学路径中的每一者中的光引导到样品。多个照明通道可经配置以同时或在不同时间(例如，当使用不同照明通道来循序照明样品时)将光引导到样品。在另一例子中，相同照明通道可经配置以在不同时间将具有不同特性的光引导到样品。举例来说，在一些例子中，光学元件18可配置为光谱滤光片且所述光谱滤光片的性质可以多种不同方式(例如，通过换出光谱滤光片)改变，使得可在不同时间将不同波长的光引导到样品。照明子系统可具有所属领域中已知的用于以不同或相同入射角将具有不同或相同特性的光循序或同时引导到样品的任何其它合适配置。
在一个实施例中，光源16可包含宽带等离子体(BBP)光源。以此方式，由光源产生且引导到样品的光可包含宽带光。然而，光源可包含任何其它合适光源，例如激光。激光可包含所属领域中已知的任何合适激光且可经配置以产生所属领域中已知的在任一或多个合适波长下的光。另外，激光可经配置以产生单色或几乎单色的光。以此方式，激光可为窄带激光。光源还可包含产生在多个离散波长或波带处的光的多色光源。
可通过透镜20将来自光学元件18的光聚焦到样品14上。尽管图1中将透镜20展示为单折射光学元件，但应了解，实际上，透镜20可包含组合地将来自光学元件的光聚焦到样品的若干折射及/或反射光学元件。在图1中展示且在本文中描述的照明子系统可包含任何其它合适光学元件(未展示)。此类光学元件的实例包含但不限于：偏光组件、光谱滤光片、空间滤光片、反射光学元件、变迹器、光束分离器、孔隙及类似者，其可包含所属领域中已知的任何此类合适光学元件。另外，成像子系统可经配置以基于待用于成像的照明的类型而更改照明子系统的元件中的一或多者。
成像子系统还可包含经配置以引起光在样品上方扫描的扫描子系统。举例来说，成像子系统可包含载物台22，在检验期间，样品14安置于载物台22上。扫描子系统可包含可经配置以使样品移动使得光可在样品上方扫描的任何合适机械及/或机器人组合件(其包含载物台22)。另外或替代地，成像子系统可经配置使得成像子系统的一或多个光学元件执行光在样品上方的某一扫描。光可以任何合适方式(例如以蛇形路径或以螺旋路径)在样品上方扫描。
成像子系统进一步包含一或多个检测通道。所述一或多个检测通道中的至少一者包含检测器，所述检测器经配置以检测归因于样品由子系统的照明而来自样品的光，且响应于经检测光而产生输出。举例来说，图1中展示的成像子系统包含两个检测通道，一个检测通道由集光器24、元件26及检测器28形成，且另一检测通道由集光器30、元件32及检测器34形成。如图1中展示，两个检测通道经配置以按不同收集角度收集且检测光。在一些例子中，两个检测通道经配置以检测散射光，且所述检测通道经配置以检测以不同角度从样品散射的光。然而，检测通道中的一或多者可经配置以检测来自样品的另一类型的光(例如，反射光)。
如图1中进一步展示，两个检测通道展示为定位于纸平面中且照明子系统还展示为定位于纸平面中。因此，在此实施例中，两个检测通道定位于入射平面中(例如，在入射平面中居中)。然而，检测通道中的一或多者可定位于入射平面外。举例来说，由集光器30、元件32及检测器34形成的检测通道可经配置以收集且检测从入射平面散射的光。因此，此检测通道通常可称为“侧”通道，且此侧通道可在大体上垂直于入射平面的平面中居中。
尽管图1展示包含两个检测通道的成像子系统的实施例，但成像子系统可包含不同数目个检测通道(例如，仅一个检测通道或两个或更多个检测通道)。在一个此例子中，由集光器30、元件32及检测器34形成的检测通道可形成如上文描述的一个侧通道，且成像子系统可包含形成为定位于入射平面的相对侧上的另一侧通道的额外检测通道(未展示)。因此，成像子系统可包含检测通道，所述检测通道包含集光器24、元件26及检测器28且在入射平面中居中，且经配置以收集并检测成法向于或接近法向于样品表面的散射角的光。因此，此检测通道通常可称为“顶部”通道，且成像子系统还可包含如上文描述那样配置的两个或更多个侧通道。因而，成像子系统可包含至少三个通道(即，一个顶部通道及两个侧通道)，且所述至少三个通道中的每一者具有其自身的集光器，所述集光器中的每一者经配置以收集成不同于其它集光器中的每一者的散射角的光。
如上文进一步描述，包含于成像子系统中的检测通道中的每一者可经配置以检测散射光。因此，图1中展示的成像子系统可经配置用于样品的暗场(DF)成像。然而，成像子系统还可或替代性地包含经配置用于样品的明场(BF)成像的检测通道。换句话说，成像子系统可包含经配置以检测从样品镜面反射的光的至少一个检测通道。因此，本文中描述的成像子系统可经配置以仅用于DF成像、仅用于BF成像或用于DF成像及BF成像两者。尽管图1中将集光器中的每一者展示为单折射光学元件，但应了解，集光器中的每一者可包含一或多个折射光学元件及/或一或多个反射光学元件。
一或多个检测通道可包含所属领域中已知的任何合适检测器。举例来说，检测器可包含光电倍增管(PMT)、电荷耦合装置(CCD)、时间延迟积分(TDI)相机及所属领域中已知的任何其它合适检测器。检测器还可包含非成像检测器或成像检测器。以此方式，如果检测器是非成像检测器，那么检测器中的每一者可经配置以检测散射光的某些特性(例如强度)，但可未经配置以检测依据在成像平面内的位置而变化的此类特性。因而，由包含于成像子系统的检测通道中的每一者中的检测器中的每一者产生的输出可为信号或数据而非图像信号或图像数据。在此类例子中，计算机子系统(例如计算机子系统36)可经配置以从检测器的非成像输出产生样品的图像。然而，在其它例子中，检测器可配置为经配置以产生图像信号或图像数据的成像检测器。因此，成像子系统可经配置以按若干方式产生本文中描述的图像。
应注意，本文中提供图1以大体上说明可包含于本文中描述的系统实施例中或可产生本文中描述的系统实施例所使用的图像的成像系统或子系统的配置。显然，可更改本文中描述的成像子系统配置以优化成像子系统的性能，如通常在设计商用成像系统时所执行。另外，可使用现有系统(例如商业上可购自加利福尼亚州米尔皮塔斯市的科磊公司的29xx/39xx及Puma 9xxx系列工具)来实施本文中描述的系统(例如，通过将本文中描述的功能性添加到现有系统)。对于一些此类系统，可将本文中描述的实施例提供为系统的任选功能性(例如，除系统的其它功能性之外)。或者，可“从头开始”设计本文中描述的成像子系统以提供全新成像子系统。
成像子系统的计算机子系统36可以任何合适方式(例如，经由一或多个传输媒体，其可包含“有线”及/或“无线”传输媒体)耦合到成像子系统的检测器，使得计算机子系统可接收由检测器在样品的扫描期间产生的输出。计算机子系统36可经配置以使用检测器的输出来执行本文中进一步描述的若干功能。
图1中展示的计算机子系统(以及本文中描述的其它计算机子系统)在本文中还可称为计算机系统。本文中描述的计算机子系统或系统中的每一者可采取各种形式，包含一个人计算机系统、图像计算机、大型计算机系统、工作站、网络设备、因特网设备或其它装置。一般来说，术语“计算机系统”可广泛定义为涵盖具有执行来自存储器媒体的指令的一或多个处理器的任何装置。计算机子系统或系统还可包含所属领域中已知的任何合适处理器，例如平行处理器。另外，计算机子系统或系统可包含具有高速处理及软件的计算机平台作为独立或网络工具。
如果系统包含一个以上计算机子系统，那么不同计算机子系统可彼此耦合使得可如本文中进一步描述那样在所述计算机子系统之间发送图像、数据、信息、指令等。举例来说，计算机子系统36可通过任何合适传输媒体耦合到计算机子系统102(如图1中的虚线所展示)，所述传输媒体可包含所属领域中已知的任何合适有线及/或无线传输媒体。此类计算机子系统中的两者或更多者还可由共用计算机可读存储媒体(未展示)有效耦合。
尽管上文将成像子系统描述为基于光学或光的成像子系统，但在一些实施例中，成像子系统可配置为基于电子束的成像子系统。以此方式，在一些实施例中，通过基于电子束的成像子系统产生图像。在图1a中展示的一个此实施例中，成像子系统包含耦合到计算机子系统124的电子柱122。还如图1a中展示，电子柱包含电子束源126，电子束源126经配置以产生由一或多个元件130聚焦到样品128的电子。电子束源可包含例如阴极源或射极尖端，且一或多个元件130可包含例如枪透镜、阳极、限束孔隙、闸阀、束电流选择孔隙、物镜及扫描子系统，全部其可包含所属领域中已知的任何此类合适元件。
从样品返回的电子(例如，二次电子)可由一或多个元件132聚焦到检测器134。一或多个元件132可包含例如扫描子系统，其可为包含于元件130中的相同扫描子系统。
电子柱可包含所属领域中已知的任何其它合适元件。另外，电子柱可如以下各者中描述那样进一步配置：在2014年4月4日颁予蒋(Jiang)等人的第8,664,594号美国专利；在2014年4月8日颁予小岛(Kojima)等人的第8,692,204号美国专利；在2014年4月15日颁予顾本思(Gubbens)等人的第8,698,093号美国专利；及在2014年5月6日颁予麦克唐纳(MacDonald)等人的第8,716,662号美国专利，所述专利宛如全文阐述以引用的方式并入本文中。
尽管图1a中将电子柱展示为经配置使得电子以倾斜入射角引导到样品且以另一倾斜角从样品散射，但应了解，电子束可以任何合适角度引导到样品及从样品散射。另外，基于电子束的成像子系统可经配置以如本文中进一步描述那样使用多种模式(例如，运用不同照明角、收集角等)产生样品的图像。基于电子束的成像子系统的多种模式可在成像子系统的任何图像产生参数方面不同。
计算机子系统124可如上文描述那样耦合到检测器134。检测器可检测从样品的表面返回的电子，借此形成样品的电子束图像。电子束图像可包含任何合适电子束图像。计算机子系统124可经配置以使用由检测器134产生的输出针对样品执行本文中进一步描述的一或多个功能。计算机子系统124可经配置以执行本文中描述的任何额外步骤。包含图1a中展示的成像子系统的系统可如本文中描述那样进一步配置。
应注意，本文中提供图1a以大体上说明可包含于本文中描述的实施例中的基于电子束的成像子系统的配置。如同上文描述的基于光学的成像子系统，可更改本文中描述的基于电子束的成像子系统配置以优化成像子系统的性能，如通常在设计商用成像系统时所执行。另外，可使用现有系统(例如商业上可购自科磊公司的eSxxx及eDR-xxxx系列工具)来实施本文中描述的系统(例如，通过将本文中描述的功能性添加到现有系统)。对于一些此类系统，可将本文中描述的实施例提供为系统的任选功能性(例如，除系统的其它功能性之外)。或者，可“从头开始”设计本文中描述的系统以提供全新系统。
尽管上文将成像子系统描述为基于光学或基于电子束的成像子系统，但成像子系统可为基于离子束的成像子系统。此成像子系统可如图1a中展示那样配置，唯电子束源可由所属领域中已知的任何合适离子束源取代除外。另外，成像子系统可为任何其它合适基于离子束的成像子系统，例如包含于市售聚焦离子束(FIB)系统、氦离子显微镜(HIM)系统及二次离子质谱仪(SIMS)系统中的成像子系统。
如上文提及，成像子系统经配置以用能量(例如，光或电子)在样品的物理版本上方扫描，借此产生样品的物理版本的实际图像。以此方式，成像子系统可配置为“实际”子系统而非“虚拟”子系统。举例来说，图1中展示的存储媒体(未展示)及计算机子系统102可配置为“虚拟”系统。特定来说，所述存储媒体及计算机子系统并非成像子系统10的部分且不具有处置样品的物理版本的任何能力。换句话说，在配置为虚拟系统的系统中，其一或多个“检测器”的输出可为先前由实际系统或子系统的一或多个检测器产生且存储于虚拟系统中的输出，且在“扫描”期间，虚拟系统可如同正扫描样品那样重播所述经存储输出。以此方式，用虚拟系统扫描样品可看似如同正用实际系统或子系统扫描物理样品，而实际上“扫描”涉及仅以与可扫描样品相同的方式重播样品的输出。配置为“虚拟”检验系统的系统及方法描述在2012年2月28日颁予巴斯卡尔(Bhaskar)等人的共同转让的第8,126,255号美国专利及2015年12月29日颁予达菲(Duffy)等人的第9,222,895号美国专利中，所述两个专利宛如全文阐述以引用的方式并入本文中。本文中描述的实施例可如这些专利中描述那样进一步配置。举例来说，本文中描述的一或多个计算机子系统可如这些专利中描述那样进一步配置。另外，将一或多个虚拟系统配置为中央计算及存储(CCS)系统可如上文引用的达菲的专利中描述那样执行。本文中描述的永久存储机构可具有分布式运算及存储(例如CCS架构)，但本文中描述的实施例不限于所述架构。
如上文进一步提及，成像子系统可经配置以用多种模式产生样品的图像。一般来说，“模式”可由用于产生样品的图像的成像子系统的参数的值或用于产生样品的图像的输出定义。因此，不同模式可在成像子系统的成像参数中的至少一者的值方面不同。举例来说，在基于光学的成像子系统的一个实施例中，多种模式中的至少一者使用至少一个波长的光用于照明，所述至少一个波长的光不同于用于多种模式的至少另一者的照明的至少一个波长的光。所述模式可如本文中针对不同模式进一步描述那样(例如，通过使用不同光源、不同光谱滤光片等)在照明波长方面不同。在另一实施例中，多种模式中的至少一者使用成像子系统的照明通道，所述照明通道不同于用于多种模式的至少另一者的成像子系统的照明通道。举例来说，如上文提及，成像子系统可包含一个以上照明通道。因而，不同照明通道可用于不同模式。
在一个实施例中，通过检验子系统产生图像。举例来说，本文中描述的光学及电子束成像子系统可配置为检验子系统。以此方式，在一些实施例中，通过检验子系统产生到神经网络的图像输入。在另一实施例中，成像子系统是缺陷重检子系统。举例来说，本文中描述的光学及电子束成像子系统可配置为缺陷重检子系统。特定来说，在本文中描述且在图1及1a中展示的成像子系统的实施例可取决于使用其应用而在一或多个参数方面修改以提供不同成像能力。在一个此实例中，如果图1中展示的成像子系统将用于缺陷重检而非用于检验，那么其将配置为具有较高分辨率。换句话说，图1及1a中展示的成像子系统的实施例描述用于成像子系统的一些一般配置及各种配置，所述配置可以所属领域的技术人员将显而易见的若干方式定制以产生具有或多或少适于不同应用的不同成像能力的成像子系统。
一或多个计算机子系统可经配置以获取由本文中描述的成像子系统产生的样品的图像。获取图像可使用本文中描述的成像子系统中的一者执行(例如，通过将光或电子束引导到样品及分别从样品检测光或电子束)。以此方式，获取图像可使用物理样品自身及某种成像硬件执行。然而，获取图像不一定包含使用成像硬件成像样品。举例来说，另一系统及/或方法可产生图像且可将所产生图像存储于一或多个存储媒体(例如如本文中描述的虚拟检验系统或本文中描述的另一存储媒体)中。因此，获取图像可包含从其中已存储图像的存储媒体获取图像。
图1中展示的由计算机子系统(例如，计算机子系统36及/或计算机子系统102)执行的组件(例如，组件100)包含神经网络104。神经网络经配置以检测样品上的缺陷且对在样品上检测到的缺陷进行分类。以此方式，相同神经网络经配置以用于缺陷检测及缺陷分类。因而，神经网络提供用于缺陷检测及分类的统一框架。
神经网络包含第一部分，所述第一部分经配置以确定由成像子系统产生的样品的图像的特征。举例来说，如图2的神经网络中展示，在一个实施例中，神经网络的第一部分包含确定图像204(如本文中进一步描述，其包含至少缺陷图像及可能还参考图像及设计)的特征(例如，特征图208)的卷积层206。这些层可如本文中描述那样进一步配置。图像及特征还可如本文中描述那样进一步配置。
神经网络还包含第二部分，所述第二部分经配置以基于图像的经确定特征检测样品上的缺陷，且基于图像的经确定特征对在样品上检测到的缺陷进行分类。举例来说，如图2的神经网络中展示，在一个实施例中，神经网络的第二部分包含完全连接层210、提议网络214、所关注区域(ROI)池化层218及完全连接层220。如图2中进一步展示，到完全连接层210的输入是经确定特征(例如，特征图208)，且完全连接层210的输出是图像分类212。因此，完全连接层210可包含于第二部分中且可经配置用于缺陷分类。还如图2中展示，到提议网络214的输入是经确定特征(例如，特征图208)，且提议网络214的输出是定界框216。术语“定界框”在本文中大体上定义为围绕识别为有缺陷的像素的一或多个连续部分绘制的框(方形或矩形)。举例来说，定界框可包含识别为有缺陷的像素的一或两个区域。因此，提议网络214可包含于第二部分中且可经配置用于缺陷检测。如图2中进一步展示，到提议网络214的输入是经确定特征(例如，特征图208)，且提议网络214的输出可输入到ROI池化层218。ROI池化层218的输出可输入到完全连接层220，完全连接层220可产生包含定界框及分类222的输出。以此方式，提议网络214、ROI池化层218及完全连接层220可包含于第二部分中且可经配置用于缺陷检测及分类两者。这些层可如本文中描述那样进一步配置。各种一或多个输出还可如本文中描述那样进一步配置。
一或多个计算机子系统经配置以产生检测及分类的结果。检测及分类的结果可包含本文中描述的结果中的任一者，例如经检测缺陷的定界框的信息(例如，位置等)、检测分数、关于缺陷分类的信息(例如类别标签或ID等)，或所属领域中已知的任何此合适信息。检测及分类的结果可由计算机子系统以任何合适方式产生。检测及分类的结果可具有任何合适形式或格式，例如标准文件类型。计算机子系统可产生结果且存储结果使得所述结果可由计算机子系统及/或另一系统或方法使用以针对样品或相同类型的另一样品执行一或多个功能。此类功能包含但不限于：以反馈方式更改对样品执行的工艺(例如制造工艺)或步骤、以前馈方式更改将对样品执行的工艺(例如制造工艺)或步骤等。
在一个实施例中，神经网络配置为深度学习网络。一般来说，“深度学习”(也称为深度结构化学习、阶层式学习或深度机器学习)是基于试图模型化数据中的高阶抽象的一组算法的机器学习的分支。在简单情况中，可能存在两组神经元：接收输入信号的一组神经元及发送输出信号的一组神经元。当输入层接收输入时，其将输入的经修改版本传递到下一层。在深度网络中，输入与输出之间存在许多层(且所述层并非由神经元构成但以所述方式考虑可有帮助)，而允许算法使用由多个线性及非线性变换组成的多个处理层。
深度学习是基于学习数据的表示的更广泛系列的机器学习方法的部分。观察(例如，图像)可以许多方式表示(例如每像素的强度值的矢量)，或以更抽象方式表示为一组边缘、特定形状的区域等。在简化学习任务(例如，面部辨识或面部表情辨识)时，一些表示比其它表示更好。深度学习的一个承诺的是用有效率算法取代手工制造特征用于无监督或半监督特征学习及阶层式特征提取。
在此领域的研究试图进行更好表示且建立模型以从大规模无标签数据学习这些表示。一些表示受神经科学的发展启发且松散地基于对神经系统中的信息处理及通信模式的解释，例如试图定义各种刺激与大脑中的相关联神经元响应之间的关系的神经编码。
在另一实施例中，神经网络是机器学习网络。机器学习可大体上定义为对计算机提供在未明确编程的情况下学习的能力的类型的人工智能(AI)。机器学习集中于在暴露于新数据时可教示其自身成长及改变的计算机程序的开发。换句话说，机器学习可定义为计算机科学的分支，“其给予计算机在未明确编程的情况下学习的能力”。机器学习探索可从数据学习及对数据进行的算法的研究及建构，此类算法通过透过从样本输入建立模型进行数据驱动的预测或决策而克服以下严格静态程序指令。
本文中描述的机器学习可如以下各者中描述那样进一步执行：杉山(Sugiyama)的“统计机器学习简介(Introduction to Statistical Machine Learning)”(摩根·考夫曼(Morgan Kaufmann)，2016年，第534页)；杰巴拉(Jebara)的“区分性、生成性及模仿性学习(Discriminative,Generative,and Imitative Learning)”(2002年，麻省理工学院论文，第212页)；及汉德(Hand)等人的“数据挖掘原理(自适应计算及机器学习)(Principles ofData Mining(Adaptive Computation and Machine Learning))”(2001年，麻省理工学院出版社，第578页)；所述文献宛如全文阐述以引用的方式并入本文中。本文中描述的实施例可如这些参考文献中描述那样进一步配置。
在一些实施例中，神经网络是生成网络。“生成”网络可大体上定义为本质上为概率性的模型。换句话说，“生成”网络并非执行正向模拟或基于规则的方法的网络。代替性地，如本文中进一步描述，生成网络可基于合适训练数据集而学习(因为可学习其参数)。在一个实施例中，神经网络配置为深度生成网络。举例来说，网络可经配置以具有深度学习架构，因为网络可包含执行若干算法或变换的多个层。
在另一实施例中，神经网络可为具有一组权重的深度神经网络，其根据经馈送以训练其的数据模型化世界。神经网络可大体上定义为计算方法，其是基于松散地模型化生物大脑用由轴突连接的相对较大集合的生物神经元解决问题的方式的相对较大神经单元集合。每一神经单元与许多其它神经单元连接，且连结可强制执行或抑制其对经连接神经单元的活化状态的影响。这些系统是自学习且经训练而非经明确编程，且在其中在传统计算机程序中难以表达解决方案或特征检测的领域中表现出色。
神经网络通常由多个层组成，且信号路径从前向后穿过。神经网络的目标是以与人类大脑解决问题相同的方式解决问题，但若干神经网络远更抽象。现代神经网络计划通常与数千到数百万个神经单元及数百万个连接一起运作。神经网络可具有所属领域中已知的任何合适架构及/或配置。
在一个实施例中，神经网络配置为AlexNet。举例来说，分类网络结构可为AlexNet。术语“分类网络”在本文中用以指代包含一或多个完全连接层的CNN。一般来说，AlexNet包含若干卷积层(例如，5个)继之以若干完全连接层(例如，3个)，其组合地经配置且经训练以对图像进行分类。配置为AlexNet的神经网络的实例是描述于克里热夫斯基(Krizhevsky)等人的“使用深度卷积神经网络的ImageNet分类(ImageNet Classificationwith Deep Convolutional Neural Networks)”(NIPS 2012)中，其宛如全文阐述以引用的方式并入本文中。本文中描述的神经网络可如此参考文献中描述那样进一步配置。
在另一实施例中，神经网络配置为GoogleNet。举例来说，分类网络结构可为GoogleNet。GoogleNet可包含例如卷积层、池化层及完全连接层(例如本文中进一步描述的经配置且经训练以对图像进行分类的卷积层、池化层及完全连接层)的层。虽然GoogleNet架构可包含相对较高数目的层(尤其相较于本文中描述的一些其它神经网络)，但一些所述层可并行操作，且彼此并行运作的层群组通常称为初始(inception)模块。其它层可循序地操作。因此，GoogleNet与本文中描述的其它神经网络的不同之处在于，并非全部层布置成循序结构。配置为GoogleNet的神经网络的实例描述于塞格迪(Szegedy)等人的“深入了解卷积(Going Deeper with Convolutions)”(CVPR 2015)中，其宛如全文阐述以引用的方式并入本文中。本文中描述的神经网络可如此参考文献中描述那样进一步配置。
在另一实施例中，神经网络配置为VGG网络。举例来说，分类网络结构可为VGG。VGG网络是通过增加卷积层的数目同时固定架构的其它参数而建立。通过在全部层中使用大体上小卷积滤光片而使得可增添卷积层以增加深度。如同本文中描述的其它神经网络，VGG网络经建立且经训练以对图像进行分类。VGG网络还包含卷积层继之以完全连接层。配置为VGG的神经网络的实例描述于西蒙扬(Simonyan)等人的“用于大规模图像辨识的超深卷积网络(Very Deep Convolutional Networks for Large-Scale Image Recognition)”(ICLR 2015)中，其宛如全文阐述以引用的方式并入本文中。本文中描述的神经网络可如此参考文献中描述那样进一步配置。
在一些实施例中，神经网络配置为深度残差网络。举例来说，分类网络结构可为深度残差网络。如同本文中描述的一些其它网络，深度残差网络可包含卷积层继之以完全连接层，其组合地经配置且经训练用于图像分类。在深度残差网络中，层经配置以学习参考层输入的残差函数而非学习无参考函数。特定来说，代替希望每一少数堆叠层直接拟合所要底层映射，明确允许这些层拟合通过具有捷径连接之前馈神经网络实现的残差映射。捷径连接是跳过一或多个层的连接。深度残差网络可通过采用包含卷积层的普通神经网络结构且插入捷径连接(其借此采用普通神经网络且将其转换为其残差学习对应物)而建立。深度残差网络的实例描述于何(He)等人的“用于图像辨识的深度残差学习(Deep ResidualLearning for Image Recognition)”(NIPS 2015)中，其宛如全文阐述以引用的方式并入本文中。本文中描述的神经网络可如此参考文献中描述那样进一步配置。
在一个实施例中，第一部分包含一或多个卷积层。卷积层可具有所属领域中已知的任何合适配置且通常经配置以通过使用一或多个滤光片将卷积函数应用于输入图像而确定依据跨图像的位置而变化的图像的特征(即，特征图)。以此方式，神经网络的部分可配置为卷积神经网络(CNN)。举例来说，神经网络的第一部分可配置为CNN(其通常为卷积层及池化层的堆叠)以提取局部特征。本文中描述的实施例可利用深度学习概念(例如CNN)来解决通常棘手的表示反演问题。第一部分可具有所属领域中已知的任何CNN配置或架构。一或多个池化层还可具有所属领域中已知的任何合适配置(例如，最大池化层)且通常经配置以减少由一或多个卷积层产生的特征图的维度同时保留最重要特征。
由神经网络的第一部分确定的特征可包含本文中进一步描述或所属领域中已知的可从输入推断且用于产生本文中进一步描述的输出的任何合适特征。举例来说，特征可包含每像素的强度值的矢量。特征还可包含本文中描述的任何其它类型的特征，举例来说，纯量值的矢量、独立分布、联合分布的矢量，或所属领域中已知的任何其它合适特征类型。
图2展示具有全部可能输入及输出的分类网络架构。然而，与所述架构一起使用的输入及输出可取决于架构的状态(例如，未经训练或经训练)及/或其将针对任何给定图像执行的功能(例如，取决于用户想要针对特定图像产生的输出或结果)而变化。举例来说，在图3中展示的实施例中，神经网络展示为在完全训练模式中(即，神经网络已经训练)与可提供到神经网络用于运行时间模式或生产模式的输入一起使用。(在本文中展示的全部图式中，加阴影的元件(例如，输入、输出、层)是未用于特定应用的元件。相反地，未加阴影的元件(例如，输入、输出、层)是正用于神经网络的特定应用的元件。)
特定来说，如图3中展示，在已训练神经网络之后的生产模式或运行时间模式中，在到神经网络的可能输入中，仅包含缺陷图像及可能还参考图像及设计的图像204被输入到神经网络。以此方式，在运行时间期间，图像级标签200及定界框级标签202未输入到神经网络。代替性地，图像级标签200及/或定界框级标签202可仅在如本文中进一步描述那样执行的训练阶段期间输入到神经网络。
如上文进一步描述，在运行时间期间，图像可输入到卷积层206，卷积层206产生图像的特征图208。特征图可输入到完全连接层210，完全连接层210产生图像的图像分类212。特征图还可或替代地输入到提议网络214，提议网络214可产生图像的定界框216。另外或替代地，提议网络的输出可输入到ROI池化层218，ROI池化层218可产生提供到完全连接层220的输出。完全连接层220可产生输入图像的定界框及分类222。因此，如图3中清楚展示，本文中描述的神经网络提供用于缺陷分类及检测两者的统一框架，且由神经网络执行的功能可取决于神经网络所用于的应用。
在一个实施例中，一或多个计算机子系统经配置以通过将由用户指派给训练缺陷图像的类别标签及训练缺陷图像输入到神经网络而训练神经网络。举例来说，在训练期间，用户可按图像标签指派类别。如图4中展示，将图像级标签200及缺陷图像(例如，图像204)用作输入以训练分类CNN。在此情况中，图像是训练缺陷图像而非其中如在训练神经网络之后的情况那样检测及/或分类缺陷的图像。图像级标签可指派给每一训练缺陷图像，且可包含例如缺陷ID 1、缺陷ID 2、…缺陷ID n、图案缺陷、桥接缺陷等的标签。因此，不同图像级标签可与每一训练缺陷图像及/或每一训练缺陷图像中的每一缺陷相关联。
尽管用于训练缺陷图像的图像级标签可由用户指派，但图像级标签可通过另一(已训练)缺陷分类方法或系统指派给训练缺陷图像。用户或另一缺陷分类方法或系统可以任何合适方式使图像级标签与训练缺陷图像相关联或将图像级标签指派给训练缺陷图像。另外，可以任何合适方式获取图像级标签及训练缺陷图像。举例来说，用户可使用本文中描述的实施例来将图像级标签指派给训练缺陷图像集。或者，可通过一或多个计算机子系统从其中存储标签及训练图像的存储媒体获取图像级标签及训练缺陷图像。
可以任何合适方式获取训练缺陷图像集(例如，从本文中描述的成像子系统中的一者、从成像系统的计算机系统、从其中存储图像的存储媒体等)。以此方式，本文中描述的实施例可或可不使用一或多个物理样品产生训练缺陷图像集。另外，训练缺陷图像集可包含一或多个合成图像，所述一或多个合成图像可大体上定义为已针对其将假想缺陷插入到样品的设计中且接着已针对包含所述假想缺陷的设计产生模拟图像的图像，及/或物理样品的图像(其经更改以将缺陷插入到图像中)。以此方式，训练缺陷图像集可包含通过成像实际、物理样品而产生的图像及/或模拟图像。训练缺陷图像集优选还可包含上文可能结合一或多个非缺陷图像描述的训练缺陷图像中的一或多者。举例来说，训练缺陷图像集可包含现在或过去未检测到缺陷的样品的图像。使用包含缺陷图像及非缺陷图像的训练缺陷图像集可产生神经网络，所述神经网络在其用于缺陷检测时更能够区分缺陷图像与非缺陷图像。
在一个此实施例中，一或多个计算机子系统经配置以通过结合一或多个训练参考图像、针对其产生训练缺陷图像的样品的设计，或所述一或多个训练参考图像及所述设计一起将类别标记及训练缺陷图像输入到神经网络而训练神经网络。举例来说，参考图像及/或设计可作为图像的第二(及可能第三)通道而插入，举例来说，图像：缺陷、参考、设计204，如图4中展示。以此方式，参考图像及设计中的一或多者可与缺陷图像一起插入于第二(及可能第三)通道中。然而，本文中描述的实施例不需要参考图像及设计。参考图像可包含样品的无缺陷图像。以此方式，上文描述的无缺陷图像可不包含于训练缺陷图像集中且可在训练期间与训练缺陷图像分开输入到神经网络。参考图像可包含上文描述的无缺陷图像中的任一者且可以任何合适方式获取(例如，通过成像样品及识别样品的无缺陷的图像作为参考图像、通过获取已知无缺陷的样品的一或多个图像、通过从样品的设计模拟参考图像等)。设计可包含本文中描述的可以任何合适方式获取的设计或设计数据中的任一者。计算机子系统可经配置以使用上文描述的信息及图像以任何合适方式(例如，通过将图像及信息输入到神经网络且调整神经网络的一或多个参数，直到由神经网络针对训练缺陷图像产生的图像分类212匹配输入到神经网络的图像级标签200)训练神经网络。
在一些实施例中，一或多个计算机子系统经配置以使用预训练权重微调神经网络。预训练权重可大体上定义为来自至少类似于经训练或经调谐的神经网络或为所述神经网络的部分的先前训练的神经网络的权重。预训练权重可通过从头开始或以任何其它合适方式使用训练数据(例如本文中描述的训练数据)训练神经网络或神经网络的部分而获得。预训练权重可用于微调本文中描述的神经网络。微调可包含微调神经网络的任一或多个参数。此微调可在训练神经网络(如本文中进一步描述那样执行)之后执行。或者，预训练权重可用作神经网络的初始参数，且接着可微调神经网络的初始参数，此可如本文中关于训练描述那样执行。
在一个此实施例中，预训练权重是通过训练图像分类网络(例如，按相对较大数据集(例如ImageNet、自然图像数据集或不一定从例如本文中描述的成像工具的成像工具获得的数据集))而获得。在一些例子中，图像分类网络可经配置以执行对在样品(例如本文中描述的样品)上检测到的缺陷的分类。然而，图像分类网络可包含任何其它已知图像分类网络，例如经配置以对自然图像进行分类的图像分类网络。以此方式，预训练权重可通过训练具有类似于本文中描述的能力的至少某一能力的网络而获得。然而，图像分类网络可具有任何合适神经网络配置，包含但不限于本文中描述的可执行缺陷(或图像)分类的神经网络配置。在另一此实施例中，预训练权重是通过训练经配置以对在样品上检测到的缺陷进行分类的第二部分而获得。举例来说，在本文中描述为经配置以对在样品上检测到的缺陷进行分类的神经网络的第二部分可经训练以产生预训练权重，所述预训练权重接着可用于微调整体神经网络。
本文中描述的预训练权重中的任一者可用于微调网络的缺陷图像分类部分(例如，包含层206及210的网络的部分)。在微调期间，预训练权重可用于初始化层206及因此特征图208。本文中描述的预训练权重还可用于微调网络的缺陷检测部分(例如，包含层206及214的网络的部分)。在微调期间，预训练权重可用于初始化层206及因此特征图208。另外，本文中描述的预训练权重及/或通过微调网络的缺陷检测部分而产生的神经网络的参数的经训练值可用于微调网络的缺陷检测及分类部分(例如，包含层206、214、218及220的网络的部分)。在此微调过程期间，预训练权重可用于初始化层206及因此特征图208且初始化层214。
在另一实施例中，一或多个计算机子系统经配置以从头开始训练神经网络。举例来说，可在不使用预训练权重的情况下且使用本文中描述的训练数据及图像中的任一者来自头开始训练本文中描述的神经网络。
在一个实施例中，第二部分包含经配置以选择经确定特征中的一或多者且基于一或多个选定特征对缺陷进行分类的一或多个完全连接层。“完全连接层”可大体上定义为其中节点中的每一者连接到先前层中的节点中的每一者的层。完全连接层基于由卷积层提取的特征而执行分类。一个此实施例展示于图4中。特定来说，如图4中展示，分类网络包含两个部分：卷积层206，其包含于本文中描述的第一部分中；及完全连接层210，其包含于本文中描述的第二部分中。卷积层经配置以产生特征图208，借此确定图像204的特征，图像204可包含本文中进一步描述的图像及输入中的任一者。完全连接层经配置用于特征选择及分类。换句话说，完全连接层从特征图208选择特征且接着基于选定特征对图像中的缺陷进行分类。选定特征可包含特征图中的全部特征(在适当情况下)或仅包含特征图中的一些特征。分类网络(包含卷积层及完全连接层)输出图像分类212，图像分类212可包含每图像的分类结果及与各分类结果相关联的置信度。图像分类的结果还可如本文中进一步描述那样使用。图像分类可具有任何合适格式(例如图像或缺陷ID、缺陷描述，例如“图案”、“桥接”等)。图像分类结果可如本文中进一步描述那样存储及使用。
图4展示在训练使用案例中的神经网络，其中图像级标签200展示为输入到神经网络。当此神经网络用于生产或运行时间时(在训练神经网络之后)，图像级标签200将不会输入到神经网络。代替性地，唯一输入将为图像204。
在一些实施例中，一或多个计算机子系统经配置以使用预训练权重来微调神经网络。此微调可如本文中进一步描述那样执行。在另一实施例中，一或多个计算机子系统经配置以从头开始训练神经网络。此训练可如本文中描述那样执行。以此方式，图4中展示的网络可从预训练权重微调。预训练权重可通过使用具图像级标签的自然图像或扫描电子显微镜(SEM)图像训练而获得。自然图像可包含所属领域中已知的任何合适自然训练图像。SEM图像可包含可用且属于类似于神经网络将用于的样品的样品的任何合适SEM图像。如果图像204将包含光学图像，那么训练图像可包含光学图像而非SEM图像。
如同上文描述的神经网络，经配置用于缺陷检测的另一实施例还包含上文描述的卷积层。以此方式，此实施例可配置为检测CNN。此神经网络的一个实施例展示于图5中。在图5中展示的实施例中，第二部分包含经配置以基于针对图像确定的特征检测样品上的缺陷且针对经检测缺陷中的每一者产生定界框的提议网络。以此方式，图5中展示的检测网络包含两个部分：卷积层206，其包含于本文中描述的第一部分中；及提议网络214，其包含于本文中描述的第二部分中。卷积层经配置以确定特征且产生图像204的特征图208，图像204可包含本文中描述的图像及输入中的任一者。提议网络经配置用于缺陷检测。换句话说，提议网络使用来自特征图208的特征以基于经确定特征检测图像中的缺陷。提议网络经配置以产生定界框检测结果(例如，定界框216)。以此方式，检测CNN(包含卷积层及提议网络)输出定界框216，定界框216可包含与各经检测缺陷或一个以上经检测缺陷相关联的定界框。网络可输出定界框位置与关于每一定界框的检测分数。定界框的检测分数可为数字(例如0.5)。缺陷检测的结果还可如本文中进一步描述那样存储及使用。
提议网络或“区域提议网络”可大体上定义为检测图像中的对象且提出对应于所述经检测对象的区域的完全卷积网络。提议网络的实例描述于连(Ren)等人的“更快的R-CNN：通过区域提议网络实现实时对象检测(Faster R-CNN:Towards Real-Time ObjectDetection with Region Proposal Networks)”(NIPS，2015年)中，其宛如全文阐述以引用的方式并入本文中。本文中描述的提议网络可如此参考文献中描述那样进一步配置。提议网络对于用于本文中描述的实施例中是有吸引力的，这是因为其相对快速且能够检测不同大小的对象。提议网络可将滑动窗叠加于由卷积层产生的特征图上，借此产生k个锚框。将滑动窗叠加于特征图上的结果可输入到提议网络的中间层，所述中间层可经由cls层产生2k分数且经由reg层产生4k坐标。
图5展示在训练使用案例中的神经网络，其中定界框级标签202展示为输入到神经网络。当此神经网络用于生产或运行时间时(在训练神经网络之后)，定界框级标签202将不会输入到神经网络。代替性地，唯一输入可为图像204，图像204可如本文中进一步描述那样包含缺陷图像、参考图像及设计。
在一些实施例中，一或多个计算机子系统经配置以通过将由用户指派给训练缺陷图像中的定界框的类别标签及所述训练缺陷图像输入到神经网络而训练神经网络。举例来说，用户可按定界框指派类别。接着，定界框级标签及缺陷图像可用作输入以训练神经网络。训练可如本文中进一步描述那样执行。类别标签可包含本文中描述的类别标签中的任一者。训练缺陷图像可包含本文中描述的训练缺陷图像中的任一者。另外，类别标签及训练缺陷图像可如本文中进一步描述那样获取。
在一个此实施例中，一或多个计算机子系统经配置以通过与一或多个训练参考图像、针对其产生训练缺陷图像的样品的设计，或所述一或多个训练参考图像及所述设计一起将类别标签及训练缺陷图像输入到神经网络而训练神经网络。举例来说，参考图像及/或设计可作为输入的第二(及可能第三)通道而插入，但不需要参考图像及/或设计。此训练可如本文中进一步描述那样执行。类别标签、训练缺陷图像、训练参考图像及设计可包含本文中描述的以本文中描述的任何合适方式获取的此类信息及图像中的任一者。
在一些实施例中，一或多个计算机子系统经配置以使用预训练权重微调神经网络。此微调可如本文中进一步描述那样执行。在一个此实施例中，预训练权重是通过训练缺陷分类网络而获得。此类预训练权重可如本文中进一步描述那样获得。在另一实施例中，一或多个计算机子系统经配置以从头开始训练神经网络。举例来说，对于图5中展示的实施例，可从预训练权重微调或从头开始训练网络。此训练可如本文中进一步描述那样执行。归因于共享卷积层(在缺陷分类与缺陷检测之间)，可使用分类预训练权重。在一个此实例中，计算机子系统可使用利用图像级标签获得的预训练权重。
图6中展示的另一实施例经配置用于检测及分类两者。如同本文中进一步描述的实施例，此实施例包含可如本文中进一步描述那样配置的卷积层206。因此，此神经网络可配置为检测及分类CNN。在图6中展示的实施例中，第二部分包含：提议网络，其经配置以基于针对图像确定的特征检测样品上的缺陷，且针对经检测缺陷中的每一者产生定界框；及所关注区域(ROI)池化层及完全连接层，其经配置以基于针对缺陷确定的特征对经检测缺陷进行分类。以此方式，检测及分类网络包含三个部分：卷积层206，其包含于本文中描述的第一部分中；提议网络214，其包含于本文中描述的第二部分中；及ROI池化层218外加完全连接层220，其还包含于本文中描述的第二部分中。卷积层经配置以确定特征及产生图像204的特征图208，图像204可包含本文中描述的图像及输入中的任一者。提议网络经配置用于如上文描述的缺陷检测，且由提议网络产生的结果可包含本文中描述的缺陷检测结果中的任一者。
在一个此实施例中，第二部分包含一或多个ROI池化层继之以一或多个完全连接层，一或多个ROI池化层经配置以产生经产生定界框的固定长度表示，固定长度表示输入到一或多个完全连接层，且一或多个完全连接层经配置以选择经确定特征中的一或多者且基于一或多个选定特征对经检测缺陷进行分类。以此方式，提议网络用于产生定界框检测。定界框经发送到ROI池化层218，ROI池化层218建构固定长度完全连接层输入。举例来说，提议网络可有利地产生具有不同尺寸或大小(其取决于在图像中检测到的缺陷的大小)的定界框。ROI池化层能够接受不同大小的输入图像。因此，ROI池化层可接受由提议网络产生的定界框图像，且可调整定界框图像的大小以产生用于完全连接层220的固定长度输入。举例来说，卷积层可接受不同大小的输入而完全连接层无法接受不同大小的输入。因此，卷积层可产生具有任意大小的特征图且提议网络可产生具有任意大小的定界框。接着，ROI池化层可将特征图及/或定界框中的任一者的大小调整为完全连接层所需的固定长度，借此产生可输入到完全连接层的固定长度表示。完全连接层220可如本文中描述那样进一步配置。网络输出具有分类标签的定界框位置及关于每一定界框的置信度。举例来说，如图6中展示，输出可包含定界框及分类222结果。池化层的实例描述于何等人的“用于视觉辨识的深度卷积网络中的空间金字塔池化(Spatial Pyramid Pooling in Deep Convolutional Networksfor Visual Recognition)”(TPAMI，2015年)中，其宛如全文阐述以引用的方式并入本文中。本文中描述的ROI池化层可如此参考文献中描述那样进一步配置。定界框及分类222结果可包含本文中描述的结果中的任一者且可如本文中进一步描述那样存储及使用。
如图6中展示，定界框级标签202及缺陷图像204可用作输入以训练检测及分类CNN。参考图像及/或设计可作为输入的第二(及可能第三)通道而插入，但不需要参考图像及/或设计。当此神经网络用于生产或运行时间时(在训练神经网络之后)，定界框级标签202将不会输入到神经网络。代替性地，唯一输入将为图像204。
在一些实施例中，一或多个计算机子系统经配置以使用预训练权重微调神经网络。此微调可如本文中进一步描述那样执行。在一些此类实施例中，一或多个计算机子系统经配置以使用提议网络微调一或多个ROI池化层及一或多个完全连接层。此微调可以任何合适方式执行。在一个此实施例中，预训练权重是通过训练图像分类网络而获得。此图像分类网络可如本文中描述那样进一步配置。在另一此实施例中，预训练权重是通过训练经配置以对在样品上检测到的缺陷进行分类的神经网络的第二部分而获得。此训练可如本文中描述那样执行。在另一实施例中，一或多个计算机子系统经配置以从头开始训练神经网络。此训练可如本文中进一步描述那样执行。以此方式，可从通过训练另一神经网络或神经网络的检测部分(包含提议网络的神经网络的部分)而获得的预训练权重微调网络，或可从头开始训练网络。预训练权重可使用分类网络获得，此可如本文中进一步描述那样执行。由于共享卷积层，所以可使用分类预训练权重。
因此，概括地说，本文中描述的实施例提供一种用于缺陷分类及检验(检测)的统一深度学习框架。统一深度学习框架的分类网络部分可使用每图像标签的类别及缺陷图像来训练，且将输出每图像的类别与类别置信度。统一深度学习框架的检测网络部分可使用每定界框的类别及缺陷图像来训练，且将输出定界框位置及每定界框的检测分数。统一深度学习框架的检测及分类网络部分可使用每定界框的类别及缺陷图像来训练，且将输出定界框位置及每定界框的类别与分类置信度。
统一深度学习框架的上述三个部分有利地共享相同卷积层且可使用相同预训练权重来微调(训练)。因此，本文中描述的实施例是一般化的且归因于共同卷积层而提供统一方法。框架的全部配置仅需要缺陷图像以进行训练。不需要参考图像及/或设计图像。然而，参考图像及/或设计图像可任选地作为输入的第二通道(及可能第三通道)而插入。另外，本文中描述的实施例可在无任何进一步注释要求的情况下使用利用现有具图像级标签的数据获得的预训练权重。
本文中描述的实施例具有优于用于缺陷检测及分类的当前所使用方法的许多优点。举例来说，由于本文中描述的实施例使用单组卷积层用于缺陷检测及分类，因此预训练权重可使用具图像级标签的数据(例如，自然图像及/或SEM或光学图像)而获得。另外，由于本文中描述的实施例仅包含一组卷积层用于缺陷检测及分类两者，因此所述实施例能够容易地插入当前最先进技术网络，例如AlexNet、深度残差网络、VGG、及GoogleNet。此外，由于本文中描述的实施例仅包含一组卷积层，因此可从预训练权重微调或从头开始训练每一网络。
因此，本文中描述的统一深度学习分类及检测框架实施例具有优于先前所使用方法的多个优点。举例来说，本文中描述的实施例具有若干易用性及成本优点。在一个此实例中，本文中描述的实施例显著减小用户在像素级注释缺陷以供检测网络学习的负担。换句话说，本文中描述的实施例实现定界框标签用于检测，此显著减小用户注释负担。以此方式，实施例提供注释、训练及测试的易用性。在另一此实例中，预训练权重可直接使用现有具图像级标签的数据而产生。以此方式。本文中描述的实施例可通过直接使用具图像级标签的数据以产生预训练权重而立即使用现有知识。本文中描述的实施例还能够容易建立用于产生预训练权重的数据集。在额外实例中，从预训练权重微调本文中描述的实施例减少用于两个网络的训练时间达约90％且减少训练缺陷要求。以此方式，本文中描述的实施例可共享相同预训练权重，借此减少用于检测及分类两者的训练时间及训练缺陷要求，此可减少配方的时间(即，设置配方所涉及的时间)。
在另一实例中，本文中描述的实施例归因于知识共享而具有若干优点。在一个此实例中，本文中描述的实施例可利用现有知识。特定来说，预训练权重可使用具图像级标签的数据立即获得。以此方式，本文中描述的实施例可利用先前数据以获得预训练权重。在另一此实例中，本文中描述的实施例可更好地且更快速地满足用户要求。特定来说，通过使用预训练权重用于微调，分类任务可以有限训练缺陷满足用户性能要求。检测任务可以有限训练数据提供新颖检测。在额外此实例中，本文中描述的实施例可针对最大性能跨检测及分类网络载送信息。
在额外实例中，本文中描述的实施例的框架将检测及分类作为一个问题处理，借此降低训练成本。在另一实例中，本文中描述的实施例有利地包含允许随着全球深度学习路线图的发展而扩展到更新颖技术的一般化框架。特定来说，实施例实现新技术的简单即插即用(plug and play)。本文中描述的实施例还可为一般化的，这是因为其可将从分类学习的内容应用于检测，且反之亦然。在另一实例中，本文中描述的实施例具有成本优点，这是因为图像计算机成本可归因于共享昂贵的训练过程而降低。
此外，本文中描述的实施例提供优于当前所使用方法的性能。举例来说，本文中描述的实施例提供最终满足关于分类的90％准确度/纯度及关于检测的4nm灵敏度的用户要求的统一深度学习框架，其中先前方法并不满足此类用户要求。另外，本文中描述的实施例针对最大性能跨检测及分类网络载送信息。此外，本文中描述的实施例相较于当前所使用方法具有处理能力优点。举例来说，本文中描述的实施例对于重检及检验工具可具有2倍快的处理能力，这是因为对于分类及检测两者仅需要缺陷图像。
本文中描述的计算机子系统可进一步经配置用于单图像检测，如由卡森蒂(Karsenti)等人在2017年5月18日发表的第2017/0140524号美国专利申请公开案中描述，所述公开案宛如全文阐述以引用的方式并入本文中。本文中描述的实施例可进一步经配置以执行变换(从输入图像到模拟图像)，例如在以下各者中描述的变换：由卡森蒂等人在2017年5月18日发表的共同拥有的第2017/0140524号美国专利申请公开案；由张(Zhang)等人在2017年5月25日发表的共同拥有的第2017/0148226号美国专利申请公开案；由巴斯卡尔等人在2017年7月6日发表的共同拥有的第2017/0193400号美国专利申请公开案；由张等人在2017年7月6日发表的共同拥有的第2017/0193680美国专利申请公开案号；由巴斯卡尔等人在2017年7月6日发表的共同拥有的第2017/0194126号美国专利申请公开案；由巴斯卡尔等人在2017年7月13日发表的共同拥有的第2017/0200260号美国专利申请公开案；由帕克(Park)等人在2017年7月13日发表的共同拥有的第2017/0200264号美国专利申请公开案；及由巴斯卡尔等人在2017年7月13日发表的共同拥有的第2017/0200265号美国专利申请公开案；及由张等人在2017年5月23日申请的序列号为15/603,249的美国专利申请案，所述案宛如全文阐述以引用的方式并入本文中。本文中描述的实施例可如这些专利申请公开案及申请案中描述那样进一步配置。另外，本文中描述的实施例可经配置以执行这些专利申请公开案及申请案中描述的任何步骤。
系统的另一实施例经配置以检测样品上的缺陷且对所述缺陷进行分类。所述系统包含经配置以产生样品的图像的成像子系统。所述成像子系统可具有本文中描述的任何配置。所述系统还包含经配置以获取所述图像的一或多个计算机子系统，举例来说，图1中展示的计算机子系统102。计算机子系统可如本文中进一步描述那样配置。所述系统还包含由一或多个计算机子系统执行的一或多个组件(例如，组件100)，所述一或多个组件可包含本文中描述的组件中的任一者。组件包含可如本文中所描述那样配置的神经网络104。举例来说，所述神经网络经配置以检测样品上的缺陷且对在样品上检测到的所述缺陷进行分类。所述神经网络包含第一部分，所述第一部分经配置以确定由成像子系统产生的样品的图像的特征。所述神经网络还包含第二部分，所述第二部分经配置以基于图像的所述经确定特征检测所述样品上的缺陷，且基于图像的所述经确定特征对在样品上检测到的所述缺陷进行分类。一或多个计算机子系统经配置以产生检测及分类的结果。此系统实施例可如本文中描述那样进一步配置。
上文描述的系统中的每一者的实施例中的每一者可在一起组合成一个单一实施例。
另一实施例涉及一种用于检测样品上的缺陷且对所述缺陷进行分类的计算机实施方法。所述方法包含获取由成像子系统产生的样品的图像。所述方法还包含通过将所述图像输入到神经网络的第一部分中而确定所述样品的所述图像的特征，所述神经网络经配置以检测所述样品上的缺陷且对在所述样品上检测到的所述缺陷进行分类。一或多个组件是由一或多个计算机系统执行，且所述一或多个计算机系统包含所述神经网络。另外，所述方法包含通过将所述图像的所述经确定特征输入到所述神经网络的第二部分中而基于所述图像的所述经确定特征检测所述样品上的缺陷，且基于所述图像的所述经确定特征对在所述样品上检测到的所述缺陷进行分类。所述方法进一步包含产生检测及分类的结果。
所述方法的步骤中的每一者可如本文中进一步描述那样执行。所述方法还可包含可由本文中描述的系统、计算机子系统及/或成像系统或子系统执行的任何其它步骤。一或多个计算机系统、一或多个组件及神经网络可根据本文中描述的实施例中的任一者(例如，计算机子系统102、组件100及神经网络104)配置。另外，上文描述的方法可通过本文中描述的系统实施例中的任一者执行。
额外实施例涉及一种非暂时性计算机可读媒体，其存储可在一或多个计算机系统上执行以执行用于检测样品上的缺陷且对所述缺陷进行分类的计算机实施方法的程序指令。一个此实施例展示于图7中。特定来说，如图7中展示，非暂时性计算机可读媒体700包含可在计算机系统704上执行的程序指令702。计算机实施方法可包含本文中描述的任何方法的任何步骤。
实施例如本文中描述的方法的方法的程序指令702可存储于计算机可读媒体700上。计算机可读媒体可为存储媒体，例如磁盘或光盘、磁带，或所属领域中已知的任何其它合适非暂时性计算机可读媒体。
程序指令可以各种方法中的任一者实施，包含基于程序的技术、基于组件的技术及/或对象导向技术等等。举例来说，程序指令可任选地使用ActiveX控件、C++对象、JavaBeans、微软基础类别(“MFC”)、SSE(串流SIMD延伸)或其它技术或方法论实施。
计算机系统704可根据本文中描述的实施例中的任一者配置。
鉴于此描述，所属领域的技术人员将明白本发明的各种方面的进一步修改及替代实施例。举例来说，提供用于检测样品上的缺陷且对所述缺陷进行分类的方法及系统。因此，此描述应仅理解为阐释性的且是用于教示所属领域的技术人员以实行本发明的一般方式的目的。应了解，本文中展示且描述的本发明的形式应视为当前优选实施例。全部如所属领域的技术人员在受益于本发明的此描述之后将明白，元件及材料可替换本文中说明且描述的元件及材料，可颠倒部分及过程且可独立利用本发明的某些特征。在不脱离如所附权利要求书中所描述的本发明的精神及范围的情况下，可对本文中描述的元件进行改变。

Claims (26)

1.一种经配置以检测样品上的缺陷且对所述缺陷进行分类的系统，其包括：
一或多个计算机子系统；及
一或多个组件，其由所述一或多个计算机子系统执行，其中所述一或多个组件包括：
神经网络，其经配置以检测样品上的缺陷且对在所述样品上检测到的所述缺陷进行分类，其中所述神经网络包括：
第一部分，其经配置以确定由成像子系统产生的所述样品的图像的特征；及
第二部分，其经配置以基于所述图像的所述经确定特征检测所述样品上的缺陷，且基于所述图像的所述经确定特征对在所述样品上检测到的所述缺陷进行分类；且
其中所述一或多个计算机子系统经配置以产生所述检测及分类的结果。
2.根据权利要求1所述的系统，其中所述神经网络进一步配置为深度学习网络。
3.根据权利要求1所述的系统，其中所述神经网络进一步配置为AlexNet。
4.根据权利要求1所述的系统，其中所述神经网络进一步配置为GoogleNet。
5.根据权利要求1所述的系统，其中所述神经网络进一步配置为VGG网络。
6.根据权利要求1所述的系统，其中所述神经网络进一步配置为深度残差网络。
7.根据权利要求1所述的系统，其中所述第一部分包括一或多个卷积层。
8.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置以通过将由用户指派给训练缺陷图像的类别标签及所述训练缺陷图像输入到所述神经网络而训练所述神经网络。
9.根据权利要求8所述的系统，其中所述一或多个计算机子系统进一步经配置以通过与一或多个训练参考图像、针对其产生所述训练缺陷图像的样品的设计，或所述一或多个训练参考图像及所述设计一起将所述类别标签及所述训练缺陷图像输入到所述神经网络而训练所述神经网络。
10.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置以使用预训练权重微调所述神经网络。
11.根据权利要求10所述的系统，其中所述预训练权重是通过训练图像分类网络而获得。
12.根据权利要求10所述的系统，其中所述预训练权重是通过训练经配置以对在所述样品上检测到的所述缺陷进行分类的所述第二部分而获得。
13.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置以从头开始训练所述神经网络。
14.根据权利要求1所述的系统，其中所述第二部分包括经配置以选择所述经确定特征中的一或多者且基于所述一或多个选定特征对所述缺陷进行分类的一或多个完全连接层。
15.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置以通过将由用户指派给训练缺陷图像中的定界框的类别标签及所述训练缺陷图像输入到所述神经网络而训练所述神经网络。
16.根据权利要求15所述的系统，其中所述一或多个计算机子系统进一步经配置以通过与一或多个训练参考图像、针对其产生所述训练缺陷图像的样品的设计，或所述一或多个训练参考图像及所述设计一起将所述类别标签及所述训练缺陷图像输入到所述神经网络而训练所述神经网络。
17.根据权利要求1所述的系统，其中所述第二部分包括提议网络，所述提议网络经配置以基于针对所述图像确定的所述特征检测所述样品上的缺陷，且针对所述经检测缺陷中的每一者产生定界框。
18.根据权利要求17所述的系统，其中所述第二部分进一步包括一或多个所关注区域池化层继之以一或多个完全连接层，其中所述一或多个所关注区域池化层经配置以产生所述经产生定界框的固定长度表示，其中所述固定长度表示输入到所述一或多个完全连接层，且其中所述一或多个完全连接层经配置以选择所述经确定特征中的一或多者且基于所述一或多个选定特征对所述经检测缺陷进行分类。
19.根据权利要求18所述的系统，其中所述一或多个计算机子系统进一步经配置以使用所述提议网络微调所述一或多个所关注区域池化层及所述一或多个完全连接层。
20.根据权利要求1所述的系统，其中所述成像子系统配置为基于电子束的成像子系统。
21.根据权利要求1所述的系统，其中所述成像子系统配置为基于光学的成像子系统。
22.根据权利要求1所述的系统，其中所述样品是晶片。
23.根据权利要求1所述的系统，其中所述样品是光罩。
24.一种经配置以检测样品上的缺陷且对所述缺陷进行分类的系统，其包括：
成像子系统，其经配置以产生样品的图像；
一或多个计算机子系统，其经配置以获取所述图像；及
一或多个组件，其由所述一或多个计算机子系统执行，其中所述一或多个组件包括：
神经网络，其经配置以检测所述样品上的缺陷且对在所述样品上检测到的所述缺陷进行分类，其中所述神经网络包括：
第一部分，其经配置以确定由所述成像子系统产生的所述样品的所述图像的特征；及
第二部分，其经配置以基于所述图像的所述经确定特征检测所述样品上的缺陷，且基于所述图像的所述经确定特征对在所述样品上检测到的所述缺陷进行分类；且
其中所述一或多个计算机子系统经配置以产生所述检测及分类的结果。
25.一种非暂时性计算机可读媒体，其存储可在一或多个计算机系统上执行以执行用于检测样品上的缺陷且对所述缺陷进行分类的计算机实施方法的程序指令，其中所述计算机实施方法包括：
获取由成像子系统产生的样品的图像；
通过将所述图像输入到神经网络的第一部分中而确定所述样品的所述图像的特征，所述神经网络经配置以检测所述样品上的缺陷且对在所述样品上检测到的所述缺陷进行分类，其中一或多个组件由所述一或多个计算机系统执行，且其中所述一或多个组件包括所述神经网络；
通过将所述图像的所述经确定特征输入到所述神经网络的第二部分中而基于所述图像的所述经确定特征检测所述样品上的缺陷，且基于所述图像的所述经确定特征对在所述样品上检测到的所述缺陷进行分类；及
产生所述检测及分类的结果。
26.一种用于检测样品上的缺陷且对所述缺陷进行分类的计算机实施方法，其包括：
获取由成像子系统产生的样品的图像；
通过将所述图像输入到神经网络的第一部分中而确定所述样品的所述图像的特征，所述神经网络经配置以检测所述样品上的缺陷且对在所述样品上检测到的所述缺陷进行分类，其中一或多个组件由一或多个计算机系统执行，且其中所述一或多个组件包括所述神经网络；
通过将所述图像的所述经确定特征输入到所述神经网络的第二部分中而基于所述图像的所述经确定特征检测所述样品上的缺陷，且基于所述图像的所述经确定特征对在所述样品上检测到的所述缺陷进行分类；及
产生所述检测及分类的结果。
CN201880057727.XA 2017-09-06 2018-09-05 使用统一神经网络进行缺陷检测及分类的方法及系统 Active CN111094952B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/697,426 2017-09-06
US15/697,426 US10607119B2 (en) 2017-09-06 2017-09-06 Unified neural network for defect detection and classification
PCT/US2018/049612 WO2019050992A1 (en) 2017-09-06 2018-09-05 UNIFIED NEURONAL NETWORK FOR DETECTION AND CLASSIFICATION OF DEFECTS

Publications (2)

Publication Number Publication Date
CN111094952A true CN111094952A (zh) 2020-05-01
CN111094952B CN111094952B (zh) 2021-11-16

Family

ID=65517348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880057727.XA Active CN111094952B (zh) 2017-09-06 2018-09-05 使用统一神经网络进行缺陷检测及分类的方法及系统

Country Status (5)

Country Link
US (1) US10607119B2 (zh)
KR (1) KR102336469B1 (zh)
CN (1) CN111094952B (zh)
TW (1) TWI761586B (zh)
WO (1) WO2019050992A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651337A (zh) * 2020-05-07 2020-09-11 哈尔滨工业大学 一种sram存储器空间服役故障分类失效检测方法
CN111680586A (zh) * 2020-05-26 2020-09-18 电子科技大学 一种羽毛球运动员运动姿态估计方法及系统
CN112067555A (zh) * 2020-11-12 2020-12-11 山东海德智能科技有限公司 一种可自动视觉识别零件种类的零件检测系统
CN112767351A (zh) * 2021-01-19 2021-05-07 孙杨 一种基于敏感位置依赖分析的变电设备缺陷检测方法
CN113870170A (zh) * 2020-06-29 2021-12-31 应用材料以色列公司 生成可用于检查半导体样本的训练集

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR102016028266A2 (pt) * 2016-12-01 2018-06-19 Autaza Tecnologia Ltda - Epp Método e sistema para a inspeção automática de qualidade de materiais
KR20190084167A (ko) * 2017-12-21 2019-07-16 주식회사 고영테크놀러지 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체
US10832092B2 (en) * 2018-02-07 2020-11-10 Applied Materials Israel Ltd. Method of generating a training set usable for examination of a semiconductor specimen and system thereof
US11029359B2 (en) * 2018-03-09 2021-06-08 Pdf Solutions, Inc. Failure detection and classsification using sensor data and/or measurement data
US10679333B2 (en) 2018-03-14 2020-06-09 Kla-Tencor Corporation Defect detection, classification, and process window control using scanning electron microscope metrology
WO2019183153A1 (en) 2018-03-21 2019-09-26 Kla-Tencor Corporation Training a machine learning model with synthetic images
US10599951B2 (en) * 2018-03-28 2020-03-24 Kla-Tencor Corp. Training a neural network for defect detection in low resolution images
US10670536B2 (en) 2018-03-28 2020-06-02 Kla-Tencor Corp. Mode selection for inspection
US10713769B2 (en) 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training
US10846845B2 (en) * 2018-07-25 2020-11-24 Fei Company Training an artificial neural network using simulated specimen images
US10866197B2 (en) 2018-09-20 2020-12-15 KLA Corp. Dispositioning defects detected on extreme ultraviolet photomasks
EP3867803A1 (en) 2018-10-15 2021-08-25 Ventana Medical Systems, Inc. Systems and methods for cell classification
US11037289B2 (en) * 2018-10-26 2021-06-15 Taiwan Semiconductor Manufacturing Company Ltd. Method and system for scanning wafer
CN109544548A (zh) * 2018-11-30 2019-03-29 北京百度网讯科技有限公司 餐盒的缺陷检测方法、装置、服务器、设备和存储介质
US11010885B2 (en) * 2018-12-18 2021-05-18 Kla Corporation Optical-mode selection for multi-mode semiconductor inspection
US11989710B2 (en) 2018-12-19 2024-05-21 Ecoatm, Llc Systems and methods for vending and/or purchasing mobile phones and other electronic devices
US11379967B2 (en) * 2019-01-18 2022-07-05 Kla Corporation Methods and systems for inspection of semiconductor structures with automatically generated defect features
US10509987B1 (en) * 2019-01-22 2019-12-17 StradVision, Inc. Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
AU2020222971A1 (en) 2019-02-12 2021-09-23 Ecoatm, Llc Connector carrier for electronic device kiosk
US10922808B2 (en) 2019-02-14 2021-02-16 KLA—Tencor Corp. File selection for test image to design alignment
WO2020172190A1 (en) * 2019-02-18 2020-08-27 Ecoatm, Llc Neural network based physical condition evaluation of electronic devices, and associated systems and methods
CN109934811B (zh) * 2019-03-08 2022-12-30 中国科学院光电技术研究所 一种基于深度学习的光学元件表面缺陷检测方法
WO2020188452A1 (en) * 2019-03-15 2020-09-24 Invista Textiles (U.K.) Limited Yarn quality control
CN109934814B (zh) * 2019-03-15 2022-02-01 英业达科技有限公司 表面缺陷侦测系统及其方法
US11551348B2 (en) 2019-04-09 2023-01-10 KLA Corp. Learnable defect detection for semiconductor applications
EP3739513A1 (en) * 2019-05-13 2020-11-18 Fujitsu Limited Surface defect identification method and apparatus
US11497221B2 (en) * 2019-07-19 2022-11-15 Walmart Apollo, Llc Systems and methods for managing meat cut quality
CN110555467B (zh) * 2019-08-13 2020-10-23 深圳创新奇智科技有限公司 一种基于模型迁移的工业数据分类方法
KR102252592B1 (ko) * 2019-08-16 2021-05-17 라온피플 주식회사 기판 불량 검사 장치 및 방법
US11693386B2 (en) * 2019-08-27 2023-07-04 Samsung Eleotronics Co., Ltd. Method and electronic device for guiding semiconductor manufacturing process
CN110738235B (zh) * 2019-09-16 2023-05-30 平安科技（深圳）有限公司 肺结核判定方法、装置、计算机设备及存储介质
US11580650B2 (en) 2019-10-01 2023-02-14 KLA Corp. Multi-imaging mode image alignment
CN110782431B (zh) * 2019-10-08 2022-03-22 浙江大学 一种基于深度学习的高压电线结冰区域检测方法
CN112683923A (zh) * 2019-10-17 2021-04-20 神讯电脑(昆山)有限公司 基于人工神经网络的物件表面型态的筛选方法
US11087449B2 (en) 2019-10-24 2021-08-10 KLA Corp. Deep learning networks for nuisance filtering
CN110838107B (zh) * 2019-10-31 2023-02-17 广东华中科技大学工业技术研究院 变角度光学视频智能检测3c透明构件缺陷的方法及装置
CN110910353B (zh) * 2019-11-06 2022-06-10 成都数之联科技股份有限公司 一种工业假不良检测方法及系统
US11763450B1 (en) * 2019-11-14 2023-09-19 University Of South Florida Mitigating adversarial attacks on medical imaging understanding systems
CN111080622B (zh) * 2019-12-13 2023-11-07 熵智科技(深圳)有限公司 神经网络训练方法、工件表面缺陷分类与检测方法及装置
US11354793B2 (en) 2019-12-16 2022-06-07 International Business Machines Corporation Object detection with missing annotations in visual inspection
CN111161244B (zh) * 2019-12-30 2021-12-21 华南理工大学 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法
CN111325713B (zh) * 2020-01-21 2023-05-23 杭州未名信科科技有限公司 基于神经网络的木材缺陷检测方法、系统及存储介质
US11694319B2 (en) 2020-04-10 2023-07-04 Samsung Display Co., Ltd. Image-based defects identification and semi-supervised localization
CN111524119A (zh) * 2020-04-22 2020-08-11 征图新视(江苏)科技股份有限公司 基于深度学习的二维码缺陷检测方法
DE102021106999A1 (de) * 2020-04-24 2021-10-28 Krones Aktiengesellschaft Verfahren und Vorrichtung zur optischen Inspektion von Behältern in einer Getränkeverarbeitungsanlage
US20230175981A1 (en) * 2020-06-12 2023-06-08 Hitachi High-Tech Corporation Method for Defect Inspection, System, and Computer-Readable Medium
US11645733B2 (en) 2020-06-16 2023-05-09 Bank Of America Corporation System and method for providing artificial intelligence architectures to people with disabilities
CN111783901A (zh) * 2020-07-13 2020-10-16 征图新视(江苏)科技股份有限公司 一种基于深度学习的印刷质量分类方法
US11631169B2 (en) 2020-08-02 2023-04-18 KLA Corp. Inspection of noisy patterned features
US11776108B2 (en) 2020-08-05 2023-10-03 KLA Corp. Deep learning based defect detection
US11922467B2 (en) 2020-08-17 2024-03-05 ecoATM, Inc. Evaluating an electronic device using optical character recognition
CN111986174A (zh) * 2020-08-17 2020-11-24 深圳市商汤科技有限公司 缺陷检测方法、装置、电子设备及计算机存储介质
KR102512625B1 (ko) * 2020-10-26 2023-03-23 한국생산기술연구원 데이터 증강을 이용하여 결함 검사를 위한 학습 방법 및 이를 수행하는 장치
CN112633327B (zh) * 2020-12-02 2023-06-30 西安电子科技大学 分阶段金属表面缺陷检测方法、系统、介质、设备及应用
US11748865B2 (en) 2020-12-07 2023-09-05 International Business Machines Corporation Hierarchical image decomposition for defect detection
CN112686860A (zh) * 2020-12-29 2021-04-20 厦门理工学院 一种基于红外热成像的叶片检测方法和装置以及设备
CN112967267B (zh) * 2021-03-23 2024-01-23 湖南珞佳智能科技有限公司 一种全卷积神经网络的激光定向能量沉积溅射计数方法
CN113034494A (zh) * 2021-04-20 2021-06-25 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的橡胶密封圈缺陷检测方法
DE102021002363B3 (de) 2021-05-04 2022-09-08 Karlsruher Institut für Technologie, Körperschaft des öffentlichen Rechts Gerät für eine lageunabhängige optische Oberflächeninspektion
CN113538342B (zh) * 2021-06-25 2023-08-18 汕头大学 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法
CN113469992B (zh) * 2021-07-16 2022-02-18 合肥中科融道智能科技有限公司 基于增强不同层次特征表示的电力设备图像缺陷检测方法
JP7257470B2 (ja) * 2021-09-01 2023-04-13 株式会社エフ・シー・シー 欠陥検査装置、欠陥検査方法および予測モデル生成方法
US11727556B2 (en) 2021-09-29 2023-08-15 KLA Corp. Defect detection for multi-die masks
TWI801038B (zh) * 2021-12-16 2023-05-01 新加坡商鴻運科股份有限公司 瑕疵檢測方法、系統、電子設備及介質
US11983920B2 (en) 2021-12-20 2024-05-14 International Business Machines Corporation Unified framework for multigrid neural network architecture
KR102568680B1 (ko) * 2022-02-09 2023-08-21 이승준 인공지능을 이용한 헤어핀 모터의 용접불량 진단장치
EP4266246A1 (en) 2022-04-22 2023-10-25 Imec VZW Automated defect classification and detection
CN114842454B (zh) * 2022-06-27 2022-09-13 小米汽车科技有限公司 障碍物检测方法、装置、设备、存储介质、芯片及车辆

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012422A (ja) * 2002-06-11 2004-01-15 Dainippon Screen Mfg Co Ltd パターン検査装置、パターン検査方法およびプログラム
JP3978098B2 (ja) 2002-08-12 2007-09-19 株式会社日立製作所 欠陥分類方法及びその装置
US7333650B2 (en) * 2003-05-29 2008-02-19 Nidek Co., Ltd. Defect inspection apparatus
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
US8126255B2 (en) 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
JP5342606B2 (ja) * 2011-06-27 2013-11-13 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置
US8716662B1 (en) 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
US9222895B2 (en) 2013-02-25 2015-12-29 Kla-Tencor Corp. Generalized virtual inspector
US9275308B2 (en) 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
US9709510B2 (en) * 2014-06-26 2017-07-18 Kla-Tencor Corp. Determining a configuration for an optical element positioned in a collection aperture during wafer inspection
US9816939B2 (en) * 2014-07-22 2017-11-14 Kla-Tencor Corp. Virtual inspection systems with multiple modes
US10650508B2 (en) * 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
US10409165B2 (en) * 2014-12-15 2019-09-10 Asml Netherlands B.V. Optimization based on machine learning
US9898811B2 (en) * 2015-05-08 2018-02-20 Kla-Tencor Corporation Method and system for defect classification
JP6952679B2 (ja) 2015-07-15 2021-10-20 サイランス・インコーポレイテッドＣｙｌａｎｃｅ Ｉｎｃ． マルウェア検出
JP6546826B2 (ja) * 2015-10-08 2019-07-17 株式会社日立パワーソリューションズ 欠陥検査方法、及びその装置
US10186026B2 (en) 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
US9965901B2 (en) 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
US9916965B2 (en) 2015-12-31 2018-03-13 Kla-Tencor Corp. Hybrid inspectors
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
US10648924B2 (en) 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US10043261B2 (en) 2016-01-11 2018-08-07 Kla-Tencor Corp. Generating simulated output for a specimen
US10360477B2 (en) 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
US10181185B2 (en) 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
CN106339718A (zh) * 2016-08-18 2017-01-18 苏州大学 一种基于神经网络的分类方法及装置
CN106599827A (zh) * 2016-12-09 2017-04-26 浙江工商大学 一种基于深度卷积神经网络的小目标快速检测方法
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法
CN106951911B (zh) * 2017-02-13 2021-06-29 苏州飞搜科技有限公司 一种快速的多标签图片检索系统及实现方法
US11803953B2 (en) * 2017-04-10 2023-10-31 Dpix, Llc Manufacturing quality improvement through statistical root cause analysis using convolution neural networks

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651337A (zh) * 2020-05-07 2020-09-11 哈尔滨工业大学 一种sram存储器空间服役故障分类失效检测方法
CN111651337B (zh) * 2020-05-07 2022-07-12 哈尔滨工业大学 一种sram存储器空间服役故障分类失效检测方法
CN111680586A (zh) * 2020-05-26 2020-09-18 电子科技大学 一种羽毛球运动员运动姿态估计方法及系统
CN111680586B (zh) * 2020-05-26 2022-08-26 电子科技大学 一种羽毛球运动员运动姿态估计方法及系统
CN113870170A (zh) * 2020-06-29 2021-12-31 应用材料以色列公司 生成可用于检查半导体样本的训练集
CN112067555A (zh) * 2020-11-12 2020-12-11 山东海德智能科技有限公司 一种可自动视觉识别零件种类的零件检测系统
CN112767351A (zh) * 2021-01-19 2021-05-07 孙杨 一种基于敏感位置依赖分析的变电设备缺陷检测方法
CN112767351B (zh) * 2021-01-19 2024-04-16 孙杨 一种基于敏感位置依赖分析的变电设备缺陷检测方法

Also Published As

Publication number Publication date
KR102336469B1 (ko) 2021-12-06
KR20200039808A (ko) 2020-04-16
TWI761586B (zh) 2022-04-21
TW201931217A (zh) 2019-08-01
CN111094952B (zh) 2021-11-16
US20190073568A1 (en) 2019-03-07
US10607119B2 (en) 2020-03-31
WO2019050992A1 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
CN111094952B (zh) 使用统一神经网络进行缺陷检测及分类的方法及系统
JP7049331B2 (ja) 半導体用途向けに構成された深層学習モデルのための診断システムおよび方法
CN108475350B (zh) 使用基于学习的模型加速半导体缺陷检测的方法和系统
CN110494894B (zh) 基于轮廓的缺陷检测
US10733744B2 (en) Learning based approach for aligning images acquired with different modalities
TWI734724B (zh) 針對半導體應用由低解析度影像產生高解析度影像之系統、方法及非暫時性電腦可讀媒體
CN109074650B (zh) 针对半导体应用从输入图像产生经模拟图像
TWI731016B (zh) 用於半導體應用之以機器學習之模型為基礎之加速訓練
CN108475351B (zh) 用于训练基于机器学习的模型的系统和计算机实施方法
TWI715773B (zh) 針對半導體應用整合神經網路及前向物理模型之系統及方法
KR102416972B1 (ko) 단일 이미지 검출
US11776108B2 (en) Deep learning based defect detection
TW202134641A (zh) 干擾過濾之深度學習網路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant