CN111819676B - 训练用于低分辨率图像中的缺陷检测的神经网络 - Google Patents

训练用于低分辨率图像中的缺陷检测的神经网络 Download PDF

Info

Publication number
CN111819676B
CN111819676B CN201980017305.4A CN201980017305A CN111819676B CN 111819676 B CN111819676 B CN 111819676B CN 201980017305 A CN201980017305 A CN 201980017305A CN 111819676 B CN111819676 B CN 111819676B
Authority
CN
China
Prior art keywords
images
low resolution
neural network
defect
imaging subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980017305.4A
Other languages
English (en)
Other versions
CN111819676A (zh
Inventor
K·巴哈斯卡尔
L·卡尔森迪
B·里斯
L·尼古拉德斯
R·森伟·杨
S·希伯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KLA Corp
Original Assignee
KLA Tencor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KLA Tencor Corp filed Critical KLA Tencor Corp
Publication of CN111819676A publication Critical patent/CN111819676A/zh
Application granted granted Critical
Publication of CN111819676B publication Critical patent/CN111819676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Image Analysis (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)

Abstract

本发明提供用于训练用于低分辨率图像中的缺陷检测的神经网络的方法及系统。一个系统包含：检验工具，其包含高分辨率成像子系统及低分辨率成像子系统；及一或多个组件，其包含高分辨率神经网络及低分辨率神经网络。所述系统的计算机子系统经配置用于产生缺陷图像的训练集。所述缺陷图像中的至少一者由所述高分辨率神经网络使用由所述高分辨率成像子系统产生的图像合成地产生。所述计算机子系统还经配置用于使用缺陷图像的所述训练集作为输入而训练所述低分辨率神经网络。另外，所述计算机子系统经配置用于通过将由所述低分辨率成像子系统针对另一样品产生的所述图像输入到所述经训练低分辨率神经网络中而检测所述另一样品上的缺陷。

Description

训练用于低分辨率图像中的缺陷检测的神经网络
技术领域
本发明大体上涉及用于训练用于低分辨率图像中的缺陷检测的神经网络的方法及系统。
背景技术
以下描述及实例不因其包含于此段落中而被承认是现有技术。
制造例如逻辑及存储器装置的半导体装置通常包含使用大量半导体制造工艺处理例如半导体晶片的衬底以形成半导体装置的各种特征及多个层级。例如，光刻是涉及将图案从光罩转印到布置于半导体晶片上的光致抗试剂的半导体制造工艺。半导体制造工艺的额外实例包含(但不限于)化学机械抛光(CMP)、蚀刻、沉积及离子植入。多个半导体装置可以布置制造于单个半导体晶片上且接着被分成个别半导体装置。
在半导体制造工艺期间的各个步骤使用检验过程以检测晶片上的缺陷以驱动制造工艺中的更高良率及因此更高利润。检验始终是制造半导体装置的重要部分。然而，随着半导体装置的尺寸减小，检验对于可接受半导体装置的成功制造变得更为重要，这是因为较小缺陷可引起装置故障。
20多年来，检验方法实际上未改变。检验解决方案基本上具有以下特性：大体上缓慢电子束类型系统，其允许用户识别且确认物理缺陷的问题；及单独地，大体上快速但粗糙光学检验器，其覆盖整个晶片，但通常受限于单个检验层。这两个系统通常分开。一些检验系统在与扫描低分辨率传感器相同的系统上具有高分辨率相机，但其实际上未经集成以彼此利用以提供地面实况信息。
常规光刻按比例缩放(在193nm处)已减缓。另外，基于极紫外线(EUV)的按比例缩放虽然有所进展，但也进展缓慢。例如无人驾驶汽车、传感器、深度学习(DL)训练及推断的较新应用已导致对计算架构的新关注而非依赖于按比例缩放。作为实例，针对高性能计算(HPC)及DL系统两者，整体系统性能将获益于存储器及中央处理单元(CPU)逻辑的紧密接近性。因此，计算机架构师更关注芯片间互连件、晶片级集成等及重布层(RDL)。这些层通常是重建裸片，因此当前使用的对准及减法缺陷检测方法将无法作为此类层的检验方法。当前使用的分段技术也变得困难，这是因为相较于所关注缺陷(DOI)，扰乱点的量显著较高。
针对RDL层，用于抑制扰乱点的光学模拟选择通常耗费2周，这是因为模式选择是通过使用高分辨率相机使用来自用户的输入手动地检查所发生的情况而完成。典型晶片可仅含有表示DOI的10到20个事件，而扰乱点率可在100,00到百万的范围中。因此，用于选择用于RDL层检验的光学模式的当前方法耗费过长时间。另外，尤其相较于扰乱点，可用于选择且设置用于RDL层检验的光学模式的DOI的稀缺性可进一步增加光学模式选择所需的时间。此外，可用于光学模式选择的DOI的有限数目可导致次优光学模式参数经选择用于RDL层检验，这可降低此检验的性能能力。
因此，开发用于训练用于低分辨率图像中的缺陷检测的神经网络而无上文描述的一或多个缺点的系统及方法将是有利的。
发明内容
各种实施例的以下描述绝不应理解为限制所附权利要求书的标的物。
一个实施例涉及一种经配置以训练用于低分辨率图像中的缺陷检测的神经网络的系统。所述系统包含检验工具，所述检验工具包含高分辨率成像子系统及低分辨率成像子系统。所述高分辨率成像子系统及所述低分辨率成像子系统包含至少能量源及检测器。所述能量源经配置以产生经引导到样品的能量。所述检测器经配置以检测来自所述样品的能量且响应于所述经检测能量而产生图像。
所述系统还包含经配置用于获取由所述高分辨率成像子系统及所述低分辨率成像子系统产生的所述样品的图像的一或多个计算机子系统。另外，所述系统包含由所述一或多个计算机子系统执行的一或多个组件。所述组件包含高分辨率神经网络及低分辨率神经网络。
所述一或多个计算机子系统经配置用于产生缺陷图像的训练集。所述缺陷图像中的至少一者由所述高分辨率神经网络使用由所述高分辨率成像子系统产生的所述图像中的至少一者合成地产生。所述计算机子系统进一步经配置用于使用缺陷图像的所述训练集作为输入而训练所述低分辨率神经网络。所述计算机子系统还经配置用于通过将由所述低分辨率成像子系统针对另一样品产生的图像输入到所述经训练低分辨率神经网络中而检测所述另一样品上的缺陷。可如本文中描述那样进一步配置所述系统。
另一实施例涉及一种用于训练用于低分辨率图像中的缺陷检测的神经网络的计算机实施方法。所述方法包含使用检验工具的如上文描述那样配置的高分辨率成像子系统及低分辨率成像子系统产生样品的图像。一或多个组件由一或多个计算机系统执行，且所述一或多个组件包含高分辨率神经网络及低分辨率神经网络。所述方法包含上文描述的产生、训练及检测步骤。所述产生、训练及检测步骤由所述一或多个计算机系统执行。
可如本文中进一步描述那样进一步执行上文描述的方法的每一步骤。另外，上文描述的方法的实施例可包含本文中描述的任何其它方法的任何其它步骤。此外，上文描述的方法可由本文中描述的所述系统中的任何者执行。
另一实施例涉及一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在一或多个计算机系统上执行以执行用于训练用于低分辨率图像中的缺陷检测的神经网络的计算机实施方法。所述计算机实施方法包含上文描述的方法的步骤。可如本文中描述那样进一步配置所述计算机可读媒体。可如本文中进一步描述那样执行所述计算机实施方法的步骤。另外，可针对其执行所述程序指令的计算机实施方法可包含本文中描述的任何其它方法的任何其它步骤。
附图说明
在受益于优选实施例的以下详细描述的情况下且在参考所附图式之后，所属领域的技术人员将明白本发明的进一步优点，其中：
图1及1a是说明如本文中描述那样配置的系统的实施例的侧视图的示意图；
图2是说明可由本文中描述的实施例执行的步骤的流程图；及
图3是说明存储用于引起计算机系统执行本文中描述的计算机实施方法的程序指令的非暂时性计算机可读媒体的一个实施例的框图。
虽然本发明易于以各种修改及替代形式呈现，但本发明的特定实施例通过图式中的实例展示且在本文中加以详细描述。图式可不按比例绘制。然而，应理解，图式及其详细描述不希望将本发明限于所揭示的特定形式，而相反，本发明将涵盖落于如由所附权利要求书界定的本发明的精神及范围内的全部修改、等效物及替代物。
具体实施方式
如本文中互换使用的术语“设计”、“设计数据”及“设计信息”通常是指IC或其它半导体装置的物理设计(布局)及通过复杂模拟或简单几何及布尔运算从物理设计导出的数据。另外，通过光罩检验系统获取的光罩的图像及/或其导出物可用作用于设计的“代理”或“若干代理”。此光罩图像或其导出物可在使用设计的本文中描述的任何实施例中充当对于设计布局的取代物。设计可包含2009年8月4日颁予扎法尔(Zafar)等人的共同拥有的第7,570,796号美国专利及2010年3月9日颁予库尔卡尼(Kulkarni)等人的共同拥有的第7,676,077号美国专利中描述的任何其它设计数据或设计数据代理，所述两个专利以宛如全文陈述引用的方式并入本文中。另外，设计数据可为标准单元库数据、集成布局数据、一或多个层的设计数据、设计数据的导出物及完全或部分芯片设计数据。
另外，本文中描述的“设计”、“设计数据”及“设计信息”是指由半导体装置设计者在设计过程中产生且因此可在将设计印刷于任何物理样品(例如光罩及晶片)上之前良好地用于本文中描述的实施例中的信息及数据。
现参考图式，应注意，图未按比例绘制。特定来说，在很大程度上放大图的一些元件的尺度以强调元件的特性。还应注意，所述图未按相同比例绘制。已使用相同元件符号指示可经类似配置的展示于一个以上图中的元件。除非本文中另有说明，否则所描述且展示的任何元件可包含任何合适市售元件。
一个实施例涉及一种经配置以训练用于低分辨率图像中的缺陷检测的神经网络的系统。在图1中展示此系统的一个实施例。系统包含一或多个计算机子系统(例如，计算机子系统36及102)及由一或多个计算机子系统执行的一或多个组件100。一或多个组件包含高分辨率神经网络104及低分辨率神经网络106，其如本文中进一步描述那样配置。
系统包含检验工具10，检验工具10包含高分辨率成像子系统及低分辨率成像子系统。在一些实施例中，检验工具经配置为光学检验工具。然而，检验工具可经配置为本文中进一步描述的另一类型的检验工具。
如本文中使用，术语“低分辨率”大体上被定义为无法以其分辨样品上的全部图案化特征的分辨率。例如，如果样品上的一些图案化特征的大小足够大以使其可分辨，那么其可以“低”分辨率分辨。然而，低分辨率不使本文中描述的样品上的全部图案化特征可分辨。以此方式，如本文中使用的术语“低分辨率”不可用于产生足以用于例如缺陷重检(其可包含缺陷分类及/或确认)及计量的应用的关于样品上的图案化特征的信息。另外，如本文中使用的术语“低分辨率成像子系统”一般是指具有相对低分辨率(例如，低于缺陷重检及/或计量系统)以便具有相对快速的处理能力的成像子系统。以此方式，“低分辨率图像”还可通常称为高处理能力或HT图像。不同种类的成像子系统可针对低分辨率而配置。例如，为了以较高处理能力产生图像，可降低e/p及帧的数目，由此导致较低质量扫描电子显微镜(SEM)图像。
“低分辨率”也可为“低分辨率”，这是因为其低于本文中描述的“高分辨率”。如本文中使用的术语“高分辨率”一般可定义为可以相对高准确度分辨样品的全部图案化特征的分辨率。以此方式，样品上的全部图案化特征可以高分辨率分辨而与其大小无关。因而，如本文中使用的术语“高分辨率”可用于产生足以用于例如缺陷重检(其可包含缺陷分类及/或确认)及计量的应用中的关于样品的图案化特征的信息。另外，如本文中使用的术语“高分辨率”是指在例行操作期间检验系统通常无法使用的分辨率，所述检验系统经配置以牺牲分辨能力而增大处理能力。“高分辨率图像”在所属领域中也可称为“高灵敏度图像”(其是“高质量图像”的另一术语)。不同种类的成像子系统可针对高分辨率而配置。例如，为了产生高质量图像，可增加e/p、帧等，此产生良好质量SEM图像但显著降低处理能力。这些图像接着是“高灵敏度”图像，这是因为其可用于高灵敏度缺陷检测。
与图像及成像子系统相比，神经网络通常未经分类或被称为具有任何特定“分辨率”。代替性地，本文中使用术语高分辨率神经网络及低分辨率神经网络以识别两个不同神经网络，一个神经网络经训练且用于高分辨率图像且另一神经网络经训练且用于低分辨率图像。换句话说，高分辨率神经网络可经训练且用于使用由高分辨率成像子系统产生的高分辨率图像作为输入来执行一或多个功能(例如，缺陷检测)，而低分辨率神经网络可经训练且用于使用由低分辨率成像子系统产生的低分辨率图像作为输入来执行一或多个功能(例如，缺陷检测)。另外，高分辨率神经网络及低分辨率神经网络可经类似地或不同地配置，其中其参数由本文中进一步描述的各种步骤确定及设置。
在一个实施例中，样品是晶片。晶片可包含所属领域中已知的任何晶片。虽然一些实施例可在本文中尤其关于晶片描述，但显而易见，本文中描述的实施例中的任何者都不限于晶片。
高分辨率成像子系统及低分辨率成像子系统包含至少能量源及检测器。能量源经配置以产生经引导到样品的能量。检测器经配置以检测来自样品的能量且响应于经检测能量而产生图像。本文中进一步描述高分辨率成像子系统及低分辨率成像子系统的各种配置。
一般来说，高分辨率成像子系统及低分辨率成像子系统可共享检验工具的一些图像形成元件或不共享检验工具的图像形成元件。例如，高分辨率成像子系统及低分辨率成像子系统可共享相同能量源及检测器，且可取决于高分辨率成像子系统或低分辨率成像子系统是否产生样品的图像而更改检验工具的能量源、检测器及/或其它图像形成元件的一或多个参数。在另一实例中，高分辨率成像子系统及低分辨率成像子系统可共享检验工具的一些图像形成元件(例如能量源)且可具有其它非共享图像形成元件(例如单独检测器)。在进一步实例中，高分辨率成像子系统及低分辨率成像子系统可不共享共同图像形成元件。在一个此实例中，高分辨率成像子系统及低分辨率成像子系统可各自具有其自身的能量源、检测器及未由其它成像子系统使用或共享的任何其它图像形成元件。
在图1中展示的系统的实施例中，高分辨率成像子系统包含经配置以将光引导到样品12的照明子系统。照明子系统包含至少一个光源。例如，如图1中展示，照明子系统包含光源14。照明子系统经配置以按可包含一或多个倾斜角及/或一或多个法向角的一或多个入射角将光引导到样品。例如，如图1中展示，引导来自光源14的光穿过光学元件16而到光束分离器18。光束分离器18将来自光学元件16的光引导到透镜20，所述透镜20按法向入射角将光聚焦到样品12。入射角可包含可取决于(例如)样品的特性而变化的任何合适入射角。
照明子系统可经配置以在不同时间按不同入射角将光引导到样品。例如，检验工具可经配置以更改照明子系统的一或多个元件的一或多个特性使得可按不同于图1中展示的入射角将光引导到样品。在一个此实例中，检验工具可经配置以使用一或多个孔径(未展示)以控制按其将光从透镜20引导到样品的角度。
在一个实施例中，光源14可包含宽带光源。以此方式，由光源产生且引导到样品的光可包含宽带光。然而，光源可包含任何其它合适光源(例如激光，其可包含所属领域中已知的任何合适激光)，且可经配置以产生所属领域中已知的任何合适波长的光。另外，激光可经配置以产生单色或近单色光。以此方式，激光可为窄带激光。光源还可包含产生多个离散波长或波带的光的多色光源。
来自光束分离器18的光可通过透镜20聚焦到样品12上。虽然透镜20在图1中展示为单折射光学元件，但应理解，实际上，透镜20可包含组合地聚焦光到样品的数个折射及/或反射光学元件。高分辨率成像子系统的照明子系统可包含任何其它合适光学元件(未展示)。此类光学元件的实例包含(但不限于)偏光组件、光谱滤波器、空间滤波器、反射光学元件、变迹器、光束分离器、孔径及类似者，其可包含所属领域中已知的任何此类合适光学元件。另外，检验工具可经配置以基于用于成像的照明的类型更改照明子系统的一或多个元件。
虽然上文将高分辨率成像子系统描述为在其照明子系统中包含一个光源及照明通道，但照明子系统可包含一个以上照明通道，照明通道中的一者可包含如图1中展示的光源14、光学元件16及透镜20，且照明通道中的另一者(未展示)可包含可不同或相同配置的类似元件或可包含至少一光源及可能一或多个其它组件(例如本文中进一步描述的组件)。如果在相同时间将来自不同照明通道的光引导到样品，那么通过不同照明通道引导到样品的光的一或多个特性(例如，波长、偏光等)可不同，使得可在检测器处将源自通过不同照明通道照明样品的光彼此区分。
在另一例子中，照明子系统可仅包含一个光源(例如，图1中展示的源14)且可由照明子系统的一或多个光学元件(未展示)将来自所述光源的光分成不同路径(例如，基于波长、偏光等)。接着，可将不同路径中的每一者中的光引导到样品。多个照明通道可经配置以在相同时间或不同时间(例如，当使用不同照明通道以依序照明样品时)将光引导到样品。在另一例子中，相同照明通道可经配置以在不同时间将具有不同特性的光引导到样品。例如，在一些例子中，光学元件16可经配置为光谱滤波器且可以各种不同方式(例如，通过调换出光谱滤波器)改变光谱滤波器的性质使得可在不同时间将不同波长的光引导到样品。照明子系统可具有所属领域中已知的用于依序或同时按不同或相同入射角将具有不同或相同特性的光引导到样品的任何其它合适配置。
检验工具还可包含经配置以引起光扫描遍及样品的扫描子系统。例如，检验工具可包含在成像期间在其上安置样品12的载物台22。扫描子系统可包含可经配置以移动样品使得光可扫描遍及样品的任何合适机械及/或机器人组合件(包含载物台22)。另外或替代地，检验工具可经配置使得高分辨率成像子系统的一或多个光学元件执行光遍及样品的某一扫描。可以任何合适方式(例如以蛇形路径或以螺旋路径)使光扫描遍及样品。
高分辨率成像子系统进一步包含一或多个检测通道。一或多个检测通道中的至少一者包含检测器，所述检测器经配置以归因于通过照明子系统照明样品而检测来自样品的光且响应于经检测光产生输出。例如，图1中展示的高分辨率成像子系统包含由透镜20、元件26及检测器28形成的检测通道。虽然本文中将高分辨率成像子系统描述为包含用于照明及收集/检测两者的共同透镜，但照明子系统及检测通道可包含在照明的情况中用于聚焦且在检测的情况中用于收集的单独透镜(未展示)。检测通道可经配置以按不同收集角收集且检测光。例如，由检测通道收集且检测的光的角度可使用定位于来自样品的光的路径中的一或多个孔径(未展示)选择及/或更改。由高分辨率成像子系统的检测通道检测的来自样品的光可包含镜面反射光及/或散射光。以此方式，图1中展示的高分辨率成像子系统可经配置用于暗场(DF)及/或明场(BF)成像。
元件26可为光谱滤波器、孔径或可用于控制由检测器28检测的光的任何其它合适元件或元件的组合。检测器28可包含所属领域中已知的任何合适检测器，例如光电倍增管(PMT)、电荷耦合装置(CCD)及延时积分(TDI)相机。检测器还可包含非成像检测器或成像检测器。如果检测器是非成像检测器，那么检测器可经配置以检测散射光的某些特性(例如强度)但不可经配置以检测依据成像平面内的位置而变化的此类特性。因而，由检测器产生的输出可为信号或数据，而非图像信号或图像数据。计算机子系统(例如计算机子系统36)可经配置以从检测器的非成像输出产生样品的图像。然而，检测器可经配置为经配置以产生成像信号或图像数据的成像检测器。因此，高分辨率成像子系统可经配置以按数个方式产生本文中描述的图像。
高分辨率成像子系统还可包含另一检测通道。例如，可引导由透镜20收集的来自样品的光穿过光束分离器18而到光束分离器24，光束分离器24可将光的一部分透射到光学元件26且将光的另一部分反射到光学元件30。光学元件30可为光谱滤波器、孔径或可用于控制由检测器32检测的光的任何其它合适元件或元件的组合。检测器32可包含上文描述的任何检测器。高分辨率成像子系统的不同检测通道可经配置以产生样品的不同图像(例如，使用具有不同特性(例如偏光、波长等或其某一组合)的光产生的样品的图像)。
在不同实施例中，由透镜20、光学元件30及检测器32形成的检测通道可为检验工具的低分辨率成像子系统的部分。在此情况中，低分辨率成像子系统可包含与上文详细描述的高分辨率成像子系统相同的照明子系统(例如，包含光源14、光学元件16及透镜20的照明子系统)。因此，高分辨率成像子系统及低分辨率成像子系统可共享共同照明子系统。然而，高分辨率成像子系统及低分辨率成像子系统可包含不同检测通道，所述检测通道中的每一者经配置以归因于共享照明子系统的照明而检测来自样品的光。以此方式，高分辨率检测通道可包含透镜20、光学元件26及检测器28，且低分辨率检测通道可包含透镜20、光学元件30及检测器32。以此方式，高分辨率检测通道及低分辨率检测通道可共享共同光学元件(透镜20)但还具有非共享光学元件。
高分辨率成像子系统及低分辨率成像子系统的检测通道可经配置以分别产生高分辨率样品图像及低分辨率样品图像，即使其共享照明子系统。例如，光学元件26及30可为经不同配置的孔径及/或光谱滤波器，其分别控制由检测器28及32检测的光的部分以借此分别控制由检测器28及32产生的图像的分辨率。在不同实例中，高分辨率成像子系统的检测器28可经选择以具有高于检测器32的分辨率。检测通道可以任何其它合适方式经配置以具有不同分辨率能力。
在另一实施例中，高分辨率成像子系统及低分辨率成像子系统可共享全部相同图像形成元件。例如，高分辨率成像子系统及低分辨率成像子系统两者可共享由光源14、光学元件16及透镜20形成的照明子系统。高分辨率成像子系统及低分辨率成像子系统还可共享相同检测通道(例如，一个检测通道由透镜20、光学元件26及检测器28形成及/或另一检测通道由透镜20、光学元件30及检测器32形成)。在此实施例中，可取决于是否针对样品产生高分辨率图像或低分辨率图像而更改这些图像形成元件中的任何者的一或多个参数或特性。例如，可取决于是否由样品形成高分辨率图像或低分辨率图像而更改透镜20的数值孔径(NA)。
在另一实施例中，高分辨率成像子系统及低分辨率成像子系统可不共享任何图像形成元件。例如，高分辨率成像子系统可包含上文描述的图像形成元件，所述图像形成元件可不由低分辨率成像子系统共享。代替性地，低分辨率成像子系统可包含其自身的照明及检测子系统。在一个此实例中，如图1中展示，低分辨率成像子系统可包含包含光源38、光学元件40及透镜44的照明子系统。来自光源38的光穿过光学元件40且由光束分离器42反射到透镜44，透镜44将光引导到样品12。可如上文描述那样配置这些图像形成元件中的每一者。可如本文中描述那样进一步配置低分辨率成像子系统的照明子系统。样品12可安置于载物台22上，载物台22可如上文描述那样经配置以引起成像期间光遍及样品的扫描。以此方式，即使高分辨率成像子系统及低分辨率成像子系统不共享任何图像形成元件，其仍可共享检验工具的其它元件，例如载物台、扫描子系统、电源(未展示)、外壳(未展示)等。
低分辨率成像子系统还可包含由透镜44、光学元件46及检测器48形成的检测通道。归因于照明子系统的照明而来自样品的光可由透镜44收集且经引导穿过光束分离器42，光束分离器42将光透射到光学元件46。接着，穿过光学元件46的光由检测器48检测。可如上文描述那样进一步配置这些图像形成元件中的每一者。可如本文中描述那样进一步配置低分辨率成像子系统的检测通道及/或检测子系统。
应注意，本文中提供图1以大体上说明可包含于检验工具中或可产生由本文中描述的系统或方法使用的图像的高分辨率成像子系统及低分辨率成像子系统的配置。可更改本文中描述的高分辨率成像子系统及低分辨率成像子系统的配置以如在设计商业检验工具时通常执行那样优化高分辨率成像子系统及低分辨率成像子系统的性能。另外，可使用例如商业上可购自加利福尼亚州米尔皮塔斯市的科磊公司(KLA,Milpitas,Calif)的Altair系列的工具的现有系统(例如，通过将本文中描述的功能性添加到现有系统)实施本文中描述的系统。对于一些此类系统，本文中描述的实施例可提供为系统的任选功能性(例如，除了系统的其它功能性之外)。替代地，可“从头开始”设计本文中描述的检验工具以提供全新检验工具。可如2010年8月24日颁予麦汗尼(Mehanian)等人的第7,782,452号美国专利中描述那样进一步配置高分辨率成像子系统及低分辨率成像子系统，所述专利以宛如全文陈述引用的方式并入本文中。
系统还包含经配置用于获取由高分辨率成像子系统及低分辨率成像子系统产生的样品的图像的一或多个计算机子系统。例如，耦合到检验工具(或包含于检验工具中)的计算机子系统36可以任何合适方式(例如，经由一或多个传输媒体，所述一或多个传输媒体可包含“有线”及/或“无线”传输媒体)耦合到检验工具的检测器使得计算机子系统可接收由检测器针对样品产生的输出或图像。计算机子系统36可经配置以使用由检测器产生的输出或图像执行本文中进一步描述的数个功能。
图1中展示的计算机子系统(以及本文中描述的其它计算机子系统)在本文中也可称为计算机系统。本文中描述的计算机子系统或系统中的每一者可采取各种形式，包含个人计算机系统、图像计算机、主计算机系统、工作站、网络设备、因特网设备或其它装置。一般来说，术语“计算机系统”可经广泛定义以涵盖具有执行来自存储器媒体的指令的一或多个处理器的任何装置。计算机子系统或系统还可包含所属领域中已知的任何合适处理器(例如平行处理器)。另外，所述计算机子系统或系统可包含具有高速处理及软件的计算机平台(作为独立工具或网络工具)。
如果系统包含一个以上计算机子系统，那么不同计算机子系统可彼此耦合，使得可在计算机子系统之间发送图像、数据、信息、指令等。例如，计算机子系统36可通过可包含所属领域中已知的任何合适有线及/或无线传输媒体的任何合适传输媒体耦合到计算机子系统102(如由图1中的虚线展示)。两个或两个以上此类计算机子系统还可通过共享计算机可读存储媒体(未展示)而有效地耦合。
虽然上文将高分辨率成像子系统及低分辨率成像子系统描述为是光学或基于光的成像子系统，但高分辨率成像子系统及低分辨率成像子系统可还或替代地包含经配置以产生样品的电子束图像的电子束成像子系统。在一个此实施例中，电子束成像子系统可经配置以将电子引导到样品或将电子扫描遍及样品且检测来自样品的电子。在图1a中展示的一个此实施例中，电子束成像子系统包含耦合到计算机子系统124的电子柱122。
还如图1a中展示，电子柱包含经配置以产生由一或多个元件130聚焦到样品128的电子的电子束源126。电子束源可包含(例如)阴极源或射极尖端，且一或多个元件130可包含(例如)枪透镜、阳极、限束孔径、闸阀、束电流选择孔径、物镜及扫描子系统，其全部可包含所属领域中已知的任何此类合适元件。
从样品返回的电子(例如，二次电子)可由一或多个元件132聚焦到检测器134。一或多个元件132可包含(例如)扫描子系统，所述扫描子系统可为包含于元件130中的相同扫描子系统。
电子柱可包含所属领域中已知的任何其它合适元件。另外，可如2014年4月4日颁予蒋(Jiang)等人的第8,664,594号美国专利、2014年4月8日颁予小岛(Kojima)等人的第8,692,204号美国专利、2014年4月15日颁予顾本思(Gubbens)等人的第8,698,093号美国专利及2014年5月6日颁予麦克唐纳(MacDonald)等人的第8,716,662号美国专利中所描述那样进一步配置电子柱，所述专利以宛如全文陈述引用的方式并入本文中。
虽然在图1a中将电子柱展示为经配置使得电子按倾斜入射角引导到样品且按另一倾斜角从样品返回，但应理解，电子束可按任何合适角度引导到样品且从样品检测。另外，电子束成像子系统可经配置以使用多个模式来产生样品的图像(例如，具有不同照明角、收集角等)，如本文中进一步描述。电子束成像子系统的多个模式在任何图像产生参数方面可为不同的。图1a中展示的电子柱还可经配置以按所属领域中已知的任何合适方式(例如，通过改变包含于电子柱中的一或多个元件的一或多个参数或特性，使得可针对样品产生高分辨率图像或低分辨率图像)用作高分辨率成像子系统及低分辨率成像子系统。
计算机子系统124可耦合到检测器134，如上文描述。检测器可检测从样品的表面返回的电子，借此形成样品的电子束图像。所述电子束图像可包含任何合适电子束图像。计算机子系统124可经配置以使用由检测器134产生的输出针对样品执行本文中进一步描述的一或多个功能。可如本文中描述那样进一步配置包含图1a中展示的电子束成像子系统的系统。
应注意，在本文中提供图1a以大体上说明可包含于本文中描述的实施例中的电子束成像子系统的配置。如同上文描述的光学成像子系统，可更改本文中描述的电子束成像子系统布置以如在设计商业成像子系统时通常执行那样优化成像子系统的性能。另外，可使用例如商业上可购自科磊公司的工具的现有系统(例如，通过将本文中描述的功能性添加到现有系统)实施本文中描述的系统。对于一些此类系统，可将本文中描述的实施例提供为系统的任选功能性(例如，除了系统的其它功能性之外)。替代地，可“从头开始”设计本文中描述的系统以提供全新系统。
虽然上文将成像子系统描述为基于光或基于电子束的成像子系统，但成像子系统可为基于离子束的成像子系统。可如图1a中展示那样配置此成像子系统，区别在于可使用所属领域中已知的任何合适离子束源替换电子束源除。另外，成像子系统可为任何其它合适基于离子束的成像子系统，例如包含于市售聚焦离子束(FIB)系统、氦离子显微镜(HIM)系统及二次离子质谱仪(SIMS)系统中的基于离子束的成像子系统。
虽然上文将检验工具描述为包含基于光学、电子束或带电粒子束的高分辨率成像子系统及低分辨率成像子系统，但高分辨率成像子系统及低分辨率成像子系统不需要使用相同类型的能量。例如，高分辨率成像子系统可为电子束类型的成像子系统，而低分辨率成像子系统可为光学类型的成像子系统。可以所属领域中已知的任何合适方式将使用不同类型的能量的照明子系统组合成单个检验工具。
如上文提及，成像子系统可经配置用于将能量(例如，光、电子)引导到样品的物理版本及/或将能量扫描遍及样品的物理版本，借此针对样品的物理版本产生实际图像。以此方式，成像子系统可经配置为“实际”成像系统而非“虚拟”系统。例如，图1中展示的存储媒体(未展示)及计算机子系统102可经配置为“虚拟”系统。在共同转让的以下专利中描述经配置为“虚拟”检验系统的系统及方法：在2012年2月28日颁予巴斯卡尔(Bhaskar)等人的第8,126,255号美国专利及2015年12月29日颁予达菲(Duffy)等人的第9,222,895号美国专利，所述两个专利以宛如全文陈述引用的方式并入本文中。可如这些专利中描述那样进一步配置本文中描述的实施例。
如上文进一步提及，成像子系统可经配置以使用多个模式产生样品的图像。一般来说，“模式”可由用于产生样品的图像的成像子系统的参数的值或用于产生样品的图像的输出定义。因此，不同模式可在成像子系统的至少一个成像参数的值方面不同。例如，在光学成像子系统中，不同模式可使用不同波长的光进行照明。模式可在照明波长方面不同，如本文中针对不同模式进一步描述(例如，通过使用不同光源、不同光谱滤波器等)。高分辨率成像子系统及低分辨率成像子系统两者可能够使用不同模式产生样品的输出或图像。
高分辨率神经网络及低分辨率神经网络可具有本文中进一步描述的各种不同配置。高分辨率神经网络及低分辨率神经网络可经配置为深度学习(DL)系统的网络。高分辨率神经网络可使用由高分辨率成像子系统针对样品产生的高分辨率图像执行样品的一或多个功能。低分辨率神经网络可使用由低分辨率成像子系统针对样品产生的低分辨率图像执行样品的一或多个功能。
如本文中进一步描述，高分辨率神经网络可用于产生用于训练低分辨率神经网络的缺陷图像，所述低分辨率神经网络接着用于使用样品的低分辨率图像对样品进行缺陷检测。以此方式，本文中描述的实施例可经配置为使用DL系统的网络的一般化基于图块的混合检验器。例如，本文中描述的实施例可为一种混合检验器，其使用组合光学及可能SEM及设计图块的DL系统的网络识别且分类半导体制造工艺中的设计及工艺系统缺陷。术语“系统缺陷”在所属领域中大体上定义为由对样品执行的工艺与形成于样品上的设计之间的交互引起的缺陷。因此，“系统”缺陷可形成于跨样品的多个重复位置处。
高分辨率神经网络及低分辨率神经网络中的每一者可为深度神经网络，其具有根据已经馈送以训练所述神经网络的数据模型化世界的一组权重。神经网络可大体上被定义为基于神经单元的相对大集合的计算方法，其松散地模型化生物脑使用通过轴突连接的生物神经元的相对大集群解决问题的方式。每一神经单元与许多其它神经单元连接，且链结可强制执行或抑制其对经连接神经单元的激发状态的效应。这些系统是自我学习且经训练而非明确编程且在解决方案或特征检测难以按传统计算机程序表达的领域中具有优势。
神经网络通常由多个层构成，且信号路径从前部横越到后部。多个层执行数个算法或变换。一般来说，层的数目并不重要且取决于使用情况。为了实际目的，层的合适范围是从2个层到数十个层。当代神经网络项目通常使用数千到数百万神经单元及数百万连接工作。神经网络的目标是以与人脑相同的方式解决问题，尽管若干神经网络远远更加抽象。神经网络可具有所属领域中已知的任何合适架构及/或配置。在一些实施例中，神经网络可经配置为深度卷积神经网络(DCNN)，如在克瑞斯维基(Krizhevsky)等人的“使用深度卷积神经网络的图像网分类(ImageNet Classification with Deep Convolutional NeuralNetworks)”，神经信息处理系统大会(NIPS)，2012年，第9页中描述，所述文献以宛如全文陈述引用的方式并入本文中。可如此参考案中描述那样进一步配置本文中描述的实施例。
本文中描述的神经网络属于通常称为机器学习的一种类别的计算。机器学习可大体上被定义为对计算机提供在未经明确编程的情况下学习的能力的一种类型的人工智能(AI)。机器学习致力于开发可教示自身在暴露于新数据时生长及改变的计算机程序。换句话说，机器学习可被定义为“赋予计算机在未经明确编程的情况下学习的能力”的计算机科学的子域。机器学习探索可从数据学习且对数据作出预测的算法的研究及构造-此类算法凭借通过从样本输入建立模型来作出数据驱动预测或决策而克服以遵循严格静态程序指令。
可如在杉山(Sugiyama)、摩根·考夫曼(Morgan Kaufmann)的“统计机器学习导论(Introduction to Statistical Machine Learning)”，2016年，第534页；杰巴拉(Jebara)的“区分性、生成及模仿性学习(Discriminative,Generative,and ImitativeLearning)”，麻省理工学院的论文(MIT Thesis)，2002年，第212页；及汉德(Hand)等人的“数据挖掘原理(自适应计算和机器学习)(Principles of Data Mining(AdaptiveComputation and Machine Learning))”，麻省理工学院出版社(MIT Press)，2001年，第578页中描述那样进一步配置本文中描述的神经网络，所述文献以宛如全文陈述引用的方式并入本文中。可如这些参考文献中描述那样进一步配置本文中描述的实施例。
本文中描述的神经网络可还或替代地属于通常称为DL的一种类别的计算。一般来说，“DL”(还称为深度结构化学习、分层式学习或深度机器学习)是基于尝试模型化数据中的高级抽象的一组算法的机器学习的分支。在简单情况中，可存在两组神经元：接收输入信号的神经元及发送输出信号的神经元。当输入层接收输入时，其将输入的经修改版本传递到下一层。在基于DL的模型中，输入与输出之间存在许多层(且所述层并非由神经元制成但将所述层视为由神经元制成是有帮助的)，从而允许算法使用由多个线性及非线性变换构成的多个处理层。
DL是基于数据的学习表示的机器学习方法的更广泛族的部分。观察(例如，图像)可以许多方式(例如每个像素的强度值的向量)或以更抽象方式(如一组边缘、特定形状的区域等)呈现。一些表示优于其它表示之处在于，简化学习任务(例如，面部辨识或面部表情辨识)。DL的一个前景是使用有效算法来取代手工制作特征用于无监督或半监督式特征学习及分层式特征提取。
在此领域中的研究尝试制成更好的表示且产生模型以从大规模未标记数据学习这些表示。一些表示受神经科学中的进展启发且松散地基于神经系统中的信息处理及通信模式的解译，例如尝试定义各种刺激与脑中的相关联神经元响应之间的关系的神经编码。
在一个实施例中，高分辨率神经网络经配置为半监督式DL架构。在另一实施例中，低分辨率神经网络经配置为半监督式DL架构。例如，可在本文中描述的DL网络中使用网络的半监督式状态。此DL架构可经配置用于使用监督式标记信息及无监督式结构信息两者以联合地决定通道选择的二级过程。例如，标记信息可用于特征提取中且未标记信息可经集成以正规化监督式训练。以此方式，可在训练过程期间使用监督式及无监督式信息两者以降低模型方差。生成模型(例如受限玻尔兹曼机器(RBM))可用于提取代表性特征且降低数据维数，这可大大地降低经标记信息的稀缺性的影响。仅利用无监督式信息的初始通道选择过程可移除具有极少结构信息的不相关通道且降低数据维数。基于来自初始通道选择的结果，可使用精细通道选择过程来处置具有噪声的通道问题。因此，此DL架构可尤其可用于处置具有非常多噪声的信息，本文中进一步描述的一些样品的情况可为如此。可如贾(Jia)等人的“用于关于EEG信号的情感状态辨识的新颖半监督式深度学习架构(A Novel Semi-supervised Deep Learning Framework for Affective State Recognition on EEGSignals)”，2014年IEEE国际生物信息学和生物工程会议的BIBE’论文集14(BIBE’14Proceedings of the 2014IEEE International Conference on Bioinformatics andBioengineering)，第30-37页，2014年11月10日到12日，IEEE计算机学会，华盛顿特区中描述那样进一步配置DL架构，所述文献以宛如全文陈述引用的方式并入本文中。可如此参考案中描述那样进一步配置本文中描述的实施例。
本文中描述的实施例可基本上划分且克服噪声或扰乱点抑制对所关注缺陷(DOI)检测问题。例如，本文中描述的计算机子系统可执行其中首先执行训练用于扰乱点抑制接着进行DOI检测的一种迭代训练。如本文中使用的术语“扰乱点”(其有时可与“扰乱点缺陷”互换地使用)大体上被定义为用户不关心的缺陷及/或在样品上检测但实际上并非样品上的实际缺陷的事件。并非实际缺陷的扰乱点可归因于样品上的非缺陷噪声源(例如，样品上的金属线中的晶粒、来自样品上的底层或材料的信号、线边缘粗糙度(LER)、图案化特征的相对小临界尺寸(CD)变化、厚度变化等)及/或归因于检验子系统自身或用于检验的其配置中的边缘性而被检测为事件。
如本文中使用的术语“DOI”可被定义为在样品上检测且实际上是样品上的实际缺陷的缺陷。因此，DOI为用户所关注，这是因为用户通常关心在经检验的样品上的实际缺陷的数量及类型。在一些背景内容中，术语“DOI”用于指代样品上的全部实际缺陷的子集，其仅包含用户关心的实际缺陷。例如，在任何给定晶片上可存在多个类型的DOI，且用户对其中的一或多者可比对一或多个其它类型更关注。然而，在本文中描述的实施例的背景内容中，术语“DOI”用于指代晶片上的任何及全部真实缺陷。
因此，一般来说，检验的目标并非检测样品上的扰乱点。尽管作出大量努力来避免扰乱点的此检测，但完全消除此检测实际上是不可能的。因此，重要的是识别哪些经检测事件是扰乱点且哪些者是DOI，使得可单独使用不同类型的缺陷的信息，例如，DOI的信息可用于对在样品上执行的一或多个制造工艺进行诊断及/或作出改变，而扰乱点的信息可被忽略、消除或用于诊断样品上的噪声及/或检验过程或工具中的边缘性。
如果我们致力于最小化噪声，那么基于模式(即，图像获取)或算法(即，图像处理)来处理扰乱点抑制问题远更容易。大量噪声存在于本文中描述的样品的低分辨率图像中。例如，增益大体上易于在低NA图像中产生噪声而其趋于在高分辨率成像(当然，相较于低分辨率图像，其经受远更低处理能力)中洗除。特定来说，如本文中使用的术语“晶粒”是指金属(例如铝或铜)的结晶结构中的位错。因此，当晶粒存在于经成像的金属中而非“看见”平滑表面时，存在在相对低NA下趋于突出的许多不连续性。相比之下，在相对高NA下，不连续性趋于被洗除(例如，降低)。
在本文中进一步描述的各种训练步骤中，可将图像(取决于经训练的神经网络，高分辨率或低分辨率)以及其它信息输入到经训练的神经网络。例如，其它信息可包含用于样品的设计的信息(例如，设计数据自身或与设计相关的某一其它数据)及工艺信息，其可包含用于在通过检验工具成像之前对样品执行的任何工艺的任何信息。出于若干原因，使用此额外信息进行训练可为有利的。例如，设计信息可用于减少先前层缺陷(即，用户对于当前层检验的目的不感兴趣的缺陷)。在一些此类例子中，可经由“由先验知识定义的规则”或“基于由设计提供的分段信息学习”将规则键入神经网络中。(如本文中使用的术语“分段”信息被大体上定义为用于(例如)通过将样品的图像分成不同片段(其检验是基于片段的设计或其它信息来确定)而不同地检验样品上的不同区域的信息)。另外，在半导体装置制造工艺的后端中的重布(RDL)层(相较于前端)稍微简单，例如，其通常包含3或4个层，且因此还可添加“工艺”知识作为用于识别潜在模式的这些层的输入以及用于工艺引发的缺陷的种类的输入两者。因此，相较于几何设计，此信息将与工艺知识的性质相关。工艺信息可作为标记或规则或甚至与DL网络合并的文字输入。
计算机子系统可经配置用于训练高分辨率神经网络。训练高分辨率神经网络可以监督式、半监督式或无监督式方式执行。例如，在监督式训练方法中，可使用指示图像中的噪声或具有噪声的区域及图像中的安静(不具有噪声)区域的标记批注样品的一或多个图像。标记可以任何合适方式(例如，通过用户，使用地面实况方法，或使用已知能够以相对高准确度分离高分辨率图像中的缺陷与噪声的缺陷检测方法或算法)指派到图像。可将图像及其标记输入到高分辨率神经网络以用于训练，其中高分辨率神经网络的一或多个参数经更改直到高分辨率神经网络的输出匹配训练输入。
在无监督式训练方法中，可将未标记图像输入到高分辨率神经网络以用于训练且高分辨率神经网络可使用图像以识别图像中的噪声。例如，归因于输入到高分辨率神经网络的图像的高分辨率，高分辨率图像可充当适用于识别样品上的扰乱点区域及样品上的非扰乱点区域的一种地面实况信息及/或通过执行分离扰乱点与缺陷的缺陷检测及/或分类方法，可识别样品上的扰乱点及非扰乱点区域。接着，训练可包含更改高分辨率神经网络的一或多个参数，如上文描述。
在一个实施例中，由高分辨率成像子系统产生的用于训练高分辨率神经网络的图像包含由高分辨率成像子系统的一个以上模式产生的样品的图像。在本文中描述的此及其它步骤中产生、获取及使用图像的模式的数目可取决于检验工具的各种可能配置设置及/或从时间及/或存储空间考虑简单实用的事项而变化。
在一些实施例中，检验工具经配置用于扫描样品上的扫描带同时检测来自样品的能量，且一或多个计算机子系统经配置用于获取且存储由高分辨率成像子系统产生的图像的扫描带中的至少三者使得扫描带中的所述至少三者可用于产生缺陷图像的训练集。检验工具可如本文中进一步描述那样扫描样品上的扫描带且通过扫描扫描带而产生的输出或图像可称为输出或图像的扫描带。本文中描述的实施例能够在高分辨率模式及低分辨率模式两者中针对多个(例如，30个)模式存储整行数据(即，涵盖样品上的整行中的整个裸片的图像或数据的扫描带)。如果不存在充足存储器来存储扫描带中的全部高分辨率图块，那么可存储三个扫描带(例如，顶部、中心及底部)。高分辨率图像可针对至少三个整个扫描带而扫描且同时存储于虚拟检验器的宏观检验器版本上，这是因为此系统还可存储本文中进一步描述的低分辨率图像。
可将来自多个模式的图像输入到高分辨率神经网络以用于训练，如本文中进一步描述。可单独或组合地使用来自不同模式的图像以训练高分辨率神经网络。例如，由不同模式产生的图像可用作训练步骤中的多个通道输入。来自不同模式的图像可组合地使用以识别图像中及/或样品上的扰乱点对非扰乱点。接着，可更改高分辨率神经网络参数以抑制由高分辨率神经网络检测图像中的此类扰乱点。在另一实例中，在不同模式中的一或多者中产生的图像可用于训练高分辨率神经网络(这可如本文中描述那样执行)，且接着可使用不同模式中的另一者或其它者产生的图像重新训练高分辨率神经网络。以此方式，可使用从一或多个模式到另一或多个模式的一种迁移学习训练高分辨率神经网络。
一或多个计算机子系统经配置用于产生缺陷图像的训练集。缺陷图像中的至少一者由高分辨率神经网络使用由高分辨率成像子系统产生的图像中的至少一者合成地产生。可如本文中描述那样执行产生训练集。包含于训练集中的缺陷图像可包含本文中进一步描述的各种类型的缺陷图像。可如本文中进一步描述那样合成地产生至少一个缺陷图像。
一或多个计算机子系统经配置用于使用缺陷图像的训练集作为输入而训练低分辨率神经网络。以此方式，计算机子系统可经配置用于执行通过训练高分辨率神经网络而产生的信息到低分辨率神经网络的类型的迁移学习。例如，本文中描述的实施例的一个优点是其提供用于使用具有有限训练集的可有效训练神经网络检验半导体装置的系统及方法。为此目的，可使用一系列迁移学习方法来以有原则的方式实现且加速神经网络的有效训练。
迁移学习可大体上定义为通过来自已学习的相关任务(一或多个源任务)的知识的迁移学习新任务(或目标任务)的改进。因此，在本文中描述的实施例中，训练高分辨率神经网络可涉及学习一或多个源任务，且训练低分辨率神经网络可使用训练高分辨率神经网络的结果执行以借此将来自源任务(高分辨率神经网络训练)的知识转移到目标任务(低分辨率神经网络学习)。在迁移学习中，代理在学习源任务时对于目标任务无所知(或甚至不知道将存在目标任务)。例如，在本文中描述的实施例中，高分辨率神经网络在其经训练时对于低分辨率神经网络无所知。
可以任何合适方式执行本文中描述的迁移学习。例如，在归纳学习任务中，目标是从一组训练实例引出预测性模型。归纳学习中的迁移通过允许源-任务知识影响目标任务的归纳偏向而工作。在归纳迁移方法中，基于源-任务知识选取或调整目标-任务归纳偏向。完成此的方式取决于用于学习源任务及目标任务的归纳学习算法而变化。
归纳迁移不仅可视为改进标准监督式学习任务中的学习的方式，而且视为抵消由涉及相对小数据集的任务造成的困难的方式。也就是说，如果存在针对任务的相对少量数据或类别标签，那么将其视为目标任务且执行从相关源任务的归纳迁移可导致更准确模型。因此，尽管事实是假定两个数据集来自不同概率分布，这些方法仍使用源-任务数据以增强目标-任务数据。
可如在托里(Torrey)等人的“迁移学习(Transfer Learning)”，《机器学习应用研究手册》(Handbook of Research on Machine Learning Applications)，由IGI全球(IGIGlobal)出版，由E.索里亚(E.Soria)、J.马丁(J.Martin)、R.马格达莱纳(R.Magdalena)、M.马丁内斯(M.Martinez)及A.塞拉诺(A.Serrano)编辑，2009年，第22页以及尤辛斯基(Yosinski)等人的“深度神经网络中的特征可如何迁移？(How transferable arefeatures in a deep neural network？)”，神经信息处理系统大会(NIPS)2014，2014年11月6日，第14页中描述那样进一步执行本文中描述的迁移学习，所述文献以宛如全文陈述引用的方式并入本文中。可如这些参考文献中描述那样进一步配置本文中描述的实施例。
在一个实施例中，缺陷图像的训练集包含由低分辨率成像子系统的一个以上模式产生的样品的图像。例如，用于训练低分辨率神经网络的图像可包含使用低分辨率成像子系统的30或更多个模式产生的低分辨率图像。本文中描述的计算机子系统能够存储此大量的低分辨率图像数据。多模式低分辨率图像可如本文中描述那样产生且用于如本文中描述的训练。其图像用于本文中描述的实施例中的低分辨率成像子系统的多个模式可如本文中进一步描述那样进行配置及选择。
在一些实施例中，计算机子系统经配置用于训练高分辨率神经网络，且训练高分辨率神经网络及训练低分辨率神经网络是使用生成对抗网络(GAN)或变分贝叶斯(variational Bayesian)方法执行。例如，生成高分辨率以及低分辨率神经网络可通过首先仅查看扰乱点空间而产生。此类系统可为GAN或变分网络或类似者。特定来说，由本文中描述的实施例使用的训练架构优选经设计以收敛到具有最小数目个样本的地面实况(用于确认样本)。
在一个此实施例中，一或多个组件包含一或多个额外组件，高及/或低分辨率神经网络的训练是使用一或多个额外组件执行，且一或多个额外组件包含共同母网络、大型共同母网络、对抗网络、GAN、深度对抗生成网络、对抗自动编码器、贝叶斯神经网络、经配置用于变分贝叶斯方法的组件、梯形网络或其某一组合。例如，可用于本文中描述的实施例中的迁移学习方法包含：针对后端工艺(BEOL)使用共同母网络；针对BEOL层使用大型共同母网络(将可能在SEM上工作)；使用对抗网络以加速训练；使用贝叶斯神经网络(变分贝氏)，其需要远更少层；及使用梯形网络的概念进行训练。本文中描述的实施例可经配置用于通过“合法放大”样本而加速训练。这些方法也称为半监督式(若干实例可用，但绝大多数未由人或地面实况标记)。
计算机子系统还可使用例如组合贝叶斯生成模型化以实现其在最小数目个样本中的结果的半监督式方法的方法。由张(Zhang)等人在2017年5月25日发表的第2017/0148226号美国专利申请公开案及金马(Kingma)等人的“具有深度生成模型的半监督式学习(Semi-supervised Learning with Deep Generative Models)”，神经信息处理系统大会(NIPS)2014，2014年10月31日，第1到9页中描述此类方法的实例，所述文献以宛如全文陈述引用的方式并入本文中。可如这些参考文献中描述那样进一步配置本文中描述的实施例。另外，计算机子系统可利用梯形网络，其中在例如拉斯马斯(Rasmus)等人的“具有梯形网络的半监督式学习(Semi-Supervised Learning with Ladder Networks)”，神经信息处理系统大会(NIPS)2015，2015年11月24日，第1到19页中提出的深度神经网络的深度神经网络中组合监督式及非监督式学习，所述文献以宛如全文陈述引用的方式并入本文中。可如此参考文献中描述那样进一步配置本文中描述的实施例。本文中描述的计算机子系统可进一步经配置以使用在古德费洛(Goodfellow)等人的“生成对抗网(GenerativeAdversarial Nets)”，2014年6月10日，第1到9页中描述的类型的深度对抗生成网络训练低分辨率神经网络，所述文献以宛如全文陈述引用的方式并入本文中。可如此参考文献中描述那样进一步配置本文中描述的实施例。另外或替代地，本文中描述的计算机子系统可经配置以使用例如在马赫扎尼(Makhzani)等人的“对抗自动编码器(AdversarialAutoencoders)”，arXiv:1511.05644v2，2016年5月25日，第16页中描述的对抗自动编码器的对抗自动编码器(组合变分自动编码器(VAE)及深度生成对抗网络(DGAN)的方法)训练低分辨率神经网络，所述文献以宛如全文陈述引用的方式并入本文中。可如此参考文献中描述那样进一步配置本文中描述的实施例。在一些例子中，计算机子系统可经配置以执行贝叶斯学习，如在尼尔(Neal)的“用于神经网络的贝叶斯学习(Bayesian Learning forNeural Networks)”，纽约施普林格出版社(Springer-Verlag New York)，1996年，第204页中描述，所述文献以宛如全文陈述引用的方式并入本文中。可如此参考文献中描述那样进一步配置本文中描述的实施例。计算机子系统还可经配置以执行变分贝氏方法，如在司米娣
Figure BDA0002666724780000191
的“信号处理中的变分贝氏方法(The Variational Bayes Method in SignalProcessing)”，柏林海德堡施普林格出版社(Springer-Verlag Berlin Heidelberg)，2006年，第228页中描述，所述文献以宛如全文陈述引用的方式并入本文中。可如此参考文献中描述那样进一步配置本文中描述的实施例。
在另一实施例中，由低分辨率成像子系统产生且由一或多个计算机子系统获取的图像包含通过聚焦获得的图像，一或多个计算机子系统经配置用于将通过聚焦获得的图像映射到由高分辨率成像子系统产生的图像，且训练低分辨率神经网络是基于训练所述高分辨率神经网络的结果及映射的结果而执行。例如，为了解决低分辨率(许多图像可表示)与高分辨率(地面实况)之间的多对映射表示问题，计算机子系统可利用通过聚焦获得的图像数据的图块。因此，可使用以多个聚焦设置获得的低分辨率图像促进识别对应于样品上的相同区域(且因此对应于彼此)的高分辨率图像及低分辨率图像。
一些此类实施例可使用体积检验技术执行。一般来说，体积检验包含使用检验工具以以多个聚焦设置从样本的多个xy位置中的每一者收集强度数据集。依据聚焦设置针对xy位置的经收集强度数据集中的每一者提取具有多个系数的多项式方程式。使用对应系数图像平面表示针对多个xy位置的系数的值集中的每一者。接着分析系数图像平面的目标集及系数图像平面的参考集以检测样本上的缺陷。以此方式，为了分离信号与噪声，可将体积图像的元组变换为傅里叶空间域。可如由陈(Chen)等人在2016年7月21日发表的第2016/0209334号美国专利申请公开案中描述那样进一步执行体积检验，所述专利公开案以宛如全文陈述引用的方式并入本文中。可如此公开案中描述那样进一步配置本文中描述的实施例。在本文中描述的实施例中，低分辨率成像子系统的基于光学的输出可包含光学图像的体积堆叠(例如，3个到5个之间的z堆叠)以能够解决光学空间中所谓的“一对多映射”问题。除了例如不同波长及孔径的z聚焦图像之外，还可扩展光学系统元组概念以包含其它光学模式。
据信，当与z图像的光学体积堆叠组合时，DL方法尤其优越。例如，本文中描述的神经网络可具有一对多变换问题。特定来说，由于基本上全部光学系统可模型化为薄膜堆叠，因此膜堆叠中的变化以及晶片拓朴中的变化在从高分辨率成像改变到低分辨率成像时可引起一对多映射。可学习全部这些变化，但其还可为噪声源，尤其在局部发生(例如，归因于局部色彩变化)的情况下。存在许多手工制作算法以应付这些但其并非完全有效。图像的体积堆叠可有助于缓解一对多映射问题且支持“信号”。例如，除了来自光学图像的“强度”信息之外，体积信息还获取“相位”信息。相比之下，正常基于光学的检验仅从“强度”起作用，这是不定性的原因(“一对多”映射中的“多”)。因此，为了解决低分辨率(许多图像可表示)到高分辨率(地面实况)之间的多对映射表示问题，本文中描述的实施例可利用通过聚焦获得的图像数据的图块。
设计不捕获缺陷的系统相当容易-也相当无用。幸运地，针对本文中描述的应用，良好地理解经检验的样品的层(例如，RDL层)中的关键缺陷的性质。例如，已知DOI可包含开路、短路、突出及侵入。
缺陷图像的训练集可包含针对已知DOI的各种信息(包含高分辨率图像)。例如，训练集可包含针对已知DOI中的每一者的设计信息(设计图块、计算机辅助设计(CAD)设计数据、经呈现设计数据、设计背景内容信息)。训练集还可包含针对已知DOI中的每一者的其它图像，例如测试图像、参考图像、差异图像、分段图像等。训练集还可包含缺陷信息，例如缺陷分类、大小、形状、位置等。一般来说，训练集可包含在训练及/或运行时间期间可输入到高分辨率神经网络及低分辨率神经网络的与已知DOI相关的任何信息。
已知DOI可包含来自数个不同源的本文中描述的数个不同种类的DOI。一般来说，训练集中的已知DOI可包含由一或多个方法或系统识别的已知DOI。已知DOI优选包含(当可能时)每一类型的已知DOI的两个或两个以上实例(例如，两个或两个以上开路实例、两个或两个以上短路实例等)。
训练可包含将已知DOI的训练集的信息输入到高分辨率神经网络及/或低分辨率神经网络中且更改高分辨率神经网络及/或低分辨率神经网络的一或多个参数直到由高分辨率神经网络及/或低分辨率神经网络针对已知DOI产生的输出匹配(或大体上匹配)训练集中的已知DOI的信息。训练高分辨率神经网络及/或低分辨率神经网络还可包含一种重新训练，所述重新训练可包含传送高分辨率神经网络及/或低分辨率神经网络的一些层(例如，卷积层)的全部权重及微调高分辨率神经网络及/或低分辨率神经网络的其它层(例如，完全连接层)的权重。然而，训练可包含更改神经网络的任何一或多个可训练参数。例如，由本文中描述的实施例训练的神经网络的一或多个参数可包含具有可训练权重的神经网络的任何层的一或多个权重。在一个此实例中，权重可包含卷积层但非池化层的权重。
在一些实施例中，缺陷图像的训练集包含表示由高分辨率成像子系统的一个以上模式产生的样品的图像的高分辨率图像。对应于训练集中的图像的高分辨率成像子系统的一个以上模式可包含本文中描述的任何模式。训练集中的高分辨率图像可表示由高分辨率能够使用的全部或仅一些(两者或两者以上)模式产生的样品的图像。
在一些例子中，如本文中描述，可以不需要涉及高分辨率成像子系统的方式产生训练集中的至少一些图像。例如，训练集中的高分辨率图像中的一或多者可表示由一个以上模式产生的已知DOI的图像，借此对应于由高分辨率成像子系统的不同模式产生的不同高分辨率图像。不同高分辨率图像可针对高分辨率成像子系统的不同模式而模拟，借此表示将由高分辨率成像子系统的不同模式针对已知DOI产生的高分辨率图像。以此方式，如果样品上的已知DOI是由高分辨率成像子系统成像，那么高分辨率图像可包含模拟、表示或近似表示将由高分辨率成像子系统产生的图像的图像。
在一个实施例中，缺陷图像的训练集包含样品上的一或多个编程缺陷的一或多个图像，一或多个计算机子系统经配置用于通过更改样品的设计以在设计中产生一或多个编程缺陷而产生一或多个编程缺陷，且经更改设计经印刷于样品上以在样品上产生一或多个编程缺陷。如本文中使用的术语“编程”缺陷可大体上被定义为通过操纵样品的设计信息而在所述样品上有目的地引起的一或多个缺陷。
与涉及产生合成但现实图像以用于训练的方法相比，使用经更改以包含编程缺陷的设计印刷样品允许待使用的系统的真实授权能力，这是因为实际DOI(印刷于样品上的编程缺陷)随处可见。针对希望产生测试晶片的用户，可使用具有通过计算机子系统编程到设计中的缺陷的光罩以将经更改设计印刷于测试晶片上，就像在前端工艺(FEOL)中利用达数十年的标准晶片步进曝光(DSW)晶片。使用用于产生产品晶片的至少一些相同工艺步骤产生此类测试晶片将能够收集相对大量实际DOI图像(其具有与产品上的真实实例中所预期相同的光学性质)以用于训练神经网络以分离DOI与扰乱点。
通过更改样品的设计而产生编程缺陷可基于关于已知DOI的信息(例如类型、尺寸、位置、形状等)执行，所述信息可来自任何适当源(例如，现有设计或工艺知识及/或缺陷检测结果)。更改样品的设计可使用电子设计自动化(EDA)工具执行。以此方式，本文中描述的实施例可具有利用使用EDACAD工具产生的编程设计数据的附加维度。EDA工具可包含任何合适市售EDA工具。另外，可使用可编程/图形EDA编辑器(其可包含任何合适EDA软件、硬件、系统或方法)自动化CAD工作。在一些此类实施例中，本文中描述的一或多个计算机子系统(例如，计算机子系统102)可经配置为EDA工具或可为包含于EDA工具中的计算机子系统。
在一个此实施例中，可使用经配置用于更改设计以在设计中产生编程缺陷的起始(inception)模块执行更改样品的设计以在设计中产生一或多个编程缺陷。例如，本文中描述的神经网络可通过缺陷幻觉系统(例如由GoogLeNet起始针对自然场景图像建议的缺陷幻觉系统)训练。对缺陷预训练的传统神经网络可接着将这些缺陷向后倒以在其它几何结构上产生新缺陷类型。可在塞格德(Szegedy)等人的“深入了解卷积(Going Deeper withConvolutions)”，2015年电气与电子工程师协会计算机视觉及图案辨识会议(CVPR)(2015IEEE Conference on Computer Vision and Pattern Recognition(CVPR))，2015年6月，第9页中找到用于执行GoogLeNet起始的系统及方法的实例，所述文献以宛如全文陈述引用的方式并入本文中。可如此参考文献中描述那样进一步配置本文中描述的实施例。
可使用经配置以对样品执行一或多个制造工艺的半导体制造子系统将经更改设计印刷于样品上。一或多个制造工艺可包含使用经更改设计制成光罩或掩模且接着使用所述光罩或所述掩模处理晶片。所述一或多个制造工艺可包含所属领域中已知的任何合适此类工艺。如图1中展示，系统可包含半导体制造系统108，半导体制造系统108可耦合到计算机子系统102及/或本文中描述的系统的任何其它元件。半导体制造系统可包含所属领域中已知的任何半导体制造工具及/或腔室，例如光刻跟踪、蚀刻腔室、化学机械抛光(CMP)工具、沉积腔室、剥离或清洁腔室及类似者。在2005年5月10日颁予莱维(Levy)等人的第6,891,627号美国专利中描述可包含于本文中描述的实施例中的合适半导体制造工具的实例，所述专利以宛如全文陈述引用的方式并入本文中。可如此专利中描述那样进一步配置本文中描述的实施例。
在使用经更改设计印刷样品之后，可使用高分辨率成像子系统及低分辨率成像子系统使编程缺陷在样品上的位置成像。接着可在本文中描述的训练步骤中使用编程缺陷的高分辨率图像及低分辨率图像。以此方式，实施例可使用涉及经验及编程方法的组合的混合方法，其包含通过使用经修改设计制成掩模及使用所述掩模处理晶片而如上文描述那样在设计空间中产生编程布局缺陷及确定所述编程布局缺陷对晶片的经验影响。以此方式，可使用编程缺陷的实际图像训练神经网络。
在另一实施例中，缺陷的训练集包含一或多个合成缺陷的一或多个图像，且一或多个计算机子系统经配置用于：通过更改样品的设计以在设计中产生一或多个合成缺陷而产生一或多个合成缺陷；基于设计中的一或多个合成缺陷而产生一或多个合成缺陷的经模拟高分辨率图像；及将经模拟高分辨率图像添加到训练集。可如本文中描述那样进一步执行通过更改样品的设计而产生合成缺陷。如图2中展示，一或多个合成缺陷可包含可以任何合适方式确定的“经注入”缺陷208。可使用经注入缺陷208的信息以更改设计数据202，设计数据202可为CAD数据或本文中描述的任何其它合适类型的设计数据。可接着使用经更改设计数据以产生经注入缺陷的经模拟高分辨率图像，可接着将所述经模拟高分辨率图像输入到高分辨率神经网络200作为训练集的部分。可接着使用训练集以训练高分辨率神经网络，如本文中进一步描述。
产生经模拟高分辨率图像可包含模拟经更改设计在印刷于样品上时的外观。例如，产生经模拟高分辨率图像可包含产生其上将印刷合成缺陷的样品的经模拟表示。可用于产生经模拟样品的凭经验训练的工艺模型的一个实例包含SEMulator 3D，其商业上可购自北卡罗来纳州卡里市的卡文特公司(Coventor,Inc.,Cary,NC)。严格光刻模拟模型的实例是商业上可购自科磊公司(KLA-Tencor)且可配合SEMulator 3D产品使用的Prolith。然而，可使用在从设计数据产生实际样品中涉及的过程中的任何者的任何合适模型产生经模拟样品。以此方式，可使用经更改设计(经更改以包含一或多个合成缺陷)以模拟在其上形成经更改设计的样品在样品空间中的外观(未必此样品对成像系统来说的外观)。因此，样品的经模拟表示可表示样品在样品的2D或3D空间中的外观。
可接着使用样品的经模拟表示以产生经模拟高分辨率图像，所述经模拟高分辨率图像说明其上印刷合成缺陷的样品将如何出现在由高分辨率成像子系统产生的样品的一或多个实际图像中。经模拟高分辨率图像可使用例如商业上可购自科磊公司且可使用电磁(EM)波解算器严格地模型化检验器的响应的WINsim的模型执行。可使用所属领域中已知的任何其它合适软件、算法、方法或系统执行此类模拟。
在一个此实施例中，一或多个计算机子系统经配置用于使用高分辨率神经网络产生经模拟高分辨率图像，且高分辨率神经网络经配置为深度生成模型。例如，计算机子系统可使用与在设计(EDA/CAD)数据上产生缺陷的合成方法组合的深度生成模型以在高分辨率图像上产生现实系统及随机缺陷，以注入到训练集中以供任何机器学习算法(包含(但不限于)DL系统)使用。
“生成”模型可大体上被定义为本质上概率性的模型。换句话说，“生成”模型并非执行前向模拟或基于规则的方法的模型且因而，产生实际图像或输出(针对其产生模拟图像)所涉及的工艺的物理学的模型并非必要。代替性地，如本文中进一步描述，可基于合适训练数据集学习生成模型(其中可学习其参数)。生成模型可经配置以具有DL架构，所述DL架构可包含执行数个算法或变换的多个层。包含于生成模型中的层的数目可为使用案例相依的。为了实际目的，层的合适范围是从2个层到数十个层。学习高分辨率图像(实际晶片的图像)与设计(例如，CAD或预期布局的向量表示)之间的联合概率分布(平均值及方差)的深度生成模型可用于产生包含于训练集中的经模拟高分辨率图像。缺陷假影(例如开路、短路、突出、侵入等)可经插入CAD中且接着馈入由如以下文献中描述的网络训练的生成模型中以产生现实缺陷：由张等人在2017年5月25日发表的第2017/0148226号美国专利申请公开案及金马等人的“具有深度生成模型的半监督式学习”，神经信息处理系统大会2014，2014年10月31日，第1到9页中描述，所述文献以宛如全文陈述引用的方式并入本文中。可如这些参考文献中描述那样进一步配置本文中描述的实施例。
在额外实施例中，缺陷的训练集包含一或多个合成缺陷的一或多个图像，一或多个计算机子系统经配置用于通过更改样品的设计以在设计中产生一或多个合成缺陷而产生一或多个合成缺陷的一或多个图像，且一或多个计算机子系统经配置用于基于设计中的一或多个合成缺陷而产生一或多个合成缺陷的经模拟低分辨率图像。以此方式，经模拟低分辨率图像说明缺陷(例如，已知DOI)如何出现在由低分辨率成像子系统产生的一或多个实际图像中。因而，经模拟图像可表示(例如，对应于、模拟或近似表示)可由低分辨率成像子系统产生的缺陷的图像。
可如本文中进一步描述那样执行通过更改样品的设计而产生一或多个合成缺陷。如果设计(CAD)可用，那么注入合法缺陷实例是简单的。例如，DOI(例如开路、短路、“啮齿(mouse bites)”、突出等)可经呈现(绘制)具有各种大小，这可基于DOI的描述自动化。使用EDA工具，这些经呈现DOI可定位于几何形状中的“合法”位置中而非随机位置中。在一个实例中，短路是两根铜线之间的金属连接。针对此DOI，我们可仅在设计中的策略夹点处添加小短线。还可在分段模式中绘制工艺图案化缺陷。分段模式通常是指其中使用或不使用用户输入或设计信息分段由检验工具产生的图像的检验的阶段。工艺图案化缺陷是指可经添加、提升、夹断等的材料且通常以稍微独立于形成于样品上的几何形状或设计图案(虽然几何形状或设计图案可实际上促成此类缺陷的形成)的方式发生。此类工艺图案化缺陷的一或多个实例可由用户在经分段图像中手动绘制且接着在训练期间以所述方式注入本文中描述的神经网络中。
在图2中展示的一个此实例中，一或多个合成缺陷可包含可如本文中描述那样确定的“经注入”缺陷208。可使用经注入缺陷208的信息以更改设计数据202，设计数据202可为CAD数据或本文中描述的任何其它合适类型的设计数据。可接着使用经更改设计数据以产生经注入缺陷的经模拟低分辨率图像，可接着将所述经模拟低分辨率图像输入到低分辨率神经网络206以用于训练，可如本文中进一步描述那样执行训练。
在一个此实施例中，一或多个计算机子系统经配置用于使用深度生成模型产生所述经模拟低分辨率图像。例如，计算机子系统可使用与在设计(EDA/CAD)数据上产生缺陷的合成方法组合的深度生成模型以在低分辨率图像上产生现实系统及随机缺陷以注入到训练集中以供任何机器学习算法(包含(但不限于)DL系统)使用。可如本文中描述那样配置深度生成模型。
在另一此实施例中，产生经模拟低分辨率图像是使用生成对抗网络或变分贝叶斯方法执行。例如，为了充分利用设计，可使用GAN或变分贝氏的渲染技巧以产生逼真低分辨率图像以用于训练。可如本文中进一步描述那样配置及/或执行GAN或变分贝叶斯方法。
在另一实施例中，缺陷图像的训练集包含一或多个合成缺陷，且一或多个计算机子系统经配置用于通过以下各者产生一或多个合成缺陷：更改由高分辨率成像子系统产生的图像中的一或多者及由低分辨率成像子系统产生的图像中的一或多者以产生分段图像；基于分段图像更改由高分辨率成像子系统产生的图像中的一或多者；及基于经更改的一或多个图像产生一或多个合成缺陷的经模拟低分辨率图像。例如，当设计(CAD)不可用时，可利用高分辨率图像及低分辨率图像以产生尽可能完美的分段(二进制)图像。存在可用于执行此分段的许多表示网络。特定来说，高分辨率图像通常将比低分辨率图像具有更少噪声。因此，分段算法可经先验使用以有效地产生看起来像设计的某物(或其在高分辨率图像中将至少比在低分辨率图像中更清晰)且接着可经转移到低分辨率图像(使用简单几何计算或更复杂神经网络图像间转译)，借此产生图像的相对良好“伪CAD”。一旦我们具有此分段图像，便可注入(手动地或自动地绘制)缺陷且接着可针对经注入缺陷呈现经模拟低分辨率图像并将其用于训练。可如由巴斯卡尔等人在2017年7月13日发表的第2017/0200265号美国专利申请公开案中描述那样执行图像间转译，所述公开案以宛如全文陈述引用的方式并入本文中。可如此公开案中描述那样进一步配置本文中描述的实施例。还可如伊索拉(Isola)等人的“条件对抗网络的图像间转译(Image-to-Image Translation withConditional Adversarial Networks)”，arXiv:1611.07004v2，2017年11月22日，第17页中描述那样在此实施例中执行图像分段及图像间转译，所述文献以宛如全文陈述引用的方式并入本文中。可如此公开案中描述那样进一步配置本文中描述的实施例。
在一个此实施例中，产生经模拟低分辨率图像是使用生成对抗网络或变分贝叶斯方法执行。例如，计算机子系统可使用GAN或变分网络以重新产生接着用于训练的经注入缺陷的低分辨率图像。可如本文中进一步描述那样配置并使用GAN或变分方法。
在一些实施例中，一或多个计算机子系统经配置用于通过更改由高分辨率成像子系统针对样品产生的图像中的至少一者以产生已知DOI的高分辨率图像而合成地产生缺陷图像中的至少一者。例如，针对已知DOI，在设计规则的合法结构中“涂漆”实例的动作可用于使DL网络能够相当容易地检测缺陷。在一个此实例中，如图2中展示，缺陷图像中的至少一者可包含“经涂漆”缺陷210。基于可如本文中描述那样获取的已知DOI的信息，可产生已知DOI将如何出现在高分辨率图像中的信息。经涂漆缺陷210的信息可用于更改高分辨率图像以产生经涂漆缺陷的高分辨率图像。在一个特定实例中，基于桥接缺陷的信息，可更改一或多个高分辨率图像以展示两个图案化结构之间的此桥接。桥接缺陷的信息可包含例如缺陷类型趋于如何出现在高分辨率图像中及桥接缺陷的预期特性(例如尺寸、材料、形状、纹理及对高分辨率图像可具有某一影响的类似者)的信息。经更改高分辨率图像可经输入到高分辨率神经网络200作为训练集的部分且接着用于如本文中进一步描述那样训练高分辨率神经网络。
在另一实施例中，缺陷图像的训练集包含通过对样品执行已知引起样品上的一或多个人工缺陷的工艺而产生的样品上的一或多个人工缺陷的一或多个图像。例如，如图2中展示，实际晶片数据204可包含已在一或多个晶片(例如，缺陷测试晶片)上检测且已使用地面实况方法(例如，使用SEM缺陷重检方法、手动地执行的用户确认或分类等)优选地(但不一定)经确认及/或分类为DOI的缺陷。经检测缺陷的信息可经输入到高分辨率神经网络200作为训练集的部分且接着用于如本文中进一步描述那样训练高分辨率神经网络。
在一些此类实施例中，用户可提供具有开路/短路及其它类型的DOI的实例的缺陷测试晶片。工艺窗限定(PWQ)类型的DOI晶片还可用作缺陷测试晶片以产生可用于训练模型使得用户明确显示缺陷的真实世界实例的已知DOI的信息。可故意引出极端工艺条件使得在测试样品上产生及检测此类缺陷的实例。可利用RDL层的PWQ等效物。
可使用工艺的一或多个参数的两个或两个以上不同值执行已知引起样品上的人工缺陷的工艺。可使用PWQ方法执行此工艺。例如，实验设计(DOE)(例如PWQ)可用作系统缺陷的产生器。一般来说，PWQ是由科磊公司在21世纪初针对光刻焦点及曝光工艺窗特性化发明且以一个形式或另一形式经广泛采用的技术。PWQ的基础是产生检验器兼容晶片，其中存在以系统方式彼此接近的标称裸片及调制裸片以最大化检验器的信号。在PWQ方法中变化的调制的一或多个参数可包含焦点及曝光(例如，如在焦点-曝光PWQ工艺中)。还可如2005年6月7日颁予彼得森(Peterson)等人的第6,902,855号美国专利、2008年8月26日颁予彼得森等人的第7,418,124号美国专利、2010年6月1日颁予吴(Wu)等人的第7,729,529号美国专利、2010年8月3日颁予可卡若(Kekare)等人的第7,769,225号美国专利、2011年10月18日颁予帕卡(Pak)等人的第8,041,106号美国专利、2012年2月7日颁予吴等人的第8,111,900号美国专利及2012年7月3日颁予彼得森等人的第8,213,704号美国专利中描述那样执行PWQ方法，所述专利以宛如全文陈述引用的方式并入本文中。本文中描述的实施例可包含这些专利中描述的任何方法的任何步骤且可如这些专利中描述那样进一步配置。可如这些专利中描述那样印刷PWQ晶片。
还可使用焦点曝光矩阵(FEM)方法执行此工艺。例如，DOE(例如FEM方法及/或晶片)可用作系统缺陷的产生器。FEM方法通常涉及按光刻工艺的焦点及曝光参数值的不同组合在晶片上印刷数个裸片。接着，可以任何合适方式检验不同裸片以检测不同裸片中的缺陷。接着通常使用所述信息以确定针对光刻工艺的焦点及曝光的工艺窗。因此，可使用FEM方法以在样品上印刷此类裸片，且可使用在此样品上检测的缺陷以识别已知DOI。
因此，如上文描述，一或多个DOE(例如PWQ及FEM晶片)可用作系统缺陷的产生器。以此方式，可使用从可充当系统缺陷的产生器的PWQ或FEM晶片产生的信息训练高分辨率神经网络。虽然如今PWQ及其“同类”FEM晶片主要用于确定工艺裕度，但其可重新用于使用真实缺陷训练本文中描述的神经网络，这是因为其将大量出现在这些晶片上。这些晶片及从其产生的信息可接着用作用于本文中进一步描述的训练的训练样本。如果此类样本不提供一组完整可能缺陷，那么从此类晶片产生的信息可与其它信息(例如通过合成缺陷产生而产生的信息)互补，这可以如本文中进一步描述的数个不同方式执行。
当使用例如底部桥接及金属残余的设计不可产生全部缺陷类型时，对样品执行已知引起样品上的人工缺陷的工艺可为有利的。此类缺陷可由窗外工艺(其中工艺是使用已知在工艺的工艺窗外部的一或多个参数执行)引发。光罩可具有不同宽度的RDL梳(RDLComb)/曲折R(Meander R)。可使用金属胶层移除的不同浓度进行实验以产生这些类型的缺陷。可通过测量链电阻而确定这些工艺缺陷的位置，这是因为无限或零指示接着经成像用于产生最优DL网络的开路或短路。
在额外实施例中，缺陷图像的训练集包含在由高分辨率成像子系统产生的图像中的一或多者中在样品上检测的一或多个缺陷。例如，如图2中展示，实际晶片数据204可包含已在一或多个晶片(例如，缺陷测试晶片)上检测且已使用地面实况方法(例如，使用SEM缺陷重检方法、手动地执行的用户确认或分类等)优选地(但不一定要)经确认及/或分类为DOI的缺陷。可将经检测缺陷的信息输入到高分辨率神经网络200作为训练集的部分。可接着使用训练集以训练高分辨率神经网络，如本文中进一步描述。
在一个此实施例中，一或多个计算机子系统经配置用于通过单个图像检测(SDI)在由高分辨率成像子系统产生的图像中检测样品上的缺陷。例如，可通过SID算法的版本训练高分辨率成像子系统。SID可由本文中描述的实施例执行，如2017年5月18日由卡尔桑迪(Karsenti)等人发表的第2017/0140524美国专利申请公开案中描述，所述公开案以宛如全文陈述引用的方式并入本文中。可如此公开案中描述那样进一步配置本文中描述的实施例。
在另一此实施例中，一或多个计算机子系统经配置用于通过裸片对数据库检测在由高分辨率成像子系统产生的图像中检测样品上的缺陷。例如，计算机子系统可利用机器学习算法或任何裸片对数据库检验算法作为地面实况训练器。可通过比较高分辨率图像与参考(例如样品的设计数据)而执行裸片对数据库检测。因此，此比较的结果可为差异图像(这是因为可从高分辨率测试图像减去参考)。差异图像可接着用于(例如，通过将阈值应用到差异图像)识别差异图像中的可能缺陷。
因此，用于如本文中描述的训练的缺陷图像的训练集可来自若干不同源，所述源包含恰好在实际样品上检测的实际缺陷或有意地在样品上引起或在针对样品呈现的图像中的编程、合成及人工缺陷。缺陷图像的训练集还可包含实际缺陷及编程、合成及/或人工缺陷的某一组合。
使用编程、合成或人工缺陷(可能与实际缺陷组合)出于若干原因可为有利的。如本文中进一步描述，本文中描述的实施例针对其产生且尤其有利的应用中的一者是RDL。虽然细间距RDL占用芯片布局的相对小区域，但其归因于密集RDL图案而是良率损耗的已知源。为了实现高良率，在RDL线的形成期间部署在线缺陷检验。使事情变得复杂的是，在实际生产环境中，RDL形成的致命缺陷很少。然而，通常在这些细间距RDL检验中需要关键致命缺陷的100％捕获率。可必须完成检验配方修改的许多迭代以适应全部致命缺陷类型。因此，有生产价值的检验配方可归因于小实际致命缺陷样本的稀缺性而耗费数星期或数月来精细调谐。
此处的挑战是使用最短循环时间及最少迭代优化发现阶段中的模式。例如，如果约1微米的大体上小RDL短路不出现于前50个实际产品晶片中，那么应用工程师必须等待直到第51个晶片以使其优化检验配方工艺完成且实现100％捕获率。然而，本文中描述的实施例提供系统方法以在光刻掩模上的固定位置中产生系统重复临界大小(例如，0.5微米、1.0微米及2.0微米)缺陷。可以系统方式通过凭借在掩模上产生不透明或小点缺陷来违反掩模图案而重现基于光刻的致命缺陷类型(如同RDL金属短路及RDL金属开路)。可采用3D光学光刻模拟工具以预测各种光罩缺陷案例的可印刷性。实验数据可用于通过比较模型化数据与使用含有编程透明针孔及不透明小点缺陷的光罩曝光的晶片的SEM测量而验证3D模拟器有效。
用于本文中描述的训练的编程、人工及合成缺陷还可经设计使得经制造光刻缺陷及湿式蚀刻引发的工艺缺陷两者可引起电气故障。曲折或梳状结构可经设计具有菊链结构以测量链电阻作为RDL短路或断路的代理。此方法提供若干新益处。例如，此技术可用于构建具有系统光刻及湿式蚀刻工艺缺陷的校准晶片。另外，可通过将由检验工具检测的物理缺陷映射到真实电气故障数据而将经制造缺陷匹配于电气故障。如果检验过程对具有其对应电气故障位点的致命缺陷过度检测或检测不足，那么可使用此映射的结果来校准或更改检验过程。实施例还提供使用此方法在短时间段而非在安装之后的数星期或数月内将新安装RDL检验器带到其完全集成能力授权的稳健方式，这是因为完全层RDL堆叠表示用于缺陷产生的每一用户工艺条件及边限。此外，相同系统方法可用于不同RDL应用，即使所述RDL工艺具有大量光刻处理方法(例如，掩模对准器、投影步进器、激光直接成像及激光消融)。本文中描述的实施例还可迎合先前层RDL噪声(其可为多个RDL层的主要检测挑战)且将这些构建到样品(编程及/或人工缺陷形成于其上或针对其产生编程及/或人工缺陷)中。另外，可产生或更改其上形成编程及/或人工缺陷的样品的设计数据使得系统缺陷可与电测试结构相关。
一或多个计算机子系统进一步经配置用于使用缺陷图像的训练集作为输入而训练低分辨率神经网络。以此方式，基于DL的宏观检验器可使用高分辨率成像子系统作为实际上的检验器以训练低分辨率宏观工具。低分辨率神经网络的训练可使用本文中进一步描述的迁移学习技术(例如)通过使用高分辨率神经网络作为母网络而执行。
另外或替代地，已知DOI及其在高分辨率图像中的位置可用于识别已知DOI在低分辨率图像中的位置。例如，如本文中进一步描述，计算机子系统可经配置用于使用本文中描述的图像间转译技术从低分辨率图像产生高分辨率图像(或反之亦然)。因此，可识别彼此对应(如在样品上的相同位置处产生)的高分辨率图像及低分辨率图像。以此方式，训练集中的缺陷图像中的至少一者可由高分辨率神经网络使用由高分辨率成像子系统产生的图像中的至少一者合成地产生。已知DOI在高分辨率图像中的位置可接着用于(例如，通过图像坐标转译或通过叠加对应图像)识别已知DOI在低分辨率图像中的位置。在已知DOI的位置处产生的高分辨率图像可接着用于(在使用或不使用经训练高分辨率神经网络进行迁移学习的情况下)训练低分辨率神经网络。可如本文中关于训练高分辨率神经网络描述那样执行此训练。
在一个实施例中，缺陷图像的训练集包含由低分辨率成像子系统的一个以上模式产生的样品的图像。在一个此实施例中，低分辨率成像子系统的一个以上模式包含低分辨率成像子系统的全部模式。例如，用于训练低分辨率神经网络的低分辨率图像可针对30+个模式(或低分辨率成像子系统的全部模式)产生。用于训练低分辨率神经网络的图像的模式可包含实际上使用低分辨率成像子系统(例如，通过使用低分辨率成像子系统的模式使实际样品成像)产生的图像。另外或替代地，用于训练低分辨率神经网络的低分辨率成像子系统的一些(一或多个)或全部模式的图像可通过模拟或图像间转译(其两者可如本文中描述那样执行)而产生。以此方式，用于训练低分辨率神经网络的图像可包含使用低分辨率成像子系统针对全部模式产生的图像、在不使用低分辨率成像子系统的情况下针对全部模式产生的图像或其某一组合。
本文中描述的神经网络还可包含需要最小训练样本的网络。在由巴斯卡尔等人在2017年7月6日发表的第2017/0193400号美国专利申请公开案中描述使用有限训练集训练神经网络的实例，所述公开案以宛如全文陈述引用的方式并入本文中。可如此公开案中描述那样进一步配置本文中描述的实施例。本文中执行的训练还可包含主动学习方案(ALS)，例如由张等人在2018年6月5日申请的第62/681,073号美国专利申请公开案中描述的ALS，所述公开案以宛如全文陈述引用的方式并入本文中。可如此专利申请案中描述那样进一步配置本文中描述的实施例。
在另一此实施例中，一或多个计算机子系统经配置用于基于使用由低分辨率成像子系统的一个以上模式产生的图像训练低分辨率神经网络的结果选择用于检测另一样品(或其它样品)上的缺陷的低分辨率成像子系统的一个以上模式中的一或多者。例如，当与上文描述的扰乱点抑制技术组合时，用于训练的低分辨率图像的多个模式实现确定低分辨率成像子系统的哪一或多个(例如，3个)不同模式能够捕获全部DOI且抑制扰乱点。在一个此实例中，提供用于DOI检测及扰乱点抑制的最优组合性能的模式中的一或多者可经选择以用于检验其它样品。在另一此实例中，组合提供用于DOI检测及扰乱点抑制的最优组合性能(其中一个模式可补偿另一模式及/或使用一个以上模式产生的图像组合地使用)的模式中的一或多者可经选择用于检验其它样品。一或多个模式可在光学模式的一或多个参数(例如，不同波长、不同偏光、不同像素大小(放大率)等)方面不同。这些模式接着用于扫描整个晶片且接着经训练低分辨率神经网络使用通过使用这些模式扫描晶片而产生的图像以检测DOI。以此方式，本文中描述的基于DL的宏观检验器实施例可利用检验器的整个模式空间(例如，波长、孔径、BF对DF等)。
一或多个计算机子系统还经配置用于通过将由低分辨率成像子系统针对另一样品产生的图像输入到经训练低分辨率神经网络而检测另一样品上的缺陷。以此方式，一旦已训练低分辨率神经网络，便可通过计算机子系统将由低分辨率成像子系统针对其它样品(可能使用如本文中描述那样选择的低分辨率成像子系统的一或多个模式)产生的图像输入到低分辨率神经网络，且低分辨率神经网络可检测输入图像中的缺陷且产生经检测缺陷的信息(其可包含可由低分辨率神经网络针对经检测缺陷产生的任何合适输出)。
在一个实施例中，高分辨率神经网络及低分辨率神经网络经配置用于单个图像缺陷检测。例如，裸片间算法可不由本文中描述的系统调用以用于缺陷检测。代替性地，计算机子系统可使用SID进行缺陷检测。使用此缺陷检测消除任何未对准问题使其不影响缺陷检测结果。可如本文中进一步描述那样执行SID。
在一个实施例中，检验工具经配置为宏观检验工具。宏观检验工具适用于检验相对噪声BEOL层(例如RDL及切割后应用)以在存在巨大噪声(例如金属线上的晶粒)的情况下检测缺陷。宏观检验工具在本文中被定义为不受绕射限制且具有约200nm到约2.0微米及以上的空间分辨率的系统。此空间分辨率意谓此类系统可检测的最小缺陷具有大于约200nm的尺寸，其远大于如今市场上的最先进检验工具可检测的最小缺陷，因此称为“宏观”检验器。相较于如今市场上的最先进检验工具，此类系统趋于利用光的较长波长(例如，约500nm到约700nm)。当DOI具有相对大的大小时且可能还当需要每小时100个晶片(wph)或更多的处理能力时(晶片处理能力在此处是指每小时检验的300mm晶片的数目)可使用这些系统。
本文中描述的实施例提供通过共同优化模式空间以及算法检测空间而抑制RDL及粒状(高噪声)层中的扰乱点的新颖基于DL的宏观检验器。例如，在一些实施例中，在另一样品上检测的缺陷是另一样品的BEOL层的缺陷。BEOL层可包含所属领域中已知的任何BEOL层(包含本文中描述的BEOL层)。在另一实施例中，在另一样品上检测的缺陷是另一样品的RDL层的缺陷。RDL层可具有所属领域中已知的任何合适配置。
在另一实施例中，在另一样品上检测的缺陷是另一样品的高噪声层的缺陷。如本文中定义的术语“高噪声”层通常是指其噪声是层的检验中的主要障碍的层。例如，虽然由任何检验工具检验的每一晶片层可展现比其它层更多或更少的噪声(且用于处置此噪声的检测的技术通常必须用于检验每一晶片层)，但成功地检验晶片层的主要障碍最常是必须检测的缺陷的极小大小。相比之下，本文中描述的实施例尤其适用于检测相对大(“宏观”缺陷，其大小为约200nm及以上)。因此，此检验中的主要障碍不一定为必须经检测的缺陷的大小(这是因为许多检验工具配置能够检测大多数层上的此类大缺陷)。代替性地，本文中描述的层通常将在针对层产生的图像中展现“高噪声”电平使得即使检测此类大的大小的缺陷仍会变得困难(如果非不可能)。然而，本文中描述的实施例已经设计以经由本文中描述的训练(及任选模式选择)处置此类噪声电平使得检测此类高噪声层上的缺陷成为可能。
在额外实施例中，在另一样品上检测的缺陷是包含另一样品的金属线的层的缺陷。例如，本文中描述的BEOL及RDL层可包含形成形成于样品上的装置的各种元件的金属线。此类金属线可产生大量“晶粒”噪声，其在本文中进一步描述。然而，本文中描述的实施例经配置用于实现此类层上的缺陷的检测，尽管归因于本文中描述的各种训练方法的晶粒噪声。
在一些实施例中，其上检测缺陷的其它样品是切割后样品。“切割后”样品可大体上被定义为多个装置(例如，在不同裸片中)经形成于其上且接着以各种方式中的一者彼此分离的晶片或其它衬底。“切割后”样品还可为已被分成多个裸片(其尚未进入封装工艺)的样品。
在此类层及样品上检测的缺陷可包含(例如)RDL金属线缺陷(短路/桥接、开路/断线、金属残余/底部桥接)、通孔/接触缺陷(光致抗试剂残余/通孔浮渣)、凸块缺陷、微凸块缺陷、铜柱缺陷、芯片堆叠后缺陷、化学机械处理(CMP)后缺陷及研磨后缺陷。因此，本文中描述的实施例可用于监测(及可能校正)对样品执行且导致此类缺陷的任何工艺。
本文中描述的实施例经设计以出于数个不同原因尤其有效地用于检测此类缺陷。例如，此类缺陷趋于相对难以检测，这是因为其趋于定位于大体上有噪声(例如，粒状)背景中。在一个此实例中，大体噪声可归因于在RDL金属线噪声内(其可由过量金属晶粒引起)而通过检验检测。在另一此实例中，大体噪声可归因于由RDL层上或下的透明电介质聚合物引起的RDL金属层间噪声而通过检验检测。因而，由先前使用的检验系统报告的错误事件对真实致命DOI的比率可大体上高。然而，通过如本文中描述那样训练低分辨率神经网络(其可使用相对高数目个DOI通过本文中描述的实施例执行)，经训练低分辨率神经网络可在不检测大量扰乱点的情况下检测此DOI。另外，使用本文中描述的用于检测此类缺陷的SID方法将减少噪声的裸片间缺陷检测源。
越来越多地利用高性能计算(HPC)应用(例如AI网络链接芯片及现场可编程门阵列(FPGA))，且用于集成不同功能的先进多芯片封装可为快速上市且具成本效益的解决方案而非系统单芯片(SOC)。因此，需要用于先进封装的远更密集裸片间通信输入/输出(I/O)。为了满足此需求，裸片之间的相对大数目个经注册路由线导致工业参与者当中对于裸片间RDL的微型化的恒定驱动。为了符合未来需求，具有2um/2um线/空间的RDL线宽度即将进入批量生产且主动开发开始，其中RDL线宽下降到亚微米范围(小于约1微米)。通常，HPC芯片的裸片大小大体上大且良率众所周知地低。关键良率损耗区域是放置细间距RDL线之处。例如，如今的扇出封装的范围是从5um线及空间(5-5um)及以上，其中2-2um在工作中。在研究及开发中，一些致力于1-1um及以下的高端扇出技术，包含能够支持高带宽存储器(HBM)的封装。针对网络链接/服务器应用，2-2um的扇出可很快出现，其中1-1um定于2020年左右。本文中描述的实施例有利地提供用于在此类装置中有效且高效地检测缺陷借此克服此类装置的成功生产中的显著障碍的系统及方法。
因此，本文中描述的实施例具有优于本文中描述的用于检测样品上的缺陷的其它方法及系统(其一些在上文描述)的数目优点。另外，本文中描述的步骤可将本文中描述的设置样品的检验配方当前所需的两周的数据搜集减少到八小时的数据搜集，接着进行约1到2小时的脱机处理。在此阶段，训练可运行整个晶片的网络。另外，本文中描述的训练需要最小用户干预。例如，用户可对最大100个事件分类或涂漆最大100个缺陷。网络将经超调谐以捕获核心缺陷且抑制真实噪声。当真实DOI由此网络检测时，其可比本文中描述的人工缺陷加权更重且用于微调低分辨率神经网络用于DOI检测及扰乱点率抑制两者。此微调可在主动学习方法或方案中执行，其可如本文中进一步描述那样执行。
可如在共享拥有的以下美国专利申请公开案中描述那样进一步配置本文中描述的实施例：由卡尔桑迪等人在2017年5月18日发表的第2017/0140524号美国专利申请公开案、由张等人在2017年5月25日发表的第2017/0148226号美国专利申请公开案、由巴斯卡尔等人在2017年7月6日发表的第2017/0193400号美国专利申请公开案、由张等人在2017年7月6日发表的第2017/0193680号美国专利申请公开案、由巴斯卡尔等人在2017年7月6日发表的2017/0194126号美国专利申请公开案第、由巴斯卡尔等人在2017年7月13日发表的第2017/0200260号美国专利申请公开案、由帕克(Park)等人在2017年7月13日发表的第2017/0200264号美国专利申请公开案；由巴斯卡尔等人在2017年7月13日发表的第2017/0200265号美国专利申请公开案；由张等人在2017年11月30日发表的第2017/0345140号美国专利申请公开案；由布罗埃(Brauer)在2019年3月7日发表的第2019/0073566号美国专利申请公开案；及由何(He)等人在2019年3月7日发表的第2019/0073568号美国专利申请公开案，所述公开案以宛如全文陈述引用的方式并入本文中。可如这些公开案中描述那样进一步配置本文中描述的实施例。另外，本文中描述的实施例可经配置以执行这些公开案中描述的任何步骤。
本文中描述的全部实施例可包含将实施例的一或多个步骤的结果存储于计算机可读存储媒体中。结果可包含本文中描述的任何结果且可以所属领域中已知的任何方式存储。存储媒体可包含本文中描述的任何存储媒体或所属领域中已知的任何其它合适存储媒体。在已存储结果之后，结果可在存储媒体中存取且由本文中描述的任何方法或系统实施例使用，经格式化以显示给用户，由另一软件模块、方法或系统使用等以执行样品或另一样品的一或多个功能。此类功能包含(但不限于)：更改例如已或将以反馈或前馈方式对样品(在其上检测缺陷)执行的制造工艺或步骤的工艺等。
可将上文描述的每一系统的每一实施例一起组合为一个单个实施例。
另一实施例涉及一种用于训练用于低分辨率图像中的缺陷检测的神经网络的计算机实施方法。方法包含使用检验工具的高分辨率成像子系统及低分辨率成像子系统产生样品的图像。如本文中进一步描述那样配置成像子系统及检验工具。一或多个组件由一或多个计算机系统执行，且一或多个组件包含高分辨率神经网络及低分辨率神经网络。如本文中进一步描述那样配置一或多个组件、一或多个计算机系统以及高分辨率神经网络及低分辨率神经网络。方法包含本文中进一步描述的产生缺陷图像的训练集、训练低分辨率神经网络及检测缺陷步骤。这些步骤由一或多个计算机系统执行。
可如本文中进一步描述那样执行方法的每一步骤。方法还可包含可由本文中描述的系统、计算机系统及/或神经网络执行的任何其它步骤。可根据本文中描述的任何实施例配置计算机系统(例如，计算机子系统102)。另外，上文描述的方法可由本文中描述的任何系统实施例执行。
额外实施例涉及一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在一或多个计算机系统上执行以执行用于训练用于低分辨率图像中的缺陷检测的神经网络的计算机实施方法。在图3中展示一个此实施例。特定来说，如图3中展示，非暂时性计算机可读媒体300包含可在计算机系统304上执行的程序指令302。计算机实施方法可包含本文中描述的任何方法的任何步骤。
实施例如本文中描述的方法的方法的程序指令302可存储于计算机可读媒体300上。计算机可读媒体可为存储媒体，例如磁盘或光盘、磁带或所属领域中已知的任何其它合适非暂时性计算机可读媒体。
可以各种方式(包含基于程序的技术、基于组件的技术及/或面向对象技术等等)中的任何者实施程序指令。例如，可根据需要使用ActiveX控件、C++对象、JavaBeans、微软基础类别(“MFC”)、SSE(串流SIMD扩展)或其它技术或方法论实施程序指令。
可根据本文中描述的任何实施例配置计算机系统304。
鉴于此描述，所属领域的技术人员将明白本发明的各种方面的进一步修改及替代实施例。例如，提供用于训练用于低分辨率图像中的缺陷检测的神经网络的方法及系统。因此，此描述应仅解释为阐释性且是出于教示所属领域的技术人员实行本发明的一般方式的目的。应理解，本文中展示及描述的本发明的形式将视为当前优选实施例。如所属领域的技术人员在获益于本发明的此描述之后将明白，元件及材料可取代本文中说明及描述的元件及材料，部分及过程可颠倒，且可独立利用本发明的特定特征。在不脱离如在所附权利要求书中描述的本发明的精神及范围的情况下可对本文中描述的元件做出改变。

Claims (31)

1.一种经配置以训练用于低分辨率图像中的缺陷检测的神经网络的系统，其包括：
检验工具，其包括高分辨率成像子系统及低分辨率成像子系统，其中所述高分辨率成像子系统及所述低分辨率成像子系统包括至少能量源及检测器，其中所述能量源经配置以产生经引导到样品的能量，且其中所述检测器经配置以检测来自所述样品的能量且响应于所述经检测能量而产生图像；
一或多个计算机子系统，其经配置用于获得由所述高分辨率成像子系统及所述低分辨率成像子系统产生的所述样品的所述图像；及
一或多个组件，其由所述一或多个计算机子系统执行，其中所述一或多个组件包括高分辨率神经网络及低分辨率神经网络；及
其中所述一或多个计算机子系统进一步经配置用于：
产生缺陷图像的训练集，其中所述缺陷图像中的至少一者由所述高分辨率神经网络使用由所述高分辨率成像子系统产生的所述图像中的至少一者合成地产生；
使用缺陷图像的所述训练集作为输入训练所述低分辨率神经网络；及
通过将由所述低分辨率成像子系统针对另一样品产生的所述图像输入到所述经训练低分辨率神经网络中而检测所述另一样品上的缺陷。
2.根据权利要求1所述的系统，其中缺陷图像的所述训练集包括由所述低分辨率成像子系统的多于一个模式产生的所述样品的图像。
3.根据权利要求2所述的系统，其中所述低分辨率成像子系统的所述多于一个模式包括所述低分辨率成像子系统的全部所述模式。
4.根据权利要求2所述的系统，其中所述一或多个计算机子系统进一步经配置用于选择用于检测所述另一样品上的所述缺陷的所述低分辨率成像子系统的所述多于一个模式中的一或多者，其中所述选择是基于使用由所述低分辨率成像子系统的所述多于一个模式产生的所述图像训练所述低分辨率神经网络的结果。
5.根据权利要求1所述的系统，其中所述检验工具经配置为不受绕射限制且具有约200nm到约2.0微米及以上的空间分辨率的系统。
6.根据权利要求1所述的系统，其中在所述另一样品上检测到的所述缺陷是所述另一样品的后端层的缺陷。
7.根据权利要求1所述的系统，其中在所述另一样品上检测到的所述缺陷是所述另一样品的重布层的缺陷。
8.根据权利要求1所述的系统，其中在所述另一样品上检测到的所述缺陷是所述另一样品的高噪声层的缺陷。
9.根据权利要求1所述的系统，其中在所述另一样品上检测到的所述缺陷是包括所述另一样品的金属线的层的缺陷。
10.根据权利要求1所述的系统，其中其上检测到所述缺陷的所述另一样品是切割后样品。
11.根据权利要求1所述的系统，其中所述高分辨率神经网络及所述低分辨率神经网络经配置用于单个图像缺陷检测。
12.根据权利要求1所述的系统，其中缺陷图像的所述训练集包括所述样品上的一或多个编程缺陷的一或多个图像，其中所述一或多个计算机子系统进一步经配置用于通过更改所述样品的设计而产生在所述设计中的所述一或多个编程缺陷，且其中经更改设计印刷于所述样品上以在所述样品上产生所述一或多个编程缺陷。
13.根据权利要求1所述的系统，其中缺陷的所述训练集包括一或多个合成缺陷的一或多个图像，且其中所述一或多个计算机子系统进一步经配置用于：
通过更改所述样品的设计而产生在所述设计中的所述一或多个合成缺陷；
基于所述设计中的所述一或多个合成缺陷而产生所述一或多个合成缺陷的经模拟高分辨率图像；及
将所述经模拟高分辨率图像添加到所述训练集。
14.根据权利要求13所述的系统，其中所述一或多个计算机子系统进一步经配置用于使用所述高分辨率神经网络产生所述经模拟高分辨率图像，且其中所述高分辨率神经网络经配置为深度生成模型。
15.根据权利要求1所述的系统，其中缺陷的所述训练集包括一或多个合成缺陷的一或多个图像，其中所述一或多个计算机子系统经配置用于通过更改所述样品的设计而产生在所述设计中的所述一或多个合成缺陷的所述一或多个图像，且其中所述一或多个计算机子系统进一步经配置用于基于所述设计中的所述一或多个合成缺陷而产生所述一或多个合成缺陷的经模拟低分辨率图像。
16.根据权利要求15所述的系统，其中所述一或多个计算机子系统进一步经配置用于使用深度生成模型产生所述经模拟低分辨率图像。
17.根据权利要求15所述的系统，其中产生所述经模拟低分辨率图像是使用生成对抗网络或变分贝叶斯方法执行。
18.根据权利要求1所述的系统，其中缺陷的所述训练集包括一或多个合成缺陷，且其中所述一或多个计算机子系统进一步经配置用于通过以下各者产生所述一或多个合成缺陷：更改由所述高分辨率成像子系统产生的所述图像中的一或多者及由所述低分辨率成像子系统产生的所述图像中的一或多者以产生分段图像；基于所述分段图像更改由所述高分辨率成像子系统产生的所述图像中的所述一或多者；及基于所述经更改的一或多个图像产生所述一或多个合成缺陷的经模拟低分辨率图像。
19.根据权利要求18所述的系统，其中产生所述经模拟低分辨率图像是使用生成对抗网络或变分贝叶斯方法执行。
20.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置用于合成地产生所述缺陷图像中的所述至少一者，其中所述合成地产生是通过更改所述图像中的所述至少一者而进行的，所述图像由针对所述样品用以产生已知所关注缺陷的高分辨率图像的所述高分辨率成像子系统而产生。
21.根据权利要求1所述的系统，其中缺陷图像的所述训练集包括通过在所述样品上执行工艺而产生的所述样品上的所述一或多个人工缺陷的一或多个图像，其中所述工艺是已知引起所述样品上的所述一或多个人工缺陷的。
22.根据权利要求1所述的系统，其中缺陷图像的所述训练集包括在由所述高分辨率成像子系统产生的所述图像中的一或多者中在所述样品上检测到的一或多个缺陷。
23.根据权利要求22所述的系统，其中所述一或多个计算机子系统进一步经配置用于通过单个图像检测在由所述高分辨率成像子系统产生的所述图像中检测所述样品上的所述缺陷。
24.根据权利要求22所述的系统，其中所述一或多个计算机子系统进一步经配置用于检测所述图像中的所述样品上的所述缺陷，其中所述图像由所述高分辨率成像子系统通过裸片对数据库检测产生。
25.根据权利要求1所述的系统，其中所述检验工具经配置用于扫描所述样品上的多个扫描带同时检测来自所述样品的能量，且其中所述一或多个计算机子系统进一步经配置用于获取且存储由所述高分辨率成像子系统产生的所述图像的所述多个扫描带中的至少三者，使得所述多个扫描带中的所述至少三者可用于产生缺陷图像的所述训练集。
26.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置用于训练所述高分辨率神经网络，且其中训练所述高分辨率神经网络及训练所述低分辨率神经网络是使用生成对抗网络或变分贝叶斯方法执行。
27.根据权利要求1所述的系统，其中所述高分辨率神经网络经配置为半监督式深度学习架构。
28.根据权利要求1所述的系统，其中所述低分辨率神经网络经配置为半监督式深度学习架构。
29.根据权利要求1所述的系统，其中由所述低分辨率成像子系统产生且由所述一或多个计算机子系统获取的所述图像包括通过聚焦获得的图像，其中所述一或多个计算机子系统进一步经配置用于将通过聚焦获得的所述图像映射到由所述高分辨率成像子系统产生的所述图像，且其中训练所述低分辨率神经网络是基于训练所述高分辨率神经网络的结果及所述映射的结果而进一步执行。
30.一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在一或多个计算机系统上执行以执行用于训练用于低分辨率图像中的缺陷检测的神经网络的计算机实施方法，其中所述计算机实施方法包括：
使用检验工具的高分辨率成像子系统及低分辨率成像子系统产生样品的图像，其中所述高分辨率成像子系统及所述低分辨率成像子系统包括至少能量源及检测器，其中所述能量源经配置以产生经引导到所述样品的能量，且其中所述检测器经配置以检测来自所述样品的能量且响应于所述经检测能量而产生图像；
其中一或多个组件由所述一或多个计算机系统执行，且其中所述一或多个组件包括高分辨率神经网络及低分辨率神经网络；
产生缺陷图像的训练集，其中所述缺陷图像中的至少一者由所述高分辨率神经网络使用由所述高分辨率成像子系统产生的所述图像中的至少一者合成地产生；
使用缺陷图像的所述训练集作为输入而训练所述低分辨率神经网络；及
通过将由所述低分辨率成像子系统针对另一样品产生的所述图像输入到所述经训练低分辨率神经网络中而检测所述另一样品上的缺陷，其中产生所述训练集、训练所述低分辨率神经网络及检测所述缺陷由所述一或多个计算机系统执行。
31.一种用于训练用于低分辨率图像中的缺陷检测的神经网络的计算机实施方法，其包括：
使用检验工具的高分辨率成像子系统及低分辨率成像子系统产生样品的图像，其中所述高分辨率成像子系统及所述低分辨率成像子系统包括至少能量源及检测器，其中所述能量源经配置以产生经引导到所述样品的能量，且其中所述检测器经配置以检测来自所述样品的能量且响应于所述经检测能量而产生图像；
其中一或多个组件由一或多个计算机系统执行，且其中所述一或多个组件包括高分辨率神经网络及低分辨率神经网络；
产生缺陷图像的训练集，其中所述缺陷图像中的至少一者由所述高分辨率神经网络使用由所述高分辨率成像子系统产生的所述图像中的至少一者合成地产生；
使用缺陷图像的所述训练集作为输入而训练所述低分辨率神经网络；及
通过将由所述低分辨率成像子系统针对另一样品产生的所述图像输入到所述经训练低分辨率神经网络中而检测所述另一样品上的缺陷，其中产生所述训练集、训练所述低分辨率神经网络及检测所述缺陷由所述一或多个计算机系统执行。
CN201980017305.4A 2018-03-28 2019-03-28 训练用于低分辨率图像中的缺陷检测的神经网络 Active CN111819676B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862649443P 2018-03-28 2018-03-28
US62/649,443 2018-03-28
US16/364,140 US10599951B2 (en) 2018-03-28 2019-03-25 Training a neural network for defect detection in low resolution images
US16/364,140 2019-03-25
PCT/US2019/024453 WO2019191346A1 (en) 2018-03-28 2019-03-28 Training a neural network for defect detection in low resolution images

Publications (2)

Publication Number Publication Date
CN111819676A CN111819676A (zh) 2020-10-23
CN111819676B true CN111819676B (zh) 2022-01-14

Family

ID=68056375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980017305.4A Active CN111819676B (zh) 2018-03-28 2019-03-28 训练用于低分辨率图像中的缺陷检测的神经网络

Country Status (7)

Country Link
US (1) US10599951B2 (zh)
EP (1) EP3762961A4 (zh)
JP (1) JP7122386B2 (zh)
KR (1) KR102390313B1 (zh)
CN (1) CN111819676B (zh)
TW (1) TWI773888B (zh)
WO (1) WO2019191346A1 (zh)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3526766A1 (en) * 2017-01-12 2019-08-21 EOS GmbH Electro Optical Systems Method of detecting process irregularities by means of volume image data of the manufactured object
TWI653605B (zh) * 2017-12-25 2019-03-11 由田新技股份有限公司 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統
US10846845B2 (en) * 2018-07-25 2020-11-24 Fei Company Training an artificial neural network using simulated specimen images
US10867108B2 (en) * 2018-09-18 2020-12-15 Taiwan Semiconductor Manufacturing Co., Ltd. Optical mode optimization for wafer inspection
US10964006B2 (en) * 2018-11-16 2021-03-30 Artifical Intelligence Foundation, Inc Identification of neural-network-generated fake images
US10964015B2 (en) * 2019-01-15 2021-03-30 International Business Machines Corporation Product defect detection
JP2020160616A (ja) * 2019-03-25 2020-10-01 ブラザー工業株式会社 生成装置、コンピュータプログラム、生成方法
US11551348B2 (en) 2019-04-09 2023-01-10 KLA Corp. Learnable defect detection for semiconductor applications
US11521309B2 (en) 2019-05-30 2022-12-06 Bruker Nano, Inc. Method and apparatus for rapid inspection of subcomponents of manufactured component
WO2020248345A1 (zh) * 2019-06-14 2020-12-17 浙江大学 一种基于分治思想的疵病宽度实时溯源方法
US11948292B2 (en) * 2019-07-02 2024-04-02 MakinaRocks Co., Ltd. Systems and methods for detecting flaws on panels using images of the panels
KR20220047535A (ko) * 2019-08-19 2022-04-18 엘지전자 주식회사 Ai 기반의 사전 훈련 모델 결정 시스템 및 이를 이용한 제품 생산 라인을 위한 ai 기반의 비전 검사 관리 시스템
CN112686831B (zh) * 2019-10-17 2024-06-14 神讯电脑(昆山)有限公司 基于人工神经网络的物件表面型态的检测方法
CN110880176B (zh) * 2019-11-19 2022-04-26 浙江大学 一种基于对抗生成网络的半监督工业图像缺陷分割方法
CN110991299B (zh) * 2019-11-27 2023-03-14 中新国际联合研究院 一种物理域上针对人脸识别系统的对抗样本生成方法
CN111104967B (zh) * 2019-12-02 2023-12-22 精锐视觉智能科技(上海)有限公司 图像识别网络训练方法、图像识别方法、装置及终端设备
TWI732370B (zh) * 2019-12-04 2021-07-01 財團法人工業技術研究院 神經網路模型的訓練裝置和訓練方法
CN111198815B (zh) * 2019-12-24 2023-11-03 中移（杭州）信息技术有限公司 用户界面的兼容性测试方法及装置
CN113112442A (zh) * 2019-12-25 2021-07-13 精锐视觉智能科技（深圳）有限公司 缺陷检测方法、装置及终端设备
CN111145162B (zh) * 2019-12-30 2023-04-18 南京诚芯集成电路技术研究院有限公司 一种基于迁移学习确定euv掩膜版缺陷尺寸的方法
US11449711B2 (en) * 2020-01-02 2022-09-20 Applied Materials Isreal Ltd. Machine learning-based defect detection of a specimen
CN111260621B (zh) * 2020-01-14 2023-05-09 湖南大学 一种印制电路板表面缺陷定位与识别方法
US11256967B2 (en) * 2020-01-27 2022-02-22 Kla Corporation Characterization system and method with guided defect discovery
JP2021124379A (ja) * 2020-02-05 2021-08-30 大石測器株式会社 表面検査装置及び表面検査方法
KR20220126761A (ko) * 2020-02-14 2022-09-16 에이에스엠엘 네델란즈 비.브이. 리소그래피 매칭 성능의 결정 기술
US11961219B2 (en) * 2020-02-27 2024-04-16 KLA Corp. Generative adversarial networks (GANs) for simulating specimen images
US11675340B2 (en) * 2020-04-08 2023-06-13 Nanya Technology Corporation System and method for controlling semiconductor manufacturing apparatus
US11379972B2 (en) * 2020-06-03 2022-07-05 Applied Materials Israel Ltd. Detecting defects in semiconductor specimens using weak labeling
US20230175981A1 (en) * 2020-06-12 2023-06-08 Hitachi High-Tech Corporation Method for Defect Inspection, System, and Computer-Readable Medium
EP3923193B1 (de) * 2020-06-12 2024-03-27 Robert Bosch GmbH Messung der empfindlichkeit von bildklassifikatoren gegen veränderungen des eingabebildes
TWI758762B (zh) * 2020-06-24 2022-03-21 萬里雲互聯網路有限公司 兼顧不平衡資料集與高召回率要求的對抗樣本生成方法、系統及電腦可讀取記錄媒體
US11232550B2 (en) * 2020-06-29 2022-01-25 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
US11631179B2 (en) 2020-06-30 2023-04-18 Applied Materials Israel Ltd. Segmentation of an image of a semiconductor specimen
CN111783338B (zh) * 2020-06-30 2023-04-21 平安国际智慧城市科技股份有限公司 基于人工智能的微观组织金属强度分布预测方法及装置
CN111768404A (zh) * 2020-07-08 2020-10-13 北京滴普科技有限公司 口罩外观缺陷检测系统、方法、装置以及存储介质
CN111915622B (zh) * 2020-07-09 2024-01-23 沈阳先进医疗设备技术孵化中心有限公司 一种图像分割网络模型的训练及图像分割方法、装置
US11328410B2 (en) * 2020-08-03 2022-05-10 KLA Corp. Deep generative models for optical or other mode selection
US11776108B2 (en) 2020-08-05 2023-10-03 KLA Corp. Deep learning based defect detection
CN112116560B (zh) * 2020-08-20 2023-09-26 华南理工大学 一种焊接图像缺陷识别方法、装置、存储介质及设备
US11727052B2 (en) 2020-09-03 2023-08-15 General Electric Company Inspection systems and methods including image retrieval module
US11507616B2 (en) 2020-09-03 2022-11-22 General Electric Company Inspection systems and methods including image retrieval module
US11900581B2 (en) 2020-09-22 2024-02-13 Future Dial, Inc. Cosmetic inspection system
US11836912B2 (en) * 2020-09-22 2023-12-05 Future Dial, Inc. Grading cosmetic appearance of a test object based on multi-region determination of cosmetic defects
US20220114438A1 (en) * 2020-10-09 2022-04-14 Kla Corporation Dynamic Control Of Machine Learning Based Measurement Recipe Optimization
CN112200797B (zh) * 2020-10-28 2024-04-05 佛山市南海区广工大数控装备协同创新研究院 一种基于pcb噪声标注数据的有效训练方法
CN112557399B (zh) * 2020-11-30 2022-11-22 河北白沙烟草有限责任公司 一种烟机设备质量检测系统点检方法及装置
AU2020281143B1 (en) 2020-12-04 2021-03-25 Commonwealth Scientific And Industrial Research Organisation Creating super-resolution images
US12019032B2 (en) * 2020-12-07 2024-06-25 Nanya Technology Corporation Electronic system and method of specimen qualification
CN112685504B (zh) * 2021-01-06 2021-10-08 广东工业大学 一种面向生产过程的分布式迁移图学习方法
CN112818764B (zh) * 2021-01-15 2023-05-02 西安交通大学 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN114862740A (zh) * 2021-01-18 2022-08-05 富泰华工业（深圳）有限公司 瑕疵检测方法、装置、电子设备及计算机可读存储介质
TW202238110A (zh) * 2021-02-23 2022-10-01 以色列商奧寶科技有限公司 使用混合成像系統之自動光學檢測
KR102588298B1 (ko) 2021-03-16 2023-10-12 한국과학기술원 조작 종류 판별 장치 및 방법
CN112967267B (zh) * 2021-03-23 2024-01-23 湖南珞佳智能科技有限公司 一种全卷积神经网络的激光定向能量沉积溅射计数方法
CN113052865B (zh) * 2021-04-16 2023-12-19 南通大学 一种基于图像相似度的输电线路小样本温度图像扩增方法
CN113095438B (zh) * 2021-04-30 2024-03-15 上海众壹云计算科技有限公司 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质
CN113450307B (zh) * 2021-05-12 2023-07-25 西安电子科技大学 一种产品边缘缺陷检测方法
US20220374720A1 (en) * 2021-05-18 2022-11-24 Samsung Display Co., Ltd. Systems and methods for sample generation for identifying manufacturing defects
TWI782539B (zh) * 2021-05-21 2022-11-01 聯策科技股份有限公司 智慧化加工之方法與系統
EP4102318A1 (en) * 2021-06-10 2022-12-14 Siemens Aktiengesellschaft A method of virtually inspecting a quality of a product
CN113344886A (zh) * 2021-06-11 2021-09-03 长江存储科技有限责任公司 晶圆表面缺陷检测方法和设备
US20230049405A1 (en) * 2021-08-13 2023-02-16 Taiwan Semiconductor Manufacturing Co., Lid. Defect inspection system and method of using the same
CN113592852A (zh) * 2021-08-16 2021-11-02 南京耘瞳科技有限公司 一种碳纤维碳丝质量在线检测系统和方法
KR20230029409A (ko) * 2021-08-24 2023-03-03 삼성전자주식회사 반도체 장치의 제조를 위한 방법, 전자 장치 및 전자 장치의 동작 방법
CN113838024A (zh) * 2021-09-22 2021-12-24 哈尔滨工业大学 一种oled面板缺陷预测方法
US20240013365A9 (en) * 2021-10-04 2024-01-11 Kla Corporation Unsupervised or self-supervised deep learning for semiconductor-based applications
CN113920096B (zh) * 2021-10-14 2024-07-02 广东工业大学 一种集成电路金属封装缺陷检测方法
CN114119557B (zh) * 2021-11-29 2024-04-26 哈尔滨工业大学 一种基于卷积神经网络的光学元件快速暗场检测方法
US12080050B2 (en) * 2021-12-20 2024-09-03 KLA Corp. Machine learning using a global texture characteristic for semiconductor-based applications
KR102428326B1 (ko) * 2021-12-21 2022-08-02 서울시립대학교 산학협력단 인공지능 기반의 결함 탐지 방법 및 시스템
WO2023127081A1 (ja) * 2021-12-28 2023-07-06 株式会社日立ハイテク 画像検査装置、画像処理方法
TWI795153B (zh) * 2021-12-29 2023-03-01 國立成功大學 網路惡意流量分析之平衡式資料集生成與處理系統及其方法
CN114399790B (zh) * 2021-12-31 2022-11-18 中国科学院大学 一种基于非配准多模态数据的微小人物检测方法、介质和设备
CN114694028A (zh) * 2022-04-02 2022-07-01 中国船舶重工集团公司第七一六研究所 基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法
US20230377125A1 (en) * 2022-05-19 2023-11-23 Applied Materials Israel Ltd. Defect detection of a semiconductor specimen
DE102022205835A1 (de) 2022-06-08 2023-12-14 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Zuordnen von wenigstens einem Algorithmus des maschinellen Lernens eines Ensemble-Algorithmus des maschinellen Lernens zu einem von wenigstens zwei Rechenknoten zur Ausführung
CN115345782A (zh) * 2022-08-12 2022-11-15 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机、可读存储介质及程序产品
WO2024088665A1 (en) * 2022-10-23 2024-05-02 Asml Netherlands B.V. Training a machine learning model to predict images representative of defects on a substrate
CN115631178B (zh) * 2022-11-03 2023-11-10 昆山润石智能科技有限公司 自动晶圆缺陷检测方法、系统、设备及存储介质
CN115713653B (zh) * 2022-11-10 2023-10-10 中国铁塔股份有限公司黑龙江省分公司 塔桅结构破损位置图像识别方法
CN117689966B (zh) * 2024-02-04 2024-05-24 中国科学院深圳先进技术研究院 一种基于量子贝叶斯神经网络的磁共振图像分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004354251A (ja) * 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
CN103196915A (zh) * 2013-02-26 2013-07-10 无锡微焦科技有限公司 一种物体探测系统
CN106127684A (zh) * 2016-06-22 2016-11-16 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN106248684A (zh) * 2015-06-03 2016-12-21 法国圣戈班玻璃公司 用于检测透明基底的内部瑕疵的光学装置及方法
CN107454980A (zh) * 2015-04-03 2017-12-08 科磊股份有限公司 光学裸片到数据库检验

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466314B1 (en) * 1998-09-17 2002-10-15 Applied Materials, Inc. Reticle design inspection system
US6891627B1 (en) 2000-09-20 2005-05-10 Kla-Tencor Technologies Corp. Methods and systems for determining a critical dimension and overlay of a specimen
EP1523696B1 (en) 2002-07-15 2016-12-21 KLA-Tencor Corporation Defect inspection methods that include acquiring aerial images of a reticle for different lithographic process variables
US6902855B2 (en) 2002-07-15 2005-06-07 Kla-Tencor Technologies Qualifying patterns, patterning processes, or patterning apparatus in the fabrication of microlithographic patterns
US7409372B2 (en) * 2003-06-20 2008-08-05 Hewlett-Packard Development Company, L.P. Neural network trained with spatial errors
US7729529B2 (en) * 2004-12-07 2010-06-01 Kla-Tencor Technologies Corp. Computer-implemented methods for detecting and/or sorting defects in a design pattern of a reticle
WO2006137253A1 (ja) * 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
US7769225B2 (en) 2005-08-02 2010-08-03 Kla-Tencor Technologies Corp. Methods and systems for detecting defects in a reticle design pattern
US7570796B2 (en) * 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
JP4933186B2 (ja) * 2006-07-26 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
US8213704B2 (en) 2007-05-09 2012-07-03 Kla-Tencor Corp. Methods and systems for detecting defects in a reticle design pattern
US7782452B2 (en) 2007-08-31 2010-08-24 Kla-Tencor Technologies Corp. Systems and method for simultaneously inspecting a specimen with two distinct channels
US8126255B2 (en) * 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
US8041106B2 (en) 2008-12-05 2011-10-18 Kla-Tencor Corp. Methods and systems for detecting defects on a reticle
JP5297261B2 (ja) * 2009-04-28 2013-09-25 株式会社日立ハイテクノロジーズ 観察欠陥選択処理方法、欠陥観察方法、観察欠陥選択処理装置、欠陥観察装置
US8577820B2 (en) * 2011-03-04 2013-11-05 Tokyo Electron Limited Accurate and fast neural network training for library-based critical dimension (CD) metrology
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
US8716662B1 (en) * 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
US9222895B2 (en) * 2013-02-25 2015-12-29 Kla-Tencor Corp. Generalized virtual inspector
US9613411B2 (en) 2014-03-17 2017-04-04 Kla-Tencor Corp. Creating defect classifiers and nuisance filters
US9816940B2 (en) 2015-01-21 2017-11-14 Kla-Tencor Corporation Wafer inspection with focus volumetric method
US10062543B2 (en) * 2015-06-23 2018-08-28 Kla-Tencor Corp. Determining multi-patterning step overlay error
US10186026B2 (en) 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
US9965901B2 (en) 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
US9721334B2 (en) * 2015-12-03 2017-08-01 International Business Machines Corporation Work-piece defect inspection via optical images and CT images
US11205119B2 (en) * 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
US9916965B2 (en) 2015-12-31 2018-03-13 Kla-Tencor Corp. Hybrid inspectors
US10416087B2 (en) * 2016-01-01 2019-09-17 Kla-Tencor Corporation Systems and methods for defect detection using image reconstruction
US10648924B2 (en) * 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US10181185B2 (en) 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
US10360477B2 (en) 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
US10043261B2 (en) 2016-01-11 2018-08-07 Kla-Tencor Corp. Generating simulated output for a specimen
US10210613B2 (en) * 2016-05-12 2019-02-19 Siemens Healthcare Gmbh Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training
US10395356B2 (en) 2016-05-25 2019-08-27 Kla-Tencor Corp. Generating simulated images from input images for semiconductor applications
US10346740B2 (en) * 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
US10319076B2 (en) * 2016-06-16 2019-06-11 Facebook, Inc. Producing higher-quality samples of natural images
US10115040B2 (en) 2016-09-14 2018-10-30 Kla-Tencor Corporation Convolutional neural network-based mode selection and defect classification for image fusion
US10482639B2 (en) * 2017-02-21 2019-11-19 Adobe Inc. Deep high-resolution style synthesis
US10713534B2 (en) 2017-09-01 2020-07-14 Kla-Tencor Corp. Training a learning based defect classifier
US10607119B2 (en) * 2017-09-06 2020-03-31 Kla-Tencor Corp. Unified neural network for defect detection and classification
CN107767343B (zh) * 2017-11-09 2021-08-31 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
US10169852B1 (en) * 2018-07-03 2019-01-01 Nanotronics Imaging, Inc. Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging
US10460169B1 (en) * 2019-01-14 2019-10-29 Sourcewater, Inc. Image processing of aerial imagery for energy infrastructure analysis using joint image identification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004354251A (ja) * 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
CN103196915A (zh) * 2013-02-26 2013-07-10 无锡微焦科技有限公司 一种物体探测系统
CN107454980A (zh) * 2015-04-03 2017-12-08 科磊股份有限公司 光学裸片到数据库检验
CN106248684A (zh) * 2015-06-03 2016-12-21 法国圣戈班玻璃公司 用于检测透明基底的内部瑕疵的光学装置及方法
CN106127684A (zh) * 2016-06-22 2016-11-16 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《IC晶圆表面缺陷检测技术研究》;马磊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315;全文 *

Also Published As

Publication number Publication date
WO2019191346A1 (en) 2019-10-03
US10599951B2 (en) 2020-03-24
CN111819676A (zh) 2020-10-23
EP3762961A1 (en) 2021-01-13
JP7122386B2 (ja) 2022-08-19
US20190303717A1 (en) 2019-10-03
JP2021518597A (ja) 2021-08-02
TW201945861A (zh) 2019-12-01
EP3762961A4 (en) 2021-12-08
KR20200128162A (ko) 2020-11-11
TWI773888B (zh) 2022-08-11
KR102390313B1 (ko) 2022-04-25

Similar Documents

Publication Publication Date Title
CN111819676B (zh) 训练用于低分辨率图像中的缺陷检测的神经网络
EP3465174B1 (en) Generating simulated images from input images for semiconductor applications
CN108475351B (zh) 用于训练基于机器学习的模型的系统和计算机实施方法
CN110494894B (zh) 基于轮廓的缺陷检测
JP6893514B2 (ja) ハイブリッドインスペクタ
CN108463876B (zh) 为样品产生模拟输出
CN109313724B (zh) 针对半导体应用并入神经网络及前向物理模型的系统及方法
US20170193400A1 (en) Accelerated training of a machine learning based model for semiconductor applications
KR20190072569A (ko) 반도체 애플리케이션을 위해 구성된 심층 학습 모델을 위한 진단 시스템 및 방법
KR20190141787A (ko) 다양한 모댈리티들로 획득된 이미지들의 정렬을 위한 학습 기반 접근 방식
US11774371B2 (en) Defect size measurement using deep learning methods
US11694327B2 (en) Cross layer common-unique analysis for nuisance filtering
CN115552431A (zh) 训练机器学习模型以从检验图像产生较高分辨率图像

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant