CN109313724A - 针对半导体应用并入神经网络及前向物理模型的系统及方法 - Google Patents

针对半导体应用并入神经网络及前向物理模型的系统及方法 Download PDF

Info

Publication number
CN109313724A
CN109313724A CN201780033819.XA CN201780033819A CN109313724A CN 109313724 A CN109313724 A CN 109313724A CN 201780033819 A CN201780033819 A CN 201780033819A CN 109313724 A CN109313724 A CN 109313724A
Authority
CN
China
Prior art keywords
neural network
sample
image
runing time
inverse characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780033819.XA
Other languages
English (en)
Other versions
CN109313724B (zh
Inventor
张晶
K·巴哈斯卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KLA Corp
Original Assignee
KLA Tencor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KLA Tencor Corp filed Critical KLA Tencor Corp
Publication of CN109313724A publication Critical patent/CN109313724A/zh
Application granted granted Critical
Publication of CN109313724B publication Critical patent/CN109313724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供用于训练神经网络的方法及系统。一个系统包含由一或多个计算机子系统实行的一或多个组件。所述一或多个组件包含：神经网络，其经配置用于确定输入到所述神经网络的样品的训练集中的输入图像的经反转特征；前向物理模型，其经配置用于从所述经反转特征重建所述输入图像，借此产生对应于所述训练集中的所述输入图像的输出图像集；及残余层，其经配置用于确定所述训练集中的所述输入图像与在所述集中的对应输出图像之间的差异。所述一或多个计算机子系统经配置用于基于所述经确定差异更改所述神经网络的一或多个参数，借此训练所述神经网络。

Description

针对半导体应用并入神经网络及前向物理模型的系统及方法
技术领域
本发明大体上涉及针对半导体应用并入神经网络及前向物理模型的方法及系统。
背景技术
以下描述及实例不因其包含于此段落中而被承认是现有技术。
制造例如逻辑及存储器装置的半导体装置通常包含使用大量半导体制造工艺处理例如半导体晶片的衬底以形成半导体装置的各种特征及多个层级。举例来说，光刻是涉及将图案从光罩转印到布置于半导体晶片上的抗蚀剂的半导体制造工艺。半导体制造工艺的额外实例包含(但不限于)化学机械抛光(CMP)、蚀刻、沉积及离子植入。多个半导体装置可以一个布置制造于单个半导体晶片上且接着被分成个别半导体装置。
在半导体制造工艺期间的各个步骤使用检验过程以检测样品上的缺陷以驱动制造工艺中的更高良率及因此更高利润。检测始终是制造半导体装置的重要部分。然而，随着半导体装置的尺寸减小，检测对于可接受半导体装置的成功制造变得更为重要，这是因为较小缺陷可引起装置故障。
缺陷复检通常涉及重新检测本身由检验过程检测的缺陷及使用高倍率光学系统或扫描电子显微镜(SEM)而以较高分辨率产生关于缺陷的额外信息。因此，在其中已通过检验检测缺陷的样品上的离散位置处执行缺陷复检。由缺陷复检产生的缺陷的较高分辨率数据更适合于确定缺陷的属性，例如轮廓、粗糙度、更准确大小信息等。
在半导体制造工艺期间的各个步骤也使用度量衡过程以监测且控制工艺。度量衡过程与检验过程不同之处在于：不同于其中在样品上检测缺陷的检验过程，度量衡过程用于测量无法使用当前使用的检验工具确定的样品的一或多个特性。举例来说，度量衡过程用于测量样品的一或多个特性(例如在工艺期间形成于样品上的特征的尺寸(例如，线宽、厚度等))使得可从一或多个特性确定工艺的性能。另外，如果样品的一或多个特性是不可接受的(例如，在所述特性的预定范围之外)，那么可使用样品的一或多个特性的测量以更改工艺的一或多个参数使得由工艺制造的额外样品具有(若干)可接受特性。
度量衡过程与缺陷复检过程不同之处还在于：不同于其中在缺陷复检中重访通过检验检测的缺陷的缺陷复检过程，可在未检测缺陷的位置处执行度量衡过程。换句话说，不同于缺陷复检，在样品上执行度量衡过程的位置可独立于在样品上执行的检验过程的结果。特定来说，可独立于检测结果选择执行度量衡过程的位置。
随着设计规则收缩，形成于例如光罩及晶片的样品上的设计(即使在使用最佳执行工艺执行时)可看上去大不同于实际设计。举例来说，归因于在物理样品上形成设计所涉及的物理工艺的固有限制，即使在样品上已形成设计的最佳可能版本时，形成于物理样品上的设计中的特征通常具有与设计略微不同的特性，例如不同形状(例如，归因于隅角修圆或其它接近效应)且可具有略微不同的尺寸(例如，归因于接近效应)。
有时，不可能知道设计将如何出现在其上已形成设计信息的样品及由工具(例如检验工具、缺陷复检工具、度量衡工具及类似者)产生的样品的图像中。然而，出于数个原因，通常可期望知道设计将如何出现在样品上及由此类工具产生的图像中。一个原因是确保设计将以可接受方式形成于样品上。另一原因是提供说明希望使设计如何形成于样品上的设计的参考，其可用于针对样品执行的一或多个功能。举例来说，一般来说，需要用于缺陷检测的参考使得形成于样品上的设计与参考之间的任何差异可被检测或识别为缺陷或潜在缺陷。
因此，已做了许多工作来开发可从样品的一个图像模拟所述样品的另一图像的各种方法及系统。常规方法一般涉及两个步骤：(1)复原或反演非所要光学效应(例如，衍射、干涉、部分相干性等)；及(2)使用经复原/经处理成像数据作为输入来训练专用神经网络。鉴于可从工具测量及/或经由模拟获得训练数据集，可经由以下各者执行复原或反演非所要光学效应：(a)常规图像处理或信号处理算法(例如，露西-理查德德森(Lucy-Richardson)反卷积及正则化露西-理查德德森反卷积、维纳(Wiener)滤波器、工具校准等)；(b)第一原理光学模拟；或(c)监督式机器学习或深度学习算法。
然而，当前使用的方法存在若干缺点。举例来说，当前使用的复原/反演算法(例如，露西-理查德森反卷积、维纳滤波器)通常欠定且噪声敏感。另外，上文描述的当前使用的复原/反演算法是计算密集型(即，其不适用于实时工具上应用)。上文描述的当前使用的复原/反演算法也仅可应用到演算可逆光学参数(例如，仍实质上难以对半导体光学图像执行相位恢复)。此外，上文描述的当前使用的复原/反演算法需要精确(至少良好)估计的光学参数作为输入。此外，上文描述的当前使用的用于复原的监督式训练算法需要原始收集图像及其对应经复原图像的元组的训练数据集(测量或模拟其通常是不可能或实质上昂贵的)。另外，从数学优化角度，两步骤法是低效的。
因此，开发用于训练神经网络而无上文描述的一或多个缺点的系统及方法将是有利的。
发明内容
各个实施例的以下描述绝不应理解为限制所附权利要求书的标的物。
一个实施例涉及一种经布置以训练神经网络的系统。所述系统包含一或多个计算机子系统及由所述一或多个计算机子系统实行的一或多个组件。所述一或多个组件包含神经网络，所述神经网络经配置用于确定输入到所述神经网络的样品的训练集中的输入图像的经反转特征。所述一或多个组件也包含前向物理模型，所述前向物理模型经配置用于从所述经反转特征重建所述输入图像，借此产生对应于所述训练集中的所述输入图像的输出图像集。另外，所述一或多个组件包含残余层，所述残余层经配置用于确定所述训练集中的所述输入图像与其在所述集中的对应输出图像之间的差异。所述一或多个计算机子系统经配置用于基于所述经确定差异更改所述神经网络的一或多个参数，借此训练所述神经网络。可如本文中描述那样进一步配置所述系统。
额外实施例涉及经配置以训练神经网络的另一系统。如上文描述那样配置此系统。此系统也包含成像子系统，所述成像子系统经配置用于产生样品的图像。在此实施例中，(若干)计算机子系统经配置用于获取所述图像且从所述经获取图像产生输入图像的训练集。可如本文中描述那样进一步配置所述系统的此实施例。
另一实施例涉及一种用于训练神经网络的计算机实施方法。所述方法包含通过将输入图像的训练集输入到神经网络而确定样品的所述训练集中的输入图像的经反转特征。所述方法也包含通过将所述经反转特征输入到前向物理模型中而从所述经反转特征重建所述输入图像，借此产生对应于所述训练集中的所述输入图像的输出图像集。另外，所述方法包含确定所述训练集中的所述输入图像与其在所述集中的对应输出图像之间的差异。所述方法进一步包含基于所述经确定差异更改所述神经网络的一或多个参数，借此训练所述神经网络。由一或多个计算机系统执行确定所述经反转特征、重建所述输入图像、确定所述差异及更改所述一或多个参数。由所述一或多个计算机系统实行一或多个组件，且所述一或多个组件包含所述神经网络及所述前向物理模型。
可如本文中进一步描述那样进一步执行上文描述的方法的每一步骤。另外，上文描述的方法的实施例可包含本文中描述的(若干)任何其它方法的(若干)任何其它步骤。此外，上文描述的方法可由本文中描述的所述系统中的任何者执行。
另一实施例涉及一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在一或多个计算机系统上实行以执行用于训练神经网络的计算机实施方法。所述计算机实施方法包含上文描述的方法的步骤。可如本文中描述那样进一步配置所述计算机可读媒体。可如本文中进一步描述那样执行所述计算机实施方法的步骤。另外，可针对其实行所述程序指令的计算机实施方法可包含本文中描述的(若干)任何其它方法的(若干)任何其它步骤。
附图说明
在受益于优选实施例的以下详细描述的情况下且在参考附图之后，所属领域的技术人员将明白本发明的进一步优点，其中：
图1及1a是说明如本文中描述那样配置的系统的实施例的侧视图的示意图；
图2是说明训练神经网络的一个实施例的流程图；
图3到4是说明部署经训练神经网络的实施例的流程图；
图5是说明存储用于引起一或多个计算机系统执行本文中描述的计算机实施方法的程序指令的非暂时性计算机可读媒体的一个实施例的框图。
虽然本发明易于以各种修改及替代形式呈现，但本发明的特定实施例通过图式中的实例展示且在本文中经详细描述。图式可不按比例绘制。然而，应理解，图式及其详细描述不希望将本发明限于所揭示的特定形式，而相反，本发明希望涵盖落于如由所附权利要求书界定的本发明的精神及范围内的全部修改、等效物及替代物。
具体实施方式
如本文中互换使用的术语“设计”、“设计数据”及“设计信息”通常是指IC的物理设计(布局)及经由复杂模拟或简单几何及布尔运算从物理设计导出的数据。另外，通过光罩检验系统获取的光罩的图像及/或其导出物可用作用于设计的“代理”或“若干代理”。此光罩图像或其的导出物可在使用设计的本文中描述的任何实施例中充当对于设计布局的取代物。设计可包含2009年8月4日颁予扎法尔(Zafar)等人的共同拥有的第7,570,796号美国专利及2010年3月9日颁予库尔卡尼(Kulkarni)等人的共同拥有的第7,676,077号美国专利中描述的任何其它设计数据或设计数据代理，所述两个专利以宛如全文陈述引用的方式并入本文中。另外，设计数据可是标准单元库数据、集成布局数据、一或多个层的设计数据、设计数据的导出物及完全或部分芯片设计数据。
另外，本文中描述的“设计”、“设计数据”及“设计信息”是指由半导体装置设计者在设计过程中产生且因此可在将设计印刷于任何物理样品(例如光罩及晶片)上之前良好地用于本文中描述的实施例中的信息及数据。
现参考图式，应注意，图未按比例绘制。特定来说，在很大程度上放大图的一些元件的尺度以强调元件的特性。还应注意，所述图未按相同比例绘制。已使用相同元件符号指示可经类似配置的展示于一个以上图中的元件。除非本文中另有说明，否则所描述且展示的任何元件可包含任何适合市售元件。
一个实施例涉及一种经配置以训练神经网络的系统。如本文中进一步描述，实施例可包含反演神经网络(INN)来解决半导体应用(例如检测、缺陷复检、度量衡及本文中描述的其它半导体应用)的反演问题。另外，如本文中进一步描述，实施例可提供通用及系统方法，其将可微分前向物理模型并入到可训练神经网络中以解决针对光学、电子束及离子束工具上的半导体检测、度量衡、复检及质量保证(QA)应用的常规困难的反演问题。
在图1中展示经配置以训练神经网络的系统的一个实施例。系统包含一或多个计算机子系统(例如，计算机子系统36及(若干)计算机子系统102)及由一或多个计算机子系统执行的一或多个组件100。在一些实施例中，系统包含成像系统(或子系统)10。在图1的实施例中，成像系统经配置用于使光扫描遍及样品的物理版本或将光引导到样品的物理版本同时从样品检测光以借此产生样品的图像。成像系统也可经配置以使用多个模式执行扫描(或引导)及检测。
在一个实施例中，样品是晶片。晶片可包含此项技术中已知的任何晶片。在另一实施例中，样品是光罩。光罩可包含此项技术中已知的任何光罩。
在一个实施例中，成像系统是基于光学的成像系统。以此方式，在一些实施例中，输入图像由基于光学的成像系统产生。在一个此实例中，在图1中展示的系统的实施例中，基于光学的成像系统10包含经配置以将光引导到样品14的照明子系统。照明子系统包含至少一个光源。举例来说，如图1中展示，照明子系统包含光源16。在一个实施例中，照明子系统经配置以按可包含一或多个倾斜角及/或一或多个法向角的一或多个入射角将光引导到样品。举例来说，如图1中展示，按倾斜入射角引导来自光源16的光穿过光学元件18且接着穿过透镜20到样品14。倾斜入射角可包含可取决于(例如)样品的特性而变化的任何适合倾斜入射角。
成像系统可经配置以在不同时间按不同入射角将光引导到样品。举例来说，成像系统可经配置以更改照明子系统的一或多个元件的一或多个特性使得可按不同于图1中展示的入射角将光引导到样品。在一个此实例中，成像系统可经配置以移动光源16、光学元件18及透镜20使得按不同倾斜入射角或法向(或近法向)入射角将光引导到样品。
在一些例子中，成像系统可经配置以在相同时间按一个以上入射角将光引导到样品。举例来说，照明子系统可包含一个以上照明通道，照明通道中的一者可包含如图1中展示的光源16、光学元件18及透镜20，且照明通道中的另一者(未展示)可包含可不同或相同配置的类似元件或可包含至少光源及可能一或多个其它组件(例如本文中进一步描述的组件)。如果在与其它光相同的时间将此光引导到样品，那么按不同入射角引导到样品的光的一或多个特性(例如，波长、偏光等)可不同，使得可在(若干)检测器处将源自按不同入射角照明样品的光彼此区分。
在另一例子中，照明子系统可仅包含一个光源(例如，图1中展示的源16)且可由照明子系统的一或多个光学元件(未展示)将来自所述光源的光分成不同光学路径(例如，基于波长、偏光等)。接着，可将不同光学路径中的每一者中的光引导到样品。多个照明通道可经配置以在相同时间或不同时间(例如，当使用不同照明通道以依序照明样品时)将光引导到样品。在另一例子中，相同照明通道可经配置以在不同时间将具有不同特性的光引导到样品。举例来说，在一些例子中，光学元件18可经配置为光谱滤波器且可以各种不同方式(例如，通过调换出光谱滤波器)改变光谱滤波器的性质使得可在不同时间将不同波长的光引导到样品。照明子系统可具有此项技术中已知的用于依序或同时按不同或相同入射角将具有不同或相同特性的光引导到样品的任何其它适合配置。
在一个实施例中，光源16可包含宽带等离子(BBP)光源。以此方式，由光源产生且引导到样品的光可包含宽带光。然而，光源可包含任何其它适合光源(例如激光)。激光可包含此项技术中已知的任何适合激光且可经配置以产生此项技术中已知的(若干)任何适合波长的光。另外，激光可经配置以产生单色或近单色光。以此方式，激光可是窄频激光。光源也可包含产生多个离散波长或波带的光的多色光源。
来自光学元件18的光可通过透镜20聚焦到样品14上。虽然透镜20在图1中展示为单折射光学元件，但应理解，实际上，透镜20可包含将来自光学元件的光组合地聚焦到样品的数个折射及/或反射光学元件。图1中展示且本文中描述的照明子系统可包含任何其它适合光学元件(未展示)。此类光学元件的实例包含(但不限于)(若干)偏光组件、(若干)光谱滤波器、(若干)空间滤波器、(若干)反射光学元件、(若干)变迹器、(若干)束分离器、(若干)孔隙及类似者，其可包含此项技术中已知的任何此类适合光学元件。另外，成像系统可经配置以基于用于成像的照明的类型更改照明子系统的一或多个元件。
成像系统也可包含经配置以引起光扫描遍及样品的扫描子系统。举例来说，成像系统可包含在检验期间在其上安置样品14的载物台22。扫描子系统可包含可经配置以移动样品使得光可扫描遍及样品的任何适合机械及/或机器人组合件(包含载物台22)。另外或替代地，成像系统可经配置使得成像系统的一或多个光学元件执行光遍及样品的某一扫描。可以任何适合方式(例如以蛇形路径或以螺旋路径)使光扫描遍及样品。
成像系统进一步包含一或多个检测通道。一或多个检测通道中的至少一者包含检测器，所述检测器经配置以归因于通过系统照明样品而从样品检测光且响应于所检测光产生输出。举例来说，图1中展示的成像系统包含两个检测通道，一个检测通道由集光器24、元件26及检测器28形成且另一检测通道由集光器30、元件32及检测器34形成。如图1中展示，两个检测通道经配置以按不同收集角收集且检测光。在一些例子中，两个检测通道经配置以检测散射光，且检测通道经配置以检测按不同角度从样品散射的光。然而，一或多个检测通道可经配置以从样品检测另一类型的光(例如，反射光)。
如图1中进一步展示，两个检测通道经展示定位于纸平面中且照明子系统也经展示定位于纸平面中。因此，在此实施例中，两个检测通道定位(例如，居中)于入射平面中。然而，一或多个检测通道可定位于入射平面外。举例来说，由集光器30、元件32及检测器34形成的检测通道可经配置以收集且检测从入射平面散射的光。因此，此检测通道可通常称为“侧”通道，且此侧通道可在实质上垂直于入射平面的平面中居中。
虽然图1展示包含两个检测通道的成像系统的实施例，但成像系统可包含不同数目个检测通道(例如，仅一个检测通道或两个或两个以上检测通道)。在一个此例子中，由集光器30、元件32及检测器34形成的检测通道可如上文描述那样形成一个侧通道，且成像系统可包含形成为定位于入射平面的相对侧上的另一侧通道的额外检测通道(未展示)。因此，成像系统可包含检测通道，所述检测通道包含集光器24、元件26及检测器28且在入射平面中居中且经配置以按法向于或接近法向于样品表面的(若干)散射角收集且检测光。因此，此检测通道可通常称为“顶部”通道，且成像系统也可包含如上文描述那样配置的两个或两个以上侧通道。因而，成像系统可包含至少三个通道(即，一个顶部通道及两个侧通道)，且至少三个通道中的每一者具有其自身的集光器，每一集光器经配置以按与每一其它集光器不同的散射角收集光。
如上文进一步描述，包含于成像系统中的每一检测通道可经配置以检测散射光。因此，图1中展示的成像系统可经配置用于样品的暗场(DF)成像。然而，所述成像系统可也或替代地包含经配置用于样品的明场(BF)成像的(若干)检测通道。换句话说，所述成像系统可包含经配置以检测从样品镜面反射的光的至少一个检测通道。因此，本文中描述的成像系统可经配置用于仅DF成像、仅BF成像或DF成像及BF成像两者。虽然在图1中将每一集光器展示为单折射光学元件，但应理解，每一集光器可包含一或多个折射光学元件及/或一或多个反射光学元件。
所述一或多个检测通道可包含此项技术中已知的任何适合检测器。举例来说，所述检测器可包含光电倍增管(PMT)、电荷耦合装置(CCD)、延时积分(TDI)相机及此项技术中已知的任何其它适合检测器。所述检测器也可包含非成像检测器或成像检测器。以此方式，如果检测器是非成像检测器，那么每一检测器可经配置以检测散射光的某些特性(例如强度)但不可经配置以检测依据成像平面内的位置而变化的此类特性。因而，由包含于成像系统的每一检测通道中的每一检测器产生的输出可是信号或数据，而非图像信号或图像数据。在此类例子中，计算机子系统(例如计算机子系统36)可经配置以从检测器的非成像输出产生样品的图像。然而，在其它例子中，检测器可经配置为经配置以产生图像信号或图像数据的成像检测器。因此，成像系统可经配置以依数个方式产生本文中描述的图像。
应注意，本文中提供图1以大体上说明可包含于本文中描述的系统实施例中或可产生由本文中描述的系统实施例使用的图像的成像系统或子系统的配置。显然，可更改本文中描述的成像系统布置以如在设计商业成像系统时通常执行那样优化成像系统的性能。另外，可使用例如商业上可购自加利福尼亚州，米尔皮塔斯市，科磊公司(KLA-Tencor)的29xx/39xx及彪马Puma 9xxx系列的工具的现有系统(例如，通过将本文中描述的功能性添加到现有系统)实施本文中描述的系统。对于一些此类系统，本文中描述的实施例可提供为系统的任选功能性(例如，除了系统的其它功能性之外)。替代地，可“从头开始”设计本文中描述的成像系统以提供全新成像系统。
成像系统的计算机子系统36可以任何适合方式(例如，经由一或多个传输媒体，所述一或多个传输媒体可包含“有线”及/或“无线”传输媒体)耦合到成像系统的检测器使得计算机子系统可接收由检测器在样品的扫描期间产生的输出。计算机子系统36可经配置以使用检测器的输出执行本文中进一步描述的数个功能。
图1中展示的计算机子系统(以及本文中描述的其它计算机子系统)在本文中也可称为(若干)计算机系统。本文中描述的(若干)计算机子系统或(若干)系统中的每一者可采取各种形式，包含一个人计算机系统、图像计算机、主计算机系统、工作站、网络设备、因特网设备或其它装置。一般来说，术语“计算机系统”可经广泛定义以涵盖具有实行来自存储器媒体的指令的一或多个处理器的任何装置。(若干)计算机子系统或(若干)系统也可包含此项技术中已知的任何适合处理器(例如平行处理器)。另外，所述计算机子系统或所述系统可包含具有高速处理及软件的计算机平台(作为独立工具或网络工具)。
如果系统包含一个以上计算机子系统，那么不同计算机子系统可彼此耦合使得可在如本文中进一步描述的计算机子系统之间发送图像、数据、信息、指令等。举例来说，计算机子系统36可通过可包含此项技术中已知的任何适合有线及/或无线传输媒体的任何适合传输媒体耦合到(若干)计算机子系统102(如由图1中的虚线展示)。两个或两个以上此类计算机子系统也可通过共享计算机可读存储媒体(未展示)而有效耦合。
虽然上文中将成像系统描述为基于光学或光的成像系统，但成像系统可是基于电子束的成像系统。以此方式，在一些实施例中，输入图像由基于电子束的成像系统产生。在图1a中展示的一个此种实施例中，成像系统包含耦合到计算机子系统124的电子柱122。也如图1a中展示，电子柱包含经配置以产生由一或多个元件130聚焦到样品128的电子的电子束源126。电子束源可包含(例如)阴极源或射极尖端，且一或多个元件130可包含(例如)枪透镜、阳极、束限制孔隙、闸阀、束电流选择孔隙、物镜及扫描子系统，其全部可包含此项技术中已知的任何此类适合元件。
从样品返回的电子(例如，二次电子)可由一或多个元件132聚焦到检测器134。一或多个元件132可包含(例如)扫描子系统，所述扫描子系统可是包含于(若干)元件130中的相同扫描子系统。
电子柱可包含此项技术中已知的任何其它适合元件。另外，可如2014年4月4日颁予江(Jiang)等人的第8,664,594号美国专利、2014年4月8日颁予小岛(Kojima)等人的第8,692,204号美国专利、2014年4月15日颁予古本斯(Gubbens)等人的第8,698,093号美国专利及2014年5月6日颁予麦克唐纳(MacDonald)等人的第8,716,662号美国专利中所描述那样进一步配置电子柱，所述专利以宛如全文陈述引用的方式并入本文中。
虽然在图1a中将电子柱展示为经配置使得电子按倾斜入射角引导到样品且按另一倾斜角从样品散射，但应理解，电子束可按任何适合角度引导到样品且从样品散射。另外，基于电子束的成像系统可经配置以使用多个模式来产生样品的图像(例如，具有不同照明角、收集角等)，如本文中进一步描述。基于电子束的成像系统的多个模式在成像系统的任何图像产生参数方面可是不同的。
计算机子系统124可耦合到检测器134，如上文描述。检测器可检测从样品的表面返回的电子，借此形成样品的电子束图像。所述电子束图像可包含任何适合电子束图像。计算机子系统124可经配置以使用由检测器134产生的输出针对样品执行本文中进一步描述的一或多个功能。计算机子系统124可经配置以执行本文中描述的(若干)任何额外步骤。可如本文中描述那样进一步配置包含图1a中展示的成像系统的系统。
应注意，在本文中提供图1a以大体上说明可包含于本文中描述的实施例中的基于电子束的成像系统的配置。如同上文描述的基于光学的成像系统，可更改本文中描述的基于电子束的成像系统配置以如在设计商业成像系统时通常执行那样优化成像系统的性能。另外，可使用例如商业上可购自科磊(KLA-Tencor)的eSxxx及eDR-xxxx系列的工具的现有系统(例如，通过将本文中描述的功能性添加到现有系统)实施本文中描述的系统。对于一些此类系统，可将本文中描述的实施例提供为系统的任选功能性(例如，除了系统的其它功能性之外)。替代地，可“从头开始”设计本文中描述的系统以提供全新系统。
虽然上文中将成像系统描述为基于光学或基于电子束的成像系统，但成像系统可是基于离子束的成像系统。可如图1a中展示那样配置此成像系统，惟可使用此项技术中已知的任何适合离子束源取代电子束源除外。另外，成像系统可是任何其它适合基于离子束的成像系统，例如包含于市售聚焦离子束(FIB)系统、氦离子显微镜(HIM)系统及二次离子质谱仪(SIMS)系统中的基于离子束的成像系统。
如上文提及，成像系统经配置以将能量(例如，光或电子)扫描遍及样品的物理版本，借此针对样品的物理版本产生实际图像。以此方式，成像系统可经配置为“实际”系统而非“虚拟”系统。举例来说，图1中展示的存储媒体(未展示)及(若干)计算机子系统102可经配置为“虚拟”系统。特定来说，存储媒体及(若干)计算机子系统并非成像系统10的部分且不具有处置样品的物理版本的任何能力。换句话说，在经配置为虚拟系统的系统中，其的一或多个“检测器”的输出可是由实际系统的一或多个检测器先前产生且存储于虚拟系统中的输出，且在“扫描”期间，虚拟系统可如同样品正经扫描那样播放存储输出。以此方式，使用虚拟系统扫描样品可看似与使用实际系统扫描物理样品相同，而实际上，“扫描”仅涉及以与可扫描样品相同的方式播放针对样品的输出。在共同受让的以下专利中描述经配置为“虚拟”检验系统的系统及方法：在2012年2月28日颁予巴斯卡(Bhaskar)等人的第8,126,255号美国专利及2015年12月29日颁予达菲(Duffy)等人的第9,222,895号美国专利，所述两个专利以宛如全文陈述引用的方式并入本文中。可如这些专利中描述那样进一步配置本文中描述的实施例。举例来说，可如这些专利中描述那样进一步配置本文中描述的一或多个计算机子系统。另外，可如上文引用的达菲(Duffy)的专利中描述那样执行将一或多个虚拟系统配置为中央计算及存储(CCS)系统。本文中描述的永久存储机制可具有例如CCS架构的分布式计算及存储装置，但本文中描述的实施例不限于所述架构。
如上文进一步提及，成像系统可经配置以使用多个模式产生样品的图像。一般来说，“模式”可由用于产生样品的图像的成像系统的参数的值或用于产生样品的图像的输出定义。因此，不同模式可在成像系统的至少一个成像参数的值方面不同。举例来说，在基于光学的成像系统的一个实施例中，多个模式中的至少一者使用用于照明的光的至少一个波长，其不同于用于多个模式中的至少另一者的照明的光的至少一个波长。模式可在照明波长方面不同，如本文中针对不同模式进一步描述(例如，通过使用不同光源、不同光谱滤波器等)。在另一实施例中，多个模式中的至少一者使用成像系统的照明通道，所述照明通道不同于用于多个模式中的至少另一者的成像系统的照明通常。举例来说，如上文提及，成像系统可包含一个以上照明通道。因而，不同照明通道可用于不同模式。
在一个实施例中，输入图像由检验系统产生。举例来说，本文中描述的光学及电子束成像系统可经配置为检验系统。以此方式，在一些实施例中，到神经网络的图像输入由检验系统产生。在另一实施例中，成像系统是缺陷复检系统。举例来说，本文中描述的光学及电子束成像系统可经配置为缺陷复检系统。在进一步实施例中，成像系统是度量衡系统。举例来说，本文中描述的光学及电子束成像系统可经配置为度量衡系统。以此方式，在一些实施例中，输入图像由度量衡系统产生。特定来说，可在一或多个参数方面修改本文中描述且在图1及1a中展示的成像系统的实施例以取决于其将用于的应用而提供不同成像能力。在一个此实例中，图1中展示的成像系统可经配置以在其用于缺陷复检或度量衡而非用于检测的情况下具有较高分辨率。换句话说，图1及1a中展示的成像系统的实施例描述成像系统的某些一般及各种配置，其可以将对所属领域的技术人员显而易见的数个方式定制以产生具有或多或少适合于不同应用的不同成像能力的成像系统。
所述一或多个计算机子系统可经配置用于获取由本文中描述的成像子系统产生的样品的图像。可使用本文中描述的成像系统中的一者(例如，通过将光或电子束引导到样品且从样品检测光或电子束)执行获取图像。以此方式，可使用物理样品自身及某种成像硬件执行获取图像。然而，获取图像不一定包含使用成像硬件使样品成像。举例来说，另一系统及/或方法可产生图像且可将经产生图像存储于如本文中描述的一或多个存储媒体(例如虚拟检验系统)或本文中描述的另一存储媒体中。因此，获取图像可包含从其中已存储图像的存储媒体获取图像。
由(若干)计算机子系统(例如，计算机子系统36及/或(若干)计算机子系统102)实行的(若干)组件(例如，图1中展示的(若干)组件100)包含神经网络104。神经网络经配置用于确定输入到神经网络的样品的训练集中的输入图像的经反转特征。举例来说，如图2中展示，可将图像200输入到确定图像的经反转特征204的神经网络202。以此方式，使用神经网络来近似表示反演函数f-1()，且神经网络从输入图像产生经反转特征。在例如检测、度量衡及缺陷复检的半导体应用的背景内容中，本文中描述的神经网络可用于解决成像形成中的反演问题(例如，衍射、干涉、部分相干性、模糊等)以重新产生光学校正特征。“经反转特征”(其中反转与反演神经网络的背景内容相关)在本文中大体上定义为在反转物理过程之后的特征且“特征”大体上定义为是指可测量性质，包含(但不限于)强度、振幅、相位、边缘、梯度等。
一般来说，神经网络不必由唯一拓扑定义以实施本文中描述的功能。代替性地，神经网络可是应用特定的，且其层类型及层数目未经定义。神经网络可包含经配置用于确定样品的图像的反转特征的两个或两个以上编码器层。术语“编码器”大体上是指将输入数据的信息内容“编码”为更紧凑表示的神经网络或神经网络的部分。编码过程可是有效有损或无损的。另外，编码过程可或可不是人类可解释的。编码表示可是纯量值或分布的向量。
在一个实施例中，神经网络是深度学习模型。一般来说，“深度学习”(也称为深度结构学习、分层式学习或深度机器学习)是基于尝试模型化数据中的高阶抽象的一组算法的机器学习的分支。在简单情况中，可存在两组神经元：接收输入信号的神经元及发送输出信号的神经元。当输入层接收输入时，其将输入的经修改版本传递到下一层。在深度网络中，输入与输出之间存在许多层(且层并非由神经元制成但将所述层视为由神经元制成可为有帮助的)，从而允许算法使用由多个线性及非线性变换构成的多个处理层。
深度学习是基于数据的学习表示的机器学习方法的更广泛族的部分。观察(例如，图像)可以许多方式(例如每个像素的强度值的向量)或以更抽象方式(如一组边缘、特定形状的区域等)呈现。一些表示优于其它表示之处在于，简化学习任务(例如，面部辨识或面部表情辨识)。深度学习的一个承诺是使用有效算法来取代手工特征用于无监督或半监督式特征学习及分层式特征提取。
在此领域中的研究尝试制成更好的表示且产生模型以从大规模未标记数据学习这些表示。一些表示受神经科学中的进展启发且松散地基于神经系统中的信息处理及通信模式的解释，例如尝试定义各种刺激与脑中的相关联神经元响应之间的关系的神经编码。
各种深度学习架构(例如深度神经网络、卷积深度神经网络、深度信念网络及递归式神经网络)已经应用到如计算机视觉、自动语音识别、自然语言处理、自动辨识及生物信息学的领域，其中其已经展示以产生各种任务的最先进技术结果。
在另一实施例中，神经网络是机器学习模型。机器学习可大体上经定义为对计算机提供学习能力而无需明确编程的人工智能(AI)的类型。机器学习致力于开发可教示自身在暴露到新数据时生长及改变的计算机程序。换句话说，机器学习可经定义为“赋予计算机在未经明确编程的情况下学习的能力”的计算机科学的子域。机器学习探索可从数据学习且对数据作出预测的算法的研究及构造-此类算法通过经由从样本输入建立模型来作出数据驱动预测或决定而克服遵循严格静态程序指令。
可如在杉山(Sugiyama)、摩根考夫曼(Morgan Kaufmann)的“《统计机器学习概论》(Introduction to Statistical Machine Learning)”，2016年，534页；杰巴拉(Jebara)的“《鉴别、生成及模仿学习》(Discriminative,Generative,and Imitative Learning)”，麻省理工学院论文(MIT Thesis)，2002年，212页；及汉德(Hand)等人的“《数据挖掘原理(自适应计算及机器学习》(Principles of Data Mining(Adaptive Computation and MachineLearning))”，麻省理工学院出版社(MIT Press)，2001年，578页(其以宛如全文阐述引用的方式倂入本文中)中描述那样进一步执行本文中描述的机器学习。可如在这些参考中描述那样进一步配置本文中描述的实施例。
在一些实施例中，神经网络是生成模型。“生成”模型可大体上经定义为本质上概率性的模型。换句话说，“生成”模型并非执行前向模拟或基于规则的方法的模型，且因而，产生实际图像(针对其产生模拟图像)所涉及的过程的物理学的模型并非必要。代替性地，如本文中进一步描述，可基于适当训练数据集学习生成模型(其中可学习其参数)。
在一个实施例中，神经网络经配置为深度生成模型。举例来说，模型可经配置以具有深度学习架构，其中模型可包含执行数个算法或变换的多个层。生成模型的编码器侧上的层数取决于使用情况。出于实际目的，编码器侧上的层的适合范围是从2个层到数十个层。
在进一步实施例中，神经网络可是具有一组权重的深度神经网络，所述权重根据已经馈送以训练模型的数据模型化世界。神经网络可大体上经定义为基于神经单元的相对大集合的计算方法，其松散地模型化生物脑使用通过轴突连接的生物神经元的相对大集群解决问题的方式。每一神经单元与许多其它神经单元连接，且链接可强制执行或抑制其对经连接神经单元的激活状态的效应。这些系统是自我学习且经训练而非明确编程且在解决方案或特征检测难以按传统计算机程序表达的领域中具有优势。
神经网络通常由多个层构成，且信号路径从前部横越到后部。神经网络的目标是以与人脑相同的方式解决问题，尽管若干神经网络远远更加抽象。当代神经网络项目通常使用数千到数百万神经单元及数百万连接工作。神经网络可具有此项技术中已知的任何适当架构及/或配置。
在另一实施例中，神经网络经配置为卷积神经网络(CNN)。举例来说，神经网络可经配置为用以提取局部特征的CNN，其通常是卷积及汇集层的堆叠。本文中描述的实施例可利用深度学习概念(例如CNN)来解决通常棘手的表示反演问题。模型可具有此项技术中已知的任何CNN配置或架构。在另一实施例中，神经网络经配置为完全卷积模型。在额外实施例中，神经网络可经配置为深度生成模型、CNN、生成对抗网(GAN)、条件式生成对抗网(cGAN)、GAN及变分自动编码器(VAE)及含有CNN作为部分的网络(即，经配置为CNN的神经网络的部分)，其全部可如本文中描述那样配置。
可如在古德菲洛(Goodfellow)等人的“生成对抗网络(Generative AdversarialNets)”，arXiv:1406.2661，2014年6月10日，第9页(所述文献以宛如全文阐述引用的方式并入本文中)中描述那样配置包含于本文中描述的实施例中的GAN。古德菲洛(Goodfellow)等人描述用于经由对抗过程估计生成模型的新框架，其中同时训练两个模型：俘获数据分布的生成模型G及估计样本来自训练数据而非G的概率的鉴别模型D。针对G的训练程序是最大化D犯错误的概率。此框架对应于极小极大双人游戏。在任意函数G及D的空间中，存在独有解，其中G恢复训练数据分布且D处处等于1/2。在其中G及D由多层感知器定义的情况中，可使用反向传播训练整个系统。在样本的训练或产生期间不需要任何马可夫链或展开近似推论网络。实验经由经产生样本的定性及定量评估而证实框架的潜力。可如古德菲洛(Goodfellow)等人描述那样进一步配置本文中描述的实施例的神经网络。
可如在米尔扎(Mirza)等人的“条件生成对抗网络(Conditional GenerativeAdversarial Nets)”，arXiv:1411.1784，2014年11月6日，第7页(所述文献以宛如全文阐述引用的方式并入本文中)中描述那样配置包含于本文中描述的实施例中的CGAN。如果生成器及鉴别器两者以某额外信息y为条件，那么生成对抗网可延伸到条件模型。y可是任何种类的辅助信息，例如类别标签或来自其它模态的数据。可通过将y馈送到鉴别器及生成器两者中作为额外输入层而执行附有条件。在生成器中，在联合隐藏表示中组合先验输入噪声pz(z)及y且对抗训练框架允许在此隐藏表示如何构成方面的相当大灵活性。在鉴别器中，将x及y呈现为到鉴别函数(在一些情况中由多层感知器(MLP)体现)的输入。接着，双人极小极大游戏的目标函数将是：
可如米尔扎(Mirza)等人的上文并入的参考案中描述那样进一步配置包含于本文中描述的实施例中的神经网络。
变分自动编码器是具有深度学习及变分推理的优点且导致生成模型化的显著进展的组件。另外或替代地，可如马哈扎尼(Makhzani)等人的“对抗自动编码器(AdversarialAutoencoders)”，arXiv:1511.05644v2，2016年5月25日，16页中描述那样配置与GAN或深度生成对抗网络(DGAN)组合的变分自动编码器(VAE)，所述案以宛如全文陈述引用的方式并入本文中。可如此参考中描述那样进一步配置本文中描述的实施例。
神经网络经配置用于确定输入到神经网络的样品的训练集中的输入图像的经反转特征。由神经网络确定的经反转特征可包含本文中进一步描述或此项技术中已知的可从输入推理且用于产生本文中进一步描述的输出的任何适合特征。举例来说，特征可包含每像素的强度值的向量。特征也可包含本文中描述的任何其它类型的特征，例如，纯量值向量、独立分布向量、联合向量或此项技术中已知的任何其它适合特征类型。
如本文中进一步描述，(若干)计算机子系统可经配置以从本文中描述的成像子系统或系统及/或从其中已由成像子系统或系统存储图像的存储媒体获取训练集中的输入图像。另外，在一些例子中，如本文中进一步描述，(若干)计算机子系统可经配置用于从较大图像集选择训练集中的输入图像(借此产生图像的训练集)。在一些例子中，(若干)计算机子系统也可选择用于或将用于产生输入图像的(若干)成像参数及/或基于选定成像参数选择的输入图像。举例来说，(若干)计算机子系统可选择将用于从成像子系统或系统收集图像数据的成像参数，其可包含选自包含(但不限于)以下各者的成像参数群组的一或多个成像参数：照明带/波长、孔径、偏光、像素大小及本文中描述的其它成像参数。另外，(若干)计算机子系统可选择影响输入图像的任何其它成像参数。接着可在于本文中描述的成像子系统或系统(例如，真实工具、虚拟工具、检验工具、复检工具、度量衡工具、光学工具、电子束工具、离子束工具等)上选择的成像参数下收集相对大量图像。训练集中的输入图像的数目可是输入图像的任何适合数目。另外，输入图像的大小(例如，以像素为单位)可是任何适合大小。
输入图像的训练集也可取决于针对其训练神经网络的应用而变化。举例来说，在本文中进一步描述的反卷积使用情况中，训练样本是每一位置收集的单个图像，且训练数据集是训练样本集合。在本文中也进一步描述的相位恢复使用情况中，训练样本是在每一位置的各种焦点偏移下收集的图像堆叠，且训练数据集是训练样本集合。在复检使用情况中，训练样本及训练数据集可与反卷积使用情况中相同。另外，在工具校准及光学/模式设计使用情况中，训练样本及训练数据集未经定义且取决于目标使用情况。
(若干)计算机子系统也可确定从其收集图像的样品上的位置。举例来说，(若干)计算机子系统可经配置用于任选样品位置取样步骤，其可使用样品的设计信息(例如，CAD信息)及/或热点信息执行。
在将训练集中的输入图像输入到神经网络中之前，(若干)计算机子系统可对训练集中的输入图像执行一或多个数据预处理步骤，其可包含此项技术中已知的任何适合预处理步骤。
上文描述的神经网络的每一层可具有一或多个参数(例如权重W及偏倚B)，其的值可通过训练神经网络(其可如本文中进一步描述那样执行)而确定。举例来说，可通过最小化成本函数而在训练期间确定包含于神经网络中的任何层的权重及偏倚。成本函数可取决于对图像执行的变换而变化。
所述一或多个组件也包含图1中展示之前向物理模型106，其经配置用于从经反转特征重建输入图像，借此产生对应于训练集中的输入图像的输出图像集。以此方式，此组件的主要功能性是将物理模型应用于经提取特征上以重新产生输入。举例来说，如图2中展示，系统可包含前向物理模型206，其可是前向变换模型＝f()。将前向变换模型应用于经反转特征204上以重新产生模型变换特征208。前向物理模型可经配置为物理模拟层，其可从可微分第一原理物理或光学定律(例如，麦克斯韦(Maxwell)方程式、傅里叶(Fourier)光学)导出。
也可基于关于用于产生输入图像及/或运行时间图像的参数的信息产生或配置前向物理模型。举例来说，可基于用于或将用于收集样品或另一样品的图像数据的物理(光学)条件(包含(但不限于)光学带/波长、光学孔径、偏光、像素大小等)配置前向物理模型。
在一个实施例中，前向物理模型经配置为可微分前向物理模型。物理模型可由某些数学函数表达。以此方式，如本文中使用的“可微分”表示这些数学函数是可微分的，即，这些数学函数的梯度是可计算的。如果物理模型是不可微分的，那么模型将由可微分模型或若干可微分模型的线性组合近似表示。微分约束允许经由神经网络实施前向物理模型，且这允许经由随机梯度下降或等效物训练统一模型。
以此方式，本文中描述的实施例可称为反演神经网络(INN)。如本文中使用的术语“INN”可大体上定义为通用及系统计算框架，其使神经网络(例如深度学习神经网络)与前向可微分第一原理物理模型一起组合为统一可训练模型以解决成像中的反演问题。一般来说，只要前向可微分物理模型(精确或近似表示)可用，便可如本文中描述那样使用INN来解决反演问题。应注意，本文中描述的术语“反演问题”希望具有所述术语的普遍接受定义，其被称为反演问题是因为其开始于结果且接着计算原因。这是开始于原因且接着计算结果的前向问题的反演。
因此，本文中描述的实施例使第一原理成像/物理模型(即，前向物理模型)与神经网络(例如，机器学习/深度学习模型)组合为统一可训练模型以反演成像效应(例如，衍射、干涉、部分相干性等)且识别信号原因。本文中描述的INN仅需要用于前向模拟的前向物理模型。换句话说，不需要从第一原理解决反演问题。另外，本文中描述的实施例的配置实现用以从光学图像提取光学相位信息的计算有效方法。此外，本文中描述的实施例能够在训练期间学习物理上可解释工具参数。
在另一实施例中，前向物理模型经实施或近似表示为额外神经网络。举例来说，可经由深度学习神经层实施前向物理模型，其实际上可如原始模型那样形成神经网络且执行精确数学计算。由于原始模型数学是可微分的，故其神经网络实施方案允许在训练期间应用反向传播。以此方式，将前向物理模型实施为神经网络表示通过神经网络精确地实施物理模型的数学。然而，在精确实施方案不可能或模型不可直接微分的情况中，可将前向物理模型近似表示为神经网络。
在一些实施例中，前向物理模型包含对应于用于产生样品的输入图像的成像参数的模型参数。举例来说，前向物理模型可包含(但不限于)本文中描述的任何成像子系统(例如，晶片检验工具、掩模工具等)的全部可能成像设置参数。
在进一步实施例中，前向物理模型包含对应于产生样品的输入图像所涉及的物理参数的模型参数。举例来说，前向物理模型可包含(但不限于)来自第一原理物理学的全部可能成像/物理模型参数。
在一个实施例中，前向物理模型包含至少一个可调整模型参数。举例来说，取决于使用情况，可将前向物理模型的一些参数训练为可训练参数。如果选取任何参数来进行训练，那么用于训练的其初始值可是(a)来自物理有效值范围的随机值；(b)硬件粗略测量；(c)硬件精细校准值；或(d)软件精细校准值。在一个特定实例中，可从具有孔径“A”的检验工具抓取图像。孔径“A”是已知工具参数，且孔径“A”可用于估计工具的粗略点扩散函数(PSF)。然而，精细(或精确)PSF可是未知的。因此，精细(或精确)PSF可是可训练的。在另一实施例中，前向物理模型包含至少一个固定模型参数。举例来说，如果参数的全部或部分表示硬件规格或校准硬件参数，那么允许其在训练期间是固定的。此外，前向物理模型可包含至少一个可调整模型参数及至少一个固定模型参数。换句话说，前向物理模型的一些模型参数可是固定的且其它模型参数可是可调整的。以此方式，无、部分或全部模型参数可是可训练的，且无、部分或全部模型参数可是固定的。
所述一或多个组件进一步包含图1中展示的残余层108，其经配置用于确定训练集中的输入图像与在所述集中的对应输出图像之间的差异。举例来说，如图2中展示，系统可包含残余层210。可将输入图像200及模型变换特征208输入到残余层，残余层可确定输入图像与其对应模型变换特征之间的差异，所述差异可输出为残余图像212。以此方式，残余层可确定质量度量。举例来说，可将(若干)原始变换特征与(若干)重新产生的变换特征之间的差异计算为用于训练的度量。一般来说，残余层测量重新变换数据(即，前向物理模型的输出)与原始数据(即，到神经网络的输入)之间的类似性。用于类似性测量的可能度量包含(但不限于)各种距离测量(例如，L1、L2、L_inf、Manhattan等)、各种互相关、相互信息等。不同于神经网络及前向物理模型，残余层通常将不具有可训练参数。
所述一或多个计算机子系统经配置用于基于经确定差异更改神经网络的一或多个参数，借此训练神经网络。所述一或多个计算机子系统的训练目的是尽可能小地最小化残余层输出。由(若干)计算机子系统基于差异更改的神经网络的参数可包含本文中描述的任何神经网络的任何可训练参数(例如，CNN的可训练参数)。另外，(若干)计算机子系统可经配置以按无监督式方式训练神经网络；也就是说，训练不需要针对用于训练神经网络的训练集中的输入图像的标签(或任何等效物)。输入图像的训练集也可包含具有任意大小的(光学、电子束等)图像集合。
(若干)计算机子系统也可经配置用于训练神经网络及前向物理模型。可同时执行两个模型的此训练。在训练时间，(若干)计算机子系统可使用在选定物理条件下收集的图像(用作到神经网络的输入)(因此其是训练集中的输入图像)及用于前向物理模型的物理参数(用作超参数(可训练或固定))。
可针对特定样品(例如，特定晶片或光罩)、工艺及成像参数产生本文中描述的神经网络。换句话说，本文中描述的神经网络可是样品特定、工艺特定及成像参数特定的。举例来说，在一个实施例中，每一神经网络可经训练以专用于特定设计及晶片层。接着，经训练神经网络将仅用于针对所述层执行预测。以此方式，可针对不同晶片层产生不同神经网络。然而，在另一实施例中，可使用来自不同设计及晶片类型层的数据训练单个神经网络。所得神经网络可用于通常针对包含于训练数据中的全部类型的样品执行预测。一般来说，只要可跨工具重复选定成像模式，神经网络便可独立于工具。举例来说，相同类型的工具可具有相同规格。因此，经训练模型不需要链接到在其上获取训练数据的工具。可使用不同训练数据集产生不同神经网络中的每一者。可以任何适合方式产生不同训练数据集中的每一者。
本文中描述的实施例也可经配置用于以各种方式部署神经网络且用于在如本文中进一步描述那样训练神经网络之后产生各种输出。举例来说，如图3中展示，在一个部署方式中，经训练神经网络302可自身经部署(无前向物理模型且无残余层)。以此方式，在运行时间(或部署)期间，可由(若干)计算机子系统(图3中未展示，其可是训练神经网络的(若干)相同计算机子系统或可是(若干)不同计算机子系统)将运行时间图像300输入到经训练神经网络302，从而产生经反转特征304(其是经训练神经网络的输出)。可连同用于产生运行时间图像的成像参数(图3中未展示)将运行时间图像300输入到经训练神经网络302。运行时间图像300也可具有任意大小。如本文中使用的术语“运行时间”图像仅表示输入到经训练神经网络的测试图像。因而，在一个部署情境中，仅部署INN(经训练神经网络)的第一模型，其将在预测时间单独产生经反转特征(或经反转图像)。
在不同部署方式中，如图4中展示，可使用前向物理模型406及残余层410部署经训练神经网络402。可或可不如本文中描述那样训练前向物理模型406。以此方式，在部署期间将运行时间图像400输入到经训练神经网络，这产生经反转特征404。因而，在运行时间(或部署)期间，可由(若干)计算机子系统(图4中未展示，其可是训练神经网络的(若干)相同计算机子系统或可是(若干)不同计算机子系统)将运行时间图像400输入到经训练神经网络402，从而产生经反转特征404(其是经训练神经网络的输出)。可连同用于产生运行时间图像的成像参数(图4中未展示)将运行时间图像400输入到经训练神经网络402。运行时间图像400也可具有任意大小。可将经反转特征404输入到前向物理模型406，其产生模型变换特征408。接着，可组合图像400将模型变换特征输入到残余层410，残余层410可使用所述输入来产生残余图像412。
因而，在另一部署情境中，部署整个INN(经训练神经网络、前向物理模型(经训练或未经训练)及残余层)，其将产生经反转特征(或经反转图像)及残余图像两者。以此方式，经反转特征/图像是来自INN的所要结果，“模型变换”是描述INN执行情况的中间数据，且“残余图像”是INN的性能或“良好度”的定量测量。举例来说，预期“残余”图像在每一像素处的值接近零。因此，残余图像中的像素值可用于识别INN模型的任何灾难性失效。也就是说，如果“残余”图像在某些像素处具有相对大值，那么这是INN模型在产生经反转图像方面表现较差的指示。因此，可针对这些位置过滤所产生的经反转图像。
本文中描述的实施例可经配置用于执行数个不同类型的变换(即，将输入图像变换为经反转特征)。举例来说，经反转图像/特征针对不同使用情况可是不同事物，这是因为物理模型针对每一使用情况是不同的。换句话说，神经网络的配置将取决于在训练期间使用的前向物理模型。举例来说，在一个实施例中，一或多个计算机子系统经配置以将样品或另一样品的运行时间图像输入到经训练神经网络中使得经训练神经网络针对运行时间图像确定经反转特征，且经反转特征是运行时间图像的光学校正版本的特征。因此，此配置可执行输入图像的反卷积。以此方式，经反转特征可是所要清晰图像(用于反卷积)。虽然在本文中使用术语“光学校正”，但可针对光学及其它类型(例如，电子束及离子束)的成像效应校正“光学校正”版本。换句话说，运行时间图像的“光学校正”版本不仅限于输入图像的基于光的成像校正。
可以数个不同方式校正运行时间图像的光学校正版本。举例来说，可针对由从样品产生运行时间图像的成像子系统或系统引起或由样品自身(或对样品执行的一或多个过程)引起的模糊、对比度、色彩、噪声及其它不利成像效应光学校正运行时间图像。在一个此实例中，运行时间图像可是输入到经训练神经网络的模糊图像，经训练神经网络产生模糊图像的经反转特征/图像(即，清晰图像)。以此方式，在反卷积情况中，经反转特征/图像是通过从运行时间图像移除模糊而产生的清晰图像。如果使用前向物理模型及残余层部署INN，那么前向物理模型(在此情况中为光学模型)可是给定波长、PSF等的光学模糊模型。前向物理模型基于所产生的“清晰”图像产生模型变换特征/图像，即，模拟模糊图像。接着，残余层可从运行时间图像减去模拟模糊图像(或反之亦然)以产生残余图像。
也可针对分辨率问题及/或为了改进运行时间图像的分辨率校正图像的光学校正版本。举例来说，在一些实施例中，神经网络可经配置以从低分辨率输入图像产生一或多个高分辨率图像。因此，本文中描述的实施例可经配置以出于增强分辨率的目的而用于反卷积，其可借此改进例如检验、度量衡及复检的应用的缺陷信噪比(SNR)。另外，本文中描述的实施例可经配置以出于增强电子束及/或离子束分辨率的目的而用于电子束及/或离子束反卷积，其可借此改进例如检测、度量衡及复检的应用的缺陷SNR比率。以此方式，运行时间图像的光学校正版本可包含样本的更特定信息，其接着可用于缺陷检测、分类、复检等。
在额外实施例中，所述一或多个计算机子系统经配置以将样品或另一样品的运行时间图像输入到经训练神经网络中使得：经训练神经网络针对运行时间图像确定经反转特征；前向物理模型从针对运行时间图像确定的经反转特征重建运行时间图像；及残余层确定运行时间图像与经重建运行时间图像之间的差异，其中经反转特征是运行时间图像的光学校正版本的特征，且运行时间图像与经重建运行时间图像之间的差异是残余图像的特征。因此，在一个实施例中，可在与训练中相同的成像条件下从成像子系统或系统收集原始运行时间图像。接着，可将原始运行时间图像输入到经训练INN模型以产生经反卷积图像(即，“经反转”图像)及残余图像。经反卷积图像可是比原始图像更清晰的图像，且其可具有更高分辨率，借此改进用于缺陷检测的SNR。残余图像可用于识别INN模型的灾难性失效，如本文中进一步描述。
如本文中使用的术语样品的“低分辨率图像”大体上定义为图像，其中未分辨形成于产生图像的样品的区域中的全部图案化特征。例如，如果产生低分辨率图像的样本的区域中的一些图案化特征的大小足够大以使其可分辨，那么其可在低分辨率图像中分辨。然而，低分辨率图像并非按使图像中的全部图案化特征可分辨的分辨率产生。以此方式，如本文中使用的术语“低分辨率图像”并不含有关于样本上的图案化特征的信息(其足以使低分辨率图像用于例如缺陷复检(其可包含缺陷分类及/或验证)及度量衡的应用)。另外，如本文中使用的术语“低分辨率图像”一般是指由检验系统产生的图像，其通常具有相对较低分辨率(例如，低于缺陷复检及/或度量衡系统)以便具有相对快速的处理能力。
“低分辨率图像”也可是“低分辨率”，其中其具有低于本文中描述的“高分辨率图像”的分辨率。如本文中使用的术语“高分辨率图像”一般可定义为图像，其中使用相对高的精确度分辨样本的全部图案化特征。以此方式，在高分辨率图像中分辨针对其产生高分辨率图像的样本的区域中的全部图案化特征而不管其大小。因而，如本文中使用的术语“高分辨率图像”含有关于样本的图案化特征的信息，其足以使高分辨率图像用于例如缺陷复检(其可包含缺陷分类及/或验证)及度量衡的应用。另外，如本文中使用的术语“高分辨率图像”一般是指在例行操作期间无法通过检验系统产生的图像，其经配置以牺牲分辨能力而增大处理能力。
在另一实施例中，所述一或多个计算机子系统经配置以将样品或另一样品的运行时间图像输入到经训练神经网络中使得经训练神经网络针对运行时间图像确定经反转特征，且经反转特征是运行时间图像的振幅及相位版本的特征。举例来说，运行时间图像可是输入到经训练神经网络的强度图像，在此配置中其可产生经反转特征/图像，即，振幅及相位图像(用于相位恢复)。如果经部署INN包含前向物理模型及残余层，那么前向物理模型(例如，光学模型)(即，给定波长、PSF、振幅传递函数(ATM)等的图像形成模型等)可基于给定经产生“振幅”及“相位”图像的光学模型而产生模型变换特征/图像，即，模拟强度图像。残余层可从模型变换特征/图像减去经反转特征/图像(或反之亦然)，借此产生残余图像。
因此，本文中描述的实施例根本上不同于当前使用的方法及系统，这是因为本文中描述的实施例组合神经网络(例如，机器学习、深度学习等)与成像模拟(即，前向物理模型)。另外，本文中描述的实施例是通过寻找关于如何针对反演问题(而非每一问题)组合神经网络与物理模型的突破点且建立用以解决且实施其的系统方式而产生。相比之下，深度学习被行业广泛采用，尤其用于图像分类及语言处理。至今，大多数应用及研究将深度学习/机器学习视为黑盒子。另外，至今，不存在组合深度学习(即，神经网络)与物理模型或使用物理模型来导引神经网络的学习的明确方式。
针对计算机科学及图像处理社群，如果必须使用基于训练的方法，那么通常经由监督式方式解决反演问题(即，反卷积)。这些应用主要致力于不具有强成像效应(如散射、干涉等)的自然图像。因此，在无物理/成像模型的导引下学习模型是可负担的。然而，针对必须考虑强物理/成像相互作用的应用(例如，纳米级晶片)，单纯(蛮力)训练方法通常导致对于未见数据(归因于过度拟合)的实质上不良一般化性能。
在过去数十年中，在物理、化学及计算机科学领域中的许多人已进行大量努力来探索机器学习(例如，基于核心的方法)方法是否可用来训练用于学习复杂物理模型(例如，预测能量)的模型。一般来说，理念是使用机器学习来取代常规分析方法而非组合机器学习与常规分析方法。一般来说，归因于经训练模型的精确度差，故无太大的突破。即使深度学习在过去三年中变得流行，在科学社群中的主要努力仍是将其用作黑盒子或将其视为分析物理模型的替代品。
因此，本文中描述的实施例具有优于当前使用方法及系统的数个优点。举例来说，本文中描述的实施例组合神经网络(例如，机器学习、深度学习等)与成像模拟(即，前向物理模型)。以此方式，本文中描述的实施例能够解决成像反演问题，其经由第一原理光学或常规优化方法(例如，反卷积)通常是不可能或极缓慢的。本文中描述的实施例也不具有当前使用的反卷积方法及系统的欠定问题，这是因为本文中描述的实施例在数学上学习如何经由神经网络(鉴于使用相对大量训练数据集，其经良好约束)执行反卷积变换，而非如当前使用的方法般优化“反卷积输出”。另外，本文中描述的实施例不具有当前使用的反卷积方法及系统的欠定问题，这是因为数学公式或神经网络拓扑对反演过程的学习添加约束。本文中描述的实施例进一步不具有当前使用的反卷积方法及系统的欠定问题，这是因为前向物理模型对反演过程的学习添加来自第一原理的约束。此外，这些约束有助于改进一般化且防止过度拟合。另外，(例如)与通用机器学习/深度学习模型相比，基于第一原理成像的(若干)成像层(即，前向物理模型)极大减少模型参数的数目。此外，本文中描述的实施例可组合成像工具设计与INN以经由反卷积改进成像分辨率。
本文中描述的实施例也经配置为统一模型。以此方式，代替两步骤法，INN是用于训练及预测的统一模型。本文中描述的实施例也能够学习复杂成像效应且从第一原理成像解释所述成像效应。此方法能够学习复杂及多样成像效应(衍射、干涉、部分相干性等)。另外，不同于一般机器学习模型，在INN中学习的工具参数具有明确物理意义，其可有助于理解且导引模型设计。
本文中描述的实施例进一步不需要标记且具有相对快速的设置时间。举例来说，如本文中进一步描述，INN的训练是无监督式。本文中描述的实施例也经配置用于相对快速的训练时间及相对快速的运行时间。举例来说，更少数目个参数及前向物理模型使训练快于通用机械学习/深度学习模型。另外，本文中描述的实施例提供生产运行时间的更快速度(即，可进行相对快速预测)。此外，本文中描述的实施例实现对工具的实时处理。在本文中描述的实施例的上下文中的实时处理是指使用固定计算硬件的算法的处理时间，其等于或快于硬件的数据收集时间。因此，硬件可按最大处理能力运行。举例来说，如果从检验工具收集图像耗费约1ms，那么算法可至少在1ms中运行。以此方式，INN的预测时间足够快以跟上成像子系统或系统(硬件)的数据收集速度。在当前使用的方法中，可提供像样结果的方法通常需要迭代非线性优化，其比“实时”要求慢数个数量级。
本文中描述的实施例可经配置以使用经反转图像可能组合运行时间图像执行数个不同功能。可如本文中进一步描述那样执行这些功能中的每一者。
在一个实施例中，所述一或多个计算机子系统经配置以将样品或另一样品的运行时间图像输入到经训练神经网络中使得经训练神经网络针对运行时间图像确定经反转特征，经反转特征是运行时间图像的光学校正版本的特征，所述一或多个计算机子系统经配置用于对在运行时间图像或运行时间图像的光学校正版本中检测的缺陷进行分类，且分类是基于运行时间图像的光学校正版本而执行。举例来说，运行时间图像可是样品或另一样品的光学图像且运行时间图像的光学校正版本可包含样品或另一样品的较高分辨率图像，例如可由电子束成像子系统产生的图像及/或样品或另一样品的设计数据或设计信息的图像。
光学图像到SEM及/或设计变换的一个益处是光学检验仍是半导体制造工艺中的大量生产良率的关键。归因于缺乏分辨率，由光学检测器检测的缺陷需要用于缺陷分类的SEM复检。将光学自动变换为SEM及/或设计的方法可潜在减少对于良率管理的SEM复检需要，借此减少总检测循环时间。举例来说，本文中描述的实施例可无需在样品检测之后获取缺陷复检系统上的SEM图像，这是因为本文中描述的运行时间图像的光学校正版本可1)在无样品或另一样品及无成像硬件的情况下获取及2)用于缺陷复检应用，例如缺陷分类。
可如本文中描述那样在运行时间图像及/或运行时间图像的光学校正版本中检测由一或多个计算机子系统分类的缺陷。另外，可以此项技术中已知的任何适合方式执行基于运行时间图像的光学校正版本对缺陷进行分类。举例来说，运行时间图像的光学校正版本可用作到此项技术中已知的任何适合缺陷分类方法及/或算法的输入。换句话说，运行时间图像的光学校正版本可用作用于缺陷分类的任何其它图像。由本文中描述的实施例执行的缺陷分类的结果可具有任何适合格式(例如，缺陷分类码等)。
在进一步实施例中，所述一或多个计算机子系统经配置以将样品或另一样品的运行时间图像输入到经训练神经网络中使得经训练神经网络针对运行时间图像确定经反转特征，经反转特征是运行时间图像的光学校正版本的特征，且所述一或多个计算机子系统经配置用于基于运行时间图像的光学校正版本检测样品或另一样品上的缺陷。(若干)计算机子系统可经配置以使用运行时间图像的光学校正版本以按任何适合方式检测样品或另一样品上的缺陷。举例来说，(若干)计算机子系统可经配置以将一或多个缺陷检测算法及/或方法(其可包含此项技术中已知的任何适合缺陷检测算法及/或方法)应用到运行时间图像的光学校正版本。在一个此实例中，(若干)计算机子系统可经配置以比较运行时间图像的光学校正版本与样品或另一样品的参考且接着将阈值应用到比较结果。具有高于阈值的比较结果的运行时间图像的光学校正版本中的像素可识别为缺陷而具有低于阈值的比较结果的运行时间图像的光学校正版本中的像素可不识别为缺陷。
在另一实例中，(若干)计算机子系统可经配置用于单个图像检测，如2016年11月16日由卡尔桑迪(Karsenti)等人申请的第15/353,210美国专利申请案中描述，所述申请案以宛如全文陈述引用的方式并入本文中。在一个此实施例中，如本专利申请案中描述，由神经网络针对输入图像确定的经反转特征可用于检测运行时间图像的光学校正版本中的缺陷。举例来说，(若干)计算机子系统可经配置用于基于以下每一者选择输入图像中的像素或像素块的标签：(1)经反转特征；及(2)经反转特征图卷的像素或像素块到标签中的映射。计算机子系统可进一步经配置用于基于像素或块的选定标签而检测样品或另一样品上的缺陷。
另外，(若干)计算机子系统可经配置以使用运行时间图像组合运行时间图像的光学校正版本来检测样品或另一样品上的缺陷。举例来说，如果运行时间图像是低分辨率图像且运行时间图像的光学校正版本包含高分辨率图像，那么可在高分辨率图像中识别在低分辨率图像中检测的缺陷的位置以确定缺陷的设计内容，其接着可用于确定缺陷是否是扰乱点缺陷或实际缺陷。另外，可使用在低分辨率图像中检测的缺陷的位置来识别高分辨率图像中的缺陷的位置以确定在高分辨率图像中是否存在(可检测)缺陷。如果可在高分辨率图像中检测缺陷，那么将缺陷指定为实际缺陷。如果无法在高分辨率图像中检测缺陷，那么将缺陷指定为扰乱点缺陷。
在额外实施例中，所述一或多个计算机子系统经配置以将样品或另一样品的运行时间图像输入到经训练神经网络中使得经训练神经网络针对运行时间图像确定经反转特征，经反转特征是运行时间图像的光学校正版本的特征，且所述一或多个计算机子系统经配置用于基于运行时间图像的光学校正版本测量样品或另一样品的一或多个特征或在样品或另一样品上检测的缺陷。举例来说，神经网络可经配置使得由神经网络产生的运行时间图像的光学校正版本是从运行时间图像(其是低分辨率图像)产生的高分辨率图像。因此，与运行时间图像相比，运行时间图像的光学校正版本可含有更多关于形成于样品或另一样品上的特征(例如，例如线、间隔、接点等的图案化特征以及样品或另一样品上的缺陷)的细节。(若干)计算机子系统接着可使用运行时间图像的光学校正版本来测量或确定样品或另一样品上的特征的一或多个特性。
可以任何适合方式确定特征的一或多个特性。另外，由(若干)计算机子系统确定或测量的特征的一或多个特性可包含任何适合特性，例如尺寸(例如，线宽、接触直径等)、形状、相对位置等。可由(若干)计算机子系统对运行时间图像的光学校正版本执行测量，如由达菲(Duffy)等人于2016年4月28日发表的第2016/0116420号美国专利申请公开案、由帕克(Park)等人于2016年12月22日发表的第2016/0372303号美国专利申请公开案及由古普塔(Gupta)等人于2016年12月29日发表的第2016/0377425号美国专利申请公开案中描述，所述案以宛如全文陈述引用的方式并入本文中。可如这些公开案中描述那样进一步配置本文中描述的实施例。
在一些实施例中，所述一或多个计算机子系统经配置以将样品或另一样品的运行时间图像的堆叠输入到经训练神经网络中使得经训练神经网络针对运行时间图像的堆叠确定经反转特征，经反转特征是运行时间图像的堆叠的相位信息，且所述一或多个计算机子系统经配置用于基于相位信息增加对于样品或另一样品上的缺陷的选择性。举例来说，可针对光学相位恢复执行本文中描述的实施例以从光学图像的堆叠产生相位信息，其可用于增加缺陷选择性。特定来说，在光学相位恢复使用情况中，INN产生是经反转图像(其是振幅及相位图像)，所述经反转图像含有可用于有助于SNR、检测等的相位信息。可以此项技术中已知的任何适合方式执行基于相位信息增加对于缺陷的选择性。
在一个实施例中，所述一或多个计算机子系统经配置用于基于训练的结果确定针对用于产生输入图像的一或多个参数的一或多个调整。举例来说，本文中描述的实施例可经配置用于实质上准确工具校准。换句话说，可在INN的训练期间从粗略测量初始工具参数优化出优选工具参数，且经优化的参数是优选校准值。在一个特定实例中，可从具有孔径“A”的检验工具抓取图像。孔径“A”是已知工具参数，且孔径“A”可用于估计工具的粗略PSF。然而，精细(或精确)PSF是未知的。因此，精细(或精确)PSF可是可训练的。接着可基于这些结果执行针对PSF的工具校准。举例来说，粗略PSF用作用于训练的初始值。在完成训练之后，将经优化的PSF视为精细校准的PSF。
本文中描述的实施例可进一步经配置用于执行其它变换(从输入图像到模拟图像)，例如在以下共同拥有的美国专利申请案中所描述者：由张(Zhang)等人于2016年6月7日申请的第15/176,139号美国专利申请案；由卡尔桑迪(Karsenti)等人于2016年11月16日申请的第15/353,210号美国专利申请案；由巴斯卡(Bhaskar)等人于2016年12月29日申请的第15/394,790号美国专利申请案；由巴斯卡(Bhaskar)等人于2016年12月29日申请的第15/394,792号美国专利申请案；由张(Zhang)等人于2017年1月2日申请的第15/396,800号美国专利申请案；由巴斯卡(Bhaskar)等人于2017年1月9日申请的第15/402,094号美国专利申请案；由巴斯卡(Bhaskar)等人于2017年1月9日申请的第15/402,169号美国专利申请案；由帕克(Park)等人于2017年1月9日申请的第15/402,197号美国专利申请案；及由张(Zhang)等人于2017年5月23日申请的第15/603,249号美国专利申请案，所述申请案以宛如全文陈述引用的方式并入本文中。可如这些专利申请案中描述那样进一步配置本文中描述的实施例。另外，本文中描述的实施例可经配置以执行这些专利申请案中描述的任何步骤。
经配置以训练神经网络的系统的另一实施例包含经配置用于产生样品的图像的成像子系统。成像子系统可具有本文中描述的任何配置。系统也包含一或多个计算机子系统(例如，图1中展示的(若干)计算机子系统102)，其经配置用于获取图像且从经获取图像产生输入图像的训练集。可如本文中进一步描述那样配置(若干)计算机子系统。系统也包含由一或多个计算机子系统实行的一或多个组件(例如，(若干)组件100)，其可包含本文中描述的(若干)组件中的任一者。(若干)组件包含神经网络104、前向物理模型106及残余层108，可如本文中描述那样配置其中的每一者。举例来说，神经网络经配置用于确定输入到神经网络的样品的训练集中的输入图像的经反转特征。前向物理模型经配置用于从经反转特征重建输入图像，借此产生对应于训练集中的输入图像的输出图像集。残余层经配置用于确定训练集中的输入图像与其在所述集中的对应输出图像之间的差异。(若干)计算机子系统也经配置用于基于经确定差异更改神经网络的一或多个参数，借此训练神经网络。可如本文中描述那样进一步配置此系统实施例。
可将上文描述的每一系统的每一实施例一起组合为一个单个实施例。
另一实施例涉及一种用于训练神经网络的计算机实施方法。所述方法包含通过将输入图像的训练集输入到神经网络而确定样品的所述训练集中的输入图像的经反转特征。所述方法也包含通过将所述经反转特征输入到前向物理模型中而从所述经反转特征重建所述输入图像，借此产生对应于所述训练集中的所述输入图像的输出图像集。另外，所述方法包含确定所述训练集中的所述输入图像与其在所述集中的对应输出图像之间的差异。所述方法进一步包含基于所述经确定差异确定所述神经网络的一或多个参数，借此训练所述神经网络。由一或多个计算机系统执行确定所述经反转特征、重建所述输入图像、确定所述差异及更改所述一或多个参数。由所述一或多个计算机系统实行一或多个组件，且所述一或多个组件包含所述神经网络及所述前向物理模型。
可如本文中进一步描述那样执行方法的每一步骤。方法也可包含可由本文中描述的系统、(若干)计算机子系统及/或成像系统或子系统执行的(若干)任何其它步骤。可根据本文中描述的任何实施例配置一或多个计算机系统、一或多个组件、神经网络及前向物理模型，例如，(若干)计算机子系统102、(若干)组件100、神经网络104及前向物理模型106。另外，上文描述的方法可由本文中描述的任何系统实施例执行。
额外实施例涉及一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在一或多个计算机系统上实行以执行用于训练神经网络的计算机实施方法。在图5中展示一个此实施例。特定来说，如图5中展示，非暂时性计算机可读媒体500包含可在(若干)计算机系统504上实行的程序指令502。计算机实施方法可包含本文中描述的(若干)任何方法的(若干)任何步骤。
实施例如本文中描述的方法的程序指令502可存储于计算机可读媒体500上。计算机可读媒体可是存储媒体，例如磁盘或光盘、磁带或此项技术中已知的任何其它适合非暂时性计算机可读媒体。
可以各种方式(包含基于程序的技术、基于组件的技术及/或面向对象技术等等)中的任何者实施程序指令。举例来说，可视需要使用ActiveX控件、C++对象、JavaBeans、微软基础类别(“MFC”)、SSE(流式SIMD扩展)或其它技术或方法论实施程序指令。
可根据本文中描述的任何实施例配置(若干)计算机系统504。
鉴于此描述，所属领域的技术人员将明白本发明的各种方面的进一步修改及替代实施例。举例来说，提供用于训练神经网络的方法及系统。因此，此描述应仅解释为说明性且是出于教示所属领域的技术人员实行本发明的一般方式的目的。应理解，本文中展示及描述的本发明的形式将视为当前优选实施例。如所属领域的技术人员在获益于本发明的此描述之后将明白，元件及材料可取代本文中说明及描述的元件及材料，部分及过程可颠倒，且可独立利用本发明的特定特征。在不脱离如在以下权利要求书中描述的本发明的精神及范围的情况下可对本文中描述的元件做出改变。

Claims (31)

1.一种经配置以训练神经网络的系统，其包括：
一或多个计算机子系统；及
一或多个组件，其由所述一或多个计算机子系统实行，其中所述一或多个组件包括：
神经网络，其经配置用于确定输入到所述神经网络的样品的训练集中的输入图像的经反转特征；
前向物理模型，其经配置用于从所述经反转特征重建所述输入图像，借此产生对应于所述训练集中的所述输入图像的输出图像集；及
残余层，其经配置用于确定所述训练集中的所述输入图像与在所述集中的对应输出图像之间的差异；
其中所述一或多个计算机子系统经配置用于基于所述经确定差异更改所述神经网络的一或多个参数，借此训练所述神经网络。
2.根据权利要求1所述的系统，其中所述神经网络经配置为卷积神经网络。
3.根据权利要求1所述的系统，其中所述神经网络经配置为完全卷积模型。
4.根据权利要求1所述的系统，其中所述神经网络经配置为深度生成模型。
5.根据权利要求1所述的系统，其中所述神经网络经配置为生成对抗网。
6.根据权利要求1所述的系统，其中所述神经网络经配置为条件式生成对抗网。
7.根据权利要求1所述的系统，其中所述神经网络经配置为生成对抗网络及变分自动编码器。
8.根据权利要求1所述的系统，其中所述神经网络的部分经配置为卷积神经网络。
9.根据权利要求1所述的系统，其中所述前向物理模型经配置为可微分前向物理模型。
10.根据权利要求1所述的系统，其中所述前向物理模型经实施或近似表示为额外神经网络。
11.根据权利要求1所述的系统，其中所述前向物理模型包括对应于用于产生所述样品的所述输入图像的成像参数的模型参数。
12.根据权利要求1所述的系统，其中所述前向物理模型包括对应于产生所述样品的所述输入图像所涉及的物理参数的模型参数。
13.根据权利要求1所述的系统，其中所述前向物理模型包括至少一个可调整模型参数。
14.根据权利要求1所述的系统，其中所述前向物理模型包括至少一个固定模型参数。
15.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置以将所述样品或另一样品的运行时间图像输入到经训练神经网络中使得所述经训练神经网络针对所述运行时间图像确定所述经反转特征，且其中所述经反转特征是所述运行时间图像的光学校正版本的特征。
16.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置以将所述样品或另一样品的运行时间图像输入到经训练神经网络中使得所述经训练神经网络针对所述运行时间图像确定所述经反转特征，且其中所述经反转特征是所述运行时间图像的振幅及相位版本的特征。
17.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置以将所述样品或另一样品的运行时间图像输入到所述经训练神经网络中使得：
所述经训练神经网络针对所述运行时间图像确定所述经反转特征；
所述前向物理模型从针对所述运行时间图像确定的所述经反转特征重建所述运行时间图像；且
所述残余层确定所述运行时间图像与所述经重建运行时间图像之间的差异，其中所述经反转特征是所述运行时间图像的光学校正版本的特征，且其中所述运行时间图像与所述经重建运行时间图像之间的所述差异是残余图像的特征。
18.根据权利要求1所述的系统，其中所述输入图像由基于电子束的成像系统产生。
19.根据权利要求1所述的系统，其中所述输入图像由基于光学的成像系统产生。
20.根据权利要求1所述的系统，其中所述输入图像由检验系统产生。
21.根据权利要求1所述的系统，其中所述输入图像由度量衡系统产生。
22.根据权利要求1所述的系统，其中所述样品是晶片。
23.根据权利要求1所述的系统，其中所述样品是光罩。
24.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置以将所述样品或另一样品的运行时间图像输入到所述经训练神经网络中使得所述经训练神经网络针对所述运行时间图像确定所述经反转特征，其中所述经反转特征是所述运行时间图像的光学校正版本的特征，且其中所述一或多个计算机子系统进一步经配置用于基于所述运行时间图像的所述光学校正版本检测所述样品或所述另一样品上的缺陷。
25.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置以将所述样品或另一样品的运行时间图像输入到所述经训练神经网络中使得所述经训练神经网络针对所述运行时间图像确定所述经反转特征，其中所述经反转特征是所述运行时间图像的光学校正版本的特征，其中所述一或多个计算机子系统进一步经配置用于对在所述运行时间图像或所述运行时间图像的所述光学校正版本中检测的缺陷进行分类，且其中所述分类是基于所述运行时间图像的所述光学校正版本执行。
26.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置以将所述样品或另一样品的运行时间图像输入到所述经训练神经网络中使得所述经训练神经网络针对所述运行时间图像确定所述经反转特征，其中所述经反转特征是所述运行时间图像的光学校正版本的特征，且其中所述一或多个计算机子系统进一步经配置用于基于所述运行时间图像的所述光学校正版本测量所述样品或所述另一样品的一或多个特征或在所述样品或所述另一样品上检测的缺陷。
27.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置以将所述样品或另一样品的运行时间图像的堆叠输入到所述经训练神经网络中使得所述经训练神经网络针对运行时间图像的所述堆叠确定所述经反转特征，其中所述经反转特征是运行时间图像的所述堆叠的相位信息，且其中所述一或多个计算机子系统进一步经配置用于基于所述相位信息增加对于所述样品或所述另一样品上的缺陷的选择性。
28.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置用于基于所述训练的结果确定针对用于产生所述输入图像的一或多个参数的一或多个调整。
29.一种经配置以训练神经网络的系统，其包括：
成像子系统，其经配置用于产生样品的图像；
一或多个计算机子系统，其经配置用于获取所述图像且从所述经获取图像产生输入图像的训练集；及
一或多个组件，其由所述一或多个计算机子系统实行，其中所述一或多个组件包括：
神经网络，其经配置用于确定输入到所述神经网络的所述样品的所述训练集中的所述输入图像的经反转特征；
前向物理模型，其经配置用于从所述经反转特征重建所述输入图像，借此产生对应于所述训练集中的所述输入图像的输出图像集；及
残余层，其经配置用于确定所述训练集中的所述输入图像与在所述集中的对应输出图像之间的差异；
其中所述一或多个计算机子系统经配置用于基于所述经确定差异更改所述神经网络的一或多个参数，借此训练所述神经网络。
30.一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在一或多个计算机系统上实行以执行用于训练神经网络的计算机实施方法，其中所述计算机实施方法包括：
通过将输入图像的训练集输入到神经网络而确定样品的所述训练集中的输入图像的经反转特征；
通过将所述经反转特征输入到前向物理模型中而从所述经反转特征重建所述输入图像，借此产生对应于所述训练集中的所述输入图像的输出图像集；
确定所述训练集中的所述输入图像与其在所述集中的对应输出图像之间的差异；及
基于所述经确定差异更改所述神经网络的一或多个参数，借此训练所述神经网络，其中由一或多个计算机系统执行所述确定所述经反转特征、所述重建所述输入图像、所述确定所述差异及所述更改所述一或多个参数，其中由所述一或多个计算机系统实行一或多个组件，且其中所述一或多个组件包括所述神经网络及所述前向物理模型。
31.一种用于训练神经网络的计算机实施方法，其包括：
通过将输入图像的训练集输入到神经网络而确定样品的所述训练集中的输入图像的经反转特征；
通过将所述经反转特征输入到前向物理模型中而从所述经反转特征重建所述输入图像，借此产生对应于所述训练集中的所述输入图像的输出图像集；
确定所述训练集中的所述输入图像与其在所述集中的对应输出图像之间的差异；及
基于所述经确定差异更改所述神经网络的一或多个参数，借此训练所述神经网络，其中由一或多个计算机系统执行所述确定所述经反转特征、所述重建所述输入图像、所述确定所述差异及所述更改所述一或多个参数，其中由所述一或多个计算机系统实行一或多个组件，且其中所述一或多个组件包括所述神经网络及所述前向物理模型。
CN201780033819.XA 2016-06-01 2017-06-01 针对半导体应用并入神经网络及前向物理模型的系统及方法 Active CN109313724B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662344214P 2016-06-01 2016-06-01
US62/344,214 2016-06-01
US15/609,009 US10346740B2 (en) 2016-06-01 2017-05-31 Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
US15/609,009 2017-05-31
PCT/US2017/035494 WO2017210455A1 (en) 2016-06-01 2017-06-01 Systems and methods incorporating a neural network and a forward physical model for semiconductor applications

Publications (2)

Publication Number Publication Date
CN109313724A true CN109313724A (zh) 2019-02-05
CN109313724B CN109313724B (zh) 2021-06-29

Family

ID=60479143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780033819.XA Active CN109313724B (zh) 2016-06-01 2017-06-01 针对半导体应用并入神经网络及前向物理模型的系统及方法

Country Status (8)

Country Link
US (1) US10346740B2 (zh)
EP (1) EP3465552B1 (zh)
JP (1) JP6853273B2 (zh)
KR (1) KR102213730B1 (zh)
CN (1) CN109313724B (zh)
IL (1) IL262787B (zh)
TW (1) TWI715773B (zh)
WO (1) WO2017210455A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929864A (zh) * 2019-12-05 2020-03-27 北京超放信息技术有限公司 光学衍射神经网络在线训练方法及系统
CN111524078A (zh) * 2020-04-20 2020-08-11 浙江大学 一种基于稠密网络的显微镜图像去模糊方法
CN111602144A (zh) * 2018-02-09 2020-08-28 渊慧科技有限公司 生成指令序列以控制执行任务的代理的生成神经网络系统
CN112236724A (zh) * 2018-06-08 2021-01-15 Asml荷兰有限公司 确定衬底上的一个或更多个结构的特性的量测设备和方法
CN112301322A (zh) * 2020-12-21 2021-02-02 上海陛通半导体能源科技股份有限公司 具有工艺参数智能调节功能的气相沉积设备及方法
CN113761979A (zh) * 2020-06-04 2021-12-07 富士通株式会社 用于优化模型的方法、设备和存储介质
CN113762461A (zh) * 2020-06-05 2021-12-07 辉达公司 使用可逆增强算子采用有限数据训练神经网络

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373055B1 (en) * 2016-05-20 2019-08-06 Deepmind Technologies Limited Training variational autoencoders to generate disentangled latent factors
US10181391B2 (en) * 2016-05-26 2019-01-15 Nanojehm Inc. Image processing system and method of processing images
US10197908B2 (en) 2016-06-21 2019-02-05 Lam Research Corporation Photoresist design layout pattern proximity correction through fast edge placement error prediction via a physics-based etch profile modeling framework
US10504004B2 (en) * 2016-09-16 2019-12-10 General Dynamics Mission Systems, Inc. Systems and methods for deep model translation generation
WO2018105028A1 (ja) * 2016-12-06 2018-06-14 三菱電機株式会社 検査装置及び検査方法
US11237872B2 (en) 2017-05-23 2022-02-01 Kla-Tencor Corporation Semiconductor inspection and metrology systems for distributing job among the CPUs or GPUs based on logical image processing boundaries
US11282695B2 (en) * 2017-09-26 2022-03-22 Samsung Electronics Co., Ltd. Systems and methods for wafer map analysis
TWI653605B (zh) 2017-12-25 2019-03-11 由田新技股份有限公司 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統
EP3531205A1 (en) 2018-02-22 2019-08-28 ASML Netherlands B.V. Control based on probability density function of parameter
US10969773B2 (en) 2018-03-13 2021-04-06 Applied Materials, Inc. Machine learning systems for monitoring of semiconductor processing
US10789703B2 (en) * 2018-03-19 2020-09-29 Kla-Tencor Corporation Semi-supervised anomaly detection in scanning electron microscope images
US11170255B2 (en) 2018-03-21 2021-11-09 Kla-Tencor Corp. Training a machine learning model with synthetic images
KR102565278B1 (ko) 2018-03-26 2023-08-09 삼성전자주식회사 영상 분할 방법, 영상 분할 장치, 및 영상 분할을 위한 학습 방법
US10670536B2 (en) 2018-03-28 2020-06-02 Kla-Tencor Corp. Mode selection for inspection
US10599951B2 (en) * 2018-03-28 2020-03-24 Kla-Tencor Corp. Training a neural network for defect detection in low resolution images
US10572697B2 (en) 2018-04-06 2020-02-25 Lam Research Corporation Method of etch model calibration using optical scatterometry
WO2019200015A1 (en) * 2018-04-10 2019-10-17 Lam Research Corporation Optical metrology in machine learning to characterize features
WO2019199697A1 (en) 2018-04-10 2019-10-17 Lam Research Corporation Resist and etch modeling
WO2019217835A1 (en) * 2018-05-10 2019-11-14 The Board Of Trustees Of The Leland Stanford Junior University Training of photonic neural networks through in situ backpropagation
US11460753B2 (en) 2018-05-10 2022-10-04 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for activation functions for photonic neural networks
US10824909B2 (en) 2018-05-15 2020-11-03 Toyota Research Institute, Inc. Systems and methods for conditional image translation
JP7328993B2 (ja) 2018-05-17 2023-08-17 マジック リープ， インコーポレイテッド ニューラルネットワークの勾配型敵対的訓練
CN110555800A (zh) * 2018-05-30 2019-12-10 北京三星通信技术研究有限公司 图像处理装置及方法
US10713569B2 (en) 2018-05-31 2020-07-14 Toyota Research Institute, Inc. System and method for generating improved synthetic images
US10592635B2 (en) 2018-05-31 2020-03-17 International Business Machines Corporation Generating synthetic layout patterns by feedforward neural network based variational autoencoders
CN110555340B (zh) * 2018-05-31 2022-10-18 赛灵思电子科技(北京)有限公司 神经网络计算方法和系统及相应的双神经网络实现
US10621301B2 (en) 2018-06-06 2020-04-14 International Business Machines Corporation Coordinates-based variational autoencoder for generating synthetic via layout patterns
EP3579052A1 (en) * 2018-06-08 2019-12-11 ASML Netherlands B.V. Metrology apparatus and method for determining a characteristic of one or more structures on a substrate
US11315231B2 (en) 2018-06-08 2022-04-26 Industrial Technology Research Institute Industrial image inspection method and system and computer readable recording medium
US10810460B2 (en) * 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
CN114997408A (zh) 2018-06-14 2022-09-02 诺威有限公司 半导体度量方法和半导体度量系统
CN112384860B (zh) * 2018-06-15 2023-12-08 Asml荷兰有限公司 基于机器学习的逆光学邻近效应校正和过程模型校准
TWI689875B (zh) * 2018-06-29 2020-04-01 由田新技股份有限公司 利用深度學習系統的自動光學檢測分類設備及其訓練設備
CN109061131A (zh) * 2018-06-29 2018-12-21 志诺维思（北京）基因科技有限公司 染色图片处理方法及装置
US10169852B1 (en) * 2018-07-03 2019-01-01 Nanotronics Imaging, Inc. Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging
KR101936029B1 (ko) * 2018-07-18 2019-01-11 한국과학기술정보연구원 딥러닝 기반의 가치 평가 방법 및 그 장치
US10846845B2 (en) * 2018-07-25 2020-11-24 Fei Company Training an artificial neural network using simulated specimen images
JP2020024121A (ja) * 2018-08-06 2020-02-13 澁谷工業株式会社 物品検査装置
WO2020031984A1 (ja) * 2018-08-08 2020-02-13 Ｂｌｕｅ Ｔａｇ株式会社 部品の検査方法及び検査システム
US11386304B2 (en) 2018-08-20 2022-07-12 Samsung Electronics Co., Ltd. Electronic device and method of controlling the same
WO2020055555A1 (en) * 2018-09-12 2020-03-19 Applied Materials, Inc. Deep auto-encoder for equipment health monitoring and fault detection in semiconductor and display process equipment tools
US10949964B2 (en) * 2018-09-21 2021-03-16 Kla Corporation Super-resolution defect review image generation through generative adversarial networks
US10314477B1 (en) 2018-10-31 2019-06-11 Capital One Services, Llc Systems and methods for dynamically modifying visual content to account for user visual impairment
KR20200055836A (ko) 2018-11-12 2020-05-22 삼성전자주식회사 데이터 분류 방법 및 장치, 분류기의 학습 방법 및 장치
KR102638267B1 (ko) 2018-12-03 2024-02-21 삼성전자주식회사 반도체 웨이퍼 불량 분석 시스템 및 그것의 동작 방법
US10740901B2 (en) * 2018-12-17 2020-08-11 Nvidia Corporation Encoder regularization of a segmentation model
US11010885B2 (en) * 2018-12-18 2021-05-18 Kla Corporation Optical-mode selection for multi-mode semiconductor inspection
US10923318B2 (en) * 2018-12-20 2021-02-16 Fei Company Optical alignment correction using convolutional neural network evaluation of a beam image
US11170475B2 (en) * 2019-01-10 2021-11-09 Kla Corporation Image noise reduction using stacked denoising auto-encoder
US11347788B2 (en) 2019-01-16 2022-05-31 Toyota Research Institute, Inc. Systems and methods for generating a requested image view
US11379967B2 (en) * 2019-01-18 2022-07-05 Kla Corporation Methods and systems for inspection of semiconductor structures with automatically generated defect features
CN109901835B (zh) * 2019-01-25 2020-09-04 北京三快在线科技有限公司 布局元素的方法、装置、设备及存储介质
US10977405B2 (en) 2019-01-29 2021-04-13 Lam Research Corporation Fill process optimization using feature scale modeling
US10482584B1 (en) * 2019-01-31 2019-11-19 StradVision, Inc. Learning method and learning device for removing jittering on video acquired through shaking camera by using a plurality of neural networks for fault tolerance and fluctuation robustness in extreme situations, and testing method and testing device using the same
US11294162B2 (en) * 2019-02-07 2022-04-05 Nanotronics Imaging, Inc. Fluorescence microscopy inspection systems, apparatus and methods with darkfield channel
US10922808B2 (en) 2019-02-14 2021-02-16 KLA—Tencor Corp. File selection for test image to design alignment
US11227102B2 (en) * 2019-03-12 2022-01-18 Wipro Limited System and method for annotation of tokens for natural language processing
US11047807B2 (en) * 2019-03-25 2021-06-29 Camtek Ltd. Defect detection
US11551348B2 (en) * 2019-04-09 2023-01-10 KLA Corp. Learnable defect detection for semiconductor applications
JP7203678B2 (ja) * 2019-04-19 2023-01-13 株式会社日立ハイテク 欠陥観察装置
US11900026B1 (en) 2019-04-24 2024-02-13 X Development Llc Learned fabrication constraints for optimizing physical devices
US11684253B2 (en) * 2019-04-24 2023-06-27 Topcon Corporation 2D multi-layer thickness measurement with reconstructed spectrum
US11379633B2 (en) 2019-06-05 2022-07-05 X Development Llc Cascading models for optimization of fabrication and design of a physical device
CN110246145B (zh) * 2019-06-21 2023-02-21 福州大学 一种腹部ct图像的分割方法
US11461519B2 (en) * 2019-06-24 2022-10-04 Nanyang Technological University Machine learning techniques for estimating mechanical properties of materials
US11880193B2 (en) 2019-07-26 2024-01-23 Kla Corporation System and method for rendering SEM images and predicting defect imaging conditions of substrates using 3D design
US11693386B2 (en) * 2019-08-27 2023-07-04 Samsung Eleotronics Co., Ltd. Method and electronic device for guiding semiconductor manufacturing process
US11126891B2 (en) 2019-09-11 2021-09-21 Toyota Research Institute, Inc. Systems and methods for simulating sensor data using a generative model
US11727169B2 (en) 2019-09-11 2023-08-15 Toyota Research Institute, Inc. Systems and methods for inferring simulated data
US11494695B2 (en) 2019-09-27 2022-11-08 Google Llc Training neural networks to generate structured embeddings
US11580650B2 (en) 2019-10-01 2023-02-14 KLA Corp. Multi-imaging mode image alignment
US11087449B2 (en) 2019-10-24 2021-08-10 KLA Corp. Deep learning networks for nuisance filtering
KR102144975B1 (ko) * 2019-11-08 2020-08-14 주식회사 알체라 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법
KR102282989B1 (ko) * 2019-12-26 2021-07-29 주식회사 나눔에너지 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템
SE1930421A1 (en) * 2019-12-30 2021-07-01 Unibap Ab Method and means for detection of imperfections in products
US11636322B2 (en) 2020-01-03 2023-04-25 Silicon Storage Technology, Inc. Precise data tuning method and apparatus for analog neural memory in an artificial neural network
EP3885813A1 (en) * 2020-03-27 2021-09-29 Leica Microsystems CMS GmbH Method and device for estimating a sted resolution
CN111461300B (zh) * 2020-03-30 2022-10-14 北京航空航天大学 光学残差深度网络构建方法
US11796794B2 (en) 2020-05-12 2023-10-24 The Board Of Trustees Of The Leland Stanford Junior University Multi-objective, robust constraints enforced global topology optimizer for optical devices
US11531842B2 (en) 2020-05-20 2022-12-20 Toyota Research Institute, Inc. Invertible depth network for image reconstruction and domain transfers
US11769242B2 (en) 2020-05-21 2023-09-26 Kla Corporation Mode selection and defect detection training
US11232554B1 (en) * 2021-06-07 2022-01-25 Elementary Robotics, Inc. Machine-learning based camera image triggering for quality assurance inspection processes
WO2022002399A1 (en) * 2020-07-02 2022-01-06 Ecole Polytechnique Federale De Lausanne (Epfl) Multicore fiber endoscope for phase imaging based on intensity recording using deep neural networks
CN112200218B (zh) * 2020-09-10 2023-06-20 浙江大华技术股份有限公司 一种模型训练方法、装置及电子设备
AU2021401816A1 (en) * 2020-12-18 2023-06-22 Strong Force Vcn Portfolio 2019, Llc Robot fleet management and additive manufacturing for value chain networks
WO2022182378A1 (en) * 2021-02-25 2022-09-01 Silicon Storage Technology, Inc. Precise data tuning method and apparatus for analog neural memory in an artificial neural network
CN113032778B (zh) * 2021-03-02 2021-09-21 四川大学 一种基于行为特征编码的半监督网络异常行为检测方法
CN113239978A (zh) * 2021-04-22 2021-08-10 科大讯飞股份有限公司 医学图像预处理模型与分析模型的相关方法和装置
US20220415683A1 (en) * 2021-06-27 2022-12-29 Tignis, Inc. Method for determining corrective film pattern to reduce semiconductor wafer bow
KR102617391B1 (ko) 2021-07-30 2023-12-27 주식회사 딥엑스 이미지 신호 프로세서의 제어 방법 및 이를 수행하는 제어 장치
CN117940616A (zh) * 2021-09-03 2024-04-26 朗姆研究公司 晶片处理工具的机器视觉检测
US11868689B2 (en) * 2021-10-11 2024-01-09 KLA Corp. Systems and methods for setting up a physics-based model
CN114036607B (zh) * 2021-11-03 2022-07-01 清华大学 多模态输入深度神经网络、框架结构梁柱设计方法及装置
CN114170107A (zh) * 2021-12-13 2022-03-11 浙江理工大学 一种基于生成对抗网络的浑浊水下偏振图像复原方法
US11922619B2 (en) 2022-03-31 2024-03-05 Kla Corporation Context-based defect inspection
US20230314336A1 (en) 2022-03-31 2023-10-05 Kla Corporation Multi-mode optical inspection
CN114880739B (zh) * 2022-04-25 2023-03-24 清华大学 生成式建筑结构设计方案的再优化设计方法和装置
JP2024021487A (ja) * 2022-08-03 2024-02-16 ＪＤＩ Ｄｅｓｉｇｎ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ 合同会社 検査方法、検査装置及びプログラム
WO2024088665A1 (en) * 2022-10-23 2024-05-02 Asml Netherlands B.V. Training a machine learning model to predict images representative of defects on a substrate

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050089215A1 (en) * 2003-10-25 2005-04-28 Carl Staelin Image artifact reduction using a neural network
CN103403724A (zh) * 2011-03-04 2013-11-20 东京毅力科创株式会社 用于基于库的临界尺寸（cd）计量的精确和快速的神经网络训练
CN104854677A (zh) * 2012-10-15 2015-08-19 科磊股份有限公司 使用缺陷特定的信息检测晶片上的缺陷

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08136466A (ja) * 1994-11-10 1996-05-31 Dainippon Screen Mfg Co Ltd 画像パターン検査装置
US5711843A (en) * 1995-02-21 1998-01-27 Orincon Technologies, Inc. System for indirectly monitoring and controlling a process with particular application to plasma processes
US6466314B1 (en) 1998-09-17 2002-10-15 Applied Materials, Inc. Reticle design inspection system
US6641746B2 (en) * 2001-09-28 2003-11-04 Agere Systems, Inc. Control of semiconductor processing
JP2003243470A (ja) * 2002-02-18 2003-08-29 Mitsubishi Electric Corp 異常検出システム、プログラムおよび記録媒体
US7729529B2 (en) * 2004-12-07 2010-06-01 Kla-Tencor Technologies Corp. Computer-implemented methods for detecting and/or sorting defects in a design pattern of a reticle
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
US9799098B2 (en) * 2007-04-24 2017-10-24 Massachusetts Institute Of Technology Method and apparatus for image processing
KR101448971B1 (ko) * 2007-08-20 2014-10-13 케이엘에이-텐코어 코오포레이션 실제 결함들이 잠재적으로 조직적인 결함들인지 또는 잠재적으로 랜덤인 결함들인지를 결정하기 위한 컴퓨터-구현 방법들
US8126255B2 (en) 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
US8238635B2 (en) 2008-03-21 2012-08-07 General Electric Company Method and system for identifying defects in radiographic image data corresponding to a scanned object
BRPI0910573B1 (pt) 2008-04-17 2019-09-03 The Travelers Indemnity Company sistema para processamento de uma reivindicação de seguro de propriedade
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
US8761476B2 (en) * 2011-11-09 2014-06-24 The Johns Hopkins University Hyperspectral imaging for detection of skin related conditions
US8716662B1 (en) 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
US9222895B2 (en) 2013-02-25 2015-12-29 Kla-Tencor Corp. Generalized virtual inspector
US9430824B2 (en) * 2013-05-14 2016-08-30 Kla-Tencor Corporation Machine learning method and apparatus for inspecting reticles
US9183624B2 (en) * 2013-06-19 2015-11-10 Kla-Tencor Corp. Detecting defects on a wafer with run time use of design data
US9612541B2 (en) * 2013-08-20 2017-04-04 Kla-Tencor Corporation Qualifying patterns for microlithography
US10483081B2 (en) 2014-10-22 2019-11-19 Kla-Tencor Corp. Self directed metrology and pattern classification
US10267746B2 (en) 2014-10-22 2019-04-23 Kla-Tencor Corp. Automated pattern fidelity measurement plan generation
US10650508B2 (en) * 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
US10062543B2 (en) 2015-06-23 2018-08-28 Kla-Tencor Corp. Determining multi-patterning step overlay error
US10416087B2 (en) 2016-01-01 2019-09-17 Kla-Tencor Corporation Systems and methods for defect detection using image reconstruction
US10319076B2 (en) * 2016-06-16 2019-06-11 Facebook, Inc. Producing higher-quality samples of natural images
US10043088B2 (en) * 2016-06-23 2018-08-07 Siemens Healthcare Gmbh Image quality score using a deep generative machine-learning model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050089215A1 (en) * 2003-10-25 2005-04-28 Carl Staelin Image artifact reduction using a neural network
CN103403724A (zh) * 2011-03-04 2013-11-20 东京毅力科创株式会社 用于基于库的临界尺寸（cd）计量的精确和快速的神经网络训练
CN104854677A (zh) * 2012-10-15 2015-08-19 科磊股份有限公司 使用缺陷特定的信息检测晶片上的缺陷

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111602144A (zh) * 2018-02-09 2020-08-28 渊慧科技有限公司 生成指令序列以控制执行任务的代理的生成神经网络系统
CN112236724A (zh) * 2018-06-08 2021-01-15 Asml荷兰有限公司 确定衬底上的一个或更多个结构的特性的量测设备和方法
CN110929864A (zh) * 2019-12-05 2020-03-27 北京超放信息技术有限公司 光学衍射神经网络在线训练方法及系统
CN110929864B (zh) * 2019-12-05 2023-04-18 北京超放信息技术有限公司 光学衍射神经网络在线训练方法及系统
CN111524078A (zh) * 2020-04-20 2020-08-11 浙江大学 一种基于稠密网络的显微镜图像去模糊方法
CN111524078B (zh) * 2020-04-20 2023-04-18 浙江大学 一种基于稠密网络的显微镜图像去模糊方法
CN113761979A (zh) * 2020-06-04 2021-12-07 富士通株式会社 用于优化模型的方法、设备和存储介质
CN113761979B (zh) * 2020-06-04 2023-11-14 富士通株式会社 用于优化模型的方法、设备和存储介质
CN113762461A (zh) * 2020-06-05 2021-12-07 辉达公司 使用可逆增强算子采用有限数据训练神经网络
CN112301322A (zh) * 2020-12-21 2021-02-02 上海陛通半导体能源科技股份有限公司 具有工艺参数智能调节功能的气相沉积设备及方法
CN112301322B (zh) * 2020-12-21 2021-04-13 上海陛通半导体能源科技股份有限公司 具有工艺参数智能调节功能的气相沉积设备及方法

Also Published As

Publication number Publication date
KR20190004000A (ko) 2019-01-10
EP3465552A1 (en) 2019-04-10
WO2017210455A1 (en) 2017-12-07
TWI715773B (zh) 2021-01-11
JP6853273B2 (ja) 2021-03-31
IL262787A (en) 2018-12-31
EP3465552A4 (en) 2020-01-22
EP3465552B1 (en) 2023-05-24
US10346740B2 (en) 2019-07-09
JP2019525450A (ja) 2019-09-05
TW201802726A (zh) 2018-01-16
IL262787B (en) 2020-09-30
CN109313724B (zh) 2021-06-29
KR102213730B1 (ko) 2021-02-05
US20170351952A1 (en) 2017-12-07

Similar Documents

Publication Publication Date Title
CN109313724A (zh) 针对半导体应用并入神经网络及前向物理模型的系统及方法
CN109074650B (zh) 针对半导体应用从输入图像产生经模拟图像
US10360477B2 (en) Accelerating semiconductor-related computations using learning based models
CN109844918A (zh) 用于经配置用于半导体应用的深度学习模型的诊断系统及方法
US10607119B2 (en) Unified neural network for defect detection and classification
TWI713672B (zh) 為樣品產生模擬輸出之系統，非暫時性電腦可讀媒體及電腦實施方法
TWI734724B (zh) 針對半導體應用由低解析度影像產生高解析度影像之系統、方法及非暫時性電腦可讀媒體
CN108431587A (zh) 混合检验器
CN108463874A (zh) 基于图像的样品过程控制
CN110494894A (zh) 基于轮廓的缺陷检测
CN108475351A (zh) 用于半导体应用的基于机器学习的模型的加速训练
WO2018208869A2 (en) A learning based approach for aligning images acquired with different modalities
CN109690749A (zh) 用于图像融合的以卷积神经网络为基础的模式选择及缺陷分类
CN108351600A (zh) 从设计信息产生模拟图像

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant