CN115552431A - 训练机器学习模型以从检验图像产生较高分辨率图像 - Google Patents

训练机器学习模型以从检验图像产生较高分辨率图像 Download PDF

Info

Publication number
CN115552431A
CN115552431A CN202180031109.XA CN202180031109A CN115552431A CN 115552431 A CN115552431 A CN 115552431A CN 202180031109 A CN202180031109 A CN 202180031109A CN 115552431 A CN115552431 A CN 115552431A
Authority
CN
China
Prior art keywords
sample
inspection
image
higher resolution
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180031109.XA
Other languages
English (en)
Inventor
K·格拉马
S·库马尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KLA Corp
Original Assignee
KLA Tencor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KLA Tencor Corp filed Critical KLA Tencor Corp
Publication of CN115552431A publication Critical patent/CN115552431A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70605—Workpiece metrology
    • G03F7/70616—Monitoring the printed patterns
    • G03F7/7065—Defects, e.g. optical inspection of patterned layer for defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Peptides Or Proteins (AREA)

Abstract

提供用于确定样本的信息的方法及系统。本文中所描述的实施例经配置以训练用于从由检验子系统产生的样本的图像产生所述样本的较高分辨率图像的机器学习(ML)模型。所述训练包含仅使用模拟图像执行的预训练步骤及使用测试样本的实际图像执行的重新训练步骤。由所述经训练ML模型从较低分辨率检验图像中产生的所述较高分辨率图像可用于包含扰乱点过滤及缺陷分类在内的应用。

Description

训练机器学习模型以从检验图像产生较高分辨率图像
技术领域
本发明大体上涉及用于确定使用经训练机器学习模型的样本的信息的方法及系统。
背景技术
以下描述及实例由于包含于本节中而不被承认为现有技术。
制造例如逻辑及存储器装置的半导体装置通常包含使用大量半导体制程来处理例如半导体晶片的衬底以形成半导体装置的各种特征及多个层级。例如，光刻是涉及将图案从光罩转印到布置于半导体晶片上的光致抗蚀剂的半导体制程。半导体制程的额外实例包含(但不限于)化学机械抛光(CMP)、蚀刻、沉积及离子植入。多个半导体装置可以布置制造于单半导体晶片上且接着被分离成个别半导体装置。
半导体制程期间的各种步骤中使用检验过程来检测样本上的缺陷以驱使制程中的较高良率，且因此驱使较高利润。检验总是制造半导体装置的重要部分。然而，随着半导体装置的尺寸减小，针对成功制造可接受的半导体装置，检验变得甚至更重要，因为较小缺陷可引起装置失效。
缺陷检视通常涉及重新检测例如由检验过程所检测的缺陷，且使用高倍光学系统或扫描电子显微镜(SEM)以较高分辨率产生关于缺陷的额外信息。因此，在由检验检测到缺陷的样本上的离散位置处执行缺陷检视。由缺陷检视产生的用于缺陷的较高分辨率数据更适合于确定缺陷的属性(例如轮廓、粗糙度、更准确大小信息等等)。
半导体制程期间的各种步骤中还使用度量过程来监测及控制过程。度量过程与检验过程的不同之处在于，与在样本上检测缺陷的检验过程不同，度量过程用于测量样本的无法使用当前所使用的检验工具确定的一或多个特性。例如，度量过程用于测量样本的一或多个特性，例如在过程期间形成于样本上的特征的尺寸(例如线宽、厚度等等)，使得可从一或多个特性确定过程的性能。另外，如果样本的一或多个特性不可接受(例如超出特性的预定范围)，那么样本的一或多个特性的测量可用于改变过程的一或多个参数，使得由过程制造的额外样本具有可接受的特性。
度量过程还与缺陷检视过程的不同之处在于，与在缺陷检视中再次造访由检验所检测缺陷的缺陷检视过程不同，度量过程可执行于未检测到缺陷的位置处。换句话说，与缺陷检视不同，对样本执行度量过程的位置可独立于对样本执行检验过程的结果。特定来说，可独立于检验结果来选择执行度量过程的位置。
如上文所描述，因此，归因于执行检验(光学及有时电子束检验)的有限分辨率，一般需要样本产生额外较高分辨率图像以对样本上检测到的缺陷进行缺陷检视，其可包含验证检测缺陷、分类检测缺陷及确定缺陷的特性中的一或多者。另外，一般需要较高分辨率图像来确定形成于样本上的图案化特征的信息，如在度量学中一样，不管在图案化特征中是否已检测到缺陷。因此，缺陷检视及度量可为需要使用物理样本本身及产生较高分辨率图像所需的工具的耗时过程。
然而，无法简单消除缺陷检视及度量以节省时间及金钱的过程。例如，归因于执行检验过程的分辨率，检验过程一般不产生图像信号或数据，此类图像信号或数据可用于确定足以分类缺陷的检测缺陷及/或确定缺陷的根本原因的信息。另外，归因于执行检验过程的分辨率，检验过程一般不产生图像信号或数据，此类图像信号或数据可用于使用足够准确度及/或精度确定形成于样本上的图案化特征的信息。
存在先前用于经由基于计算机的后处理来提高光学图像的分辨率的两类方法。第一类是使用相同位置的多个视图的超分辨率方法。此处，使用多个光学模式、焦点偏移及/或透视来获取较低分辨率的图像。较高分辨率图像使用光学模型或具有深度学习(DL)模型的学习方法来重建。第二类是仅使用光学图像重建较高分辨率图像的DL模型。其依靠学习较高分辨率图像的特征(如纹理、边缘及物体的形状模型)的基本分布。
然而，当前用于提高光学图像分辨率的基于计算机的方法存在若干缺点。例如，超分辨率方法对光学工具的产出量有显著影响。检验减慢的因子与高分辨率重建所需的视图数目成比例。当以检验工具一般以其操作的奈奎斯特(Nyquist)速率取样时，由于光学图像中的信息受限，基于模型的方法易于产生假影。
因此，开发用于确定不具有上述一或多个缺点的样本的信息的系统及方法将是有利的。
发明内容
各种实施例的以下描述不以任何方式解释为限制所附权利要求书的标的物。
一个实施例涉及一种经配置以确定样本的信息的系统。所述系统包含检验子系统，其经配置以产生样本的图像。所述系统还包含一或多个计算机子系统及一或多个组件，所述一或多个组件由所述一或多个计算机子系统执行。所述一或多个组件包含经训练机器学习(ML)模型，其经配置以将由所述检验子系统产生的所述样本的所述图像变换为所述样本的较高分辨率图像。
所述一或多个计算机子系统经配置以使用预训练集预训练初始ML模型，借此产生预训练ML模型。所述预训练集包含指定为预训练输入的测试样本的模拟检验图像及指定为预训练输出的所述测试样本的对应模拟较高分辨率图像。
所述一或多个计算机子系统还经配置以使用训练集重新训练所述经预训练ML模型，借此产生所述经训练ML模型。所述训练集包含指定为训练输入的由所述检验子系统针对所述测试样本产生的图像及指定为训练输出的由高分辨率成像系统产生的所述测试样本的对应较高分辨率图像。
所述一或多个计算机子系统进一步经配置以将由所述检验子系统在检验期间针对所述样本产生的所述图像输入到所述经训练ML模型中以借此产生所述样本的所述较高分辨率图像。另外，所述一或多个计算机子系统经配置以从所述所产生的较高分辨率图像确定所述样本的信息。所述系统可如本文中所描述那样进一步配置。
另一实施例涉及一种用于确定样本的信息的计算机实施方法。所述方法包含由一或多个计算机系统执行的上述预训练、重新训练、输入及确定步骤。一或多个组件由所述一或多个计算机系统执行。所述一或多个组件包含所述经训练ML模型，所述经训练ML模型经配置以将由所述检验子系统产生的样本的图像变换为所述样本的较高分辨率图像。
所述方法的所述步骤中的每一者可如本文中进一步描述那样执行。所述方法可包含本文中所描述的任何其它方法的任何其它步骤。所述方法可由本文中所描述的所述系统中的任何者执行。
另一实施例涉及一种非暂时性计算机可读媒体，其存储可在一或多个计算机系统上执行用于确定样本的信息的计算机实施方法的程序指令。所述计算机实施方法包含上述方法的所述步骤。所述计算机可读媒体可如本文中所描述那样进一步配置。所述计算机实施方法的所述步骤可如本文中进一步描述那样执行。另外，所述程序指令可执行的所述计算机实施方法可包含本文中所描述的任何其它方法的任何其它步骤。
附图说明
所属领域的技术人员将从优选实施例的以下详细描述及在参考附图之后明白本发明的进一步优点，其中：
图1及1a是说明如本文中所描述那样配置的系统的实施例的侧视图的示意图；
图2是说明样本的设计中所关注缺陷(DOI)及扰乱点的位置的实例的平面图，用于样本上的DOI及扰乱点的低分辨率图像，及用于样本上的DOI及扰乱点的高分辨率图像的示意图。
图3是说明可经执行以预训练初始机器学习(ML)模型的步骤的实施例的流程图；
图4是说明可经执行以产生预训练集的模拟检验图像及模拟较高分辨率图像的步骤的实施例的流程图；
图5是说明可经执行以重新训练经预训练ML模型的步骤的实施例的流程图；
图6是说明在运行时间使用期间的经训练ML模型的实施例的流程图；
图7是说明可经执行以确定样本的信息的步骤的实施例的流程图；及
图8是说明存储用于引起计算机系统执行本文中所描述的计算机实施方法的程序指令的非暂时性计算机可读媒体的实施例的框图。
尽管本发明可接受各种修改及替代形式，但其特定实施例以举例方式展示于图式中且在本文中详细描述。图式可不按比例绘制。然而，应了解，图式及其详细描述不希望将本发明限制于所公开的特定形式，相反地，其希望涵盖落于由所附权利要求书界定的本发明的精神及范围内的所有修改、等效及替代。
具体实施方式
如本文中互换使用的术语“设计”、“设计数据”及“设计信息”一般是指IC或其它半导体装置的物理设计(布局)及通过复杂模拟或简单几何及布林运算从物理设计得到的数据。设计可包含2009年8月4日发布的扎法尔(Zafar)等人共同拥有的第7,570,796号美国专利及2010年3月9日发布的库尔卡尼(Kulkarni)等人共同拥有的第7,676,077号美国专利中所描述的任何其它设计数据或设计数据代理，此类专利以引用的方式并入，宛如本文中所完全阐述。另外，设计数据可为标准单元库数据、集成布局数据、一或多个层的设计数据、设计数据的衍生物及全部或部分芯片设计数据。此外，本文中所描述的“设计”、“设计数据”及“设计信息”是指由半导体装置设计者在设计过程中产生的信息及数据，且因此在任何物理样本(例如光罩及晶片)上打印设计之前可用于本文中所描述的实施例中。
如本文中所使用的术语“设计剪辑(design clip)”一般被界定为样本的整个设计的相对较小部分。术语“设计剪辑”在本文中与词组“设计数据的部分”互换使用。
如本文中所使用的术语“扰乱点”(其有时可与“扰乱点缺陷”或“扰乱点事件”互换使用)一般被界定为用户不关心的缺陷及/或在样本上检测到但事实上并非样本上的实际缺陷的事件。并非实际缺陷的扰乱点可被检测为事件，归因于样本上的非缺陷噪声源(例如样本上的金属线中的晶粒、来自样本上的底层或材料的信号、线边缘粗糙度(LER)、图案化特征中的相对较小临界尺寸(CD)变化、厚度变化等等)及/或归因于检验系统本身或其用于检验的配置中的边缘。
如本文中所使用的术语“所关注缺陷(DOI)”被界定为在样本上检测到且事实上是样本上的实际缺陷的缺陷。因此，DOI是用户所关注的，因为用户一般关心被检验的样本上有多少及什么样的实际缺陷。在某些情境中，术语“DOI”用于是指样本上所有实际缺陷的子集，其仅包含用户关心的实际缺陷。例如，在任何给定样本上可存在多个类型的DOI，且用户可对其一或多个DOI比一或多个其它类型的DOI更所关注。然而，在本文中所描述的实施例的上下文中，术语“DOI”用于是指样本上的任何及所有真实缺陷。
如本文中所使用的样本的术语“低分辨率图像”一般被界定为其中形成于产生图像的样本区域中的所有图案化特征在图像中未被解析的图像。例如，如果在产生低分辨率图像的样本区域中的一些图案化特征大小足够大以使其可解析，那么可在低分辨率图像中被解析。然而，低分辨率图像不是以使得图像中的所有图案化特征可解析的分辨率而产生。以此方式，如本文中所使用的术语“低分辨率图像”不含有关于样本上的图案化特征的信息，所述信息足以使低分辨率图像用于例如缺陷检视(其可包含缺陷分类及/或验证)及度量学的应用。另外，如本文中所使用的术语“低分辨率图像”一般是指由检验系统产生的图像，其通常具有相对较低的分辨率(例如低于缺陷检视及/或度量系统)，以具有相对较快的产出量。
“低分辨率图像”还可为“低分辨率”，因为其具有低于本文中所描述的“高分辨率图像”的分辨率。如本文中所使用的术语“高(或较高)分辨率图像”一般可被界定为其中以相对高的准确度解析样本的所有图案化特征的图像。以此方式，为其产生高分辨率图像的样本区域中的所有图案化特征在高分辨率图像中被解析，不管其大小如何。因而，如本文中所使用的术语“高分辨率图像”含有关于样本的图案化特征的信息，所述信息足以使高分辨率图像用于例如缺陷检视(其可包含缺陷分类及/或验证)及度量学等应用。另外，本文中所使用的术语“高分辨率图像”一般是指在常式操作期间无法由检验系统产生的图像，其经配置以牺牲分辨率能力用于增大产出量。
现转到图式，应注意附图未按比例绘制。特定来说，附图的一些元件的比例被放大以强调元件的特性。还应注意，附图未按相同比例绘制。在多于一个附图中所展示的可经类似配置的元件已使用相同附元件符号来指示。除非本文中另有说明，否则所描述及展示的任何元件可包含任何合适市售元件。
一般来说，本文中所描述的实施例经配置以由利用设计产生较高分辨率图像(例如光学图像)。实施例采用深度学习(DL)方法，所述方法可借助高分辨率设计信息，从检验工具获得的较低分辨率图像重建高分辨率光学图像或其它图像。实施例可利用两个关键步骤的预期设计数据的可用性。第一是预训练网络，其减少获取训练图像所需的工具时间，因为一组小得多的非模拟样本图像用于训练的最后步骤。第二，设计数据可用作用于高分辨率重建的额外信息通道。
现今，大多数先进检验(例如宽带等离子体(BBP)光学检验扫描)以奈奎斯特速率取样。在奈奎斯特取样速率下，图像分辨率处于检验系统的信息论极限。任何较高分辨率将需要改变光源及成像光学器件。本文中所描述的实施例提供用于重建高分辨率图像的基于计算机的方法。实施例依靠假设发生于样本上的过程变化是可产生观察检验图像的设计的可扰动的子集。以较高分辨率解析结构可提高敏感度且有助于准确地分类缺陷类型。在后处理中增大图像分辨率将有可能提高整个检验工具，因为检验可以较低放大率运行。
在一些实施例中，样本是晶片。晶片可包含半导体技术中已知的任何晶片。尽管一些实施例可相对于一或多个晶片描述于本文中，但实施例不限于可使用其样本。例如，本文中所描述的实施例可用于例如光罩、平板、个人计算机(PC)板及其它半导体样本的样本。
实施例涉及一种经配置以确定样本的信息的系统。图1中展示此系统的实施例。系统包含一或多个计算机子系统102及由一或多个计算机子系统执行的一或多个组件104。在一些实施例中，系统包含耦合到一或多个计算机子系统的检验子系统。例如，在图1中，系统包含耦合到计算机子系统102的检验子系统100。在图1中所展示的实施例中，检验子系统经配置为基于光的检验子系统。然而，在本文中所描述的其它实施例中，检验子系统经配置为电子束或带电粒子束检验子系统。
检验子系统经配置以产生样本的图像。一般来说，本文中所描述的检验子系统包含至少能源、检测器及扫描子系统。能源经配置以产生由检验子系统引导到样本的能量。检测器经配置以检测来自样本的能量且产生响应于检测能量的输出。扫描子系统经配置以改变能量被引导到其且从其检测到能量的样本上的位置。
在基于光的检验子系统中，引导到样本的能量包含光，且从样本检测到的能量包含光。在图1中所展示的系统的实施例中，检验子系统包含经配置以将光引导到样本14的照明子系统。照明子系统包含至少一光源，例如，如图1中所展示的光源16。照明子系统可经配置以按一或多个入射角将光引导到样本，所述一或多个入射角可包含一或多个倾斜角及/或一或多个法线角。例如，如图1中所展示，来自光源16的光经引导穿过光学元件18，且接着穿过透镜20以倾斜入射角到样本14。倾斜入射角可包含任何合适倾斜入射角，其可取决于(例如)样本的特性及将在样本上检测到的缺陷而变化。
照明子系统可经配置以在不同时间以不同入射角将光引导到样本。例如，检验子系统可经配置以改变照明子系统的一或多个元件的一或多个特性，使得光可以不同于图1中所展示的入射角被引导到样本。在此实例中，检验子系统可经配置以移动光源16、光学元件18及透镜20，使得光以不同倾斜入射角或法线(或接近法线)的入射角被引导到样本。
在一些例子中，检验子系统可经配置以同时以多于一个入射角将光引导到样本。例如，照明子系统可包含多于一个照明通道，照明通道中的一者可包含如图1中所展示的光源16、光学元件18及透镜20，且照明通道中的另一者(未展示)可包含可经不同或相同配置的类似元件，或可包含至少光源及一或多个其它组件，例如本文中进一步描述的组件。如果此光与另一光同时引导到样本，那么以不同入射角引导到样本的光的一或多个特性(例如波长、偏振等等)可不同，使得由以不同入射角照明样本所得的光可在检测器处彼此判别。
在另一例子中，照明子系统可仅包含光源(例如图1中所展示的源16)，且来自光源的光可由照明子系统的一或多个光学元件(未展示)分离成不同光学路径(例如基于波长、偏振等等)。接着，可将不同光学路径中的每一者中的光引导到样本。多个照明通道可经配置以同时或不同时间(例如当不同照明通道用于循序照明样本时)将光引导到样本。在另一例子中，相同照明通道可经配置以在不同时间将具有不同特性的光引导到样本。例如在一些例子中，光学元件18可经配置为光谱滤光器，且光谱滤光器的性质可以各种不同方式改变(例如通过将光谱滤光器调换成另一者)，使得不同波长的光可在不同时间被引导到样本。照明子系统可具有所属技术领域中已知的用于以不同或相同入射角循序或同时将具有不同或相同特性的光引导到样本的任何其它合适配置。
光源16可包含宽带等离子体(BBP)光源。以此方式，由光源产生且引导到样本的光可包含宽带光。然而，光源可包含任何其它合适光源，例如激光。激光可包含所属技术领域中已知的任何合适激光且可经配置以产生所属技术领域中已知的任何合适波长的光。激光可经配置以产生单色或接近单色的光。以此方式，激光可为窄带激光。光源还可包含产生多个离散波长或波段的光的多色光源。
来自光学元件18的光可由透镜20聚焦到样本14上。尽管透镜20在图1中经展示为单一折射光学元件，但在实践中，透镜20可包含组合地将光从光学元件聚焦到样本的若干折射及/或反射光学元件。图1中所展示及本文中所描述的照明子系统可包含任何其它合适光学元件(未展示)。此类光学元件的实例包含(但不限于)偏振组件、光谱滤光器、空间滤光器、反射光学元件、变迹器、分光器、光圈及可包含所属技术领域中已知的任何此类合适光学元件的类似者。另外，系统可经配置以基于用于检验的照明类型来改变照明子系统的一或多个元件。
检验子系统还包含扫描子系统，所述扫描子系统经配置以改变光被引导到其且从其检测到光的样本上的位置，且可引起光扫描遍及样本。例如，检验子系统可包含在检验期间其上安置样本14的载台22。扫描子系统可包含可经配置以移动样本使得光可被引导到样本上的不同位置且从样本上的不同位置检测到光的任何合适机械及/或机器人组合件(其包含载台22)。另外，或替代地，检验子系统可经配置以使得检验子系统的一或多个光学元件执行光遍及样本的一些扫描，使得光可被引导到样本上的不同位置且从样本上的不同位置检测到光。在使光扫描遍及样本的例子中，可以任何合适方式(例如以蛇形路径或以螺旋路径)使光扫描遍及样本。
检验子系统进一步包含一或多个检测通道。检测通道的至少一者包含检测器，所述检测器经配置以检测归因于由子系统照明样本而来自样本的光且以产生响应于检测光的输出。例如，图1中所展示的检验子系统包含两个检测通道，一个检测通道由收集器24、元件26及检测器28所形成且另一个检测通道由收集器30、元件32及检测器34所形成。如图1中所展示，两个检测通道经配置以收集及检测不同收集角度的光。在一些例子中，两个检测通道经配置以检测散射光，且检测通道经配置以检测从样本以不同角度散射的光。然而，检测通道中的一或多者可经配置以检测来自样本的另一类型的光(例如反射光)。
如图1中所进一步展示，两个检测通道经展示位于纸张平面中且照明子系统还经展示位于纸张平面中。因此，在此实施例中，两个检测通道位于入射平面中(例如中心)。然而，检测通道中的一或多者可位于入射平面之外。例如，由收集器30、元件32及检测器34形成的检测通道可经配置以收集及检测散射出入射平面的光。因此，此检测通道可通常称为“侧”通道，且此侧通道可在大体上垂直于入射平面的平面的中心。
尽管图1展示包含两个检测通道的检验子系统的实施例，但检验子系统可包含不同数目个检测通道(例如仅检测通道或两个或更多个检测通道)。在此例子中，由收集器30、元件32及检测器34形成的检测通道可形成如上文所描述的侧通道，且检验子系统可包含形成为另一侧通道的位于入射平面的对置侧上的额外检测通道(未展示)。因此，检验子系统可包含检测通道，所述检测通道包含收集器24、元件26及检测器28，且所述检测通道位于入射平面的中心且经配置以收集及检测散射角的光，所述散射角位于或接近垂直于样本表面。因此，此检测通道可通常称为“顶部”通道，且检验子系统还可包含如上文所描述那样配置的两个或更多个侧通道。因而，检验子系统可包含至少三个通道(即，顶部通道及两个侧通道)，且至少三个通道中的每一者具有其自身的收集器，收集器中的每一者经配置以收集不同于其它收集器中的每一者的散射角的光。
如上文进一步描述，包含于检验子系统中的检测通道中的每一者可经配置以检测散射光。因此，图1中所展示的检验子系统可经配置用于样本的暗场(DF)检验。然而，检验子系统还可或替代地包含经配置用于样本的明场(BF)检验的检测通道。换句话说，检验子系统可包含经配置以检测从样本镜面反射的光的至少检测通道。因此，本文中所描述的检验子系统可经配置以仅DF、仅BF或DF及BF两者检验。尽管收集器中的每一者在图1中展示为单一折射光学元件，但应了解，收集器中的每一者可包含一或多个折射光学元件及/或一或多个反射光学元件。
一或多个检测通道可包含所属技术领域中已知的任何合适检测器，例如光电倍增管(PMT)、电荷耦合装置(CCD)及延时积分(TDI)照相机。检测器还可包含非成像检测器或成像检测器。如果检测器是非成像检测器，那么检测器中的每一者可经配置以检测光的某些特性(例如强度)，但可不经配置以检测如依据成像平面内的位置而变化的此类特性。因而，由包含于每一检测通道中的每一检测器产生的输出可为信号或数据，而非图像信号或图像数据。在此类例子中，例如检验子系统的计算机子系统36的计算机子系统可经配置以从检测器的非成像输出产生样本的图像。然而，在其它例子中，检测器可经配置为成像检测器，所述成像检测器经配置以产生像信号或图像数据。因此，检验子系统可经配置以按若干方式产生图像。
应注意，本文中所提供的图1一般说明可包含于本文中所描述的系统实施例中的检验子系统的配置。明显地，本文中所描述的检验子系统配置可经改变以最优化检验子系统的性能，如在设计商业检验系统时通常执行那样。另外，可使用现有检验子系统(例如通过将本文中所描述的功能新增到现有检验系统)(例如来自加利福尼亚州米尔皮塔斯市的科磊公司(KLA Corp.,Milpitas,Calif)的市售的29xx/39xx系列工具)来实施本文中所描述的系统。针对一些此类系统，本文中所描述的方法可提供为检验系统的任选功能(例如除检验系统的其它功能之外)。替代地，本文中所描述的检验子系统可“从头开始”经设计以提供全新检验系统。
计算机子系统36可以任何合适方式(例如经由可包含“有线”及/或“无线”传输媒体的一或多个传输媒体)耦合到检验子系统的检测器，使得计算机子系统可接收由检测器产生的输出。计算机子系统36可经配置以使用检测器的输出执行若干功能。例如，计算机子系统可经配置以使用检测器的输出检测样本上的事件。可通过将一些缺陷检测算法及/或方法(其可包含所属技术领域中已知的任何合适算法及/或方法)应用于由检测器产生的输出来执行检测样本上的事件。例如，计算机子系统可比较检测器的输出与阈值。可将具有高于阈值的值的任何输出识别为事件(例如潜在缺陷)，而可不将具有低于阈值的值的任何输出识别为事件。
检验系统的计算机子系统可如本文中所描述那样进一步配置。例如，计算机子系统36可为本文中所描述的一或多个计算机子系统的部分，或可经配置为本文中所描述的一或多个计算机子系统。特定来说，计算机子系统36可经配置以执行本文中所描述的步骤。因而，本文中所描述的步骤可由作为检验系统的部分的计算机系统或子系统“在工具上”执行。
检验系统的计算机子系统(及本文中所描述的其它计算机子系统)还可在本文中称为计算机系统。本文中所描述的计算机子系统或系统中的每一者可采取包含个人计算机系统、图像计算机、主机计算机系统、工作站、网络设备、因特网设备或其它装置的各种形式。一般来说，术语“计算机系统”可经广义界定为涵盖具有一或多个处理器的任何装置，其执行来自存储器媒体的指令。计算机子系统或系统还可包含所属技术领域中已知的例如并行处理器的任何合适处理器。另外，计算机子系统或系统可包含具有高速处理及软件的计算机平台，作为独立或网络工具。
如果系统包含多于一个计算机子系统，那么不同计算机子系统可彼此耦合，使得图像、数据、信息、指令等等可在计算机子系统之间发送。例如，计算机子系统36可通过任何合适传输媒体来耦合到如图1中由虚线展示的计算机子系统102，所述传输媒体可包含所属技术领域中已知的任何合适有线及/或无线传输媒体。此类计算机子系统的两个或更多个还可通过共享计算机可读存储媒体(未展示)来有效耦合。
尽管上文检验子系统被描述为基于光学或光的检验子系统，但在另一实施例中，检验子系统经配置为电子束检验子系统。在电子束检验子系统中，引导到样本的能量包含电子，且从样本检测到的能量包含电子。在图1a中所展示的此实施例中，检验子系统包含电子柱122，且所述系统包含耦合到检验子系统的计算机子系统124。计算机子系统124可如上文所描述那样进一步配置。另外，此检验子系统可以上述及图1中所展示的相同方式耦合到另一或多个计算机子系统。
还如图1a中所展示，电子柱包含电子束源126，电子束源126经配置以产生由一或多个元件130聚焦到样本128的电子。电子束源可包含(例如)阴极源或发射体尖端，且一或多个元件130可包含(例如)枪透镜、阳极、束限制孔径、闸阀、束流选择孔径、物镜及扫描子系统，其所有可包含所属技术领域中已知的任何此类合适元件。
从样本返回的电子(例如二次电子)可由一或多个元件132聚焦到检测器134。一或多个元件132可包含(例如)可为包含于元件130中的相同扫描子系统的扫描子系统。
电子柱可包含所属技术领域中已知的任何其它合适元件。另外，电子柱可进一步经配置，如2014年4月4日发布的蒋(Jiang)等人的第8,664,594号美国专利、2014年4月8日发布的小岛(Kojima)等人的第8,692,204号美国专利、2014年4月15日发布的顾本思(Gubbens)等人的第8,698,093号美国专利及2014年5月6日发布的麦克唐纳(MacDonald)等人的第8,716,662号美国专利中所描述，所述专利以引用的方式并入，宛如本文中所完全阐述。
尽管图1a中将电子柱展示为经配置使得电子以倾斜入射角被引导到样本且以另一倾斜入射角从样本散射，但电子束可以任何合适角度被引导到样本且从样本散射。另外，电子束检验子系统可经配置以使用多个模式来产生如本文中进一步描述的样本的输出(例如具有不同照明角度、收集角度等等)。电子束检验子系统的多个模式在检验子系统的任何输出产生参数中可不同。
计算机子系统124可如上文所描述那样耦合到检测器134。检测器可检测从样本表面返回的电子，借此形成样本的电子束图像(或其它输出)。电子束图像可包含任何合适电子束图像。计算机子系统124可经配置以使用由检测器134产生的输出来检测样本上的事件，所述输出可如上文所描述那样或以任何其它合适方式来执行。计算机子系统124可经配置以执行本文中所描述的任何额外步骤。包含图1a中所展示的检验子系统的系统可如本文中所描述那样进一步配置。
应注意，本文中所提供的图1a一般说明可包含于本文中所描述的实施例中的电子束检验子系统的配置。如同上文所描述的光学检验子系统，本文中所描述的电子束检验子系统配置可经改变以最优化检验子系统的性能，如在设计商业检验系统时通常执行那样。另外，可使用现有检验子系统(例如通过将本文中所描述的功能新增到现有检验系统)(例如来自KLA的市售的工具)来实施本文中所描述的系统。针对一些此类系统，本文中所描述的方法可提供为系统的任选功能(例如除系统的其它功能之外)。替代地，本文中所描述的系统可“从头开始”经设计以提供全新检验系统。
尽管上文检验子系统被描述为光或电子束检验子系统，但检验子系统可为离子束检验子系统。此检验子系统可如图1a中所展示那样配置，除电子束源可由所属技术领域中已知的任何合适离子束源替换。另外，检验子系统可包含任何其它合适离子束成像系统，例如包含于市售聚焦离子束(FIB)系统、氦离子显微镜(HIM)系统及二次离子质谱(SIMS)系统中的系统。
如上文进一步提及，检验子系统可经配置以具有多个模式。一般来说，“模式”由用于产生样本的输出的检验子系统的参数值界定。因此，不同模式在检验子系统的光学或电子束参数的至少一者的值中(除在产生输出或图像的样本上的位置)可不同。例如，针对基于光的检验子系统，不同模式可使用不同波长的光。针对不同模式，模式在如本文中进一步描述那样(例如通过使用不同光源、不同光谱滤光器等等)引导到样本的光的波长中可不同。在另一实施例中，不同模式可使用不同照明通道。例如，如上文所提及，检验子系统可包含多于一个照明通道。因而，不同照明通道可用于不同模式。
多个模式在照明及/或收集/检测中还可不同。例如，如上文进一步描述，检验子系统可包含多个检测器。因此，检测器中的一者可用于模式，且检测器中的另一者可用于另一模式。此外，模式可以本文中所描述的多于一个方式彼此不同(例如不同模式可具有一或多个不同照明参数及一或多个不同检测参数)。检验子系统可经配置以在相同扫描或不同扫描中使用不同模式扫描样本，例如取决于使用多个模式同时扫描样本的能力。
本文中所描述的系统可经配置为另一类型的半导体相关过程/质量控制类型系统，例如缺陷检视系统及度量系统。例如，本文中所描述及展示于图1及1a中的系统的实施例可在一或多个参数中修改以取决于将使用其应用以提供不同成像能力。在一个实施例中，本文中所描述的电子束检验子系统配置可经修改以配置为电子束缺陷检视系统。例如，图1a中所展示的子系统可经配置为具有较高分辨率，如果其用于缺陷检视或度量而非用于检验。换句话说，图1及1a中所展示的系统的实施例描述子系统的一些一般及各种配置，此类配置可以所属领域的技术人员将了解的若干方式来定制，以产生或多或少适合于不同应用的具有不同成像能力的子系统。
如上文所提及，检验子系统可经配置以将能量(例如光、电子)引导到样本的物理版本及/或扫描样本的物理版本上的能量，借此产生样本的物理版本的实际图像。以此方式，检验子系统可经配置为“实际”成像系统，而非“虚拟”系统。图1中所展示的存储媒体(未展示)及计算机子系统102可经配置为“虚拟”系统。经配置为“虚拟”检验系统的系统及方法描述于2012年2月28日发布的巴斯卡尔(Bhaskar)等人共同让与的第8,126,255号美国专利及2015年12月29日发布的达菲(Duffy)等人共同让与的第9,222,895号美国专利中，这两个专利以引用的方式并入，宛如本文中所完全阐述。本文中所描述的实施例可如这些专利中所描述那样进一步配置。
由一或多个计算机子系统执行的一或多个组件包含图1中所展示的经训练机器学习(ML)模型106。经训练ML模型经配置以将由检验子系统产生的样本的图像变换为样本的较高分辨率图像。
图2一般说明设计数据、检验样本图像及较高分辨率图像的一些实例，其说明经训练ML模型如何有用。特定来说，图2中所展示的设计图像200展示样本的设计数据的一部分及其上可定位DOI(例如尖端对尖端桥)的位置(叠加于设计图像上的圆圈内)。设计图像202展示设计数据的相同部分及其上可定位例如CD变化的扰乱点的位置(叠加于设计图像202上的圆圈内)。
图像204说明可由检验子系统针对样本产生的可能图像，其中可在叠加于图像上的圆圈中的位置处检测到尖端对尖端桥类型的DOI。图像206说明可由检验子系统针对样本产生的可能图像，其中可在叠加于图像上的圆圈中的位置处检测到CD变化类型的扰乱点。如通过比较图像204与图像206的圆圈部分可看出，DOI及扰乱点在两个图像中具有大体上类似信号特性，其使得DOI与扰乱点难以分离。特定来说，当DOI及扰乱点具有大体上类似信号特性时，其实际上不可能在未检测到扰乱点的情况下检测DOI且不可能在无额外信息的情况下确定检测事件的哪个是DOI及哪个是扰乱点。
然而，两个图像可如本文中所描述那样输入到经训练ML模型，且借此变换为较高分辨率图像。例如，经训练ML模型可将图像204变换为样本的较高分辨率图像208且将图像206变换为样本的较高分辨率图像210。如通过比较分别对应于图像204及图像206的圆圈部分的图像208与图像210的圆圈部分可看出，DOI在图像208中具有明显不同于图像210中的扰乱点信号的信号。以此方式，由经训练ML模型产生的较高分辨率图像中的DOI及扰乱点的信号可具有足够离距，使得DOI可在滤除扰乱点的同时保持被检测到。如本文中进一步描述，发明者已发现，使用由经训练ML模型从由检验子系统产生的图像产生的较高分辨率图像可将检验结果中的扰乱点数目减少多达50倍，其对检验及其它相关过程(如缺陷检视)具有显著益处。
附图中所展示的设计图像、测试图像、参考图像、较低分辨率图像、实际较高分辨率图像、模拟较高分辨率图像等等中的每一者不意味着说明可使用本文中所描述的实施例的任何特定样本或其特性。以类似方式，附图中所展示的较低及较高分辨率图像中的每一者不意味着说明可针对样本产生的任何特定实际或模拟图像。相反地，附图中所展示的设计图像、测试图像、参考图像、较低分辨率图像、实际较高分辨率图像、模拟较高分辨率图像等等仅希望促进对本文中所描述的实施例的理解。从经训练ML模型实际输入及输出的图像将取决于样本及其特性(与其设计相关)及产生样本的实际图像(用于训练ML模型，借此影响由经训练ML模型产生的模拟图像)的成像系统的配置而变化。
本文中所描述的实施例经配置以执行两个训练阶段。第一阶段是仅使用来自设计的模拟数据来预训练。例如，一或多个计算机子系统经配置以使用预训练集预训练初始ML模型，借此产生经预训练ML模型。预训练集包含指定为预训练输入的测试样本的模拟检验图像及指定为预训练输出的测试样本的对应模拟较高分辨率图像。在预训练阶段中，模拟检验图像可包含模拟测试图像(可具有模拟缺陷及/或例如LER的其它变化)及可对应模拟参考图像(例如无缺陷样本图像)。样本的设计还可用作预训练阶段中的预训练输入。用于预训练阶段中的模拟较高分辨率图像可为可包含模拟缺陷及如LER的其它变化的较高分辨率图像。在预训练阶段中，初始ML模型可使用预训练输入及输出学习从预训练输入变换为预训练输出。
图3展示用于改进分辨率网络的预经训练的此实施例。在此实施例中，用于测试样本的模拟检验测试图像300、模拟检验参考图像302及设计304被用作到初始ML模型306的预训练输入。在预训练阶段中，模拟较高分辨率图像310被用作预训练输出。以此方式，当预训练输入被输入到初始ML模型时，ML模型将输出较高分辨率图像308。在步骤312中，一或多个计算机子系统比较预训练输出(即，模拟较高分辨率图像310)与模拟输出(即，高分辨率图像308)。如步骤314中所展示，一或多个计算机子系统可基于比较来确定是否应调整一或多个初始模型参数。如果确定应调整一或多个初始模型参数，那么一或多个计算机子系统可确定经调整的初始模型参数，如步骤316中所展示，其可基于预训练输出与模拟输出之间的任何差异来确定。所确定的一或多个初始模型参数可接着应用于初始ML模型。如果确定无需调整一或多个初始模型参数，那么一或多个计算机子系统可将初始ML模型的当前版本指定为经预训练ML模型，如步骤318中所展示。
以此方式，图3中所展示的步骤可执行于一种反馈回路中，直到初始ML模型产生与预训练输出大体上匹配的输出。换句话说，预训练可包含将预训练输入输入到初始ML模型中且改变初始ML模型的一或多个参数，直到由初始ML模型产生的输出匹配(或大体上匹配)预训练输出。预训练可包含改变初始ML模型的任何一或多个可训练参数。例如，由本文中所描述的实施例训练的初始ML模型的一或多个参数可包含用于具有可训练权重的初始ML模型的任何层的一或多个权重。在此实例中，权重可包含池化层的权重，但不包含集用层的权重。图3中所展示的步骤可在检验的设置阶段期间离线执行。
因此，可仅使用模拟预训练输入及输出执行预训练阶段，这是本文中所描述的实施例的新特征。换句话说，用于预训练阶段的图像中的任一者不是使用样本本身的物理版本及一些成像硬件所产生的样本的实际(即，非模拟)图像。因此，本文中所描述的实施例的优点是，使用模拟光学(或其它)图像预训练网络减少获取光学或其它较低分辨率检验图像及高分辨率图像(例如扫描电子显微镜(SEM)图像)所需的工具时间。
在一个实施例中，初始ML模型是生成网络。“生成”网络一般可界定为具有机率性质的模型。换句话说，“生成”网络不是执行前向模拟或基于规则的方法的网络，因而，产生实际图像所涉及的过程的物理的模型是不必要的。相反地，如本文中进一步描述，可基于合适数据训练集来学习生成网络(因为可学习其参数)。生成网络可经配置以具有可包含执行若干算法或变换的多个层的深度学习(DL)架构。包含于生成网络中的层的数目可为使用案例以存。出于实际目的，层的合适范围是从2层到几十层。学习较低分辨率、检验类型样本图像(例如实际晶片的图像)与较高分辨率样本图像(例如SEM或缺陷检视类型图像)之间的联合机率分布(平均值及变异数)的深生成网络可如本文中进一步描述那样配置。
在另一实施例中，初始ML模型是生成对抗网络(GAN)。一般来说，GAN由两个对抗模型组成，用于捕获数据分布的生成模型G及用于估计给定样本来自训练数据而非G的机率的判别模型D。G及D可为多层式感知器，即，非线性映射函数。产生器建立从先验噪声分布Pz(z)到数据空间G(z；θg)的映射函数，以学习数据x上的产生器分布Pg，其中G是由具有参数θg的多层式感知器表示的可微函数。产生器经训练以产生无法与真实图像区分的图像。经对抗训练鉴别器经训练以检测由产生器建立的伪造物。产生器及鉴别器经尽可能好的训练，使得产生器产生极好的“伪造”图像。例如，产生器输出给定随机噪声变量输入z的合成样本。随时间推移，通过使鉴别器拒绝其认为是坏伪造物的图像来训练产生器以捕获真实数据分布。
GAN的一般架构及配置的额外描述可见于：古德费洛(Goodfellow)等人的“生成对抗网络(Generative Adversarial Nets)”，arXiv:1406.2661，2014年6月10日，第9页；金马(Kingma)等人的“具有深度生成模型的半监督学习(Semi-supervised Learning withDeep Generative Models)”，NIPS 2014，2014年10月31日，第1到9页；米尔扎(Mirza)等人的“条件生成对抗网络(Conditional Generative Adversarial Nets)”，arXiv:1411.1784，2014年11月6日，第7页；马赫扎尼(Makhzani)等人的“对抗自动编码器(Adversarial Autoencoders)”，arXiv:1511.05644v2，2016年5月25日，第16页；及伊索拉(Isola)等人的“使用条件对抗网络的图像到图像转译(Image-to-Image Translationwith Conditional Adversarial Networks)”，arXiv:1611.07004v2，2017年11月22日，第17页；其以引用的方式并入，宛如本文中所完全阐述。本文中所描述的实施例可如这些参考中所描述那样进一步配置。
在另一实施例中，初始ML模型是自动编码器(autoencoder)。自动编码器、自动关联器(autoassociator)或Diabolo网络是用于有效编码的无监督学习的人工神经网络。自动编码器的目的是学习一组数据的表示(编码)，通常是为了降维。最近，自动编码器概念已被越来越广泛地用于学习数据的生成模型。从架构来说，自动编码器的最简单形式是与多层式感知器(MLP)非常类似的前馈、非递回神经网络，其具有输入层、输出层及连接其一或多个隐藏层，但其中输出层具有与输入层的节点数相同的节点数，且具有重建其自身输入(而非预测给定输入的目标值)的目的。因此，自动编码器是无监督学习模型。自动编码器总是由编码器及解码器两个部分组成。存在各种技术来防止自动编码器学习恒等函数，且提高其捕获重要信息及学习较丰富表示的能力。自动编码器可包含自动编码器的任何合适变体，例如除噪声自动编码器、稀疏自动编码器、变分自动编码器及压缩自动编码器。
变分自动编码器是采取DL及变分推理的优点且导致生成建模的显著进展的组件。另外或替代地，与GAN或深生成对抗网络(DGAN)组合的变分自动编码器(VAE)可如马赫扎尼等人的“对抗自动编码器”，arXiv:1511.05644v2，2016年5月25日，第16页(其以引用的方式并入，宛如本文中所完全阐述)中所描述那样配置。本文中所描述的实施例可如此参考中所描述那样进一步配置。
在一个实施例中，一或多个计算机子系统经配置以从测试样本的设计产生模拟检验图像及模拟较高分辨率图像。例如，计算机子系统可经配置以在横跨光罩的随机位置处选取设计剪辑。模拟数据可以两种分辨率成对产生。第一匹配由检验工具获取的数据。第二是目标改进分辨率。许多此类对可经模拟以预训练生成网络，而无需昂贵成对实际样本图像(例如光学及SEM数据)，包含在SEM可为较高分辨率成像的唯一可用来源的一些情况中。
在此实施例中，产生模拟检验图像及模拟较高分辨率图像包含：通过将代表预期过程变化的扰动应用于设计以借此产生扰动设计来模拟形成于测试样本上的设计的过程变化。以此方式，计算机子系统可经配置以将过程变化模拟为设计扰动。因此，本文中所描述的实施例的新特征是，其可使用来自扰动设计的图像模拟来执行预训练。过程变化模拟可经执行以模拟打印于样本上的设计的一或多个特性的变化，例如来自设计的LER变化、来自设计的CD变化等等。
过程变化可仅模拟形成于样本上的设计将发生的标称扰动。以此方式，扰动设计可表示如果设计由最优可能或标称过程参数(即，如果过程正常运行)形成，那么样本上的设计将为何样。然而，扰动设计还可或替代地产生用于非标称过程变化，以模拟如何使用其它或非标称过程参数在样本上形成设计，此类参数可在用于在样本上形成设计的过程的已知或预期过程窗的内或甚至之外。以此方式，扰动可应用于设计，以产生表示在一或多个过程参数下如何在样本上形成设计的图像，借此产生一或多个扰动设计。因此，以此方式应用扰动可模拟可由过程窗限定(PWQ)类型过程或由形成及成像聚焦曝光矩阵(FEM)类型晶片而产生的图像。PWQ方法的实例描述于2005年6月7日发布的彼得森(Peterson)等人的第6,902,855号美国专利、2008年8月26日发布的彼得森等人的第7,418,124号美国专利、2010年6月1日发布的吴(Wu)等人的第7,729,529号美国专利、2010年8月3日发布的凯卡雷(Kekare)等人的第7,769,225号美国专利、2011年10月18日发布的朴(Pak)等人的第8,041,106号美国专利、2012年2月7日发布的吴等人的第8,111,900号美国专利及2012年7月3日发布的彼得森等人的第8,213,704号美国专利中，所述专利以引用的方式并入，宛如本文中所完全阐述。本文中所描述的实施例可包含这些专利中所描述的任何方法的任何步骤且可如这些专利中所描述那样进一步配置，只是不同于这些专利中所描述的一些方法及系统，本文中所描述的实施例可通过将不同扰动应用于设计而非在具有不同过程参数的物理晶片上打印设计来模拟PWQ或FEM晶片。
图4说明使用模拟的离线预训练数据产生的实施例。如步骤400中所展示，一或多个计算机子系统可如上文所描述那样选取设计剪辑400。设计剪辑的选取可以任何合适方式从本文中所描述的设计、设计数据或设计信息中的任何者执行。设计剪辑可具有任何合适大小且可以任何合适方式选择。尽管为清楚起见，图4中仅展示设计剪辑，但本文中所描述的实施例一般将选取许多多于一个设计剪辑，且可基于预训练阶段预期所需的模拟预训练数据的数目来确定选取设计剪辑的数目。设计剪辑400中所展示的图案不意味着说明可使用本文中所描述的实施例的任何特定设计或样本。换句话说，本文中所描述的实施例并非特定于设计或样本。
如步骤402中所展示，一或多个计算机子系统可将过程变化引入到设计剪辑。在一些此类实施例中，使用高斯(Gaussian)过程模型来执行将扰动应用于设计。例如，扰动可表示实际变化，且可通过高斯过程模型实现。高斯过程模型可包含所属技术领域中已知的任何此合适模型。另外，尽管高斯过程模型可特别适合于应用本文中所描述的实施例中的扰动，但任何其它合适过程模型可用于此步骤(例如当不同过程模型可更好估计其形成于样本上时发生于设计上的扰动时)。扰动设计可合适用作模拟较高分辨率图像。例如，如图4中所展示，引入过程变化步骤402的输出可为模拟SEM图像404。
在另一实施例中，产生模拟检验图像还包含将扰动设计变换为图像域。例如，扰动设计可产生原始设计的二进制版本，如上文所描述，其可合适用作模拟较高分辨率图像(例如模拟SEM图像404)。因此，原始设计的此二进位版本仍无法表示将由成像工具产生的图像。在一些例子中，可将扰动设计的二进制版本变换为更准确表示将由成像工具产生的图像的灰阶图像。以此方式，可将扰动设计从设计域变换为较高分辨率成像工具的图像域。
以类似方式，可将扰动设计变换为较低分辨率成像工具的图像域。如本文中进一步描述，变换为较低分辨率成像工具的图像域不像将二进位图像图像变换为灰阶图像那样简单，因为较低分辨率成像工具可产生看起来与设计及扰动设计不同的图像(例如可从图4中所展示的设计剪辑400、模拟SEM图像404、模拟测试图像408与模拟参考图像412之间的差异看出)。
在另一实施例中，使用部分相干模型将扰动设计变换为图像域。例如，可使用部分相干模型(PCM)将扰动设计变换为光学域。在此实例中，如图4中所展示，例如模拟SEM图像404的扰动设计可经输入以使用执行于步骤406中的PCM再现。使用PCM步骤的再现可产生可为模拟检验测试图像的模拟测试图像408。一或多个计算机子系统还可经配置以如步骤410中所展示那样平均化来自PCM的再现图像以产生模拟参考图像412。平均化来自PCM的再现图像可以所属技术领域中已知的任何合适方式执行，且可使用多个模拟测试图像执行，以更好模拟无缺陷参考图像的可能模样。接着，可在设置阶段中使用PCM及LER模拟的设计及结果如本文中进一步描述那样离线地执行预训练。
PCM可具有所属技术领域中已知的任何合适配置及参数。一般来说，PCM可特别适合于例如本文中所描述的近似光学系统。然而，如果不同模型更合适近似(模拟)用于产生检验图像的成像工具，那么所述模型可用于将扰动设计变换为图像域。例如，PCM模型可为一些光学成像工具而非所有光学成像工具的合适模型。另外，PCM模型可不合适近似电子束成像工具。然而，取决于成像工具的配置，用户可选择、配置或调适适当模型以将扰动设计变换为图像域。
在一些例子中，扰动设计(无论是其二进位形式或是变换为灰阶图像)可不合适用作测试样本的模拟较高分辨率图像。在此类情形中，可将PCM模型或不同模型应用于扰动设计以将扰动设计变换为较高分辨率成像工具的图像域。如果以此方式产生模拟较高分辨率图像，那么用于将扰动设计转化为模拟较高分辨率图像及模拟较低分辨率图像的模型可为相同类型的模型，但具有不同参数，使得不同模型近似于不同成像工具或相同工具的不同成像分辨率。然而，不同类型的模型可用于将扰动设计变换为不同图像域，无论是不同分辨率的相同类型的图像或是不同分辨率的不同类型的图像。例如，可使用PCM模型将扰动设计变换为模拟较低分辨率图像，且可使用非PCM模型将扰动设计变换为模拟较高分辨率图像。
由本文中所描述的实施例执行的第二训练阶段可为使用有限实际或非模拟样本图像(例如相对有限的光学及SEM工具数据)重新训练。例如，一或多个计算机子系统经配置以使用训练集重新训练经预训练ML模型，借此产生经训练ML模型。训练集包含指定为训练输入的由检验子系统针对测试样本产生的图像及指定为训练输出的由高分辨率成像系统产生的测试样本的对应较高分辨率图像。以此方式，本文中所描述的实施例可通过使用所获取的低分辨率样本图像、成对较高分辨率样本图像(例如SEM图像)及设计数据重新训练来提高检验样本层的模型性能。SEM工具数据可为较高分辨率实况数据。
在重新训练阶段(在所属技术领域中还可简单称为训练阶段)中，训练输入可包含由检验子系统针对测试样本产生的测试及参考图像。在一些实施例中，训练集包含样本的设计。例如，训练输入还可视情况包含测试样本的设计。训练输出可包含例如由SEM产生的较高分辨率图像。在训练阶段中，经预训练ML模型可学习从较低分辨率训练输入变换为较高分辨率训练输出。以此方式，训练阶段可利用有限量的实际工具数据及推理。如本文中进一步描述，经训练ML模型接着可在检验期间用于从检验图像预测较高分辨率图像。
在一个实施例中，训练集中的图像的数目小于预训练集中的模拟检验图像的数目，且训练集中的较高分辨率图像的数目小于预训练集中的模拟较高分辨率图像的数目。例如，本文中所描述的实施例的额外优点在于，如本文中所描述那样预训练网络使训练所需的成对训练输入及输出(例如光学及高分辨率SEM图像)的数目的需求最小化。
图5展示使用有限工具数据来重新训练的一个实施例。在此实施例中，用于测试样本的实际检验测试图像500、实际检验参考图像502及设计504被用作经预训练ML模型506的训练输入。在训练阶段中，将样本的较高分辨率图像510用作训练输出。以此方式，当训练输入被输入到经预训练ML模型时，经预训练ML模型将输出较高分辨率图像508。在步骤512中，一或多个计算机子系统比较训练输出(即，测试样本的较高分辨率图像510)与模拟输出(即，较高分辨率图像508)。如步骤514中所展示，一或多个计算机子系统可确定是否应基于比较来调整一或多个经预训练ML模型参数。如果确定应调整一或多个经预训练ML模型参数，那么一或多个计算机子系统可确定经调整的经预训练ML模型参数，如步骤516中所展示，其可基于训练输出与模拟输出之间的任何差异来确定。接着，所确定的一或多个经预训练ML模型参数可应用于经预训练ML模型。如果确定无需调整一或多个经预训练ML模型参数，那么一或多个计算机子系统可将经预训练ML模型的当前版本指定为经训练ML模型，如步骤518中所展示。
以此方式，图5中所展示的步骤可执行于一种反馈回路中，直到经预训练ML模型产生与训练输出大体上匹配的输出。换句话说，训练可包含将训练输入输入到经预训练ML模型中且改变经预训练ML模型的一或多个参数，直到由经预训练ML模型产生的输出匹配(或大体上匹配)训练输出。训练可包含改变经预训练ML模型的任何一或多个可训练参数。例如，由本文中所描述的实施例训练的经预训练ML模型的一或多个参数可包含用于具有可训练权重的经预训练ML模型的任何层的一或多个权重。在此实例中，权重可包含池化层的权重，但不包含集用层的权重。图5中所展示的步骤可在检验的设置阶段期间离线执行。
在另一实施例中，模拟检验图像、模拟较高分辨率图像、针对测试样本产生的图像及测试样本的较高分辨率图像仅包含光学图像。例如，本文中所描述的所有图像可为光学图像。当检验子系统经配置为基于光的工具(例如，如图1中所展)及当模拟较高分辨率图像意味着模拟将由较高分辨率光学工具(无论是以较高分辨率模式操作的检验子系统或是例如经配置以基于光成像的度量或缺陷检视工具的另一工具)产生的图像时，此实施例可为合适的。
在另一实施例中，模拟检验图像及针对测试样本产生的图像仅包含光学图像，且模拟较高分辨率图像及测试样本的较高分辨率图像仅包含电子束图像。以此方式，本文中所描述的一些图像可为光学图像，且其它图像可为电子束图像。此情形可为本文中所描述的实施例的最常见用途。例如，本文中所描述的实施例可特别合适与基于光的检验子系统(例如图1中所展示)一起使用，所述基于光的检验子系统可有利地用于以较低分辨率使用大体上高产出量来扫描样本。针对此类检验，由检验检测到的事件或缺陷通常使用较高分辨率电子束工具(例如SEM缺陷检视工具)成像(其可经配置为如图1a中所展示)。因此，配置及使用本文中所描述的实施例的流行方式可为训练及使用具有较低分辨率、光学检验图像作为输入及较高分辨率、电子束缺陷检视类型图像作为输出的ML模型。以此方式，ML模型可经训练且接着用于从较低分辨率光学检验器类型图像产生较高分辨率SEM类型图像。
在另一实施例中，模拟检验图像、模拟较高分辨率图像、针对测试样本产生的图像及测试样本的较高分辨率图像仅包含电子束图像。例如，本文中所描述的所有图像可为电子束图像。当检验子系统经配置为基于电子束的工具(例如，如图1a中所展)及当模拟较高分辨率图像意味着模拟将由较高分辨率电子束工具(无论是以较高分辨率模式操作的检验子系统或是例如经配置以基于电子束成像的度量或缺陷检视工具的另一工具)产生的图像时，此实施例可为合适的。
尽管本文中所描述的实施例是相对于经训练ML模型而描述，但实施例不受限于单一经训练ML模型。例如，可如本文中所描述那样训练不同ML模型以产生用于不同模式的图像或其它输出。特定来说，在大多数情况中，检验或其它成像工具的不同模式将产生以若干可能方式(例如噪声水平、对比度、分辨率、图像类型(例如DF对BF、光学对电子束等等)及其类似者)中的一者不同于彼此的图像及/或输出。因此，如果ML模型经训练以从工具的低分辨率模式或不同工具产生的较低分辨率图像产生工具的高分辨率模式的模拟较高分辨率图像，那么很可能其将不合适经训练以产生工具的另一高分辨率模式的较高分辨率图像或从工具的另一低分辨率模式或不同工具产生的较低分辨率图像产生较高分辨率图像。因而，多个ML模型可被单独地及独立地训练，每一模式与所关注组合一个。例如，第一ML模型可如本文中所描述那样训练以产生将由来自检验工具的第一模式产生的较低分辨率图像的SEM的模式所产生的较高分辨率SEM图像，且第二ML模型可如本文中所描述那样训练以产生将由来自检验工具的第二模式产生的较低分辨率图像的SEM的相同或不同模式所产生的较高分辨率SEM图像。然而，相同初始ML模型可用于每一模式，尽管此非必要。接着，各经训练ML模型可用于产生特定于模式的数据集。
用于产生预训练集及训练集的测试样本可不同于由经训练ML模型产生的较高分辨率图像的测试样本。另外，尽管本文相对于测试样本描述预训练集及训练集，但多于一个测试样本可用于产生预训练集及训练集。然而，一般来说，由于预训练集仅包含模拟图像，因此产生预训练集无需实际样本。以此方式，可使用一或多个测试样本产生预训练集及重新训练集，且较高分辨率模拟图像可产生用于“运行时间”样本。测试样本及运行时间样本可为相同类型的样本，例如其可具有相同设计且可使用相同制程步骤来处理，尽管如本文中进一步描述，但此未必总是如此。另外，经训练ML模型可用于产生多于一个运行时间样本的模拟图像，所有此类样本可具有相同设计且可使用相同制程步骤来处理。
一般来说，用于产生预训练集及重新训练集的一或多个测试样本分别用于预训练及重新训练ML模型，且使用经训练ML模型对其模拟较高分辨率图像的样本可具有相同设计且可在相同过程中处理(且因此具有相同“层”)。以此方式训练ML模型将确保模拟较高分辨率图像最近似将产生用于样本的实际较高分辨率图像。但在一些情况中，测试样本可具有与运行时间样本足够类似的特性(例如图案化特征、材料等等)，因此，即使测试样本及运行时间样本无相同设计，在测试样本上训练的ML模型还可用于产生运行时间样本的较高分辨率模拟图像。在此类情况中，由经训练ML模型产生的较高分辨率模拟图像应与经训练的成像模式相同。换句话说，如本文中进一步描述，训练用于产生由成像模式产生的较高分辨率模拟图像的ML模型未必合适产生由另一成像模式产生的较高分辨率模拟图像。因此，如果在其设计的至少一部分中具有至少一些相似性的两个样本以相同方式成像或将以相同方式成像，那么样本中的一者可用作测试样本，且经训练ML模型可用于产生样本中的另一者的较高分辨率模拟图像。
以此方式，经训练ML模型可重新用于产生不必为其训练的样本的较高分辨率模拟图像。在此实例中，如果具有两个不同设计的两个不同样本在由类似材料形成且具有相同或类似尺寸的设计的一部分(例如类似存储器阵列区域)中共同具有至少一些图案化特征，那么为样本中的一者训练的ML模型能够为样本中的另一者设计的部分产生较高分辨率模拟图像。即使为样本训练的ML模型不能为具有不同设计的另样本产生较高分辨率模拟图像，如果样本之间存在一些相似性，那么经训练ML模型可用作为另样本重新训练的开始配置以建立不同经训练ML模型。此重新训练可如本文中所描述那样执行。
一或多个计算机子系统经配置以将由检验子系统在检验期间为样本产生的图像输入到经训练ML模型中，以借此产生样本的较高分辨率图像。以此方式，经训练ML模型用于提高候选缺陷位置处的输入(例如光学图像)的分辨率。因此，本文中所描述的实施例的另一优点在于，由于无需额外样本扫描，实施例可在不影响产出量的情况下产生较高分辨率图像。另外，本文中所描述的实施例使检验能够以较大像素大小运行，但具有较小像素大小的优点(因为可使用本文中所描述的经训练ML模型从以更低分辨率(即，较大像素大小)产生的检验图像产生较高分辨率图像)。启用较低分辨率检验而同时保留较高分辨率检验的优点，还可具有显著提高产出量(例如，产出量提高超过3倍)。基于经训练ML的模型还可用于在工具上检验期间为样本实时产生较高分辨率图像。以此方式，可在运行期间从在线检验图像为样本产生较高分辨率图像。
计算机子系统可经配置以按所属技术领域中已知的任何合适方式将为样本产生的图像输入到经训练ML模型中。尽管本文中将一些实施例描述为(仅为清楚及简单起见)产生用于样本的“较高分辨率图像”，但本文中所描述的经训练ML模型可用于产生仅由输入到经训练ML模型的样本的图像限制的样本的任何数目个较高分辨率图像。另外，尽管本文中将一些实施例描述为(为清楚及简单起见)产生用于“样本”的较高分辨率图像，但本文中所描述的实施例不受限于产生仅用于样本的较高分辨率图像。
由计算机子系统输入到经训练ML模型的图像可包含样本上任何位置的测试图像及参考图像。测试图像及参考图像可包含(例如)在样本上的不同晶粒中的对应位置处产生的图像、样本上的不同单元、样本上的不同光罩场等等。测试图像还可包含由检验子系统产生的样本的图像，且参考图像可包含存储于计算机可读媒体中的标准参考图像的对应部分。标准参考图像可或可不由成像实际样本而产生。
尽管将样本上的位置的测试图像及参考图像输入到经训练ML模型中可提高由经训练ML模型为位置产生的较高分辨率图像的质量，但此非必要。例如，检验期间由检验子系统产生的任何样本图像可被逐个输入到经训练ML模型，且为每一位置产生的较高分辨率图像可接着用于缺陷检测。以此方式，对样本执行的检验过程可不包含对由在检验期间扫描样本所产生的样本图像执行的缺陷检测，但可包含使用从由扫描产生的较低分辨率图像产生的较高分辨率图像执行的缺陷检测。这是否是检验的实际解决方案可取决于产生较高分辨率图像所需的操作及产生较高分辨率图像的速度。使用高分辨率图像执行的缺陷检测可包含标准晶粒对晶粒缺陷检测或晶粒对数据库检测，其中参考图像是存储较高分辨率参考图像。换句话说，模拟较高分辨率图像可被输入到任何合适缺陷检测方法或算法中，如所属技术领域中当前所执行那样。然而，此类较高分辨率图像还可适合于单一图像检测，例如2019年1月22日发布的卡森蒂(Karsenti)等人的第10,186,026号美国专利中所描述，其以引用的方式并入，宛如本文中所完全阐述。
在一个实施例中，一或多个计算机子系统经配置以将样本的设计与由检验子系统在检验期间针对样本产生的图像一起输入到经训练ML模型中。例如，检验子系统可以系统的奈奎斯特速率产生用于样本的较低分辨率图像。在此类情形中，不能仅从较低分辨率图像获得新信息。任何超分辨率技术试图重新建立成像过程中丢失的信息且可产生假影。新增设计及模拟过程变化的想法是将信息新增到系统，且ML模型学习真实扰动是何样及引起扰动的过程变化。因此，本文中所描述的实施例的新特征在于，其可使用设计作为额外通道来帮助重建较高分辨率图像。另外，本文中所描述的实施例的优点在于，其可使用在许多当前使用的光学检验工具上易于获得的对准设计信息，其将额外信息通道新增到高分辨率重建方法。
图6展示将由检验子系统在检验期间针对样本产生的图像输入到经训练ML模型中以借此产生样本的较高分辨率图像的实施例。在此实施例中，一或多个计算机子系统将样本的实际测试图像600、样本的实际参考图像602及样本的设计604输入到经训练ML模型606中。经训练ML模型将输入变换为重建较高分辨率图像608，其接着可用于本文中所描述的一或多个额外功能。
一或多个计算机子系统经配置以从所产生的较高分辨率图像确定样本的信息。确定样本的信息可包含确定检验期间在样本上检测到的事件的信息，例如检测事件是扰乱点或是实际缺陷(如本文中所描述的扰乱点过滤)及未由扰乱点过滤所过滤的检测事件或缺陷的分类是什么(如本文中所描述的缺陷分类)。
确定样本的信息还可或替代地包含对样本及/或在样本上检测到的事件或缺陷执行类似度量的功能。例如，由经训练ML模型产生的模拟较高分辨率图像可输入到度量方法或算法，其中模拟较高分辨率图像中检测事件、检测缺陷或图案化特征(缺陷与否)的各种性质被确定或测量。此类特征可包含可从较高分辨率图像确定的任何特性，例如CD、LER、形状特性、缺陷与图案化特征的空间关系或图案化特征彼此之间的空间关系等等。
与由检验子系统产生的图像相比，较高分辨率图像对于对准对设计(align-to-design)应用可更有用。例如，可由对准对设计方法或算法(例如由来自KLA市售的一些工具使用的像素对设计对准(PDA)算法)使用较高准确度及精度将较高分辨率图像对准样本的设计。因此，使用较高分辨率图像为样本确定的信息可包含设计数据空间中的缺陷坐标，而非由检验子系统报告的样本空间或工具特定坐标。从模拟较高分辨率图像确定的缺陷相对于设计的位置的信息还可用于确定样本的额外信息，例如关于设计中的弱点或热点的信息(即，在设计的相同部分的多个例子中出现或倾向于重复出现缺陷的位置)。
因此，一般来说，由本文中所描述的经训练ML模型产生的模拟较高分辨率图像可被用作任何方法或算法的输入，所述方法或算法可用于从样本的相对高分辨率图像确定关于本文中所描述的任何样本的信息。
在一个实施例中，从产生较高分辨率图像确定样本的信息包含基于产生较高分辨率图像来执行由检验检测到的缺陷的扰乱点过滤，借此产生用于样本的经过滤缺陷群体。以此方式，改进较高分辨率图像可用于扰乱点过滤。因此，本文中所描述的实施例可帮助解决未来光学检验变成有限扰乱点的问题。这意味着，先前在DOI及扰乱点的信号之间存在足够离距，因此阈值可用于仅检测DOI而不检测扰乱点。然而，在当前及未来的许多情形中，任何可用于检测DOI的阈值还将必然检测到至少一些扰乱点。换句话说，对应于DOI的信号(或用于缺陷检测的任何信号)不能与扰乱点的信号充分分离。另外，在许多例子中，不仅一些扰乱点与DOI一起被检测到。相反地，极高扰乱点率正变得越来越普遍，其中每一个DOI检测到数个扰乱点，或甚至检测到的扰乱点比DOI的数目多。检测此类高级扰乱点可使所得数据基本上无用。
因此，将高扰乱点率检验结果转化为可采取动作的数据可需要将扰乱点率降低多达50倍当前扰乱点率。例如，如果基于照护区域的检验在检测之后产生107个总事件，那么当前使用的扰乱点事件过滤能够将事件数量减少20倍，这意味着仍可有多达500K用于取样/缺陷检视的总事件。相比来说，如果本文中所描述的实施例可将检测之后的总事件减少1000倍(这意味着比当前扰乱点过滤提高50倍)，那么用于取样/检视的总事件将仅为10K，比500K低得多。本文中所描述的实施例可提供通过使用模拟较高分辨率图像且利用设计及光学模拟降低的此类高级扰乱点率。扰乱点过滤可以所属技术领域中已知的任何合适方式执行。例如，简单地通过将当前使用的扰乱点过滤与由本文中所描述的经训练ML模型产生的模拟较高分辨率图像而非较低分辨率检验图像一起使用(或将当前使用的扰乱点过滤适用于模拟较高分辨率图像)，本文中所描述的实施例可提供上述改进扰乱点过滤。
随着设计规则不断缩减，光学检验变成有限扰乱点。此限制性可引起前缘半导体制造商越来越依靠电子显微镜进行检验，此伴随其自身的缺点组。为将光学检验器的扰乱点检测降低到可接受级，与当前扰乱点率相比，可需要将扰乱点率降低多达50倍或以上。通过实现显著减少扰乱点，本文中所描述的实施例实现降低此类扰乱点率，同时维持且甚至实现光学检验工具的较高敏感度。
图7说明可由本文中所描述的实施例执行的工具上检验的实施例。在此实施例中，样本是晶片700，其被载入到执行样本的工具上检验的检验工具702中，其中样本被工具702扫描且由扫描产生的图像用于检测样本上的缺陷。由缺陷检测步骤产生的输出可包含初始批次结果704，其可包含大量检测事件(例如100万到200万个检测事件)。检测事件可包含DOI及扰乱点(且甚至通常多于DOI的许多扰乱点)，其可在额外步骤中彼此分离。
本文中所描述的实施例可将初始批次结果中的信息输入到可如本文中所描述那样配置的经训练ML模型706中。特定来说，针对事件产生的测试图像(可具有对应参考图像及设计)可被输入到产生检测事件的较高分辨率图像708的经训练ML模型。一或多个计算机子系统可输入或可不输入样本上所有检测事件的测试图像(及其它任选输入)。例如，可以一些方式对初始批次结果中的检测事件取样，且接着可将仅用于检测事件的取样子集的检验图像输入到经训练ML模型。
在任何情况中，由经训练ML模型产生的较高分辨率图像708可被输入到可如本文中所描述那样执行的扰乱点过滤步骤710。扰乱点过滤步骤的输出714可包含未被作为扰乱点所滤除的任何检测事件。如由表示扰乱点过滤步骤的输出的晶片图示意性展示，扰乱点过滤之后剩余的检测事件的数目可大体上小于由工具上检验报告的检测事件的数目。
在另一实施例中，从产生较高分辨率图像确定样本的信息包含基于产生较高分辨率图像分类由检验检测到的缺陷。以此方式，改进较高分辨率图像可用于缺陷分类。使用较高分辨率图像进行缺陷分类可提供有效DOI分选(binning)。例如，较高分辨率图像允许以较低扰乱点进行更好DOI分选。在此实施例中，如果确定样本的信息还包含扰乱点过滤，那么扰乱点过滤步骤的输出可输入到缺陷分类。例如，如图7中所展示，扰乱点过滤步骤710的输出714可输入到缺陷分类步骤716。以此方式，仅未由扰乱点过滤所滤除的检测事件可输入到缺陷分类步骤。
可使用包含非DL分类方法及DL分类方法的所属技术领域中已知的任何合适缺陷分类方法或算法来执行分类基于产生较高分辨率图像的缺陷。例如，简单地通过将当前使用的缺陷分类器与由本文中所描述的经训练ML模型产生的模拟较高分辨率图像而非较低分辨率检验图像一起使用(或将当前使用的缺陷分类器适用于模拟较高分辨率图像)，本文中所描述的实施例可提供本文中所描述的改进缺陷分类。以此方式，产生较高分辨率图像可输入到缺陷分类，且以与缺陷分类的任何其它输入的相同方式使用。
由缺陷分类步骤产生的输出可输入到可包含缺陷检视及产生最终检验结果的后处理步骤718。后处理可包含取样未由扰乱点过滤所过滤及/或由缺陷分类进行分类的缺陷以用于缺陷检视。缺陷检视可经执行以产生接着可用于确定取样事件中哪些是实际缺陷而哪些是扰乱点，及确定实际缺陷的缺陷类型或分类的实际、非模拟的较高分辨率图像。以此方式，缺陷检视可确定检测事件中哪些是DOI，且使用非模拟较高分辨率图像来识别DOI的类型或分类(当样本上可存在不同类型的DOI时)。
在本文中所描述的实施例中，由经训练ML模型产生的较高分辨率图像可使缺陷检视较大程度上变得不必要，因为可不需要缺陷检视过程来产生通常用于扰乱点过滤及缺陷分类的较高分辨率图像。然而，在本文中所描述的实施例中，缺陷检视可包含针对事件产生的样本、经过滤及未经过滤事件及/或经分类或未经分类缺陷的实际较高分辨率图像，出于例如检验扰乱点过滤的性能、验证缺陷分类结果及基于模拟较高分辨率图像分类无法被分类的任何缺陷的若干原因。
在一些例子中，由缺陷检视工具产生的实际较高分辨率图像还可用于检验经训练ML模型是否仍被充分执行及/或经训练ML模型的一或多个参数是否应被调谐，其可经执行以说明用于在样本上或检验工具中形成设计的过程中的变化或漂移。
本文中所描述的实施例可显著减少用于检验扰乱点的检验结果及/或执行缺陷分类的缺陷检视所涉及的时间量及成本。本文中所描述的实施例甚至可进行无检视检验，其中由经训练ML模型从检验图像产生的较高分辨率图像可用于代替任何缺陷检视图像，借此减少或甚至消除对工具上缺陷检视时间的需要。换句话说，通过由经训练ML模型产生的较高分辨率图像，由检验产生的图像可用于缺陷检视类型功能(如扰乱点过滤及缺陷分类)，借此将缺陷检视移动到检验工具。
计算机子系统可经配置以存储由本文中所描述的实施例产生的各种信息、图像等等。例如，计算机子系统可经配置以存储样本的任何或所有模拟较高分辨率图像及从模拟较高分辨率图像确定用于样本的任何或所有信息。此类图像及信息还可与由检验子系统在检验期间针对样本产生的任何或所有图像一起存储。任何或所有此信息可以任何合适方式存储且存储于本文中所描述的任何计算机可读存储媒体中。
在另一实例中，计算机子系统可经配置以存储用于检验样本或相同类型的另样本的经训练ML模型。计算机子系统可经配置以将此经训练ML模型存储于方案中，或通过产生将使用经训练ML模型的检验的方案来存储。本文中所使用的术语“方案”被界定为可由工具使用以在样本上执行过程的一组指令。以此方式，产生方案可包含产生关于如何执行过程的信息，所述信息接着可用于产生用于执行所述过程的指令。计算机子系统还可存储可用于识别、存取及/或使用模型的经训练ML模型的任何信息(例如文件名称及其所存储的位置)。所存储的模型的信息还可包含模型的过程码、指令、算法等等。模型及/或其信息可以任何合适方式存储于本文中所描述的任何计算机可读存储媒体中。
经训练ML模型及/或其信息可与本文中所描述的任何其它结果一起存储且可以本领域中已知的任何方式存储。存储媒体可包含本文中所描述的任何存储媒体或所属技术领域中已知的任何其它合适存储媒体。在存储信息之后，信息可存取于存储媒体中且由本文中所描述的方法或系统实施例中的任何者使用、经格式化以向用户显示、由另一软件模块、方法或系统使用等等。例如，本文中所描述的实施例可产生如上文所描述的检验方案。接着，检验方案可由系统或方法(或另一系统或方法)存储及使用以检验样本或其它样本，借此产生样本或其它样本的信息(例如缺陷信息)。
由对样本或相同类型的其它样本执行检验而产生的结果及信息可由本文中所描述的实施例及/或其它系统及方法以各种方式使用。此类功能包含(但不限于)以反馈或前馈的方式改变过程，例如已或将在检验样本或另样本上执行的制程或步骤。例如，本文中所描述的计算机子系统可经配置以确定对在如本文中所描述那样检验的样本上执行的过程及/或对将基于检测缺陷在样本上执行的过程的一或多个改变。对过程的改变可包含对过程的一或多个参数的任何合适改变。本文中所描述的计算机子系统优选地确定使得可减少或防止其上执行修改过程的其它样本上的缺陷，可在样本上所执行的另一过程中校正或消除样本上的缺陷，可在样本上所执行的另一过程中补偿缺陷等等的此类改变。本文中所描述的计算机子系统可以所属技术领域中已知的任何合适方式确定此类改变。
接着，可将此类改变发送到半导体制造系统(未展示)或计算机子系统及半导体制造系统可存取的存储媒体(未展示)。半导体制造系统可为或可不为本文中所描述的系统实施例的部分。例如，本文中所描述的计算机子系统及/或检验子系统可(例如经由一或多个共同元件(例如外壳、电源供应器、样本处置装置或机构等等))耦合到半导体制造系统。半导体制造系统可包含所属技术领域中已知的任何半导体制造系统，例如光刻工具、蚀刻工具、化学机械抛光(CMP)工具、沉积工具及其类似者。
因此，如本文中所描述，实施例可用于设置新检验过程或方案。实施例还可用于修改现有检验过程或方案，无论其是用于样本或为样本建立的检验过程或方案或是适合于另样本的检验过程或方案。
本文中所描述的实施例不受限于检验方案或过程建立或修改。例如，本文中所描述的实施例还可用于以类似方式设置或修改用于度量、缺陷检视等等的方案或过程。特定来说，本文中所描述的ML模型可取决于经设置或修改的过程(例如从过程期间所产生的图像产生较高分辨率图像)进行预训练及重新训练。接着，取决于经设置或改变的过程或方案，由经训练ML模型产生的较高分辨率图像可用于在过程期间或在由过程产生的输出的后处理期间执行一或多个功能。尽管许多质量控制类型的过程(如度量及缺陷检视)一般经配置以产生大体上高分辨率图像或样本的其它输出，但通过使用本文中所描述的经训练ML模型来模拟样本的较高分辨率图像，在过程期间使用其产生图像的样本分辨率可被降低，这可提高产出量。
可将上述各系统的各实施例一起组合为单一实施例。
另一实施例涉及一种用于确定样本的信息的计算机实施方法。方法包含由一或多个计算机系统执行的本文中所描述的预训练、重新训练、输入及确定步骤。一或多个组件由一或多个计算机系统执行。一或多个组件包含经训练ML模型，所述经训练ML模型经配置以将由检验子系统产生的样本的图像变换为样本的较高分辨率图像。
方法的步骤中的每一者可如本文中进一步描述那样执行。方法还可包含可由本文中所描述的系统、计算机系统、组件及/或经训练ML模型执行的任何其它步骤。计算机系统可根据本文中所描述的任何实施例来配置，例如计算机子系统102。一或多个组件及经训练ML模型还可根据本文中所描述的任何实施例来配置。方法可由本文中所描述的任何系统实施例执行。
另一实施例涉及一种非暂时性计算机可读媒体，其存储可在一或多个计算机系统上执行用于执行用于确定样本的信息的计算机实施方法的程序指令。图8中展示此实施例。特定来说，如图8中所展示，非暂时性计算机可读媒体800包含可在计算机系统804上执行的程序指令802。计算机实施方法可包含本文中所描述的任何方法的任何步骤。
实施例如本文中所描述的方法的程序指令802可存储于计算机可读媒体800上。计算机可读媒体可为存储媒体，例如磁盘或光盘、磁带或所属技术领域中已知的任何其它合适非暂时性计算机可读媒体。
程序指令可以各种方式中的任何者来实施，包含基于过程式技术、基于组件式技术及/或物件导向式技术等等。例如，可根据期望使用ActiveX控制、C++物件、JavaBeans、微软基础类别(“MFC”)、SSE(数据流SIMD延伸)或其它技术或方法来实施程序指令。
计算机系统804可根据本文中所描述的任何实施例来配置。
鉴于此描述，所属领域的技术人员将明白本发明各种方面的进一步修改及替代实施例。例如，提供用于确定样本的信息的方法及系统。因此，此描述被解释为仅供说明且出于教示所属领域的技术人员实施本发明的一般方式的目的。应了解，本文中所展示及描述的本发明的形式将被视为目前优选实施例。在受益于本发明的描述之后的所属领域的技术人员将明白以下全部：元件及材料可取代本文中所说明及描述的元件及材料，部分与过程可交换，且可独立利用本发明的某些特征。可在不背离如所附权利要求书中所描述的本发明的精神及范围的情况下对本文中所描述的元件进行改变。

Claims (20)

1.一种经配置以确定样本的信息的系统，其包括：
检验子系统，其经配置以产生样本的图像；
一或多个计算机子系统；及
一或多个组件，其由所述一或多个计算机子系统执行，其中所述一或多个组件包括经配置以将由所述检验子系统产生的所述样本的所述图像变换为所述样本的较高分辨率图像的经训练机器学习模型；
其中所述一或多个计算机子系统经配置以：
使用预训练集预训练初始机器学习模型，借此产生预训练机器学习模型，其中所述预训练集包括指定为预训练输入的测试样本的模拟检验图像及指定为预训练输出的所述测试样本的对应模拟较高分辨率图像；
使用训练集重新训练所述经预训练机器学习模型，借此产生所述经训练机器学习模型，其中所述训练集包括指定为训练输入的由所述检验子系统针对所述测试样本产生的图像及指定为训练输出的由高分辨率成像系统产生的所述测试样本的对应较高分辨率图像；
将由所述检验子系统在检验期间针对所述样本产生的所述图像输入到所述经训练机器学习模型中以借此产生所述样本的所述较高分辨率图像；及
从所述所产生的较高分辨率图像确定所述样本的信息。
2.根据权利要求1所述的系统，其中所述训练集中的所述图像的数目小于所述预训练集中的所述模拟检验图像的数目，且其中所述训练集中的所述较高分辨率图像的数目小于所述预训练集中的所述模拟较高分辨率图像的数目。
3.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置以从所述测试样本的设计产生所述模拟检验图像及所述模拟较高分辨率图像。
4.根据权利要求3所述的系统，其中产生所述模拟检验图像及所述模拟较高分辨率图像包括：通过将代表预期过程变化的扰动应用于所述设计以借此产生扰动设计来模拟形成于所述测试样本上的所述设计的过程变化。
5.根据权利要求4所述的系统，其中使用高斯(Gaussian)过程模型来执行将所述扰动应用于所述设计。
6.根据权利要求4所述的系统，其中产生所述模拟检验图像进一步包括：将所述扰动设计变换为图像域。
7.根据权利要求6所述的系统，其中使用部分相干模型来执行将所述扰动设计变换为所述图像域。
8.根据权利要求1所述的系统，其中所述模拟检验图像、所述模拟较高分辨率图像、针对所述测试样本产生的所述图像及所述测试样本的所述较高分辨率图像仅包括光学图像。
9.根据权利要求1所述的系统，其中所述模拟检验图像及针对所述测试样本产生的所述图像仅包括光学图像，且其中所述模拟较高分辨率图像及所述测试样本的所述较高分辨率图像仅包括电子束图像。
10.根据权利要求1所述的系统，其中所述模拟检验图像、所述模拟较高分辨率图像、针对所述测试样本产生的所述图像及所述测试样本的所述较高分辨率图像仅包括电子束图像。
11.根据权利要求1所述的系统，其中所述训练集进一步包括所述样本的设计。
12.根据权利要求1所述的系统，其中所述初始机器学习模型是生成网络。
13.根据权利要求1所述的系统，其中所述初始机器学习模型是生成对抗网络。
14.根据权利要求1所述的系统，其中所述初始机器学习模型是自动编码器。
15.根据权利要求1所述的系统，其中所述一或多个计算机子系统进一步经配置以将所述样本的设计与由所述检验子系统在所述检验期间针对所述样本产生的所述图像一起输入到所述经训练机器学习模型中。
16.根据权利要求1所述的系统，其中从所述所产生的较高分辨率图像确定所述样本的所述信息包括：基于所述所产生的较高分辨率图像来执行由所述检验检测到的缺陷的扰乱点过滤，借此产生用于所述样本的经过滤缺陷群体。
17.根据权利要求1所述的系统，其中从所述所产生的较高分辨率图像确定所述样本的所述信息包括：基于所述所产生的较高分辨率图像分类由所述检验检测到的缺陷。
18.根据权利要求1所述的系统，其中所述样本是晶片。
19.一种非暂时性计算机可读媒体，其存储可在一或多个计算机系统上执行以执行用于确定样本的信息的计算机实施方法的程序指令，其中所述计算机实施方法包括：
使用预训练集预训练初始机器学习模型，借此产生预训练机器学习模型，其中所述预训练集包括指定为预训练输入的测试样本的模拟检验图像及指定为预训练输出的所述测试样本的对应模拟较高分辨率图像；
使用训练集重新训练所述经预训练机器学习模型，借此产生经训练机器学习模型，其中所述训练集包括指定为训练输入的由检验子系统针对所述测试样本产生的图像及指定为训练输出的由高分辨率成像系统产生的所述测试样本的对应较高分辨率图像；
其中一或多个组件由所述一或多个计算机系统执行，且其中所述一或多个组件包括经配置以将由所述检验子系统产生的样本的图像变换为所述样本的较高分辨率图像的所述经训练机器学习模型；
将由所述检验子系统在检验期间针对所述样本产生的所述图像输入到所述经训练机器学习模型中以借此产生所述样本的所述较高分辨率图像；及
从所述所产生的较高分辨率图像确定所述样本的信息。
20.一种用于确定样本的信息的计算机实施方法，其包括：
使用预训练集预训练初始机器学习模型，借此产生预训练机器学习模型，其中所述预训练集包括指定为预训练输入的测试样本的模拟检验图像及指定为预训练输出的所述测试样本的对应模拟较高分辨率图像；
使用训练集重新训练所述经预训练机器学习模型，借此产生经训练机器学习模型，其中所述训练集包括指定为训练输入的由检验子系统针对所述测试样本产生的图像及指定为训练输出的由高分辨率成像系统产生的所述测试样本的对应较高分辨率图像；
其中一或多个组件由一或多个计算机系统执行，且其中所述一或多个组件包括经配置以将由所述检验子系统产生的样本的图像变换为所述样本的较高分辨率图像的所述经训练机器学习模型；
将由所述检验子系统在检验期间针对所述样本产生的所述图像输入到所述经训练机器学习模型中以借此产生所述样本的所述较高分辨率图像；及
从所述所产生的较高分辨率图像确定所述样本的信息，其中所述预训练、重新训练、输入及确定由所述一或多个计算机系统执行。
CN202180031109.XA 2020-04-30 2021-04-27 训练机器学习模型以从检验图像产生较高分辨率图像 Pending CN115552431A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063017674P 2020-04-30 2020-04-30
US63/017,674 2020-04-30
US17/238,106 US20210343001A1 (en) 2020-04-30 2021-04-22 Training a machine learning model to generate higher resolution images from inspection images
US17/238,106 2021-04-22
PCT/US2021/029270 WO2021222152A1 (en) 2020-04-30 2021-04-27 Training a machine learning model to generate higher resolution images from inspection images

Publications (1)

Publication Number Publication Date
CN115552431A true CN115552431A (zh) 2022-12-30

Family

ID=78293122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180031109.XA Pending CN115552431A (zh) 2020-04-30 2021-04-27 训练机器学习模型以从检验图像产生较高分辨率图像

Country Status (6)

Country Link
US (1) US20210343001A1 (zh)
KR (1) KR20230007431A (zh)
CN (1) CN115552431A (zh)
IL (1) IL297405A (zh)
TW (1) TW202211092A (zh)
WO (1) WO2021222152A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108683907B (zh) * 2018-05-31 2020-10-09 歌尔股份有限公司 光学模组像素缺陷检测方法、装置及设备
US11861286B2 (en) * 2020-06-30 2024-01-02 Synopsys, Inc. Segregating defects based on computer-aided design (CAD) identifiers associated with the defects
JP2022048795A (ja) * 2020-09-15 2022-03-28 キヤノンメディカルシステムズ株式会社 情報処理装置
US12020418B2 (en) * 2021-04-22 2024-06-25 Taiwan Semiconductor Manufacturing Company, Ltd. Image processing method and system, and non-transitory computer readable medium
US20230153988A1 (en) * 2021-11-17 2023-05-18 Ford Global Technologies, Llc System and method for identifying and analyzing desired properties of a material
WO2024083437A1 (en) * 2022-10-21 2024-04-25 Asml Netherlands B.V. Defect map based d2d alignment of images for machine learning training data preparation
WO2024088665A1 (en) * 2022-10-23 2024-05-02 Asml Netherlands B.V. Training a machine learning model to predict images representative of defects on a substrate

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170357911A1 (en) * 2014-12-18 2017-12-14 Asml Netherlands B.V. Feature search by machine learning
US11580375B2 (en) * 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
US10648924B2 (en) * 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US10083340B2 (en) * 2016-01-26 2018-09-25 Ge Healthcare Bio-Sciences Corp. Automated cell segmentation quality control
US10223615B2 (en) * 2016-08-23 2019-03-05 Dongfang Jingyuan Electron Limited Learning based defect classification
US10395362B2 (en) * 2017-04-07 2019-08-27 Kla-Tencor Corp. Contour based defect detection
US10430937B2 (en) * 2017-09-25 2019-10-01 United Technologies Corporation Automated material characterization system including conditional generative adversarial networks
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
US11741580B2 (en) * 2018-09-14 2023-08-29 The Johns Hopkins University Machine learning processing of contiguous slice image data
US10949964B2 (en) * 2018-09-21 2021-03-16 Kla Corporation Super-resolution defect review image generation through generative adversarial networks

Also Published As

Publication number Publication date
WO2021222152A1 (en) 2021-11-04
WO2021222152A9 (en) 2022-01-13
US20210343001A1 (en) 2021-11-04
KR20230007431A (ko) 2023-01-12
TW202211092A (zh) 2022-03-16
IL297405A (en) 2022-12-01

Similar Documents

Publication Publication Date Title
US10346740B2 (en) Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
CN111819676B (zh) 训练用于低分辨率图像中的缺陷检测的神经网络
US10733744B2 (en) Learning based approach for aligning images acquired with different modalities
US10648924B2 (en) Generating high resolution images from low resolution images for semiconductor applications
EP3465174B1 (en) Generating simulated images from input images for semiconductor applications
US9916965B2 (en) Hybrid inspectors
US11580398B2 (en) Diagnostic systems and methods for deep learning models configured for semiconductor applications
CN108463876B (zh) 为样品产生模拟输出
US20210343001A1 (en) Training a machine learning model to generate higher resolution images from inspection images
KR102650301B1 (ko) 장애물 필터링을 위한 심층 학습 네트워크
US11961219B2 (en) Generative adversarial networks (GANs) for simulating specimen images
EP4222695A1 (en) Deep learning based defect detection
CN115516295A (zh) 使用深度学习方法的缺陷尺寸测量
US20220318986A1 (en) Semantic image segmentation for semiconductor-based applications
CN117561539A (zh) 用于基于半导体应用的无监督或自我监督的深度学习

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination