CN117670789A - 对半导体样本的缺陷检查 - Google Patents

Abstract

提供了一种用于对半导体样本进行缺陷检查的系统和方法。所述方法包括获得半导体样本的运行时图像、使用机器学习(ML)模型基于运行时图像生成参考图像、以及使用生成的参考图像对运行时图像执行缺陷检查。ML模型先前在设置期间使用包括一对或多对训练图像的训练集进行训练，每对训练图像包括缺陷图像和对应的无缺陷图像。训练包括针对每对训练图像，由ML模型处理缺陷图像以获得预测图像，以及优化ML模型以使预测图像和无缺陷图像之间的差异最小化。

Description

对半导体样本的缺陷检查

技术领域

当前公开的主题总体上涉及检查半导体样本的领域，并且更具体地涉及对半导体样本的缺陷检测。

背景技术

当前对与制造的器件的超大规模集成相关联的高密度和性能的需求需要亚微米特征、增加的晶体管和电路速度、以及提高的可靠性。随着半导体工艺的进步，诸如线宽之类的图案尺寸以及其他类型的临界尺寸不断缩小。这些需求要求以高精度和均匀性形成器件特征，这进而又需要对制造工艺进行仔细监控，包括在器件仍处于半导体晶片形式时对器件进行自动检查。

运行时检查通常可以采用两阶段过程，例如，检验样本，然后审查潜在缺陷的采样位置。检查通常涉及通过将光或电子引导至晶片并检测来自晶片的光或电子来生成样本的某些输出(例如，图像、信号等)。在第一阶段期间，以高速和相对低的分辨率检验样本的表面。缺陷检测通常通过将缺陷检测算法应用于检验输出来执行。产生缺陷图以显示样本上有高概率是缺陷的可疑位置。在第二阶段期间，以相对高的分辨率对可疑位置中的至少一些进行更彻底的分析，以确定缺陷的不同参数，诸如类别、厚度、粗糙度、尺寸等。

可以在待检查的样本的制造期间或之后使用非破坏性检查工具来提供检查。检查通常涉及通过将光或电子引导至晶片并检测来自晶片的光或电子来生成样本的某些输出(例如，图像、信号等)。作为非限制性示例，各种非破坏性检查工具包括扫描电子显微镜、原子力显微镜、光学检验工具等。

检查处理可包括多个检查步骤。半导体器件的制造处理可以包括各种过程，诸如蚀刻、沉积、平坦化、生长(诸如外延生长)、注入等。检查步骤可以执行多次，例如在某些处理程序之后和/或在制造某些层之后执行等。附加地或替代地，每个检查步骤可以重复多次，例如针对不同的晶片位置或以不同检查设置针对同一晶片位置。

在半导体制造期间的各个步骤使用检查处理，以检测和分类样本上的缺陷，以及执行计量相关操作。检查的有效性可以通过(多个)处理的自动化来提高，该处理诸如缺陷检测、自动缺陷分类(ADC)、自动缺陷审查(ADR)、图像分割、自动化计量相关操作等。自动化检查系统确保制造的零件符合预期的质量标准，并根据所识别的缺陷类型提供关于制造工具、装备和/或成分可能需要的调整的有用信息。

在一些情况下，机器学习技术可以用于辅助检查处理，以便为特定检查应用的自动化提供准确且高效的解决方案，并促进更高的良率。

发明内容

根据当前公开的主体的某些方面，提供了一种用于对半导体样本进行缺陷检查的计算机化系统，所述系统包括处理和存储器电路系统(PMC)，所述PMC被配置为：获取半导体样本的运行时图像；使用机器学习(ML)模型基于运行时图像生成参考图像；以及使用所生成的参考图像对运行时图像执行缺陷检查；其中ML模型先前在设置期间使用训练集进行训练，所述训练集包括一对或多对训练图像，每对训练图像包括缺陷图像和对应的无缺陷图像，所述训练包括针对每对训练图像：通过ML模型对缺陷图像进行处理以获得预测图像；以及优化ML模型以使预测图像和无缺陷图像之间的差异最小化。

除了上述特征之外，根据当前公开的主题的该方面的系统可以以技术上可能的任何期望的组合或排列包括下面列出的特征(i)至(xi)中的一者或多者：

(i).ML模型是被配置为学习缺陷图像和无缺陷图像的两个群体之间的非线性映射的深度神经网络(DNN)。

(ii).每对训练图像中的缺陷图像是以下各项中的一者：通过检查工具获取并验证为含有缺陷特征的半导体样本的实际图像，或者通过在无缺陷图像上合成地植入缺陷特征得到的模拟图像。

(iii).每对训练图像中的对应的无缺陷图像是以下各项中的一者：由检查工具获取并验证为不包含缺陷特征的半导体样本的实际图像，或基于半导体样本的设计数据生成的模拟图像。

(iv).在训练之前通过配准每对训练图像中的缺陷图像与无缺陷图像来对缺陷图像和无缺陷图像进行预处理，以校正缺陷图像与无缺陷图像之间的失准。

(v).在训练之前通过对每对训练图像中的缺陷图像和无缺陷图像执行噪声过滤来对缺陷图像和无缺陷图像进行预处理，以减少表示由样本的一个或多个物理工艺引起的变化的噪声。

(vi).在训练之前通过使用图案修复对每对训练图像中的缺陷图像和无缺陷图像执行图像增强来对缺陷图像和无缺陷图像进行预处理，从而产生与无缺陷图像的各个部分相对应的多个缺陷子图像。

(vii).在训练之前通过对每对训练图像中的缺陷图像和无缺陷图像执行图像配准、噪声过滤和图像增强来对缺陷图像和无缺陷图像进行预处理。

(viii).ML模型包括在DNN之前的至少一个学习模块，所述至少一个学习模块被训练为在由DNN处理每对训练图像中的缺陷图像和无缺陷图像之前对缺陷图像和无缺陷图像执行图像配准和噪声过滤中的至少一者。

(ix).ML模型使用选自均方误差(MSE)、绝对差之和(SAD)、结构相似性指数度量(SSIM)以及边缘保留损失函数的损失函数进行优化。

(x).缺陷检查是缺陷检测、缺陷审查和缺陷分类中的一者。

(xi).所生成的参考图像与运行时图像具有改进的对准，并且与运行时图像共享相似的噪声水平，并且PMC被配置为通过将运行时图像与所生成的参考图像进行直接比较来执行缺陷检查，以获得指示半导体样品上的缺陷分布的缺陷检查结果。

根据当前公开的主题的其他方面，提供了一种用于检查半导体样本的计算机化方法，所述方法包括以下步骤：获取半导体样本的运行时图像；使用机器学习(ML)模型基于运行时图像生成参考图像；以及使用所生成的参考图像对运行时图像执行缺陷检查；其中ML模型先前在设置期间使用训练集进行训练，所述训练集包括一对或多对训练图像，每对训练图像包括缺陷图像和对应的无缺陷图像，训练包括针对每对训练图像：通过ML模型对缺陷图像进行处理以获得预测图像；以及优化ML模型以使预测图像和无缺陷图像之间的差异最小化。

当前公开的主题的该方面可以加以必要的修改，以技术上可能的任何期望的组合或排列包括上面关于系统列出的特征(i)至(xi)中的一者或多者。

根据当前公开的主题的其他方面，提供了一种包括指令的非瞬态计算机可读存储介质，所述非瞬态计算机可读存储介质有形地体现指令程序，所述指令在由计算机执行时使计算机执行用于对半导体样本进行缺陷检查的计算机化方法，所述方法包括以下步骤：获取半导体样本的运行时图像；使用机器学习(ML)模型基于运行时图像生成参考图像；以及使用所生成的参考图像对运行时图像执行缺陷检查；其中ML模型先前在设置期间使用训练集进行训练，所述训练集包括一对或多对训练图像，每对训练图像包括缺陷图像和对应的无缺陷图像，训练包括针对每对训练图像：通过ML模型对缺陷图像进行处理以获得预测图像；以及优化ML模型以使预测图像和无缺陷图像之间的差异最小化。

当前公开的主题的该方面可以加以必要的修改，以技术上可能的任何期望的组合或排列包括上面关于系统列出的特征(i)至(xi)中的一者或多者。

附图说明

为了更好地理解本公开并明白可以如何在实践中实施本公开，现在将参考附图仅通过非限制性示例描述各实施例，在附图中：

图1示出了根据当前公开的主题的某些实施例的检查系统的一般化框图。

图2示出了根据当前公开的主题的某些实施例的训练可用于生成半导体样本的缺陷图像的参考图像的机器学习模型的一般化流程图。

图3示出了根据当前公开的主题的某些实施例的使用被训练用于生成参考图像的机器学习模型的运行时缺陷检查的通用流程图。

图4示出了根据当前公开的主题的某些实施例的ML模型的示例性训练处理的示意图。

图5示出了根据当前公开的主题的某些实施例的经训练的ML模型的示例性运行时检查处理的示意图。

具体实施方式

在以下详细描述中，阐述了众多具体细节以便提供对本公开的透彻理解。然而，本领域技术人员将理解，可以在没有这些特定细节的情况下实践当前公开的主题。在其他实例中，未详细地描述公知的方法、程序和部件，以免混淆当前公开的主题。

除非另有明确说明，否则如从以下讨论显而易见地，应理解，在整个说明书讨论中，利用诸如“获得”、“检查”、“生成”、“学习”、“训练”、“处理”、“优化”、“执行”、“预处理”、“配准”、“过滤”、“图像修复(inpainting)”、“使用”、“比较”等术语是指计算机的将数据操纵和/或转换为其他数据的(多个)动作和/或(多个)过程，所述数据表示为物理(诸如电子)量和/或所述数据表示物理对象。术语“计算机”应被广义地解释为涵盖具有数据处理能力的任何种类的基于硬件的电子设备，作为非限制性示例，包括本申请中公开的检查系统、用于训练ML模型的训练系统、运行时缺陷检查系统、以及上述系统的各个部分。

本文使用的术语“非瞬态存储器”和“非瞬态存储介质”应当被广义地解释为覆盖适合于当前公开的主题的任何易失性或非易失性计算机存储器。这些术语应当被理解为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。这些术语还应当被理解为包括能够存储或编码一组指令以供计算机执行并且使得计算机执行本公开的方法中的任何一个或多个方法的任何介质。因此，这些术语应被理解为包括但不限于只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存设备等。

本说明书中使用的术语“样本”应被广义地解释为覆盖任何种类的物理对象或基板，包括晶片、掩模、掩模版以及用于制造半导体集成电路、磁头、平板显示器和其他半导体制造的制品的其他结构、其组合和/或部分。样本在本文中也称为半导体样本，并且可以通过执行对应制造工艺的制造装备来生产。

本说明书中使用的术语“检查”应被广义地解释为涵盖与样本制造工艺期间和/或之后的各种类型的缺陷检测、缺陷审查和/或缺陷分类、分割和/或计量操作相关的任何种类的操作。在待检查的样本的制造期间或之后使用非破坏性检查工具来提供检查。作为非限制性示例，检查工艺可以包括，使用相同或不同的检查工具进行的运行时扫描(在单次或多次扫描中)、成像、采样、检测、审查、测量、分类和/或关于样本或其部分提供的其他操作。同样，可以在制造待检查的样本之前提供检查，并且可以包括例如生成(多个)检查方案和/或其他设置操作。应注意，除非另有明确说明，否则本说明书中使用的术语“检查”或其派生词在检验区域的分辨率或尺寸方面不受限制。作为非限制性示例，各种非破坏性检查工具包括扫描电子显微镜(SEM)、原子力显微镜(AFM)、光学检验工具等。

本说明书中使用的术语“缺陷”应被广义地解释为涵盖样本上形成的任何种类的异常或不期望的特征/功能。在一些情况下，缺陷可能是感兴趣的缺陷(DOI)，这是对所制造器件的功能有一定影响的真实缺陷，因此检测到DOI符合客户的利益。例如，任何可能导致良率损失的“致命”缺陷都可以表示为DOI。在一些其他情况下，缺陷可能是扰动(也称为“误报”缺陷)，这可以被忽略，因为扰动对完成的器件的功能没有影响并且不影响良率。

本说明书中使用的术语“缺陷候选”应被广义地解释为覆盖样本上被检测为有相对高概率是感兴趣的缺陷(DOI)的可疑缺陷位置。因此，在审查/测试时，缺陷候选实际上可能是DOI，或者在一些其他情况下，缺陷候选可能是如上所述的扰动，或者由检验期间的不同变化(例如，工艺变化、颜色变化、机械和电气变化等)导致的随机噪声。

本说明书中使用的术语“设计数据”应被广义地解释为涵盖指示样本的分层物理设计(布局)的任何数据。设计数据可以由相应的设计者提供和/或可以从物理设计导出(例如，通过复杂的模拟、简单的几何和布尔运算等)。设计数据可以以不同的格式提供，作为非限制性示例，如GDSII格式、OASIS格式等。设计数据可以以矢量格式、灰度强度图像格式或其他方式呈现。

应理解，除非另有具体说明，否则在分开的实施例的上下文中所描述的当前公开的主题的某些特征也可以在单个实施例中组合提供。相反，在单个实施例的上下文中描述的当前公开的主题的各种特征也可以单独地或以任何合适的子组合来提供。在以下详细描述中，阐述了众多具体细节以便提供对方法和装置的透彻理解。

半导体制造工艺通常需要多个顺序的处理步骤和/或层，其中每一者都可能导致缺陷，从而导致良率损失。诸如缺陷检测、缺陷审查和缺陷分类等的缺陷检查操作可以在制造工艺期间的各个处理步骤/层处进行以监测和控制工艺。

可以使用各种检测方法来检测样本上的缺陷。作为示例，通常使用经典的管芯对参考检测算法，诸如，例如，管芯对管芯(D2D)。在D2D中，捕获目标管芯的检验图像。为了检测检验图像中的缺陷，从目标管芯的一个或多个参考管芯(例如，一个或多个相邻管芯)捕获一个或多个参考图像。检验图像和参考图像被对准并且相互比较。可以基于检验图像的像素值与从一个或多个参考图像导出的像素值之间的差异来生成一个或多个差异图像。然后将检测阈值应用于差异图，并创建指示目标管芯中的缺陷候选的缺陷图。

关于上述管芯对参考检测方法存在某些缺点。例如，D2D方法需要采集至少两个图像(即，在一个检查图像和一个参考图像的情况下)，这使得检验工具的图像采集时间加倍。在使用多个参考的情况下，图像采集时间根据参考图像的数量而显著增加。另外，在比较之前，需要配准检验图像和参考图像。在一些情况下，它们需要额外的预处理，以便补偿表示两个图像之间的变化(诸如例如，工艺变化和颜色变化)的噪声。这些不可避免地增加了检测方法的处理时间，从而影响检测吞吐量(TpT)。另外，检测灵敏度也可能由于未由预处理消除的残留变化和噪声而受影响。

因此，当前公开的主题的某些实施例提出使用机器学习模型代替额外获取实际参考图像来生成合成参考图像，并且使用所生成的参考图像来在运行时执行缺陷检查操作。所提出的运行时检查系统显著减少了工具的图像采集时间，并消除了诸如图像配准和噪声过滤之类的图像预处理工作，由此提高了检测吞吐量和缺陷检测灵敏度，如下文将详细描述的。

考虑到这一点，注意力转向图1，图1示出了根据当前公开的主题的某些实施例的检查系统的功能框图。

图1所示的检查系统100可以用于作为样本制造工艺的一部分的半导体样本(例如，晶片、管芯或其部分)的检查。如上所述，本文所指的检查可以被解释为涵盖与关于样本的缺陷检验/检测、缺陷审查、缺陷分类、分割和/或计量操作(诸如例如，临界尺寸(CD)测量值等)相关的任何种类的操作。系统100包括一个或多个检查工具120，一个或多个检查工具120被配置为扫描样本并捕获其图像以进一步处理用于各种检查应用。

本文使用的术语“(多个)检查工具”应被广泛地解释为涵盖可用于检查相关工艺的任何工具，作为非限制性示例，包括扫描(在单次或多次扫描中)、成像、采样、审查、测量、分类和/或关于样本或其部分提供的其他工艺。在不以任何方式限制本公开的范围的情况下，还应注意，检查工具120可以被实现为各种类型的机器，诸如光学机器、电子束机器(例如，扫描电子显微镜(SEM)、原子力显微镜(AFM)，或透射电子显微镜(TEM)等)等等。

一个或多个检查工具120可包括一个或多个检验工具和/或一个或多个审查工具。在一些情况下，检查工具120中的至少一个可以是检验工具，所述检验工具被配置为扫描样本(例如，整个晶片、整个管芯或其部分)以捕获检验图像(通常以相对高速和/或低分辨率)以用于检测潜在缺陷(即，缺陷候选)。在检验期间，晶片在曝光期间可以相对于检验工具的检测器以一定步长移动(或者晶片和工具可以相对于彼此在相反方向上移动)，并且可以通过检验工具沿着晶片的条带逐步地对晶片进行扫描，其中检验工具一次对样本的(条带内的)部件/部分进行成像。作为示例，检验工具可以是光学检验工具。在每个步骤中，可以从晶片的矩形部分检测光，并且这种检测到的光被转换成该部分中的多个点处的多个强度值，从而形成与晶片的该部件/部分相对应的图像。例如，在光学检验中，平行激光束阵列可以沿着条带扫描晶片表面。条带被放置在彼此毗邻的平行的行/列中，以一次一条带地构建晶片表面的图像。例如，工具可以沿着条带从上到下扫描晶片，然后切换到下一条带并从下到上扫描晶片，以此类推，直到扫描整个晶片并收集到晶片的检验图像。

在一些情况下，检查工具120中的至少一个可以是审查工具，审查工具被配置为捕获由检验工具检测到的缺陷候选中的至少一些缺陷候选的审查图像，以用于确定缺陷候选是否确实是感兴趣的缺陷(DOI)。这种审查工具通常被配置为一次一个地检验样本的片段(通常以相对低速和/或高分辨率)。作为示例，审查工具可以是电子束工具，诸如例如，扫描电子显微镜(SEM)等。SEM是一种通过用聚焦电子束扫描样本来产生样本图像的电子显微镜。电子与样本中的原子相互作用，产生包含样本的表面形貌和/或成分的信息的各种信号。SEM能够在半导体晶片制造期间精确地检验和测量特征。

检验工具和审查工具可以是位于相同或不同位置的不同工具，或者以两种不同模式操作的单个工具。在一些情况下，同一检查工具可以提供低分辨率图像数据和高分辨率图像数据。所得的图像数据(低分辨率图像数据和/或高分辨率图像数据)可以直接地或经由一个或多个中间系统传输至系统101。本公开不限于任何特定类型的检查工具和/或由检查工具产生的图像数据的分辨率。在一些情况下，检查工具120中的至少一个具有计量能力并且可以被配置为捕获图像并对所捕获的图像执行计量操作。这种检查工具也被称为计量工具。

应注意，本文中使用的“(多个)运行时图像”、“(多个)参考图像”或“(多个)训练图像”中的术语图像可以是指在制造工艺期间由检查工具捕获的样本的原始图像、通过各个预处理阶段获得的捕获图像的衍生物、和/或计算机生成的合成图像(在一些情况下基于设计数据)。应注意，在一些情况下，本文所指的图像可以包括图像数据(例如，捕获的图像、经处理的图像等)和相关联的数字数据(例如，元数据、手工制作的属性等)。还应注意，图像数据可以包括与以下各项中的一项或多项相关的数据：感兴趣的处理步骤、感兴趣的层、多个处理步骤和/或样本的多个层。

根据当前公开的主题的某些实施例，检查系统100包括基于计算机的系统101，基于计算机的系统101可操作地连接到检查工具120并且能够基于在样本制造期间获得的运行时图像在运行时对半导体样本进行自动缺陷检查。系统101也被称为缺陷检查系统。

具体地，系统101包括可操作地连接到基于硬件的I/O接口126的处理器和存储器电路系统(PMC)102。PMC 102被配置为提供操作系统所需的处理，如参考图2-3进一步详述地，并且包括处理器(未单独示出)和存储器(未单独示出)。PMC 102的处理器可以被配置为根据在PMC中包括的非瞬态计算机可读存储器上实现的计算机可读指令来执行若干功能模块。此类功能模块在下文中被称为被包括在PMC中。

本文所指的处理器可以表示一个或多个通用处理设备，诸如微处理器、中央处理单元等。更具体地，处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器、或者实现指令集的组合的处理器。处理器还可以是一个或多个专用处理设备，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等。处理器被配置成执行用于执行本文讨论的操作和步骤的指令。

本文提到的存储器可以包括主存储器(例如，只读存储器(ROM)、闪存、动态随机存取存储器(DRAM)(诸如同步DRAM(SDRAM)或总线式DRAM(RDRAM)等))和静态存储器(例如，闪存、静态随机存取存储器(SRAM)等)。

根据当前公开的主题的某些实施例，系统101可以是运行时缺陷检查系统，该运行时缺陷检查系统被配置为基于样本制造期间获得的运行时图像使用经训练的机器学习(ML)模型来执行缺陷检查操作。在此类情况下，系统101的PMC 102中所包括的一个或多个功能模块可以包括先前被训练用于生成参考图像的机器学习(ML)模型108以及缺陷检查模块110。

具体地，PMC 102可以被配置为经由I/O接口126获得半导体样本的运行时图像，并且将运行时图像作为输入提供给机器学习模型(例如，ML模型108)用于处理。ML模型108可以基于运行时图像生成参考图像。ML模型108先前在设置期间使用包括一对或多对训练图像的训练集进行训练，每对训练图像包括缺陷图像和对应的无缺陷图像。缺陷检查模块110可以被配置为使用生成的参考图像对运行时图像执行缺陷检查。

在此类情况下，ML模型108和缺陷检查模块110可被视为可用于对所获取的运行时图像执行运行时缺陷检查操作的缺陷检查配方的一部分。系统101可以被视为能够使用缺陷检查配方执行运行时缺陷相关操作的运行时缺陷检查系统。下面参考图3和图5描述运行时检查工艺的细节。

在一些实施例中，系统101可以被配置为能够在训练/设置阶段期间使用特定训练集来训练ML模型的训练系统。在此类情况下，系统101的PMC 102中包括的一个或多个功能模块可以包括训练集生成器104、训练模块106和ML模型108。具体地，训练集生成器104可以被配置为生成包括一对或多对训练图像的训练集，每对训练图像包括缺陷图像和对应的无缺陷图像。训练模块106可以被配置为使用训练集来训练ML模型108。具体地，训练可以包括通过ML模型处理缺陷图像以获得预测图像，以及优化ML模型以最小化预测图像和无缺陷图像之间的差异。

如上所述，ML模型在被训练后可用于生成运行时图像的参考图像。下面参考图2和图4描述训练处理的细节。

系统100和系统101、PMC 102以及其中的功能模块的操作将参照图2和图3进一步详细描述。

根据某些实施例，本文提到的ML模型108可以被实现为各种类型的机器学习模型，诸如例如决策树、支持向量机(SVM)、人工神经网络(ANN)、回归模型、贝叶斯网络或其集合/组合等。ML模型使用的学习算法可以是以下各项中的任一者：监督学习、无监督学习或半监督学习等。当前公开的主题不限于特定类型的ML模型或ML模型使用的特定类型的学习算法。

在一些实施例中，ML模型可以被实现为深度神经网络(DNN)。DNN可以包括监督或无监督DNN模型，该监督或无监督DNN模型包括根据相应DNN架构组织的层。作为非限制性示例，DNN的层可以根据卷积神经网络(CNN)架构、循环神经网络架构、递归神经网络架构、生成对抗网络(GAN)架构或其他架构来组织。可选地，层中的至少一些层可以被组织成多个DNN子网络。DNN的每个层可以包括多个基本计算元素(CE)，在本领域中通常被称为维度、神经元或节点。

通常，给定层的计算元素可以与前一层和/或后一层的CE连接。前一层的CE和后一层的CE之间的每个连接都与权重值相关联。给定CE可以经由相应的连接接收来自前一层的CE的输入，每个给定连接与可以应用于给定连接的输入的权重值相关联。权重值可以确定连接的相对强度，从而确定相应输入对给定CE的输出的相对影响。给定CE可以配置为计算激活值(例如，输入的加权和)，并且进一步通过将激活函数应用于计算的激活来导出输出。激活函数可以是例如恒等函数、确定性函数(例如，线性函数、S形函数、阈值函数等)、随机函数或其他合适的函数。来自给定CE的输出可以经由相应的连接被传输到后一层的CE。同样，如上所述，CE输出处的每个连接可以与加权值相关联，所述加权值可以在CE的输出被接收为后一层的CE的输入之前应用于该输出。除了权重值之外，还可以存在与连接和CE相关联的阈值(包括限制函数)。

ML模型的权重和/或阈值可以在训练之前初始地选择，并且可以在训练期间进一步迭代地调整或修改，以在训练的模型中实现权重和/或阈值的最佳集合。用于调整ML模型的权重/阈值的一组输入数据被称为训练集。下面参考图2和图4描述训练工艺的细节。

应注意，当前公开的主题的教导不受如上所述的ML模型或DNN的特定架构的约束。

在一些情况下，除了系统101之外，检查系统100还可以包括一个或多个检查模块，诸如例如附加缺陷检测模块、自动缺陷审查模块(ADR)、自动缺陷分类模块(ADC)、计量相关模块，和/或可用于检查半导体样本的其他检查模块。一个或多个检查模块可以被实现为独立计算机，或者它们的功能(或至少其部分)可以与检查工具120集成。在一些情况下，系统101的输出可以被提供给一个或多个检查模块(诸如ADR、ADC等)以用于进一步处理。

根据某些实施例，系统100可以包括存储单元122。存储单元122可以被配置为存储操作系统101所需的任何数据，例如，与系统101的输入和输出相关的数据，以及由系统101生成的中间处理结果。作为示例，存储单元122可以被配置为存储由检查工具120产生的样本图像和/或其衍生物，诸如例如如上所述的运行时图像、训练集。因此，这些输入数据可以被从存储单元122检取并且提供给PMC 102以用于进一步处理。系统101的输出，诸如生成的参考图像和/或缺陷检查数据，可以被发送到存储单元122以进行存储。

在一些实施例中，系统100可以可选地包括基于计算机的图形用户界面(GUI)124，GUI 124被配置为实现与系统101相关的用户指定的输入。例如，可以(例如，通过形成GUI124的一部分的显示器)向用户呈现样本的视觉表示，包括样本的图像等。可以通过GUI向用户提供定义某些操作参数的选项。用户还可以在GUI上查看操作结果或中间处理结果，诸如例如参考图像、缺陷检查数据等。在一些情况下，系统101可以进一步配置为将某些输出发送到存储单元122和/或外部系统(例如，制造厂(FAB)的产量管理系统(YMS))。

本领域技术人员将容易理解，当前公开的主题的教导不受图1所示的系统的约束；等效和/或修改的功能可以以另一方式合并或划分，并且可以以软件与固件和/或硬件的任何适当组合来实现。

应注意，图1所示的系统可以在分布式计算环境中实现，其中图1所示的前述部件和功能模块可以分布在若干本地和/或远程设备上，并且可以通过通信网络链接。作为示例，检查工具120和系统101可以位于同一实体处(在一些情况下由同一设备托管)或分布在不同实体上。作为另一示例，如上所述，在一些情况下，系统101可以被配置为用于训练ML模型的训练系统，而在一些其他情况下，系统101可以被配置为使用经训练的ML模型的运行时缺陷检查系统。取决于特定的系统配置和实施需求，训练系统和运行时检查系统可以位于同一实体(在某些情况下由同一设备托管)或分布在不同实体上。

还应注意，在一些实施例中，检查工具120、存储单元122和/或GUI 124中的至少一些可以在检查系统100的外部并且经由I/O接口126与系统100和101进行数据通信。系统101可以被实现为与检查工具和/或如上所述的附加检查模块结合使用的(多个)独立计算机。替代地，系统101的各个功能可以至少部分地与一个或多个检查工具120集成，由此促进和增强检查工具120在检查相关工艺中的功能。

虽然不一定如此，但是系统101和系统100的操作工艺可以对应于关于图2-3描述的方法的阶段中的一些或所有阶段。同样，关于图2-3描述的方法及其可能的实现方式可以由系统101和系统100来实现。因此，应注意，与关于图2-3描述的方法相关地讨论的实施例可以在经必要修改后实现为系统101和系统100的各种实施例，反之亦然。

参照图2，示出了根据当前公开的主题的某些实施例的训练机器学习模型的一般化流程图，所述机器学习模型可用于生成半导体样本的缺陷图像的参考图像。

如上所述，本文提到的ML模型可以被实现为各种类型的机器学习模型。在一些实施例中，ML模型可以基于监督学习来训练。监督学习通常是指基于已标记用于特定输出的输入数据来训练学习模型。对模型进行训练，直到模型能够检测到输入数据和输出标签之间的潜在模式和关系，从而使模型能够在被提供模型以前从未见过的运行时数据时产生准确的标记结果。在此类情况下，ML模型可以实现为具有监督学习模式的各种模型，诸如例如卷积神经网络(CNN)、支持向量机(SVM)、决策树等。

为了在监督学习中训练ML模型，需要经标记的训练集。根据本公开的某些实施例，可以(例如，由PMC 102中的训练集生成器104)生成训练集(202)，该训练集包括一对或多对训练图像。每对训练图像包括缺陷图像和对应的无缺陷图像。本文使用的缺陷图像是指包括或很有可能包括表示样本上的实际缺陷的缺陷特征的图像。无缺陷图像是指没有缺陷特征，或者很可能不包含任何缺陷特征的干净图像。无缺陷图像在某种意义上对应于缺陷图像，即它捕获包含与缺陷图像相似的图案的相似区域。无缺陷图像用作与同一对训练图像中的缺陷图像相关联的地面真值数据。ML模型被训练以学习缺陷图像和无缺陷图像这两个群体之间的非线性映射关系。

在一些情况下，训练图像(诸如每对训练图像中的缺陷图像和无缺陷图像)可以是在半导体样本的制造工艺期间由检查工具获取的样本的“真实世界”图像(即，实际图像)。作为示例，缺陷图像可以是工具从样本的检验区域捕获的检验图像，所述检查图像被验证为包含缺陷特征。例如，可以在缺陷检测工艺中(在这种情况下，将检验图像视为有高概率包含缺陷特征的缺陷图像)或在缺陷审查工艺中将检验图像验证为包含缺陷特征的缺陷图像，例如，由用户手动审查，或通过ADR工艺自动审查。无缺陷图像可以由工具从检验区域的一个或多个参考区域(诸如例如，D2D检验中检验管芯的一个或多个相邻管芯)捕获，这些参考区域已知是无缺陷的，或者有高概率是无缺陷的。无缺陷图像还可以是被验证为不包含任何缺陷特征的任何检验图像。

为了提供对实际生产中的不同变化具有稳健性的训练有素、准确的模型，训练图像在数量、质量和方差等方面必须是充分的。然而，在一些情况下，此类训练数据可能难以收集。例如，待检查样本的缺陷训练图像在设置阶段期间可能不可用，或者可能非常罕见并且不包括足够的缺陷特征的样品。特别地，获取对应的无缺陷图像作为地面真值数据也可能具有挑战性，这通常花费时间和精力。

在一些实施例中，除了“真实世界”训练图像之外，用于训练ML模型的训练集可以通过使用针对半导体样本模拟的一个或多个合成图像来丰富。

在一些情况下，成对的训练图像中的缺陷图像和/或无缺陷图像中的至少一者可以是模拟图像。作为示例，可以基于半导体样本的设计数据来模拟无缺陷图像。设计数据可以指从客户获得的样本的原始设计布局数据，诸如CAD数据。替代地，设计数据可以是指基于样本的图像数据生成的模拟设计数据。作为示例，可以分析样本的SEM图像并且可以对SEM图像执行特征提取。例如，所提取的特征可以包括表示结构元件的结构和/或图案的特征，诸如例如边缘、拐角、像素强度等，以及可选地包括关于某些结构元件的一个或多个测量值。所提取的特征可用于模拟与SEM图像相对应的设计图像(例如，模拟CAD图像)。

在获得样本的设计数据(诸如CAD之类的原始设计布局或模拟设计数据)后，可以基于设计数据执行图像模拟，以模拟半导体样本的一个或多个物理工艺所引起的一种或多种效应，由此产生无缺陷图像。根据某些实施例，效果可以指由以下物理工艺中的一者或多者引起的变化：样本的制作/制造工艺(例如，通过光刻工具将样本的设计图案印刷在晶片上)、检查工艺(例如，检查工具的扫描工艺和信号处理工艺)等。作为示例，可以模拟由制造工艺引起的效应来表示设计图像中的设计图案实际上如何出现在晶片上。换言之，模拟将设计意图布局转移到晶片上预期的加工图案。在一些情况下，在此类模拟期间可以考虑工艺变化(PV)。可选地，除了如上所述的由制造工艺引起的效应之外，还可以模拟由工具的检查工艺引起的灰度(GL)变化。下面更详细地描述不同的变型。

在一些实施例中，可以通过在无缺陷图像(实际的无缺陷图像或模拟图像)上合成地植入缺陷特征来模拟缺陷图像。可以使用用于基于缺陷的某些特征(诸如例如，类型和预期位置等)在图像上植入合成缺陷的各种图像增强方式，并且本公开不限于特定实施方式。

继续图2的描述，ML模型的训练包括，对于一对或多对训练图像中的每一对训练图像，通过ML模型(例如，ML模型108)处理(204)缺陷图像来获得预测图像，并且(例如，通过PMC 102中的训练模型106)优化(206)ML模型以最小化预测图像和无缺陷图像之间的差异。

图4示出了根据当前公开的主题的某些实施例的ML模型的示例性训练工艺的示意图。

例示了包括缺陷图像402和无缺陷图像404的一对训练图像。如图所示，缺陷图像402包括缺陷特征403(诸如例如，形成在两个线结构之间的桥)。无缺陷图像404对应于缺陷图像402(例如，它捕获具有与缺陷图像相似的图案的区域)，并且不包括任何缺陷特征。在一些实施例中，每对训练图像中的缺陷图像和无缺陷图像可以在被馈送到ML模型以用于训练模型之前(例如，在参考图2中的框202和204描述的操作之间)被预处理(406)。预处理可以包括以下操作中的一者或多者：图像配准、噪声过滤和图像增强。

在一些实施例中，预处理可以包括成对的缺陷图像和无缺陷图像之间的图像配准。作为示例，可以为了校正这两个图像之间的任何失准而执行图像配准。在一些情况下，图像配准可以包括全局配准和/或局部配准。全局配准旨在解决由各种因素引起的失准，该因素诸如例如工具的导航误差、由某些物理效应(诸如充电效应和/或样本的收缩等)引起的漂移等。可以根据本领域已知的任何合适的配准算法来实施全局配准。作为示例，可以通过确定两个图像之间的几何变换来执行全局配准，诸如例如通过使用仿射配准算法来确定表示仿射变换的变换参数，包括平移、旋转、缩放、剪切映射等等，以及它们以任何顺序的任何组合。例如，作为一种仿射配准，可以使用频域分析来执行相位相关配准(PCR)(其中傅里叶域中的相位差被转换为图像域中的配准)。

局部配准旨在解决由图像之间的各种变化(诸如例如工艺变化)引起的失准。作为示例，在一些情况下，可以使用以下配准算法中的一者或多者来执行配准：基于区域的算法、基于特征的配准或相位相关配准。基于区域的方法的一个示例是使用光流进行配准，诸如卢卡斯-卡纳德(LK)算法或宏(Horn)和申克(Schunk)算法。基于特征的方法是基于在两个图像中查找不同的信息点(“特征”)，并根据特征的对应关系计算每对图像之间所需的变换。这允许弹性配准(即，非刚性配准)，其中不同区域单独移动。

在一些实施例中，预处理可包括对成对的缺陷图像和无缺陷图像执行噪声过滤，以减少表示由样本的一个或多个物理工艺引起的各种变化的噪声，诸如例如，灰度(GL)变化、工艺变化(PV)等。

GL变化可能是由样本检查工艺的物理效应引起的。作为示例，从同一晶片的不同位置拍摄的图像的灰度可能变化。另外，即使以同一分辨率在同一晶片的同一位置处捕获图像时，由不同检查工具拍摄的图像的灰度也可能存在一定差异。在一些情况下，GL变化可以包括颜色变化(CV)。颜色变化可能发生在单个图像内(例如，由于层厚度变化)，或者发生在两个图像之间，诸如检验图像和参考图像(或缺陷图像和对应的无缺陷图像)之间。GL变化和CV可能由各种因素引起，诸如例如检查工具/检测器的不同物理配置和校准等，并且可以由图像中灰度强度的局部变化来表征。

在一些情况下，两个图像中可能会出现图案变化，这可能是由工艺变化(PV)的效应引起的。工艺变化可以指由样本制造工艺的改变引起的变化。作为示例，制造工艺可能导致不同检验图像之间的某些结构/图案的轻微移位/缩放/扭曲，这导致图像中的图案变化。作为另一个示例，制造工艺可能导致样本的厚度变化，这影响反射率，从而进而影响所得检验图像的灰度。例如，管芯间材料厚度变化可能导致管芯中的两个管芯之间的反射率不同，这导致这两个管芯的图像具有不同的背景灰度值。

在一些情况下，附加地或替代地，物理工艺的其他可能的影响可以包括但不限于：随机噪声、聚焦误差(例如，一些图案比其他图案对聚焦误差更敏感)、充电效应(这可能在检验图像和参考图像之间产生人为差异，并可能显著影响检查工艺)、四探测器的校准(这可能是次优的，导致图像在不同视角内重叠)等。

基于具有此类变化的图像来训练ML模型可能劣化ML模型的泛化能力，因为ML模型在缺陷图像和无缺陷图像之间学习到的某些差异可能源于这些变化而不是实际的缺陷特征。因此，经训练的ML模型可能受到这些变化的影响，并提供不稳定的预测输出。通过ML模型生成的参考图像在用于缺陷检测时，可能提供检测灵敏度不太理想的检测结果。

为了减少这些变化的影响，在一些实施例中，可以对缺陷图像和无缺陷图像进行预处理，以过滤表示上述变化中的一者或多者的噪声。作为示例，可以例如通过对像素值从一个图像到另一图像的系统变换进行建模来估计表示两个图像之间的背景灰度变化的一种类型的此类噪声。例如，变换可以由两个图像的像素值之间的多项式关系来表示。作为另一示例，可以例如通过对构成两个图像中的图案的像素值之间的空间移位/缩放进行建模来估计表示图案变化的另一类型的噪声。附加于或代替于上述方法，还可以对两个图像执行其他噪声过滤方法。这种图像预处理使得能够增加经训练的ML模型对运行时图像的不同变化的鲁棒性。

在一些进一步实施例中，预处理可以包括对成对的缺陷图像和无缺陷图像执行图像增强。作为示例，可以使用图像修复技术来执行图像增强。图像修复是指重建图像的缺失部分。例如，可以使用网格将缺陷图像分割成n×n像素尺寸的一组子区域。然后，这组子区域被随机分成m个不相交的子集。对于每个子集，从缺陷图像中移除属于该子集的子区域，由此产生m个缺陷子图像，每个缺陷子图像具有移除的子区域子集。

因此，每个缺陷图像被转换为与无缺陷图像的各个部分相对应的m个缺陷子图像，由此在由ML模型处理的输入图像的数量的意义上丰富了训练集。对于每个缺陷子图像，ML模型作为图像修复网络来重建缺陷子图像中移除的子区域，从而产生包含在对应的输入缺陷子图像中缺失的重建子区域的输出子图像。通过处理m个缺陷子图像，ML模型将生成m个重建子图像。m个重建子图像可以被组合成单个重建图像。将相对于无缺陷图像来评估重建图像。

应注意，在一些情况下，图像预处理可以包括如上所述的图像配准、噪声过滤或图像增强中的至少一者。例如，图像预处理可以包括图像配准和噪声过滤两者。在一些其他情况下，图像预处理可能可以包括可以以任何合适顺序执行的所有三种类型的预处理操作，该顺序诸如例如图像配准，随后是噪声过滤，然后是图像增强。

在图像预处理406之后，将处理后的缺陷图像馈送到ML模型408中以进行处理。ML模型408的输出是预测图像410。使用损失函数412(也被称为成本函数)相对于处理后的缺陷图像(其用作预测图像的地面真值数据)评估预测图像410。损失函数412可以是被配置为表示预测图像和无缺陷图像之间的差异的差异度量。可以通过最小化损失函数412的值来优化ML模型408。作为示例，可以使用诸如例如均方误差(MSE)、绝对差之和(SAD)、结构相似性指数度量(SSIM)或边缘保留损失函数之类的损失函数来优化ML模型408。应注意，本文使用的术语“最小化(minimize)”或“最小化(minimizing)”是指尝试将损失函数所表示的差值减小到一定水平/程度(这可以是预定义的)，但不一定要达到实际的最小值。

如上所述，ML模型可以被实现为各种监督学习模型。在一个实施例中，ML模型可以被实现为卷积神经网络(CNN)。CNN通常具有包括输入层和输出层以及多个隐藏层的结构。CNN的隐藏层通常包含与乘法或其他点积进行卷积的一系列卷积层，随后是诸如池化层、全连接层和归一化层等的附加层。在一些情况下，CNN可以被视为由两个主要功能组成：特征提取和分类。作为示例，特征提取部分可以包括若干卷积层，随后是最大池化和激活函数。分类部分通常包括全连接层。作为示例，在一些情况下，监督模型的特征提取部分中的某些中间层(例如，卷积层中的一个或多个卷积层)可以以特征图(也称为特征向量)的形式提供层输出。例如，可以生成输出特征图，例如，通过在输入特征图的宽度和高度上对特定层的每个滤波器进行卷积、计算滤波器的条目和输入之间的点积、以及生成给出该滤波器在每个空间位置处的响应的二维激活图。沿深度维度堆叠所有滤波器的激活图形成了卷积层的完整输出特征图。作为结果，CNN习得了滤波器，该滤波器在输入中的某个空间位置处检测到一些特定类型的特征时激活。

CNN的训练可以通过在每个历元期间使用反向传播迭代地调整CNN的权重和/或阈值来执行，使得预测与地面真值匹配(即，损失函数最小化到某个水平/阈值)。经过每个历元的权重调整，CNN在预测精度方面得到提高，并且最终实现在训练模型中满足性能要求的最优权重集。

在通过图像增强(诸如通过使用图像修复技术)对缺陷图像进行预处理的情况下，如上所述，CNN充当图像修复网络。CNN输出的m个重建子图像可以组合成单个重建图像。将相对于无缺陷图像来评估重建图像。在此类情况下使用图像修复网络可以受益于图像修复网络已被证明的预测正常图案的能力，提高经训练的ML模型预测无缺陷参考图像的预测性能，并增强经训练的ML模型相对于各种缺陷特征的稳健性。

在一些实施例中，如上所述的预处理操作的功能，诸如图像配准、噪声过滤等，可以至少部分地实现为ML模型的一部分。作为示例，ML模型可以包括一个或多个学习模块(例如，作为预CNN模块或预DNN模块)，这些学习模块被配置为对成对的缺陷图像和无缺陷图像执行图像配准和/或噪声过滤。在此类情况下，ML模型可以被视为网络集成，所述网络集成包括位于CNN模块之前的配准学习模块和/或噪声过滤学习模块。

例如，配准学习模块可以与CNN一起训练或与CNN分开训练，使用缺陷图像和无缺陷图像的原始训练图像对作为输入，并且使用其对应的配准图像对作为地面真值。类似地，噪声过滤学习模块也可以与CNN一起训练或与CNN分开训练，使用缺陷图像和无缺陷图像中的至少一者作为输入，并且使用具有减少的噪声的至少一个对应图像作为地面真值。本公开不限于此类功能的具体实现，无论是作为预处理模块还是作为ML模型的一部分。

作为ML模型之前的单独预处理模块实现或作为ML模型本身的固有部分实现的训练图像对的预处理，实现了图像对之间的图像配准和/或噪声过滤，从而消除这些变化对经训练的ML模型的影响。ML模型预测的参考图像应该与运行时图像具有改进的对准，并且与运行时图像共享相似的噪声水平。使用这样生成的参考图像用于运行时缺陷检查可以减少图像预处理工作，诸如图像配准和噪声过滤，如先前处理运行时图像和具有固有的失准和变化的单独获取的参考图像所需的那样。例如，在许多情况下，所生成的参考图像可以用于直接与运行时图像进行比较，而不需要为了针对运行时图像的图像配准和/或噪声过滤而进行预处理。在缺陷检查中使用这样生成的参考图像不仅提高了缺陷检测吞吐量，而且还增加了检测灵敏度(就更高的捕获率和更低的误报率而言)。

一旦ML模型经过训练，就可以使用额外数据集对ML模型进行测试和验证。如果测试和验证期间的预测性能满足要求，则可以在运行时部署经训练的ML模型以进行缺陷检查。

现在转向图3，示出了根据当前公开的主题的某些实施例的使用被训练用于生成参考图像的机器学习模型的运行时缺陷检查的一般化流程图。

可以在样本的运行时检查期间(例如，通过检查工具120)获得(302)半导体样本的运行时图像。

运行时图像可以作为输入提供给机器学习模型(例如，PMC 102中的ML模型108)进行处理。可以基于运行时图像来生成(304)参考图像作为ML模型的输出。ML模型先前在设置期间使用包括一对或多对训练图像的训练集进行训练，每对训练图像包括缺陷图像和对应的无缺陷图像，如上面参考图2和图4所描述的。如上所述，ML模型可以使用各种学习模型来实现。

可以使用生成的参考图像(例如，由PMC 102中的缺陷检查模块110)对运行时图像执行(306)缺陷检查。如上所述，生成的参考图像据信与运行时图像对准并且与运行时图像共享相似的噪声水平。缺陷检查可以通过直接将运行时图像与生成的参考图像进行比较(而无需诸如配准和噪声过滤之类的预处理)来执行，以获得指示半导体样本上的缺陷分布的缺陷检查结果。缺陷检查可以是指以下操作中的一者或多者：缺陷检测、缺陷审查和缺陷分类。

如上所述，缺陷检测是指(诸如例如在D2D检验中)捕获样本的检验图像并根据缺陷检测算法基于图像检测潜在缺陷。对于每个检验图像，经训练的ML模型可以对检验图像进行处理并生成对应的参考图像。参考图像可用于与检验图像进行比较，从而产生指示半导体样本上的缺陷候选分布的缺陷图。在一些情况下，可以进一步从缺陷图中选择缺陷候选列表作为有较高概率成为感兴趣的缺陷(DOI)的候选。

在缺陷检测之后，可以将缺陷候选提供给缺陷审查工具(诸如例如，ADR)。审查工具被配置为捕获各个缺陷候选位置处的审查图像(通常具有更高分辨率)，并且审查审查图像以确定缺陷候选是否确实是DOI。类似地，在此类情况下，经训练的ML模型可用于处理审查图像并生成对应的参考图像。参考图像可用于与审查图像进行比较。审查工具的输出可以包括分别与缺陷候选相关联的标签数据，该标签数据提供每个缺陷候选是否是DOI的信息。

在一些情况下，附加于缺陷审查(DR)工具之外或者代替于DR工具，还使用缺陷分类工具(诸如例如ADC)。作为示例，分类工具可以提供标签数据，该标签数据提供每个缺陷候选是否是DOI的标签数据的信息，并且对于标记为DOI的那些缺陷候选，还提供DOI的类别或类型的信息。此处可以以类似的方式使用经训练的ML模型。

图5示出了根据当前公开的主题的某些实施例的经训练的ML模型的示例性运行时检查工艺的示意图。样本的运行时图像502由检验工具获取。运行时图像502被馈送到经训练的ML模型504中以进行处理。ML模型504先前已经根据图2和图4的描述进行了训练。在处理图像502后，ML模型504提供参考图像506作为输出。运行时图像502与参考图像506一起被提供给缺陷检查模块，诸如示例性ADR/ADC模块508，以用于对样本进行缺陷检查。

根据某些实施例，替代地，可以基于无监督学习来训练ML模型。无监督学习通常是指从未标记数据中学习模式。在无监督学习中，即使没有提供类别或标签，ML模型也会根据相似性和差异来学习从未排序的信息中识别模式。ML模型可以实现为具有无监督学习模式的各种模型，诸如例如自动编码器(AE)、变分自动编码器(VAE)、生成对抗网络(GAN)和视觉变换器(ViT)。

为了在无监督学习中训练ML模型，可以提供没有标记的训练集。根据本公开的某些实施例，可以(例如，由PMC 102中的训练集生成器104)生成训练集，所述训练集包括多个无图像。如上所述，无缺陷图像是指没有缺陷特征，或者很可能不包含任何缺陷特征的干净图像。无缺陷图像可以从样本的“真实世界”图像收集，或者替代地，可以基于样本的设计数据来模拟图像中的至少一部分，如上所述。

作为示例，在无监督学习中，ML模型可以被实现为自动编码器(AE)或其变型(例如，VAE)。自动编码器是一种通常用于通过学习高效的数据编码并重建其输入(例如，最小化输入和输出之间的差异)来进行数据再现的神经网络。自动编码器具有输入层、输出层以及连接它们的一个或多个隐藏层。通常，自动编码器可以被视为包括两部分：编码器和解码器。自动编码器学习将来自输入层的数据压缩为短代码(即，编码器部分)，然后将该代码解压缩为与原始数据紧密匹配的输出(即，解码器部分)。编码器的输出被称为代码、潜在变量或表示输入图像的潜在表示。代码可以通过解码器中的隐藏层，并可以在输出层中重建为与输入图像相对应的输出图像。

对于训练集中的每个输入无缺陷图像，自动编码器可以提取表示输入图像的特征，并使用代表性特征来重建对应的输出图像，可以通过与输入图像进行比较来评估该输出图像。对自动编码器进行训练和优化，以便学习输入训练图像中的代表性特征(例如，特征可以表示训练图像中的例如结构元素、图案、像素分布等)。由于训练图像是无缺陷图像，因此自动编码器被训练为学习无缺陷图像的正常图案和特征的分布。

一旦基于训练集训练自动编码器，经训练的自动编码器就能够针对每个运行时图像生成与基于其潜在表示的输入紧密匹配的重构输出图像。由于自动编码器仅使用无缺陷图像进行训练，因此它将无法重建训练期间未观察到的异常模式(缺陷模式)。在运行时图像是缺陷图像的情况下，自动编码器将重建缺陷图像的对应无缺陷图像。因此，经训练的自动编码器可以在运行时用于生成运行时图像的参考图像。

然而，在一些情况下，某些自动编码器可能具有高泛化能力，因此无论如何都可能重建输出图像中的缺陷特征中的一些缺陷特征。这违反了上述假设，并且使得当使用生成的参考图像用于缺陷检查时，使得无法区分缺陷特征与无缺陷特征。

在此类情况下，如上所述的图像修复技术可以用于图像重建。图像修复是指重建图像的缺失部分。例如，可以使用网格将无缺陷图像分割成n×n像素尺寸的一组子区域。然后，这组子区域被随机分成m个不相交的子集。对于每个子集，从无缺陷图像中移除属于该子集的子区域，由此产生m个无缺陷子图像，每个无缺陷子图像具有移除的子区域子集。

对于每个无缺陷子图像，ML模型作为图像修复网络来重建其中移除的子区域，从而产生包含在对应的输入子图像中缺失的重建子区域的输出子图像。缺失的子区域仅基于其直接邻域像素来重建，不包括这些区域中的原始像素。因此，通过泛化其邻域外观(包含正常特征)而重建缺陷特征的可能性非常低。另外，由于ML模型仅使用无缺陷图像进行训练，因此可以很好地建模无缺陷区域的重建。因此，使用图像修复网络可以提高正常图案的重建性能，从而提高使用重建图像检测缺陷特征的能力。

众所周知，半导体样本上的缺陷与物体上的典型异常具有不同的特征。例如，缺陷通常尺寸较小，并且通常可能呈现与正常图案相似的外观。在一些情况下，即使使用如上所述的图像修复网络，缺陷中的一些缺陷仍然可以由网络重构(例如，当将图像随机分割成具有移除的子区域的子图像时，缺陷特征可能没有被完全移除)，从而影响缺陷检测的稳定性和准确性。

相比之下，如上文关于图2和图4所述地，在监督学习中使用缺陷图像和无缺陷图像的训练图像对来训练ML模型，使得ML模型能够基于所提供的地面真值数据进行学习和排序，从而允许以无监督学习无法测量的方式验证监督学习输出的准确性。所提出的使用专门配置的训练集的监督学习可以确保预测性能的准确性和稳定性，从而生成可用于增强下游缺陷检查的令人满意的参考图像。

另一方面，无监督学习可以识别数据中以前未知的模式。它比监督学习更容易、更快且成本更低，因为无监督学习不需要将训练输入与监督学习所需的标签数据相关联，而这在一些情况下可能难以实现。例如，与无缺陷图像相比，缺陷图像相对较少。与准备包括对应的缺陷图像和无缺陷图像的图像对相比，仅使用无缺陷图像作为训练数据可以使数据准备变得更加容易。

应注意，CNN、自动编码器或图像修复网络的上述示例仅出于示例性和说明性目的而被描述，并且不应被视为以任何方式限制本公开。附加于或代替于上述模型，还可以使用其他类型的监督和无监督模型。

应注意，本公开中示出的示例，诸如例如预处理技术、用于图像配准、噪声过滤和/或图像增强的示例性算法、示例性图像模拟技术等，是出于示例性目的而示出的，并且不应被视为以任何方式限制本公开。附加于或代替于上述示例，还可以使用其他适当的示例/实现。

如本文所描述的当前公开的主题的某些实施例的优点之一是：代替实际参考图像的额外图像采集，提供了能够生成运行时图像的合成参考图像、以及使用所生成的参考图像来执行缺陷检查操作的机器学习模型。所提出的系统显著减少了检查工具的图像采集时间。

另外，训练图像对的预处理，无论是作为ML模型之前的单独预处理模块实现，还是作为ML模型本身的固有部分实现，都能够实现图像对之间的图像配准和/或噪声过滤。ML模型预测的参考图像应该与运行时图像具有改进的对准，并且与运行时图像共享相似的噪声水平。使用这样生成的参考图像可以减少先前处理运行时图像所需的图像预处理工作，以及单独获取的具有固有的失准和变化的参考图像。在缺陷检查中使用这样生成的参考图像不仅提高了缺陷检测吞吐量，而且还增加了检测灵敏度。

如本文所描述的当前公开的主题的某些实施例的进一步优点之一是：在监督学习中使用缺陷图像和无缺陷图像的具体配置的训练图像对来训练ML模型，这确保了模型的预测性能的准确性和稳定性，从而提供可用于增强下游缺陷检查的令人满意的参考图像。

如本文所描述的当前公开的主题的某些实施例的进一步优点之一是：生成用于训练ML模型的足够的训练数据，包括模拟的缺陷图像和/或无缺陷图像。图像模拟可以考虑由一种或多种物理处理(诸如样本的制造处理和/或检查处理)引起的一种或多种效应/变化，从而以受控的方差量增加训练数据的多样性。

应理解，本公开在其应用中不限于本文包含的描述中阐述的或附图中示出的细节。

还应理解，根据本公开的系统可以至少部分地在适当编程的计算机上实现。同样，本公开设想了一种可由计算机读取的用于执行本公开的方法的计算机程序。本公开进一步设想了一种非暂时性计算机可读存储器，其有形地体现可由计算机执行的指令程序，以用于执行本公开的方法。

本公开能够具有其他实施例，并且能够以各种方式实践或执行。因此，应理解，本文所采用的措辞和术语是为了描述的目的并且不应被视为限制性的。因此，本领域技术人员将理解，本公开所基于的构思可以容易地用作设计用于实现当前公开的主题的若干目的的其他结构、方法和系统的基础。

本领域技术人员将容易理解，在不脱离由所附权利要求书限定的本公开的范围的情况下，可以将各种修改和改变应用于上文描述的本公开的实施例。

Claims (20)

1.一种用于对半导体样本进行缺陷检查的计算机化系统，所述系统包括处理和存储器电路系统(PMC)，所述处理和存储器电路系统(PMC)被配置为：

获取所述半导体样本的运行时图像；

使用机器学习(ML)模型基于所述运行时图像生成参考图像，其中所述ML模型先前在设置期间使用训练集进行训练，所述训练集包括一对或多对训练图像，每对训练图像包括缺陷图像和对应的无缺陷图像，所述训练包括针对每对训练图像：

通过所述ML模型对所述缺陷图像进行处理以获得预测图像；以及

优化所述ML模型以使所述预测图像和所述无缺陷图像之间的差异最小化；以及

使用所生成的参考图像对所述运行时图像执行缺陷检查。

2.如权利要求1所述的计算机化系统，其中所述ML模型是被配置为学习缺陷图像和无缺陷图像的两个群体之间的非线性映射的深度神经网络(DNN)。

3.如权利要求1所述的计算机化系统，其中每对训练图像中的所述缺陷图像是以下各项中的一者：通过检查工具获取并验证为含有缺陷特征的所述半导体样本的实际图像，或者通过在无缺陷图像上合成地植入缺陷特征得到的模拟图像，并且其中每对训练图像中的所述对应的无缺陷图像是以下各项中的一者：由检查工具获取并验证为不包含缺陷特征的所述半导体样本的实际图像，或基于所述半导体样本的设计数据生成的模拟图像。

4.如权利要求1所述的计算机化系统，其中在所述训练之前通过配准每对训练图像中的所述缺陷图像与所述无缺陷图像来对所述缺陷图像和所述无缺陷图像进行预处理，以校正所述缺陷图像与所述无缺陷图像之间的失准。

5.如权利要求1所述的计算机化系统，其中在所述训练之前通过对每对训练图像中的所述缺陷图像和所述无缺陷图像执行噪声过滤来对所述缺陷图像和所述无缺陷图像进行预处理，以减少表示由所述样本的一个或多个物理工艺引起的变化的噪声。

6.如权利要求1所述的计算机化系统，其中在所述训练之前通过使用图案修复对每对训练图像中的所述缺陷图像和所述无缺陷图像执行图像增强来对所述缺陷图像和所述无缺陷图像进行预处理，从而产生与所述无缺陷图像的各个部分相对应的多个缺陷子图像。

7.如权利要求1所述的计算机化系统，其中在所述训练之前通过对每对训练图像中的所述缺陷图像和所述无缺陷图像执行图像配准、噪声过滤和图像增强来对所述缺陷图像和所述无缺陷图像进行预处理。

8.如权利要求1所述的计算机化系统，其中所述ML模型包括在DNN之前的至少一个学习模块，所述至少一个学习模块被训练为在由所述DNN处理每对训练图像中的所述缺陷图像和所述无缺陷图像之前对所述缺陷图像和所述无缺陷图像执行图像配准和噪声过滤中的至少一者。

9.如权利要求1所述的计算机化系统，其中所述ML模型使用选自以下各项的损失函数进行优化：均方误差(MSE)、绝对差之和(SAD)、结构相似性指数度量(SSIM)、以及边缘保留损失函数。

10.如权利要求1所述的计算机化系统，其中所述缺陷检查是以下各项中的一者：缺陷检测、缺陷审查、以及缺陷分类。

11.如权利要求1所述的计算机化方法，其中所生成的参考图像与所述运行时图像具有改进的对准，并且与所述运行时图像共享相似的噪声水平，并且所述PMC被配置为通过将所述运行时图像与所生成的参考图像进行直接比较来执行缺陷检查，以获得指示所述半导体样品上的缺陷分布的缺陷检查结果。

12.一种用于对半导体样本进行缺陷检查的计算机化方法，所述方法包括以下步骤：

获取所述半导体样本的运行时图像；

使用机器学习(ML)模型基于所述运行时图像生成参考图像，其中所述ML模型先前在设置期间使用训练集进行训练，所述训练集包括一对或多对训练图像，每对训练图像包括缺陷图像和对应的无缺陷图像，所述训练包括针对每对训练图像：

通过所述ML模型对所述缺陷图像进行处理以获得预测图像；以及

优化所述ML模型以使所述预测图像和所述无缺陷图像之间的差异最小化；以及

使用所生成的参考图像对所述运行时图像执行缺陷检查。

13.如权利要求12所述的计算机化方法，其中每对训练图像中的所述缺陷图像是以下各项中的一者：通过检查工具获取并验证为含有缺陷特征的所述半导体样本的实际图像，或者通过在无缺陷图像上合成地植入缺陷特征得到的模拟图像，并且其中每对训练图像中的所述对应的无缺陷图像是以下各项中的一者：由检查工具获取并验证为不包含缺陷特征的所述半导体样本的实际图像，或基于所述半导体样本的设计数据生成的模拟图像。

14.如权利要求12所述的计算机化方法，其中在所述训练之前通过配准每对训练图像中的所述缺陷图像与所述无缺陷图像来对所述缺陷图像和所述无缺陷图像进行预处理，以校正所述缺陷图像与所述无缺陷图像之间的失准。

15.如权利要求12所述的计算机化方法，其中在所述训练之前通过对每对训练图像中的所述缺陷图像和所述无缺陷图像执行噪声过滤来对所述缺陷图像和所述无缺陷图像进行预处理，以减少表示由所述样本的一个或多个物理工艺引起的变化的噪声。

16.如权利要求12所述的计算机化方法，其中在所述训练之前通过使用图案修复对每对训练图像中的所述缺陷图像和所述无缺陷图像执行图像增强来对所述缺陷图像和所述无缺陷图像进行预处理，从而产生与所述无缺陷图像的各个部分相对应的多个缺陷子图像。

17.如权利要求12所述的计算机化方法，其中所述ML模型包括在DNN之前的至少一个学习模块，所述至少一个学习模块被训练为在由所述DNN处理每对训练图像中的所述缺陷图像和所述无缺陷图像之前对所述缺陷图像和所述无缺陷图像执行图像配准和噪声过滤中的至少一者。

18.如权利要求12所述的计算机化方法，其中所述缺陷检查是以下各项中的一者：缺陷检测、缺陷审查、以及缺陷分类。

19.如权利要求12所述的计算机化方法，其中所生成的参考图像与所述运行时图像具有改进的对准，并且与所述运行时图像共享相似的噪声水平，并且执行缺陷检查的步骤包括将所述运行时图像与所生成的参考图像进行直接比较，以获得指示所述半导体样品上的缺陷分布的缺陷检查结果。

20.一种非瞬态计算机可读存储介质，所述非瞬态计算机可读存储介质有形地体现指令程序，所述指令程序在由计算机执行时使所述计算机执行用于对半导体样本进行缺陷检查的方法，所述方法包括以下步骤：

获取所述半导体样本的运行时图像；

使用机器学习(ML)模型基于所述运行时图像生成参考图像，其中所述ML模型先前在设置期间使用训练集进行训练，所述训练集包括一对或多对训练图像，每对训练图像包括缺陷图像和对应的无缺陷图像，所述训练包括针对每对训练图像：

通过所述ML模型对所述缺陷图像进行处理以获得预测图像；以及

优化所述ML模型以使所述预测图像和所述无缺陷图像之间的差异最小化；以及

使用所生成的参考图像对所述运行时图像执行缺陷检查。