CN114092387A - 生成可用于检查半导体样本的训练数据 - Google Patents

Abstract

提供了一种生成用于训练可用于半导体样本检查的深度神经网络的训练数据的系统和方法。所述方法包括：获得分别与每个区段中选择的一组像素相关联的第一训练图像和第一标签，提取表征第一训练图像的特征集合，使用第一标签、所述一组像素的值、和与该组像素相对应的特征集合的每一个特征的特征值来训练机器学习(ML)模型，使用训练的ML模型来处理第一训练图像以获得第一分割图，以及确定在满足标准时将第一训练图像和第一分割图包括到DNN训练数据中，并且在不满足标准时重复提取第二特征、训练和处理。

Description

生成可用于检查半导体样本的训练数据

技术领域

本文公开的主题总的来说涉及半导体样本的检查的领域，并且更具体地涉及可用于检查样本的训练数据生成。

背景技术

当前对与所制造装置的超大规模集成相关联的高密度和性能的需求需要亚微米特征、增加的晶体管和电路速度、和改善的可靠性。随着半导体工艺的发展，诸如线宽的图案尺寸和其它类型的关键尺寸持续收缩。这类需求需要形成具有高精度和均匀性的装置特征，这继而需要仔细监控制造工艺，包括在装置仍处于半导体晶片的形式时自动检查所述装置。

作为非限制性示例，运行时间检查可以采用两阶段程序，例如，检验样本，接着复查潜在缺陷的取样位置。检查大体上涉及通过将光或电子引导至晶片并检测来自该晶片的光或电子来产生针对样本的某一输出(例如，图像、信号等等)。在第一阶段期间，以高速和相对低的分辨率检验样本的表面。缺陷检测通常通过将缺件检测算法应用于检验输出来执行。产生缺陷图来图示怀疑具有高缺陷概率的样本上的位置。最经常地，检验的目的是提供对检测关注缺陷的高敏感度，同时抑制对晶片上噪扰和噪声的检测。在第二阶段期间，以相对高的分辨率更透彻地分析怀疑位置中的至少一些位置。在一些情况下，两个阶段皆可以由相同检验工具来实现，并且在一些其它情况下，这两个阶段由不同的检验工具来实现。

检查工艺可以包括多个检查步骤。在制造工艺期间，例如，在制造或处理某些层之后等等，检查步骤可以执行多次。另外或替代地，例如针对不同的晶片位置或针对具有不同检查设置的相同晶片位置，每个检查步骤可以重复多次。

检查工艺在半导体制造期间的各个步骤处使用来检测和分类样本上的缺陷、以及执行有关计量的操作。检查的有效性可以通过(多个)工艺的自动化来提高，这些工艺作为例如，缺陷检测、自动缺陷分类(ADC)、自动缺陷复查(ADR)、图像分割、自动的有关计量的操作等。

发明内容

根据本文公开的主题的某些方面，提供了一种生成用于训练深度神经网络的训练数据(DNN训练数据)的计算机化系统，所述深度神经网络可用于检查半导体样本，所述系统包含被配置为进行以下操作的处理器和存储器电路(PMC)：获得表示半导体样本的至少一部分的第一训练图像，和分别与在用户从第一训练图像识别的一个或多个区段的每一个中选择的一组像素相关联的第一标签；提取表征第一训练图像的特征集合，每个特征具有与第一训练图像中的像素相对应的特征值，所述特征集合包括提供在第一训练图像中的一个或多个区段之间的背景关系的信息的第一特征、和提供在第一训练图像中相对于每个区段中的一组像素的统计测量值的像素分布的信息的第二特征；使用第一标签、在与第一标签相关联的每个区段中选择的一组像素的值、以及与每个区段中的一组像素相对应的特征集合的每个特征的特征值来训练机器学习(ML)模型，其中训练ML模型来用于图像分割；使用训练的ML模型处理第一训练图像以获得提供与第一训练图像中的相应像素相关联的预测标签的信息的第一分割图，每个预测标签指示相应像素所属于的区段；以及确定在满足标准时将包含第一训练图像和第一分割图的第一训练取样包括到DNN训练数据中，并且在不满足标准时重复提取第二特征、训练和处理。

除了以上特征之外，根据本文公开的主题的此方面的系统可以包含以技术上可能的任何期望组合或排列的下文列出的特征(i)至(xi)中的一或多个：

(i).训练数据可以用于训练深度神经网络(DNN)，所述DNN用于从包含以下各项的群组中选择的至少一个检查工艺：自动分割、自动计量、自动缺陷检测、自动缺陷复查、和基于运行时间图像的自动缺陷分类。

(ii).标准基于关于第一分割图的用户反馈，并且PMC被配置为在接收到关于第一分割图的否定的用户反馈时获得与至少一个区段中的额外组像素相关联的额外第一标签，第一标签和额外第一标签构成聚合的标签数据，并且基于聚合的标签数据重复提取第二特征、训练和处理，直到接收到肯定的用户反馈。

(iii).PMC被配置为在接收到关于第一分割图的肯定的用户反馈时将第一训练取样包括到训练数据中。

(iv).PMC还被配置为获得分别与用户从第二训练图像识别的一个或多个区段的每一个中选择的一组像素相关联的第二训练图像和第二标签，将第二标签添加到聚合的标签数据，提取表征第二训练图像并且包括第一特征和第二特征的特征集合，使用聚合的标签数据、与聚合的标签数据相关联的像素值、以及与聚合的标签数据相关联的像素相对应的特征集合的每个特征的特征值训练ML模型，并且基于第二训练图像执行处理和确定。

(v).一个或多个区段中的至少一个与在第一训练图像中呈现的一个或多个结构元素相对应。

(vi).第一特征包括通过以下操作提取的纹理特征：用滤波器集合处理第一训练图像，从而产生特征响应集合，每个特征响应包含与第一训练图像的相应像素相对应的特征响应值，其中每个像素与包括其特征响应值集合的特征向量相对应；将与第一训练图像中的像素相对应的特征向量群集化为多个群集；根据其特征向量所属于的群集为每个像素分配特征值，从而产生包含与第一训练图像的像素相对应的特征值的特征图，特征图可分离为与相应特征值相对应的多个通道；以及使用取样滤波器对特征图的每个通道进行取样，从而产生具有多个取样通道的特征图。

(vii).第一特征进一步包括通过以下操作提取的强度特征：将第一训练图像的像素值群集化为多个群集，根据像素值所属于的群集为每个像素分配特征值，从而产生可分离为与相应特征值相对应的多个通道的特征图，以及使用取样滤波器取样特征图的每个通道，从而产生具有多个取样通道的特征图。

(viii).滤波器集合包含下列中的一个或多个；导数滤波器、加博(Gabor)滤波器和拉普拉斯滤波器。

(ix).第二特征通过以下操作提取：针对每个区段中的一组像素计算统计测量值，并且针对第一训练图像中的每个像素，将对应特征值计算为在像素值与每个区段的统计测量值之间的距离，从而产生各自包含特征值的一个或多个特征图，所述特征值与在像素值与相应区段的统计测量值之间的距离相对应。

(x).训练图像包含从不同视角捕获的多个通道，并且从所述多个通道提取特征集合。

(xi).PMC还被配置为使用DNN训练数据来训练DNN，并且使用图像的验证集合来验证训练的DNN。

根据本文公开的主题的其它方面，提供了一种用于生成训练可用于检查样本的深度神经网络的训练数据(DNN训练数据)的方法，所述方法由处理器和存储器电路(PMC)执行并且包含：获得表示半导体样本的至少一部分的第一训练图像，和分别与在用户从第一训练图像识别的一个或多个区段的每一个中选择的一组像素相关联的第一标签；提取表征第一训练图像的特征集合，每个特征具有与第一训练图像中的像素相对应的特征值，所述特征集合包括提供在第一训练图像中的一个或多个区段之间的背景关系的信息的第一特征、和提供在第一训练图像中相对于每个区段中的一组像素的统计测量值的像素分布的信息的第二特征；使用第一标签、在与第一标签相关联的每个区段中选择的一组像素的值、以及与每个区段中的一组像素相对应的特征集合的每个特征的特征值来训练机器学习(ML)模型，其中训练ML模型来用于图像分割；使用训练的ML模型处理第一训练图像以获得提供与第一训练图像中的相应像素相关联的预测标签的信息的第一分割图，每个预测标签指示相应像素所属于的区段；以及确定在满足标准时将包含第一训练图像和第一分割图的第一训练取样包括到DNN训练数据中，并且在不满足标准时重复提取第二特征、训练和处理。

所公开主题的这方面可以包含以技术上可能的任何期望组合或排列的上文关于所述系统列出的已作必要改动的特征(i)至(xi)中的一或多个。

根据本文公开的主题的其它方面，提供了一种包含指令的非暂时性计算机可读介质，当由计算机执行时所述指令使得计算机执行用于生成可用于检查样本的训练深度神经网络的训练数据(DNN训练数据)的方法，所述方法包含：获得表示半导体样本的至少一部分的第一训练图像，和分别与在用户从第一训练图像识别的一个或多个区段的每一个中选择的一组像素相关联的第一标签；提取表征第一训练图像的特征集合，每个特征具有与第一训练图像中的像素相对应的特征值，所述特征集合包括提供在第一训练图像中的一个或多个区段之间的背景关系的信息的第一特征、和提供在第一训练图像中相对于每个区段中的一组像素的统计测量值的像素分布的信息的第二特征；使用第一标签、在与第一标签相关联的每个区段中选择的一组像素的值、以及与每个区段中的一组像素相对应的特征集合的每个特征的特征值来训练机器学习(ML)模型，其中训练ML模型来用于图像分割；使用训练的ML模型处理第一训练图像以获得提供与第一训练图像中的相应像素相关联的预测标签的信息的第一分割图，每个预测标签指示相应像素所属于的区段；以及确定在满足标准时将包含第一训练图像和第一分割图的第一训练取样包括到DNN训练数据中，并且在不满足标准时重复提取第二特征、训练和处理。

所公开主题的这方面可以包含以技术上可能的任何期望组合或排列的上文关于所述方法列出的已作必要改动的特征(i)至(xi)中的一或多个。

附图说明

为了理解本公开内容并且了解本公开内容如何在实践中执行，现将参考附图来描述仅作为非限制性示例的实施例，在附图中：

图1示出根据本文公开的主题的某些实施例的检查系统的一般化框图。

图2A示出根据本文公开的主题的某些实施例的生成训练数据的一般化流程图，所述训练数据用于训练可用于检查半导体样本的DNN。

图2B示出根据本文公开的主题的某些实施例的在接收到关于第一分割图的否定的用户反馈时的DNN训练数据生成的连续过程的一般化流程图。

图3A示出根据本文公开的主题的某些实施例的从第一训练图像中提取纹理特征的一般化流程图。

图3B示出根据本文公开的主题的某些实施例的从第一训练图像中提取统计特征的一般化流程图。

图4示出根据本文公开的主题的某些实施例的使用所生成的DNN训练数据来训练DNN的一般化流程图。

图5示出根据本文公开的主题的某些实施例的训练图像的示例。

图6示出根据本文公开的主题的某些实施例的训练图像上的部分用户注释的示例。

图7示出根据本文公开的主题的某些实施例的纹理特征的示例和强度特征的示例。

图8示出根据本文公开的主题的某些实施例的具有否定的用户反馈的分割图的示例。

图9A示出根据本文公开的主题的某些实施例的由用户提供的额外第一标签的示例。

图9B示出根据本文公开的主题的某些实施例的具有肯定的用户反馈的更新的分割图的示例。

具体实施方式

在以下详细描述中，阐述许多具体细节来提供对本公开内容的透彻理解。然而，本领域的技术人员将理解，本文公开的主题可以在没有这些具体细节的情况下实践。在其它示例中，未详细描述熟知的方法、程序、部件和电路，以免混淆本文公开的主题。

除非另外具体声明，否则如从以下论述中显而易见地，应了解在本说明书全文中利用术语诸如“生成”、“训练”、“获得”、“提取”、“处理”、“确定”、“重复”、“包括”、“接收”、“群集”、“分配”、“取样”、“计算”、“使用”、“验证”等等的论述是指将数据操纵和/或转换为其它数据的计算机的动作和/或处理，所述数据表示为物理的，诸如电子、量值和/或所述数据表示物理对象。术语“计算机”应当被广泛地解释为涵盖任何种类的具有数据处理能力的基于硬件的电子装置，作为非限制性示例，所述电子装置包括在本申请中公开的检查系统、训练数据生成系统和其相应部分。

在本说明书中使用的术语“检查”应当被广泛地解释为涵盖任何种类的有关计量的操作，以及关于在样本制造期间对样本中的缺陷进行检测和/或分类的操作。检查通过在制造要检查的样本期间或之后使用非破坏性检查工具来提供。作为非限制性示例，检查工艺可以包括使用相同或不同的检验工具来运行时间扫描(单次或多次扫描)、取样、复查、测量、分类和/或关于样本或其部分提供的其它操作。同样，可以在制造待检查样本之前提供检查，并且检查可以包括例如生成检查方案和/或其它设置操作。注意到，除非另外具体声明，否则本说明书中使用的术语“检查”或其衍生词不限于关于检验区域的分辨率或大小。作为非限制性示例，各种非破坏性检查工具包括扫描电子显微镜、原子力显微镜、光学检验工具等。

本文使用的术语“非暂时性存储器”和“非暂时性存储介质”应当被广泛地解释为涵盖适用于本文公开的主题的任何易失性或非易失性计算机存储器。

本说明书中使用的术语“样本”应当被广泛地解释为涵盖用于制造半导体集成电路、磁头、平板显示器、和其它半导体制造的物品的任何种类的晶片、掩模、和其它结构、其组合和/或部分。

本说明书中使用的术语“缺陷”应当被广泛地解释为涵盖在样本上或样本内形成的任何种类的异常或不理想的特征。

本说明书中使用的术语“设计数据”应当被广泛地解释为涵盖指示样本的分层物理设计(布局)的任何数据。设计数据可以由相应设计者提供和/或可以从物理设计(例如，通过复杂模拟、简单几何和布尔运算等)导出。作为非限制性示例，设计数据可以不同格式提供为GDSII格式、OASIS格式等。设计数据可以向量格式、灰度强度图像格式或其它格式呈现。

可以理解，除非另外具体声明，否则在不同实施例的背景中描述的本文公开的主题的某些特征也可以在单个实施例中组合提供。相反地，在单个实施例的背景中描述的本文公开的主题的各种特征也可以分开提供或以任何合适的子组合提供。在以下详细描述中，阐述许多具体细节以提供对方法和设备的透彻理解。

牢记这一点，关注图1，其中示出根据本文公开的主题的某些实施例的检查系统的功能框图。

图1中示出的检查系统100可以用于检查(例如，晶片和/或其部分的)半导体样本作为样本制造工艺的一部分。所示出的检查系统100包含基于计算机的系统101，所述系统101能够使用在样本制造期间获得的图像(后文称为制造工艺(FP)图像)来自动地确定有关计量和/或有关缺陷的信息。根据本文公开的主题的某些实施例，系统101可以被配置为生成用于训练可用于检查半导体样本的深度神经网络(DNN)的训练数据。系统101因此在本公开内容中也被称为训练系统或训练数据生成系统。系统101可以操作地连接到一个或多个检查工具120。检查工具120被配置为捕获FP图像和/或复查所捕获的FP图像和/或启用或提供关于所捕获图像的测量。

作为示例，FP图像可以选自在制造工艺期间捕获的样本(例如，晶片或其部分)的图像、通过各种预处理阶段获得的所捕获图像的衍生物(例如，由扫描电子显微镜(SEM)或光学检验系统捕获的晶片或光掩模的一部分的图像、大致以将由ADC分类的缺陷为中心的SEM图像、其中将由ADR局部化缺陷的较大区域的SEM图像、与相同掩模位置相对应的不同检查形态的配准图像、分割的图像、高度映射图像等)和计算机生成的基于设计数据的图像。注意到，在一些情况下，图像可以包括图像数据(例如，捕获的图像，处理的图像等)和相关联的数字数据(例如，元数据、手工属性等)。还注意到，图像数据可以包括关于所关注层和/或样本的一个或多个其它层的数据。

本文使用的术语“检查工具”应当被广泛地解释为涵盖可以在有关检查的过程中使用的任何工具，包括作为非限制性示例的成像、扫描(单次或多次扫描)、取样、复查、测量、分类和/或关于样本或其部分提供的其它过程。一个或多个检查工具120可以包括一个或多个检验工具和/或一个或多个复查工具。在一些情况下，至少一个检查工具120可以为检验工具，所述检验工具被配置为扫描样本(例如，整个晶片、整个晶粒或其部分)以捕获检验图像(通常，以相对高速度和/或低分辨率)来用于检测潜在缺陷。在一些情况下，至少一个检查工具120可以为复查工具，所述复查工具被配置为捕获由检验工具检测的至少一些缺陷的复查图像，用于确认潜在缺陷是否真的为缺陷。这种复查工具通常被配置为一次一个地检验晶粒的片段(通常，以相对低速度和/或高分辨率)。检验工具和复查工具可以是位于相同或不同位置的不同工具、或在两种不同模式下操作的单个工具。在一些情况下，至少一个检查工具可以具有计量能力并且可以被配置为对FP图像执行计量测量。

在不以任何方式限制本公开内容的范围的情况下，也应注意到，检查工具120可以被实现为各种类型的检验机器，诸如光学成像机器、电子束检验机器等等。在一些情况下，相同的检查工具可以提供低分辨率图像数据和高分辨率图像数据。

系统101包括处理器和存储器电路(PMC)102，PMC 102可操作地连接到基于硬件的I/O接口126。PMC 102被配置为如参考图2A和图2B进一步详述地提供操作所述系统所必需的处理，并且包含处理器(未单独示出)和存储器(未单独示出)。PMC 102的处理器可以被配置为根据计算机可读指令执行若干功能模块，所述计算机可读指令在PMC中包含的非暂时性计算机可读存储器上实现。这种功能模块在后文被称为包含在PMC中。

根据某些实施例，PMC 102中所包含的功能模块可以包括特征提取器104、训练模块106、和机器学习模型108。PMC 102可以被配置为经由I/O接口126获得表示半导体样本的至少一部分的第一训练图像、以及分别与在由用户从第一训练图像识别的一个或多个区段的每一个中选择的一组像素相关联的第一标签。特征提取器104可以被配置为提取表征第一训练图像的特征集合。所述集合中的每个特征具有与第一训练图像中的像素相对应的特征值。特征集合包括提供在第一训练图像中的一个或多个区段之间的背景关系的信息的第一特征、和提供相对于每个区段中的一组像素的统计测量值的第一训练图像中的像素分布的信息的第二特征。训练模块106可以被配置为使用第一标签、在与第一标签相关联的每个区段中选择的一组像素的值、以及与在每个区段中选择的一组像素相对应的特征集合的每个特征的特征值来训练机器学习模型108。经训练的机器学习模型108可以用于处理第一训练图像以获得第一分割图，所述第一分割图提供与第一训练图像中的相应像素相关联的预测标签的信息，每个预测标签指示相应像素所属于的区段。训练模块106还可以被配置为在满足标准时确定将包含第一训练图像和第一分割图的第一训练取样包括到训练数据(即，用于训练深度神经网络(DNN)的训练数据，本文也称为DNN训练数据)中，并且在不满足标准时重复提取第二特征、训练和处理。下文参考图2A和图2B描述训练数据生成过程的细节。

在某些实施例中，由训练系统101生成的DNN训练数据可以用于训练可用于检查半导体样本的DNN 110。在一些情况下，如图1所示，DNN可以包含在系统101的PMC 102中，或者替代地可操作地连接到系统101。DNN 110可以被配置为启用使用深度神经网络的数据处理，用于基于制造输入数据来输出有关应用的数据。在一个实施例中，具体应用可以是图像分割，并且有关应用的输出可以是与输入的FP图像相对应的分割图。系统101、PMC 102和其中的功能模块的操作将参考图2A和图2B进一步详述。

DNN 110可以包含监督或非监督的DNN模型，所述监督或非监督的DNN模型包括根据相应DNN架构组织的层。作为非限制性示例，DNN的层可以根据卷积神经网络(CNN)架构、循环神经网络架构、递归神经网络架构、生成对抗网络(GAN)架构或其它来组织。可选地，至少一些层可以被组织成多个DNN子网络。DNN的每一层可以包括多个基本计算元件(CE)，在本领域中通常称为维度、神经元、或节点。

通常，给定层的计算元件可以与前一层和/或后一层的CE连接。前一层的CE与后一层的CE之间的每个连接与加权值相关联。给定CE可以经由相应连接从前一层的CE接收输入，每个给定连接与可以应用于给定连接的输入的加权值相关联。加权值可以确定连接的相对强度并且因此确定相应输入对给定CE的输出的相对影响。给定CE可以被配置为计算激活值(例如，输入的加权和)并且通过将激活函数应用于所计算的激活来进一步导出输出。例如，激活函数可以是恒等函数、确定性函数(例如，线性、S形、阈值等等)、随机函数、或其它合适的函数。来自给定CE的输出可以经由相应连接被发送到后一层的CE。同样，如上所述，CE的输出处的每个连接可以与加权值相关联，所述加权值可以在作为后一层的CE的输入被接收之前应用于CE的输出。进一步地，对于加权值，可以存在与连接和CE相关联的阈值(包括极限函数)。

深度神经网络的加权值和/或阈值可以在训练之前被初始选择，并且可以在训练期间被进一步迭代地调整或修改，以在训练的DNN中实现最优的加权值和/或阈值集合。每次迭代后，可以确定在DNN模块产生的实际输出和与相应的数据训练集合相关联的目标输出之间的差值。所述差值可以被称为误差值。当指示误差值的损失/成本函数小于预定值时，或者当实现迭代之间性能的有限改变时，可以确定训练完成。

用于调整深度神经网络的权重/阈值的DNN输入数据的集合在下文中被称为DNN训练数据。如先前提及地，系统101被配置为生成可用于训练DNN的这样一种DNN训练数据。

注意到，本文公开的主题的教示不受如上文描述的DNN的特定架构限制。

在一些实施例中，DNN可以是被配置为对FP图像执行图像分割的分割DNN。在一些情况下，除DNN 110之外，检查系统100还可以包含一个或多个检查模块，诸如，例如，缺陷检测模块和/或自动缺陷复查模块(ADR)和/或自动缺陷分类模块(ADC)和/或有关计量的模块和/或可用于检查半导体样本的其它检查模块。一个或多个检查模块可以被实现为独立的计算机，或者它们的功能(或至少其一部分)可以与检查工具120集成。在一些情况下，DNN110可以包含在一个或多个检查模块中。可选地，DNN 110可以在检查模块之间共享，或者替代地，一个或多个检查模块中的每一个可以包含其自己的DNN 110。

根据某些实施例，系统101可以包含存储单元122。存储单元122可以被配置为存储用于操作系统101所必需的任何数据，例如，关于系统101的输入和输出的数据，以及由系统101生成的中间处理结果。作为示例，存储单元122可以被配置为存储由检查工具120产生的图像和/或其衍生物。由此，一个或多个图像可以从存储单元122检索到并且被提供给PMC102用于进一步处理。

在一些实施例中，系统101可以可选地包含基于计算机的图形用户介面(GUI)124，所述图形用户介面被配置为实现关于系统101的用户指定的输入。例如，可以为用户呈现样本的直观表示(例如，通过形成GUI 124的部分的显示器)，包括样本的图像数据。可以通过GUI为用户提供定义某些操作参数的选项。例如，用户可以通过对图像进行手动注释来提供标签数据。用户也可以观察GUI上的操作结果，诸如例如，分割图。

如将参考图2A和图2B进一步详述地，系统101被配置为经由I/O接口126接收FP输入数据。FP输入数据可以包括由检查工具120产生的数据(和/或该数据的衍生物和/或与该数据相关联的元数据)和/或在一个或多个数据仓库中存储的数据。注意到，在一些情况下，FP输入数据可以包括图像数据(例如，捕获图像、从捕获图像导出的图像、模拟图像、合成图像等)和相关联的数字数据(例如，元数据、手工属性等)。还注意到，图像数据可以包括关于所关注层和/或样本的一个或多个其它层的数据。在本公开内容的一些实施例中，出于训练目的，FP输入数据可以包括一个或多个训练图像，以生成可用于训练DNN的训练数据。

系统101还被配置为处理所接收的FP输入数据，并且经由I/O接口126将结果(或其部分)发送到存储单元122、和/或DNN 110、和/或GUI 124(用于呈现结果)。

本领域的熟练技术人员将容易理解，本文公开的主题的教示不限于图1所示的系统；等效和/或修改的功能可以另一方式合并或分开，并且可以软件与固件和/或硬件的任何适当组合来实现。

注意到，图1所示的检查系统可以在分布式计算环境中实现，其中先前提及的图1所示的功能模块可以分布在几个本地和/或远程装置上，并且可以通过通信网络连接起来。还注意到，在其它实施例中，检查工具120、存储单元122和/或GUI 124中的至少一些可以在检查系统100外部并且经由I/O接口126与系统101数据通信地操作。系统101可以实现为与检查工具配合使用的独立式计算机。替代地，系统101的相应功能可以至少部分与一个或多个检查工具120集成，从而在有关检查的过程中促进并增强检查工具120的功能。

仅出于说明的目的，提供以下描述以用于生成DNN训练数据，所述DNN训练数据用于训练可用于检查半导体样本的DNN。本领域的技术人员将容易理解，本文公开的主题的教示可应用于各种类型的机器学习模型并且可应用于各种检查(诸如，例如，分割、缺陷检测、ADR、ADC、自动导航模块、有关计量的模块等等)。

参见图2A，图2A示出根据本文公开的主题的某些实施例的生成训练数据的一般化流程图，所述训练数据用于训练可用于检查半导体样本的DNN。

根据某些实施例，用于训练DNN的训练数据(也称为DNN训练数据)可以包括多个训练取样，每个训练取样包括相应的训练图像和与其相关联的对应地面真实数据。地面真实数据可以包括指示特定应用信息的标签数据。作为示例，对于图像分割的应用，每个训练取样可以包括半导体样本的训练图像和指示训练图像中的一个或多个区段的标签数据。

训练图像可以是在半导体样本的制造过程中获得的半导体样本的“真实世界”图像(例如，如上所述的FP图像)。作为非限制性示例，所述图像可以是通过使用用于检测潜在缺陷的一个或多个检验工具(通常以相对高的速度和/或相对低的分辨率)检查样本而获得的检验图像。这种检验工具可以是例如光学检验系统、低分辨率SEM等。替代地，所述图像可以是通过使用一个或多个复查工具(通常以相对低的速度和/或相对高的分辨率)在潜在缺陷位置的子集处检查样本而获得的复查图像，用于确认由检验工具检测到的潜在缺陷是否真的是缺陷。例如，这种复查工具可以是扫描电子显微镜(SEM)等。

可以各种方式获得地面真实数据。作为示例，地面真实数据可以通过人工注释产生、合成地产生(例如，基于CAD的图像)、通过机器学习注释生成(例如，基于特征提取和分析的标签)、或上述的组合等。

根据某些实施例，针对半导体样本图像(例如，FP图像)上的图像分割的特定应用来训练DNN。本文使用的术语“分割”可以指将图像划分成有意义的部分/区段(例如，背景和前景、有噪声和无噪声区域、结构元素、缺陷和无缺陷等)同时提供指示这些区段的每像素或每区域值的任何过程。根据当前公开的主题生成的DNN训练数据用于训练可用于FP图像分割的DNN。

作为示例，训练图像可以是SEM图像或其衍生物，并且标签数据可以是与SEM图像相对应的分割图(也称为分割掩模)。分割图提供与训练图像中的对应像素相关联的预测标签的信息。每个预测标签指示图像中相应像素所属于的区段。

分割图传统上由用户在整个训练图像上手动注释而生成。考虑到图像的大小和分辨率，手动注释过程非常耗时，并且注释的结果有时不准确且易出错。这不是用户所期望的，因为标签数据的质量直接影响训练过程和训练的DNN的性能。因此，如下文参考图2A和图2B所描述地，本公开内容提出了一种更有效的自动生成可用于训练DNN的准确标签数据的方式。

根据某些实施例，表示半导体样本的至少一部分的第一训练图像可以与分别与在由用户从第一训练图像识别的一个或多个区段的每一个中选择的一组像素相关联的第一标签一起获得(202)(例如，通过PMC 102经由I/O接口126获得)。在一些情况下，一个或多个区段中的至少一个与在第一训练图像中呈现的一个或多个结构元素相对应。

现在转向图5，其中示出了根据本文公开的主题的某些实施例的训练图像的示例。将训练图像502例示为由SEM复查工具捕获并且表示晶片的晶粒的一部分的SEM图像。如图所示，在图像中存在多个结构元素504(示出为多边形，用于表示晶片上的接触的元件)。本文使用的结构元素可以指图像数据上的任何原始对象，所述原始对象具有在一些情况下与其它对象组合的几何形状或具有轮廓的几何结构。例如，结构元素可以多边形的形式呈现。

在一些实施例中，训练图像可以包含从不同视角捕获的多个通道。例如，在图5的示例中，502可以表示由检查工具的顶部检测器从垂直视角拍摄的图像的一个通道，而506可以表示由检查工具的侧面检测器从侧面视角拍摄的图像的另一通道。在一些情况下，可以存在来自不同角度的多于一个的侧面检测器，且因此训练图像可以包含多个侧通道图像506。在一些情况下，多个侧通道图像可以被组合成一个组合的侧通道图像。

为了节省用户对于整个图像的完全注释所要耗费的精力，可以由用户提供与训练图像相关联的部分标签数据。作为示例，用户可以确定他/她期望在分割图中识别的一个或多个区段、从每个区段中选择一组像素、并且注释所述一组像素以指示它们所属于的区段。图6示出根据本文公开的主题的某些实施例的训练图像上的部分用户注释的示例。

在图6中例示了训练图像602。训练图像602捕获与图5中的训练图像502和506相同的晶片位置，并且包含共享相同设计图案的多个结构元素。这种结构元素也称为等效结构元素。作为示例，用户可以确定结构元素可以属于一个区段，而背景属于另一个区段。由此，用户可以从任一区段中选择少许像素并且将它们标记为指示相应区段。作为示例，如图6中的圆圈区域604所示(在右侧示出了604的放大视图)，结构元素内的一组像素606由用户用特定的灰度值标记，所述灰度值指示它们属于表示结构元素的一个区段，并且背景中的另一组像素608由用户用另一灰度值标记，所述另一灰度值指示它们属于表示背景区域的另一区段。如下文关于框206描述地，在每个区段中选择的像素上的用户注释可以被用作用于训练机器学习模型的部分标签数据。

将注意到，用户可以在训练图像中确定他/她想要包括在分割图中的不同类型的分割。作为示例，在一些情况下，训练图像可以包括多于一个的等效结构元素族。用户可以确定每一族等效结构元素属于相应的区段，或者替代地，他/她可以确定所有结构元素属于一个区段，而背景属于不同的区段。作为另一个示例，用户可以根据图像中的灰度变化来决定区段。例如，由于特定的结构轮廓，在一个结构元素内可以存在灰度对比，并且用户可以确定在每个结构元素内具有与灰度间距相对应的两个区段。本公开内容不受分割的具体方式和训练图像上的区段数量的限制。

继续图2A的描述，可以提取(204)表征第一训练图像的特征集合(例如，通过特征提取器104)。每个特征具有与第一训练图像中的像素相对应的特征值。特征集合可以包括指示第一训练图像中的背景信息或表示的第一特征。例如，第一特征可以提供第一训练图像中的一个或多个区段之间的背景关系/关联的信息。特征集合还可以包括第二特征，所述第二特征提供相对于每个区段中的一组像素的统计测量值的第一训练图像中的像素分布的信息。

第一特征在本文中也被称为背景特征。术语“背景特征”应被广泛地解释为表示图像中的特定项目/元素(诸如，例如，像素、结构元素或区段等)的背景(例如，可能具有不同范围的周围区域)、和/或图像中的这种元素或区段之间的全局背景关系。在元素或区段之间，背景关系可以体现在相对纹理、空间布局、强度等方面。例如，结构元素内的像素与它们周围的像素(环绕但仍在结构元素内)共享相似的纹理，而结构元素外的像素的纹理与结构元素内的像素有很大不同，这指示结构元素内的像素和结构元素外的像素可以属于不同的区段。在一些实施例中，第一特征可以包括纹理特征。在一些情况下，第一特征还可以包括强度特征。

纹理特征可以用于表示图像的感知纹理。例如，这种特征可以表示表征图像中的不同元素或区段的结构或图案的空间布置。现在转向图3A，其中示出根据本文公开的主题的某些实施例的从第一训练图像提取纹理特征的一般化流程图。

第一训练图像可以用滤波器集合(也称为滤波器组)来处理(302)，从而产生与滤波器集合相对应的特征响应集合。每个特征响应包含与第一训练图像的相应像素相对应的特征响应值。每个像素与包括特征响应值集合的特征向量相对应。可以将与图像中的像素相对应的特征向量群集化(304)成多个群集。可以根据其特征向量所属于的群集为每个像素分配(306)特征值，从而产生包含与第一训练图像的像素相对应的特征值的特征图。特征图可分离为与相应特征值相对应的多个通道。可以使用取样滤波器对特征图的每个通道进行取样(308)，从而产生具有多个取样通道的特征图。

在一些实施例中，纹理特征可以实现为纹理基元(texton)特征。术语“纹理基元”一般指图像中的基本微结构。纹理基元可以为对象/元素的不同外观的范围提供紧凑表示，并且可以有效地对纹理以及通用对象类进行分类。

作为示例，可以将第一训练图像与滤波器集合(例如，多维滤波器组)进行卷积，从而产生针对训练图像中的所有像素的多维特征响应。可以选择滤波器集合来提取表示半导体图像的特征。例如，滤波器集合可以包括各种滤波器族，诸如，例如，导数滤波器、加博(Gabor)滤波器和拉普拉斯滤波器。导数滤波器可以提供图像中存在的像素亮度信息的变化率的定量测量。通过与图像的卷积，导数滤波器可以产生不同方向和比例的导数，这取决于内核的选择。所得到的关于亮度变化率的信息可以用于增强对比度、检测边缘和边界、以及测量特征取向。Gabor滤波器是线性滤波器，它分析图像中在所关注点或区域周围的局部区域中的特定方向上是否存在任何特定频率内容。Gabor滤波器的频率和取向表示类似于人类视觉系统的频率和取向表示。具有不同频率和取向的Gabor滤波器集合可以用于从第一训练图像中提取表示纹理的特征。拉普拉斯滤波器也称为高斯拉普拉斯(LoG)滤波器。它是对图像的第二空间导数的测量。图像的拉普拉斯突出了强度变化快的区域，并且可以用于边缘检测。例如，在图像具有恒定强度的区域中(即，强度梯度为零的区域中)，LoG响应将为零。然而，在强度变化附近，LoG响应将在较暗侧上为正，而在较亮侧上为负。

在本公开内容的一些实施例中，可以组合使用三族滤波器，并且本公开内容证明，在提取表示半导体图像中的结构的纹理和布局的特征时，组合的滤波器集合是更可靠的，所述半导体图像通常是信噪比(SNR)和对比噪声比(CNR)差的有噪声图像。然而，这绝不是以任何方式限制本公开内容。除上述内容之外或代替上述内容，还可以使用其它滤波器族/类型或具有类似功能的滤波器。具体来说，将注意到，如上所述的每一族中的特定滤波器是出于示例性目的而示出的。除上述内容之外或代替上述内容，还可以使用所述族中的其它合适的滤波器。本公开内容不受滤波器的特定类型和每个族中使用的滤波器的数量的限制。

作为示例，假设训练图像的维度为M*N，并且滤波器集合包括F个滤波器，即F维滤波器组，将例如以维度为M*N*F的特征矩阵的形式生成多维特征响应。也就是说，针对训练图像中的每个像素，存在形成与像素相对应的特征向量的F个特征响应。多维特征响应(即M*N*F的特征矩阵)可以被视作包含与M*N个像素相对应的M*N个特征向量。

一旦获得了针对训练图像中的所有像素的多维特征响应，就可以对多维特征响应执行群集化(例如，非监督群集化)。作为示例，可以对M*N个特征向量执行欧几里得(Euclidean)距离K-均值群集化算法，从而产生特征向量的多个群集(例如，K个群集)。将训练图像中的每个像素群集化为K个群集中的一个群集，并且为训练图像中的每个像素分配与群集编号相对应的特征值，从而产生包含与第一训练图像的像素相对应的特征值的特征图(例如，纹理基元图)。纹理基元图T包含特征值，其中针对每个像素i，对应的特征值Ti∈{1，…，K}。特征图(例如，纹理基元图)可以被分成与相应的特征值相对应的K个通道(例如，每个纹理基元一个通道)，其中对于每个通道，可以导出独立的通道图(例如，积分图)，这类似于针对每个纹理基元具有一个二进制文件的直方图。独立出来的通道图的维度为M*N*K。

例如，可以通过使用取样滤波器对每个通道执行取样。例如，K个通道图可以分别与取样滤波器卷积，从而产生所取样的通道图。作为示例，取样滤波器可以使用求平均、高斯、或其它种类的取样方法来实现。当与通道图卷积时，它可以在所取样的通道图中的得到的卷积值中有效地反映每个像素的背景情况(例如，每个像素的周围区域)，从而增加对所取样图的灵敏度。K个所取样的通道图(例如，以M*N*K的维度中的特征矩阵的形式)可以用作与第一训练图像相对应的纹理特征。

根据某些实施例，除了纹理特征之外，第一特征还可以包括强度特征。强度特征可以表示表征图像中不同元素或区段的像素强度的空间布置。在一些实施例中，强度特征也可以实现为纹理基元特征。作为示例，可以对第一训练图像的像素值执行如上所述的群集化。类似地，训练图像中的每个像素被群集化成多个群集中的一个，并且训练图像中的每个像素可以被分配有与像素值所属于的群集相对应的特征值，从而产生可以被分离成多个通道的特征图。可以例如通过使用取样滤波器对每个通道进行取样，并且可以将所取样的通道图用作与第一训练图像相对应的强度特征。

现在转向图7，其中示出根据本文公开的主题的某些实施例的纹理特征的示例和强度特征的示例。如图所示，特征图702是从第一训练图像502中提取的纹理特征，并且特征图704是从同一图像中提取的强度特征。

除了第一特征之外，特征集合还可以包括第二特征，所述第二特征提供相对于每个区段中的一组像素的统计测量值的第一训练图像中的像素分布的信息。第二特征也称为统计特征。本文提到的统计特征可以表示根据像素的统计重要性的定量测量，所述定量测量指示像素属于特定区段的可能性。参见图3B，其中示出根据本文公开的主题的某些实施例的从第一训练图像中提取统计特征的一般化流程图。

可以针对每个区段中选择的一组像素计算(312)统计测量值。作为示例，统计测量值可以是基于每个区段中的一组像素的值计算的平均值。作为另一示例，可以基于平均值和标准偏差(STD)来计算统计测量值，STD测量一组像素的值相对于平均值的变化量或差量。针对第一训练图像中的每个像素，可以计算对应的特征值(314)作为像素的值与每个区段的统计测量值之间的距离，从而产生各自包含特征值的一个或多个特征图，所述特征值与在像素值与相应区段的统计测量值之间的距离相对应。例如，在图6的示例中，可以分别针对表示结构元素的区段中的那组像素606和表示背景区域的其它区段中的那组像素608计算统计测量值。可以针对第一训练图像生成两个特征图，第一个特征图包含图像602中的每个像素值与针对606计算的统计测量值之间的距离值，并且第二个特征图包含图像602中的每个像素值与针对608计算的统计测量值之间的距离值。以这种方式生成的特征图因此指示图像中相对于针对每个区段计算的统计测量值的像素值分布/方差(基于用户所标记的那组像素)，这指示像素属于特定区段的可能性。

继续图2A的描述，一旦如参考框202所描述的那样获得第一训练图像和第一标签并且如参考框204所描述的那样获得特征集合，可以(例如，由训练模块106)使用第一标签、与第一标签相关联的每个区段中选择的一组像素的值、以及与每个区段中的一组像素相对应的特征集合的每个特征的特征值来训练机器学习(ML)模型(206)。ML模型被训练用于图像分割。

在一些实施例中，ML模型可以实现为分类器。本文提到的术语“分类器”、“分类器模型”或“分类模型”应当被广泛地解释为涵盖能够基于训练数据集识别新实例属于类别/类的集合中的哪一个的任何学习模型。作为示例，在本公开内容中，可以训练分类器以将像素候选分类到由用户定义的区段类集合中。例如，在图6的示例中，基于训练集来训练分类器，所述训练集包括：指示两个区段的第一标签(例如，表示一个区段的所述一组像素606上的用户注释，以及表示另一区段的所述一组像素608上的用户注释)、第一训练图像中的所述一组像素606和所述一组像素608的像素值、以及与所述一组像素606和所述一组像素608相对应的特征值(在特征集合的每个特征中)。例如，假设特征集合包括如在702中例示的纹理特征、如在704中例示的强度特征、以及如上文参考图3B描述的统计特征，与所选择的所述一组像素606和所述一组像素608相对应的三个特征(以特征图或特征矩阵的形式)的每一个中的特征值用作训练集的一部分。

经训练的分类器可以用于图像分割，即，用于为图像中的每个像素提供指示其所属于的区段的预测标签。将注意到，分类器可以被实现为各种类型的机器学习模型，诸如，例如，线性分类器、支持向量机(SVM)、神经网络、决策树等，并且本公开内容不限于用这些实现的特定模型。

可以使用经训练的ML模型来处理(208)第一训练图像，以获得提供与第一训练图像中的相应像素相关联的预测标签的信息的第一分割图。每个预测标签指示相应像素所属于的区段。根据某些实施例，经训练的ML模型(例如，分类器)可以用于处理第一训练图像中的至少剩余像素(例如，排除在每个区段中选择并且用于训练分类器的那组像素)。分类器的输出是分割图(也称为分割掩模)，所述分割图与训练图像大小相同，并且含有图像中的对应像素的预测标签。

确定(210)(例如，通过训练模块106)在满足标准时将包含第一训练图像和第一分割图的第一训练取样包括到DNN训练数据中，并且在不满足标准时重复提取第二特征、训练和处理。换句话说，如上所述，可以基于标准来确定是将第一训练取样包括在DNN训练数据中还是重复处理。在一些实施例中，所述标准可以涉及例如由用户在第一分割图上的反馈。作为示例，所述标准可以基于用户反馈。例如，所述标准可以是关于第一分割图的肯定的用户反馈，例如，第一分割图具有令人满意的质量。因此，一旦接收到关于第一分割图的肯定的用户反馈，可以将第一训练取样包括到DNN训练数据中。

而一旦接收到关于第一分割图的否定的用户反馈，例如，第一分割图的质量不令人满意，这意味着当前训练的ML模型还没有学会如用户所预期那样好地来对第一训练图像进行分割，因此需要重复上文参考图2A描述的操作的至少一部分。图8示出根据本文公开的主题的某些实施例的具有否定的用户反馈的分割图的示例。

生成与图5和图6中例示的训练图像相对应的分割图800。在本示例中，分割图被例示为表示两个区段的二进制图，第一区段与图像中的结构元素(示出为表示接触元素的白色圆圈)相对应，并且第二区段与背景区域(示出为黑色区域)相对应。如图所示，针对作为沿着图像边界的边缘背景区域的区域802，应当将其标记为黑色，但是却错误地将其标记为了白色。因此区域802被错误地预测为属于结构元素的第一区段。针对区域804，在两个结构元素之间的背景区域被错误地预测为属于第一区段(在图中图示为彼此连接的两个元素，因此其间缺失背景区域)的情况下发生了类似的错误。根据用户的复查，这种分割图由于错误分割的区域而不令人满意。因此，分类器需要被重新训练，直到其生成具有令人满意的质量的输出分割图。将注意到，在一些情况下，分割图的令人满意的质量可以根据质量条件来确定。例如，所述质量条件可以是具有正确分割的像素的百分比的范围或阈值。

现在转向图2B，其中示出根据本文公开的主题的某些实施例的在接收到关于第一分割图的否定的用户反馈时的DNN训练数据生成的继续下去的过程的一般化流程图。

具体地，可以从用户获得(212)与至少一个区段中的额外组像素相关联的额外的第一标签。在这种情况下，额外的第一标签可以作为标签数据的一部分与用户先前提供的第一标签一起添加。第一标签和额外的第一标签构成聚合的标签数据。参见图9A，其中示出根据本文公开的主题的某些实施例的由用户提供的额外第一标签的示例。

如图9A中的第一训练图像602所示，除了原始第一标签(如圆圈区域604所示)之外，额外组像素(如圆圈区域902和904所示)由用户用指示这些像素所属于的预期区段的标签来标记。例如，用户可以特别标记第一分割图中存在错误分割的区域(例如，在区域802和804中)。用户可以选择在一个区段中或者在两个区段中标记额外像素。例如，在902中，用户在结构元素和背景中都标记了像素，而在904中，用户仅在背景中标记了像素。因此，在额外标记之后，聚合的标签数据包括为区域604、902和904中的那些组的像素标记的标签。

一旦获得聚合的标签数据，可以基于聚合的标签数据重复提取第二特征、训练和处理，直到满足标准，例如，接收到肯定的用户反馈。具体地，由于标签数据已经更新，因此基于与标签相关联的每个区段中的那组像素计算的第二特征(即，统计特征)也应该基于聚合的标签数据来更新(214)。例如，可以使用基于所述那组像素和额外组像素的像素值计算的统计测量值来重新提取第二特征。

可以使用聚合的标签、与聚合的标签数据相关联的像素值、以及与聚合的标签数据相关联的像素相对应的特征集合的每个特征的特征值来重新训练(216)分类器。可以使用重新训练的分类器再次处理(218)第一训练图像以获得更新的第一分割图。随后可以基于用户对更新的第一分割图的反馈来确定(220)是否重复上述过程(参考框212-218的操作)，或者将更新的第一分割图和第一训练图像作为第一训练取样包括在DNN训练数据中。

参见图9B，其中示出根据本文公开的主题的某些实施例的具有肯定的用户反馈的更新的分割图的示例。

一旦获得如图9A所示的额外的第一标签，根据参考图2B描述的操作生成分割图900。所述分割图900是如图8所示的第一分割图800的更新的分割图。如图所示，与分割图800相反，更新的分割图900提供两个区段的令人满意的分割结果。借助于由用户提供的额外第一标签和分类器的重新训练，固定先前误分割的区域802和804中的分割。更新的分割图与对应的训练图像一起作为训练取样包含在DNN训练数据中。

根据某些实施例，可以对一个或多个训练图像重复如图2A和图2B所示的过程，以便生成一个或多个分割图，所述分割图可以与训练图像一起包括在DNN训练数据中。作为示例，可以与分别与在由用户从第二训练图像识别的一个或多个区段的每一个中选择的一组像素相关联的第二标签一起，获得第二训练图像。将第二标签添加到聚合的标签数据。可以提取表征第二训练图像的特征集合，所述特征集合包括第一特征和第二特征。可以使用聚合的标签数据、与聚合的标签数据相关联的像素值、以及与聚合的标签数据相关联的像素相对应的特征集合的每个特征的特征值来训练机器学习模型。可以基于第二训练图像来执行如上文参考框208和210描述的处理和确定。

现在转向图4，其中示出根据本文公开的主题的某些实施例的使用所生成的DNN训练数据来训练DNN的一般化流程图。

根据某些实施例，针对半导体样本图像(例如，FP图像)上的图像分割的特定应用训练DNN。作为示例，这种分割可以由计量工具用于对样本执行测量。作为另一示例，所述分割还可以在构造属性(例如，用于定义缺陷是在主图案上、在背景上、还是两者都有)时用于ADC、用于在每个区段上应用区段特定检测阈值的ADR等。

所述过程包含DNN的分割特定训练的设置阶段410和使用训练的DNN进行图像分割的运行时间阶段420。

在设置410期间，可以获得(412)根据图2A和图2B的描述生成的DNN训练数据。DNN训练数据包含一个或多个训练取样，每个训练取样包括训练图像和对应的分割图。可以使用DNN训练数据对DNN进行训练(414)，从而获得以有关分割的训练参数为特征的经训练的DNN。在一些实施例中，训练过程可以是循环的，并且可以重复数次直到DNN被充分训练。作为示例，可以使用有关分割准确度(例如，正确分割标签图对比预测标签图)的成本函数来训练DNN。可以使用图像的验证集合来验证(416)经训练的DNN。图像的验证集合可以是与训练图像集合不同的图像集合，并且可以包含出于验证目的而选择的FP图像。用户可以在验证期间为DNN达到的结果提供反馈。

在运行时间420期间，PMC使用经训练的DNN来处理(422)包含要分割的一个或多个捕获的FP图像的一个或多个运行时间图像，以便为每个图像提供(424)分割图。所述一个或多个FP图像可以通过相同或不同的检查模态获得。所获得的分割图可以提供指示图像上的不同区段的每像素或每区域分割标签的信息。作为示例，一层上的多边形可以具有一个分割标签，且另一层上的多边形可以具有不同的分割标签，而背景可以具有单独的分割标签。

与耗时且易出错的对整个训练图像的传统手工注释相比，如本文描述的训练数据生成过程的某些实施例的优点之一在于它提供了生成可用于训练DNN的准确地面真实数据的自动手段。至少通过提取适合于分割的有意义的特征以及基于用户部分注释和反馈的ML模型的交互式训练来实现这种过程的自动化。

如本文所述的训练数据生成过程的某些实施例的进一步优点之一在于，通过提取并且使用表征训练图像的背景特征和统计特征，本公开内容设法在纹理、布局、背景、和统计意义等方面提供半导体图像的可靠表示，因此能够使用代表性特征来训练ML模型，并且以有效的方式生成具有令人满意结果的分割图。

将注意到，所示出的示例仅出于说明的目的在本文描述，并且不应被视为以任何方式限制本公开内容。除上述内容之外或代替上述内容，可以使用其它合适的示例。

将理解，本公开内容不限于应用到在本文含有的描述中阐述或在附图中示出的细节。

也将理解，根据本公开内容的系统可以至少部分地在合适编程的计算机上实现。同样，本公开内容预期可由计算机读取的计算机程序用于执行本公开内容的方法。本公开内容进一步预期一种有形地体现指令程序的非暂时性计算机可读存储器，所述指令可由计算机执行用于执行本公开内容的方法。

本公开内容能够具有其它实施例并且以各种方式实践和执行。因此，将理解，本文采用的措辞和术语是出于描述的目的并且不应当被认为是限制性的。因此，本领域的技术人员将理解，本公开内容所基于的概念可以容易地用作设计用于实现本文公开的主题的若干目的的其他结构、方法、和系统的基础。

本领域的技术人员将容易理解，在不脱离随附权利要求书中并由随附权利要求书定义的本公开内容的范围的情况下，各种修改和改变可以应用到如上文描述的本公开内容的实施例。

Claims (20)

1.一种生成用于训练可用于半导体样本检查的深度神经网络的训练数据(DNN训练数据)的计算机化系统，所述系统包含处理器和存储器电路(PMC)，被配置为：

获得表示所述半导体样本的至少一部分的第一训练图像、以及分别与在由用户从所述第一训练图像识别的一个或多个区段的每一个中选择的一组像素相关联的第一标签；

提取表征所述第一训练图像的特征集合，每个特征具有与所述第一训练图像中的像素相对应的特征值，所述特征集合包括提供在所述第一训练图像中的所述一个或多个区段之间的背景关系的信息的第一特征、和提供相对于每个区段中的所述一组像素的统计测量值的所述第一训练图像中的像素分布的信息的第二特征；

使用所述第一标签、在与所述第一标签相关联的每个区段中选择的所述一组像素的值、以及与在每个区段中的所述一组像素相对应的所述特征集合的每个特征的所述特征值来训练机器学习(ML)模型；

使用所述训练的ML模型处理所述第一训练图像以获得第一分割图，所述第一分割图提供与所述第一训练图像中的相应像素相关联的预测标签的信息，每个预测标签指示相应像素所属于的区段；以及

确定在满足标准时将包含所述第一训练图像和所述第一分割图的第一训练取样包括到所述DNN训练数据中，并且在不满足所述标准时重复所述提取第二特征、所述训练和所述处理。

2.如权利要求1所述的计算机化系统，其中所述训练数据可用于针对从包含以下各项的群组中选择的至少一个检查工艺来训练深度神经网络(DNN)：基于运行时间图像的自动分割、自动计量、自动缺陷检测、自动缺陷复查、和自动缺陷分类。

3.如权利要求1所述的计算机化系统，其中所述标准基于关于所述第一分割图的用户反馈，并且所述PMC被配置为：在接收到关于所述第一分割图上的否定的用户反馈时获得与至少一个所述区段中的额外组像素相关联的额外第一标签，所述第一标签和所述额外第一标签构成聚合的标签数据；并且基于所述聚合的标签数据重复所述提取第二特征、所述训练和所述处理，直到接收到肯定的用户反馈。

4.如权利要求3所述的计算机化系统，其中所述PMC被配置为在接收到关于所述第一分割图的肯定的用户反馈时将所述第一训练取样包括到所述训练数据中。

5.如权利要求4所述的计算机化系统，其中所述PMC还被配置为：获得分别与由用户从所述第二训练图像识别的一个或多个区段的每一个中选择的一组像素相关联的第二训练图像和第二标签，所述第二标签被添加到所述聚合的标签数据；提取表征所述第二训练图像并且包括所述第一特征和所述第二特征的特征集合；使用所述聚合的标签数据、与所述聚合的标签数据相关联的像素值、以及与所述聚合的标签数据相关联的所述像素相对应的所述特征集合的每个特征的所述特征值训练所述ML模型；并且基于所述第二训练图像执行所述处理和确定。

6.如权利要求1所述的计算机化系统，其中所述一个或多个区段中的至少一个与在所述第一训练图像中呈现的一个或多个结构元素相对应。

7.如权利要求1所述的计算机化系统，其中所述第一特征包括通过以下步骤提取的纹理特征：

用滤波器集合处理所述第一训练图像，从而产生各自包含与所述第一训练图像的相应像素相对应的特征响应值的特征响应集合，其中每个像素与特征向量相对应，该特征向量包括其特征响应值集合；

将与所述第一训练图像中的所述像素相对应的所述特征向量群集化为多个群集；

根据其特征向量所属于的群集为每个像素分配特征值，从而产生包含与所述第一训练图像的像素相对应的特征值的特征图，所述特征图可分离为与相应特征值相对应的多个通道；以及

使用取样滤波器对所述特征图的每个通道进行取样，从而产生具有多个取样通道的特征图。

8.如权利要求7所述的计算机化系统，其中所述第一特征还包括通过以下步骤提取的强度特征：将所述第一训练图像的像素值群集化为多个群集；根据所述像素值所属于的群集为每个像素分配特征值，从而产生可分离为与相应特征值相对应的多个通道的特征图；以及使用取样滤波器对所述特征图的每个通道进行取样，从而产生具有多个取样通道的特征图。

9.如权利要求7所述的计算机化系统，其中所述滤波器集合包含下列中的一个或多个：导数滤波器、Gabor滤波器、和拉普拉斯滤波器。

10.如权利要求1所述的计算机化系统，其中所述第二特征通过以下步骤提取：针对每个区段中的所述那组像素计算统计测量值；并且针对所述第一训练图像中的每个像素，将对应特征值计算为在所述像素的值与每个区段的所述统计测量值之间的距离，从而产生各自包含特征值的一个或多个特征图，所述特征值与在像素值与相应区段的所述统计测量值之间的距离相对应。

11.如权利要求1所述的计算机化系统，其中所述训练图像包含从不同视角捕获的多个通道，并且所述特征集合从所述多个通道提取。

12.如权利要求1所述的计算机化系统，其中所述PMC还被配置为使用所述DNN训练数据来训练所述DNN，并且使用图像的验证集合来验证所述训练的DNN。

13.一种生成用于训练可用于样本检查的深度神经网络的训练数据(DNN训练数据)的计算机化方法，所述方法由处理器和存储器电路(PMC)执行并且包含：获得表示所述半导体样本的至少一部分的第一训练图像、以及分别与在由用户从所述第一训练图像识别的一个或多个区段的每一个中选择的一组像素相关联的第一标签；

提取表征所述第一训练图像的特征集合，每个特征具有与所述第一训练图像中的像素相对应的特征值，所述特征集合包括提供在所述第一训练图像中的所述一个或多个区段之间的背景关系的信息的第一特征、和提供相对于每个区段中的所述一组像素的统计测量值的所述第一训练图像中的像素分布的信息的第二特征；

使用所述第一标签、在与所述第一标签相关联的每个区段中选择的所述一组像素的值、以及与在每个区段中的所述一组像素相对应的所述特征集合的每个特征的所述特征值来训练机器学习(ML)模型；

使用所述训练的ML模型处理所述第一训练图像以获得第一分割图，所述第一分割图提供与所述第一训练图像中的相应像素相关联的预测标签的信息，每个预测标签指示相应像素所属于的区段；以及

确定在满足标准时将包含所述第一训练图像和所述第一分割图的第一训练取样包括到所述DNN训练数据中，并且在不满足所述标准时重复所述提取第二特征、所述训练和所述处理。

14.如权利要求13所述的计算机化方法，其中所述标准基于关于所述第一分割图的用户反馈，并且所述方法还包含：在接收到关于所述第一分割图上的否定的用户反馈时获得与至少一个所述区段中的额外组像素相关联的额外第一标签，所述第一标签和所述额外第一标签构成聚合的标签数据；并且基于所述聚合的标签数据重复所述提取第二特征、所述训练和所述处理，直到接收到肯定的用户反馈。

15.如权利要求14所述的计算机化方法，还包含在接收到关于所述第一分割图的肯定的用户反馈时将所述第一训练取样包括到所述训练数据中。

16.如权利要求13所述的计算机化方法，其中所述第一特征包括通过以下步骤提取的纹理特征：

用滤波器集合处理所述第一训练图像，从而产生各自包含与所述第一训练图像的相应像素相对应的特征响应值的特征响应集合，其中每个像素与特征向量相对应，该特征向量包括其特征响应值集合；

将与所述第一训练图像中的所述像素相对应的所述特征向量群集化为多个群集；

根据其特征向量所属于的群集为每个像素分配特征值，从而产生包含与所述第一训练图像的像素相对应的特征值的特征图，所述特征图可分离为与相应特征值相对应的多个通道；以及

使用取样滤波器对所述特征图的每个通道进行取样，从而产生具有多个取样通道的特征图。

17.如权利要求16所述的计算机化方法，其中所述第一特征还包括通过以下步骤提取的强度特征：将所述第一训练图像的像素值群集化为多个群集；根据所述像素值所属于的群集为每个像素分配特征值，从而产生可分离为与相应特征值相对应的多个通道的特征图；以及使用取样滤波器对所述特征图的每个通道进行取样，从而产生具有多个取样通道的特征图。

18.如权利要求13所述的计算机化方法，其中所述第二特征通过以下步骤提取：针对每个区段中的所述那组像素计算统计测量值；并且针对所述第一训练图像中的每个像素，将对应特征值计算为在所述像素的值与每个区段的所述统计测量值之间的距离，从而产生各自包含特征值的一个或多个特征图，所述特征值与在像素值与相应区段的所述统计测量值之间的距离相对应。

19.如权利要求13所述的计算机化方法，还包含使用所述DNN训练数据来训练所述DNN，并且使用图像的验证集合来验证所述训练的DNN。

20.一种有形地体现指令程序的非暂时性计算机可读存储介质，所述指令当由计算机执行时使所述计算机执行生成用于训练可用于样本检查的深度神经网络的训练数据(DNN训练数据)的方法，所述方法包含：

获得表示所述半导体样本的至少一部分的第一训练图像、以及分别与在由用户从所述第一训练图像识别的一个或多个区段的每一个中选择的一组像素相关联的第一标签；

提取表征所述第一训练图像的特征集合，每个特征具有与所述第一训练图像中的像素相对应的特征值，所述特征集合包括提供在所述第一训练图像中的所述一个或多个区段之间的背景关系的信息的第一特征、和提供相对于每个区段中的所述一组像素的统计测量值的所述第一训练图像中的像素分布的信息的第二特征；

使用所述第一标签、在与所述第一标签相关联的每个区段中选择的所述一组像素的值、以及与在每个区段中的所述一组像素相对应的所述特征集合的每个特征的所述特征值来训练机器学习(ML)模型；

使用所述训练的ML模型处理所述第一训练图像以获得第一分割图，所述第一分割图提供与所述第一训练图像中的相应像素相关联的预测标签的信息，每个预测标签指示相应像素所属于的区段；以及

确定在满足标准时将包含所述第一训练图像和所述第一分割图的第一训练取样包括到所述DNN训练数据中，并且在不满足所述标准时重复所述提取第二特征、所述训练和所述处理。

Images