CN117372413A - 一种基于生成对抗网络的晶圆缺陷检测方法 - Google Patents

Abstract

本申请提供了一种基于生成对抗网络的晶圆缺陷检测方法，涉及缺陷检测技术领域，其方法为，首先获取晶圆图片数据集，并对数据进行预处理，包含最大连通分量标记(LCCL)算法去噪、调整数据集图片大小、将晶圆图片转换为灰度图三个步骤，随后构建基于生成对抗网络的晶圆缺陷检测GANomaly网络，并训练GANomaly网络模型；模型训练完成后，利用变正态样本置信区间法进行阈值异常评分，根据异常评分判断晶圆是否存在缺陷，同时，通过该方法可以仅使用正常晶圆图数据来识别正常和异常晶圆图；然后采用最大连通分量标记(LCCL)算法能够提高识别效果并生成均匀的晶圆灰度图像，采用变正态样本置信区间法来计算阈值异常评分，提高检测的精准度。

Description

一种基于生成对抗网络的晶圆缺陷检测方法

技术领域

本发明属于缺陷检测技术领域，更为具体地讲，涉及一种基于生成对抗网络的晶圆缺陷检测方法。

背景技术

近年来，芯片复杂性的增加使得晶圆的制造过程变得更加复杂和昂贵。并且晶圆缺陷会导致芯片产量降低和安全问题。为了消除晶圆缺陷，构建完美且经济的制造环境是极其困难的。因此，缺陷检测成为提高晶圆良率的必要手段。

然而，传统的人工缺陷检测方法在速度和规模上都比较弱，因此在实际生产过程中，基于视觉的缺陷识别算法，由于其快速和稳定的性能而受到广泛使用，特别的，深度学习(Deep Learning，简称DL)由于其良好的性能，已经成为一个进行晶圆缺陷检测的突破口，是一个大规模的网络，执行端到端的自动特征提取，以避免操作员的选择。现有深度学习方法大多都需要一定量的正常与异常数据样本，然而，在晶圆缺陷检测领域，异常晶圆需要专业人员进行测试认定，导致异常晶圆数据往往是不容易获取的，因此，一种使用大量正常数据的无监督深度学习方法进行晶圆缺陷检测是必要的。

为解决上述问题，我们提出了一种基于生成对抗网络的晶圆缺陷检测方法。

发明内容

为解决背景技术中的问题，本发明提供一种基于生成对抗网络的晶圆缺陷检测方法。

为实现上述目的，本发明采取的技术方案为：

一种基于生成对抗网络的晶圆缺陷检测方法，所述方法包括以下步骤：

S1、获取晶圆图片数据集；

采集正常条件下的多张晶圆图片，记为；

其中，，/>为正常条件下晶圆图片的数量；

S2、数据预处理；

1）、通过最大连通分量标记(LCCL)算法去噪；

采用LCCL算法中的8-连接算法进行晶圆图片的预处理，找到有效像素与其周围的8个连通分量，并保留其中最大的分量，并将其他分量设置为相同的背景颜色；

2）、调整数据集图片大小；

筛选出数据集中图片长度位于20像素-64像素之外的晶圆图片，予以删除，并保留长度在区间内的晶圆图片；通过Python中的resize函数将所有选定的晶圆图片调整为固定尺寸（128，128）；

3）、将晶圆图片转换为灰度图；

转换过程是将RGB转换为灰度并将其规范化，采用ITU-R 601-2标准，定义公式为:

其中，，/>，/>是每个通道的RGB颜色值，/>是单通道灰度值。

由于晶圆图片中有三种颜色类型，处理后的图像也包含三个灰度值，/>，/>，通过公式（2）进行归一化:

其中，为/>，/>，/>的最大值，/>为最小值。/>表示三种灰度颜色之一，。这种归一化扩大了有效像素和其他像素之间的差异，便于提取到需要的信息，转换后的训练数据集记为/>，/>，/>为第/>种缺陷下晶圆图片的数量。

S3、构建基于生成对抗网络的晶圆缺陷检测网络；

如图2所示，所构建的GANomaly网络主要包含编码器与解码器两个部分，编码器结构如表1所示；解码器结构与表1完全相反；

表1为GANomaly网络中编码器的网络结构

其中，代表通道数量。对于使用的灰度图像，/>固定为1。/>代表输入图像的大小，这里为固定尺寸（128，128）。/>是深度学习模型中的一个潜在变量。/>是向量的长度，设置为100。

检测网络为GANomaly网络，GANomaly网络由编码器一、编码器二、编码器三与一个解码器所组成；

其中，编码器一与解码器相连接，构成了图像生成器，能够通过原始图像重建一种假图像；

编码器二作为潜在层被添加到图像生成器的输出端；

编码器三在网络中作为鉴别器使用，编码器三作为一个单独的编码器，后面连接着一个全连接层；

S4、训练基于生成对抗网络的晶圆缺陷检测网络模型；

1）、设置最大迭代次数为，初始化当前迭代次数/>；给定期望的模型训练误差为/>；

2）、在第次迭代中，从预处理后的数据集/>中抽取/>张晶圆图片记为/>，然后将/>作为GANomaly网络的单批次输入；

3）、以代表所输入的数据/>，通过编码器一后其被卷积成一个向量/>在这个模型中/>的长度被设置为100，/>也被称为生成器的瓶颈特征，并被认为是包含图像特征的最小维度，编码器使用LeakyReLU作为激活函数，并在卷积和激活之间添加了批处理规范层Batch-norm；

所述Batch-norm是一种放大图像间相对差异的操作，其计算公式为：

其中，和/>分别是输入的均值和方差，/>是为了数值稳定性的常数，/>和/>是可学习的参数；

解码器使用ReLU()激活函数和批处理规范层将向量转换回与/>大小相同的/>，随后编码器二将生成器的输出/>缩小为一个与编码器一输出/>大小相同的向量，命名为/>；

编码器三在网络中作为鉴别器使用，在鉴别器中，矢量大小与编码器一输出大小相同；鉴别器将向每个图像输出一个数字，从而识别数据/>和/>的真假：

4）、计算网络的损失值，在GANomaly网络模型中包含三种类型的损失函数，即对抗性损失/>（Adversarial loss）、上下文损失/>（Contextual loss）、编码器损失/>（Encoder loss），总损失/>由三者计算得到，其计算公式如下：

其中，表示鉴别器函数的值，其输入大小为128 × 128，输出大小为1；/>表示生成器函数的值；/>代表所输入的原始数据，/>代表所生成的假数据，其作用是，鉴别生成器从原始数据重建假数据的能力；

代表编码器一的输出，/>代表编码器二的输出，其作用是，减少瓶颈特征距离，以及使用来自潜在层的特征；

、/>、/>分别代表对抗性损失/>（Adversarial loss）、上下文损失/>（Contextual loss）、编码器损失/>（Encoder loss）的权重，权重通过网络学习得到；

损失计算完成后，判断当前迭代次数或者/>，若满足，则停止迭代训练；否则，将进行下一轮训练；

S5、变正态样本置信区间法计算阈值异常评分；

定义置信区间的公式为：

其中，为显著性水平；表示异常评分落在/>~/>之间的概率为/>；

考虑到异常分数永远不会是负的，将设置为负无穷，/>置为3%，因为正态样本分布高度集中于其均值；因此，公式（8）可化为：

公式（9）表示97%的正常数据位于阈值确定的范围内；

S6、晶圆图片的缺陷检测；

采集未知缺陷种类的晶圆图片，然后输入至步骤S4中训练后的GANomaly网络模型，并利用步骤S5中所示方法进行异常值评分，以判断晶圆是否存在缺陷。

本发明的发明目的是这样实现的：

本发明是基于生成对抗网络的晶圆缺陷检测方法，首先获取晶圆图片数据集，随后对数据进行预处理，主要包含最大连通分量标记(LCCL)算法去噪、调整数据集图片大小、将晶圆图片转换为灰度图三个步骤，随后构建基于生成对抗网络的晶圆缺陷检测GANomaly网络，并训练GANomaly网络模型；模型训练完成后，利用变正态样本置信区间法进行阈值异常评分，根据异常评分判断晶圆是否存在缺陷；

同时，该方法可以仅使用正常晶圆图数据来识别正常和异常晶圆图；并且采用最大连通分量标记(LCCL)算法能够提高识别效果并生成均匀的晶圆灰度图像；采用变正态样本置信区间法来计算阈值异常评分，科学地选择了异常阈值，使算法具有较强的可解释性，从而提高检测的精准度。

附图说明

图1是本发明基于生成对抗网络的晶圆缺陷检测方法流程图；

图2是本发明所提GANomaly网络的结构图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例:图1是本发明基于神经网络架构搜索的晶圆缺陷检测方法流程图。

在本实施例中，如图1所示，本发明提出了一种基于生成对抗网络的晶圆缺陷检测方法，所述方法包括以下步骤：

S1、获取晶圆图片数据集；

采集正常条件下的多张晶圆图片，记为；

其中，，/>为正常条件下晶圆图片的数量；

S2、数据预处理；

1）、通过最大连通分量标记(LCCL)算法去噪；

采用LCCL算法中的8-连接算法进行晶圆图片的预处理，找到有效像素与其周围的8个连通分量，并保留其中最大的分量，并将其他分量设置为相同的背景颜色；

2）、调整数据集图片大小；

筛选出数据集中图片长度位于20像素-64像素之外的晶圆图片，予以删除，并保留长度在区间内的晶圆图片；通过Python中的resize函数将所有选定的晶圆图片调整为固定尺寸（128，128）；

3）、将晶圆图片转换为灰度图；

转换过程是将RGB转换为灰度并将其规范化，采用ITU-R 601-2标准，定义公式为:

其中，，/>，/>是每个通道的RGB颜色值，/>是单通道灰度值。

由于晶圆图片中有三种颜色类型，处理后的图像也包含三个灰度值，/>，/>；通过公式（2）进行归一化:

其中，为/>，/>，/>的最大值，/>为最小值。/>表示三种灰度颜色之一，。这种归一化扩大了有效像素和其他像素之间的差异，便于提取到需要的信息，转换后的训练数据集记为/>，/>，/>为第/>种缺陷下晶圆图片的数量。

S3、构建基于生成对抗网络的晶圆缺陷检测网络；

如图2所示，所构建的GANomaly网络主要包含编码器与解码器两个部分，编码器结构如表1所示，解码器结构与表1完全相反；

表1为GANomaly网络中编码器的网络结构

其中，代表通道数量，对于使用的灰度图像，/>固定为1，/>代表输入图像的大小，这里为固定尺寸（128，128），/>是深度学习模型中的一个潜在变量，/>是向量的长度，设置为100；

检测网络为GANomaly网络，GANomaly网络由编码器一、编码器二、编码器三与一个解码器所组成；

其中，编码器一与解码器相连接，构成了图像生成器，能够通过原始图像重建一种假图像；

编码器二作为潜在层被添加到图像生成器的输出端；

编码器三在网络中作为鉴别器使用，编码器三作为一个单独的编码器，后面连接着一个全连接层；

S4、训练基于生成对抗网络的晶圆缺陷检测网络模型；

1）、设置最大迭代次数为，初始化当前迭代次数/>=1；给定期望的模型训练误差为/>；

2）、在第次迭代中，从预处理后的数据集/>中抽取/>张晶圆图片记为/>，然后将/>作为GANomaly网络的单批次输入；

3）、以代表所输入的数据/>，通过编码器一后其被卷积成一个向量/>，在这个模型中/>的长度被设置为100，/>也被称为生成器的瓶颈特征，并被认为是包含图像特征的最小维度，编码器使用LeakyReLU作为激活函数，并在卷积和激活之间添加了批处理规范层Batch-norm；

所述Batch-norm是一种放大图像间相对差异的操作，其计算公式为：

其中，和/>分别是输入的均值和方差，/>是为了数值稳定性的常数，/>和/>是可学习的参数；

解码器使用ReLU()激活函数和批处理规范层将向量转换回与/>大小相同的/>，随后编码器二将生成器的输出/>缩小为一个与编码器一输出/>大小相同的向量，命名为/>；

编码器三在网络中作为鉴别器使用，在鉴别器中，矢量大小与编码器一输出大小相同；鉴别器将向每个图像输出一个数字，从而识别数据/>和/>真假：

4）、计算网络的损失值，在GANomaly网络模型中包含三种类型的损失函数，即对抗性损失/>（Adversarial loss）、上下文损失/>（Contextual loss）、编码器损失/>（Encoder loss），总损失/>由三者计算得到，其计算公式如下：

其中，表示鉴别器函数的值，其输入大小为128 × 128，输出大小为1；/>表示生成器函数的值；/>代表所输入的原始数据，/>

代表所生成的假数据，其作用是，鉴别生成器从原始数据重建假数据的能力；

代表编码器一的输出，/>代表编码器二的输出，其作用是，减少瓶颈特征距离，以及使用来自潜在层的特征；

、/>、/>分别代表对抗性损失/>（Adversarial loss）、上下文损失/>（Contextual loss）、编码器损失/>（Encoder loss）的权重，权重通过网络学习得到；

损失计算完成后，判断当前迭代次数或者/>，若满足，则停止迭代训练；否则，将进行下一轮训练；

S5、变正态样本置信区间法计算阈值异常评分；

定义置信区间的公式为：

其中，为显著性水平；表示异常评分落在/>~/>之间的概率为/>；

考虑到异常分数永远不会是负的，将设置为负无穷/>设置为3%，因为正态样本分布高度集中于其均值；因此，公式（8）可化为：

公式（9）表示97%的正常数据位于阈值确定的范围内；

S6、晶圆图片的缺陷检测；

采集未知缺陷种类的晶圆图片，然后输入至步骤S4中训练后的GANomaly网络模型，并利用步骤S5中所示方法进行异常值评分，以判断晶圆是否存在缺陷。

在本实施例中，采用WM-811K公开数据集进行了本发明的验证，该实施例只使用其中的正常数据进行训练，使用异常与正常状态图片进行测试；

其中，训练集随机分配7763张正常图像，测试集包括2656张正常图像和2877张异常图像。

本实施例在云GPU平台，python = 3.6环境和GTX-2080 Ti设备上对WM-811K数据集进行了测试，训练轮数epoch设置为30。

本实验的AUC值、准确率、召回率、精度、f1分数如下表2所示：

表2为所提一种基于生成对抗网络的晶圆缺陷检测方法的性能指标：

从表2可以得出，变置信区间方法不使用异常图像计算阈值，但仍然可以得到与需要异常数据的方法相似的结果，并且具有相同的预测性能。

为了探索显式性能，通过对每种失效模式进行了8次实验，各模式的AUC值如表3所示；由于AUC不需要测试集中的正常与异常平衡，因此它们都共享相同的正常测试集：

表3为测试特定故障类型时的AUC值：

从表3可以得出，该模型在所有类型的故障中都表现出较高的性能，因此，当主要考虑某些特定的故障类型时，不受特殊情况的影响。

为了验证各成分对所提一种基于生成对抗网络的晶圆缺陷检测方法的影响，帮助探索为什么能取得好的结果，本实施例设置了三个消融实验；

第一个消融实验使用编码器损失代替所提出的上下文损失来对异常程度进行评分，阈值的确定方法为置信区间阈值，测试结果如表4所示：

表4为对比结果

从表4可以得出，本发明所提基于上下文损失的评分算法比基于编码器损失的评分算法表现出更好的性能。

第二个消融实验通过去除所提GANomaly网络中的解码器，将其还原为对抗自编码器（Adversarial Autoencoders，简称AAE），它应用原始图像和伪图像的差值进行异常评分，阈值设置为0.15，实验结果如下表5所示：

表5为所提GANomaly网络模型与AAE的对比结果

从表5中可以得出，GANomaly网络模型在大多数指标上都更强，但在精度上，AAE更为可靠；精度反映了所有被预测为异常的图像中真正异常图像的比率，在整体性能上，GANomaly网络模型效果较好。

第三个消融实验是去除LCCL过程，直接使用灰度图像进行训练，阈值确定算法分布均采用变正态分布，无LCCL模型的阈值确定为0.24，该阈值比基于LCCL模型的阈值0.15较大，这意味着消融试验中所有的样本都有较高的异常得分，结果如下表6所示：

表6为有LCCL过程和没有LCCL过程的模型性能对比

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种基于生成对抗网络的晶圆缺陷检测方法，所述方法包括以下步骤：

S1、获取晶圆图片数据集；

采集正常条件下的多张晶圆图片，记为；

其中，，/>为正常条件下晶圆图片的数量；

S2、数据预处理；

1）、通过最大连通分量标记(LCCL)算法去噪；

采用LCCL算法中的8-连接算法进行晶圆图片的预处理，找到有效像素与其周围的8个连通分量，并保留其中最大的分量，并将其他分量设置为相同的背景颜色；

2）、调整数据集图片大小；

筛选出数据集中图片长度位于20像素-64像素之外的晶圆图片，予以删除，并保留长度在区间内的晶圆图片；通过Python中的resize函数将所有选定的晶圆图片调整为固定尺寸（128，128）；

3）、将晶圆图片转换为灰度图；

转换过程是将RGB转换为灰度并将其规范化，采用ITU-R 601-2标准，定义公式为:

；

其中，/>，/>是每个通道的RGB颜色值，/>是单通道灰度值；

由于晶圆图片中有三种颜色类型，处理后的图像也包含三个灰度值，/>，/>，通过公式（2）进行归一化:

；

其中为/>，/>，/>的最大值，/>为最小值。/>表示三种灰度颜色之一，/>。这种归一化扩大了有效像素和其他像素之间的差异，便于提取到需要的信息，转换后的训练数据集记为/>，/>，/>为第/>种缺陷下晶圆图片的数量；

S3、构建基于生成对抗网络的晶圆缺陷检测网络；

检测网络为GANomaly网络，GANomaly网络由编码器一、编码器二、编码器三与一个解码器所组成；

其中，编码器一与解码器相连接，构成了图像生成器，能够通过原始图像重建一种假图像；

编码器二作为潜在层被添加到图像生成器的输出端；

编码器三在网络中作为鉴别器使用，编码器三作为一个单独的编码器，后面连接着一个全连接层；

S4、训练基于生成对抗网络的晶圆缺陷检测网络模型；

1）、设置最大迭代次数为，初始化当前迭代次数/>；给定期望的模型训练误差为/>；

2）、在第次迭代中，从预处理后的数据集/>中抽取/>张晶圆图片记为/>，然后将/>作为GANomaly网络的单批次输入；

3）、以代表所输入的数据/>，通过编码器一后其被卷积成一个向量/>，在这个模型中/>的长度被设置为100，/>也被称为生成器的瓶颈特征，并被认为是包含图像特征的最小维度，编码器使用LeakyReLU作为激活函数，并在卷积和激活之间添加了批处理规范层Batch-norm；

所述Batch-norm是一种放大图像间相对差异的操作，其计算公式为：

；

其中和/>分别是输入的均值和方差，/>是为了数值稳定性的常数，/>和/>是可学习的参数；

解码器使用ReLU()激活函数和批处理规范层将向量转换回与/>大小相同的/>，随后编码器二将生成器的输出/>缩小为一个与编码器一输出/>大小相同的向量，命名为/>；

编码器三在网络中作为鉴别器使用，在鉴别器中，矢量大小与编码器一输出大小相同；鉴别器将向每个图像输出一个数字，从而识别数据/>和/>的真假：

4）、计算网络的损失值，在GANomaly网络模型中包含三种类型的损失函数，即对抗性损失/>（Adversarial loss）、上下文损失/>（Contextual loss）、编码器损失/>（Encoder loss），总损失/>由三者计算得到，其计算公式如下：

；

；

；

；

其中，表示鉴别器函数的值，其输入大小为128 × 128，输出大小为1；/>表示生成器函数的值；/>代表所输入的原始数据，/>代表所生成的假数据，其作用是，鉴别生成器从原始数据重建假数据的能力；

代表编码器一的输出，/>代表编码器二的输出，其作用是，减少瓶颈特征距离，以及使用来自潜在层的特征；

、/>、/>分别代表对抗性损失/>（Adversarial loss）、上下文损失/>（Contextual loss）、编码器损失/>（Encoder loss）的权重，权重通过网络学习得到；

损失计算完成后，判断当前迭代次数或者/>，若满足，则停止迭代训练；否则，将进行下一轮训练；

S5、变正态样本置信区间法计算阈值异常评分；

定义置信区间的公式为：

；

其中，为显著性水平；表示异常评分落在/>之间的概率为/>；

考虑到异常分数永远不会是负的，将设置为负无穷，/>设置为3%，因为正态样本分布高度集中于其均值；因此，公式（8）可化为：

；

公式（9）表示97%的正常数据位于阈值确定的范围内；

S6、晶圆图片的缺陷检测；

采集未知缺陷种类的晶圆图片，然后输入至步骤S4中训练后的GANomaly网络模型，并利用步骤S5中所示方法进行异常值评分，以判断晶圆是否存在缺陷。