CN108765389A - 一种微观晶圆表面缺陷图像检测方法 - Google Patents

Abstract

本发明公开了一种微观晶圆表面缺陷图像检测方法。由已标记缺陷类型及其标定包围盒的微观晶圆原始图像构建训练集；由训练集利用更快速区域卷积神经网络方法和区域建议网络结合进行模型训练，得到最终模型；采集工业生产中拍摄的微观晶圆图像，并用最终模型进行检测得到图像中缺陷的位置。本发明方法可以很好地对微观晶圆表面缺陷进行识别和定位，并且识别的效率也有了很大提高。

Description

一种微观晶圆表面缺陷图像检测方法

技术领域

本发明涉及了一种微观晶圆表面缺陷图像检测方法，属于图像识别领域。

背景技术

半导体元器件和集成电路是重要的电子元器件，被广泛应用于通讯、汽车和工业自动化等产品中。在半导体中，晶圆是其中最主要的材料，在市面上90％以上的电子设备是基于晶圆制造而成。微观晶圆表面的缺陷，可能会破坏晶体结构中密排面的正常堆垛顺序，通常会影响晶圆电路的连通性，从而造成集成电路结构上的缺陷。因此晶圆表面的缺陷已经成为影响良率的主要障碍，因此如何精确地检测晶圆的微小缺陷已经成为半导体产业的关键技术。

目前工业对于晶圆表面缺陷检测的要求，一般是要求高效准确，能够捕捉有效缺陷，实现实时检测。较为普遍的表面检测技术主要可以分为两大类：针接触法和非接触法，接触法以针触法为代表，因其易损伤被测样品表层，一般不使用；非接触法又可以分为原子力法和光学法，前者设备昂贵难以大规模应用，后者随着近年来计算机视觉技术的不断发展逐渐成为主流的检测方法。

传统的视觉检测方法是采用模板匹配来检测晶圆微小缺陷，通过电子显微镜扫略晶圆表面获取图像。为提高检出缺陷的能力，需要一定数量的模板库。这导致生成模板过程较为繁琐，同时在数目众多的模板库中筛选出对应合适项也较为费时。目前该领域技术多聚焦于改进模板匹配的方式来提升检测效率，其中一种改进的方法是以前一帧的图像作为模板，将后一帧的图像做差分，而差分之后图像中包含的像素就作为晶圆的微观缺陷，这种方法是默认前后帧图像是几乎一致的情况下来操作的，但是在很多复杂的晶圆表面图案中并不适用，因为并不是每一帧图像都是相同的，所以对于生产实际，一个鲁棒性高且拥有较高精准度的晶圆微观缺陷检测方法显得尤为重要。

发明内容

为了解决背景技术中存在的问题，本发明的目的在于提供了一种微观晶圆表面缺陷图像检测方法，用来检测微观晶圆图像中的晶圆，方法有效且能够很准确地定位微观缺陷。

为了解决上述技术问题，如图1所示，本发明所采取的技术方案是：

1)由已标记缺陷类型及其标定包围盒的微观晶圆原始图像构建训练集；

2)由训练集利用更快速区域卷积神经网络方法和区域建议网络结合进行模型训练，得到最终模型；

3)采集工业生产中拍摄的微观晶圆图像，并用最终模型进行检测得到图像中缺陷的位置。

所述缺陷类型分为加热不均hump、灰尘颗粒dust、机械损伤injury和液体残留物blot的四种。

所述的缺陷类型的标定包围盒为包围缺陷的最小外接矩形。

所述步骤1)中，对所有微观晶圆原始图像进行扩充，对图像进行旋转、错切和翻转的操作，构成训练集。

所述步骤3)具体为：

3.1)将训练集图像输入ZFNet神经网络模型进行训练，获取特征图，具体过程如下：

3.1.1)通过卷积层处理得到原始特征图；

3.1.2)将步骤3.1.1)获取的原始特征图采用Leaky ReLU作为激活函数进行激活，公式为：

其中，f(x)为输出特征图的像素值，λ为激活系数，x为输入的原始特征图的像素值；经实验筛选，具体实施方法取λ＝0.10。

3.1.3)将经过步骤3.1.2)激活获得的特征图做池化处理，池化方式是核为3×3的最大池化，公式为：

F(f(x))＝max(f(x),0)

其中，F(f(x))表示池化处理后的特征图的像素值，当f(x)<0时，F(f(x))＝0；当f(x)≥0时，F(f(x))＝f(x)；

3.2)将步骤3.1.2)获得的特征图及其缺陷类别输入区域建议网络(RPN网络)进行训练，输出预测框，具体过程如下：

3.2.1)建立大小为3×3的窗口，在特征图上滑动窗口并在每个窗口下生成九个锚区，对于每个锚区，计算锚区与已知的标定包围盒(tBox)之间的重合度p*：

其中，IoU表示锚区和标定包围盒的交集与并集之比，anchor表示锚区，tBox表示标定包围盒；

3.2.2)采用选择性搜索(Selective Search)方法针对训练集的图像生成若干个候选框及其候选概率；

3.2.3)根据步骤3.2.1)获取的锚区和步骤3.2.2)获取的候选框，将候选框进行分类和回归处理，输出预测框；

构建以下损失函数对每一幅图像进行分类和回归处理，以损失函数最小为目标处理获得预测框的尺寸参数(x,y,w,h)，损失函数是由分类损失和回归损失按一定比重组成的，具体公式为：

其中，N_cls为候选框的数目，表示第j个锚区与标定包围盒的重合度，p_i表示第i个候选框的候选概率，λ为分类与回归损失函数的权值，N_reg为图像中锚区的数量，i表示候选框的序号，j表示锚区的序号，q表示标定包围盒的序号；t_i表示第i个候选框的尺寸参数，表示第q个标定包围盒的尺寸参数；表示为锚区和候选框下的分类损失函数，表示为候选框和标定包围盒下的回归损失函数；

分类损失函数计算为：

回归损失函数计算为：

其中，第i个候选框的尺寸参数t_i由t_x、t_y、t_w和t_h构成，t_x和t_y表示候选框的中心坐标，t_w和t_h表示候选框的宽度和高度；第q个标定包围盒的尺寸参数由和组成，和表示标定包围盒的中心坐标，和表示标定包围盒的宽度和高度；

上述候选框的中心坐标t_x和t_y以及候选框的宽度和高度t_w和t_h表示为：

上述标定包围盒的中心坐标和以及标定包围盒的宽度和高度和表示为：

其中，(x^*,y^*,w^*,h^*)表示标定包围盒的尺寸参数，(x_a,y_a,w_a,h_a)为候选框的尺寸参数；(x,y,w,h)为预测框的尺寸参数，x和y表示预测框的中心坐标，w和h表示预测框的宽度和高度。

所述步骤3.2.1)中，由每个窗口通过截取生成三种不同横纵比的窗口区域，每种横纵比的窗口区域下生成三个不同边长尺度的子区域，以子区域作为锚区，共计生成9个锚区。

进一步地，将步骤3)输出的预测框映射到步骤3.1.3)获得的特征图中，得到筛选特征图，然后将筛选特征图和标定包围盒进行归一化得到池化特征图和池化后的包围盒，接着将池化特征图和池化后的包围盒进行比较，得到缺陷检测精度的数据。

本发明将包围盒的回归和区域分类合并一个多任务模型，可以共享卷积特征。

本发明采用RPN网络快速扫描区域位置并评估区域位置的下一步处理，能够为候选框的选择提供依据，并且减少候选框的数据，提升训练效率。

具体实施中，在同一数据集下本发明方法与其他网络模型处理方法进行做识别率对比来评价本发明算法的检测效果，当识别率曲线所覆盖的区域面积越大，其检测效果越好。经实施例获得的本方法的识别率曲线覆盖的区域面积为0.9616，均优于其他神经网络算法。

本发明利用ZFNet生成5层神经网络，用于产生缺陷特征图，输入至RPN网络产生对应的缺陷预测框，在此过程中训练整个Faster RCNN网络并更新各层神经网络的参数。经过上述过程，可得到针对微观晶圆缺陷的识别与分类的最佳网络模型。

本发明的有益效果是：

本方法能够扫描并评估提取缺陷候选区域，减少候选区域数目，有效提高训练效率。同时采用了ReLU的改进版本—Leaky ReLU激活函数，减少了死亡神经元的产生，总体上有效提高了晶圆微观缺陷检出率。

与传统的模板匹配法相比，本发明方法无需在众多模板中进行筛选，只需要输入一幅包含缺陷微观晶圆图像到训练好的网络模型中，即可得到晶圆缺陷类别和位置，无需其他操作，并且测试精度要传统方法。

附图说明

图1是本发明的算法流程图；

图2是微观晶圆缺陷分类图；

图3是本发明与其他算法的分类效果对比图；

图4为本发明的部分识别结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明的实施例及其实施过程情况是：

第一步：搜集并整理微观晶圆图像样本，测试平台中采集微观晶圆的SEM图像的扫描电子显微镜的型号为日本JEOL公司的JSM-6700F设备。工作环境是在无尘，无振动的实验场所下进行的，测试晶圆属于报废品。为了扩充数据集的大小，对样本进行旋转，错切，翻转等操作，最终制作成训练集，数据集样本大小约为60000组；

第二步：对训练集样本进行标记，对训练集的样本缺陷位置和类型进行标记。缺陷类型可分为加热不均、灰尘颗粒、机械损伤、液体残留物等四种，如图2所示。为用以对Faster RCNN进行模型训练，其中训练过程是在处理器为i7-8700K，显卡为GTX 1080Ti的设备上完成的，其中采用caffe的深度学习框架；

第三步：利用Faster RCNN对制作好的训练集样本进行模型训练，训练时间大约4个小时左右，训练的平台是在linux系统上完成的，得到最终的模型。具体方法如下：

1)训练ZFNet产生特征图，过程如下：

1.1)第一层设立滤波器为96个，参数设置如下：滤波器边界补0的数目padding设为3，设置卷积核扫描的步长stride为2。计算可得输出图像为110×110×96。在池化层选择最大池化，池化核大小为3×3，stride为2，由于输出的图像长和宽w₁都为110，为了保证池化过后的特征图的尺寸为整数，padding设为2，滤波器的尺寸t设为3，则池化过后特征图尺寸w₂为：

代入公式可得w₂为55，则池化过后的特征图输出为55*55*96。

1.2)第二层卷积核的个数设为256，卷积核的大小h₂设为5，stride为2，padding为1，则可以得到卷积后的特征图尺寸w₃为：

于是卷积之后的特征图输出为26×26×256。泛化处理之后的池化操作中，核为3×3，stride为2，zero-padding为2，则可以得到池化输出为13×13×256。

1.3)第三层卷积核个数为384，卷积核的大小为3*3，stride为1，zero-padding为2，则可以得到卷积后的尺寸为w5＝13+2-3+1＝13。于是得到卷积后输出的为13×13×384。之后经过Leaky ReLU激活函数激活，计算输出的特征图维度为13×13×384。

1.4)第四层采取与第1.3相同操作即卷积核个数为384，卷积核的大小为3×3，stride为1，zero-padding为2，则可以得到卷积后的尺寸为w5＝13+2-3+1＝13。于是得到卷积后输出的为13×13×384。之后经过Leaky ReLU激活函数激活，计算输出的特征图为13×13×384。

1.5)第五层的卷积核个数为256，卷积核的大小为3×3，stride为1，zero-padding为2，则可以得到卷积后的尺寸为w₅＝13+2-3+1＝13。于是得到卷积后输出的为13×13×256。之后经过Leaky ReLU激活函数激活，计算输出的特征图为13×13×256。

2)对RPN进行训练，目的是得到预测框。对于1.5)获得的特征图中每一个点，产生9个锚区，其大小分别为32×32,64×64,128×128并分别对应的3个不同的长宽比1:1,1:2,2:1。之后在从ZFNet输出的特征图上，经过一个3×3的256维的卷积，stride为1，zero-padding为2，得到输出为13×13×256的预测框，接着ReLU激活函数激活。最后是两个1×1的卷积相当于全连接。获取预测框的过程具体如下：

2.1)利用9个模板锚区和之前卷积所得到的36维的特征图映射到原图，则可以得到每一个预测框在原图的位置；

2.2)将长和宽都低于阈值的去除，这里的意思也就是当检测到很小的物体时，去除这个预测框，这可以减少计算量；

2.3)按照分数从高到低进行排序；

2.4)选取排名前N个(这里N取1000)的预测框留下；

2.5)对这1000个预测框进行非极大抑制，阈值为0.7，剩下的即为想要的预测框。

在训练的过程中，其标定原则是对于每个标定的候选框，与其重叠比例大于0.7也就是IoU>0.7的锚区为前景样本，反之IoU<0.3的为背景样本，可以丢弃其余的锚区，对于超出图像边界的锚区也抛弃。

第四步：采集工业生产中拍摄的晶圆微观图像，并用得到的模型对其测试，得到图像中缺陷的位置和该缺陷的类型。本方法的识别率与其他方法的对比如图3所示。同时为了评价本文算法的分类效果，选用ROC作为评价指标，当ROC曲线所覆盖的区域面积越大，其分类效果越好。本文算法的ROC曲线覆盖的区域面积为0.9616，均大于其他神经网络算法的ROC曲线所覆盖的面积。实验结果图标注了各个缺陷的位置，种类以及对应的概率，如图4所示。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种微观晶圆表面缺陷图像检测方法，其特征在于：

1)由已标记缺陷类型及其标定包围盒的微观晶圆原始图像构建训练集；

2)由训练集利用更快速区域卷积神经网络方法和区域建议网络结合进行模型训练，得到最终模型；

3)采集工业生产中拍摄的微观晶圆图像，并用最终模型进行检测得到图像中缺陷的位置。

2.根据权利要求1所述的一种微观晶圆表面缺陷图像检测方法，其特征在于：所述缺陷类型分为加热不均hump、灰尘颗粒dust、机械损伤injury和液体残留物blot的四种。

3.根据权利要求1所述的一种微观晶圆表面缺陷图像检测方法，其特征在于：所述的缺陷类型的标定包围盒为包围缺陷的最小外接矩形。

4.根据权利要求1所述的一种微观晶圆表面缺陷图像检测方法，其特征在于：所述步骤1)中，对所有微观晶圆原始图像进行扩充，对图像进行旋转、错切和翻转的操作，构成训练集。

5.根据权利要求1所述的一种微观晶圆表面缺陷图像检测方法，其特征在于：所述步骤3)具体为：

3.1)将训练集图像输入ZFNet神经网络模型进行训练，获取特征图，具体过程如下：

3.1.1)通过卷积层处理得到原始特征图；

3.1.2)将步骤3.1.1)获取的原始特征图采用Leaky ReLU作为激活函数进行激活，公式为：

其中，f(x)为输出特征图的像素值，λ为激活系数，x为输入的原始特征图的像素值；

3.1.3)将经过步骤3.1.2)激活获得的特征图做池化处理，池化方式是核为3×3的最大池化，公式为：

F(f(x))＝max(f(x),0)

其中，F(f(x))表示池化处理后的特征图的像素值，当f(x)<0时，F(f(x))＝0；当f(x)≥0时，F(f(x))＝f(x)；

3.2)将步骤3.1.2)获得的特征图及其缺陷类别输入区域建议网络(RPN网络)进行训练，输出预测框，具体过程如下：

3.2.1)建立大小为3×3的窗口，在特征图上滑动窗口并在每个窗口下生成九个锚区，对于每个锚区，计算锚区与已知的标定包围盒(tBox)之间的重合度p*：

其中，IoU表示锚区和标定包围盒的交集与并集之比，anchor表示锚区，tBox表示标定包围盒；

3.2.2)采用选择性搜索(Selective Search)方法针对训练集的图像生成若干个候选框及其候选概率；

3.2.3)根据步骤3.2.1)获取的锚区和步骤3.2.2)获取的候选框，将候选框进行分类和回归处理，输出预测框；

构建以下损失函数对每一幅图像进行分类和回归处理，以损失函数最小为目标处理获得预测框的尺寸参数(x,y,w,h)，损失函数具体公式为：

其中，N_cls为候选框的数目，表示第j个锚区与标定包围盒的重合度，p_i表示第i个候选框的候选概率，λ为分类与回归损失函数的权值，N_reg为图像中锚区的数量，i表示候选框的序号，j表示锚区的序号，q表示标定包围盒的序号；t_i表示第i个候选框的尺寸参数，表示第q个标定包围盒的尺寸参数；表示为锚区和候选框下的分类损失函数，表示为候选框和标定包围盒下的回归损失函数；

分类损失函数计算为：

回归损失函数计算为：

其中，第i个候选框的尺寸参数t_i由t_x、t_y、t_w和t_h构成，t_x和t_y表示候选框的中心坐标，t_w和t_h表示候选框的宽度和高度；第q个标定包围盒的尺寸参数由和组成，和表示标定包围盒的中心坐标，和表示标定包围盒的宽度和高度；

上述候选框的中心坐标t_x和t_y以及候选框的宽度和高度t_w和t_h表示为：

上述标定包围盒的中心坐标和以及标定包围盒的宽度和高度和表示为：

其中，(x^*,y^*,w^*,h^*)表示标定包围盒的尺寸参数，(x_a,y_a,w_a,h_a)为候选框的尺寸参数；(x,y,w,h)为预测框的尺寸参数，x和y表示预测框的中心坐标，w和h表示预测框的宽度和高度。

6.根据权利要求1所述的一种微观晶圆表面缺陷图像检测方法，其特征在于：所述步骤3.2.1)中，由每个窗口通过截取生成三种不同横纵比的窗口区域，每种横纵比的窗口区域下生成三个不同边长尺度的子区域，以子区域作为锚区，共计生成9个锚区。

7.根据权利要求1所述的一种微观晶圆表面缺陷图像检测方法，其特征在于：进一步地，将步骤3)输出的预测框映射到步骤3.1.3)获得的特征图中，得到筛选特征图，然后将筛选特征图和标定包围盒进行归一化得到池化特征图和池化后的包围盒，接着将池化特征图和池化后的包围盒进行比较，得到缺陷检测精度的数据。