CN110610214A - 基于dcnn的晶圆图故障模式识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于DCNN的晶圆图故障模式识别方法及系统，对晶圆图进行转换处理，将彩色图转换为64×64的灰度图，并建立数据库，使用中值滤波方法对图像进行去噪并保护图像中的细节，增强所述灰度图的特征，然后随机提取所述数据库中的80％的数据以生成训练数据集，剩余的20％的数据作为测试数据集，将所述训练数据集通过输入层导入晶圆图故障模式识别系统中的DCNN模型，训练DCNN模型，使用训练的DCNN模型对所述测试数据集进行分类，使用混淆矩阵来显示结果，提高对晶圆图故障模式识别分类的准确度。

Description

基于DCNN的晶圆图故障模式识别方法及系统

技术领域

本发明涉及半导体制造技术领域，尤其涉及一种基于DCNN的晶圆图故障模式识别方法及 系统。

背景技术

晶圆是用于制造半导体元件的基本硅晶片，是集成电路(IC)中重要的基本元件。越来 越复杂的芯片设计使半导体制造工艺极其复杂和昂贵，晶圆缺陷不可避免，晶圆缺陷会导致 芯片产量降低。因此，后期分析成为提高晶圆产量的必要手段。在一些半导体制造行业中， 工程师依靠他们的领域知识根据缺陷的位置、大小和形状等信息来诊断晶圆，识别晶圆缺陷， 并将其与制造过程中的处理步骤相关联以确定原因。然而，这种人工方法复杂，耗时且主观 性强，在目前的许多已经提出了用于检测和分类晶片缺陷的各种方法中，晶片图中的特征信 息被特定地分离或提取在晶片图上，会丢失或混入一些新的特征信息，降低对晶圆图故障模 式识别分类的准确度。

发明内容

本发明的目的在于提供一种基于DCNN的晶圆图故障模式识别方法及系统，提高对晶圆 图故障模式识别分类的准确度。

为实现上述目的，第一方面，本发明提供了一种基于DCNN的晶圆图故障模式识别方法， 包括：

对晶圆图进行转换处理，得到64×64的灰度图，建立数据库；

使用中值滤波法去除灰度图中孤立像素点；

将去除孤立像素点后的数据库进行划分，并导入DCNN模型；

训练所述DCNN模型，用训练的DCNN模型网络结构对测试数据集进行分类；

用混淆矩阵显示评估结果。

其中，所述对晶圆图进行转换处理的过程中，将彩色图转换成64×64的灰度图。

其中，使用中值滤波法去除灰度图中孤立像素点，包括：

使用二维滑动模板结构的窗口，根据窗口中的像素的像素值的大小排序，以生成单调上 升或下降的二维数据序列，使用中值代替原始像素值，去除所述灰度图中的孤立像素点。

其中，将去除孤立像素点后的数据库进行划分，并导入DCNN模型，包括：

随机提取去除孤立像素点后的数据库中的80％的数据以生成训练数据集，剩余的20％的 数据作为测试数据集，并将训练数据集导入DCNN模型。

其中，训练所述DCNN模型，用训练的DCNN模型网络结构对测试数据集进行分类，包括：

将所述训练数据集通过输入层导入晶圆图故障模式识别系统中的DCNN模型中的四个特 征提取层进行有效特征提取，以训练所述DCNN模型，将所述测试数据集导入训练后的DCNN 模型，保存训练的DCNN模型网络结构对所述测试数据集进行分类。

第二方面，本发明提供一种晶圆图故障模式识别系统，所述晶圆图故障模式识别系统包 括转换处理模块、去噪模块、划分数据库模块和DCNN模型，所述预处理模块、所述去噪模块、 所述划分数据库模块和所述DCNN模型依次连接，

所述转换处理模块，用于将彩色的晶圆图转换为64×64的灰度图；

所述去噪模块，用于去除所述灰度图中孤立的像素点；

所述划分数据库模块，用于将所有灰度图划分为训练数据集和测试数据集，并导入DCNN 模型；

所述DCNN模型，用于接受训练数据集的训练，训练的DCNN模型网络结构并对测试数据 集进行分类，得出评估结果。

其中，所述DCNN模型包括输入层、四个特征提取层、完全连接层、SoftMax层和分类层， 所述输入层、四个所述特征提取层、所述完全连接层、所述SoftMax层和所述分类层依次连 接，

所述输入层，用于导入所述训练数据集里的灰度图；

四个所述特征提取层，用于提取训练数据集中的灰度图的特征，并进行归一化，然后传 输至所述完全连接层；

所述完全连接层，用于将经过四个所述特征提取层之后输出的特征转化为一位向量，并 将数据传输至所述SoftMax层；

所述SoftMax层，用于接收所述完全连接层输出的数据，进行归一化处理，并传输至所 述分类层；

所述分类层，用于接收所述SoftMax层的数据，进行分类。

本发明提供的一种基于DCNN的晶圆图故障模式识别方法及系统，将晶圆图进行预处理， 将彩色图转换为64×64的灰度图，并建立数据库，使用中值滤波方法去除所述灰度图中 的孤立像素点，增强所述灰度图特征，然后随机提取所述数据库中的80％的数据以生成训练 数据集，剩余的20％的数据作为测试数据集，将所述训练数据集通过输入层导入晶圆图故障 模式识别系统中的DCNN模型，在DCNN模型中四个特征提取层进行有效特征提取，在全连接 层汇聚特征映射并传输至softmax层和分类层完成对所述DCNN模型的训练，将所述测试数据 集导入训练后的DCNN模型，使用训练的DCNN模型对所述测试数据集进行分类，以混淆矩阵 的形式来显示分类结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 附图获得其他的附图。

图1是本发明提供的一种基于DCNN的晶圆图故障模式识别的方法步骤图。

图2是本发明提供的一种基于DCNN的晶圆图故障模式识别方法流程示意图。

图3是本发明提供的一种晶圆图故障模式识别系统的结构示意图。

11-转换模块、12-去噪模块、13-划分数据库模块、10-DCNN模型、1-输入层、2-第一特 征提取层、21-第一卷积层、22-第一归一化层、23-第一Relu层、24-第一最大池化层、3-第二特征提取层、31-第二卷积层、32-第二归一化层、33-第二Relu层、34-第二最大池化层、4-第三特征提取层、41-第三卷积层、42-第三归一化层、43-第三Relu层、44-第三最大池化层、5-第四特征提取层、51-第四卷积层、52-第四归一化层、53-第四Relu层、6-完全连接层、7-SoftMax层、8-分类层。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或 类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的 实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附 图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的 装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1至图3，本发明提供一种基于DCNN的晶圆图故障模式识别方法，包括：

S101、对晶圆图进行转换处理，得到64×64的灰度图，建立数据库。

具体的，在对晶圆图进行预处理期间，将彩色图转换成64×64的灰度图，并将所有的灰 度图建立数据库，降低了后续计算的复杂性。

S102、使用中值滤波法去除灰度图中孤立像素点。

具体的，中值滤波是一种基于排序统计理论的非线性信号处理技术，可有效抑制噪声。 其基本原理是数字图像的每个像素的灰度值被该点的邻域窗口中的所有像素的灰度值的中值 替换，使得周围的像素值接近真实值。该方法消除了孤立的噪声点并保护了图像的某些细节。

中值滤波方法通常用于图像去噪，并且对于散斑噪声和椒盐噪声具有良好的性能。该方 法使用二维滑动模板结构的窗口，并且窗口中的值是像素值，窗口中的像素根据像素值的大 小排序，以生成单调上升(或下降)的两个-维数据序列，使用中值代替原始值。中值滤波 公式可表示如下：

P_i，j，P_i+1，j，...，P_i+k-1，j表示第j列从第i行开始的k个相邻像素值，h为图像的列像素点总 数；P_j，P_j+1，...，P_j+k-1表示k个相邻的中值像素点，w为图像的行像素点总数；k为领域窗口大 小，一般取奇数；med{}表示取其中值。

S103、将去除孤立像素点后的数据库进行划分，并导入DCNN模型。

具体的，随机提取去除孤立像素点后的数据库中80％的数据以生成训练数据集，剩余的 20％的数据作为测试数据集，并将训练数据集导入晶圆图故障模式识别系统中用于对DCNN模 型进行训练，保证检测的准确性。

S104、训练所述DCNN模型，用训练的DCNN模型网络结构对测试集数据进行分类。

具体的，输入层1将训练数据集导入DCNN模型10，通过第一特征提取层2、第二特征提 取层3、第三特征提取层4和第四特征提取层5对训练数据集中的灰度图进行特征提取、降 低映射维度等一系列训练和收敛后，进入完全连接图层6，在完全连接层6汇聚特征映射并 传输至softmax层7和分类层8完成对所述DCNN模型10的训练，将所述测试数据集导入训练后的DCNN模型10，使用训练的DCNN模型10对所述测试数据集进行分类。

S105、以混淆矩阵的形式显示分类结果。

将在所述DCNN模型10中进行训练和分类后得出晶圆图故障结果，以混淆矩阵的形式来 显示。

参见图3，本发明提供一种晶圆图故障模式识别系统，所述晶圆图故障模式识别系统包括 转换处理模块11、去噪模块12、划分数据库模块13和DCNN模型10，所述转换11处理模块、 所述去噪模块12、所述划分数据库模块14和所述DCNN模型10依次连接，

所述转换处理模块11，用于将彩色的晶圆图转换为灰度图；

所述去噪模块12，用于去除所述灰度图中孤立的像素点；

所述划分数据库模块13，用于将所有灰度图划分为训练数据集和测试数据集，并导入 DCNN模型10；

所述DCNN模型10，用于接受训练数据集的训练，训练的DCNN模型10网络结构并对测试 数据集进行分类，得出评估结果。

在本实施方式中，所述晶圆图经过所述晶圆图故障模式识别系统的所述转换处理模块11 后，从彩色图转换为64×64的灰度图，并将所有的灰度图建立数据库，然后传输至所述去噪 模块12中，使用中值滤波法对所述灰度图进行去噪处理，去除灰度图中的孤立的像素点，然 后经过所述划分数据库模块13，随机提取经过去噪处理后的数据库中80％的数据以生成训练 数据集，剩余的20％的数据作为测试数据集，然后将训练数据集导入所述DCNN模型10中训 练，将测试数据集导入训练后的DCNN模型10，保存并使用训练的DCNN模型进行分类，最后 输出结果。

进一步的，所述DCNN模型10包括输入层1、四个特征提取层、完全连接层6、SoftMax层7和分类层8，所述输入层1、四个所述特征提取层、所述完全连接层6、所述SoftMax层 7和所述分类层8依次连接，

所述输入层1，用于导入所述训练数据集里的灰度图；

四个所述特征提取层，用于提取训练数据集中的灰度图的特征，并进行归一化处理，加 入非线性因素降低特征图维度，然后传输至所述完全连接层6。

所述完全连接层6，用于将经过四个所述特征提取层之后输出的特征转化为一位向量， 并将数据传输至所述SoftMax层7；

所述SoftMax层7，用于接收所述完全连接层6输出的数据，进行归一化处理，并传输 至所述分类层8；

所述分类层8，用于接收所述SoftMax层7的数据进行分类。

在本实施方式中，所述输入层1将训练数据集导入所述DCNN模型10，然后通过所述四个 特征提取层对所述训练数据集进行训练，所述四个特征提取层中，四个卷积层用于提取训练 数据集中的灰度图的特征，四个归一化层用于进行归一化处理，四个Relu层用于加入非线性 因素，三个最大池化层用于降低特征图的维度，降低了计算复杂度，缩小了特征图的大小， 接着输送给所述完全连接层6，所述完全连接层6以集成不同类型的局部特征，转化为一位 向量进行保存，使特征尺寸满足所述Softmax层7的输入要求，接收所述完全连接层6输出 的数据将其归一化，并传输至所述分类层8完成分类。由于提前通过中值滤波法消除了孤立 的噪声点并保护了图像的某些细节，使所述DCNN模型输出的结果更加准确。

参见图3，所述四个特征提取层包括第一特征提取层2、第二特征提取层3、第三特征提 取层4和第四特征提取层5，所述第一特征提取层2包括第一卷积层21、第一归一化层22、 第一Relu层23、第一最大池化层24，所述第一卷积层21、所述第一归一化层22、所述第一 Relu层23和所述第一最大池化层24依次连接。

所述第二特征提取层3包括第二卷积层31、第二归一化层32、第二Relu层33、第二最 大池化层34，所述第一最大池化层24和所述第二卷积层31连接，所述第二卷积层31、所述 第二归一化层32、所述第二Relu层33和所述第二最大池化层34依次连接。

所述第三特征提取层4包括第三卷积层41、第三归一化层42、第三Relu层43、第三最 大池化层44，所述第二最大池化层34和所述第三卷积层41连接，所述第三卷积层41、所述 第三归一化层42、所述第三Relu层43和所述第三最大池化层44依次连接。

所述第四特征提取层5包括第四卷积层51、第四归一化层53、第四Relu层53，所述第 三最大池化层44和所述第四卷积层51连接，所述第四卷积层51、所述第四归一化层52和所述第四Relu层53依次连接。

在本实施方式中，所述第一个卷积层21用75个卷积核提取数据集的不同特征，并获得 75个特征映射，所述第一归一化层22减少数据集中样本之间的差异，这加速了模型的训练 和收敛。在所述第一Relu层23期间，向特征图添加Relu非线性激励函数有助于系统表达复 杂特征，所提出的DCNN使用所述第一最大池化层24来减小特征映射的维度，这降低了计算 复杂度。第一最大池化层24的执行窗口具有2×2的窗口大小和2的步长，在第一最大池化 层24之后获得的特征图的大小减少了四分之三。所述第一特征提取层2和所述第二特征提取 层3通过所述第一最大池化层24和所述第二卷积层31连接，所述第三特征提取层4和所述 第二特征提取层3所述第二最大池化层34和所述第三卷积层41连接，所述第四特征提取层 5和所述第三特征提取层4通过所述第三最大池化层44和所述第四卷积层51连接，所述第 二特征提取层3、所述第三特征提取层4和第四特征提取层5的作用与所述第一特征提取层2 相同，都是对模型进行训练和收敛，提高所述DCNN模型的准确率。

在训练DCNN模型的过程中，学习速率对准确性和效率有重要影响。较高的学习速率可以 加速神经网络的收敛过程，但是梯度下降太快可能会错过最佳值。较低的学习率对防止网络 错过最优值有一定的作用，但会降低神经网络的收敛速度，降低效率。此外，较低的学习率 不能确保更高的识别准确度。因此，选择合适的学习率将产生很大的影响。

使用MATLAB R2017b来实现所提出的算法。训练所提出的DCNN模型的学习率分别为0.5， 0.1，0.05，0.01，0.005，0.001，0.0005，0.0001和0.00005。迭代次数是10次，如表1所示。

表1 DCNN模型的表现

当学习率为0.5时，DCNN的训练精度非常稳定。随着迭代次数的增加，收敛结果很差。 此外，实验结果表明，当学习率为0.5时，DCNN无法正确识别训练网络中的各种故障模式。 此时，DCNN将所有灰度图数据分类为非模式灰度图。这表明0.5的学习率太高而无法有效地 训练所提出的DCNN。

利用识别精度和识别时间来反映所提出的DCNN在测试集上的识别性能。精度公式可表示 如下：

当学习速率为0.0001或0.0005时，DCNN对测试数据的识别准确度接近100％。当学习 率为0.0005时，DCNN的测试精度为98.2％，测试精度高，所需时间相对较短。因此，选择0.0005的学习率来训练所提出的DCNN。对DCNN执行交叉验证测试。随机选择数据集中每种类型数据的80％作为训练数据，其余数据作为测试数据。选择0.0005的学习率并训练10次。根据交叉验证结果可以计算出交叉验证测试中所提出的DCNN的平均准确度为98.11％。因此， 该方法的准确度为98.11％，因此，具有良好的识别效果，可提高对晶圆图故障识别的准确 率。

本发明提供的一种基于DCNN的晶圆图故障模式识别方法及系统，对晶圆图进行转换处 理，将彩色图转换为64×64的灰度图，并建立数据库，使用中值滤波方法对图像进行去噪并 保护了图像中的某些细节，增强所述灰度图的特征，然后随机提取所述数据库中的80％的数 据以生成训练数据集，剩余的20％的数据作为测试数据集，将所述训练数据集通过输入层1 导入晶圆图故障模式识别系统中的DCNN模型10，在DCNN模型10中第一特征提取层2、第二 特征提取层3，第三特征提取层4和第四特征提取层5进行训练，使用训练的DCNN模型10 对导入晶圆图故障模式识别系统的所述测试数据集通过完全连接层6，在SoftMax层7和分 类层8完成分类，使用混淆矩阵来显示结果。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范 围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求 所作的等同变化，仍属于发明所涵盖的范围。

Claims (7)

1.一种基于DCNN的晶圆图故障模式识别方法，其特征在于，包括：

对晶圆图进行转换处理，得到64×64的灰度图，建立数据库；

使用中值滤波法去除灰度图中孤立像素点；

将去除孤立像素点后的数据库进行划分，并导入DCNN模型；

训练所述DCNN模型，用训练的DCNN模型网络结构对测试集数据进行分类；

以混淆矩阵的形式来显示分类结果。

2.如权利要求1所述的一种基于DCNN的晶圆图故障模式识别方法，其特征在于，所述对晶圆图进行转换处理的过程中，将彩色图转换成64×64的灰度图。

3.如权利要求1所述的一种基于DCNN的晶圆图故障模式识别方法，其特征在于，使用中值滤波法去除灰度图中孤立像素点，包括：

使用二维滑动模板结构的窗口，根据窗口中的灰度图像素的像素值的大小排序，以生成单调上升或下降的二维数据序列，使用中值代替原始像素值，去除所述灰度图中的孤立像素点。

4.权利要求1所述的一种基于DCNN的晶圆图故障模式识别方法，其特征在于，将去除孤立像素点后的数据库进行划分，并导入DCNN模型，包括：

随机提取去除孤立像素点后的数据库中的80％的数据以生成训练数据集，剩余的20％的数据作为测试数据集，并将训练数据集导入DCNN模型。

5.权利要求4所述的一种基于DCNN的晶圆图故障模式识别方法，其特征在于，训练所述DCNN模型，用训练的DCNN模型网络结构对测试数据集进行分类，包括：

将所述训练数据集通过输入层导入晶圆图故障模式识别系统中的DCNN模型中的四个特征提取层进行有效特征提取，以训练所述DCNN模型，将所述测试数据集导入训练后的DCNN模型，保存训练的DCNN模型网络结构对所述测试数据集进行分类。

6.一种晶圆图故障模式识别系统，其特征在于，所述晶圆图故障模式识别系统包括转换处理模块、去噪模块、划分数据库模块和DCNN模型，所述转换处理模块、所述去噪模块、所述划分数据库模块和所述DCNN模型依次连接，

所述转换处理模块，用于将彩色的晶圆图转换为64×64的灰度图；

所述去噪模块，用于去除所述灰度图中孤立的像素点；

所述划分数据库模块，用于将所有灰度图划分为训练数据集和测试数据集，并导入DCNN模型；

所述DCNN模型，用于接受训练数据集的训练，训练的DCNN模型网络结构并对测试数据集进行分类，得出评估结果。

7.如权利要求6所述的一种晶圆图故障模式识别系统，其特征在于，所述DCNN模型包括输入层、四个特征提取层、完全连接层、SoftMax层和分类层，所述输入层、所述四个特征提取层、所述完全连接层、所述SoftMax层和所述分类层依次连接，

所述输入层，用于导入所述训练数据集里的灰度图；

四个所述特征提取层，用于提取训练数据集中的灰度图的有效特征，并进行归一化处理，加入非线性因素降低特征图维度，然后传输至所述完全连接层；

所述完全连接层，用于将经过四个所述特征提取层之后输出的特征转化为一位向量，并将数据传输至所述SoftMax层；

所述SoftMax层，用于接收所述完全连接层输出的数据，进行归一化处理，并传输至所述分类层；

所述分类层，用于接收所述SoftMax层的数据，并进行分类。