CN110929773A - 一种基于深度学习的芯片表面缺陷分类装置和方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的芯片表面缺陷分类方法，包括如下步骤：S01：将拍摄图像输入至图像预处理单元，所述图像预处理单元对拍摄图像进行预处理，形成处理图像，将拍摄图像和处理图像合并为图像集，所述图像集包括训练图像集；S02：将训练图像集输入至训练单元中进行模型训练，得到识别模型；S03：将待识别图像输入至所述识别模型中，通过识别模型的识别，得出对应的缺陷类型。本发明提供的一种基于深度学习的芯片表面缺陷分类装置和方法，本发明使用包括放缩、旋转、错切在内的图像处理方法对原始拍摄图像进行预处理，从而形成大量的训练图像和测试图像，提高了识别模型的训练准确性。

Description

一种基于深度学习的芯片表面缺陷分类装置和方法

技术领域

本发明涉及机器视觉领域，具体涉及一种基于深度学习的芯片表面缺陷分类装置和方法。

背景技术

集成电路芯片广泛应用于各个领域，是国家经济发展及信息安全的关键。但在其封装制造过程中，芯片表面产生的缺陷会直接影响工作寿命和可靠性。传统的人工检测和分类方法，存在依靠主观经验、耗时耗力、误检率高等缺点，已无法适应产线上高精度高速度的需求。

传统基于机器视觉的芯片缺陷分类技术具有较成熟的框架体系，依次包括如下流程：图像采集，缺陷图像分割，缺陷区域提取，缺陷特征提取与降维，缺陷的识别与分类。但该流程较为依赖缺陷图像预处理以及特征提取阶段，图像处理算法的选择和使用也至关重要。针对这一点，深度卷积神经网络已在各类图像相关的应用场景中证明其特征提取的有效性，以及分类处理、识别和检测等计算机视觉任务的高准确率。

然而，在卷积神经网络进行芯片缺陷识别的过程中，需要先对卷积神经网络模型进行训练，得到能够进行缺陷识别的模型，在训练过程中，需要大量的缺陷图像以及对应的缺陷类型。而实际生产中，由于线上产生的缺陷图片数量有限，难以满足深度卷积神经网络训练数据需求量大的特点；若用于训练的缺陷图像数量不足，则会影响模型的准确性。

发明内容

本发明的目的是提供一种基于深度学习的芯片表面缺陷分类装置和方法，本发明使用包括放缩、旋转、错切在内的图像处理方法对原始拍摄图像进行预处理，从而形成大量的训练图像和测试图像，提高了识别模型的训练准确性。

为了实现上述目的，本发明采用如下技术方案：一种基于深度学习的芯片表面缺陷分类方法，包括如下步骤：

S01：将拍摄图像输入至图像预处理单元，所述图像预处理单元对拍摄图像进行预处理，形成处理图像，将拍摄图像和处理图像合并为图像集，所述图像集包括训练图像集；其中，所述训练图像集包括多个训练图像及其对应的缺陷类型；

S02：将训练图像集输入至训练单元中进行模型训练，得到识别模型；

S03：将待识别图像输入至所述识别模型中，通过所述识别模型的识别，得出对应的缺陷类型。

进一步地，所述步骤S01中图像预处理单元对拍摄图像进行预处理的方法包括放大、缩小、旋转、错切中的一种或多种；所述拍摄图像经过所述图像预处理单元进行预处理之后，形成至少一个处理图像。

进一步地，所述处理图像与对应的拍摄图像的缺陷类型相同。

进一步地，所述步骤S01中图像预处理单元对拍摄图像进行预处理之前，对拍摄图像进行噪声判断，并删除判断为噪声图像的拍摄图像。

进一步地，所述步骤S01中将所述图像集分为训练图像集和测试图像集，且所述训练图像集和测试图像集无交集，所述测试图像集包括多个测试图像及其对应的缺陷类型。

进一步地，所述步骤S02中得到识别模型具体包括如下步骤：

S021：将训练图像集输入至训练单元中进行模型训练，得出训练中的识别模型；

S022：将测试图像集输入至训练中的识别模型中进行模型测试，得出该训练中的识别模型的分类准确率；

S023：重复步骤S021-S022M次，且第M次重复步骤S021-S022得出识别模型；其中，第M次重复步骤S021-S022得出的分类准确率大于等于准确率阈值，M为大于0的整数。

进一步地，所述步骤S023中重复步骤S021-S022N次，若第N次得出的分类准确率大于等于准确率阈值，且分类准确率在N次迭代内不再提升，则第N次重复步骤S021-S022得出识别模型；其中，N为小于等于M的整数。

进一步地，所述步骤S021中将训练图像集中所有训练图像依次输入至训练单元中进行模型训练；

所述步骤S022中将测试图像集中所有的测试图像依次输入至训练中的识别模型中进行模型测试。

进一步地，所述识别模型为深度卷积神经网络模型。

一种基于深度学习的芯片表面缺陷分类装置，包括图像预处理单元和训练单元；

所述图像预处理单元用于对拍摄图像进行预处理，形成处理图像，所述拍摄图像和处理图像形成图像集，所述图像集包括训练图像集，所述训练图像集输入至所述训练单元进行模型训练，得出识别模型，待识别图像输入至所述识别模型中，通过所述识别模型的识别，得出对应的缺陷类型；其中，所述训练图像集包括多个训练图像及其对应的缺陷类型。

本发明的有益效果为：本发明使用包括放缩、旋转、错切在内的图像处理方法对原始拍摄图像进行预处理，从而形成大量的训练图像和测试图像，提高了识别模型的训练准确性；本发明可以简化芯片表面缺陷分类流程，并大幅提升分类准确率；本发明采用深度卷积神经网络模型，模型泛化能力强，有利于分类功能扩展；本发明装置可部署于服务器端，且模型可以批量处理输入图像，提高线上图像分类效率。

附图说明

附图1为本发明一种基于深度学习的芯片表面缺陷分类方法的流程图；

附图2为实施例1中基于深度卷积神经网络模型训练示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式做进一步的详细说明。

如附图1所示，本发明提供的一种基于深度学习的芯片表面缺陷分类方法，包括如下步骤：

S01：将拍摄图像输入至图像预处理单元，图像预处理单元对拍摄图像进行预处理，形成处理图像，将拍摄图像和处理图像合并为图像集，所述图像集包括训练图像集；其中，训练图像集包括多个训练图像及其对应的缺陷类型。

图像预处理单元对拍摄图像进行预处理的方法包括放大、缩小、旋转、错切中的一种或多种；拍摄图像经过图像预处理单元进行预处理之后，形成至少一个处理图像；处理图像与对应的拍摄图像的缺陷类型相同。本步骤中图像预处理正是本发明的核心所在，采用基于模型训练的方法进行芯片表面缺陷分类过程中，对模型进行训练需要大量的图像，且该图像需要已知其缺陷类型，本步骤正是为了扩大训练图像的数量。

具体的，图像预处理单元的具体工作步骤如下：

S011：过滤噪声图像：由于噪声图像中边缘模糊，因此通过计算图像梯度来进行噪声图像的判断，并去除拍摄图像中被判断为噪声图像的部分。具体可以采用如下过滤方法：

对m×n的拍摄图像I，计算图像梯度G(x,y)：

dx(i,j)＝I(i+1,j)-I(i,j)；

dy(i,j)＝I(i,j+1)-I(i,j)；

G(x,y)＝dx(i,j)+dy(i,j)；

并由此得到梯度G(x,y)的方差

其中，拍摄图像I为m行n列的图像，且I(i,j)表示第i行第j列的像素值。当梯度G(x,y)的方差V小于给定阈值t时，则判定为噪声图像，去除该拍摄图像。

S012：剩余拍摄图像进行预处理，具体的预处理操作可以为以下一种或多种，且预处理之后形成至少一幅处理图像，也可以通过不同预处理方法排列组合，形成多幅处理图像。由于本发明中针对拍摄图像的预处理，只是改变了拍摄图像的大小以及方向，并没有改变拍摄图像中的缺陷类型，因此，得出的处理图像与原始拍摄图像的缺陷类型相同。

(1)拍摄图像进行缩放，其中，缩放包括缩小和放大，具体可以通过缩放系数来决定：设水平缩放系数为sx，垂直缩放系数为sy，(x,y)为缩放前坐标，(x’,y’)为缩放后坐标，其缩放的坐标映射关系为：

x’＝x×sx；y’＝y×sy其中×为向量外积。

(2)拍摄图像进行旋转：设旋转角度为a，(x’,y’)是旋转后的坐标，(x,y)是旋转前的坐标，则坐标变换如下：

x’＝xcosa+ysina；y’＝-xsina+ycosa

(3)拍摄图像进行错切：原坐标(x,y)，经横向错切，仅x坐标受横向错切时，坐标关系为：

x’＝x+cy；y’＝y其中c为错切系数。

优选地，为了确保识别模型的准确性，将拍摄图像和处理图像合并为图像集，所述图像集分为训练图像集和测试图像集，且训练图像集和测试图像集无交集，训练图像集包括多个训练图像及其对应的缺陷类型，测试图像集包括多个测试图像及其对应的缺陷类型。本发明中图像集分为训练图像集和测试图像集的具体方法可以为随机分类，例如，训练图像集中训练图像数和测试图像集中测试图像数按照5:5的比例进行随机分配，或者训练图像集中训练图像数和测试图像集中测试图像数按照6:4的比例进行随机分配，或者训练图像集中训练图像数和测试图像集中测试图像数按照8:2的比例进行随机分配等。优选地，训练图像集中训练图像数和测试图像集中测试图像数按照8:2的比例进行随机分配，即训练图像数占到图像集中总图像数的80％，测试图像数占到图像集中总图像数的20％。由于训练图像集中的训练图像用于进行模型训练，测试图像集中的测试图像用于模型测试，若同一幅图像同时用于模型的训练和测试，很大概率会提高识别模型测试的正确率，不利于对识别模型的准确性进行判断，因此在形成测试图像集和训练图像集时，优选地，确保训练图像集和测试图像集无交集。

S02：将训练图像集输入至训练单元中进行模型训练，得到识别模型。优选的，为了确保识别模型的准确性，在训练之后，对其进行测试，若测试结果满足一定的准确性，则停止训练；若测试结果准确性不够，则继续进行训练，具体的训练和测试过程如下所述：

S021：将训练图像集输入至训练单元中进行模型训练，得出训练中的识别模型；优选地，将训练图像集中所有训练图像依次输入至训练单元中进行模型训练。

本发明中识别模型可以为深度卷积神经网络模型，在没有训练之前，识别模型的参数都是未知的，只有通过训练图像集的训练，才能确定识别模型的参数，参数一旦确定，该模型便可确定。

深度卷积神经网络模型包括输入层，Y个卷积层、全连接层和输出层，训练图像经输入层输入，经过Y个卷积层和全连接层，并经过输出层进行输出，并且输出层大小与训练图像集中缺陷类型相同，Y为大于1的正整数。具体的深度卷积神经网络模型的训练过程通过后文实施例1进行详细说明。

S022：将测试图像集输入至训练中的识别模型中进行模型测试，得出该训练中的识别模型的分类准确率；优选地，将测试图像集中所有的测试图像依次输入至训练中的识别模型中进行模型测试。

测试图像的缺陷类型是已知的，在该步骤中，仅输入测试图像，利用上述训练的识别模型识别测试图像的缺陷类型，将识别出来的缺陷类型与已知的缺陷类型进行比较，并计算每次识别过程中的分类准确率。

S023：重复步骤S021-S022M次，且第M次重复步骤S021-S022得出识别模型；其中，第M次重复步骤S021-S022得出的分类准确率大于等于准确率阈值，M为大于0的整数。在不存在数据标注错误等外部因素的情况下，一般设置迭代次数为100次，经过100次迭代，分类准确率将稳定提升至85％以上。实际应用中，为了提前结束迭代，节省时间，并防止识别模型过拟合，可以采用如下方式提前结束迭代：重复步骤S021-S022N次，若第N次得出的分类准确率大于等于准确率阈值，且分类准确率在N次迭代内不再提升，则第N次重复步骤S021-S022N之后得出识别模型；其中，N为小于等于M的整数。如此，可以将迭代次数控制在五十到六十次之间，防止训练图像过度拟合导致识别模型泛化性变差。其中，分类准确率的具体计算方式如下：假设测试图像集中包含50幅测试图像，在每次测试时，将50幅测试图像依次输入至识别模型中，若最终识别结果中有48幅测试图像的缺陷类型识别正确，则本次测试的分类准确率为96％。

S03：将待识别图像输入至识别模型中，通过识别模型的识别，得出对应的缺陷类型。经过步骤S02中多次训练和测试，已经可以确保该识别模型的准确性了，本步骤中直接输入待识别图像，识别模型可自动识别出其缺陷类型。

本发明提供的一种基于深度学习的芯片表面缺陷分类装置，包括图像预处理单元和训练单元，图像预处理单元的输出端连接训练单元输入端；图像预处理单元用于对拍摄图像进行预处理，形成处理图像，拍摄图像和处理图像合并为图像集，所述图像集分为训练图像集和测试图像集，训练图像集输入至训练单元进行模型训练，得出识别模型，测试图像集输入至识别模型进行模型测试，得出识别模型的分类准确率，并将满足设定分类准确率的识别模型传输至识别模型中，待识别图像输入至识别模型中，通过识别模型的识别，得出对应的缺陷类型；其中，训练图像集包括多个训练图像及其对应的缺陷类型，测试图像集包括多个测试图像及其对应的缺陷类型。图像预处理单元对拍摄图像进行预处理的方法包括放大、缩小、旋转、错切中的一种或多种；拍摄图像经过图像预处理单元进行预处理之后，形成至少一个处理图像。

实施例1

本发明中识别模型可以为深度卷积神经网络模型，其具体的训练步骤为：

步骤1：将训练图像集中的训练图像尺寸设为3通道224×224；本实施例中也可以设置为1通道图像，且通道尺寸可以为0-256之间的任意值；

步骤2：训练图像输入至深度卷积神经网络模型输入层，且深度卷积神经网络模型输入层的大小为224×224×3；

步骤3：深度卷积神经网络模型输入层输出的训练图像输入至深度卷积神经网络模型第一层卷积层C1；深度卷积神经网络模型第一层卷积层C1的大小为224×224×64，使用ReLU为激活函数；本实施例中滑动矩阵大小也可以为3×3等其他数值；

步骤4：深度卷积神经网络模型第一层卷积层C1输出的训练图像输入至深度卷积神经网络模型下采样层P1；深度卷积神经网络模型第一层卷积层C1后连接深度卷积神经网络模型下采样层P1，滑动矩阵大小2×2，使用最大池化为下采样函数；

步骤5：深度卷积神经网络模型下采样层P1输出的训练图像输入至深度卷积神经网络模型第二层卷积层C2；深度卷积神经网络模型第二层卷积层C2的大小为112×112×128，使用ReLU为激活函数；

步骤6：深度卷积神经网络模型第二层卷积层C2输出的训练图像输入至深度卷积神经网络模型下采样层P2；深度卷积神经网络模型第二层卷积层C2后连接深度卷积神经网络模型下采样层P2，滑动矩阵大小2×2，使用最大池化为下采样函数；

步骤7：深度卷积神经网络模型下采样层P2输出的训练图像输入至深度卷积神经网络模型第三层卷积层C3；深度卷积神经网络模型第三层卷积层C3的大小为56×56×256，使用ReLU为激活函数；

步骤8：深度卷积神经网络模型第三层卷积层C3输出的训练图像输入至深度卷积神经网络模型下采样层P3；深度卷积神经网络模的第三层卷积层C3后连接深度卷积神经网络模型下采样层P3，滑动矩阵大小2×2，使用最大池化为下采样函数；

步骤9：深度卷积神经网络模型下采样层P3输出的训练图像输入至深度卷积神经网络模型第四层卷积层C4；深度卷积神经网络模型第四层卷积层C4的大小为28×28×512，使用ReLU为激活函数；

步骤10：深度卷积神经网络模型第四层卷积层C4输出的训练图像输入至深度卷积神经网络模型下采样层P4；深度卷积神经网络模型第四层卷积层C4后连接深度卷积神经网络模型下采样层P4，滑动矩阵大小2×2，使用最大池化为下采样函数；本实施例中深度卷积神经网络包括第一卷积层、第二卷积层、第三卷积层和第四层卷积层，具体的卷积层个数可以自由设定。

步骤11：深度卷积神经网络模型下采样层P4输出的训练图像输入至第一层全连接层F1；深度卷积神经网络模型第一层全连接层F1大小为1×1×4096，使用ReLU为激活函数；

步骤12：深度卷积神经网络模型第一层全连接层输出的训练图像输入至深度卷积神经网络模型输出层；深度卷积神经网络模型第一层全连接层F1后连接输出层，输出层大小与缺陷类别总数相同。

本实施例中深度卷积神经网络使用交叉熵作为损失函数，Adam作为优化器进行训练。

以上所述仅为本发明的优选实施例，所述实施例并非用于限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明所附权利要求的保护范围内。

Claims (10)

1.一种基于深度学习的芯片表面缺陷分类方法，其特征在于，包括如下步骤：

S01：将拍摄图像输入至图像预处理单元，所述图像预处理单元对拍摄图像进行预处理，形成处理图像，将拍摄图像和处理图像合并为图像集，所述图像集包括训练图像集；其中，所述训练图像集包括多个训练图像及其对应的缺陷类型；

S02：将训练图像集输入至训练单元中进行模型训练，得到识别模型；

S03：将待识别图像输入至所述识别模型中，通过所述识别模型的识别，得出对应的缺陷类型。

2.根据权利要求1所述的一种基于深度学习的芯片表面缺陷分类方法，其特征在于，所述步骤S01中图像预处理单元对拍摄图像进行预处理的方法包括放大、缩小、旋转、错切中的一种或多种；所述拍摄图像经过所述图像预处理单元进行预处理之后，形成至少一个处理图像。

3.根据权利要求2所述的一种基于深度学习的芯片表面缺陷分类方法，其特征在于，所述处理图像与对应的拍摄图像的缺陷类型相同。

4.根据权利要求1所述的一种基于深度学习的芯片表面缺陷分类方法，其特征在于，所述步骤S01中图像预处理单元对拍摄图像进行预处理之前，对拍摄图像进行噪声判断，并删除判断为噪声图像的拍摄图像。

5.根据权利要求1所述的一种基于深度学习的芯片表面缺陷分类方法，其特征在于，所述步骤S01中将所述图像集分为训练图像集和测试图像集，且所述训练图像集和测试图像集无交集，所述测试图像集包括多个测试图像及其对应的缺陷类型。

6.根据权利要求5所述的一种基于深度学习的芯片表面缺陷分类方法，其特征在于，所述步骤S02中得到识别模型具体包括如下步骤：

S021：将训练图像集输入至训练单元中进行模型训练，得出训练中的识别模型；

S022：将测试图像集输入至训练中的识别模型中进行模型测试，得出该训练中的识别模型的分类准确率；

S023：重复步骤S021-S022M次，且第M次重复步骤S021-S022得出识别模型；其中，第M次重复步骤S021-S022得出的分类准确率大于等于准确率阈值，M为大于0的整数。

7.根据权利要求6所述的一种基于深度学习的芯片表面缺陷分类方法，其特征在于，所述步骤S023中重复步骤S021-S022N次，若第N次得出的分类准确率大于等于准确率阈值，且分类准确率在N次迭代内不再提升，则第N次重复步骤S021-S022得出识别模型；其中，N为小于等于M的整数。

8.根据权利要求6所述的一种基于深度学习的芯片表面缺陷分类方法，其特征在于，所述步骤S021中将训练图像集中所有训练图像依次输入至训练单元中进行模型训练；

所述步骤S022中将测试图像集中所有的测试图像依次输入至训练中的识别模型中进行模型测试。

9.根据权利要求1所述的一种基于深度学习的芯片表面缺陷分类方法，其特征在于，所述识别模型为深度卷积神经网络模型。

10.一种基于深度学习的芯片表面缺陷分类装置，其特征在于，包括图像预处理单元和训练单元；

所述图像预处理单元用于对拍摄图像进行预处理，形成处理图像，所述拍摄图像和处理图像形成图像集，所述图像集包括训练图像集，所述训练图像集输入至所述训练单元进行模型训练，得出识别模型，待识别图像输入至所述识别模型中，通过所述识别模型的识别，得出对应的缺陷类型；其中，所述训练图像集包括多个训练图像及其对应的缺陷类型。

Images