CN115760700A - 一种引线框架表面缺陷检测方法、系统、存储介质及终端 - Google Patents

Abstract

本发明公开了一种引线框架表面缺陷检测方法、系统、存储介质及终端，属于引线框架检测技术领域，通过提取阵列单元图像及其像素值的缺陷判断方式，抗拒图像倾斜能力较强，从而提高了缺陷检测的准确性；通过采用了基于改进Unet的神经网络实现了缺陷的分割，对于肉眼难以辨识，弱小的目标具有很高的检出率，对缺陷进行准确定位；最后通过深度学习的方法对缺陷进行等级判定，从而去除检测后需要的人工复判的工作，提高复判效率。

Description

一种引线框架表面缺陷检测方法、系统、存储介质及终端

技术领域

本发明涉及引线框架检测技术领域，尤其涉及一种引线框架表面缺陷检测方法、系统、存储介质及终端。

背景技术

引线框架作为集成电路的芯片载体，是一种借助于键合材料(金丝、铝丝、铜丝)实现芯片内部电路引出端与外引线的电气连接，形成电气回路的关键结构件，它起到了和外部导线连接的桥梁作用，绝大部分的半导体集成块中都需要使用引线框架，是电子信息产业中重要的基础材料。

引线框架作为很多集成电路的芯片载体，其质量是否可靠稳定决定了后续最终半导体产品的功能和性能，因此在实际生产过程中需要对引线框架物料进行质量检查。引线框架料片有很多的颗粒组成，尺寸很小，人工检查需要借助显微镜逐个颗粒进行目视判断，因此费时费力且很难保证检查的稳定性，同时人工检查的效率较低。

发明内容

本发明的目的在于克服现有技术中人工检测引线框架缺陷存在的问题，提供了一种引线框架表面缺陷检测方法、系统、存储介质及终端。

本发明的目的是通过以下技术方案来实现的：

在第一方案中，提供一种引线框架表面缺陷检测方法，包括以下步骤：

S1、获取待测引线框架的原始图像；

S2、将每一张所述原始图像进行分割成多个阵列单元图像，并提取阵列单元图像及其像素值；

S3、预设像素阈值，当阵列单元图像的像素值大于所述像素阈值时，则对应的原始图像存在缺陷；

S4、提取所有存在缺陷的引线框架的原始图像，并将原始图像切片构建原始图像数据集X＝{x1，x2，…，xi，…，xn}，xi是第i张图像，n是原始图像数据集的图像总数；

S5、构建标签图像数据集S＝{s1，s2，…，si，…，sn}，si表示第i张图像对应的标签图像，n是标签图像数据集的图像总数；同时构建缺陷检测模型，并使用缺陷检测模型对缺陷进行定位；

S6、对定位后的缺陷图像基于标注图像进行深度学习量化模型的训练；

S7、利用深度学习量化模型对缺陷图像进行推断，判断图像类别及量化面积并进行缺陷等级判定。

在一个示例中，一种引线框架表面缺陷检测方法，所述步骤S4包括：

将源图像的长宽像素通过扩边的方式扩大为512的整数倍，再将扩边后的图像按512*512像素大小进行切片，组成原始图像数据集X。

在一个示例中，一种引线框架表面缺陷检测方法，述步骤S5包括：

原始图像数据集的标签用像素值为0或1的二值图来表示，像素值为1的像素点代表缺陷，像素值为0的像素点代表背景。

在一个示例中，一种引线框架表面缺陷检测方法，所述构建缺陷检测模型包括：

采用Unet编解码器框架，添加基于空洞卷积的特征提取层和深度监督网络；

所述缺陷检测模型模型满足对应关系：输入数据集X＝{x1，x2，…，xi，…，xn}，得到对应的预测数据集Y＝{y1，y2，…，yi，…，yn}，其中，yi表示原始图像数据集中第i张图像的检测结果，yi是像素值为0或1的二值图，像素值为1的像素点代表缺陷，像素值为0的像素点代表背景。

在一个示例中，一种引线框架表面缺陷检测方法，所述步骤S6包括：

指定训练目标和停止准则，训练目标指量化模型的损失函数；停止准则指目标函数的可接受阈值或迭代次数；然后，进入训练迭代过程，每次迭代读取部分训练图像，前向传播计算这些图像上的目标函数数值，然后将损失函数的梯度反向传播更新网络的参数；最后达到停止准则后保存对应模型。

在一个示例中，一种引线框架表面缺陷检测方法，所述步骤S7包括：

通过深度学习量化模型输出回归缺陷坐标、通过缺陷分类模型估计缺陷类别、通过缺陷面积估计模型估计缺陷的面积。

在一个示例中，一种引线框架表面缺陷检测方法，所述深度学习量化模型包括缺陷位置回归模型、缺陷分类模型和缺陷面积估计模型。

在第二个方案中，提供一种引线框架表面缺陷检测系统，所述系统包括：

图像获取模块，用于获取待测引线框架的原始图像；

图像分割模块，用于将每一张所述原始图像进行分割成多个阵列单元图像，并提取阵列单元图像及其像素值；还用于提取所有存在缺陷的引线框架的原始图像，并将原始图像切片；

缺陷判断模块，用于预设像素阈值，当阵列单元图像的像素值大于所述像素阈值时，则对应的原始图像存在缺陷；

缺陷定位模块，用于构建标签图像数据集，同时构建缺陷检测模型，并使用缺陷检测模型对缺陷进行定位；

缺陷等级判定模块，用于对定位后的缺陷图像基于标注图像进行深度学习量化模型的训练；并利用深度学习量化模型对缺陷图像进行推断，判断图像类别及量化面积并进行缺陷等级判定。

在第三个方案中，提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述引线框架表面缺陷检测方法。

在第四个方案中，提供一种终端，包括存储器和处理器，存储器上存储有可在处理器上运行的计算机指令，处理器运行计算机指令时执行引线框架表面缺陷检测方法。

需要进一步说明的是，上述各选项对应的技术特征在不冲突的情况下可以相互组合或替换构成新的技术方案。

与现有技术相比，本发明有益效果是：

本发明通过提取阵列单元图像及其像素值的缺陷判断方式，抗拒图像倾斜能力较强，从而提高了缺陷检测的准确性；通过采用了基于改进Unet的神经网络实现了缺陷的分割，对于肉眼难以辨识，弱小的目标具有很高的检出率，对缺陷进行准确定位；最后通过深度学习的方法对缺陷进行等级判定，从而去除检测后需要的人工复判的工作，提高复判效率。

附图说明

图1为本发明实施例示出的一种引线框架表面缺陷检测方法流程图。

具体实施方式

下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

在一个示例性实施中，提供一种引线框架表面缺陷检测方法，如图1所示，所述方法包括以下步骤：

S1、获取待测引线框架的原始图像；

S2、将每一张所述原始图像进行分割成多个阵列单元图像，并提取阵列单元图像及其像素值；

S3、预设像素阈值，当阵列单元图像的像素值大于所述像素阈值时，则对应的原始图像存在缺陷；

S4、提取所有存在缺陷的引线框架的原始图像，并将原始图像切片构建原始图像数据集X＝{x1，x2，…，xi，…，xn}，xi是第i张图像，n是原始图像数据集的图像总数；

S5、构建标签图像数据集S＝{s1，s2，…，si，…，sn}，si表示第i张图像对应的标签图像，n是标签图像数据集的图像总数；同时构建缺陷检测模型，并使用缺陷检测模型对缺陷进行定位；

S6、对定位后的缺陷图像基于标注图像进行深度学习量化模型的训练；

S7、利用深度学习量化模型对缺陷图像进行推断，判断图像类别及量化面积并进行缺陷等级判定。

具体地，以QFN引线框架表面缺陷检测为例说明缺陷判断的过程，QFN(QuadFlatNo-leads Package，方形扁平无引脚封装)，是表面贴装型芯片封装形式之一。QFN引线框架在生产过程中，由于生产工艺的限制，在其表面会随机出现脏污、划痕和管脚变形等缺陷。首先获取包含QFN引线框架和移动载台背景的图像中的待检测QFN引线框架区域图像及待检测QFN引线框架区域图像中所有单元图像，在使用神经网络进行图像分割的基础上，对待检测QFN引线框架区域图像中所有单元图像使用提取中值算子，提取模板图像及其像素值，最后根据待检测QFN引线框架区域图像中所有单元图像像素值、模板图像像素值和预设差值阈值，确定待检QFN引线框架表面是否存在划痕、脏污和管脚变形缺陷。由于待检测QFN引线框架区域图像的所有重复单元图像基本都是相同的，重复单元图像之间对应位置的像素值的差距较小，取重复单元图像的像素值的中位数有利于提升检测管教变形缺陷的准确性。其中，待检测QFN引线框架区域图像中材质区域重复单元图像及其像素值、模板图像像素值和预设差值阈值，确定待检QFN引线框架管脚变形缺陷。待检测QFN引线框架区域图像中材质区域重复单元图像依次与模板图像作差，确认重复单元图像中的像素是否为缺陷像素，并统计缺陷像素的数量。当缺陷像素数量大于预设差值阈值时，判定重复单元图像中存在管脚变形缺陷；当缺陷像素数量小于预设差值阈值时判定重复单元图像中不存在管脚变形缺陷。

进一步地，一种引线框架表面缺陷检测方法，所述步骤S4包括：

将源图像的长宽像素通过扩边的方式扩大为512的整数倍，再将扩边后的图像按512*512像素大小进行切片，组成原始图像数据集X。

在一个示例中，一种引线框架表面缺陷检测方法，述步骤S5包括：

原始图像数据集的标签用像素值为0或1的二值图来表示，像素值为1的像素点代表缺陷，像素值为0的像素点代表背景。

在一个示例中，一种引线框架表面缺陷检测方法，所述构建缺陷检测模型包括：

采用Unet编解码器框架，添加基于空洞卷积的特征提取层和深度监督网络；

所述缺陷检测模型模型满足对应关系：输入数据集X＝{x1，x2，…，xi，…，xn}，得到对应的预测数据集Y＝{y1，y2，…，yi，…，yn}，其中，yi表示原始图像数据集中第i张图像的检测结果，yi是像素值为0或1的二值图，像素值为1的像素点代表缺陷，像素值为0的像素点代表背景。

具体地，缺陷检测模型的构建如下：

使用五层卷积的编码器，用于特征提取：编码器由五层卷积组成，每层包含两个部分，第一个部分包含卷积层(下采样)、批归一化层和激活层，重复两遍；第二个部分包括池化层。五层卷积逐层采用64，128，256，512，1024个3*3的卷积，最后得到32*32*1024的特征块；

基于多尺度空洞卷积的特征提取器，提高模型对于不同尺度特征的识别能力：加入基于空洞卷积的特征提取层，由于空洞卷积在不同扩张率下有不同的感受野，基于空洞卷积的特征提取操作可以使网络在学习特征时拥有对不同尺度特征的感受能力，不至于忽略弱小的缺陷，同时还可以凭借较大的感受野优化深层的语义特征。我们将特征提取器连接在编码器之后，设计为四条分支，各分支采用扩张率分别为1，3，1-3，1-3-5的空洞卷积，根据感受野计算公式，分别得到大小为3,7,9,19的感受野，最后再将四个分支的特征相加，得到新的32*32*1024的特征块，以此提高模型对不同尺度特征的识别能力，感受野计算公式为RF＝((r-1)(k-1)+k+2)2；

四层反卷积的解码器，用于还原预测图像：解码器由四层反卷积组成，每层包含两个部分，第一部分包含反卷积层(上采样)，第二部分包含卷积层、批归一化层和激活层，重复两遍；其中，在编码器的第1层和解码器的第4层、编码器的第2层和解码器的第3层、编码器的第3层和解码器的第2层、编码器的第4层和解码器的第1层分别加入了特征拼接；

深度监督网络，优化模型分类结果，提高边缘检测精度：在解码器的部分加入了深度监督网络，这个模块可以起到优化像素分类、加强边缘检测的作用，具体设计为在解码器的第二、三、四层后接入一个分类器，分类器结构为上采样层、卷积层、再接入softmax激活函数，得到与训练图像同样大小的预测二值图像，分别与标签图像求损失，再将各层损失值按贡献求和，得到最终的网络损失；

多层损失函数计算及改进的Focalloss损失函数：损失函数设计需要考虑到边输出的层次化，基于缺陷图像的特点，背景像素占比通常在95％以上，缺陷像素占比非常小，采用改进的Focal Loss损失函数来平衡正负样本。记缺陷图像为X＝(xj，j＝1，…，|X|)，对应的标签图像为Y＝(yj，j＝1，…，|X|)，解码器网络层参数的集合为W，深度监督网络层数为k，那么每层相应的权重记为w＝{w1，w2，…，wk}，因此，损失函数可以定义为如下公式：

其中，lk表示深度监督每层的损失值，αk为超参数，表示每层损失对总损失的贡献，每层损失计算公式定义为：

其中，C+和C-分别表示标签图像中缺陷像素集和背景像素集，即正样本集和负样本集。γ沿用FocalLoss取为2。此外，ω0，ω1分别表示为缺陷像素和背景像素的类损失权重，我们设置ω0＝(|C-|/(|C+|+|C-|))，ω1＝(|C+|/(|C+|+|C_|))，其中|C_|，|C+|分别表示标签图像中缺陷像素个数和背景像素个数。

以下以引线框架镀银的实例来说明缺陷定位的方法过程。

步骤一：使用硬件平台采集半导体引线框架镀银的源图像，并且将采集到的源图像由采集卡传入到工控机中。

步骤二：构建原始图像数据集，工控机读取源图像，根据缺陷检测模型要求的图像类型，将源图像切片构建原始图像数据集X＝{x1，x2，…，xi，…，xn}，xi是第i张图像，n是原始图像数据集的图像总数；由于工业相机成像像素高，一般采集到的源图像大小为9344*7000像素，为了适应模型的训练要求，需要对图像进行切片，将源图像的长宽像素通过扩边的方式扩大为512的整数倍，再将扩边后的图像按512*512像素大小进行切片，组成原始图像数据集，切片后的图像大小均为512*512像素。

步骤三：构建标签图像数据集。构建标签图像数据集S＝{s1，s2，…，si，…，sn}，si表示第i张图像对应的标签图像，n是标签图像数据集的图像总数。针对原始图像数据集进行标签数据集一对一的构建，用像素值为0或1的二值图来作为原始图像数据集的标签，像素值为1的像素点代表缺陷，像素值为0的像素点代表背景，标签数据集背景是黑色像素，缺陷是白色像素；

步骤四：构建缺陷检测模型。采用Unet编解码器框架，添加基于空洞卷积的特征提取层和深度监督网络。模型整体架构满足一种对应关系，即输入数据集X＝{x1，x2，…，xi，…，xn}，可以得到对应的预测数据集Y＝{y1，y2，…，yi，…，yn}，其中表示原始图像数据集中第i张图像的检测结果，yi是像素值为0或1的二值图，像素值为1的像素点代表缺陷，像素值为0的像素点代表背景。对缺陷检测模型的处理流程进行阐述：输入图像大小为512*512，编码部分的第一个Convolution Layers使用64个3*3的卷积核，再经过批归一化和激活函数，输出尺寸为512*512*64的特征向量，再经过MaxPooling Layers，得到输出尺寸为256*256*64的特征向量。编码部分的第二个Convolution Layers使用128个3*3的卷积核，再经过批归一化和激活函数，输出尺寸为256*256*128的特征向量，再经过MaxPoolingLayers，得到输出尺寸为128*128*128的特征向量。编码部分的第三个Convolution Layers使用256个3*3的卷积核，再经过批归一化和激活函数，输出尺寸为128*128*256的特征向量，再经过MaxPoo ling Layers，得到输出尺寸为64*64*256的特征向量。编码部分的第四个Conv olution Layers使用512个3*3的卷积核，再经过批归一化和激活函数，输出尺寸为64*64*512的特征向量，再经过MaxPooling Layers，得到输出尺寸为32*32*512的特征向量。编码部分的第五个Convolution Layers使用1024个3*3的卷积核，再经过批归一化和激活函数，输出尺寸为32*32*1024的特征向量。将此特征向量输入DalitedConvolutionLayers，得到大小为32*32*1024的新的特征向量。

接下来进入解码阶段。解码过程作为编码过程的逆向操作，分为4个子层。解码器的第一个Transposed Convolution Layers使用512个2*2的反卷积核，步长为2，得到64*64*512的特征向量。将其与编码器第4层的特征向量进行拼接，得到64*64*1024的特征向量，接入使用512个3*3卷积核的卷积层，得到64*64*512的特征向量。解码器的第二个Transposed Convolution Layers使用256个2*2的反卷积核，步长为2，得到128*128*256的特征向量。将其与编码器第3层的特征向量进行拼接，得到128*128*512得特征向量，接入使用256个3*3卷积核的卷积层，得到128*128*256的特征向量。再接入分类器，进行深度监督，首先通过4倍Upsample得到512*512*256的特征向量，再通过64个3*3的卷积核得到512*512*64的特征向量，再通过2个3*3的卷积核得到512*512*2的特征向量，再接入Softmax激活函数，得到输出图像。解码器的第三个Tr ansposed Convolution Layers使用使用128个2*2的反卷积核，步长为2，得到256*256*128的特征向量。将其与编码器第2层的特征向量进行拼接，得到256*256*256的特征向量，接入使用128个3*3卷积核的卷积层，得到256*256*128的特征向量。再接入分类器，进行深度监督，首先通过2倍Upsample得到512*512*128的特征向量，再通过64个3*3的卷积核得到512*512*64的特征向量，再通过2个3*3的卷积核得到512*512*2的特征向量，再接入Softmax激活函数，得到输出图像。解码器的第四个Transposed Convolution Layers使用64个2*2的反卷积核，步长为2，得到512*512*64的特征向量。将其与编码器第1层的特征向量进行拼接，得到512*512*12的特征向量，接入使用64个3*3卷积核的卷积层，得到512*512*64的特征向量。再接入分类器，进行深度监督，通过2个3*3的卷积核得到512*512*2的特征向量，再接入Softmax激活函数，得到输出图像。将解码器第二层、第三层、第四层的输出图像与标签图像计算损失值，求和平均后对网络参数进行更新。

步骤五：训练模型。使用原始图像数据集X和标签图像数据集S进行模型训练，预先设计一定轮次的训练epoch数，筛选出分割效果最好的模型参数并保存,训练结束。训练过程中，batchsize(神经网络)设置为2，shuffle(将列表的所有元素随机排序)设置为True，最大训练轮数设置为300，初始学习率为0.0001，在模型训练的过程中，应用Adam优化器对模型进行优化。训练过程中，通过早停得到性能最好的模型。保存并作为后续的检测模型。

步骤六：进行产品的缺陷检测。使用硬件平台采集半导体引线框架镀银的源图像，并且将采集到的源图像由采集卡传入到工控机中。根据步骤2的陈述构建原始图像数据集X1，输入缺陷检测模型，得到检测结果Y1，通过硬件平台获取待检测的源图像，转步骤二的数据集构建方法构建测试数据集，通过训练好的模型并进行缺陷检测，得到检测结果，检测结果均为像素值为0或1的二值图，像素值为1的像素点代表缺陷，像素值为0的像素点代表背景。

步骤七：定位缺陷位置，通过系统界面进行可视化展示，使用户能直观、快捷的了解检测结果。通过计算检测结果(二值图)的连通域，连通域面积大于5(此值可以根据要求调节)像素的认为是检测出来的缺陷，最后求各个连通域的外接矩形来确定缺陷位置，并使用红色矩形框在源图标记出来。

进一步地，一种引线框架表面缺陷检测方法，所述步骤S6包括：

指定训练目标和停止准则，训练目标指量化模型的损失函数；停止准则指目标函数的可接受阈值或迭代次数；然后，进入训练迭代过程，每次迭代读取部分训练图像，前向传播计算这些图像上的目标函数数值，然后将损失函数的梯度反向传播更新网络的参数；最后达到停止准则后保存对应模型。对测试图像进行推断，判断图像是否有缺陷及缺陷的位置、类别及量化面积。将测试图像输入步骤二训练的模型中，进行前向推断，得到模型的输出，比如缺陷位置回归模型的回归缺陷坐标、缺陷分类模型估计的缺陷类别、缺陷面积估计模型的面积。

进一步地，一种引线框架表面缺陷检测方法，所述步骤S7包括：

通过深度学习量化模型输出回归缺陷坐标、通过缺陷分类模型估计缺陷类别、通过缺陷面积估计模型估计缺陷的面积。例如通过对缺陷的属性数值进行逻辑判断，从而得到对应的等级判定。比如缺陷面积超过100，则进入复判；缺陷类别为连脚，该图像对应的物料可判定为报废。其中，所述深度学习量化模型包括缺陷位置回归模型、缺陷分类模型和缺陷面积估计模型。

在另一示例性实施例中，提供一种引线框架表面缺陷检测系统，所述系统包括：

图像获取模块，用于获取待测引线框架的原始图像；

图像分割模块，用于将每一张所述原始图像进行分割成多个阵列单元图像，并提取阵列单元图像及其像素值；还用于提取所有存在缺陷的引线框架的原始图像，并将原始图像切片；

缺陷判断模块，用于预设像素阈值，当阵列单元图像的像素值大于所述像素阈值时，则对应的原始图像存在缺陷；

缺陷定位模块，用于构建标签图像数据集，同时构建缺陷检测模型，并使用缺陷检测模型对缺陷进行定位；

缺陷等级判定模块，用于对定位后的缺陷图像基于标注图像进行深度学习量化模型的训练；并利用深度学习量化模型对缺陷图像进行推断，判断图像类别及量化面积并进行缺陷等级判定。

在另一示例性实施例中，提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述引线框架表面缺陷检测方法。

基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在另一示例性实施例中，提供一种终端，包括存储器和处理器，存储器上存储有可在处理器上运行的计算机指令，处理器运行计算机指令时执行引线框架表面缺陷检测方法。

处理器可以是单核或者多核中央处理单元或者特定的集成电路，或者配置成实施本发明的一个或者多个集成电路。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的处理器包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

以上具体实施方式是对本发明的详细说明，不能认定本发明的具体实施方式只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演和替代，都应当视为属于本发明的保护范围。

Claims (10)

1.一种引线框架表面缺陷检测方法，其特征在于，包括以下步骤：

S1、获取待测引线框架的原始图像；

S2、将每一张所述原始图像进行分割成多个阵列单元图像，并提取阵列单元图像及其像素值；

S3、预设像素阈值，当阵列单元图像的像素值大于所述像素阈值时，则对应的原始图像存在缺陷；

S4、提取所有存在缺陷的引线框架的原始图像，并将原始图像切片构建原始图像数据集X＝{x1，x2，…，xi，…，xn}，xi是第i张图像，n是原始图像数据集的图像总数；

S5、构建标签图像数据集S＝{s1，s2，…，si，…，sn}，si表示第i张图像对应的标签图像，n是标签图像数据集的图像总数；同时构建缺陷检测模型，并使用缺陷检测模型对缺陷进行定位；

S6、对定位后的缺陷图像基于标注图像进行深度学习量化模型的训练；

S7、利用深度学习量化模型对缺陷图像进行推断，判断图像类别及量化面积并进行缺陷等级判定。

2.根据权利要求1所述的一种引线框架表面缺陷检测方法，其特征在于，所述步骤S4包括：

将源图像的长宽像素通过扩边的方式扩大为512的整数倍，再将扩边后的图像按512*512像素大小进行切片，组成原始图像数据集X。

3.根据权利要求1所述的一种引线框架表面缺陷检测方法，其特征在于，述步骤S5包括：

原始图像数据集的标签用像素值为0或1的二值图来表示，像素值为1的像素点代表缺陷，像素值为0的像素点代表背景。

4.根据权利要求3所述的一种引线框架表面缺陷检测方法，其特征在于，所述构建缺陷检测模型包括：

采用Unet编解码器框架，添加基于空洞卷积的特征提取层和深度监督网络；

所述缺陷检测模型模型满足对应关系：输入数据集X＝{x1，x2，…，xi，…，xn}，得到对应的预测数据集Y＝{y1，y2，…，yi，…，yn}，其中，yi表示原始图像数据集中第i张图像的检测结果，yi是像素值为0或1的二值图，像素值为1的像素点代表缺陷，像素值为0的像素点代表背景。

5.根据权利要求1所述的一种引线框架表面缺陷检测方法，其特征在于，所述步骤S6包括：

指定训练目标和停止准则，训练目标指量化模型的损失函数；停止准则指目标函数的可接受阈值或迭代次数；然后，进入训练迭代过程，每次迭代读取部分训练图像，前向传播计算这些图像上的目标函数数值，然后将损失函数的梯度反向传播更新网络的参数；最后达到停止准则后保存对应模型。

6.根据权利要求5所述的一种引线框架表面缺陷检测方法，其特征在于，所述步骤S7包括：

通过深度学习量化模型输出回归缺陷坐标、通过缺陷分类模型估计缺陷类别、通过缺陷面积估计模型估计缺陷的面积。

7.根据权利要求6所述的一种引线框架表面缺陷检测方法，其特征在于，所述深度学习量化模型包括缺陷位置回归模型、缺陷分类模型和缺陷面积估计模型。

8.一种引线框架表面缺陷检测系统，其特征在于，所述系统包括：

图像获取模块，用于获取待测引线框架的原始图像；

图像分割模块，用于将每一张所述原始图像进行分割成多个阵列单元图像，并提取阵列单元图像及其像素值；还用于提取所有存在缺陷的引线框架的原始图像，并将原始图像切片；

缺陷判断模块，用于预设像素阈值，当阵列单元图像的像素值大于所述像素阈值时，则对应的原始图像存在缺陷；

缺陷定位模块，用于构建标签图像数据集，同时构建缺陷检测模型，并使用缺陷检测模型对缺陷进行定位；

缺陷等级判定模块，用于对定位后的缺陷图像基于标注图像进行深度学习量化模型的训练；并利用深度学习量化模型对缺陷图像进行推断，判断图像类别及量化面积并进行缺陷等级判定。

9.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1-7中任意一项所述引线框架表面缺陷检测方法。

10.一种终端，包括存储器和处理器，存储器上存储有可在处理器上运行的计算机指令，其特征在于，处理器运行计算机指令时执行权利要求1-7中任意一项所述引线框架表面缺陷检测方法。

Images