CN109342456B - 一种焊点缺陷检测方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种焊点缺陷检测方法、装置、设备及计算机可读存储介质。其中，方法包括对PCB的IC元件的引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像；将多通道图像输入至缺陷分类模型，得到初始引脚图像的标签类型，以检测IC元件的引脚是否有缺陷；标签类型包括正样本和负样本两类标签；其中，缺陷分类模型为维度为2的全连接层作为倒数第二层，softmax层作为最后一层的深度神经网络分类模型，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，训练样板集中的正样本为没有缺陷的IC引脚图像，负样本为有缺陷的IC引脚图像。本申请提高了IC引脚缺陷检测的准确度，满足了分类精度的现实需求。

Description

一种焊点缺陷检测方法、装置、设备及可读存储介质

技术领域

本发明实施例涉及激光焊接检测技术领域，特别是涉及一种焊点缺陷检测方法、装置、设备及计算机可读存储介质。

背景技术

随着我国航空、航天、能源和船舶等重工业的发展，焊接技术已经成为制造业中必不可少的材料成型和加工技术之一。由于焊接工艺在加工过程中易受到来自外部环境等因素的影响，如焊接速度、焊接功率、保护气体流量、焊接环境以及工件表面状况等，焊件不可避免地会产生裂纹、未焊透、未熔合、气孔、凹坑、夹渣等焊接缺陷，而这些缺陷可能会造成灾难性事故。为了保证焊件的产品质量，必须及时有效地检测焊后工件表面及内部的缺陷。在实际生产过程中，除了目测焊接表面缺陷与成型缺陷外，对于一些小于0.1mm焊缝缺陷，一般无法但靠目测进行有效识别。

生活中处处离不开PCB(printed circuit board，印刷电路板)，例如手机、电脑、洗衣机等日常生活设备都设置有印刷电路板。针对印刷电路板的焊点检测，传统方法通常是利用人眼判别，随着科技的发展，产品朝着小型化、多样化发展，PCB的元器件尺寸异常的小，需要借助显微镜才能查看缺陷，且PCB元件数量巨大导致，利用人工判断焊点缺陷不仅消耗大量人工且效率低下，还易检测遗漏。所以基于机器视觉的印刷电路板焊点自动检测日益得到重视。

现有技术中，大多采用分类器方法实现焊点自动检测，将几何特征，颜色特征，频域特征应用在基于机器视觉的自动光学检测(automatic optical inspection，AOI)算法中。与分立元件不同的是，由于扁平封装IC引脚具有密度大，引脚爬锡部分面积小，特别是无铅焊锡表面粗糙且形状不一，使得对IC引脚检测难度更大。而且由于IC引脚生产特殊性导致其缺陷样本很少，直接使用分类器检测，样本数量较小不利于训练精度高的分类模型，无法满足现实工业要求。

发明内容

本发明实施例的目的是提供一种焊点缺陷检测方法、装置、设备及计算机可读存储介质，提高了IC引脚缺陷检测的准确度。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种焊点缺陷检测方法，

应用于PCB的IC元件的焊点检测，包括：

获取待检测IC元件的初始引脚图像；

对所述初始引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像；

将所述多通道图像输入至预先构建的缺陷分类模型，得到所述初始引脚图像的标签类型，以检测所述待检测IC元件的引脚是否有缺陷；所述标签类型包括正样本和负样本两类标签；

其中，所述二维经验模式分解通过三棱锥堆叠形成薄块，通过各个三棱锥的重心趋于零平面特性构建求BIMF的优化问题，所述缺陷分类模型基于深度神经网络分类模型，并设置维度为2的全连接层作为倒数第二层并使用加权方式获得分类边界，softmax层作为最后一层，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，所述训练样板集中的正样本为没有缺陷的IC引脚图像，负样本为有缺陷的IC引脚图像。

可选的，所述对所述初始引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像包括：

利用形态学方法确定所述初始引脚图像中极值点集，并利用分水岭算法从所述极值点集剔除不满足预设条件的极值点，得到优化极值点集，以使其满足二维集合经验模式分解的零均值条件；

将所述优化极值点集利用物理重心方法近似模态函数包络对称，得到局部均值分量。

可选的，所述无约束优化的二维经验模式为：

采用包含8个方向维度的卷积核滑动窗，并对所述卷积核滑动窗的对角填充

值，以使其在各个方向上有平滑权重；

对局部均值分量做差分运算，以获得局部均值目标函数；

为BIMF目标函数添加二维局部均值分量约束构成优化问题，求解所述优化问题以获得BIMF分量和满足预设条件的二维局部均值分量。

可选的，所述缺陷分类模型包括特征提取层、特征筛选层和softmax层；

所述特征提取层包括两层，每层依次由二维卷积层、激活层和池化层构成；

所述特征筛选层依次由第一丢弃层、降维层、维度为256的第一全连接层、第二丢弃层及二维的全连接层构成。

可选的，所述二维卷积层的卷积核为3、步长为1且包括padding；所述激活层的激活函数为RELU；所述池化层为大小为2、步长为2的MaxPooling层；所述第一丢弃层概率为0.5。

本发明实施例另一方面提供了一种焊点缺陷检测装置，应用于PCB的IC元件的焊点检测，包括：

图像获取模块，用于获取待检测IC元件的初始引脚图像；

图像分解模块，用于对所述初始引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像；

图像缺陷识别模块，用于将所述多通道图像输入至预先构建的缺陷分类模型，得到所述初始引脚图像的标签类型，以检测所述待检测IC元件的引脚是否有缺陷；所述标签类型包括正样本和负样本两类标签；

其中，所述二维经验模式分解通过三棱锥堆叠形成薄块，通过各个三棱锥的重心趋于零平面特性构建求BIMF的优化问题，所述缺陷分类模型基于深度神经网络分类模型，并设置维度为2的全连接层作为倒数第二层并使用加权方式获得分类边界，softmax层作为最后一层，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，所述训练样板集中的正样本为没有缺陷的IC引脚图像，负样本为有缺陷的IC引脚图像。

可选的，所述图像分解模块包括：

极值点优化子模块，用于利用形态学方法确定所述初始引脚图像中极值点集，并利用分水岭算法从所述极值点集剔除不满足预设条件的极值点，得到优化极值点集，以使其满足二维集合经验模式分解的零均值条件；

局部均值分量获取子模块，用于将所述优化极值点集利用物理重心方法近似模态函数包络对称，得到局部均值分量。

可选的，所述图像缺陷识别模块为缺陷分类模型包括特征提取层、特征筛选层和softmax层的模块；

所述特征提取层包括两层，每层依次由二维卷积层、激活层和池化层构成；

所述特征筛选层依次由第一丢弃层、降维层、维度为256的第一全连接层、第二丢弃层及二维的全连接层构成。

本发明实施例还提供了一种焊点缺陷检测设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述焊点缺陷检测方法的步骤。

本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有焊点缺陷检测程序，所述焊点缺陷检测程序被处理器执行时实现如前任一项所述焊点缺陷检测方法的步骤。

本发明实施例提供了一种焊点缺陷检测方法，对PCB的IC元件的引脚图像的三色通道利用二维经验模式分解，得到多通道图像；将多通道图像输入至预先构建的缺陷分类模型，得到初始引脚图像的标签类型，以检测IC元件的引脚是否有缺陷；标签类型包括正样本和负样本两类标签；其中，缺陷分类模型基于深度神经网络分类模型，并设置维度为2的全连接层作为倒数第二层，softmax层作为最后一层，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，训练样板集中的正样本为没有缺陷的IC引脚图像，负样本为有缺陷的IC引脚图像。

本申请提供的技术方案的优点在于，将现有的深度神经网络分类模型的最后一层删掉后，增加维度为2的全连接层、softmax为缺陷分类模型的倒数第二层和最后一层，可将输出结果画到二维平面，实现二维可视化数据的分布，并通过加权方式获得其分类边界。解决了IC引脚缺陷样本很少，不利于训练精度高的分类模型导致无法满足现实工业要求的现状，提高了IC引脚缺陷检测的准确度，不仅正样本类的分类精度高，而且负样本类分类精度也很高，满足了分类精度的现实需求，有很好的应用前景。

此外，本发明实施例还针对焊点缺陷检测方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种焊点缺陷检测方法的流程示意图；

图2为本发明实施例提供的初始引脚图像测试集测试模型特征示意图；

图3为本发明实施例提供的一种图像差分过程的示意图；

图4为本发明实施例提供的初经过BEMD分解后图像测试集测试模型倒数第二层特征示意图；

图5为本发明实施例提供的焊点缺陷检测装置的一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

本申请的发明人经过研究发现，IC元件的焊点检测大多数研究中采用分类器方法，即将几何特征，颜色特征，频域特征应用在基于机器视觉的自动光学检测(automaticoptical inspection，AOI)算法中。目前已有的应用于IC焊点缺陷识别检测的方案主要有：

基于自适应阈值方法的IC焊点检测方法(基于自适应阈值方法的IC焊点检测[J].焊接技术，2016(7)：73-76)，在此方法中，先利用在分析空焊焊点与合格焊点之间的差异性的基础上，提出了一种自适应阈值方法进行感兴趣区域定位；然后，定义并提取一种视觉意义上的红色分量，在感兴趣区域内提取连续空行数作为焊点特征，提出一种赋予判别阈值生命周期的方法自适应地确定判别阈值，最终实现IC引脚焊点检测。

基于自适应匹配半径视觉背景提取的IC焊点检测方法(基于自适应匹配半径视觉背景提取的IC焊点检测算法[J].焊接技术，2017(7)：12-15)。在此方法中，首先使用ViBe对合格的焊点图像进行建模，然后将待检测图像与模型进行对比后得到相应的二值图。通过引入频率分布图，对像素点添加不同权重，提出缺陷度对缺陷进行描述。

基于图像差分的芯片组件高速AOI算法，在此方法中，采用统计外观建模技术(SAM)得到的模板，再使用高速方法来调整组件的位置。利用组件图像与模板图像之间的差异图像的区域差异对缺陷进行诊断。利用该算法可以很好地识别缺失元件的常见缺陷、焊料不足、焊料过多、焊点等问题。

利用改进的AdaBoost和决策树对芯片组件进行焊接检验(利用改进的AdaBoost和决策树对芯片组件进行焊接检验[J]组件、包装和制造技术，2011，1(12)：2018-2027)，在该方法中，在训练阶段，首先，焊点分为几个分区单元根据先验知识，第二，各种功能在每一个次区域被提取，然后，每一个次区域和一种改进的最优特征选择演算法通过评估他们的分类能力和独立性，最后，建立了分类器对每个次区域的选择特性通过训练样本的数量。在测试阶段，在图像获取后，对焊点的检验包括区域划分、关键特征提取、子区域分类和缺陷诊断。前三步是根据训练结果执行的，在最后一步中，采用基于分类和回归树的新缺陷二叉决策树来确定最终的缺陷类型。

分类焊点使用基于贝叶斯和支持向量机的特征选择[J]，在此方法中，提出了一种用于焊料联合检测的特征选择和两级分类器。将获得焊点的图像，首先提取了颜色特征，包括平均灰度值和亮点百分比和模板匹配特征。在基于贝叶斯算法的特征选择后，每一个焊点按其限定条件进行分类。如果焊点连接在资格测试中失败，则将其分类为基于支持向量机的预定义类型之一。第二阶段分类器的选择是基于各种分类器的性能评价。

改进二维经验模式分解的IC焊点检测方法(基于改进二维经验模式分解的IC焊点检测方法[J].焊接技术，2017(10)：71-75)，在此方法中，提出了一种改进二维经验模式分解方法的IC焊点检测算法，该算法能够将图像按高频到低频分解，适用于非线性非稳态信号处理，用于获得特征更明显的IC焊点预处理图像。然后在分析空焊焊点与合格焊点之间的差异性的基础上，结合焊点反射光线原理，定义了一种颜色空间算法，在感兴趣区域内提取颜色通道延迟上升的特征，通过阈值判断实现IC焊点缺陷检测。

传统BEMD能够对图像有效的分析，能够处理非稳态图像数据，但算法中的筛选迭代过程需要大量运算，且还存在大量问题，使得BEMD应用受到制约。

彭等提出的基于改进二维经验模式分解的IC焊点检测方法，将二维经验模式分解中的筛选迭代过程，用优化方法代替，可以有效的减少模态混叠和计算量。在保留传统BEMD的通过极值点的提取信号的关键信息和BIMF分量所具有的上下包络面对称方面，对于包络插值、筛分迭代等过程做了一些合理的舍弃。二维信号不同于一维信号，需要在各个方向上比较值，存在鞍点(单方向上的极值点，但不是真的极值点)、高地或盆地(区域内所有点都为极值点)等。仅通过彭等的方法利用邻域法获取极值点，必然会有极值联通扎堆情况。

光有固有模态的目标函数并不能很好的获得局部均值分量，所以要对局部均值加上约束，使其足够平滑。局部均值分量是一个相对平滑的曲面，通过特殊差分的二范数，达到一个足够小的值来满足这个特性。但是对图像进行卷积核差分的时候会产生边缘效应，核的一部分会位于图像边缘的外面，彭等使用中心值为q，通过图像边沿填充0的可变滑动窗w对局部均值分量做卷积差分运算，用边沿填充0的卷积核对每一个像素点卷积积分运算(边缘的像素点卷积结果为0，即忽略边缘像素点)，再使用滑动窗差分运算，使差分平方和足够小(理论最终计算结果为0)，达到近似平滑的效果。但是图像边沿填充0的可变滑动窗做卷积差分，忽略边缘像素点，处理后图像边缘是黑色的，不利于提取图像边缘特征。

深度神经网络分类模型为将原始图像直接输入到网络模型中，继而得到分类的输出。小尺寸图像可以通过全连接层堆叠实现分类模型；大尺寸图片通常使用卷积层堆叠，在网络尾部加入全连接层实现分类模型。分类网络主要在最后一层加入softmax层，主要是将输出层数据用概率形式表示，所有分类的概率和为1。深度神经网络中应用较多的为卷积神经网络(Convolutional Neural Network，CNN)，该网络可利用其卷积结构的特性自动地从图像中提取高层的抽象的图片特征，免去了人工提取特征的过程，操作简单且有效，在识别和检测任务上远胜过传统的特征提取的方法。训练网络时候，输入图像会得到一个抽象输出，再通过对比网络输出和理论输出，获得残差，再通过残差更新网络，经过多次网络更新即可得到一个专用功能的网络模型。

针对IC元件的特殊性，采集的大量IC引脚样本数据存在正负样本比例严重失衡情况(正样本多，负样本少)，其往往会导致正样本类的分类精度高、负样本类分类精度低。

鉴于此，本申请通过预先构建针对正负样本比例严重失衡的深度网络用于缺陷样本分类，从而有效解决上述问题，提高IC元件的缺陷检测准确度。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种焊点缺陷检测方法的流程示意图，应用于PCB的IC元件的焊点检测，本发明实施例可包括以下内容：

S101：获取待检测IC元件的初始引脚图像。

S102：对初始引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像。

本申请的无约束优化的二维经验模式分解方法为基于现有二维经验模式分解方法的改进版，其通过三棱锥堆叠形成薄块，通过各个三棱锥的重心趋于零平面特性构建求BIMF的优化问题。

S103：将多通道图像输入至预先构建的缺陷分类模型，得到初始引脚图像的标签类型，以检测待检测IC元件的引脚是否有缺陷；标签类型包括正样本和负样本两类标签。

初始引脚图像为rgb图像，包含三个通道数据。

IC元件的引脚图像包含颜色三通道，使用BEMD算法得到新的图像作为网路的输入，要对其三个通道分别做BEMD分解，得到多个分量，如12个分量，即得到多通道图像。

鉴于IC元件引脚生产特殊性导致其缺陷样本很少，也即IC引脚样本数据存在正负样本比例严重失衡情况(正样本较多，负样本较少)，也即正负样本比例悬殊较大，例如正负样本比例28：1(正负样本的预设比例阈值可设置为28)，基于现有的分类算法和分类模型训练这些样本，往往会导致正样本类的分类精度高、负样本类分类精度低。

卷积神经网络为人工神经网络的一种，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少的权值的数量以节约训练和测试的计算时间。该优点在网络的输入是多维图像时表现得更加明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积神经网络是为识别二维数据而专门设计的一个多层感知机，其网络对平移、比例变化和倾斜等具有高度不变性。

在CNN中，图像的一小部分(局部感受区域)作为层级结构的最低层的输入，信息再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著的特征。这个方法能够获取对平移、缩放和旋转不变的观测数据的显著特征，因为图像的局部感受区域允许神经元或者处理单元可以访问到最基础的特征，例如定向边缘或者角点。

卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，每个平面又由多个独立的神经元组成。通常卷积层为特征提取层，每个神经元的输入与前一层的局部感受也相连，并提取该局部的特征，一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定下来；下采样层为特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，称为特征图(Feature maps)，平面上所有神经元的权值相等。特征映射结构采用sigmoid函数等映射函数作为卷积网络的激活函数，使得特征映射具有位移不变性。

此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数，降低了网络参数选择的复杂度。卷积神经网络中的每一个特征提取层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。

卷积神经网络采用有监督学习的方式进行训练，即任何一个训练样本的类别是已知的，训练样本在空间中的分布不再是依据其自然分布倾向来划分，而是根据同类样本和不同类样本中的空间关系进行划分，这需要不断调整网络模型的参数用以划分样本空间的分类边界的位置，是一个耗时且复杂的学习训练过程。

本申请预先构建的缺陷分类模型基于上述深度神经网络分类模型，将其最后一层删除，在其倒数第二层增加维度为2的全连接层，通过改全连接层可以通过二维可视化数据的分布，并通过加权方式获得其分类边界。softmax层作为最后一层，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，训练样板集中的正样本为没有缺陷的IC引脚图像，负样本为有缺陷的IC引脚图像。

一种具体的实施方式下，缺陷分类模型的网络结构参数如下表所示：

表1缺陷分类模型的网络结构

如上表所示，缺陷分类模型可包括特征提取层、特征筛选层和softmax层。具体的，特征提取层包括两层，每层依次由二维卷积层、激活层和池化层构成；特征筛选层依次由第一丢弃层、降维层、维度为256的第一全连接层、第二丢弃层及二维的全连接层构成。可选的，二维卷积层的卷积核为3、步长为1且包括padding；激活层的激活函数为RELU；池化层为大小为2、步长为2的MaxPooling层；第一丢弃层概率为0.5。

举例来说，当单张图像是16*86的尺寸，构建(batch，16，84，channel)的大小作为缺陷分类模型的输入，batch为单次输入网络的图片数，channel为图像通道数。其中初始引脚图像为3通道，通过BEMD分解后可得到12通道。其网络通过两个卷积核为3、步长为1带padding的二维卷积层(Conv2D)提取特征，并且每次卷积后面包含激活层(Activation)和pool大小为2步长为2的MaxPooling层，其中激活层使用RELU激活函数；再连接0.5概率的丢弃层(dropout)，防止训练过拟合；连接降维层(Flatten)将二维数据降维到一维；再连接维度为256的全连接层(Dense)、丢弃层、维度为2全连接层，做特征筛选，将通过权重将包含分类的信息加强；最后通过维度为2的全连接层并使用softmax函数。其中，卷积层用于提取图像特性，通过两次卷积可以提取更高维度的特征；激活层的添加，增加了缺陷分类模型的非线性特性，能够很好的学习图像的非线性特征；池化层的加入为了将网络的冗余信息去除，保留有用的信息；丢弃层在训练的时候随机丢弃一部分值，能够更好的学习特征；连接降维层和全连接层结合使用是将信号的空间信息去除，并从中学到分类特性；最后添加的softmax激活层获得各个分类的概率输出，本申请只有正负样本两类，则输出为2。

缺陷分类模型训练过程可参阅下述实例说明，具体可包括：

实验可通过使用287张IC元件引脚图像作为训练样本集、287张引脚焊点图像作为测试样本集，其中，训练样本包含277张正样本和10张带焊点缺陷的负样本，测试样本同样包含277张正样本和10张带焊点缺陷的负样本。将缺陷分类模型倒数第二层的的输出结果画到二维平面如图2所示，其正样本由“+”号表示，负样本由“.”表示，其中正样本和负样本有相交二维不可分的点。将最后一层删除后，增加维度为2的全连接层，使其精度能够满足行业需求。与目前存在的检测方法相比，本申请有着更高的检测精度，有很好的应用前景。

利用训练样样本集训练缺陷分类模型100次迭代后，其训练精度都达到1，测试集分类精度为0.993，实际精度主要取决于超平面，其精度并不能满足行业需求。将网络倒数第二层的的输出结果画到二维平面如图2所示，其正样本由“+”号表示，负样本由“.”表示，其中正样本和负样本有相交二维不可分的点。将最后一层删除后，使用本节方法，在测试集以负样本分类精度为1的情况下，即漏检率为0，正样本分类精度最高可达到0.9928的分类精度，即误检率为0.0072。

在本发明实施例提供的技术方案中，将现有的深度神经网络分类模型的最后一层删掉后，增加维度为2的全连接层、softmax为缺陷分类模型的倒数第二层和最后一层，可将输出结果画到二维平面，实现二维可视化数据的分布，并通过加权方式获得其分类边界。解决了IC引脚缺陷样本很少，不利于训练精度高的分类模型导致无法满足现实工业要求的现状，提高了IC引脚缺陷检测的准确度，不仅正样本类的分类精度高，而且负样本类分类精度也很高，满足了分类精度的现实需求，有很好的应用前景。

BEMD(Bidimensional Empirical modede composition，二维经验模式分解)是将EMD算法从处理一维信号扩展到二维信号。自然界中包含最多的就是非线性非平稳图像，BEMD可以很好的对该图像进行分析。

与一维分解类似，包含获取局部极大值和极小值点、计算二维插值得到上下包络、计算包络均值、两层循环嵌套、终止条件等。

二维经验模式分解过程如下：

将待分解图像信号赋给变量：r₀＝x；

外层循环：{

内层循环：{

对h_i赋值：h_i＝r_j；

对h_i图像信号求其极大值点和极小值点；

对使用三次样条插值函数分别对极大值点和极小值点插值，得到上下包络面u_i和d_i；

求上下包络的均值m_i＝(u_i+d_i)/2，获得均值曲面；

重新赋值h_i+1＝h_i-m_i，i＝i+1；

计算是否满足停止准测SD，满足后BIMF_j＝h_i，跳出循环，不满足重复内层循环；

}

将信号分解到的BIMF从图像信号中减除r_j+1＝r_j-BIMF_j，j＝j+1，再重复上述内层循环步骤，直到r_j+1图像信号的极值点数为0停止分解。

}

二维经验模式分解得到的固有模态BIMF分量和一维IMF分量具有类似特征，停止准则SD计算为：

其中，阈值相对一维情况更不确定，需要根据经验调节，SD设置过小，意味筛分过程严格，筛分次数变多，容易出现过分解，SD设置过大，意味筛分过程宽松，筛分次数变少，分解质量不高，容易出现欠分解，SD常取0.2到0.3。

鉴于上述问题，本申请在一种具体的实施方式中，可优化改进BEMD，以减少模态混叠问题、端点效应问题和计算时间长的问题。本申请的BEMD通过一次运算即可得到二维固有模态分量(BIMF)分量，避免了过分解和欠分解等问题，具体可包括利用邻域法确定初始引脚图像中极值点集，并利用分水岭算法从极值点集剔除不满足预设条件的极值点，得到优化极值点集，使其满足二维集合经验模式分解的零均值条件。

考虑到图像特殊性，其内部、边沿和顶点情况不一样，将原来只包含四个方向维度的卷积核滑动窗用包含八个方向维度的卷积核滑动窗代替，通过对核的对角填充

的值，使核在各个方向均有平滑权重。再对局部均值分量做差分运算，获得局部均值目标函数，能够保证差分平方和足够小。使其满足二维集合经验模式分解的局部均值分量平滑的条件；

通过对BIMF目标函数添加二维局部均值分量约束构成优化问题，求解该优化问题获得BIMF分量和满足预设条件的二维局部均值分量(例如较优的二维局部均值分量，至于何为较优的二维局部均值分量，可根据本领域技术人员默认的标准，或者是本领域技术人员根据实际应用场景进行确定的较优值，本申请对此不做任何限定)，即达到了传统BEMD中筛分迭代求BIMF和局部均值的目的，通过求解优化问题替换传统BEMD中筛分迭代过程，BEMD就变成一个优化求解问题。通过改进的BEMD算法对原始图像分解，得到多通道图像。

在BEMD中，每次筛分迭代目的是获得其BIMF分量和局部均值分量，再将局部均值分量用于下一次筛分迭代。BIMF分量是一组零均值包络近似对称的二维数据，首先通过找极值点来提取图像的关键信息，用于BEMD的分解。二维信号不同于一维信号，需要在各个方向上比较值，存在鞍点(单方向上的极值点，但不是真的极值点)、高地或盆地(区域内所有点都为极值点)等。

极值点求取以极大值为例，可先通过邻域法获取极大值点，当然会有极大值联通扎堆情况。通过分水岭算法将部分不佳的极值点(不满足预设条件的极值点)剔除。分水岭算法将通过极值点将图像分为若干区域，再获得带分割边界图像的直方图分布，通过判断所有邻域法求得的极值点中直方图概率小的像素，即不在分割边界上孤立的极值点，将其剔除，剩下的即为更优的极值点，从而减少距离太近的极值点。极小值点求解也类似。其中分水岭算法先对每个像素值排序，按从低到高淹没，其极小值点影响域向外扩展，使两个集水盆之间形成堤坝。分水岭代表图像的极值点，在集水盆的边界上，通过验证邻域法获得的极值，判断其是否是分水岭边界上。

局部均值分量表示为一个相对平滑的曲面，对于具体的图像区域而言，相邻的两点像素值相差不大。可以计算每个区域的差分平方和，可以选择不同大小区域，由于极值点通过3*3的区域核就可以确定，计算局部均值使用3*3的核作为图像滑动窗最佳，类似在同一尺度博弈。

信号处理中利用输入图像中像素的小领域来产生输出图像的方法称作滤波，其中最常用的是线性滤波，输出像素是输入像素的加权和。

对图像进行卷积核差分的时候会产生边缘效应，核的一部分会位于图像边缘的外面。

由于图像特殊性，其内部、边沿和顶点情况不一样，使用中心值为q的可变滑动窗w对局部均值分量A做差分运算，获得局部均值目标函数，能够保证差分平方和足够小。其运算类似卷积过程。以全为1的平滑图像为例，通过图像边沿填充0，再使用滑动窗差分运算，理论最终计算结果为0，即为平滑。使用常数填充，其中心值可变的滑动窗w表示为：

其中，

一般默认用0填充，但处理后的图像边缘是黑色的；如图3所示在不同位置使得卷积核与图像覆盖的区域权值之和为0。

为获得更好的差分效果，要对图像一个点周围的更多点产生平滑约束。将边长为1的长方形卷积核滑动窗约束为直径为

的圆形卷积核，使边缘4个点到卷积核中心距离相等且最小。

通过对核的对角线填充

的值，使核在各个方向均有平滑权重。

其中，

对局部均值分量做差分运算过程需要满足局部均值的平滑条件，通过公式表示为：

其中，φ(A)表示对局部均值分量A外部填充一个像素值为0的边框后再滑动窗w做点乘运算。依次移动滑动窗对，对所有滑动窗经过的位置h对点乘结果再做平方和运算，这种运算要使得局部均值平滑，应满足条件为使平方和小于一个足够小的正数η_h。

为了证实本申请提供的BEMD方法有利于提升引脚缺陷识别的准确度。在BEMD对比实验中，可先对初始引脚图像使用本申请提供的BEMD进行分解，将分解后的图像输入到同一个缺陷分类模型，获得训练精度为1，测试集分类精度为0.993。虽然其精度与对照组通过原始图像训练和测试精度一致，但通过对比其在倒数负2层的输出，如图4，两类数据二维可分，意味着其漏检率和误检率最低可以达到0，而直接使用原始图像的实验最低漏检率只能达到0.0072，通过本申请优化的BEMD和深度神经网络结合用于IC焊点缺陷检测方法具有明显优势，在测试集上具有良好的可分边界。

要得到其实际测试精度，要使用训练集确定边界，再对测试集重新分类。训练时可通过找到其正样本中心点和负样本中心点，以类中心点为圆点，靠近另一类最大值为半径画圈，再连接两个圆点，获得与圆的两个交点，两个交点以类数量的反比确定超平面的一点，使超平面垂直两个交点所在线，得到超平面。原理为数量多的正样本确定的分分类区域具有很强的鲁棒性，而数量少的样本具有更多不确定性，以数量多的样本确定的边界更加适合样本不均的情况。通过测试集测试得到漏检率为0，误检率为0.0036。

由上可知，本发明实施例提供的缺陷分类模型在倒数第二层加入一个维度为2的全连接层，通过改全连接层可以通过二维可视化数据的分布，并通过加权方式获得其分类边界。再通过对初始引脚图像使用优化的BEMD分解，再通过深度网络分类，可以获得比直接使用初始引脚图像作为输入，更好的分类效果。

本发明实施例还针对焊点缺陷检测方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的焊点缺陷检测装置进行介绍，下文描述的焊点缺陷检测装置与上文描述的焊点缺陷检测方法可相互对应参照。

参见图5，图5为本发明实施例提供的焊点缺陷检测装置在一种具体实施方式下的结构图，应用于PCB的IC元件的焊点检测，该装置可包括：

图像获取模块501，用于获取待检测IC元件的初始引脚图像。

图像分解模块502，用于对初始引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像。

图像缺陷识别模块503，用于将多通道图像输入至预先构建的缺陷分类模型，得到初始引脚图像的标签类型，以检测待检测IC元件的引脚是否有缺陷；标签类型包括正样本和负样本两类标签；其中，二维经验模式分解通过三棱锥堆叠形成薄块，通过各个三棱锥的重心趋于零平面特性构建求BIMF的优化问题，缺陷分类模型基于深度神经网络分类模型，并设置维度为2的全连接层作为倒数第二层，softmax层作为最后一层，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，训练样板集中的正样本为没有缺陷的IC引脚图像，负样本为有缺陷的IC引脚图像。

可选的，在本实施例的一些实施方式中，所述图像分解模块502例如还可以包括：

极值点优化子模块，用于利用形态学方法确定初始引脚图像中极值点集，并利用分水岭算法从极值点集剔除不满足预设条件的极值点，得到优化极值点集，以使其满足二维集合经验模式分解的零均值条件；

局部均值分量获取子模块，用于将优化极值点集利用物理重心方法近似模态函数包络对称，得到局部均值分量。

具体的，所述多通道图像获取子模块还可包括：

高频删除单元，用于将二维经验模式进行分解后的第一层高频BIMF分量删除；

卷集核约束单元，用于将卷集核滑动窗约束设置为

以用于对局部均值分量进行差分运算；

重构单元，用于将其余的分量进行重构，得到多通道图像。

可选的，在本实施例的另一些实施方式中，所述图像缺陷识别模块503还可为缺陷分类模型包括特征提取层、特征筛选层和softmax层的模块；

所述特征提取层包括两层，每层依次由二维卷积层、激活层和池化层构成；

所述特征筛选层依次由第一丢弃层、降维层、维度为256的第一全连接层、第二丢弃层及二维的全连接层构成。

本发明实施例所述焊点缺陷检测装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例将现有的深度神经网络分类模型的最后一层删掉后，增加维度为2的全连接层、softmax为缺陷分类模型的倒数第二层和最后一层，可将输出结果画到二维平面，实现二维可视化数据的分布，并通过加权方式获得其分类边界。解决了IC引脚缺陷样本很少，不利于训练精度高的分类模型导致无法满足现实工业要求的现状，提高了IC引脚缺陷检测的准确度，不仅正样本类的分类精度高，而且负样本类分类精度也很高，满足了分类精度的现实需求，有很好的应用前景。

本发明实施例还提供了一种焊点缺陷检测设备，具体可包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序以实现如上任意一实施例所述焊点缺陷检测方法的步骤。

本发明实施例所述焊点缺陷检测设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例提高了IC引脚缺陷检测的准确度。

本发明实施例还提供了一种计算机可读存储介质，存储有焊点缺陷检测程序，所述焊点缺陷检测程序被处理器执行时如上任意一实施例所述焊点缺陷检测方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例提高了IC引脚缺陷检测的准确度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种焊点缺陷检测方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种焊点缺陷检测方法，其特征在于，应用于PCB的IC元件的焊点检测，包括：

获取待检测IC元件的初始引脚图像；

对所述初始引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像；

将所述多通道图像输入至预先构建的缺陷分类模型，得到所述初始引脚图像的标签类型，以检测所述待检测IC元件的引脚是否有缺陷；所述标签类型包括正样本和负样本两类标签；

其中，所述二维经验模式分解通过三棱锥堆叠形成薄块，通过各个三棱锥的重心趋于零平面特性构建求BIMF的优化问题，所述缺陷分类模型基于卷积神经网络分类模型，将其最后一层删除，并设置维度为2的全连接层作为倒数第二层并使用加权方式获得分类边界，用包含8个方向维度的卷积核滑动窗，并对所述卷积核滑动窗的对角填充

值，以使其在各个方向上有平滑权重；softmax层作为最后一层，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，所述训练样板集中的正样本为没有缺陷的IC引脚图像，负样本为有缺陷的IC引脚图像；所述缺陷分类模型包括特征提取层、特征筛选层和softmax层；所述特征提取层包括两层，每层依次由二维卷积层、激活层和池化层构成；所述特征筛选层依次由第一丢弃层、降维层、维度为256的第一全连接层、第二丢弃层及二维的全连接层构成。

2.根据权利要求1所述的焊点缺陷检测方法，其特征在于，所述对所述初始引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像包括：

利用形态学方法确定所述初始引脚图像中极值点集，并利用分水岭算法从所述极值点集剔除不满足预设条件的极值点，得到优化极值点集，以使其满足二维集合经验模式分解的零均值条件；

将所述优化极值点集利用物理重心方法近似模态函数包络对称，得到局部均值分量。

3.根据权利要求2所述的焊点缺陷检测方法，其特征在于，所述无约束优化的二维经验模式为：

对局部均值分量做差分运算，以获得局部均值目标函数；

为BIMF目标函数添加二维局部均值分量约束构成优化问题，求解所述优化问题以获得BIMF分量和满足预设条件的二维局部均值分量。

4.根据权利要求1所述的焊点缺陷检测方法，其特征在于，所述二维卷积层的卷积核为3、步长为1且包括padding；所述激活层的激活函数为RELU；所述池化层为大小为2、步长为2的MaxPooling层；所述第一丢弃层概率为0.5。

5.一种焊点缺陷检测装置，其特征在于，应用于PCB的IC元件的焊点检测，包括：

图像获取模块，用于获取待检测IC元件的初始引脚图像；

图像分解模块，用于对所述初始引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像；

图像缺陷识别模块，用于将所述多通道图像输入至预先构建的缺陷分类模型，得到所述初始引脚图像的标签类型，以检测所述待检测IC元件的引脚是否有缺陷；所述标签类型包括正样本和负样本两类标签；

其中，所述二维经验模式分解通过三棱锥堆叠形成薄块，通过各个三棱锥的重心趋于零平面特性构建求BIMF的优化问题，所述缺陷分类模型基于卷积神经分类模型，将其最后一层删除，并设置维度为2的全连接层作为倒数第二层并使用加权方式获得分类边界，用包含8个方向维度的卷积核滑动窗，并对所述卷积核滑动窗的对角填充

值，以使其在各个方向上有平滑权重；softmax层作为最后一层，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，所述训练样板集中的正样本为没有缺陷的IC引脚图像，负样本为有缺陷的IC引脚图像；所述图像缺陷识别模块为缺陷分类模型包括特征提取层、特征筛选层和softmax层的模块；所述特征提取层包括两层，每层依次由二维卷积层、激活层和池化层构成；所述特征筛选层依次由第一丢弃层、降维层、维度为256的第一全连接层、第二丢弃层及二维的全连接层构成。

6.根据权利要求5所述的焊点缺陷检测装置，其特征在于，所述图像分解模块包括：

极值点优化子模块，用于利用形态学方法确定所述初始引脚图像中极值点集，并利用分水岭算法从所述极值点集剔除不满足预设条件的极值点，得到优化极值点集，以使其满足二维集合经验模式分解的零均值条件；

局部均值分量获取子模块，用于将所述优化极值点集利用物理重心方法近似模态函数包络对称，得到局部均值分量。

7.一种焊点缺陷检测设备，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至4任一项所述焊点缺陷检测方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有焊点缺陷检测程序，所述焊点缺陷检测程序被处理器执行时实现如权利要求1至4任一项所述焊点缺陷检测方法的步骤。

Images