CN110880175B - 一种焊点缺陷检测方法、系统以及设备 - Google Patents

Abstract

本发明公开了一种焊点缺陷检测方法、系统以及设备，本发明包括以下步骤：使用样本图像训练对抗生成模板生成网络以及感兴趣区域分类网络，样本图像进行裁剪获得训练样本；通过感兴趣区域分类网络获取训练样本中感兴趣区域的图像特征，计算对抗生成模板生成网络以及感兴趣区域分类网络的损失函数对网络进行优化；将焊点检测图像输入至对抗生成模板生成网络中得到对抗生成模板，获取检测图像的感兴趣区域图像以及局部对抗生成模板；将感兴趣区域图像以及局部对抗生成模板进行对比结果判断焊点检测图像的焊点缺陷。本发明能够突显焊接点位置处的缺陷像素，通过缺陷像素查找到焊接质量差的焊接点，提高焊接点检测的准确率。

Description

一种焊点缺陷检测方法、系统以及设备

技术领域

本发明涉及工业集成电路检测领域，尤其涉及一种焊点缺陷检测方法、系统以及设备。

背景技术

目前，印刷电路板正朝着集成化、微型化发展，使得在电路中大规模地采用集成芯片，以减少印刷电路板的电路规模。然而在芯片焊接的过程中，会存在一定数量的虚焊和漏焊点，导致电子设备异常甚至失效。因此，工业上需要一种高效的自动光学检测系统快速识别缺陷的i c焊点，以保证产品的可靠性。而随着PCB电路密度不断提高，芯片尺寸不断减少，这导致焊点缺陷特征占比越来越小，对I C焊点的检测愈加困难。

由于ic焊点图像尺寸小，正常焊点与缺陷焊点缺陷特征相似，目前一些研究人员提出了一种模板统计方法来实现i c焊点检测。但是，有限的固定模板并不能很好地代表所有缺陷，这导致焊点检测精度并不理想。而且目前的对焊点的检测方法不仅需要人工精心的提取合适的特征，还需要凭经验确定许多阈值，这使得难以应用于IC焊点检测。

综上所述，由于目前的焊点缺陷特征占比越来越小，对IC焊点的检测愈加困难。

发明内容

本发明提供了一种焊点缺陷检测方法、系统以及设备，解决了对IC焊点的检测愈加困难，检测的准确率难以提升的不足。

本发明提供的一种焊点缺陷检测方法，包括以下步骤：

步骤S1：使用样本图像训练对抗生成模板生成网络以及感兴趣区域分类网络，对样本图像进行裁剪获得训练样本；

步骤S2：通过感兴趣区域分类网络获取训练样本中感兴趣区域的图像特征，计算对抗生成模板生成网络以及感兴趣区域分类网络的损失函数；

步骤S3：根据损失函数对对抗生成模板生成网络以及感兴趣区域分类网络进行优化；

步骤S4：将焊点检测图像输入至对抗生成模板生成网络中得到对抗生成模板，获取检测图像的感兴趣区域图像以及局部对抗生成模板；

步骤S5：将感兴趣区域图像与局部对抗生成模板进行对比，根据对比结果判断焊点检测图像的焊点缺陷。

优选的，所述对抗生成模板生成网络采用编码器GE1、编码器E2、解码器GD以及判别器D1对输入的样本图像进行处理。

优选的，在步骤S2中，获取到样本图像特征后，标记出样本图像中焊接点位置信息，感兴趣区域分类网络根据输入训练样本图像中标记的位置信息，截取出训练样本图像中焊接点位置处的感兴趣区域作为感兴趣区域样本的正样本，并对训练样本图像的某一随机位置截取感兴趣区域作为负样本，再将感兴趣区域正样本以及负样本输入到感兴趣区域分类网络中，输出感兴趣区域为焊接点处位置的概率值。

优选的，在步骤S2中，对抗生成模板生成网络的损失函数包含对抗损失，内容损失、特征损失、局部对抗损失和局部分类损失。

优选的，内容损失通过计算对抗生成模板生成网络中输入图像和输出图像的L1距离来获得；

特征损失通过计算编码器GE1和编码器E2输出的高维特征的L1距离来获得；

对抗性损失通过判别器D1计算出的输入图像和输出图像的高维特征之间的L1距离来获得；

局部对抗损失通过局部判别器D2中提取输入图像和输出图像的第七层卷积层的感兴趣区域高维特征，再通过计算感兴趣区域的高维特征之间的L1距离来获得；

生成器G的整体损失函数如下所示：

L_G＝w_con*L_con+w_enc*L_enc+w_adv*L_adv+w_lacal-adv*L_local-adv+w_local-cn*L_local-cn

其中，w_con，w_enc、w_adv、w_local-adv、w_loacl-cn是分别为内容损失的权重、特征损失的权重、对抗损失的权重、局部对抗损失的权重、局部分类损失的权重；L_con、L_enc、L_adv、L_local-adv、L_local-cn分别为内容损失、特征损失、对抗损失、局部对抗损失、局部分类损失。

优选的，步骤S4的具体步骤如下：

步骤S401：将检测图像进行像素归一化操作，输入到训练好的对抗生成模板生成网络中得到对抗生成模板；

步骤S402：将对抗生成模板进行等间距滑动窗口裁剪，得到对抗生成模板具有感兴趣区域的位置信息的感兴趣图像；

步骤S403：将对抗生成模板的感兴趣图像输入感兴趣区域分类网络中获得局部对抗生成模板以及实际焊接点的位置信息；

步骤S404：利用得到实际焊接点的位置信息裁剪图像，得到检测图像的感兴趣区域图像。

优选的，步骤S5的具体步骤如下：

步骤S501：将检测图像的感兴趣区域图像和局部对抗生成模板由RGB颜色模式转换为HSV颜色模式，提取色度通道图像；

步骤S502：将色度通道图像进行减法运算获得差分图像，再通过定义二进制操作判断色度通道图像中的潜在缺陷像素；

步骤S503：累加缺陷像素，根据累加的缺陷像素判断焊点检测图像的焊点缺陷。

一种焊点缺陷检测系统，所述系统包括图像裁剪模块、对抗生成模板生成网络模块、感兴趣区域分类网络模块、损失函数计算模块、焊点检测模块；

所述图像裁剪模块用于对输入的图像进行裁剪；

所述对抗生成模板生成网络模块用于提供对抗生成模板生成网络；

所述感兴趣区域分类模块用于提供感兴趣区域分类网络模块；

所述的损失函数计算模块用于计算对抗生成模板生成网络模块以及感兴趣区域分类模块的损失函数；

所述的焊点检测模块用于根据对抗生成模板生成网络模块以及感兴趣区域分类模块输出的图像对焊点质量进行检测。

优选的，所述对抗生成模板生成网络模块包括：编码器GE1、编码器E2、解码器GD、判别器D1，所述GE1、E2、GD和D1由卷积神经网络所组成，所述编码器GE1和解码器GD共同构成生成器G；

所述生成器G用于生成一个与输入图像分布相同的合格图像；

所述编码器GE1用于对输入图像进行下采样，提取出输入图像的高维特征Z；

所述解码器GD用于根据编码器GE1提取出来的高维特征Z1，重构出合格的焊点模板；

所述判别器D1用于判断生成图像和样本图像，约束生成器G生成无法被判别真假的生成图像；

所述编码器E2用于提取生成图像的高维特征Z2，约束生成器G生成与输入样本高维特征相同的图像；

所述对抗生成模板生成网络模块还包括有局部判别器D2，所述的局部判别器D2由卷积神经网络所构成，用于判断出焊接点感兴趣区域的生成图像和样本图像，并得到局部对抗损失，用于约束生成器G的特征提取，并使其产生与样本图像特征相同的自适应对抗生成模板。

一种焊点缺陷检测设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-8任一项所述的一种焊点缺陷检测方法。

从以上技术方案可以看出，本发明具有以下优点：

本发明实施例提供的一种焊点缺陷检测方法能够根据完整的焊点图像，通过对对抗生成模板生成网络和感兴趣区域分类网络进行联合训练，自适应提取焊点图像焊接点区域的位置，并且基于焊接点处的外观特征，生成焊接点位置处的局部对抗生成模板。本发明能够突显焊接点位置处的缺陷像素，通过缺陷像素查找到焊接质量差的焊接点，提高焊接点检测的准确率。

本发明另一个实施例提供的一种焊点缺陷检测方法能够根据完整的焊点图像具有以下特点：

本发明实施例排除了传统模板方法中被引入的其他区域冗余虚警信息，实现任意外观任意转向的焊点图像的自适应精准分类。同时，本发明实施例不需要使用不合格的样本训练进行训练，解决了深度学习以及分类器方法存在的无法解决数据不平衡问题。而发明实施例所提出的方法只需要在检测流程中进行前向传播，即可获得合理对抗生成模板，既保留了自适应模板检测精度高、误判漏判低的特点，又使检测算法具有检测速度快，效率高的优势。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为一种焊点缺陷检测方法、系统以及设备的方法流程图。

图2为一种焊点缺陷检测方法、系统以及设备获取检测图像的感兴趣区域图像以及局部对抗生成模板的方法流程图。

图3为一种焊点缺陷检测方法、系统以及设备对焊点的质量进行检测的流程图。

图4为一种焊点缺陷检测方法、系统以及设备检测过程中的图像示意图。

具体实施方式

本发明实施例提供了一种焊点缺陷检测方法、系统以及设备，用于解决对IC焊点的检测愈加困难，检测的准确率难以提升的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例提供的一种焊点缺陷检测方法、系统以及设备的方法流程图。

目前，印刷电路板正朝着集成化、微型化发展，这使得电路中会使用大量的集成芯片，以减少印刷电路板的电路规模。然而在芯片焊接的过程中，会存在一定数量的虚焊和漏焊点，导致电子设备异常甚至失效。因此，工业上需要一种高效的自动光学检测系统快速识别缺陷的i c焊点，以保证产品的可靠性。目前的I C焊点的检测方式主要是通过相机采集焊点图像后进行视觉检测处理，然而在工业检测环境中，CCD采集到的图像往往会受到光源、相机、镜头等因素的影响，导致图像会呈现出多个方面不规则的变化，包括：光照强弱变化、光照角度变化、焊点方位和角度变化、焊点形状畸形、图像噪声等情况，而随着PCB电路密度不断提高，芯片尺寸不断减少，这导致焊点缺陷特征占比越来越小，与正常焊点的外观特征相似。这些因素造成了I C焊点检测困难，AOI系统检测准确率难以提高。因此提出一种基于对抗对抗生成模板生成网络的IC焊点检测方法，对提高电子行业检测水平具有重要的意义。

目前，大多数的IC焊点检测方法主要利用分类器和非分类器的方法，然而这些方法都具有一定的局限性和弊端。分类器的方法主要进行以下几个步骤：1)特征提取，人为手工的提取出多种分类特征，用于作为分类器的输入，2)训练分类器算法，常用的分类器算法包括:SVM、adaboost、决策树、多层感知机等，3)检测图像，将图像输入至训练好的分类器中，输出焊点预测分类。此类方法存在以下缺点1)人工提取分类特征，然而由于i c焊点的尺寸太小，而且正常焊点与缺陷焊点之间图像特征相似，因此很难手动提取出合适的分类特征，分类器分类效果差；2)分类器训练需要大量而且平衡的样本进行训练，然而在工业中焊点数据集往往是极其不平衡且数量小，分类器得到足够数量和平衡的样本进行训练。非分类器的方法主要是从焊点图像中人工精心提取若干子区域中的数字形状特征，例如颜色、面积、质心和连续像素等特征。然后利用不同子区域之间的关系，设计出一系列焊点类型判断的规则，判断焊点类型。然而，这种方法不仅需要人工精心的提取合适的特征，还需要凭经验确定许多阈值，这使得难以应用于I C焊点检测。

近年来，越来越多的研究人员致力于深度学习领域的研究。深度学习具有高鲁棒性，高精度和自学习的优点，因此越来越多地应用于计算机视觉检测领域。为了解决传统检测方法引起的特征提取和特征筛选问题，一些研究人员采用深度学习方法检测i c焊点检测。深度学习的主要步骤：1)数据集处理和扩充，包括翻转、旋转、亮度变化等，2)训练深度学习网络，利用训练样本训练深度学习网络，网络结构包括CNN、RNN等网络，3)输入检测图像，将检测图像输入至训练好的深度学习网络中，输出焊点分类。该方法能够自动提取出合理的分类特征，无需手动提取。但是该方法需要大量且平衡的训练样本，样本数量不足或合格与不平衡数量不均衡，会导致深度学习网络训练不稳定，导致网络训练失败。

如图1所示，本发明提供的一种焊点缺陷检测方法，包括以下步骤：

步骤S1：获取样本图像，标记出样本图像中的焊接点的位置信息，对样本图像进行像素归一化处理，使像素值为[-1,1]之间，并初始化对抗生成模板生成网络以及感兴趣区域分类网络的网络参数；使用样本图像训练对抗生成模板生成网络以及感兴趣区域分类网络，对样本图像进行裁剪获得训练样本；

步骤S2：通过感兴趣区域分类网络获取训练样本中感兴趣区域的图像特征，计算对抗生成模板生成网络以及感兴趣区域分类网络的损失函数；

步骤S3：计算好对抗生成模板生成网络以及感兴趣区域分类网络的损失函数后，根据损失函数对对抗生成模板生成网络以及感兴趣区域分类网络进行优化；不断的更新和迭代，当达到训练完成条件后，输出训练好的对抗生成模板生成网络以及感兴趣区域分类网络，训练好的对抗生成模板生成网络和感兴趣区域分类网络将用于之后的焊点图像检测过程；

步骤S4：将焊点检测图像输入至对抗生成模板生成网络中得到对抗生成模板，获取检测图像的感兴趣区域图像以及局部对抗生成模板；

步骤S5：将感兴趣区域图像以及局部对抗生成模板进行对比，根据对比结果判断焊点检测图像的焊点缺陷。

优选的，在步骤S2中，通过自适应模板生成感兴趣区域分类网络，在焊点检测过程中，对抗生成模板生成网络能够生成与输入图像特征相似的完整合格焊点图像，但是由于只有焊接点位置包含缺陷信息，而其他部分均为检测冗余信息，因此设计了感兴趣区域分类网络，用于判断出局部图像是否为焊接点区域。

作为一个优选的实施例，所述对抗生成模板生成网络采用编码器GE1、编码器E2、解码器GD以及判别器D1对输入的样本图像进行处理。

在获取到样本图像特征后，标记出合格样本图像中焊接点位置信息，感兴趣区域分类网络根据输入训练样本图像中标记的位置信息，截取出训练样本图像中焊接点位置处的感兴趣区域图像作为感兴趣区域样本的正样本，并对训练样本图像的某一随机位置截取感兴趣区域图像作为负样本，再将感兴趣区域图像正样本以及负样本输入到感兴趣区域分类网络中，输出感兴趣区域为焊接点处位置的概率值。

作为一个优选的实施例，在步骤S2中，对抗生成模板生成网络的损失函数包含对抗损失，内容损失、特征损失、局部对抗损失和局部分类损失。

作为一个优选的实施例，内容损失通过计算输入图像和输出图像的L1距离来获得；它能够约束输出图像与样本图像在低维特征分布中相等，内容损失的计算公式为：L_con＝||x-G(x)||₁

其中，x代表经过归一化后的训练样本，G(x)代表输入为训练样本x时生成器G所输出的对抗生成模板，||||₁代表计算训练样本和对抗生成模板的L1距离；

特征损失通过计算编码器GE1和编码器E2输出的高维特征的L1距离来获得；它能够约束输出图像与样本图像在高维特征分布中相等，特征损失的公式为：

L_enc＝||G_E1(x)-E₂(G(x))||₁

其中，x代表经过归一化后的训练样本，G_E1(x)代表生成器G中编码器GE1所提取的训练样本x的高维特征，G(x)代表输入为训练样本x时生成器G所输出的对抗生成模板，E₂(G(x))代表编码器E2所提取的对抗生成模板G(x)的高维特征，||||₁代表计算训练样本高维特征和对抗生成模板高维特征的L1距离。

对抗性损失通过判别器D1计算出的训练样本和输出图像的高维特征之间的L1距离来获得；将训练样本和输出图像输入到判别器D1。之后，提取判别器D1的第七层高维特征，并且通过计算高维特征之间的L1距离来获得对抗性损失。对抗性损失不仅降低了训练的不稳定性，而且还限制了生成器G产生与训练样本特征的分布相匹配的图像，从而确保生成的图像是合格的图像。对抗损失公式为：

L_adv＝||D₁ ⁽⁷⁾(x)-D₁ ⁽⁷⁾(G(x))||₁

其中，x代表经过归一化后的训练样本，D₁代表判别器D1，D₁ ⁽⁷⁾(x)代表输入为训练样本x时判别器D1中第7层卷积输出的对抗特征，G(x)代表输入为训练样本x时生成器G所输出的对抗生成模板，D₁ ⁽⁷⁾(G(x))代表输入为对抗生成模板时判别器D1中第7层卷积输出的对抗特征，||||₁代表计算训练样本的对抗特征和对抗生成模板的对抗特征的L1距离。

局部对抗损失通过局部判别器D2中提取训练样本和输出图像的第七层卷积层的感兴趣区域高维特征，再通过计算感兴趣区域的高维特征之间的L1距离来获得；局部对抗损失的公式为：

L_local-adv＝||D₂ ⁽⁷⁾(x)-D₂ ⁽⁷⁾(G(x))||₁

其中，x代表经过归一化后的训练样本，D₂代表局部判别器D2，D₂ ⁽⁷⁾(x)代表输入为训练样本x时局部判别器D2中第7层卷积输出的局部对抗特征，G(x)代表输入为训练样本x时生成器G所输出的对抗生成模板，D₂ ⁽⁷⁾(G(x))代表输入为对抗生成模板时局部判别器D2中第7层卷积输出的局部对抗特征，||||₁代表计算训练样本的局部对抗特征和对抗生成模板局部对抗特征的L1距离。

局部分类损失是将局部对抗生成模板输入到感兴趣区域分类网络中，计算局部对抗生成模板的焊接点图像的分类损失，用于约束对抗生成模板生成网络生成能够被分类网络正确分类的合格焊接点图像，局部分类损失L_local-cn的公式为：

其中，n代表输入的训练样本数量，G^ROI(x_i)代表输入第i个训练样本x_i后生成器G输出的对抗生成模板的焊接点处感兴趣图像，

表示感兴趣区域图像的标签，

表示输入感兴趣区域图像后感兴趣区域分类网络输出的概率。

生成器G的整体损失函数如下所示：

L_G＝w_con*L_con+w_enc*L_enc+w_adv*L_adv+w_lacal-adv*L_local-adv+w_local-cn*L_local-cn

其中，w_con，w_enc、w_adv、w_local-adv、w_loacl-cn是分别为内容损失的权重、特征损失的权重、对抗损失的权重、局部对抗损失的权重、局部分类损失的权重；L_con、L_enc、L_adv、L_local-adv、L_local-cn分别为内容损失、特征损失、对抗损失、局部对抗损失、局部分类损失；

感兴趣区域分类网络的损失函数L_cn如下所示，通过损失函数的优化，感兴趣区域分类网络能够提取出焊接点区域的图像特征，正确分类焊接点感兴趣区域图像；

其中，n代表输入的训练样本数量，

代表输入第i个训练样本x_i的焊接点处感兴趣区域图像的标签,

表示输入感兴趣区域图像后感兴趣区域分类网络输出的概率。

判别器D1和局部判别器D2损失函数利用LS-GAN中的判别器函数，防止系统崩溃并加速模型收敛，判别器D1和局部判别器D2的损失函数如下所示：

其中，x代表经过归一化后的训练样本，D₁代表判别器D1，D₂代表局部判别器D2，D₁(x)代表输入为训练样本时判别器D1输出的概率，D₁(G(x))代表输入对抗生成模板后判别器D1输出的概率；D₂(x)代表输入训练样本后局部判别器D2输出的概率，D₂(G(x))代表输入对抗生成模板的焊接点处感兴趣图像后局部判别器D2输出的概率；||||₂为计算两者之间的L2距离。

作为一个优选的实施例，如图2和图4所示，其中，图4中的(a)部分为合格的检测样本，图4中的(g)部分为不合格的检测样本，图4中的(b)部分为图4中的(a)部分样本生成的对抗生成模板，图4中的(h)部分为图4中的(g)部分样本生成的对抗生成模板，图4中的(c)部分和图4中的(i)部分分别为图4中的(a)部分和图4中的(g)部分的焊接点感兴趣区域图像，图4中的(d)部分和图4中的(j)部分分别为通过图4中的(b)部分和图4中的(h)部分获得的局部对抗生成模板，图4中的(e)部分为图4中的(c)部分和图4中的(d)部分色度的通道差分获得差分图像；图4中的(k)部分为图4中的(i)部分和图4中的(j)部分的色度通道差分获得差分图像，图4中的(f)部分和图4中的(l)部分分别为图4中的(e)部分和图4中的(k)部分阈值法之后的二值化图像。步骤S4的具体步骤如下：

步骤S401：将检测图像进行像素归一化操作，输入到训练好的对抗生成模板生成网络中得到对抗生成模板；由于对抗生成模板生成网络仅仅使用合格的焊点图像样本进行训练，并没有对缺陷样本进行学习。因此，训练好的对抗生成模板生成网络并不能提取和重建的缺陷信息，使得不管输入图像是合格的焊点还是缺陷焊点，生成效果如图4中的(b)部分和图4中的(h)部分所示。都只能利用图像信息重建出合格的没有缺陷特征的焊点。图像经过对抗生成模板生成网络中的编码器GE1，会自动提取检测图像中的外观图像特征，之后将图像特征输入到解码器GD，使其重建出与检测图像外观特征相似，但不包含缺陷像素的对抗生成模板。

步骤S402：由于在完整的图像中只有焊接点位置包含缺陷信息，而其他部分都是冗余信息，因此需要提取检测图像和检测模板的焊接点区域作为感兴趣区域，减少冗余信息对检测效果的影响，因此利用了训练好的感兴趣区域分类网络实现感兴趣区域的提取。而由于网络都是用合格样本进行训练，因此在获取感兴趣区域图像的过程中，无法对可能包含缺陷信息的检测图像进行判断，只能利用无缺陷信息的模板图像进行感兴趣判断将对抗生成模板进行等间距滑动窗口裁剪，得到对抗生成模板具有感兴趣区域的位置信息的感兴趣图像；

步骤S403：将对抗生成模板的感兴趣图像输入感兴趣区域分类网络中，感兴趣区域分类网络将判断出当前对抗生成模板的感兴趣区域图像，获得局部对抗生成模板，局部对抗生成模板如图4中的(d)部分和图4中的(j)部分所示。同时也得到焊接点图像的位置信息。之后再利用得到的焊接点位置信息裁剪检测图像，从而得到实际焊接点的位置信息裁剪图像。

步骤S404：利用得到实际焊接点的位置信息裁剪图像，得到检测图像的感兴趣区域图像。检测图像的焊接点感兴趣区域图像如图c和图i所示。

优选的，如图3所示，步骤S5的具体步骤如下：

步骤S501：由于缺陷信息主要表示为颜色特征的差异，因此将检测图像的感兴趣区域图像和局部对抗生成模板由RGB颜色模式转换为HSV颜色模式，提取色度通道图像，减少图像亮度和色度对检测效果的影响；

步骤S502：将色度通道图像进行减法运算获得差分图像，差分图像的显示效果如图e和图k所示，再通过定义二进制操作判断色度通道图像中的潜在缺陷像素，缺陷像素如如图f和l所示，白色区域均为判断出来的潜在缺陷像素，像素判断过程可用如下公式进行判断：

其中，b是二值化图像，它表示焊点图像的潜在缺陷像素；(i,j)代表图像像素位置；X_H(i,j)表示对检测图像的焊接点感兴趣区域图像X提取色度通道H后在(i,j)位置处的像素值大小；Y表示检测图像X经过生成器G后得到的局部对抗生成模板；Y_H(i,j)表示对局部对抗生成模板Y提取色度通道H后在(i,j)位置处的像素值大小，R为判断缺陷像素点的阈值。

步骤S503：累加缺陷像素，根据累加的缺陷像素判断焊点检测图像的焊点缺陷，具体公式如下：

其中，DS代表缺陷分数，它通过对缺陷像素点进行累加，获得潜在缺陷像素点的数量。H代表感兴趣区域图像的高；W代表感兴趣区域图像的宽；b(i,j)代表二值化图像在(i,j)位置处的像素值大小。

其中，IS表示检测分数，用于表示焊点质量；DS代表缺陷分数；T代表缺陷判断的阈值。

一种焊点缺陷检测系统，所述系统包括图像裁剪模块、对抗生成模板生成网络模块、感兴趣区域分类网络模块、损失函数计算模块、焊点检测模块；

所述图像裁剪模块用于对输入的图像进行裁剪；

所述对抗生成模板生成网络模块用于提供对抗生成模板生成网络；

所述感兴趣区域分类模块用于提供感兴趣区域分类网络；

所述的损失函数计算模块用于计算对抗生成模板生成网络模块以及感兴趣区域分类模块的损失函数；

所述的焊点检测模块用于根据对抗生成模板生成网络模块以及感兴趣区域分类模块输出的图像对焊点质量进行检测。

作为一个优选的实施例，所述对抗生成模板生成网络包括：编码器GE1、编码器E2、解码器GD以及判别器D1，所述编码器GE1、编码器E2、解码器GD以及判别器D1由卷积神经网络所组成，所述编码器GE1和解码器GD共同构成生成器G；

所述生成器G用于生成一个与输入图像分布相同的合格图像，所述生成器由一个GaN网络构成；

所述编码器GE1用于对输入图像进行下采样，提取出输入图像的高维特征Z；

所述解码器GD用于根据编码器GE1提取出来的高维特征Z1，重构出合格的焊点模板；

所述判别器D1用于判断生成图像和样本图像，约束生成器G生成无法被判别真假的生成图像；

所述编码器E2用于提取生成图像的高维特征Z2，约束生成器G生成与输入样本高维特征相同的图像；编码器E2的卷积网络参数与编码器GE1相同，但作用不同；

所述生成器G用于生成一个与输入图像分布相同的合格图像，而不能被判别器D1识别；同时，需要对判别器D1进行连续优化，以区分由发生器G生成的假图像；

所述对抗生成模板生成网络还包括有局部判别器D2，为了约束对抗生成模板生成网络生成更具真实合格焊接点特征的合格图像。构建了一个局部判别器D2用于判断焊接点感兴趣区域的对抗生成模板生成网络的生成图像和样本图像。由于生成图像是由输入图像的图像特征重构得到的，拥有相似的外观特征，因此输入图像和生成图像都具有相同的焊接点位置。根据样本中标记的位置信息，截取出生成图像焊接点位置的感兴趣区域图像。所述的局部判别器D2由卷积神经网络所构成，用于判断出焊接点感兴趣区域的生成图像和样本图像，并得到局部对抗损失，用于约束生成器G的特征提取，并使其产生与样本图像特征相同的自适应对抗生成模板。

一种焊点缺陷检测设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述的一种焊点缺陷检测方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种焊点缺陷检测方法，其特征在于，包括以下步骤：

步骤S1：使用样本图像训练对抗生成模板生成网络以及感兴趣区域分类网络，对样本图像进行裁剪获得训练样本；

步骤S2：通过感兴趣区域分类网络获取训练样本中感兴趣区域的图像特征，计算对抗生成模板生成网络以及感兴趣区域分类网络的损失函数；

步骤S3：根据损失函数对对抗生成模板生成网络以及感兴趣区域分类网络进行优化；

步骤S4：将焊点检测图像输入至对抗生成模板生成网络中得到对抗生成模板，获取焊点检测图像的感兴趣区域图像以及局部对抗生成模板；其中，步骤S4具体包括：

步骤S401：将检测图像进行像素归一化操作，输入到训练好的对抗生成模板生成网络中得到对抗生成模板；

步骤S402：将对抗生成模板进行等间距滑动窗口裁剪，得到对抗生成模板具有感兴趣区域的位置信息的感兴趣图像；

步骤S403：将对抗生成模板的感兴趣图像输入感兴趣区域分类网络中获得局部对抗生成模板以及实际焊接点的位置信息；其中，所述感兴趣区域分类网络的损失函数L_cn为：

其中，n代表输入的训练样本数量，

代表输入第i个训练样本x_i的焊接点处感兴趣区域图像的标签,

表示输入感兴趣区域图像后感兴趣区域分类网络输出的概率；

步骤S404：利用得到实际焊接点的位置信息裁剪图像，得到检测图像的感兴趣区域图像；

步骤S5：将感兴趣区域图像与局部对抗生成模板进行对比，根据对比结果判断焊点检测图像的焊点缺陷；其中，步骤S5具体包括：

步骤S501：将所述感兴趣区域图像和所述局部对抗生成模板由RGB颜色模式转换为HSV颜色模式，得到色度通道图像；

步骤S502：将色度通道图像进行减法运算获得差分图像，再通过定义二进制操作判断色度通道图像中的潜在缺陷像素：

其中，b是二值化图像，它表示焊点图像的潜在缺陷像素；(i,j)代表图像像素位置；X_H(i,j)表示对检测图像的焊接点感兴趣区域图像X提取色度通道H后在(i,j)位置处的像素值大小；Y表示检测图像X经过生成器G后得到的局部对抗生成模板；Y_H(i,j)表示对局部对抗生成模板Y提取色度通道H后在(i,j)位置处的像素值大小，R为判断缺陷像素点的阈值；

步骤S503：累加缺陷像素，根据累加的缺陷像素判断焊点检测图像的焊点缺陷，具体公式如下：

其中，DS代表缺陷分数，它通过对缺陷像素点进行累加，获得潜在缺陷像素点的数量；H代表感兴趣区域图像的高；W代表感兴趣区域图像的宽；b(i,j)代表二值化图像在(i,j)位置处的像素值大小；

其中，IS表示检测分数，用于表示焊点质量；DS代表缺陷分数；T代表缺陷判断的阈值。

2.根据权利要求1所述的一种焊点缺陷检测方法，其特征在于，所述对抗生成模板生成网络采用编码器GE1、编码器E2、解码器GD以及判别器D1对输入的样本图像进行处理。

3.根据权利要求1所述的一种焊点缺陷检测方法，其特征在于，在步骤S2中，获取到样本的图像特征后，标记出样本图像中焊接点位置信息，感兴趣区域分类网络根据输入训练样本图像中标记的位置信息，截取出训练样本图像中焊接点位置处的感兴趣区域作为感兴趣区域样本的正样本，并对训练样本图像的某一随机位置截取感兴趣区域作为负样本，再将感兴趣区域正样本以及负样本输入到感兴趣区域分类网络中，输出感兴趣区域为焊接点处位置的概率值。

4.根据权利要求3所述的一种焊点缺陷检测方法，其特征在于，在步骤S2中，对抗生成模板生成网络的损失函数包含对抗损失，内容损失、特征损失、局部对抗损失和局部分类损失。

5.根据权利要求4所述的一种焊点缺陷检测方法，其特征在于，内容损失通过计算对抗生成模板生成网络中输入图像和输出图像的L1距离来获得；

特征损失通过计算编码器GE1和编码器E2输出的高维特征的L1距离来获得；

对抗性损失通过判别器D1计算出的输入图像和输出图像的高维特征之间的L1距离来获得；

局部对抗损失通过局部判别器D2中提取输入图像和输出图像的第七层卷积层的感兴趣区域高维特征，再通过计算感兴趣区域的高维特征之间的L1距离来获得；

生成器G的整体损失函数如下所示：

L_G＝w_con*L_con+w_enc*L_enc+w_adv*L_adv+w_lacal-adv*L_local-adv+w_local-cn*L_local-cn

其中，w_con，w_enc、w_adv、w_local-adv、w_loacl-cn是分别为内容损失的权重、特征损失的权重、对抗损失的权重、局部对抗损失的权重、局部分类损失的权重；L_con、L_enc、L_adv、L_local-adv、L_local-cn分别为内容损失、特征损失、对抗损失、局部对抗损失、局部分类损失。

6.一种焊点缺陷检测系统，其特征在于，所述系统包括图像裁剪模块、对抗生成模板生成网络模块、感兴趣区域分类网络模块、损失函数计算模块、焊点检测模块；

所述图像裁剪模块用于对输入的图像进行裁剪；

所述对抗生成模板生成网络模块用于提供对抗生成模板生成网络；

所述感兴趣区域分类模块用于提供感兴趣区域分类网络模块；

所述损失函数计算模块用于计算对抗生成模板生成网络模块以及感兴趣区域分类模块的损失函数；其中，所述损失函数计算模块具体用于：

将检测图像进行像素归一化操作，输入到训练好的对抗生成模板生成网络中得到对抗生成模板；

将对抗生成模板进行等间距滑动窗口裁剪，得到对抗生成模板具有感兴趣区域的位置信息的感兴趣图像；

将对抗生成模板的感兴趣图像输入感兴趣区域分类网络中获得局部对抗生成模板以及实际焊接点的位置信息；其中，所述感兴趣区域分类网络的损失函数L_cn为：

其中，n代表输入的训练样本数量，

代表输入第i个训练样本x_i的焊接点处感兴趣区域图像的标签,

表示输入感兴趣区域图像后感兴趣区域分类网络输出的概率；

利用得到实际焊接点的位置信息裁剪图像，得到检测图像的感兴趣区域图像；

所述的焊点检测模块用于根据对抗生成模板生成网络模块以及感兴趣区域分类模块输出的图像对焊点质量进行检测；其中，所述的焊点检测模块具体用于：

将所述感兴趣区域图像和所述局部对抗生成模板由RGB颜色模式转换为HSV颜色模式，得到色度通道图像；

将色度通道图像进行减法运算获得差分图像，再通过定义二进制操作判断色度通道图像中的潜在缺陷像素：

其中，b是二值化图像，它表示焊点图像的潜在缺陷像素；(i,j)代表图像像素位置；X_H(i,j)表示对检测图像的焊接点感兴趣区域图像X提取色度通道H后在(i,j)位置处的像素值大小；Y表示检测图像X经过生成器G后得到的局部对抗生成模板；Y_H(i,j)表示对局部对抗生成模板Y提取色度通道H后在(i,j)位置处的像素值大小，R为判断缺陷像素点的阈值；

累加缺陷像素，根据累加的缺陷像素判断焊点检测图像的焊点缺陷，具体公式如下：

其中，DS代表缺陷分数，它通过对缺陷像素点进行累加，获得潜在缺陷像素点的数量；H代表感兴趣区域图像的高；W代表感兴趣区域图像的宽；b(i,j)代表二值化图像在(i,j)位置处的像素值大小；

其中，IS表示检测分数，用于表示焊点质量；DS代表缺陷分数；T代表缺陷判断的阈值。

7.根据权利要求6所述的一种焊点缺陷检测系统，其特征在于，所述对抗生成模板生成网络模块包括：编码器GE1、编码器E2、解码器GD、判别器D1，所述编码器GE1、编码器E2、解码器GD和判别器D1由卷积神经网络所组成，所述编码器GE1和解码器GD共同构成生成器G；

所述生成器G用于生成一个与输入图像分布相同的合格图像；

所述编码器GE1用于对输入图像进行下采样，提取出输入图像的高维特征Z；

所述解码器GD用于根据编码器GE1提取出来的高维特征Z1，重构出合格的焊点模板；

所述判别器D1用于判断生成图像和样本图像，约束生成器G生成无法被判别真假的生成图像；

所述编码器E2用于提取生成图像的高维特征Z2，约束生成器G生成与输入样本高维特征相同的图像；

所述对抗生成模板生成网络模块还包括有局部判别器D2，所述的局部判别器D2由卷积神经网络所构成，用于判断出焊接点感兴趣区域的生成图像和样本图像，并得到局部对抗损失，用于约束生成器G的特征提取，并使其产生与样本图像特征相同的自适应对抗生成模板。

8.一种焊点缺陷检测设备，其特征在于，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-6任一项所述的一种焊点缺陷检测方法。

Images