CN110880175A - 一种焊点缺陷检测方法、系统以及设备 - Google Patents

Abstract

本发明公开了一种焊点缺陷检测方法、系统以及设备，本发明包括以下步骤：使用样本图像训练对抗生成模板生成网络以及感兴趣区域分类网络，样本图像进行裁剪获得训练样本；通过感兴趣区域分类网络获取训练样本中感兴趣区域的图像特征，计算对抗生成模板生成网络以及感兴趣区域分类网络的损失函数对网络进行优化；将焊点检测图像输入至对抗生成模板生成网络中得到对抗生成模板，获取检测图像的感兴趣区域图像以及局部对抗生成模板；将感兴趣区域图像以及局部对抗生成模板进行对比结果判断焊点检测图像的焊点缺陷。本发明能够突显焊接点位置处的缺陷像素，通过缺陷像素查找到焊接质量差的焊接点，提高焊接点检测的准确率。

Description

一种焊点缺陷检测方法、系统以及设备

技术领域

本发明涉及工业集成电路检测领域，尤其涉及一种焊点缺陷检测方法、 系统以及设备。

背景技术

目前，印刷电路板正朝着集成化、微型化发展，使得在电路中大规模地 采用集成芯片，以减少印刷电路板的电路规模。然而在芯片焊接的过程中， 会存在一定数量的虚焊和漏焊点，导致电子设备异常甚至失效。因此，工业 上需要一种高效的自动光学检测系统快速识别缺陷的ic焊点，以保证产品的 可靠性。而随着PCB电路密度不断提高，芯片尺寸不断减少，这导致焊点缺 陷特征占比越来越小，对IC焊点的检测愈加困难。

由于ic焊点图像尺寸小，正常焊点与缺陷焊点缺陷特征相似，目前一些 研究人员提出了一种模板统计方法来实现ic焊点检测。但是，有限的固定模 板并不能很好地代表所有缺陷，这导致焊点检测精度并不理想。而且目前的 对焊点的检测方法不仅需要人工精心的提取合适的特征，还需要凭经验确定 许多阈值，这使得难以应用于IC焊点检测。

综上所述，由于目前的焊点缺陷特征占比越来越小，对IC焊点的检测愈 加困难。

发明内容

本发明提供了一种焊点缺陷检测方法、系统以及设备，解决了对IC焊点 的检测愈加困难，检测的准确率难以提升的不足。

本发明提供的一种焊点缺陷检测方法，包括以下步骤：

步骤S1：使用样本图像训练对抗生成模板生成网络以及感兴趣区域分类 网络，对样本图像进行裁剪获得训练样本；

步骤S2：通过感兴趣区域分类网络获取训练样本中感兴趣区域的图像特 征，计算对抗生成模板生成网络以及感兴趣区域分类网络的损失函数；

步骤S3：根据损失函数对对抗生成模板生成网络以及感兴趣区域分类网 络进行优化；

步骤S4：将焊点检测图像输入至对抗生成模板生成网络中得到对抗生成 模板，获取检测图像的感兴趣区域图像以及局部对抗生成模板；

步骤S5：将感兴趣区域图像与局部对抗生成模板进行对比，根据对比结 果判断焊点检测图像的焊点缺陷。

优选的，所述对抗生成模板生成网络采用编码器GE1、编码器E2、解码 器GD以及鉴别器D1对输入的样本图像进行处理。

优选的，在步骤S2中，获取到样本图像特征后，标记出样本图像中焊接 点位置信息，感兴趣区域分类网络根据输入训练样本图像中标记的位置信息， 截取出训练样本图像中焊接点位置处的感兴趣区域作为感兴趣区域样本的正 样本，并对训练样本图像的某一随机位置截取感兴趣区域作为负样本，再将 感兴趣区域正样本以及负样本输入到感兴趣区域分类网络中，输出感兴趣区 域为焊接点处位置的概率值。

优选的，在步骤S2中，对抗生成模板生成网络的损失函数包含对抗损失， 内容损失、特征损失、局部对抗损失和局部分类损失。

优选的，内容损失通过计算对抗生成模板生成网络中输入图像和输出图 像的L1距离来获得；

特征损失通过计算编码器GE1和编码器E2输出的高维特征的L1距离来 获得；

对抗性损失通过判别器D1计算出的输入图像和输出图像的高维特征之间 的L1距离来获得；

局部对抗损失通过局部判别器D2中提取输入图像和输出图像的第七层卷 积层的感兴趣区域高维特征，再通过计算感兴趣区域的高维特征之间的L1距 离来获得；

生成器G的整体损失函数如下所示：

L_G＝w_con*L_con+w_enc*L_enc+w_adv*L_adv+w_lacal-adv*L_local-adv+w_local-cn*L_local-cn

其中，w_con，w_enc、w_adv、w_local-adv、w_loacl-cn是分别为内容损失的权重、特 征损失的权重、对抗损失的权重、局部对抗损失的权重、局部分类损失的权 重；L_con、L_enc、L_adv、L_local-adv、L_local-cn分别为内容损失、特征损失、对抗损 失、局部对抗损失、局部分类损失。

优选的，步骤S4的具体步骤如下：

步骤S401：将检测图像进行像素归一化操作，输入到训练好的对抗生 成模板生成网络中得到对抗生成模板；

步骤S402：将对抗生成模板进行等间距滑动窗口裁剪，得到对抗生成 模板具有感兴趣区域的位置信息的感兴趣图像；

步骤S403：将对抗生成模板的感兴趣图像输入感兴趣区域分类网络中 获得局部对抗生成模板以及实际焊接点的位置信息；

步骤S404：利用得到实际焊接点的位置信息裁剪图像，得到检测图像 的感兴趣区域图像。

优选的，步骤S5的具体步骤如下：

步骤S501：将检测图像的感兴趣区域图像和局部对抗生成模板由RGB 颜色模式转换为HSV颜色模式，提取色度通道图像；

步骤S502：将色度通道图像进行减法运算获得差分图像，再通过定义 二进制操作判断色度通道图像中的潜在缺陷像素；

步骤S503：累加缺陷像素，根据累加的缺陷像素判断焊点检测图像的 焊点缺陷。

一种焊点缺陷检测系统，所述系统包括图像裁剪模块、对抗生成模板生 成网络模块、感兴趣区域分类网络模块、损失函数计算模块、焊点检测模块；

所述图像裁剪模块用于对输入的图像进行裁剪；

所述对抗生成模板生成网络模块用于提供对抗生成模板生成网络；

所述感兴趣区域分类模块用于提供感兴趣区域分类网络模块；

所述的损失函数计算模块用于计算对抗生成模板生成网络模块以及感兴 趣区域分类模块的损失函数；

所述的焊点检测模块用于根据对抗生成模板生成网络模块以及感兴趣区 域分类模块输出的图像对焊点质量进行检测。

优选的，所述对抗生成模板生成网络模块包括：编码器GE1、编码器E2、 解码器GD、鉴别器D1，所述GE1、E2、GD和D1由卷积神经网络所组成，所 述编码器GE1和解码器GD共同构成生成器G；

所述生成器G用于生成一个与输入图像分布相同的合格图像；

所述编码器GE1用于对输入图像进行下采样，提取出输入图像的高维特 征Z；

所述解码器GD用于根据编码器GE1提取出来的高维特征Z1，重构出合格 的焊点模板；

所述判别器D1用于判断生成图像和样本图像，约束生成器G生成无法被 判别真假的生成图像；

所述编码器E2用于提取生成图像的高维特征Z2，约束生成器G生成与输 入样本高维特征相同的图像；

所述对抗生成模板生成网络模块还包括有局部判别器D2，所述的局部判 别器D2由卷积神经网络所构成，用于判断出焊接点感兴趣区域的生成图像和 样本图像，并得到局部对抗损失，用于约束生成器G的特征提取，并使其产 生与样本图像特征相同的自适应对抗生成模板。

一种焊点缺陷检测设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-8任一项所 述的一种焊点缺陷检测方法。

从以上技术方案可以看出，本发明具有以下优点：

本发明实施例提供的一种焊点缺陷检测方法能够根据完整的焊点图像， 通过对对抗生成模板生成网络和感兴趣区域分类网络进行联合训练，自适应 提取焊点图像焊接点区域的位置，并且基于焊接点处的外观特征，生成焊接 点位置处的局部对抗生成模板。本发明能够突显焊接点位置处的缺陷像素， 通过缺陷像素查找到焊接质量差的焊接点，提高焊接点检测的准确率。

本发明另一个实施例提供的一种焊点缺陷检测方法能够根据完整的焊点 图像具有以下特点：

本发明实施例排除了传统模板方法中被引入的其他区域冗余虚警信息， 实现任意外观任意转向的焊点图像的自适应精准分类。同时，本发明实施例 不需要使用不合格的样本训练进行训练，解决了深度学习以及分类器方法存 在的无法解决数据不平衡问题。而发明实施例所提出的方法只需要在检测流 程中进行前向传播，即可获得合理对抗生成模板，既保留了自适应模板检测 精度高、误判漏判低的特点，又使检测算法具有检测速度快，效率高的优 势。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为一种焊点缺陷检测方法、系统以及设备的方法流程图。

图2为一种焊点缺陷检测方法、系统以及设备获取检测图像的感兴趣区 域图像以及局部对抗生成模板的方法流程图。

图3为一种焊点缺陷检测方法、系统以及设备对焊点的质量进行检测的 流程图。

图4为一种焊点缺陷检测方法、系统以及设备检测过程中的图像示意图。

其中，图a为合格的检测样本，图g为不合格的检测样本，图b为图a 样本生成的对抗生成模板，图h为图g样本生成的对抗生成模板，图c和图i 分别为图a和图g的焊接点感兴趣区域图像，图d和图j分别为通过图b和 图h获得的局部对抗生成模板，图e为图c和图d色度的通道差分获得差分 图像；图k为图i和图j的色度通道差分获得差分图像，图f和图I分别为 图e和图k阈值法之后的二值化图像。

具体实施方式

本发明实施例提供了一种焊点缺陷检测方法、系统以及设备，用于解决 对IC焊点的检测愈加困难，检测的准确率难以提升的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将 结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整 地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部 的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性 劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例提供的一种焊点缺陷检测方法、系统以 及设备的方法流程图。

目前，印刷电路板正朝着集成化、微型化发展，这使得电路中会使用大 量的集成芯片，以减少印刷电路板的电路规模。然而在芯片焊接的过程中， 会存在一定数量的虚焊和漏焊点，导致电子设备异常甚至失效。因此，工业 上需要一种高效的自动光学检测系统快速识别缺陷的ic焊点，以保证产品的 可靠性。目前的IC焊点的检测方式主要是通过相机采集焊点图像后进行视觉 检测处理，然而在工业检测环境中，CCD采集到的图像往往会受到光源、相机、 镜头等因素的影响，导致图像会呈现出多个方面不规则的变化，包括：光照强弱变化、光照角度变化、焊点方位和角度变化、焊点形状畸形、图像噪声 等情况，而随着PCB电路密度不断提高，芯片尺寸不断减少，这导致焊点缺 陷特征占比越来越小，与正常焊点的外观特征相似。这些因素造成了IC焊点 检测困难，AOI系统检测准确率难以提高。因此提出一种基于对抗对抗生成模 板生成网络的IC焊点检测方法，对提高电子行业检测水平具有重要的意义。

目前，大多数的IC焊点检测方法主要利用分类器和非分类器的方法，然 而这些方法都具有一定的局限性和弊端。分类器的方法主要进行以下几个步 骤：1)特征提取，人为手工的提取出多种分类特征，用于作为分类器的输入， 2)训练分类器算法，常用的分类器算法包括:SVM、adaboost、决策树、多层 感知机等，3)检测图像，将图像输入至训练好的分类器中，输出焊点预测分 类。此类方法存在以下缺点1)人工提取分类特征，然而由于ic焊点的尺寸 太小，而且正常焊点与缺陷焊点之间图像特征相似，因此很难手动提取出合 适的分类特征，分类器分类效果差；2)分类器训练需要大量而且平衡的样本 进行训练，然而在工业中焊点数据集往往是极其不平衡且数量小，分类器得 到足够数量和平衡的样本进行训练。非分类器的方法主要是从焊点图像中人 工精心提取若干子区域中的数字形状特征，例如颜色、面积、质心和连续像 素等特征。然后利用不同子区域之间的关系，设计出一系列焊点类型判断的 规则，判断焊点类型。然而，这种方法不仅需要人工精心的提取合适的特征， 还需要凭经验确定许多阈值，这使得难以应用于IC焊点检测。

近年来，越来越多的研究人员致力于深度学习领域的研究。深度学习具 有高鲁棒性，高精度和自学习的优点，因此越来越多地应用于计算机视觉检 测领域。为了解决传统检测方法引起的特征提取和特征筛选问题，一些研究 人员采用深度学习方法检测ic焊点检测。深度学习的主要步骤：1)数据集 处理和扩充，包括翻转、旋转、亮度变化等，2)训练深度学习网络，利用训 练样本训练深度学习网络，网络结构包括CNN、RNN等网络，3)输入检测图 像，将检测图像输入至训练好的深度学习网络中，输出焊点分类。该方法能 够自动提取出合理的分类特征，无需手动提取。但是该方法需要大量且平衡 的训练样本，样本数量不足或合格与不平衡数量不均衡，会导致深度学习网 络训练不稳定，导致网络训练失败。

如图1所示，本发明提供的一种焊点缺陷检测方法，包括以下步骤：

步骤S1：获取样本图像，标记出样本图像中的焊接点的位置信息，对样 本图像进行像素归一化处理，使像素值为[-1,1]之间，并初始化对抗生成模 板生成网络以及感兴趣区域分类网络的网络参数；使用样本图像训练对抗生 成模板生成网络以及感兴趣区域分类网络，对样本图像进行裁剪获得训练样 本；

步骤S2：通过感兴趣区域分类网络获取训练样本中感兴趣区域的图像特 征，计算对抗生成模板生成网络以及感兴趣区域分类网络的损失函数；

步骤S3：计算好对抗生成模板生成网络以及感兴趣区域分类网络的损失 函数后，根据损失函数对对抗生成模板生成网络以及感兴趣区域分类网络进 行优化；不断的更新和迭代，当达到训练完成条件后，输出训练好的对抗生 成模板生成网络以及感兴趣区域分类网络，训练好的对抗生成模板生成网络 和感兴趣区域分类网络将用于之后的焊点图像检测过程；

步骤S4：将焊点检测图像输入至对抗生成模板生成网络中得到对抗生成 模板，获取检测图像的感兴趣区域图像以及局部对抗生成模板；

步骤S5：将感兴趣区域图像以及局部对抗生成模板进行对比，根据对比 结果判断焊点检测图像的焊点缺陷。

优选的，在步骤S2中，通过自适应模板生成感兴趣区域分类网络，在焊 点检测过程中，对抗生成模板生成网络能够生成与输入图像特征相似的完整 合格焊点图像，但是由于只有焊接点位置包含缺陷信息，而其他部分均为检 测冗余信息，因此设计了感兴趣区域分类网络，用于判断出局部图像是否为 焊接点区域。

作为一个优选的实施例，所述对抗生成模板生成网络采用编码器GE1、编 码器E2、解码器GD以及鉴别器D1对输入的样本图像进行处理。

在获取到样本图像特征后，标记出合格样本图像中焊接点位置信息，感 兴趣区域分类网络根据输入训练样本图像中标记的位置信息，截取出训练样 本图像中焊接点位置处的感兴趣区域图像作为感兴趣区域样本的正样本，并 对训练样本图像的某一随机位置截取感兴趣区域图像作为负样本，再将感兴 趣区域图像正样本以及负样本输入到感兴趣区域分类网络中，输出感兴趣区 域为焊接点处位置的概率值。

作为一个优选的实施例，在步骤S2中，对抗生成模板生成网络的损失函 数包含对抗损失，内容损失、特征损失、局部对抗损失和局部分类损失。

作为一个优选的实施例，内容损失通过计算输入图像和输出图像的L1距 离来获得；它能够约束输出图像与样本图像在低维特征分布中相等，内容损 失的计算公式为：L_con＝||x-G(x)||₁

其中，x代表经过归一化后的训练样本，G(x)代表输入为训练样本x时生 成器G所输出的对抗生成模板，||||₁代表计算训练样本和对抗生成模板的L1 距离；

特征损失通过计算编码器GE1和编码器E2输出的高维特征的L1距离来 获得；它能够约束输出图像与样本图像在高维特征分布中相等，特征损失的 公式为：

L_enc＝||G_E1(x)-E₂(G(x))||₁

其中，x代表经过归一化后的训练样本，G_E1(x)代表生成器G中编码器GE1 所提取的训练样本x的高维特征，G(x)代表输入为训练样本x时生成器G所输 出的对抗生成模板，E₂(G(x))代表编码器E2所提取的对抗生成模板G(x)的高维 特征，||||₁代表计算训练样本高维特征和对抗生成模板高维特征的L1距离。

对抗性损失通过判别器D1计算出的训练样本和输出图像的高维特征之间 的L1距离来获得；将训练样本和输出图像输入到判别器D1。之后，提取判别 器D1的第七层高维特征，并且通过计算高维特征之间的L1距离来获得对抗 性损失。对抗性损失不仅降低了训练的不稳定性，而且还限制了生成器G产 生与训练样本特征的分布相匹配的图像，从而确保生成的图像是合格的图像。

对抗损失公式为：

L_adv＝||D₁ ⁽⁷⁾(x)-D₁ ⁽⁷⁾(G(x))||₁

其中，x代表经过归一化后的训练样本，D₁代表判别器D1，D₁ ⁽⁷⁾(x)代表 输入为训练样本x时判别器D1中第7层卷积输出的对抗特征，G(x)代表输入 为训练样本x时生成器G所输出的对抗生成模板，D₁ ⁽⁷⁾(G(x))代表输入为对抗 生成模板时判别器D1中第7层卷积输出的对抗特征，||||₁代表计算训练样本 的对抗特征和对抗生成模板的对抗特征的L1距离。

局部对抗损失通过局部判别器D2中提取训练样本和输出图像的第七层卷 积层的感兴趣区域高维特征，再通过计算感兴趣区域的高维特征之间的L1距 离来获得；局部对抗损失的公式为：

L_local-adv＝||D₂ ⁽⁷⁾(x)-D₂ ⁽⁷⁾(G(x))||₁

其中，x代表经过归一化后的训练样本，D₂代表局部判别器D2，D₂ ⁽⁷⁾(x) 代表输入为训练样本x时局部判别器D2中第7层卷积输出的局部对抗特征， G(x)代表输入为训练样本x时生成器G所输出的对抗生成模板，D₂ ⁽⁷⁾(G(x))代 表输入为对抗生成模板时局部判别器D2中第7层卷积输出的局部对抗特征， ||||₁代表计算训练样本的局部对抗特征和对抗生成模板局部对抗特征的L1距 离。

局部分类损失是将局部对抗生成模板输入到感兴趣区域分类网络中，计 算局部对抗生成模板的焊接点图像的分类损失，用于约束对抗生成模板生成 网络生成能够被分类网络正确分类的合格焊接点图像，局部分类损失L_local-cn的 公式为：

其中，n代表输入的训练样本数量，G^ROI(x_i)代表输入第i个训练样本x_i后 生成器G输出的对抗生成模板的焊接点处感兴趣图像，

表示感兴趣区域 图像的标签，

表示输入感兴趣区域图像后感兴趣区域分类网络输出的概 率。

生成器G的整体损失函数如下所示：

L_G＝w_con*L_con+w_enc*L_enc+w_adv*L_adv+w_lacal-adv*L_local-adv+w_local-cn*L_local-cn

其中，w_con，w_enc、w_adv、w_local-adv、w_loacl-cn是分别为内容损失的权重、特征 损失的权重、对抗损失的权重、局部对抗损失的权重、局部分类损失的权重； L_con、L_enc、L_adv、L_local-adv、L_local-cn分别为内容损失、特征损失、对抗损失、局部 对抗损失、局部分类损失；

感兴趣区域分类网络的损失函数L_cn如下所示，通过损失函数的优化，感 兴趣区域分类网络能够提取出焊接点区域的图像特征，正确分类焊接点感兴 趣区域图像；

其中，n代表输入的训练样本数量，

代表输入第i个训练样本x_i的焊 接点处感兴趣区域图像的标签,

表示输入感兴趣区域图像后感兴趣区域 分类网络输出的概率。

判别器D1和局部判别器D2损失函数利用LS-GAN中的判别器函数，防止 系统崩溃并加速模型收敛，判别器D1和局部判别器D2的损失函数如下所示：

其中，x代表经过归一化后的训练样本，D₁代表判别器D1，D₂代表局部 判别器D2，D₁(x)代表输入为训练样本时判别器D1输出的概率，D₁(G(x))代表 输入对抗生成模板后判别器D1输出的概率；D₂(x)代表输入训练样本后局部判 别器D2输出的概率，D₂(G(x))代表输入对抗生成模板的焊接点处感兴趣图像 后局部判别器D2输出的概率；||||₂为计算两者之间的L2距离。

作为一个优选的实施例，如图2所示，步骤S4的具体步骤如下：

步骤S401：将检测图像进行像素归一化操作，输入到训练好的对抗生 成模板生成网络中得到对抗生成模板；由于对抗生成模板生成网络仅仅使 用合格的焊点图像样本进行训练，并没有对缺陷样本进行学习。因此，训 练好的对抗生成模板生成网络并不能提取和重建的缺陷信息，使得不管输 入图像是合格的焊点还是缺陷焊点，生成效果如图4(b)和图4(H)所示。 都只能利用图像信息重建出合格的没有缺陷特征的焊点。图像经过对抗生成模板生成网络中的编码器GE1，会自动提取检测图像中的外观图像特征， 之后将图像特征输入到解码器GD，使其重建出与检测图像外观特征相似， 但不包含缺陷像素的对抗生成模板。

步骤S402：由于在完整的图像中只有焊接点位置包含缺陷信息，而其 他部分都是冗余信息，因此需要提取检测图像和检测模板的焊接点区域作 为感兴趣区域，减少冗余信息对检测效果的影响，因此利用了训练好的感 兴趣区域分类网络实现感兴趣区域的提取。而由于网络都是用合格样本进 行训练，因此在获取感兴趣区域图像的过程中，无法对可能包含缺陷信息 的检测图像进行判断，只能利用无缺陷信息的模板图像进行感兴趣判断将对抗生成模板进行等间距滑动窗口裁剪，得到对抗生成模板具有感兴趣区 域的位置信息的感兴趣图像；

步骤S403：将对抗生成模板的感兴趣图像输入感兴趣区域分类网络中， 感兴趣区域分类网络将判断出当前对抗生成模板的感兴趣区域图像，获得 局部对抗生成模板，局部对抗生成模板如图d和图j所示。同时也得到焊 接点图像的位置信息。之后再利用得到的焊接点位置信息裁剪检测图像， 从而得到实际焊接点的位置信息裁剪图像。

步骤S404：利用得到实际焊接点的位置信息裁剪图像，得到检测图像 的感兴趣区域图像。检测图像的焊接点感兴趣区域图像如图c和图i所示。

优选的，如图3所示，步骤S5的具体步骤如下：

步骤S501：由于缺陷信息主要表示为颜色特征的差异，因此将检测图 像的感兴趣区域图像和局部对抗生成模板由RGB颜色模式转换为HSV颜色 模式，提取色度通道图像，减少图像亮度和色度对检测效果的影响；

步骤S502：将色度通道图像进行减法运算获得差分图像，差分图像的 显示效果如图e和图k所示，再通过定义二进制操作判断色度通道图像中 的潜在缺陷像素，缺陷像素如如图f和l所示，白色区域均为判断出来的 潜在缺陷像素，像素判断过程可用如下公式进行判断：

其中，b是二值化图像，它表示焊点图像的潜在缺陷像素；(i,j)代表图 像像素位置；X_H(i,j)表示对检测图像的焊接点感兴趣区域图像X提取色度 通道H后在(i,j)位置处的像素值大小；Y表示检测图像X经过生成器G后得 到的局部对抗生成模板；Y_H(i,j)表示对局部对抗生成模板Y提取色度通道H 后在(i,j)位置处的像素值大小，R为判断缺陷像素点的阈值。

步骤S503：累加缺陷像素，根据累加的缺陷像素判断焊点检测图像的 焊点缺陷，具体公式如下：

其中，DS代表缺陷分数，它通过对缺陷像素点进行累加，获得潜在缺 陷像素点的数量。H代表感兴趣区域图像的高；W代表感兴趣区域图像的 宽；b(i,j)代表二值化图像在(i,j)位置处的像素值大小。

其中，IS表示检测分数，用于表示焊点质量；DS代表缺陷分数；T代 表缺陷判断的阈值。

一种焊点缺陷检测系统，所述系统包括图像裁剪模块、对抗生成模板生 成网络模块、感兴趣区域分类网络模块、损失函数计算模块、焊点检测模块；

所述图像裁剪模块用于对输入的图像进行裁剪；

所述对抗生成模板生成网络模块用于提供对抗生成模板生成网络；

所述感兴趣区域分类模块用于提供感兴趣区域分类网络；

所述的损失函数计算模块用于计算对抗生成模板生成网络模块以及感兴 趣区域分类模块的损失函数；

所述的焊点检测模块用于根据对抗生成模板生成网络模块以及感兴趣区 域分类模块输出的图像对焊点质量进行检测。

作为一个优选的实施例，所述对抗生成模板生成网络包括：编码器GE1、 编码器E2、解码器GD以及鉴别器D1，所述编码器GE1、编码器E2、解码器 GD以及鉴别器D1由卷积神经网络所组成，所述编码器GE1和解码器GD共同 构成生成器G；

所述生成器G用于生成一个与输入图像分布相同的合格图像，所述生成 器由一个GaN网络构成；

所述编码器GE1用于对输入图像进行下采样，提取出输入图像的高维特 征Z；

所述解码器GD用于根据编码器GE1提取出来的高维特征Z1，重构出合格 的焊点模板；

所述判别器D1用于判断生成图像和样本图像，约束生成器G生成无法被 判别真假的生成图像；

所述编码器E2用于提取生成图像的高维特征Z2，约束生成器G生成与输 入样本高维特征相同的图像；编码器E2的卷积网络参数与编码器GE1相同， 但作用不同；

所述生成器G用于生成一个与输入图像分布相同的合格图像，而不能被 判别器D1识别；同时，需要对判别器D1进行连续优化，以区分由发生器G 生成的假图像；

所述对抗生成模板生成网络还包括有局部判别器D2，为了约束对抗生成 模板生成网络生成更具真实合格焊接点特征的合格图像。构建了一个局部判 别器D2用于判断焊接点感兴趣区域的对抗生成模板生成网络的生成图像和样 本图像。由于生成图像是由输入图像的图像特征重构得到的，拥有相似的外 观特征，因此输入图像和生成图像都具有相同的焊接点位置。根据样本中标 记的位置信息，截取出生成图像焊接点位置的感兴趣区域图像。所述的局部 判别器D2由卷积神经网络所构成，用于判断出焊接点感兴趣区域的生成图像 和样本图像，并得到局部对抗损失，用于约束生成器G的特征提取，并使其 产生与样本图像特征相同的自适应对抗生成模板。

一种焊点缺陷检测设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述的一种焊点缺陷检 测方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描 述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应 过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和 方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示 意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可 以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个 系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合 或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方， 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单 元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单 元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售 或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本 发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个 存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机， 服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步 骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等 各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制； 尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应 当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案 的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种焊点缺陷检测方法，其特征在于，包括以下步骤：

步骤S1：使用样本图像训练对抗生成模板生成网络以及感兴趣区域分类网络，对样本图像进行裁剪获得训练样本；

步骤S2：通过感兴趣区域分类网络获取训练样本中感兴趣区域的图像特征，计算对抗生成模板生成网络以及感兴趣区域分类网络的损失函数；

步骤S3：根据损失函数对对抗生成模板生成网络以及感兴趣区域分类网络进行优化；

步骤S4：将焊点检测图像输入至对抗生成模板生成网络中得到对抗生成模板，获取焊点检测图像的感兴趣区域图像以及局部对抗生成模板；

步骤S5：将感兴趣区域图像与局部对抗生成模板进行对比，根据对比结果判断焊点检测图像的焊点缺陷。

2.根据权利要求1所述的一种焊点缺陷检测方法，其特征在于，所述对抗生成模板生成网络采用编码器GE1、编码器E2、解码器GD以及鉴别器D1对输入的样本图像进行处理。

3.根据权利要求1所述的一种焊点缺陷检测方法，其特征在于，在步骤S2中，获取到样本的图像特征后，标记出样本图像中焊接点位置信息，感兴趣区域分类网络根据输入训练样本图像中标记的位置信息，截取出训练样本图像中焊接点位置处的感兴趣区域作为感兴趣区域样本的正样本，并对训练样本图像的某一随机位置截取感兴趣区域作为负样本，再将感兴趣区域正样本以及负样本输入到感兴趣区域分类网络中，输出感兴趣区域为焊接点处位置的概率值。

4.根据权利要求3所述的一种焊点缺陷检测方法，其特征在于，在步骤S2中，对抗生成模板生成网络的损失函数包含对抗损失，内容损失、特征损失、局部对抗损失和局部分类损失。

5.根据权利要求4所述的一种焊点缺陷检测方法，其特征在于，内容损失通过计算对抗生成模板生成网络中输入图像和输出图像的L1距离来获得；

特征损失通过计算编码器GE1和编码器E2输出的高维特征的L1距离来获得；

对抗性损失通过判别器D1计算出的输入图像和输出图像的高维特征之间的L1距离来获得；

局部对抗损失通过局部判别器D2中提取输入图像和输出图像的第七层卷积层的感兴趣区域高维特征，再通过计算感兴趣区域的高维特征之间的L1距离来获得；

生成器G的整体损失函数如下所示：

L_G＝w_con*L_con+w_enc*L_enc+w_adv*L_adv+w_lacal-adv*L_local-adv+w_local-cn*L_local-cn

其中，w_con，w_enc、w_adv、w_local-adv、w_loacl-cn是分别为内容损失的权重、特征损失的权重、对抗损失的权重、局部对抗损失的权重、局部分类损失的权重；L_con、L_enc、L_adv、L_local-adv、L_local-cn分别为内容损失、特征损失、对抗损失、局部对抗损失、局部分类损失。

6.根据权利要求5所述的一种焊点缺陷检测方法，其特征在于，步骤S4的具体步骤如下：

步骤S401：将检测图像进行像素归一化操作，输入到训练好的对抗生成模板生成网络中得到对抗生成模板；

步骤S402：将对抗生成模板进行等间距滑动窗口裁剪，得到对抗生成模板具有感兴趣区域的位置信息的感兴趣图像；

步骤S403：将对抗生成模板的感兴趣图像输入感兴趣区域分类网络中获得局部对抗生成模板以及实际焊接点的位置信息；

步骤S404：利用得到实际焊接点的位置信息裁剪图像，得到检测图像的感兴趣区域图像。

7.根据权利要求6所述的一种焊点缺陷检测方法，其特征在于，步骤S5的具体步骤如下：

步骤S501：将检测图像的感兴趣区域图像和局部对抗生成模板由RGB颜色模式转换为HSV颜色模式，提取色度通道图像；

步骤S502：将色度通道图像进行减法运算获得差分图像，再通过定义二进制操作判断色度通道图像中的潜在缺陷像素；

步骤S503：累加缺陷像素，根据累加的缺陷像素判断焊点检测图像的焊点缺陷。

8.一种焊点缺陷检测系统，其特征在于，所述系统包括图像裁剪模块、对抗生成模板生成网络模块、感兴趣区域分类网络模块、损失函数计算模块、焊点检测模块；

所述图像裁剪模块用于对输入的图像进行裁剪；

所述对抗生成模板生成网络模块用于提供对抗生成模板生成网络；

所述感兴趣区域分类模块用于提供感兴趣区域分类网络模块；

所述损失函数计算模块用于计算对抗生成模板生成网络模块以及感兴趣区域分类模块的损失函数；

所述的焊点检测模块用于根据对抗生成模板生成网络模块以及感兴趣区域分类模块输出的图像对焊点质量进行检测。

9.根据权利要求8所述的一种焊点缺陷检测系统，其特征在于，所述对抗生成模板生成网络模块包括：编码器GE1、编码器E2、解码器GD、鉴别器D1，所述编码器GE1、编码器E2、解码器GD和鉴别器D1由卷积神经网络所组成，所述编码器GE1和解码器GD共同构成生成器G；

所述生成器G用于生成一个与输入图像分布相同的合格图像；

所述编码器GE1用于对输入图像进行下采样，提取出输入图像的高维特征Z；

所述解码器GD用于根据编码器GE1提取出来的高维特征Z1，重构出合格的焊点模板；

所述判别器D1用于判断生成图像和样本图像，约束生成器G生成无法被判别真假的生成图像；

所述编码器E2用于提取生成图像的高维特征Z2，约束生成器G生成与输入样本高维特征相同的图像；

所述对抗生成模板生成网络模块还包括有局部判别器D2，所述的局部判别器D2由卷积神经网络所构成，用于判断出焊接点感兴趣区域的生成图像和样本图像，并得到局部对抗损失，用于约束生成器G的特征提取，并使其产生与样本图像特征相同的自适应对抗生成模板。

10.一种焊点缺陷检测设备，其特征在于，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-8任一项所述的一种焊点缺陷检测方法。

Images