CN116777892B - 基于视觉检测的点胶质量检测方法及其系统 - Google Patents

Abstract

公开了一种基于视觉检测的点胶质量检测方法及其系统。其首先通过摄像头采集点胶前焊盘图像和点胶后焊盘图像，接着，对所述点胶前焊盘图像和所述点胶后焊盘图像进行图像特征差异性比较以得到多尺度焊盘点胶前后差分特征图，然后，基于所述多尺度焊盘点胶前后差分特征图，确定点胶质量的等级标签。这样，其可以基于深度学习的机器视觉技术来对于点胶前和点胶后的焊盘图像进行分析，以比较两者之间的差异性关联特征，从而评估点胶的质量，以实现对点胶过程的自动监测和质量控制。

Description

基于视觉检测的点胶质量检测方法及其系统

技术领域

本公开涉及质量检测领域，且更为具体地，涉及一种基于视觉检测的点胶质量检测方法及其系统。

背景技术

在电子封装过程中，常需要在基板上贴装芯片前施加有机胶布。为了确保点胶和贴片的精度，视觉系统被广泛应用于点胶贴装过程中，利用视觉匹配等技术来补偿电机的移动。除了要满足定位精度外，布胶过程还要求具备高频、高一致性的性能。如果点胶量过少，芯片可能贴在焊盘上不稳，甚至脱落，导致残次品增多；而过多的胶量不仅会浪费胶水，还会导致固化缓慢，影响贴装质量。

目前现有的胶滴检测方法包括称重法和三维重构法。称重法是最常见的实验操作之一。现今的微量、半微量及分析天平已经非常完善，可读性范围为0.1微克至0.1毫克。根据所需检测胶滴质量的数量级，选择精度满足要求的天平。微量胶滴的质量数量级在0.01毫克，所选分析天平的精度不低于1微克。然而，现有的高精度天平价格昂贵，且其最大称重量小于10克，不能直接用于胶滴测量。此外，高精度天平的使用条件也较为苛刻。

三维重构是指通过二维图像恢复物体的三维描述。它研究了空间中点、线、面的三维坐标与二维图像中相应点、线、面的二维坐标之间的关系，通过三维重构可以定量分析物体的形状、位置等信息。通过CCD相机拍摄的二维图像可以重建出物体的三维结构。这种方法灵活简便，成本较低，但容易受光源等因素的影响。并且重构法计算量较大，在实际应用中极大地影响了检测效率，也降低了对于胶滴检测的精准度。

因此，期望一种优化的基于视觉检测的点胶质量检测方案。

发明内容

有鉴于此，本公开提出了一种基于视觉检测的点胶质量检测方法及其系统，其可以基于深度学习的机器视觉技术来对于点胶前和点胶后的焊盘图像进行分析，以比较两者之间的差异性关联特征，从而评估点胶的质量，以实现对点胶过程的自动监测和质量控制。

根据本公开的一方面，提供了一种基于视觉检测的点胶质量检测方法，其包括：

通过摄像头采集点胶前焊盘图像和点胶后焊盘图像；

对所述点胶前焊盘图像和所述点胶后焊盘图像进行图像特征差异性比较以得到多尺度焊盘点胶前后差分特征图；以及

基于所述多尺度焊盘点胶前后差分特征图，确定点胶质量的等级标签。

根据本公开的另一方面，提供了一种基于视觉检测的点胶质量检测系统，其包括：

图像采集模块，用于通过摄像头采集点胶前焊盘图像和点胶后焊盘图像；

图像特征差异性比较模块，用于对所述点胶前焊盘图像和所述点胶后焊盘图像进行图像特征差异性比较以得到多尺度焊盘点胶前后差分特征图；以及

点胶质量分级模块，用于基于所述多尺度焊盘点胶前后差分特征图，确定点胶质量的等级标签。

根据本公开的实施例，其首先通过摄像头采集点胶前焊盘图像和点胶后焊盘图像，接着，对所述点胶前焊盘图像和所述点胶后焊盘图像进行图像特征差异性比较以得到多尺度焊盘点胶前后差分特征图，然后，基于所述多尺度焊盘点胶前后差分特征图，确定点胶质量的等级标签。这样，其可以基于深度学习的机器视觉技术来对于点胶前和点胶后的焊盘图像进行分析，以比较两者之间的差异性关联特征，从而评估点胶的质量，以实现对点胶过程的自动监测和质量控制。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开的实施例的基于视觉检测的点胶质量检测方法的流程图。

图2示出根据本公开的实施例的基于视觉检测的点胶质量检测方法的架构示意图。

图3示出根据本公开的实施例的基于视觉检测的点胶质量检测方法的子步骤S120的流程图。

图4示出根据本公开的实施例的基于视觉检测的点胶质量检测方法进一步包括的训练步骤的流程图。

图5示出根据本公开的实施例的基于视觉检测的点胶质量检测系统的框图。

图6示出根据本公开的实施例的基于视觉检测的点胶质量检测方法的应用场景图。

具体实施方式

下面将结合附图对本公开实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本公开的部分实施例，而不是全部的实施例。基于本公开实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本公开保护的范围。

如本公开和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

目前现有的胶滴检测方法包括称重法和三维重构法。称重法是最常见的实验操作之一。然而，现有的高精度天平价格昂贵，且其最大称重量小于10克，不能直接用于胶滴测量。此外，高精度天平的使用条件也较为苛刻。三维重构是指通过二维图像恢复物体的三维描述。这种方法灵活简便，成本较低，但容易受光源等因素的影响。并且重构法计算量较大，在实际应用中极大地影响了检测效率，也降低了对于胶滴检测的精准度。因此，期望一种优化的基于视觉检测的点胶质量检测方案。

相应地，考虑到在电子封装过程中，点胶是将胶水应用到焊盘上的关键步骤之一。点胶质量的好坏直接影响到产品的性能和可靠性，因此，对于点胶质量进行有效且准确地检测尤为重要。基于此，在本公开的技术方案中，期望采用基于深度学习的机器视觉技术来对于点胶前和点胶后的焊盘图像进行分析，以比较两者之间的差异性关联特征，从而评估点胶的质量，以实现对点胶过程的自动监测和质量控制。

图1示出根据本公开的实施例的基于视觉检测的点胶质量检测方法的流程图。图2示出根据本公开的实施例的基于视觉检测的点胶质量检测方法的架构示意图。如图1和图2所示，根据本公开实施例的基于视觉检测的点胶质量检测方法，包括步骤：S110，通过摄像头采集点胶前焊盘图像和点胶后焊盘图像；S120，对所述点胶前焊盘图像和所述点胶后焊盘图像进行图像特征差异性比较以得到多尺度焊盘点胶前后差分特征图；以及，S130，基于所述多尺度焊盘点胶前后差分特征图，确定点胶质量的等级标签。

具体地，在本公开的技术方案中，首先，通过摄像头采集点胶前焊盘图像和点胶后焊盘图像。应可以理解，在实际进行点胶质量检测时，可以将点胶前的焊盘图像可以作为基准图像，用于与点胶后的焊盘图像进行对比。通过比较两者之间的特征差异，可以检测到点胶的位置、形状、覆盖度等方面出现的问题。也就是说，如果点胶质量良好，点胶后的焊盘图像应该与点胶前的焊盘图像相似。而如果存在点胶不良的情况，比如点胶位置偏移、点胶量不足或过量等问题，点胶后的焊盘图像与点胶前的焊盘图像将会有明显的差异。

应可以理解，对于点胶质量检测，可以选择使用高分辨率、高性能的摄像头。摄像头具备足够的像素数量，可以捕捉焊盘图像的细节，并确保检测的准确性；摄像头具备较高的帧率，可以确保实时采集焊盘图像，并满足生产线的要求；摄像头具备高质量的镜头，可以确保焊盘图像清晰度和准确性；摄像头应适应工业环境的特性，如抗干扰能力、防尘防水等并支持图像处理功能，如对比度增强、边缘检测等，以便后续的图像分析和比较。

在得到所述点胶前焊盘图像和所述点胶后焊盘图像后，可以对于点胶前焊盘图像和点胶后焊盘图像进行预处理预处理，例如可以采取以下步骤：1.图像去噪，使用去噪算法，如中值滤波、高斯滤波等，去除图像中的噪声，以减少后续处理的干扰；2.图像灰度化，将彩色图像转换为灰度图像，可以使用常见的灰度化方法，如取红绿蓝通道的平均值或加权平均值等；3.图像增强，根据具体需求，可以使用图像增强算法，如直方图均衡化、对比度增强等，提升图像的视觉效果和信息；4.图像对齐，由于点胶前后的焊盘图像可能存在微小的位置偏移，可以使用图像对齐算法，如特征点匹配或相位相关等，将两幅图像对齐，以便后续的差分分析；5.图像尺寸调整，如果需要将图像调整到相同的尺寸，可以使用图像缩放算法，如双线性插值、最近邻插值等，保持图像的比例关系。需要根据具体的应用场景和图像特点选择合适的预处理方法，以提高后续差分分析的准确性和可靠性。

然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述点胶前焊盘图像和所述点胶后焊盘图像的特征挖掘。特别地，考虑到在对于点胶质量进行检测时，由于所述点胶前焊盘图像和所述点胶后焊盘图像中关于焊盘的点胶质量特征为小尺度的细微隐含特征信息，难以进行捕捉。因此，为了能够进一步提高对于两者图像的特征对比的效果，以提高对于点胶质量检测的精准度，在本公开的技术方案中，将所述点胶前焊盘图像和所述点胶后焊盘图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的双流检测网络模型以得到点胶前焊盘特征图和点胶后焊盘特征图。值得一提的是，这里，所述第一卷积神经网络模型和所述第二卷积神经网络模型具有相同的网络结构，以有利于提取出所述点胶前焊盘图像和所述点胶后焊盘图像在图像源域端差异不明显的特征信息，以此来提高对于两者图像中关于点胶质量的特征差异性对比的精准度。

继而，再计算所述点胶前焊盘特征图和所述点胶后焊盘特征图之间的焊盘点胶前后差分特征图，以此来表示所述点胶前焊盘图像和所述点胶后焊盘图像中有关于焊盘点胶质量的差异性关联特征分布信息，以便于后续对于点胶等级的准确评估。

应可以理解，在点胶过程中，除了点胶的位置和形状的差异会影响点胶质量外，焊盘点胶的深度差异也是一个重要的指标。具体来说，焊盘点胶前后的深度差异特征包括有点胶的均匀度、平整度，以及胶水是否正确渗透到焊盘上等特征信息。因此，在本公开的技术方案中，进一步将所述焊盘点胶前后差分特征图通过基于第三卷积神经网络模型的深度差异特征提取器以得到焊盘点胶前后深度差异特征图，以此来提取出有关于点胶前后的焊盘点胶在深层的隐含质量差异性关联特征信息，有利于更精准地检测出点胶的质量问题，从而进一步提高点胶过程的质量控制效果。

接着，进一步再通过残差思想来融合所述焊盘点胶前后差分特征图和所述焊盘点胶前后深度差异特征图以得到更丰富的多尺度焊盘点胶前后差分特征图，从而有利于提高点胶质量的评估效果。应可以理解，残差思想是指通过计算输入与期望输出之间的差异，并将差异作为学习目标，从而训练模型学习输入与输出之间的映射关系。在点胶质量评估中，通过融合所述焊盘点胶前后差分特征图和所述焊盘点胶前后深度差异特征图，能够得到更全面、更准确的点胶质量特征表示。

相应地，在一种可能的实现方式中，如图3所示，对所述点胶前焊盘图像和所述点胶后焊盘图像进行图像特征差异性比较以得到多尺度焊盘点胶前后差分特征图，包括：S121，对所述点胶前焊盘图像和所述点胶后焊盘图像进行图像特征提取以得到点胶前焊盘特征图和点胶后焊盘特征图；S122，计算所述点胶前焊盘特征图和所述点胶后焊盘特征图之间的焊盘点胶前后差分特征图；S123，对所述焊盘点胶前后差分特征图进行深度差异特征提取以得到焊盘点胶前后深度差异特征图；以及，S124，通过残差思想来融合所述焊盘点胶前后差分特征图和所述焊盘点胶前后深度差异特征图以得到所述多尺度焊盘点胶前后差分特征图。

更具体地，在步骤S121中，对所述点胶前焊盘图像和所述点胶后焊盘图像进行图像特征提取以得到点胶前焊盘特征图和点胶后焊盘特征图，包括：将所述点胶前焊盘图像和所述点胶后焊盘图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的双流检测网络模型以得到所述点胶前焊盘特征图和所述点胶后焊盘特征图。值得一提的是，卷积神经网络(Convolutional Neural Network，CNN)是一种深度学习模型，特别适用于图像处理任务，卷积神经网络模拟了人类视觉系统的工作原理，通过学习图像中的特征来实现图像分类、目标检测、图像分割等任务。卷积神经网络由多个卷积层、池化层和全连接层组成。其中，卷积层负责提取图像中的局部特征，通过卷积操作和非线性激活函数，将输入图像与一组可学习的卷积核进行卷积运算，得到特征图。池化层则用于减小特征图的尺寸，并保留主要特征。全连接层将特征图映射到最终的输出类别或预测结果。在双流检测网络模型中，其包含了两个卷积神经网络模型，一个用于处理点胶前焊盘图像，另一个用于处理点胶后焊盘图像。这种设计可以分别提取两个图像中的特征，并进行对比分析，通过学习两个图像之间的差异，可以判断点胶质量是否良好。卷积神经网络模型在图像处理领域具有广泛的应用，其能够自动学习图像中的特征表示，无需手动设计特征提取算法。通过训练大量的图像样本，卷积神经网络可以学习到具有辨识力的特征，从而实现高效准确的图像分类和特征提取任务。

相应地，在一种可能的实现方式中，所述第一卷积神经网络模型和第二卷积神经网络模型具有相同的网络结构。应可以理解，在点胶质量检测中，使用相同的网络结构的第一和第二卷积神经网络模型可以用来比较点胶前后的焊盘图像特征差异。通过训练这两个模型，它们可以学习到相似的特征表示，并且可以用来提取焊盘图像的特征。当将点胶前后的焊盘图像分别输入这两个模型时，它们会生成相应的特征图，通过比较这两个特征图之间的差异，可以判断点胶的质量。如果点胶质量良好，那么两个特征图之间的差异应该很小；如果点胶质量不好，那么两个特征图之间的差异会比较大。因此，相同的网络结构可以用来提取焊盘图像的特征，并通过比较这些特征来判断点胶质量的好坏，提高生产效率和质量控制水平。

相应地，在一种可能的实现方式中，对所述焊盘点胶前后差分特征图进行深度差异特征提取以得到焊盘点胶前后深度差异特征图，包括：将所述焊盘点胶前后差分特征图通过基于第三卷积神经网络模型的深度差异特征提取器以得到所述焊盘点胶前后深度差异特征图。

值得一提的是，焊盘点胶前后差分特征图是通过计算点胶前焊盘特征图和点胶后焊盘特征图之间的差异而得到的，其可以用来表示点胶前后焊盘图像中关于焊盘点胶质量的差异性关联特征分布信息。计算焊盘点胶前后差分特征图的目的是为了准确评估点胶的质量。通过比较点胶前后焊盘图像的差异，可以检测出点胶过程中可能存在的问题，例如点胶位置偏移、点胶量不足或过量等。差分特征图可以将这些差异可视化，并提供有关焊盘点胶质量的定量信息。相应地，在本公开的另一个示例中，计算焊盘点胶前后差分特征图的具体步骤可以包括以下几个方面：1.对点胶前后的焊盘图像进行预处理，例如去噪、灰度化、图像增强等；2.对预处理后的点胶前后焊盘图像进行图像对齐，以确保两幅图像中的焊盘位置对应；3.将点胶前焊盘图像和点胶后焊盘图像进行差分计算，得到差分图像；4.对差分图像进行进一步处理和分析，例如阈值化、边缘检测等，以提取差分特征；5.根据差分特征的分布情况，进行点胶质量的评估和分类。通过计算焊盘点胶前后差分特征图，可以更准确地评估点胶的质量，及时发现问题并采取相应的措施进行调整和改进，从而提高点胶的效果和可靠性。

进而，再将所述多尺度焊盘点胶前后差分特征图通过分类器以得到分类结果，所述分类结果用于表示点胶质量的等级标签。也就是说，以点胶前后关于焊盘点胶质量的多尺度差异特征信息来进行分类处理，以此来对于点胶质量进行评估。具体地，在本公开的技术方案中，所述分类器的分类标签为点胶质量的等级标签，因此，在得到所述分类结果后，可以基于所述分类结果来实现对点胶质量的自动评估。

相应地，在一种可能的实现方式中，基于所述多尺度焊盘点胶前后差分特征图，确定点胶质量的等级标签，包括：将所述多尺度焊盘点胶前后差分特征图通过分类器以得到分类结果，所述分类结果用于表示点胶质量的等级标签。

应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题，对于多分类问题(multi-class classification)，同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。

相应地，在一种可能的实现方式中，将所述多尺度焊盘点胶前后差分特征图通过分类器以得到分类结果，所述分类结果用于表示点胶质量的等级标签，包括：将所述多尺度焊盘点胶前后差分特征图按照行向量或者列向量展开为分类特征向量；使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

进一步地，所述的基于视觉检测的点胶质量检测方法，其特征在于，还包括训练步骤：用于对所述包含第一卷积神经网络模型和第二卷积神经网络模型的双流检测网络模型、所述基于第三卷积神经网络模型的深度差异特征提取器和所述分类器进行训练。应可以理解，训练步骤是为了让模型学习如何准确地判断点胶质量，通过训练，模型可以学习到不同点胶质量的特征，并将这些特征与对应的标签进行关联，从而能够对新的焊盘图像进行分类和判断。具体而言，训练步骤可以分为以下几个部分：1.数据准备，收集包含点胶前后焊盘图像的训练数据集，并为每个样本标注相应的点胶质量标签，例如，可以将点胶质量分为良好和不良两类，并为每个样本分配相应的标签；2.模型训练，使用训练数据集，将双流检测网络模型、深度差异特征提取器和分类器进行联合训练，在训练过程中，通过最小化预测输出与实际标签之间的差异，调整模型的权重和偏置，以使模型能够准确地预测点胶质量；3.评估和优化，使用验证数据集对训练的模型进行评估，计算模型的准确率、精确率、召回率等指标，根据评估结果，可以进行模型的优化，如调整模型的超参数、增加训练数据量、进行数据增强等。通过训练步骤，可以使双流检测网络模型、深度差异特征提取器和分类器逐渐学习到点胶质量的特征，并能够对新的焊盘图像进行准确的分类和判断。这样，就能够实现基于视觉检测的点胶质量检测方法，并提高点胶质量的控制和判定的准确性。

相应地，在一种可能的实现方式中，如图4所示，所述训练步骤，包括：S210，获取训练数据，所述训练数据包括训练点胶前焊盘图像和训练点胶后焊盘图像，以及，所述点胶质量的等级标签的真实值；S220，将所述训练点胶前焊盘图像和所述训练点胶后焊盘图像通过所述包含第一卷积神经网络模型和第二卷积神经网络模型的双流检测网络模型以得到训练点胶前焊盘特征图和训练点胶后焊盘特征图；S230，计算所述训练点胶前焊盘特征图和所述训练点胶后焊盘特征图之间的训练焊盘点胶前后差分特征图；S240，将所述训练焊盘点胶前后差分特征图通过所述基于第三卷积神经网络模型的深度差异特征提取器以得到训练焊盘点胶前后深度差异特征图；S250，通过残差思想来融合所述训练焊盘点胶前后差分特征图和所述训练焊盘点胶前后深度差异特征图以得到训练多尺度焊盘点胶前后差分特征图；S260，将所述训练多尺度焊盘点胶前后差分特征图通过所述分类器以得到分类损失函数值；以及，S270，基于所述分类损失函数值并通过梯度下降的方向传播来对所述包含第一卷积神经网络模型和第二卷积神经网络模型的双流检测网络模型、所述基于第三卷积神经网络模型的深度差异特征提取器和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化。

特别地，在本公开的技术方案中，所述训练点胶前焊盘特征图和所述训练点胶后焊盘特征图分别表达所述训练点胶前焊盘图像和所述训练点胶后焊盘图像的图像语义特征，使得所述训练焊盘点胶前后差分特征图表达所述训练点胶前焊盘图像和所述训练点胶后焊盘图像的图像语义差分特征，这样，进一步通过基于第三卷积神经网络模型的深度差异特征提取器后，可以提取所述图像语义差分特征的高阶图像空间局部语义关联特征。由此，通过残差思想来融合所述训练焊盘点胶前后差分特征图和所述训练焊盘点胶前后深度差异特征图得到的所述训练多尺度焊盘点胶前后差分特征图可以同时表达低阶图像语义差分特征和高阶图像空间局部语义关联特征，从而具有多样化的特征分布表达。

这样，当所述训练多尺度焊盘点胶前后差分特征图通过分类器进行分类时，考虑到多样化的特征分布表达在分类的域转移过程中的分布可转移性差异，例如，当所述分类器的权重矩阵相对于高阶关联特征表达进行适配时，其会具有比低阶关联特征表达更好的分布可转移性，反之亦然。因此，需要针对所述分类器的权重矩阵对于所述训练多尺度焊盘点胶前后差分特征图进行自适应优化，以便提升所述训练多尺度焊盘点胶前后差分特征图通过分类器进行分类训练的训练效果，即，提升分类速度和得到的分类结果的准确性。因此，本公开的申请人在每次分类器的权重矩阵的迭代过程中，对于所述权重矩阵M进行特征分布的跨域注意力转移优化。

相应地，在一种可能的实现方式中，在所述训练的每一轮迭代中，以如下优化公式对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化；其中，所述优化公式为：

其中，M是所述分类器的权重矩阵，M的尺度为m×m，V₁到V_m是所述权重矩阵M的m个行向量，‖·‖₂表示特征向量的二范数，(:∑_jm_i,j:)是对所述权重矩阵M的每个行向量的求和值排列得到的行向量，且cov₁(·)和cov₂(·)均表示单层卷积操作，表示矩阵乘法，(·)^T表示转置操作，M^′表示迭代后的所述分类器的权重矩阵。

这里，所述基于特征分布跨域注意力的特征转移优化针对所述训练多尺度焊盘点胶前后差分特征图的特征分布在特征空间域和分类目标域内存在的不同表示，基于所述分类器的权重矩阵M相对于待分类的所述训练多尺度焊盘点胶前后差分特征图展开得到的训练多尺度焊盘点胶前后差分特征向量的跨域多样性特征表示，通过对所述权重矩阵M的空间结构化特征分布通过卷积操作给予注意力，来增强多样化特征分布中的良好转移特征分布的跨域间隙的可转移性，同时抑制不良转移特征分布的消极转移(negative transfer)，以基于所述权重矩阵M自身相对于所述待分类的所述训练多尺度焊盘点胶前后差分特征向量的分布结构来实现权重矩阵M的无监督的域转移自适应优化，从而提升所述训练多尺度焊盘点胶前后差分特征图通过分类器进行分类训练的训练效果。这样，能够对于点胶质量进行评估，从而实现对点胶过程的自动监测和质量控制。

综上，基于本公开实施例的基于视觉检测的点胶质量检测方法，其可以基于深度学习的机器视觉技术来对于点胶前和点胶后的焊盘图像进行分析，以比较两者之间的差异性关联特征，从而评估点胶的质量，以实现对点胶过程的自动监测和质量控制。

图5示出根据本公开的实施例的基于视觉检测的点胶质量检测系统100的框图。如图5所示，根据本公开实施例的基于视觉检测的点胶质量检测系统100，包括：图像采集模块110，用于通过摄像头采集点胶前焊盘图像和点胶后焊盘图像；图像特征差异性比较模块120，用于对所述点胶前焊盘图像和所述点胶后焊盘图像进行图像特征差异性比较以得到多尺度焊盘点胶前后差分特征图；以及，点胶质量分级模块130，用于基于所述多尺度焊盘点胶前后差分特征图，确定点胶质量的等级标签。

这里，本领域技术人员可以理解，上述基于视觉检测的点胶质量检测系统100中的各个单元和模块的具体功能和操作已经在上面参考图1到图4的基于视觉检测的点胶质量检测方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本公开实施例的基于视觉检测的点胶质量检测系统100可以实现在各种无线终端中，例如具有基于视觉检测的点胶质量检测算法的服务器等。在一种可能的实现方式中，根据本公开实施例的基于视觉检测的点胶质量检测系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该基于视觉检测的点胶质量检测系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该基于视觉检测的点胶质量检测系统100同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该基于视觉检测的点胶质量检测系统100与该无线终端也可以是分立的设备，并且该基于视觉检测的点胶质量检测系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

图6示出根据本公开的实施例的基于视觉检测的点胶质量检测方法的应用场景图。如图6所示，在该应用场景中，首先，通过摄像头采集点胶前焊盘图像(例如，图6中所示意的D1)和点胶后焊盘图像(例如，图6中所示意的D2)，然后，将所述点胶前焊盘图像和所述点胶后焊盘图像输入至部署有基于视觉检测的点胶质量检测算法的服务器中(例如，图6中所示意的S)，其中，所述服务器能够使用所述基于视觉检测的点胶质量检测算法对所述点胶前焊盘图像和所述点胶后焊盘图像进行处理以得到用于表示点胶质量的等级标签的分类结果。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (7)

1.一种基于视觉检测的点胶质量检测方法，其特征在于，包括：

通过摄像头采集点胶前焊盘图像和点胶后焊盘图像；

对所述点胶前焊盘图像和所述点胶后焊盘图像进行图像特征差异性比较以得到多尺度焊盘点胶前后差分特征图；以及

基于所述多尺度焊盘点胶前后差分特征图，确定点胶质量的等级标签；

其中，还包括训练步骤：用于对包含第一卷积神经网络模型和第二卷积神经网络模型的双流检测网络模型、基于第三卷积神经网络模型的深度差异特征提取器和分类器进行训练；

其中，所述训练步骤，包括：

获取训练数据，所述训练数据包括训练点胶前焊盘图像和训练点胶后焊盘图像，以及，所述点胶质量的等级标签的真实值；

将所述训练点胶前焊盘图像和所述训练点胶后焊盘图像通过所述包含第一卷积神经网络模型和第二卷积神经网络模型的双流检测网络模型以得到训练点胶前焊盘特征图和训练点胶后焊盘特征图；

计算所述训练点胶前焊盘特征图和所述训练点胶后焊盘特征图之间的训练焊盘点胶前后差分特征图；

将所述训练焊盘点胶前后差分特征图通过所述基于第三卷积神经网络模型的深度差异特征提取器以得到训练焊盘点胶前后深度差异特征图；

通过残差思想来融合所述训练焊盘点胶前后差分特征图和所述训练焊盘点胶前后深度差异特征图以得到训练多尺度焊盘点胶前后差分特征图；

将所述训练多尺度焊盘点胶前后差分特征图通过所述分类器以得到分类损失函数值；以及

基于所述分类损失函数值并通过梯度下降的方向传播来对所述包含第一卷积神经网络模型和第二卷积神经网络模型的双流检测网络模型、所述基于第三卷积神经网络模型的深度差异特征提取器和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化；

其中，在所述训练的每一轮迭代中，以如下优化公式对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化；

其中，所述优化公式为：

其中，M是所述分类器的权重矩阵，M的尺度为m×m，V₁到V_m是所述权重矩阵M的m个行向量，‖·‖₂表示特征向量的二范数，(:∑_j m_i,j:)是对所述权重矩阵M的每个行向量的求和值排列得到的行向量，且cov₁(·)和cov₂(·)均表示单层卷积操作，表示矩阵乘法，(·)^T表示转置操作，M^′表示迭代后的所述分类器的权重矩阵。

2.根据权利要求1所述的基于视觉检测的点胶质量检测方法，其特征在于，对所述点胶前焊盘图像和所述点胶后焊盘图像进行图像特征差异性比较以得到多尺度焊盘点胶前后差分特征图，包括：

对所述点胶前焊盘图像和所述点胶后焊盘图像进行图像特征提取以得到点胶前焊盘特征图和点胶后焊盘特征图；

计算所述点胶前焊盘特征图和所述点胶后焊盘特征图之间的焊盘点胶前后差分特征图；

对所述焊盘点胶前后差分特征图进行深度差异特征提取以得到焊盘点胶前后深度差异特征图；以及

通过残差思想来融合所述焊盘点胶前后差分特征图和所述焊盘点胶前后深度差异特征图以得到所述多尺度焊盘点胶前后差分特征图。

3.根据权利要求2所述的基于视觉检测的点胶质量检测方法，其特征在于，对所述点胶前焊盘图像和所述点胶后焊盘图像进行图像特征提取以得到点胶前焊盘特征图和点胶后焊盘特征图，包括：

将所述点胶前焊盘图像和所述点胶后焊盘图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的双流检测网络模型以得到所述点胶前焊盘特征图和所述点胶后焊盘特征图。

4.根据权利要求3所述的基于视觉检测的点胶质量检测方法，其特征在于，所述第一卷积神经网络模型和第二卷积神经网络模型具有相同的网络结构。

5.根据权利要求4所述的基于视觉检测的点胶质量检测方法，其特征在于，对所述焊盘点胶前后差分特征图进行深度差异特征提取以得到焊盘点胶前后深度差异特征图，包括：

将所述焊盘点胶前后差分特征图通过基于第三卷积神经网络模型的深度差异特征提取器以得到所述焊盘点胶前后深度差异特征图。

6.根据权利要求5所述的基于视觉检测的点胶质量检测方法，其特征在于，基于所述多尺度焊盘点胶前后差分特征图，确定点胶质量的等级标签，包括：

将所述多尺度焊盘点胶前后差分特征图通过分类器以得到分类结果，所述分类结果用于表示点胶质量的等级标签。

7.一种基于视觉检测的点胶质量检测系统，其特征在于，包括：

图像采集模块，用于通过摄像头采集点胶前焊盘图像和点胶后焊盘图像；

图像特征差异性比较模块，用于对所述点胶前焊盘图像和所述点胶后焊盘图像进行图像特征差异性比较以得到多尺度焊盘点胶前后差分特征图；以及

点胶质量分级模块，用于基于所述多尺度焊盘点胶前后差分特征图，确定点胶质量的等级标签；

其中，还包括对包含第一卷积神经网络模型和第二卷积神经网络模型的双流检测网络模型、基于第三卷积神经网络模型的深度差异特征提取器和分类器进行训练；

其中，对所述包含第一卷积神经网络模型和第二卷积神经网络模型的双流检测网络模型、所述基于第三卷积神经网络模型的深度差异特征提取器和所述分类器进行训练，包括：

获取训练数据，所述训练数据包括训练点胶前焊盘图像和训练点胶后焊盘图像，以及，所述点胶质量的等级标签的真实值；

将所述训练点胶前焊盘图像和所述训练点胶后焊盘图像通过所述包含第一卷积神经网络模型和第二卷积神经网络模型的双流检测网络模型以得到训练点胶前焊盘特征图和训练点胶后焊盘特征图；

计算所述训练点胶前焊盘特征图和所述训练点胶后焊盘特征图之间的训练焊盘点胶前后差分特征图；

将所述训练焊盘点胶前后差分特征图通过所述基于第三卷积神经网络模型的深度差异特征提取器以得到训练焊盘点胶前后深度差异特征图；

通过残差思想来融合所述训练焊盘点胶前后差分特征图和所述训练焊盘点胶前后深度差异特征图以得到训练多尺度焊盘点胶前后差分特征图；

将所述训练多尺度焊盘点胶前后差分特征图通过所述分类器以得到分类损失函数值；以及

基于所述分类损失函数值并通过梯度下降的方向传播来对所述包含第一卷积神经网络模型和第二卷积神经网络模型的双流检测网络模型、所述基于第三卷积神经网络模型的深度差异特征提取器和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化；

其中，在所述训练的每一轮迭代中，以如下优化公式对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化；

其中，所述优化公式为：

其中，M是所述分类器的权重矩阵，M的尺度为m×m，V₁到V_m是所述权重矩阵M的m个行向量，‖·‖₂表示特征向量的二范数，(:∑_j m_i,j:)是对所述权重矩阵M的每个行向量的求和值排列得到的行向量，且cov₁(·)和cov₂(·)均表示单层卷积操作，表示矩阵乘法，(·)^T表示转置操作，M^′表示迭代后的所述分类器的权重矩阵。