CN114119445A - 一种基于自动x射线成像的焊盘空洞率计算方法 - Google Patents

Abstract

本发明公开了基于机器视觉的测量领域，尤其涉及一种基于自动X射线成像的焊盘空洞率计算方法，其技术方案是采用两类深度学习网络完成焊盘空洞区域尺寸测量，进而实现焊盘空洞率计算。本方法能对PCB电路板上焊盘空洞率进行精确测量与计算。首先通过自动X射线成像装置采集PCB电路板上焊盘区域图像，然后对焊盘空洞和焊盘区域进行尺寸测量：对采集到的图像中空洞区域和非空洞区域进行采样，通过设计的自监督模型学习焊盘空洞区域特征。将自监督模型迁移到空洞区域检测网络上，用于增强小样本情况下空洞区域检测能力。对空洞区域进行标注，将采集图像和标注后的图像输入到设计的检测网络中进行训练。将待测量图像输入到训练好的检测网络中获得空洞区域。然后将统计空洞区域面积和焊盘面积，最终得到准确的焊盘区域空洞率。本发明能准确计算多种复杂形状的PCB板焊盘区域的空洞率，为精密PCB焊接质量控制提供必要的技术支持。

Description

一种基于自动X射线成像的焊盘空洞率计算方法

技术领域

本发明公开了基于机器视觉的测量领域，尤其涉及一种基于自动X射线成像的焊盘空洞率计算方法。

背景技术

随着电子技术的发展，电子产品朝小型化、多功能化方向发展，高端电子产品。精密电子元器件进行焊接时，会不可避免的产生空洞；空洞对焊点造成的影响会降低焊点的机械强度，影响焊点的可靠性与寿命。在焊锡连接的质量标准中，空洞对质量起决定性的作用，尤其是在大尺度焊点中的空洞。从传热方面讲，空洞可能会导致模块功能失常，甚至在正常运行时会造成损坏。因此，在生产过程中空洞的质量控制是绝对必要的。由于电子元器件材料或成像调节的差异，现有基于机器视觉的空洞计算率方法往往缺乏适应性，难以精准计算空洞率。

发明内容

本发明针对现有方法的不足，提供了一种基于自动X射线成像的焊盘空洞率计算方法。

本方法相比于传统的二值化、轮廓提取、分割算法和现有深度学习方法等，具有高鲁棒性、少训练样本和高测量精度等优点。其特征在于具体包括以下步骤：

步骤1：图像采集。利用自动X射线成像装置，对PCB电路板上焊盘区域图像进行拍摄，获取整个待测量区域的图像。

步骤2：焊盘区域空洞特征的提取。1）首先对获取的图像数据进行采样，获取带空洞的区域图像集合S={s1,s2,…,sn}和不带空洞的区域图像P={p1,p2,…,pn}，其中n=1,2,3…。2）构建自监督学习图像集合。由于空洞具有旋转和平移不变性，因此可以对带空洞的区域图像集合S={s1,s2,…,sn}中图像进行旋转和平移，获取新的带空洞的区域图像集合M={m1,m2,…,mn}。3）构建用于自监督学习网络训练的图像对。从S集合和M集合中随机抽取图像构成正样本对，从S集合和P集合中随机抽取图像构成负样本对，输入到自监督网络中，设计的自监督网络是一个K+1层网络，一共包括K层完整卷积操作。每一层完整卷积包括二个卷积操作（3×3的卷积和RELU操作）和一个池化操作。第一层输出作为第二层输入，依次类推。其中第K+1层为全连接操作，输入为K层特征图，输出长度为T的特征向量。S集合和M集合中图像同时输入不同的K+1层网络中提取特征向量，因此，这两个K+1层网络的K层共享权重，构成孪生网络。4）网络训练。自监督网络经过训练迭代后收敛，在对比损失函数下，保证正样本对输入的损失差异小，负样本对的损失差异大，进而完成准确的空洞区域信息特征提取。

步骤3：焊盘空洞区域的获取。1）首先进行数据标注：选取典型的X射线图像进行标注，一般只需要N张图像，所获得的标注图像为二值化图像，将空洞区域标注为像素灰度值1，将非空洞区域标注为像素灰度值0。 2)进行空洞区域检测网络的训练：将原始图像和标注后的图像输入到设计的空洞区域检测网络中进行训练。原始图像作为输入，标注图像作为输出，设计的网络是一个2K层网络，一共包括K层降维和K层升维操作。其中K层的降维操作中的权重直接采用步骤2训练获得孪生网络权重，能够提高网络特征提取能力和加快网络收敛。每一层升维操作包括二个卷积操作（一个为3×3的卷积和RELU操作，另外一个为注意力卷积操作）和一个反卷积操作，注意力卷积操作是公式如下：

其中注意力卷积操作的输入为X，输出为ys, X按照通道被且分为每个特征子集xi，与输入特征图X相比，具有相同的空间大小，但通道数为1 / s。 每个特征子集合都有其对应的膨胀卷积操作。当前层特征子集xi与上一个特征子集运算后的结果y_i-1相加，再通过执行膨胀卷积运算，才得到当前特征子集运算的结果yi。膨胀卷积用Ka（）表示。此外，最后的第K层升维操作过程中只包括一个3×3卷积操作和一个1×1卷积操作，没有反卷积操作。原始图像最终通过1×1的卷积操作实现了对标注图像的映射。4)将待测量的空洞图像输入到训练好的2K层空洞区域检测网络中，其输出结果即为空洞区域的检测结果。

步骤4：焊盘区域空洞尺寸的精确测量。1）空洞区域尺寸获取。对步骤3中的检测结果进行轮廓检测，获取每个空洞轮廓范围和轮廓面积大小。2）焊盘区域获取：采用二值化算法，获取焊盘区域轮廓范围和面积大小。3）空洞率rate计算。计算公式如下：

Ah_i 为获取的第i个空洞的面积，A为焊盘区域面积，H和W为焊盘区域的高度和宽度。L_i为第i个空洞的中心到焊盘区域中心的距离，λ为调节系数。

附图说明

图1是本发明采集的待检测焊盘X射线图像。

图2 是本发明S集合中的图像样例。

图3 是本发明P集合中样例。

图4 是本发明M集合中样例。

图5 是本发明选取的典型射线图像。

图6 是本发明二值化标注图像。

图7 是本发明得到的检测结果。

图8 是本发明标识的焊盘区域示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明提出了一种基于自动X射线成像的焊盘空洞率计算方法，本方法相比于传统的二值化、轮廓提取、分割算法和现有深度学习方法等，具有高鲁棒性、少训练样本和高测量精度等优点。

所述方法包括以下步骤：

步骤1：图像采集。利用自动X射线成像装置，对PCB电路板上焊盘区域图像进行拍摄，获取整个待测量区域的图像。附图1为采集的待检测焊盘X射线图像。

步骤2：焊盘区域空洞特征的提取。1）首先对获取的图像数据进行采样，获取带空洞的区域图像集合S={s1,s2,…,sn}和不带空洞的区域图像P={p1,p2,…,pn}，其中n=1,2,3…。如附图2为S集合中的图像样例，附图3为P集合中样例。2）构建自监督学习图像集合。由于空洞具有旋转和平移不变性，因此可以对带空洞的区域图像集合S={s1,s2,…,sn}中图像进行旋转和平移，获取新的带空洞的区域图像集合M={m1,m2,…,mn}。附图4为M集合中样例，与附图2对应。3）构建用于自监督学习网络训练的图像对。从S集合和M集合中随机抽取图像构成正样本对，从S集合和P集合中随机抽取图像构成负样本对，输入到自监督网络中，设计的自监督网络是一个K+1层网络，一共包括K层完整卷积操作。每一层完整卷积包括二个卷积操作（3×3的卷积和RELU操作）和一个池化操作。第一层输出作为第二层输入，依次类推。其中第K+1层为全连接操作，输入为K层特征图，输出长度为T的特征向量。S集合和M集合中图像同时输入不同的K+1层网络中提取特征向量，因此，这两个K+1层网络的K层共享权重，构成孪生网络。4）网络训练。自监督网络经过训练迭代后收敛，在对比损失函数下，保证正样本对输入的损失差异小，负样本对的损失差异大，进而完成准确的空洞区域信息特征提取。

步骤3：焊盘空洞区域的获取。1）首先进行数据标注：选取典型的X射线图像进行标注，一般只需要N张图像（N<=5），所获得的标注图像为二值化图像，将空洞区域标注为像素灰度值255，将非空洞区域标注为像素灰度值0。附图5为选取的典型射线图像，附图6为其对应的二值化标注图像，2)进行空洞区域检测网络的训练：将原始图像和标注后的图像输入到设计的空洞区域检测网络中进行训练。原始图像作为输入，标注图像作为输出，设计的网络是一个2K层网络，一共包括K层降维和K层升维操作。其中K层的降维操作中的权重直接采用步骤2训练获得孪生网络权重，能够提高网络特征提取能力和加快网络收敛。每一层升维操作包括二个卷积操作（一个为3×3的卷积和RELU操作，另外一个为注意力卷积操作）和一个反卷积操作，注意力卷积操作是公式如下：

其中注意力卷积操作的输入为X，输出为y_s, X按照通道被且分为每个特征子集x_i，与输入特征图X相比，具有相同的空间大小，但通道数为1 / s。 每个特征子集合都有其对应的膨胀卷积操作。当前层特征子集x_i与上一个特征子集运算后的结果y_i-1相加，再通过执行膨胀卷积运算，才得到当前特征子集运算的结果y_i。膨胀卷积用Ka（）表示。此外，最后的第K层升维操作过程中只包括一个3×3卷积操作和一个1×1卷积操作，没有反卷积操作。原始图像最终通过1×1的卷积操作实现了对标注图像的映射。4)将待测量的空洞图像输入到训练好的2K层空洞区域检测网络中，其输出结果即为空洞区域的检测结果。附图7为将附图1输入到检测网络中得到的检测结果。

步骤4：焊盘区域空洞尺寸的精确测量。1）空洞区域尺寸获取。对步骤3中的检测结果进行轮廓检测，获取每个空洞轮廓范围和轮廓面积大小。2）焊盘区域获取：采用二值化算法，获取焊盘区域轮廓范围和面积大小。如图8所示，焊盘区域分为上下两个焊盘区域，分别用白色矩形框就行标注。3）空洞率rate计算。计算公式如下：

Ah_i 为获取的第i个空洞的面积，A为焊盘区域面积，H和W为焊盘区域的高度和宽度。L_i为第i个空洞的中心到焊盘区域中心的距离，λ为调节系数，取0.01，因此，计算的上焊盘区域的空洞率为6.32%，计算的下焊盘区域的空洞率为6.62%。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于自动X射线成像的焊盘空洞率计算方法，该方法提出了一种结合自监督学习与注意力机制网络一体化完成焊盘空洞率计算方法，首先通过自监督学习网络实现空洞区域特征的提取，大大减少现有学习网络对训练样本的需求，然后将自监督学习网络得到的特征权重迁移到检测网络中，检测网络中融合注意力机制模块进一步提升空洞区域检测的完整性，最终统计空洞区域与焊盘区域的比值得到空洞率；本方法相比于传统的二值化、轮廓提取、分割算法和现有深度学习方法等，具有高鲁棒性、少训练样本和高测量精度等优点。

2.根据权利要求1所述的一种基于自动X射线成像的焊盘空洞率计算方法，其特征在于具体包括以下步骤：

步骤1：图像采集：利用自动X射线成像装置，对PCB电路板上焊盘区域图像进行拍摄，获取整个待测量区域的图像。

3.步骤2：焊盘区域空洞特征的提取：1）首先对获取的图像数据进行采样，获取带空洞的区域图像集合S={s1,s2,…,sn}和不带空洞的区域图像P={p1,p2,…,pn}，其中n=1,2,3…；2）构建自监督学习图像集合：由于空洞具有旋转和平移不变性，因此可以对带空洞的区域图像集合S={s1,s2,…,sn}中图像进行旋转和平移，获取新的带空洞的区域图像集合M={m1,m2,…,mn}；3）构建用于自监督学习网络训练的图像对：从S集合和M集合中随机抽取图像构成正样本对，从S集合和P集合中随机抽取图像构成负样本对，输入到自监督网络中，设计的自监督网络是一个K+1层网络，一共包括K层完整卷积操作，每一层完整卷积包括二个卷积操作（3×3的卷积和RELU操作）和一个池化操作，第一层输出作为第二层输入，依次类推，其中第K+1层为全连接操作，输入为K层特征图，输出长度为T的特征向量，S集合和M集合中图像同时输入不同的K+1层网络中提取特征向量，因此，这两个K+1层网络的K层共享权重，构成孪生网络；4）网络训练：自监督网络经过训练迭代后收敛，在对比损失函数下，保证正样本对输入的损失差异小，负样本对的损失差异大，进而完成准确的空洞区域信息特征提取。

4.步骤3：焊盘空洞区域的获取：1）首先进行数据标注：选取典型的X射线图像进行标注，一般只需要N张图像，所获得的标注图像为二值化图像，将空洞区域标注为像素灰度值1，将非空洞区域标注为像素灰度值0； 2)进行空洞区域检测网络的训练：将原始图像和标注后的图像输入到设计的空洞区域检测网络中进行训练，原始图像作为输入，标注图像作为输出，设计的网络是一个2K层网络，一共包括K层降维和K层升维操作，其中K层的降维操作中的权重直接采用步骤2训练获得孪生网络权重，能够提高网络特征提取能力和加快网络收敛，每一层升维操作包括二个卷积操作（一个为3×3的卷积和RELU操作，另外一个为注意力卷积操作）和一个反卷积操作，注意力卷积操作是公式如下：

其中注意力卷积操作的输入为X，输出为ys, X按照通道被且分为每个特征子集xi，与输入特征图X相比，具有相同的空间大小，但通道数为1 / s，每个特征子集合都有其对应的膨胀卷积操作，当前层特征子集xi与上一个特征子集运算后的结果y_i-1相加，再通过执行膨胀卷积运算，才得到当前特征子集运算的结果yi，膨胀卷积用Ka（）表示，此外，最后的第K层升维操作过程中只包括一个3×3卷积操作和一个1×1卷积操作，没有反卷积操作，原始图像最终通过1×1的卷积操作实现了对标注图像的映射；4)将待测量的空洞图像输入到训练好的2K层空洞区域检测网络中，其输出结果即为空洞区域的检测结果。

5.步骤4：焊盘区域空洞尺寸的精确测量；1）空洞区域尺寸获取：对步骤3中的检测结果进行轮廓检测，获取每个空洞轮廓范围和轮廓面积大小；2）焊盘区域获取：采用二值化算法，获取焊盘区域轮廓范围和面积大小；3）空洞率rate计算，计算公式如下：

Ah_i 为获取的第i个空洞的面积，A为焊盘区域面积，H和W为焊盘区域的高度和宽度，L_i为第i个空洞的中心到焊盘区域中心的距离，λ为调节系数。

Images