CN115937099A - 一种基于UNet深度可分离残差网络的BGA焊点分割方法 - Google Patents

Abstract

本发明公开了一种基于UNet深度可分离残差网络的BGA焊点分割方法，包括：采集BGA焊点的X射线图像，并对图像进行随机旋转、翻转、缩放等操作进行数据增强；构建UNet深度可分离残差网络，首先采用深度可分离卷积代替编码器和解码器中的标准卷积；其次在所有卷积层后面加入批归一化层，加快网络收敛速度；再者将编码器的第三、第四和第五层中卷积层数量增加到三个，并且将残差网络引入编码器的每层特征提取中，在shortcut支路引入1×1的卷积层和批归一化层，解决输入和输出维度不匹配的问题。本发明针对BGA焊点特征，极大程度减少了网络冗余参数，通过训练好的模型，可以实现BGA焊点的快速准确分割。

Description

一种基于UNet深度可分离残差网络的BGA焊点分割方法

技术领域

本发明涉及BGA焊点分割领域，具体涉及一种基于UNet深度可分离残差网络的BGA焊点分割方法。

背景技术

现今，电子信息行业的迅猛发展，高密度集成化成为了电子设备的主要发展趋势，其中球栅阵列(BGA)作为主流封装技术已被广泛应用于集成电路板中，其主要特点是在芯片底部使用焊球代替引脚，使封装芯片的体积更小、引脚数更多、电性能更优。由于BGA封装焊点位于芯片底部，对焊接质量的检测一般采用X射线成像系统。常见的BGA焊接缺陷有短路、空洞、虚焊、焊点过大或过小等，能否对焊点进行准确分割将影响着对焊点缺陷的诊断，故对焊点分割方法的研究至关重要。

目前较广泛使用的是传统图像处理方法，传统的BGA焊点分割方法都是基于边缘、阈值、形态学及几何特征，此类方法对于轮廓清晰、背景简单焊点的分割有着较好效果，但是针对复杂背景，往往需要结合多种方法，分割速度慢且鲁棒性较差。

近年来随着人工智能技术的发展，深度学习因其具有优秀的特征选择和提取能力被广泛应用，相关学者将其应用于BGA焊点分割领域。例如陈雅琼于2021年发表的硕士论文“基于深度学习的BGA焊球空洞缺陷检测研究”及赵瑞祥等人于2019年发表在《计算机应用》期刊上的论文“结合全卷积网络和K均值聚类的球栅阵列焊球边缘气泡分割”，均公开使用全卷积神经网络对BGA焊点图片进行分割，取得不错的精度，但是参数冗余，网络运算速度慢。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于UNet深度可分离残差网络的BGA焊点分割方法。

为实现上述目的，本发明提供了如下技术方案：

一种基于UNet深度可分离残差网络的BGA焊点分割方法，其包括以下步骤：

1)获取BGA焊点的数据集；

2)对获取的数据集进行预处理；

3)构建基于深度可分离残差网络的UNet模型，并对UNet模型的架构进行改进，

3.1)使用深度可分离卷积替换UNet模型中的编码器和解码器中的标准卷积；

3.2)将编码器的第三层、第四层和第五层的特征提取结构由原始的两个卷积层改为三个卷积层，卷积核参数不变，其中第三层和第四层的第一个卷积增加通道数，第二卷积和第三个卷积不改变通道数，第五层的所有卷积均不改变通道数；

3.3)在编码器和解码器的卷积层后加入Batch Normalization层；

3.4)在编码器端每层加入残差结构，利用1×1的卷积层解决残差块输入和输出维度不匹配问题，每一层均添加在第一个卷积核的开始和最后一个卷积核的结尾位置，最后经过非线性激活函数ReLU输出；

4)将预处理后的数据集带入改进的UNet模型对网络进行训练；

5)将待分割的BGA焊点图像输入训练好的改进的UNet网络输出分割结果。

步骤1)中的数据集获取通过微焦点X-Ray设备对PCB板上BGA焊点部分进行图像采集，并且从搜索引擎下载部分BGA焊点图片作为原始数据集。

步骤2)中通过Augmentor数增强库对原始数据进行随机旋转、翻转、缩放操作进行数据扩充，筛选后得到若干张图片作为原始数据集，并按照设定比例随机划分为训练集和验证集。

所述的UNet网络包含编码器和解码器两个部分，每个部分包含五层，其中解码器部分前四层每层包含两个3×3卷积和ReLU激活函数，然后经过最大池化进行下采样进入下一层，第五层经卷积和激活后利用双线性插值法进行上采样，解码器部分每层包含两个3×3卷积和ReLU激活函数，上一层的输出与对应编码器层进行concat操作后经卷积和激活后进入下一层，解码器最后经过一个通道数为2的卷积层实现前景和背景的分割。

所述步骤3.1)中将3×3的标准卷积拆分成与输入通道数相等的3×3卷积和与输出通道数相等的1×1卷积，分别进行逐通道卷积和逐点卷积运算。

步骤4)中模型的训练参数具体为：使用Adam优化器，初始学习率设置为0.0001，训练迭代次数设置为200，根据迭代次数以指数衰减方式动态调整学习率，最小学习率设置为0.000001。

步骤5)中选取训练周期内最小的损失值对应的参数作为最终的权重，对BGA焊点图片进行分割。

一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一项上述的基于UNet深度可分离残差网络的BGA焊点分割方法。

本发明的有益效果：本发明基于UNet模型，通过采用深度可分离卷积，极大减少了冗余参数，降低了模型复杂度，提高了运算效率。通过加入批归一化层，改善数据分布情况，加快了网络收敛速度。通过改变编码器结构，增加卷积层数，增强了特征学习能力，使模型学习深层网络中更多的语义信息，并且将残差网络引入编码器的每层特征提取中，解决了网络反向传播中的梯度消失、梯度爆炸和网络退化问题。实验结果表明，本发明提出的基于UNet深度可分离残差网络的BGA焊点分割方法，参数量仅为原始模型的12.17％，交并比、准确率和F1分数分别达92.4％、98.31％和96.05％，较原始UNet网络分别提升了2.17％、0.52％和1.18％，FPS达114.8帧/秒，既实现了BGA焊点的快速分割，又保证了较高的精度。

附图说明

图1为本发明的流程示意图；

图2为本发明改进的UNet网络模型；

图3为本发明使用的残差模块结构图；

图4为本发明使用的深度可分离卷积原理图；

图5为本发明使用的模型与其他模型分割效果对比图；

图6为本发明使用的模型最终分割效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

用于实施的硬件环境配置是：Windows10 64位操作系统，CPU为AMD Ryzen 55600H 3.30GHz，GPU为GeForce GTX 1650，16GB运行内存；软件环境配置为：Python 3.10，深度学习框架为Pytorch1.11.0、CUDA11.3。

如图所示，本发明公开了一种基于UNet深度可分离残差网络的BGA焊点分割方法，其包括以下步骤：

1)获取BGA焊点的数据集，其中数据集获取通过微焦点X-Ray设备对PCB板上BGA焊点部分进行图像采集，并且从搜索引擎下载部分BGA焊点图片作为原始数据集。

本发明使用labelme软件对焊点图像标注，背景部分值为0，焊点区域值为1，生成json格式文件，通过代码转化为png格式的标签灰度图像。

2)对获取的数据集进行预处理，通过Augmentor数增强库对原始数据进行随机旋转、翻转、缩放等操作进行数据扩充，筛选后得到400张图片作为原始数据集，并按照8：2比例随机划分为训练集和验证集。

3)构建基于深度可分离残差网络的UNet模型，并对UNet模型的架构进行改进，

其中所述的UNet网络包含编码器和解码器两个部分，每个部分包含五层，其中解码器部分前四层每层包含两个3×3卷积和ReLU激活函数，然后经过最大池化进行下采样进入下一层，第五层经卷积和激活后利用双线性插值法进行上采样，解码器部分每层包含两个3×3卷积和ReLU激活函数，上一层的输出与对应编码器层进行concat(拼接)操作后经卷积和激活后进入下一层，解码器最后经过一个通道数为2的卷积层实现前景和背景的分割。

具体改进步骤如下：

3.1)使用深度可分离卷积替换编码器和解码器中的标准卷积，如图4所示，具体操作为：将3×3的标准卷积拆分成与输入通道数相等的3×3卷积和与输出通道数相等的1×1卷积，分别进行逐通道卷积和逐点卷积运算，标准卷积的参数量为3×3×3×2，而深度可分离卷积的参数量仅为3×3×1×3+1×1×3×2，参数量大幅减少；

3.2)将编码器的第三层、第四层和第五层的特征提取结构由原始的两个卷积层改为三个卷积层，卷积核参数不变，其中第三层和第四层的第一个卷积增加通道数，第二卷积和第三个卷积不改变通道数，第五层的所有卷积均不改变通道数；

3.3)在编码器和解码器的卷积层后加入Batch Normalization(BN)层；

3.4)在编码器端每层加入残差结构，残差块如图3所示，利用1×1的卷积层和BN层解决残差块输入和输出维度不匹配问题，如图2的DR_2Conv块，每一层均添加在第一个卷积核的开始和最后一个卷积核的结尾位置，最后经过非线性激活函数ReLU输出。

输入和输出的关系可表示为H(x)＝relu(F(x,w)+Zx)，其中，relu是非线性激活函数，x是残差块的输入，w为权重参数，Z为映射矩阵，F(x,w)是经第一层线性变化并激活后的输出，H(x)为残差块的输出。

图2中DR_2Conv表示此层使用深度可分离卷积和残差结构，2表示其中使用两个卷积层，相应的DR_3Conv表示该模块中使用三个卷积层。Up_Cat模块为特征拼接结构，主要是将深层特征上采样与编码器学习到的特征在通道维度拼接。

图2所示改进后的UNet网络，输入为3通道的512×512像素图片，经编码器每一层卷积后输出的通道数分别为64、128、256、512，每经过一次下采样分辨率减半。解码器每一层卷积后输出的通道数分别为512、356、128、64，每经过一次上采样分辨率翻倍，经解码还原成与输入相同的尺寸。

4)将预处理后的数据集带入改进的UNet模型对网络进行训练；模型的训练参数具体为：使用Adam优化器，初始学习率设置为0.0001，训练迭代次数设置为200，根据迭代次数以指数衰减方式动态调整学习率，最小学习率设置为0.000001，使用二元交叉熵函数作为本发明模型训练的损失函数，具体公式为其中y是二元标签0或1，p(y)是输出属于y标签的概率，N表示总训练次数。

5)将待分割的BGA焊点图像输入训练好的改进的UNet网络输出分割结果，选取训练周期内最小的损失值对应的参数作为最终的权重，对BGA焊点图片进行分割。

进一步的，本发明采用混淆矩阵统计分类结果，分类结果混淆矩阵如表格所示。

其中，TP(True Positive)表示图像中属于焊点的像素被正确归类；FP(FalsePositive)表示图像中非焊点区域(即背景)被误归类为焊点；FN(False Negative)表示将图像中焊点区域误归类为背景；TN(True Negative)表示图像中非焊点区域被正确归类。

进一步的，基于混淆矩阵本实验采用交并比(IoU)、精确率(Acc)和F1分数(F1_Score)三个指标评价网络性能，分数越高说明网络分割效果越好，模型更优秀，具体公式如下：

其中，precision表示精确率，是正确预测为焊点占全部预测为焊点的比值；recall表示召回率，是正确预测为焊点占实际总焊点的比值，具体公式如下：

进一步的，选取主流的语义分割算法UNet、DeepLabV3+、PSPNet作为本发明方法的对比算法，图5为采用不同算法网络分割效果的对比图。其中图5(a)为原始图像，其中包括简单背景、有过孔和阻容干扰的复杂背景、焊点被遮挡以及焊点内部有较大气泡几种典型情况。图5(b)为原始图像对应的标签图，图5(c)-图5(f)分别为采用的主流分割算法PSPNet、DeepLabV3+、UNet和本文方法得到的分割结果，其中红色的部分表示焊点区域，黑色部分表示背景。其中图5(c)和图5(d)可以看出，虽然PSPNet和DeepLabV3+都能提取BGA焊点的大概轮廓，但是边缘信息比较粗糙，从图5(e)可观察到，原始的UNet网络虽然能够很好的提取焊点的边缘信息，但是存在误检情况(第一幅图)，对于焊点被遮挡的情况无法提取较完整的轮廓(第二幅图)，而且当焊点内部存在气泡时，会将气泡区域归为背景，无法完整的提取整个焊点。本发明提出方法能够较好的提取各种情况下的BGA焊点。下表对比了不同网络模型的在自制数据集上的分割评价指标，拥有较少的参数量和计算量，较其他算法在交并比，准确率和F1分数都有较大的提升，且FPS达到了114.8帧/秒，保证了在快速提取焊点的同时保持较高的精度。

图6所示为使用本文方法将分割后的结果映射到原图，提取BGA焊点分割后的图片。

本发明的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例所提供的基于UNet深度可分离残差网络的BGA焊点分割方法所执行的程序代码。

上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

存储介质被设置为存储用于执行上述发明公开的步骤的程序代码，以将BGA焊点分割。

本发明还公开了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一项上述的基于UNet深度可分离残差网络的BGA焊点分割方法。

存储器可用于存储软件程序以及模块，如本发明提出中的基于UNet深度可分离残差网络的BGA焊点分割方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像分割的方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至的分割系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行上述步骤，进而对BGA的焊点进行分割处理。

本领域普通技术人员可以理解上述方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。

实施例不应视为对本发明的限制，但任何基于本发明的精神所作的改进，都应在本发明的保护范围之内。

Claims (8)

1.一种基于UNet深度可分离残差网络的BGA焊点分割方法，其特征在于：其包括以下步骤：

1)获取BGA焊点的数据集；

2)对获取的数据集进行预处理；

3)构建基于深度可分离残差网络的UNet模型，并对UNet模型的架构进行改进，

3.1)使用深度可分离卷积替换UNet模型中的编码器和解码器中的标准卷积；

3.2)将编码器的第三层、第四层和第五层的特征提取结构由原始的两个卷积层改为三个卷积层，卷积核参数不变，其中第三层和第四层的第一个卷积增加通道数，第二卷积和第三个卷积不改变通道数，第五层的所有卷积均不改变通道数；

3.3)在编码器和解码器的卷积层后加入Batch Normalization层；

3.4)在编码器端每层加入残差结构，利用1×1的卷积层解决残差块输入和输出维度不匹配问题，每一层均添加在第一个卷积核的开始和最后一个卷积核的结尾位置，最后经过非线性激活函数ReLU输出；

4)将预处理后的数据集带入改进的UNet模型对网络进行训练；

5)将待分割的BGA焊点图像输入训练好的改进的UNet网络输出分割结果。

2.根据权利要求1所述的一种基于UNet深度可分离残差网络的BGA焊点分割方法，其特征在于：步骤1)中的数据集获取通过微焦点X-Ray设备对PCB板上BGA焊点部分进行图像采集，并且从搜索引擎下载部分BGA焊点图片作为原始数据集。

3.根据权利要求1所述的一种基于UNet深度可分离残差网络的BGA焊点分割方法，其特征在于：步骤2)中通过Augmentor数增强库对原始数据进行随机旋转、翻转、缩放操作进行数据扩充，筛选后得到若干张图片作为原始数据集，并按照设定比例随机划分为训练集和验证集。

4.根据权利要求1所述的一种基于UNet深度可分离残差网络的BGA焊点分割方法，其特征在于：所述的UNet网络包含编码器和解码器两个部分，每个部分包含五层，其中解码器部分前四层每层包含两个3×3卷积和ReLU激活函数，然后经过最大池化进行下采样进入下一层，第五层经卷积和激活后利用双线性插值法进行上采样，解码器部分每层包含两个3×3卷积和ReLU激活函数，上一层的输出与对应编码器层进行concat操作后经卷积和激活后进入下一层，解码器最后经过一个通道数为2的卷积层实现前景和背景的分割。

5.根据权利要求1所述的一种基于UNet深度可分离残差网络的BGA焊点分割方法，其特征在于：所述步骤3.1)中将3×3的标准卷积拆分成与输入通道数相等的3×3卷积和与输出通道数相等的1×1卷积，分别进行逐通道卷积和逐点卷积运算。

6.根据权利要求1所述的一种基于UNet深度可分离残差网络的BGA焊点分割方法，其特征在于：步骤4)中模型的训练参数具体为：使用Adam优化器，初始学习率设置为0.0001，训练迭代次数设置为200，根据迭代次数以指数衰减方式动态调整学习率，最小学习率设置为0.000001。

7.根据权利要求1所述的一种基于UNet深度可分离残差网络的BGA焊点分割方法，其特征在于：步骤5)中选取训练周期内最小的损失值对应的参数作为最终的权重，对BGA焊点图片进行分割。

8.一种处理器，其特征在于：所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中的任意一项所述的基于UNet深度可分离残差网络的BGA焊点分割方法。

Images