CN109636787B - 一种基于深度学习的高精度实时电池点焊质量检测方法 - Google Patents

Abstract

一种基于深度学习的高精度实时电池点焊质量检测方法，属于数字图像处理技术和人工智能技术。本发明方法综合了传统数字图像处理技术和人工智能深度学习技术，实现了工业生产中电池点焊质量的自动检测的功能。本发明的方法在进行电池的焊盘和焊点的提取过程中，采用了基于深度学习的方法，这样避免了基于传统图像特征的方法中准确度低，待调节参数多等问题，提高了工业生产的效率；同时本发明中的方法采用基于传统数字图像处理技术实现了图像亮度检测、图像中电池存在性检测、电池焊点点穿检测、电池极耳过高检测、电池焊盘放置倾斜角度检测等多种功能，解决了实际工业生产过程中，电池点焊质量检测自动化和智能化的需求。

Description

一种基于深度学习的高精度实时电池点焊质量检测方法

技术领域

本发明涉及工业生产自动化智能化领域，特别涉及一种基于深度学习的高精度实时电池点焊质量检测方法。

背景技术

随着产业结构的升级和人力资源成本的不断提高，工业自动化和智能化已成为了发展的趋势。随着计算机视觉技术的发展和相机的发展，为了减少人工质量检测中由于疲劳等其他因素带来的损失和提高质量检测的效率，工业质量检测环节越来越多的由机器视觉技术取代人类。在点焊质量检测环节中，最关键的部分就是提取焊点。现有的焊点提取方法可以分为，基于传统图像处理的方法和基于浅度学习的方法。

在基于传统图像处理的提取焊点的方法中，借助一系列边缘提取方法和一系列图像滤波方法，将焊点的边缘从图像中提取出来，然后通过圆检测的方法得到圆的位置和大小，从而实现焊点的提取。但是，该类方法由于只借助了轮廓信息，所以在出现褶皱或者假焊点(与真焊点外形相似的图像干扰物)的情况下，会出现误检测较多的现象；同时，由于包含了边缘提取、图像滤波和圆检测等方法，导致这类方法包含过多的待调节参数，在工业生产过程中外部环境稍有变化，就需要进行参数的调整，给工业生产带来了极大的挑战。

在基于浅度学习的方法中，先将图像分割成许多的小图像，然后按照标注的焊点位置将小图像分成正负两种样本，最后训练一个浅度学习分类器可以将正负两种样本分开。在测试过程中，也先将图像分割成许多个小图像，然后通过训练好的分类器将小图像分为正负两种样本，最后取出正样本视为焊点，从而完成焊点提取的过程。这种方法虽然能够实现焊点的提取，但是该类方法在测试的时候由于将图片分割成许多小图像，然后逐一进行分类，所以导致方法的耗时过长，不能满足工业生产实时性的要求；同时，在分割精度不够高的情况下，会导致找到的焊点位置出现偏差，为后续检测带来了困难。

本发明中，采用基于深度学习的方法实现焊点提取，通过建立深度学习中的神经网络将焊点从图像中分割出来，这种方法速度快，准确度高，满足工业生产的要求。

此外，点焊质量检测中另一个重要的部分就是对其他点焊错误类型进行检测。在这个部分中，大多数的方法都使用同一张彩色图片完成焊点提取和其他点焊错误类型的检测，而本发明中，通过额外采集电池的背光图，在背光图中进行其他点焊错误类型的检测，大大简化了检测的难度，提高的检测的准确度。

本发明所述的一种基于深度学习的高精度实时电池点焊质量检测方法，既采用深度学习方法来提取电池的焊盘和焊点，避免了其他方法中准确度低、待调节参数多等问题，提高了工业生产的效率；又采用基于传统数字图像处理技术实现了检测图像亮度、检测图像中电池存在性、检测电池焊点点穿、检测电池极耳过高、检测电池焊盘放置倾斜角度等多种功能，解决了实际工业生产过程中，电池点焊质量检测自动化和智能化的需求。

发明内容

本发明方法基于数字图像处理技术和人工智能技术，综合了传统数字图像处理技术和人工智能深度学习技术，实现了工业生产中电池点焊质量的自动检测的功能。本发明的方法在进行电池的焊盘和焊点的提取过程中，采用了基于深度学习的方法，这样避免了基于传统图像特征的方法中准确度低，待调节参数多等问题，提高了工业生产的效率；同时本发明中的方法采用基于传统数字图像处理技术实现了图像亮度检测、图像中电池存在性检测、电池焊点点穿检测、电池极耳过高检测、电池焊盘放置倾斜角度检测等多种功能，解决了实际工业生产过程中，电池点焊质量检测自动化和智能化的需求。本发明的基于深度学习的高精度实时点焊质量检测方法，在保证准确度和实时性的情况下，降低了人工检测带来的低效率和高成本等问题。本发明适用于工业生产领域。

为了达到上述目的，本发明所提供的一种基于深度学习的高精度实时电池点焊质量检测方法，包括如下步骤：

步骤一、将两台相机分别垂直固定于生产线上下两侧，并且在每台相机的镜头前放置一个环形光源。调节环形光源的亮度及相机曝光时间，照相机采集电池的正面图像I_f、背面图像I_b和背光图像I_bl；

步骤二、设定亮度阈值范围(T_{b_min},T_{b_max})，T_{b_min}和T_{b_max}分别代表亮度阈值范围的下限和上限。检测图像亮度，对正面图像和背面图像进行亮度计算，如果亮度在亮度阈值范围内，则转入步骤三，否则转入步骤一；

步骤三、采集大量电池正面图像I_f、背面图像I_b和背光图像I_bl并进行标注，得到正面焊盘标注图像I_{gt_plate_f}、背面焊盘标注图像I_{gt_plate_b}、正面焊盘图像I_{f_point}、背面焊盘图像I_{b_point}、正面焊点标注图像I_{gt_point_f}、背面焊点标注图像I_{gt_point_b}。利用标注过的图片，进行神经网络模型的训练。设定焊盘标准尺寸(W_plate×H_plate)，W_plate和H_plate分别代表焊盘标准尺寸的宽和高，单位为像素。利用得到的正面焊点标注图像和背面焊点标注图像，进行焊点模板图I_template的生成；

步骤四、开始进行点焊质量测试。设定正面图像蓝通道二值化阈值T_{b_bi}，蓝通道占比阈值T_{b_ratio}。在正面图像中进行电池存在性检测，如果图像中存在电池则转入步骤五，否则认为当前无电池；

步骤五、设定焊盘面积阈值范围(T_{plate_s_min},T_{plate_s_max})，T_{plate_s_min}和T_{plate_s_max}分别代表焊盘面积阈值的下限和上限；焊盘位置候选区域((W_{plate_p_start},W_{plate_p_end})×(H_{plate_p_start},H_{plate_p_end}))，(W_{plate_p_start},W_{plate_p_end})和(H_{plate_p_start},H_{plate_p_end})分别代表焊盘位置候选区域的宽的范围和高的范围，单位为像素；焊盘总个数为N_plate；焊盘长宽比阈值范围(T_{plate_r_min},T_{plate_r_max})，T_{plate_r_min}和T_{plate_r_max}分别代表焊盘长宽比阈值的下限和上限。在正面图像和背面图像中进行焊盘提取，统计焊盘个数，如果焊盘个数和焊盘总个数一致则转入步骤六，否则视为点焊质量不合格；

步骤六、设定焊点总个数为N_point，焊点正确比率阈值为T_{r_point}。在每个焊盘中进行焊点提取，在进行候选焊点筛选后，统计焊点个数，如果焊点个数和焊点总个数一致则转入步骤七，否则视为点焊质量不合格；

步骤七、设定背光图像二值化阈值T_{bl_bi}，焊点面积阈值范围(T_{point_s_min},T_{point_s_max})，T_{point_s_min}和T_{point_s_max}分别代表焊点面积阈值的下限和上限，焊点长宽比阈值范围(T_{point_r_min},T_{point_r_max})，T_{point_r_min}和T_{point_r_max}分别代表焊点长宽比阈值的下限和上限。在背光图像中进行点穿现象的检测，如果不存在点穿现象则转入步骤八，否则视为点焊质量不合格；

步骤八、设定焊盘倾斜角度范围(T_{plate_angle_min},T_{plate_angle_max})，T_{plate_angle_min}和T_{plate_angle_max}分别代表焊盘倾斜角度范围的下限和上限。在背光图像中找出焊盘的倾斜程度，如果倾斜程度在焊盘倾斜角度范围内则转入步骤九，否则视为点焊质量不合格；

步骤九、设定极耳超出焊盘的面积阈值范围(T_{ear_min},T_{ear_max})，T_{ear_min}和T_{ear_max}分别代表极耳超出焊盘的面积阈值的下限和上限。在背光图像中找出极耳超出焊盘的部分，如果该部分的面积在极耳超出焊盘的面积阈值范围内则视为点焊质量合格，否则视为点焊质量不合格。

本发明的一种基于深度学习的高精度实时电池点焊质量检测方法具有如下特点和优点：

1、利用处理器为Intel I7-7700k，显卡为Nvidia 1080Ti的计算机运行，本发明方法进行一次电池点焊质量检测的时间不足100ms，满足实际工业生产实时性要求；

2、在实际工业生产过程中，本发明方法的焊盘提取过程，召回率在99.95％以上，满足实际工业生产焊盘检测准确率要求；

3、在实际工业生产过程中，本发明方法的焊点提取过程，召回率在99.5％以上，满足实际工业生产焊点检测准确率要求；

4、在实际工业生产过程中，本发明的点焊质量检测方法，准确率在99.5％以上，满足实际工业生产点焊质量检测准确率要求；

附图说明

图1是本发明方法原理流程图

图2是本发明装置示意图

图3是本发明图像标注示意图，其中(a)-(f)分别表示：背面图像、背面焊盘标注图像、背面焊盘图像、背面焊点标注图像、背面焊盘图像、背面焊点标注图像，(g)-(l)分别表示：正面图像、正面焊盘标注图像、正面焊盘图像、正面焊点标注图像、正面焊盘图像、正面焊点标注图像

图4是本发明神经网络结构示意图

具体实施方式

具体实施方式一：结合图1和图2说明本实施方式采集电池的正面图像I_f、背面图像I_b和背光图像I_bl的方法，它包括如下步骤：

步骤一、如图2所示，当收到生产线的可编程逻辑控制器通信后，先在上环形灯和下环形灯都打开的情况下，分别由上相机和下相机拍摄得到正面图像I_f和背面图像I_b；

步骤二、在上环形灯关闭和下环形灯打开的情况下，由上相机拍摄得到背光图像I_bl。

具体实施方式二：本实施方式检测图像亮度的方法，它包括如下步骤：

步骤一、设定亮度阈值范围为(T_{b_min},T_{b_max})，一般T_{b_min}取值为40，T_{b_max}取值为200；

步骤二、对于正面图像和背面图像，根据如下的亮度定义公式，计算出正面图像的平均亮度

和背面图像的平均亮度

Y_ij＝0.299*R_ij+0.587*G_ij+0.114*B_ij

其中，Y_ij为图像(i,j)位置的亮度值，R_ij为图像(i,j)位置的红色通道的值，G_ij为图像(i,j)位置绿色通道的值，B_ij为图像(i,j)位置蓝色通道的值，(w,h)为图像的宽和高，

为图像的平均亮度。

步骤三、如果正面图像的平均亮度

和背面图像的平均亮度

在阈值范围(T_{b_min},T_{b_max})内，则该图像亮度满足要求。如果平均亮度不在阈值范围(T_{b_min},T_{b_max})内，则该图像亮度不满足要求，图像过亮或者过暗，需要调节光源的亮度及相机曝光时间重新拍照。

具体实施方式三：结合图1和图3说明本实施方式采集大量图像并进行标注的方法，它包括如下步骤：

步骤一：根据具体实施方式一中所述方法，每一个电池都采集得到正面图像I_f、背面图像I_b和背光图像I_bl

步骤二、进行标注过程。如图3所示，需要在电池的正面图像和背面图像中分别标注出焊盘区域，得到焊盘标注图像I_{gt_plate}，其中焊盘区域用1填充，其余区域用0填充，将正面焊盘标注图像称为I_{gt_plate_f}，将背面焊盘标注图像称为I_{gt_plate_b}。

步骤三、在所有图像中，找到标注的每一个焊盘区域的最小外接矩形，将矩形截取出来，得到焊盘图像，将正面焊盘图像称为I_{f_point}，将背面焊盘图像称为I_{b_point}。然后在所有焊盘图像中标注出焊点区域，得到焊点标注图像I_{gt_point}，其中焊点区域用1填充，其余区域用0填充，将正面焊点标注图像称为I_{gt_point_f}，将背面焊点标注图像称为I_{gt_point_b}。

具体实施方式四：结合图1和图4说明本实施方式进行神经网络模型的训练的方法，它包括如下步骤：

步骤一、网络模型搭建过程。如图4所示，本发明中搭建了四个结构相同的网络模型，分别实现正面图像中提取焊盘、背面图像中提取焊盘、正面焊盘图像中提取焊点、背面焊盘图像中提取焊点的功能。

这四个结构相同的网络模型的输入均为彩色图像，输出为值域为(0，1)的单通道预测图像。网络结构由编码和解码两部分构成。在编码部分中，先经过3个卷积层并且在每个卷积层后接1个最大池化层，得到原图1/8大小的特征；然后再经过2个卷积层。在解码过程中，首先经过1个反卷积层将特征尺寸恢复到原图的1/4大小；其次将当前的特征和编码部分中第3个卷积层的特征相连接，然后接1个卷积层；再经过1个反卷积层将特征尺寸恢复到原图的1/2大小，接着将当前的特征和编码部分中第2个卷积层的特征相连接，然后接1个卷积层；最后经过1个反卷积层将特征尺寸恢复到原图大小，得到单通道预测图像。

网络结构中所有卷积层的卷积核都是3*3的，每个卷积层后都添加了批处理层和线性整流函数的激活函数。网络结构中所有反卷积层的卷积核都是5*5的，每个反卷积层后都添加了批处理层和线性整流函数的激活函数。

步骤二、网络模型训练过程。利用步骤三得到的标注图像，分别对四个网络模型进行训练。采用均方差函数作为损失函数，将正面图像I_f、背面图像I_b、正面焊盘图像I_{f_point}、背面焊盘图像I_{b_point}作为输入，以正面焊盘标注图像I_{gt_plate_f}、背面焊盘标注图像I_{gt_plate_b}、正面焊点标注图像I_{gt_point_f}、背面焊点标注图像I_{gt_point_b}作为真值，采用随机梯度下降的优化方法进行网络模型的训练。在多次迭代后，当网络模型的损失函数的值不发生明显下降时，终止训练过程，将网络模型视为已训练完成的网络模型。

具体实施方式五：结合图1说明本实施方式进行焊点模板图生成的方法，它包括如下步骤：

步骤一、设定焊盘标准尺寸(W_plate,H_plate)，W_plate和H_plate一般取所有焊点标注图像I_{gt_point}的平均宽度和平均长度；

步骤二、所有焊点标注图像I_{gt_point}进行尺寸的调整，调整至焊盘标准尺寸(W_plate,H_plate)。

步骤三、在每一张焊点标注图像中找到所有的标注的焊点的最小外接矩形的中心位置

计算出所有矩形的平均中心位置

然后将所有矩形的平均中心位置

平移至标注图像的中心，得到标注图I'_{gt_point}。

步骤四、统计标注图像的总数量N_{gt_point}，按照如下公式得到焊点模板图I_template，

具体实施方式六：结合图1说明本实施方式进行电池存在性检测的方法，它包括如下步骤：

步骤一、设定正面图像蓝通道二值化阈值T_{b_bi}，一般取200；蓝通道占比阈值T_{b_ratio}，一般取0.6；

步骤二、将正面图像I_f中的红色通道、绿色通道、蓝色通道分离，得到红色通道图I_{R_f}，绿色通道图I_{G_f}和蓝色通道图I_{B_f}。

步骤三、根据正面图像蓝通道二值化阈值T_{b_bi}，将蓝色通道图I_{B_f}进行二值化，得到蓝通道二值图I_{B_f_bi}，再按照如下公式统计蓝通道二值图I_{B_f_bi}中像素值为1的比例，

其中

函数如果比例N大于蓝通道占比阈值T_{b_ratio}，则认为图像中不存在电池，如果比例N小于蓝通道占比阈值T_{b_ratio}，则认为图像中存在电池。

具体实施方式七：结合图1说明本实施方式在正面和背面图像中进行焊盘提取的方法，它包括如下步骤：

步骤一、设定焊盘面积阈值范围(T_{plate_s_min},T_{plate_s_max})，其中T_{plate_s_min}和T_{plate_s_max}分别代表焊盘面积阈值的下限和上限，先计算出所有焊点标注图像的平均大小，T_{plate_s_min}一般取值平均大小的80％，T_{plate_s_max}一般取值平均大小的120％；焊盘位置候选区域为((W_{plate_p_start},W_{plate_p_end})×(H_{plate_p_start},H_{plate_p_end}))，其中(W_{plate_p_start},W_{plate_p_end})和(H_{plate_p_start},H_{plate_p_end})分别代表焊盘位置候选区域的宽的范围和高的范围，单位为像素，先计算出图像的宽和高，W_{plate_p_start}一般取图像宽的20％，W_{plate_p_end}一般取图像宽的80％，H_{plate_p_start}一般取图像高的20％，H_{plate_p_end}一般取图像高的80％；焊盘总个数N_plate，真实取电池产品的焊盘个数；焊盘长宽比阈值范围(T_{plate_r_min},T_{plate_r_max})，其中T_{plate_r_min}和T_{plate_r_max}分别代表焊盘长宽比阈值的下限和上限，先计算出所有焊点标注图像的平均长宽比，T_{plate_r_min}一般取值平均大小的80％，T_{plate_r_max}一般取值平均大小的120％；

步骤二、利用具体实施方式四中已训练完成的从正面图像中提取焊盘和从背面图像中提取焊盘的网络模型，以正面图像和背面图像作为输入、得到正面焊盘预测图I_{f_p}和背面焊盘预测图I_{b_p}。以0.5为阈值，将正面焊盘预测图I_{f_p}和背面焊盘的预测图I_{b_p}进行二值化操作，得到正面焊盘预测二值图I_{f_p_bi}和背面焊盘的预测二值图I_{b_p_bi}。

步骤三、对二值图I_{f_p_bi}和I_{b_p_bi}进行形态运算中的开运算，找出二值图中的每一个连通的区域，找到每一个连通区域轮廓的最小外接矩形。

步骤四、根据得到的最小外接矩形，利用形状约束和位置约束筛选出焊盘。计算出每一个矩形的中心、矩形的长宽比、矩形的面积，如果矩形中心在焊盘位置候选区域((W_{plate_p_start},W_{plate_p_end})×(H_{plate_p_start},H_{plate_p_end}))内、矩形长宽比在焊盘长宽比阈值范围(T_{plate_r_min},T_{plate_r_max})内，矩形面积在焊盘面积阈值范围(T_{plate_s_min},T_{plate_s_max})，那么就将这个矩形视为焊盘区域。

步骤五、分别在正面图像和背面图像中统计焊盘的个数，如果焊盘个数与焊盘总个数N_plate一致，那么在正面图像I_f和背面图像I_b中截取出正面焊盘区域I_fp和背面焊盘区域I_bp，在背光图像I_bl中根据正面图像中的焊盘区域位置截取出背光焊盘区域I_blp；否则视为此次点焊质量检测不合格。

具体实施方式八：结合图1说明本实施方式在正面焊盘图像和背面焊盘图像中进行焊点提取的过程，它包括如下步骤：

步骤一、设定参数焊点总个数N_point，取真实电池产品的焊点个数，焊点正确比率阈值为T_{r_point}，一般取0.15；

步骤二、利用具体实施方式四中已训练完成的从正面焊盘图像中提取焊点和背面焊盘图像中提取焊点的网络模型，以正面焊盘区域I_fp和背面焊盘区域I_bp作为输入、得到正面焊点预测图I_{fp_p}和背面焊点预测图I_{bp_p}。以0.5为阈值，将正面焊点预测图I_{fp_p}和背面焊点预测图I_{bp_p}进行二值化操作，得到正面焊点预测二值图I_{fp_p_bi}和背面焊点的预测二值图I_{bp_p_bi}。

步骤三、对二值图I_{fp_p_bi}和I_{bp_p_bi}进行形态运算中的开运算，得到二值图I'_{fp_p_bi}和I'_{bp_p_bi}。找出I'_{fp_p_bi}和I'_{bp_p_bi}的每一个连通的区域，找到每一个连通区域轮廓的最小外接矩形。

步骤四、对于找到的每一个外接矩形，如果矩形的面积在焊点面积阈值范围(T_{point_s_min},T_{point_s_max})内并且矩形的长宽比焊点长宽比阈值范围(T_{point_r_min},T_{point_r_max})内，那么将这个连通区域视为候选焊点。

步骤五、根据具体实施方式五中得到的焊点模板图I_template在二值图中进行候选焊点的筛选，将筛选后的连通区域视为焊点。统计焊点的个数，如果焊点个数与焊点总个数N_point一致，那么认为找到全部焊点，否则视为此次点焊质量检测不合格。

具体实施方式九：结合图1说明本实施方式进行候选焊点的筛选的方法，它包括如下步骤：

步骤一、统计找到的候选焊点的个数。如果候选焊点个数少于焊点总个数N_point，则转入步骤二；如果候选焊点个数等于焊点总个数N_point，则转入步骤三；如果候选焊点个数多于焊点总个数N_point，则转入步骤四；

步骤二、不进行候选焊点的筛选，将所有候选焊点视为非焊点；

步骤三、对候选焊点的二值图进行尺寸调整，调整至焊盘标准尺寸(W_plate,H_plate)，得到候选焊点图像I_{cddt_point}，首先找出所有候选焊点区域的最小外接矩形和最小外接矩形的中心位置

计算出所有矩形的平均中心位置

其次，将所有矩形的平均中心位置

平移至候选焊点图像I_{cddt_point}的中心；然后在每个最小外接矩形内作最大内切椭圆，将所有椭圆内部用1填充，所有椭圆外部用0填充，得到候选焊点图像I'_{cddt_point}。最后，根据如下公式计算出焊点正确比率R_point：

如果焊点正确比率R_point大于焊点正确比率阈值T_{r_point}，那么将所有候选焊点视为焊点；否则所有候选焊点视为非焊点。

步骤四、在候选焊点中依次取出N_point个候选焊点，得到只包含当前N_point个候选焊点的二值图，对这张二值图进行尺寸调整，调整至焊盘标准尺寸(W_plate,H_plate)，得到候选焊点图像I_{cddt_point}，然后找出这些候选焊点区域的最小外接矩形和最小外接矩形的中心位置

计算出这些矩形的平均中心位置

然后将这些矩形的平均中心位置

平移至候选焊点图像I_{cddt_point}的中心。然后在每个最小外接矩形内作最大内切椭圆，将所有椭圆内部用1填充，所有椭圆外部用0填充，得到候选焊点图像I'_{cddt_point}。最后，根据如下公式计算出次N_point个候选焊点的焊点正确比率R_point：

如果次N_point个候选焊点的焊点正确比率R_point大于焊点正确比率阈值T_{r_point}，那么将次N_point个候选焊点的焊点正确比率R_point保存，在遍历所有候选焊点后，以焊点正确比率R_point最大的N_point个候选焊点的焊点视为焊点；如果在遍历中，所有焊点正确比率R_point都小于焊点正确比率阈值T_{r_point}，那么将所有候选焊点视为非焊点。

具体实施方式十：结合图1说明本实施方式进行点穿现象检测的方法，它包括如下步骤：

步骤一、设定背光图像二值化阈值T_{bl_bi}，一般取100；焊点面积阈值范围(T_{point_s_min},T_{point_s_max})，其中T_{point_s_min}和T_{point_s_max}分别代表焊点面积阈值的下限和上限，先计算出所有焊点标注图像I_{gt_point}中焊点的平均大小，T_{point_s_min}一般取值平均大小的80％，T_{point_s_max}一般取值平均大小的120％；焊点长宽比阈值范围(T_{point_r_min},T_{point_r_max})，其中T_{point_r_min}和T_{point_r_max}分别代表焊点长宽比阈值的下限和上限，先计算出所有焊点标注图像I_{gt_point}中焊点的平均长宽比，T_{point_r_min}一般取值平均大小的80％，T_{point_r_max}一般取值平均大小的120％。

步骤二、进行焊盘内部点穿检测。首先根据背光图像二值化阈值T_{bl_bi}对背光焊盘区域I_blp进行二值化处理，得到背光焊盘二值图I_{blp_bi}，然后找出二值图中的唯一连通区域，并且找出连通区域内部的每一个空洞，对于每一个空洞，找到其最小外接矩形，如果矩形的面积在焊点面积阈值范围(T_{point_s_min},T_{point_s_max})内，并且矩形的长宽比在焊点长宽比阈值范围(T_{point_r_min},T_{point_r_max})内，那么认为该空洞为焊点，即存在焊盘内部点穿现象。

步骤三、进行焊盘上边缘点穿检测。首先根据背光图像二值化阈值T_{bl_bi}对背光焊盘区域I_blp进行二值化处理，得到背光焊盘二值图I_{blp_bi}，其次找出二值图中的唯一连通区域和该连通区域的凸包，然后找出凸包和连通区域轮廓之间的每一个空洞。对于每一个空洞，如果它的中心的位置处于背光焊盘区域的上半部分并且处于背光焊盘区域中间部分，那么则将这个空洞保留。最后，对于保留下来的每一个空洞，找到其最小外接矩形，如果矩形的面积在焊点面积阈值范围(T_{point_s_min},T_{point_s_max})内，并且矩形的长宽比在焊点长宽比阈值范围(T_{point_r_min},T_{point_r_max})内，那么认为该空洞为焊点，即存在焊盘上边缘点穿现象。

步骤四、如果存在焊盘内部点穿现象或者存在焊盘上边缘点穿现象，那么视为此次点焊质量检测不合格。

具体实施方式十一：结合图1说明本实施方式进行焊盘的倾斜程度检测的方法，它包括如下步骤：

步骤一、设定焊盘倾斜角度范围(T_{plate_angle_min},T_{plate_angle_max})，T_{plate_angle_min}和T_{plate_angle_max}分别代表焊盘倾斜角度范围的下限和上限，T_{plate_angle_min}一般取-5°，T_{plate_angle_max}一般取5°；

步骤二、根据背光图像二值化阈值T_{bl_bi}，对背光焊盘区域I_blp进行二值化处理，得到背光焊盘二值图I_{blp_bi}；

步骤三、找出二值图I_{blp_bi}中的唯一连通区域，并提取出该连通区域的外轮廓，提取出位置处于背光焊盘区域的上半部分并且处于背光焊盘区域中间部分的轮廓，将包含的所有像素点作为待拟合点；

步骤四、利用如下所示的距离函数公式，对待拟合点进行直线拟合，

其中C＝1.345，r为待拟合的点到拟合直线的距离，ρ(r)为距离函数。对于得到的拟合直线，如果该直线的角度不在倾斜角度范围(T_{plate_angle_min},T_{plate_angle_max})内，那么认为此焊盘放置倾斜，此次点焊质量检测不合格；

具体实施方式十二：结合图1说明本实施方式进行极耳超出焊盘的检测的方法，它包括如下步骤：

步骤一、设定极耳超出焊盘的面积阈值(T_{ear_min},T_{ear_max})，T_{ear_min}和T_{ear_max}分别代表极耳超出焊盘的面积阈值的下限和上限，一般先计算出焊盘标注图像长度的0.5倍，取该值的80％作为T_{ear_min}，取该值的120％作为T_{ear_max}；

步骤二、根据背光图像二值化阈值T_{bl_bi}对背光焊盘区域I_blp进行二值化处理，得到背光焊盘二值图I_{blp_bi}

步骤三、找出二值图I_{blp_bi}中的唯一连通区域和该连通区域的凸包，即一个包含连通区域最小的凸多边形，然后找出凸包和连通区域轮廓之间的每一个空洞。

步骤四、对于每一个空洞，如果它的中心的位置处于背光焊盘区域的上半部分并且处于背光焊盘区域左右两侧部分，那么则将这个空洞保留。对于保留下来的所有空洞，计算出空洞面积的和S_ear，如果空洞面积和S_ear不在极耳超出焊盘的面积阈值(T_{ear_min},T_{ear_max})内，那么认为极耳超出焊盘，此次点焊质量检测不合格。

Claims (10)

1.一种基于深度学习的高精度实时电池点焊质量检测方法，其特征在于，所述方法按以下步骤实现：

步骤一、将两台相机分别垂直固定于生产线上下两侧，并且在每台相机的镜头前放置一个环形光源；调节环形光源的亮度及相机曝光时间，照相机采集电池的正面图像I_f、背面图像I_b和背光图像I_bl；

步骤二、设定亮度阈值范围(T_{b_min},T_{b_max})，T_{b_min}和T_{b_max}分别代表亮度阈值范围的下限和上限；检测图像亮度，对正面图像和背面图像进行亮度计算，如果亮度在亮度阈值范围内，则转入步骤三，否则转入步骤一；

步骤三、采集大量电池正面图像I_f、背面图像I_b和背光图像I_bl并进行标注，得到正面焊盘标注图像I_{gt_plate_f}、背面焊盘标注图像I_{gt_plate_b}、正面焊盘图像I_{f_point}、背面焊盘图像I_{b_point}、正面焊点标注图像I_{gt_point_f}、背面焊点标注图像I_{gt_point_b}；利用标注过的图片，进行神经网络模型的训练；设定焊盘标准尺寸(W_plate×H_plate)，W_plate和H_plate分别代表焊盘标准尺寸的宽和高，单位为像素；利用得到的正面焊点标注图像和背面焊点标注图像，进行焊点模板图I_template的生成；

步骤四、开始进行点焊质量测试；设定正面图像蓝通道二值化阈值T_{b_bi}，蓝通道占比阈值T_{b_ratio}；在正面图像中进行电池存在性检测，如果图像中存在电池则转入步骤五，否则认为当前无电池；

步骤五、设定焊盘面积阈值范围(T_{plate_s_min},T_{plate_s_max})，T_{plate_s_min}和T_{plate_s_max}分别代表焊盘面积阈值的下限和上限；焊盘位置候选区域((W_{plate_p_start},W_{plate_p_end})×(H_{plate_p_start},H_{plate_p_end}))，(W_{plate_p_start},W_{plate_p_end})和(H_{plate_p_start},H_{plate_p_end})分别代表焊盘位置候选区域的宽的范围和高的范围，单位为像素；焊盘总个数为N_plate，焊盘长宽比阈值范围(T_{plate_r_min},T_{plate_r_max})，T_{plate_r_min}和T_{plate_r_max}分别代表焊盘长宽比阈值的下限和上限；在正面图像和背面图像中进行焊盘提取，统计焊盘个数，如果焊盘个数和焊盘总个数一致则转入步骤六，否则视为点焊质量不合格；

步骤六、设定焊点总个数为N_point，焊点正确比率阈值为T_{r_point}；在每个焊盘中进行焊点提取，在进行候选焊点筛选后，统计焊点个数，如果焊点个数和焊点总个数一致则转入步骤七，否则视为点焊质量不合格；

步骤七、设定背光图像二值化阈值T_{bl_bi}，焊点面积阈值范围(T_{point_s_min},T_{point_s_max})，T_{point_s_min}和T_{point_s_max}分别代表焊点面积阈值的下限和上限，焊点长宽比阈值范围(T_{point_r_min},T_{point_r_max})，T_{point_r_min}和T_{point_r_max}分别代表焊点长宽比阈值的下限和上限；在背光图像中进行点穿现象的检测，如果不存在点穿现象则转入步骤八，否则视为点焊质量不合格；

步骤八、设定焊盘倾斜角度范围(T_{plate_angle_min},T_{plate_angle_max})，T_{plate_angle_min}和T_{plate_angle_max}分别代表焊盘倾斜角度范围的下限和上限；在背光图像中找出焊盘的倾斜程度，如果倾斜程度在焊盘倾斜角度范围内则转入步骤九，否则视为点焊质量不合格；

步骤九、设定极耳超出焊盘的面积阈值范围(T_{ear_min},T_{ear_max})，T_{ear_min}和T_{ear_max}分别代表极耳超出焊盘的面积阈值的下限和上限；在背光图像中找出极耳超出焊盘的部分，如果该部分的面积在极耳超出焊盘的面积阈值范围内则视为点焊质量合格，否则视为点焊质量不合格。

2.根据权利要求1所述一种基于深度学习的高精度实时电池点焊质量检测方法，其特征在于，步骤一所述的采集电池正面图像I_f、背面图像I_b和背光图像I_bl的过程步骤如下：

当收到生产线的可编程逻辑控制器通信后，先在上环形灯和下环形灯都打开的情况下，分别由上相机和下相机拍摄得到正面图像I_f和背面图像I_b，然后再在上环形灯关闭和下环形灯打开的情况下，由上相机拍摄得到背光图像I_bl。

3.根据权利要求1所述一种基于深度学习的高精度实时电池点焊质量检测方法，其特征在于，步骤二所述的计算正面图像和背面图像亮度的过程包括以下步骤：

对于正面图像和背面图像，根据如下的亮度定义公式，计算出正面图像的平均亮度

和背面图像的平均亮度

Y_ij＝0.299*R_ij+0.587*G_ij+0.114*B_ij

其中，Y_ij为图像(i,j)位置的亮度值，R_ij为图像(i,j)位置的红色通道的值，G_ij为图像(i,j)位置绿色通道的值，B_ij为图像(i,j)位置蓝色通道的值，(w,h)为图像的宽和高，

为图像的平均亮度；

如果正面图像的平均亮度

和背面图像的平均亮度

在阈值范围(T_{b_min},T_{b_max})内，则该图像亮度满足要求；如果平均亮度不在阈值范围(T_{b_min},T_{b_max})内，则该图像亮度不满足要求，图像过亮或者过暗，需要调节光源的亮度及相机曝光时间重新拍照。

4.根据权利要求1所述一种基于深度学习的高精度实时电池点焊质量检测方法，其特征在于，步骤三所述的采集大量图像并进行标注的过程并进行 神经网络模型训练的过程然后进行焊点模板图生成的过程包括以下步骤：

步骤三A、根据步骤一所述方法，每一个电池都采集得到正面图像I_f、背面图像I_b和背光图像I_bl；

步骤三B、进行标注过程：需要在电池的正面图像和背光图像中分别标注出焊盘区域，得到焊盘标注图像I_{gt_plate}，其中焊盘区域用1填充，其余区域用0填充，将正面焊盘标注图像称为I_{gt_plate_f}，将背面焊盘标注图像称为I_{gt_plate_b}；

步骤三C、在所有图像中，找到标注的每一个焊盘区域的最小外接矩形，将矩形截取出来，得到焊盘图像，将正面焊盘图像称为I_{f_point}，将背面焊盘图像称为I_{b_point}，然后在所有焊盘图像中标注出焊点区域，得到焊点标注图像I_{gt_point}，其中焊点区域用1填充，其余区域用0填充，将正面焊点标注图像称为I_{gt_point_f}，将背面焊点标注图像称为I_{gt_point_b}；

步骤三D、网络模型搭建过程：搭建了四个结构相同的网络模型，分别实现正面图像中提取焊盘、背面图像中提取焊盘、正面焊盘图像中提取焊点、背面焊盘图像中提取焊点的功能；

这四个结构相同的网络模型的输入均为彩色图像，输出为值域为(0，1)的单通道预测图像，网络结构由编码和解码两部分构成；在编码部分中，先经过3个卷积层并且在每个卷积层后接1个最大池化层，得到原图1/8大小的特征；然后再经过2个卷积层，在解码过程中，首先经过1个反卷积层将特征尺寸恢复到原图的1/4大小；其次将当前的特征和编码部分中第3个卷积层的特征相连接，然后接1个卷积层；再经过1个反卷积层将特征尺寸恢复到原图的1/2大小，接着将当前的特征和编码部分中第2个卷积层的特征相连接，然后接1个卷积层；最后经过1个反卷积层将特征尺寸恢复到原图大小，得到单通道预测图像；

网络结构中所有卷积层的卷积核都是3*3的，每个卷积层后都添加了批处理层和线性整流函数的激活函数，网络结构中所有反卷积层的卷积核都是5*5的，每个反卷积层后都添加了批处理层和线性整流函数的激活函数；

步骤三E、网络模型训练过程：利用步骤三得到的标注图像，分别对四个网络模型进行训练，采用均方差函数作为损失函数，将正面图像I_f、背面图像I_b、正面焊盘图像I_{f_point}、背面焊盘图像I_{b_point}作为输入，以正面焊盘标注图像I_{gt_plate_f}、背面焊盘标注图像I_{gt_plate_b}、正面焊点标注图像I_{gt_point_f}、背面焊点标注图像I_{gt_point_b}作为真值，采用随机梯度下降的优化方法进行网络模型的训练，在多次迭代后，当网络模型的损失函数的值不发生明显下降时，终止训练过程，将网络模型视为已训练完成的网络模型；

步骤三F、所有焊点标注图像I_{gt_point}进行尺寸的调整，调整至焊盘标准尺寸(W_plate,H_plate)；

步骤三G、在每一张焊点标注图像中找到所有的标注的焊点的最小外接矩形的中心位置

计算出所有矩形的平均中心位置

然后将所有矩形的平均中心位置

平移至标注图像的中心，得到标注图I'_{gt_point}；

步骤三H、统计标注图像的总数量N_{gt_point}，按照如下公式得到焊点模板图I_template：

5.根据权利要求1所述一种基于深度学习的高精度实时电池点焊质量检测方法，其特征在于，步骤四所述的在正面图像中进行电池存在性检测的过程包括以下步骤：

步骤四A、将正面图像I_f中的红色通道、绿色通道、蓝色通道分离，得到红色通道图I_{R_f}，绿色通道图I_{G_f}和蓝色通道图I_{B_f}；

步骤四B、根据正面图像蓝通道二值化阈值T_{b_bi}，将蓝色通道图I_{B_f}进行二值化，得到蓝通道二值图I_{B_f_bi}，再按照如下公式统计蓝通道二值图I_{B_f_bi}中像素值为1的比例，

其中

函数如果比例N大于蓝通道占比阈值T_{b_ratio}，则认为图像中不存在电池，如果比例N小于蓝通道占比阈值T_{b_ratio}，则认为图像中存在电池。

6.根据权利要求1所述一种基于深度学习的高精度实时电池点焊质量检测方法，其特征在于，步骤五所述的在正面和背面图像中进行焊盘提取的过程包括以下步骤：

步骤五A、利用步骤三中已训练完成的从正面图像中提取焊盘和从背面图像中提取焊盘的网络模型，以正面图像和背面图像作为输入、得到正面焊盘预测图I_{f_p}和背面焊盘预测图I_{b_p}；以0.5为阈值，将正面焊盘预测图I_{f_p}和背面焊盘的预测图I_{b_p}进行二值化操作，得到正面焊盘预测二值图I_{f_p_bi}和背面焊盘的预测二值图I_{b_p_bi}；

步骤五B、对二值图I_{f_p_bi}和I_{b_p_bi}进行形态运算中的开运算，找出二值图中的每一个连通的区域，找到每一个连通区域轮廓的最小外接矩形；

步骤五C、根据得到的最小外接矩形，利用形状约束和位置约束筛选出焊盘；计算出每一个矩形的中心、矩形的长宽比、矩形的面积，如果矩形中心在焊盘位置候选区域((W_{plate_p_start},W_{plate_p_end})×(H_{plate_p_start},H_{plate_p_end}))内、矩形长宽比在焊盘长宽比阈值范围(T_{plate_r_min},T_{plate_r_max})内，矩形面积在焊盘面积阈值范围(T_{plate_s_min},T_{plate_s_max})，那么就将这个矩形视为焊盘区域；

步骤五D、分别在正面图像和背面图像中统计焊盘的个数，如果焊盘个数与焊盘总个数N_plate一致，那么在正面图像I_f和背面图像I_b中截取出正面焊盘区域I_fp和背面焊盘区域I_bp，在背光图像I_bl中根据正面图像中的焊盘区域位置截取出背光焊盘区域I_blp；否则视为此次点焊质量不合格。

7.根据权利要求1所述一种基于深度学习的高精度实时电池点焊质量检测方法，其特征在于，步骤六所述的在正面焊盘图像和背面焊盘图像中进行焊点提取的过程包括以下步骤：

步骤六A、利用步骤三中已训练完成的从正面焊盘图像中提取焊点和背面焊盘图像中提取焊点的网络模型，以正面焊盘区域I_fp和背面焊盘区域I_bp作为输入、得到正面焊点预测图I_{fp_p}和背面焊点预测图I_{bp_p}；以0.5为阈值，将正面焊点预测图I_{fp_p}和背面焊点预测图I_{bp_p}进行二值化操作，得到正面焊点预测二值图I_{fp_p_bi}和背面焊点的预测二值图I_{bp_p_bi}；

步骤六B、对二值图I_{fp_p_bi}和I_{bp_p_bi}进行形态运算中的开运算，得到二值图I'_{fp_p_bi}和I'_{bp_p_bi}；找出I'_{fp_p_bi}和I'_{bp_p_bi}的每一个连通的区域，找到每一个连通区域轮廓的最小外接矩形；

步骤六C、对于找到的每一个外接矩形，如果矩形的面积在焊点面积阈值范围(T_{point_s_min},T_{point_s_max})内并且矩形的长宽比焊点长宽比阈值范围(T_{point_r_min},T_{point_r_max})内，那么将这个连通区域视为候选焊点；

步骤六D、根据步骤三中得到的焊点模板图I_template在二值图中进行候选焊点的筛选，如果候选焊点个数多于焊点总个数N_point则转入步骤六E、如果候选焊点个数等于焊点总个数N_point则转入步骤六F、如果候选焊点个数少于焊点总个数N_point则转入步骤六G；

步骤六E、不进行候选焊点的筛选，将所有候选焊点视为非焊点；

步骤六F、先对候选焊点的二值图进行尺寸调整，调整至焊盘标准尺寸(W_plate,H_plate)，得到候选焊点图像I_{cddt_point}，首先找出所有候选焊点区域的最小外接矩形和最小外接矩形的中心位置

计算出所有矩形的平均中心位置

其次，将所有矩形的平均中心位置

平移至候选焊点图像I_{cddt_point}的中心；然后在每个最小外接矩形内作最大内切椭圆，将所有椭圆内部用1填充，所有椭圆外部用0填充，得到候选焊点图像I'_{cddt_point}，最后，根据如下公式计算出焊点正确比率R_point：

如果焊点正确比率R_point大于焊点正确比率阈值T_{r_point}，那么将所有候选焊点视为焊点；否则所有候选焊点视为非焊点；

步骤六G、在候选焊点中依次取出N_point个候选焊点，得到只包含当前N_point个候选焊点的二值图，对这张二值图进行尺寸调整，调整至焊盘标准尺寸(W_plate,H_plate)，得到候选焊点图像I_{cddt_point}，然后找出这些候选焊点区域的最小外接矩形和最小外接矩形的中心位置

计算出这些矩形的平均中心位置

然后将这些矩形的平均中心位置

平移至候选焊点图像I_{cddt_point}的中心，然后在每个最小外接矩形内作最大内切椭圆，将所有椭圆内部用1填充，所有椭圆外部用0填充，得到候选焊点图像I'_{cddt_point}，最后，根据如下公式计算出次N_point个候选焊点的焊点正确比率R_point：

如果次N_point个候选焊点的焊点正确比率R_point大于焊点正确比率阈值T_{r_point}，那么将次N_point个候选焊点的焊点正确比率R_point保存，在遍历所有候选焊点后，以焊点正确比率R_point最大的N_point个候选焊点的焊点视为焊点；如果在遍历中，所有焊点正确比率R_point都小于焊点正确比率阈值T_{r_point}，那么将所有候选焊点视为非焊点；

步骤六H、将筛选后的连通区域视为焊点，统计焊点的个数，如果焊点个数与焊点总个数N_point一致，那么认为找到全部焊点，否则视为此次点焊质量不合格。

8.根据权利要求1所述一种基于深度学习的高精度实时电池点焊质量检测方法，其特征在于，步骤七所述背光图像中进行点穿现象检测的过程包括以下步骤：

将焊点点穿检测过程分为焊盘内部点穿检测和焊盘上边缘点穿检测；

在焊盘内部点穿检测过程中，首先根据背光图像二值化阈值T_{bl_bi}对背光焊盘区域I_blp进行二值化处理，得到背光焊盘二值图I_{blp_bi}，其次找出二值图中的唯一连通区域，并且找出连通区域内部的每一个空洞，对于每一个空洞，找到其最小外接矩形，如果矩形的面积在焊点面积阈值范围(T_{point_s_min},T_{point_s_max})内，并且矩形的长宽比在焊点长宽比阈值范围(T_{point_r_min},T_{point_r_max})内，那么认为该空洞为焊点，即存在焊盘内部点穿现象；

在焊盘上边缘点穿检测过程中，首先根据背光图像二值化阈值T_{bl_bi}对背光焊盘区域I_blp进行二值化处理，得到背光焊盘二值图I_{blp_bi}，然后找出二值图中的唯一连通区域和该连通区域的凸包，然后找出凸包和连通区域轮廓之间的每一个空洞；对于每一个空洞，如果它的中心的位置处于背光焊盘区域的上半部分并且处于背光焊盘区域中间部分，那么则将这个空洞保留；最后，对于保留下来的每一个空洞，找到其最小外接矩形，如果矩形的面积在焊点面积阈值范围(T_{point_s_min},T_{point_s_max})内，并且矩形的长宽比在焊点长宽比阈值范围(T_{point_r_min},T_{point_r_max})内，那么认为该空洞为焊点，即存在焊盘上边缘点穿现象；

如果存在焊盘内部点穿现象或者存在焊盘上边缘点穿现象，那么视为此次点焊质量不合格。

9.根据权利要求1所述一种基于深度学习的高精度实时电池点焊质量检测方法，其特征在于，步骤八所述背光图像中进行焊盘的倾斜程度检测的过程包括以下步骤：

步骤八A、根据背光图像二值化阈值T_{bl_bi}对背光焊盘区域I_blp进行二值化处理，得到背光焊盘二值图I_{blp_bi}；

步骤八B、找出二值图I_{blp_bi}中的唯一连通区域，并提取出该连通区域的外轮廓，提取出位置处于背光焊盘区域的上半部分并且处于背光焊盘区域中间部分的轮廓，将包含的所有像素点作为待拟合点；

步骤八C、利用如下所示的距离函数公式，对待拟合点进行直线拟合，

其中C＝1.345，r为待拟合的点到拟合直线的距离，ρ(r)为距离函数；对于得到的拟合直线，如果该直线的角度不在倾斜角度范围(T_{plate_angle_min},T_{plate_angle_max})内，那么认为次焊盘放置倾斜，此次点焊质量不合格。

10.根据权利要求1所述一种基于深度学习的高精度实时电池点焊质量检测方法，其特征在于，步骤九所述背光图像中进行极耳超出焊盘的检测的过程包括以下步骤：

步骤九A、根据背光图像二值化阈值T_{bl_bi}对背光焊盘区域I_blp进行二值化处理，得到背光焊盘二值图I_{blp_bi}；

步骤九B、找出二值图I_{blp_bi}中的唯一连通区域和该连通区域的凸包，即一个包含连通区域最小的凸多边形，然后找出凸包和连通区域轮廓之间的每一个空洞；

步骤九C、对于每一个空洞，如果它的中心的位置处于背光焊盘区域的上半部分并且处于背光焊盘区域左右两侧部分，那么则将这个空洞保留；对于保留下来的所有空洞，计算出空洞面积的和S_ear，如果空洞面积和S_ear不在极耳超出焊盘的面积阈值(T_{ear_min},T_{ear_max})内，那么认为极耳超出焊盘，此次点焊质量检测不合格。

Images