CN114266974A - 基于深度学习的自动定位焊接方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的自动定位焊接方法，包括以下步骤：步骤S1:构建数据集；步骤S2:构建并训练分类识别模型；步骤S3:基于训练好的分类识别模型对相机获取到的图像进行目标检测与识别，并基于得到的目标框信息完成图像剪切，得到坡口图像与坡口边缘图像；步骤S4:获取拟合焊缝中心线LV；步骤S5:获取拟合边缘直线LH；步骤S6:将拟合边缘直线LH与拟合焊缝中心线的交点作为焊缝端点，并基于焊缝端点信息过滤掉步骤S4中焊缝中心点集PV点集中超出焊缝端点部分的噪点；步骤S7:通过位移变换与相机外参数将全部焊缝中心点集PV中的各点坐标统一到工件坐标系下，最后通过socket通讯指导ABB机械手完成焊接。本发明有效实现自动化焊接和智能化焊接。

Description

基于深度学习的自动定位焊接方法

技术领域

本发明涉及自动焊接领域，具体涉及一种基于深度学习的自动定位焊接方法。

背景技术

自动化焊接和智能化焊接是高效焊接制造的重要发展方向，而视觉辅助自动化焊接是重要的自动化焊接手段之一，视觉辅助系统的功能实现主要通过对焊接图像的处理获取焊接角点信息并反馈给执行机构完成自动化焊接工作。

在深度学习在自动化焊接领域应用以前，以往的焊缝识别方法主要分为两类：主动视觉、被动视觉。主动视觉是借助激光辅助光源在坡口上呈现出的特殊特征设计专门的特征检测算法完成焊缝中心点提取，该方法在坡口周围干扰少，小视野状态下，通过设计特定的特征提取方法能够有效的提取出焊缝中心点位置，且精度较高。但是基于激光辅助光源的焊缝提取方法不仅要针对不同的坡口设计不同的特征提取方法，同时当坡口周围存在数量多，变化无规律的干扰，特别是线条形状干扰时，基于激光辅助光源的焊缝识别与定位方法将难以进行有效的焊缝特征提取。被动视觉是指不借助激光，使用自然光或是环形光源等，依托焊缝本身的特征设计相应的特征提取方法完成焊缝与背景分离与定位的方法，该方法同样存在需要针对不同焊缝设计不同特征提取方法，且在复杂焊接环境中无法有效进行特征提取的难题。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度学习的自动定位焊接方法，有效实现自动化焊接和智能化焊接。

为实现上述目的，本发明采用如下技术方案：

一种基于深度学习的自动定位焊接方法，包括以下步骤：

步骤S1:获取焊接板对接构成的直线坡口图像集，并预处理，得到数据集；

步骤S2:基于YOLOv3网络构建分类识别模型，并基于数据集进行训练,得到训练好的基于YOLOv3的目标分类识别模型；

步骤S3:基于训练好的基于YOLOv3的目标分类识别模型对相机获取到的图像进行目标检测与识别，并基于得到的目标框信息完成图像剪切，获得目标图像，包含坡口图像和坡口边缘图像；

步骤S4:将坡口图像转为灰度图像并提取焊缝中心点，使用RANSAC算法过滤偏离焊缝中心的噪点，获得焊缝中心点集PV点集，最后对提取到的焊缝中心点使用最小二乘法进行线性拟合，获得拟合焊缝中心线LV；

步骤S5:对坡口边缘图像识别结果进行判别，上下边框分别处理，当小框边缘图像被提取时，则不进行大框边缘图像提取与处理，并基于坡口边缘图像获取拟合边缘直线LH；

步骤S6:将拟合边缘直线LH与拟合焊缝中心线LV的交点作为焊缝端点，并进一步过滤掉步骤S4中焊缝中心点集PV点集中超出焊缝端点部分的噪点；

步骤S7:基于图像采集位置与相机标定位置的位移变换，在逐个采集点获取的图像进行焊缝中心点检测后，通过位移变换与相机外参数将全部焊缝中心点集PV中的各点坐标统一到工件坐标系下，并通过socket通讯指导ABB机械手完成焊接。

进一步的，所述步骤S1具体为：

步骤S11:获取三种焊接板对接构成的直线坡口图像集，包括激光切割的表面光滑焊接板，实验室常用的带定位开孔的增材基板，以及在增材基板上完成各种增材试验后表面带有不同增材形状的复杂表面焊接板；

步骤S12:使用LabelImg开源软件完成目标标注；

步骤S13:使用左右镜像翻转与HSV格式下的色度、饱和度和亮度的随机调节来扩增图像数据集，得到训练数据集。

进一步的，所述步骤S12在类别设计上，将坡口端点识别转化为分类识别与定位问题，所设计目标类别包括weld、up_edge_mini、up_edge、down_edge_mini、down_edge共5种类别，其中，坡口上下边缘框各两组，包括up_edge和down_edge两组较大的框，以及up_edge_mini和down_edge_mini两组较小的框。

进一步的，所述步骤S2具体为：

步骤S21:YOLOv3模型训练前使用kmeans算法对所标注的5类目标框进行聚类获取新的先验框数据；

步骤S22:将图像不失真的缩放预设比例后作为YOLOv3模型的输入，YOLOv3模型使用darknet53网络与FPN网络进行特征提取与加强，获得加强后的特征信息；

步骤S23:基于坐标损失、置信度损失、分类损失所构成的混合损失函数，采用梯度下降法不断优化YOLOv3模型的网络参数；

步骤S24:模型训练中，将数据集随机分为训练集与测试集，并基于训练集训练，采用测试集获取训练后的模型评价，模型评价结果采用均值平均精度mAP作为分类识别的评价指标，获取有效的目标检测与分类模型。

进一步的，所述步骤S4具体为：

步骤S41：估计坡口实际宽度，并使用相机外参数逆矩阵反求其在像素坐标系下的坡口宽度w；

步骤S42：将提取到的坡口灰度图像设为gray，并设gray的图像尺寸为(raw，col)，在点(i，j)位置的灰度值为P_(i,j)，对于坡口灰度图像，求其在第i行位置的焊缝中心点坐标P_i，只需要求解T(i₀,j₀)＝T_min(i,j)，则P_i的坐标为(i₀,j₀)，其中所用公式为：

步骤S43：使用RANSAC算法过滤步骤S42中偏离焊缝中心的噪点，剩余点构成焊缝中心点点集PV，并使用最小二乘法拟合焊缝中心线LV。

进一步的，所述步骤S5具体为：

步骤S51:对提取到的坡口边缘图像类别进行判别，上下边框分别处理，当同一侧坡口边缘的大小框被同时检测到时，只处理小框数据，忽略大框数据，并将图像转为灰度图像。

步骤S52:将提取到的坡口边缘灰度图像，设为gray，并设gray的图像尺寸为(raw，col)，在点(i，j)位置的灰度值为P_(i,j)对于坡口灰度图像，欲求其在第i行位置的焊缝中心点坐标P_i只需要求解T(i₀,j₀)＝T_min(i,j)，则P_i的坐标为(i₀,j₀)，其中所用公式为：

其中i∈[3,raw-4],j∈[0,col-1]

步骤S53：使用RANSAC算法过滤步骤S52中偏离坡口边缘线的噪点，剩余点构成边缘点集PH，并使用最小二乘法拟合边缘直线LH。

本发明与现有技术相比具有以下有益效果：

1、本发明在原有的焊缝识别与定位基础上增设了坡口边缘识别与定位机制，将以往需要借助激光辅助光源，深度相机等辅助机制才能实现的焊缝端点定位这一焊缝定位中的关键问题转化为一般的基于深度学习实现的目标识别与定位问题；

2、本发明提出的数据集构造中增设了坡口边缘位置的标注，该标注将坡口分为上下坡口两大类，每一大类又分为大小边缘坡口边缘两小类，将坡口端点识别转化为分类识别问题用于解决以往焊缝识别数据集在定位上只能完成粗定位的问题。

附图说明

图1是本发明方法流程图；

图2是本发明一实施例中的分类方法与标注图；

图3本发明一实施例中的焊缝中心点识别过程图；

图4本发明一实施例中的边缘点点识别过程图；

图5本发明一实施例中的焊缝识别结果图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于深度学习的自动定位焊接方法，包括以下步骤：

步骤S1：制作一套专用“Weld数据集”，数据集格式为PASCAL VOC数据集，本发明自主提出坡口边缘类别设计，将坡口端点识别转化为分类识别问题以解决以往焊缝识别数据集在定位上只能完成粗定位的问题。

优选的，本实施例中，专用数据集“Weld数据集”所用图像源于实验室采集的三种焊接板对接构成的直线坡口图像集，包括少量激光切割的表面光滑焊接板与实验室常用的带定位开孔的增材基板，以及大量在增材基板上完成各种增材试验后表面带有有大量不同增材形状的复杂表面焊接板，总图像获取数量1251张。

步使用LabelImg开源软件完成目标标注，如图2所示，在类别设计上，本发明自主提出坡口边缘类别设计，将坡口端点识别转化为分类识别与定位问题，所设计的目标类别包括weld、up_edge_mini、up_edge、down_edge_mini、down_edge共5种类别，其中，坡口上下边缘框各两组，包括up_edge和down_edge两组较大的框，以及up_edge_mini和down_edge_mini两组较小的框。

优选的，模型训练中，在图像导入YOLOv3网络前，使用左右镜像翻转(不使用上下翻转或随机角度旋转以保证类别不会因该操作发生改变)与HSV格式下的色度、饱和度和亮度的随机调节来扩增原有的数据集，避免由于数据集规模不足带来的模型精度下降

步骤S2：将获取的图像分批次进入YOLOv3网络，经过训练获取有效的分类识别模型。

在本实施例中，优选的，步骤S2，具体为：

步骤S21:模型训练前使用kmeans算法对所标注的5类目标框进行聚类获取新的先验框数据。

步骤S22:将图像不失真的缩放为416*416图像作为YOLOv3模型(本领域已有模型)的输入，YOLOv3模型使用darknet53网络与FPN网络进行特征提取与加强，获得加强后的特征信息。

步骤S23:基于坐标损失、置信度损失、分类损失所构成的混合损失函数(本领域已有函数)，采用梯度下降法不断优化YOLOv3模型的网络参数。

步骤S24:模型训练中，训练集与测试集图像数量比为7:3，模型评价结果采用均值平均精度mAP作为分类识别的评价指标。

步骤S3：基于训练好的基于YOLOv3的目标分类识别模型对相机获取到的图像进行目标检测与识别，基于得到的目标框信息完成图像剪切，将复杂背景与焊缝关键位置进行有效分离，获得目标图像，包含坡口图像和坡口边缘图像。

步骤S4：如图3所示，将YOLOv3模型提取到的坡口图像转为灰度图像并使用所设计的算法提取焊缝中心点，接着使用RANSAC算法过滤偏离焊缝中心的噪点，获得焊缝中心点集PV点集，最后对提取到的焊缝中心点使用最小二乘法进行线性拟合，获得焊缝拟合中心线LV。

在本实施例中，优选的，步骤S4，具体为：

步骤S41：估计坡口实际宽度，并使用相机外参数逆矩阵反求其在像素坐标系下的坡口宽度w。

步骤S42：将提取到的坡口灰度图像设为“gray”，并假设gray的图像尺寸为(raw，col)，在点(i，j)位置的灰度值为P_(i,j)对于坡口灰度图像，欲求其在第i行位置的焊缝中心点坐标P_i只需要求解T(i₀,j₀)＝T_min(i,j)，则P_i的坐标为(i₀,j₀)，其中所用公式为：

步骤S43：由于步骤S42所提取的焊缝中心点包含有大量偏离焊缝中心线的噪点，所以需要对噪点进行过滤，以及焊缝中心线拟合，这里采用RANSAC算法进行噪点过滤，使用最小二乘法进行焊缝中心线拟合，假定所提取到的焊缝中心点集为P点集，具体操作为

(1)首先在P点集中随机提取两个点，对这两个点构造直线方程L。

(2)设定误差范围D，计算所有P点集中的点到直线L的距离d。

(3)对P中的所有点，统计满足误差要求(d<D)的点集数量N。

(4)重复步骤(1)-(3)总计50次，每当满足误差要求的点集数量大于原先的点集数量时，更新直线方程L与点集N

(5)将满足误差要求，且点集数量N最大时的所有点集保留，其余点视为噪点剔除，保留下来的P点集记为焊缝中心点PV点集。

(6)对PV点集使用最小二乘法进行直线拟合，如图3所示，得到拟合后的焊缝中心线LV。

步骤S5：对于YOLOv3模型提取到的坡口边缘图像进行判别，上下边框分别处理，当小框边缘图像被提取时，则不进行大框边缘图像提取与处理。坡口边缘图像处理(区分上下边缘，分别处理)首先使用设计的算法获取边缘角点，接着使用RANSAC算法过滤偏离坡口边缘的噪点，获取边缘点集PH(区分上下边缘点集)，最后使用最小二乘法进行线性拟合，获得拟合边缘直线LH(区分上下边缘拟合直线)，其处理效果如图4所示。

在本实施例中，优选的，步骤S5，具体为：

步骤S51：YOLOv3模型检测到的上下边缘框分别处理，当同侧边缘大小框同时被检测到时，只处理小框数据，只有当小框目标未被检测到，大框目标被检测到时使用大框数据，这样做的目的是保证检测效率与检测精度。

步骤S52：将提取到的坡口边缘灰度图像，设为“gray”，并假设gray的图像尺寸为(raw，col)，在点(i，j)位置的灰度值为P_(i,j)对于坡口灰度图像，欲求其在第i行位置的焊缝中心点坐标P_i只需要求解T(i₀,j₀)＝T_min(i,j)，则P_i的坐标为(i₀,j₀)，其中所用公式为：

其中i∈[3,raw-4],j∈[0,col-1]

步骤S53：由于步骤S52所提取的边缘角点包含有大量偏离边缘的噪点，所以需要对噪点进行过滤，以及边缘中心线拟合，这里采用RANSAC算法进行噪点过滤，使用最小二乘法进行焊缝中心线拟合，假定所提取到的焊缝中心点集为P点集，具体操作与步骤S43相同，处理过程如图4所示，最终得到边缘点集PH跟边缘直线LH。

具体操作为：

(1)首先在P点集中随机提取两个点，对这两个点构造直线方程L。

(2)设定误差范围D，计算所有P点集中的点到直线L的距离d。

(3)对P中的所有点，统计满足误差要求(d<D)的点集数量N。

(4)重复步骤(1)-(3)总计50次，每当满足误差要求的点集数量大于原先的点集数量时，更新直线方程L与点集N

(5)将满足误差要求，且点集数量N最大时的所有点集保留，其余点视为噪点剔除，保留下来的P点集记为焊缝中心点PH点集。

(6)对PH点集使用最小二乘法进行直线拟合，如图3所示，得到拟合后的焊缝中心线LH。

步骤S6：步骤S3所获取坡口信息只包含坡口的一个大概位置，故步骤S4在基于步骤S3得到的坡口图像进一步获取的焊缝中心点集可能包含焊缝端点以外的角点，或是无焊缝端点信息。基于这一问题，本发明自主设计了坡口边缘类别的分类识别与定位方法，即步骤S5，利用步骤S5获取的拟合边缘直线LH与步骤S4获得的拟合焊缝中心线的交点作为焊缝端点，并基于焊缝端点信息过滤掉步骤S4中焊缝中心点集PV点集中超出焊缝端点部分的噪点。

步骤S7：如图5所示，由于相机成像视野限制，单个图像无法囊括全部信息，本实施例基于图像采集位置与相机标定位置的位移变换，在逐个采集点获取的图像进行焊缝中心点检测后，通过位移变换与相机外参数将全部焊缝中心点集PV中的各点坐标统一到工件坐标系下，最后通过socket通讯指导ABB机械手完成焊接。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种基于深度学习的自动定位焊接方法，其特征字在于，包括以下步骤：

步骤S1:获取焊接板对接构成的直线坡口图像集，并预处理，得到数据集；

步骤S2:基于YOLOv3网络构建分类识别模型，并基于数据集进行训练,得到训练好的基于YOLOv3的目标分类识别模型；

步骤S3:基于训练好的基于YOLOv3的目标分类识别模型对相机获取到的图像进行目标识别，并基于得到的目标框信息完成图像剪切，获得目标图像，包含坡口图像和坡口边缘图像；

步骤S4:将坡口图像转为灰度图像并提取焊缝中心点，使用RANSAC算法过滤偏离焊缝中心的噪点，获得焊缝中心点集PV点集，最后对提取到的焊缝中心点使用最小二乘法进行线性拟合，获得焊缝拟合中心线LV；

步骤S5:对坡口边缘图像识别结果进行判别，上下边框分别处理，当小框边缘图像被提取时，则不进行大框边缘图像提取与处理，并基于坡口边缘图像获取拟合边缘直线LH；

步骤S6:将拟合边缘直线LH与拟合焊缝中心线LV的交点作为焊缝端点，并基于焊缝端点信息过滤掉步骤S4中焊缝中心点集PV点集中超出焊缝端点部分的噪点；

步骤S7:基于图像采集位置与相机标定位置的位移变换，在逐个采集点获取的图像进行焊缝中心点检测后，通过位移变换与相机外参数将全部焊缝中心点集PV中的各点坐标统一到工件坐标系下，最后通过socket通讯指导ABB机械手完成焊接。

2.根据权利要求1所述的基于深度学习的自动定位焊接方法，其特征字在于，所述步骤S1具体为：

步骤S11:获取三种焊接板对接构成的直线坡口图像集，包括激光切割的表面光滑焊接板，实验室常用的带定位开孔的增材基板，以及在增材基板上完成各种增材试验后表面带有不同增材形状的复杂表面焊接板；

步骤S12:使用LabelImg开源软件完成目标标注；

步骤S13:使用左右镜像翻转与HSV格式下的色度、饱和度和亮度的随机调节来扩增图像数据集，得到训练数据集。

3.根据权利要求2所述的基于深度学习的自动定位焊接方法，其特征字在于，所述步骤S12在类别设计上，将坡口端点识别转化为分类识别与定位问题，所设计目标类别包括weld、up_edge_mini、up_edge、down_edge_mini、down_edge共5种类别，其中，坡口上下边缘框各两组，包括up_edge和down_edge两组较大的框，以及up_edge_mini和down_edge_mini两组较小的框。

4.根据权利要求1所述的基于深度学习的自动定位焊接方法，其特征字在于，所述步骤S2具体为：

步骤S21:YOLOv3模型训练前使用kmeans算法对所标注的5类目标框进行聚类获取新的先验框数据；

步骤S22:将图像不失真的缩放预设比例后作为YOLOv3模型的输入，YOLOv3模型使用darknet53网络与FPN网络进行特征提取与加强，获得加强后的特征信息；

步骤S23:基于坐标损失、置信度损失、分类损失所构成的混合损失函数，采用梯度下降法不断优化YOLOv3模型的网络参数；

步骤S24:模型训练中，将数据集随机分为训练集与测试集，并基于训练集训练，采用测试集获取训练后的模型评价，模型评价结果采用均值平均精度mAP作为分类识别的评价指标，获取有效的目标检测与分类模型。

5.根据权利要求1所述的基于深度学习的自动定位焊接方法，其特征字在于，所述步骤S4具体为：

步骤S41：估计坡口实际宽度，并使用相机外参数逆矩阵反求其在像素坐标系下的坡口宽度w；

步骤S42：将提取到的坡口灰度图像设为gray，并设gray的图像尺寸为(raw，col)，在点(i，j)位置的灰度值为P_(i,j)，对于坡口灰度图像，求其在第i行位置的焊缝中心点坐标P_i，只需要求解T(i₀,j₀)＝T_min(i,j)，则P_i的坐标为(i₀,j₀)，其中所用公式为：

步骤S43：使用RANSAC算法过滤步骤S42中偏离焊缝中心的噪点，剩余点构成焊缝中心点点集PV，并使用最小二乘法拟合焊缝中心线LV。

6.根据权利要求1所述的基于深度学习的自动定位焊接方法，其特征字在于，所述步骤S5具体为：

步骤S51:对提取到的坡口边缘图像类别进行判别，上下边框分别处理，当同一侧坡口边缘的大小框被同时检测到时，只处理小框数据，忽略大框数据；

步骤S52:将提取到的坡口边缘灰度图像，设为gray，并设gray的图像尺寸为(raw，col)，在点(i，j)位置的灰度值为P_(i,j)对于坡口灰度图像，欲求其在第i行位置的焊缝中心点坐标P_i只需要求解T(i₀,j₀)＝T_min(i,j)，则P_i的坐标为(i₀,j₀)，其中所用公式为：

其中i∈[3,raw-4],j∈[0,col-1]

步骤S53：使用RANSAC算法过滤步骤S52中偏离坡口边缘线的噪点，剩余点构成边缘点集PH，并使用最小二乘法拟合边缘直线LH。

Images