CN111922483B - 基于学习的线结构光焊缝跟踪与增材路径纠偏装置及方法 - Google Patents

Abstract

本发明公开了一种基于学习的线结构光焊缝跟踪与增材路径纠偏装置及方法，纠偏装置包括母板、焊枪、激光器、CCD相机和图像处理传输模块，在焊接或增材制造过程中由相机在线连续采集线结构光投射到基板的光条图像，再采用改进的VGG深度网络方法提取出线结构光中心光条和基于中心光条提取焊接或增材的特征点位，装置将特征点信息传输给机器人控制系统，以此来实现对焊接作业的焊缝跟踪和增材制造中的路径纠偏。本发明能够适用于多种作业种类，如各类焊接制造、激光增材和电弧增材；对于恶劣的作业环境的适应性极强，能够抗弧光、飞溅、烟尘等各类噪声干扰；同时也保证了工业上对于跟踪及纠偏精度要求。

Description

基于学习的线结构光焊缝跟踪与增材路径纠偏装置及方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于学习的线结构光焊缝跟踪与增材路径纠偏装置及方法。

背景技术

熔焊与增材制造技术早已渗透到航空航天、兵器装备、舰船海工、新能源新材料、核装备/承载设备、汽车轨道车辆等众多军事民生领域。熔焊是焊接的主要技术，占焊接总量的75％以上。增材即3D打印，是新兴整体制造技术，包括激光增材和电弧增材两种。大型厚板在船舶、高压容器等领域广泛应用，厚板结构一般采用多层多道焊，目前厚板结构焊接自动化程度低下。熔焊与增材制造是瞬态过程不断累积的工艺过程，机器人焊接可以提高生产效率和焊接质量，是未来发展趋势。机器人自动化焊接与增材制造，就必须拥有自动化的焊缝跟踪与路径纠偏系统进行轨迹检测与规划。

目前，针对厚板机器人焊接多采用完全示教的方法，其对工装精度和坡口加工精度要求非常高，该方法需要知道焊接参数与每道焊缝成形的定量关系，才能很好规划出每层每道的焊缝轨迹，各焊道的累积误差以及焊接变形会对路径规划精度造成影响，同样的问题在增材过程中也存在，这严重影响厚板机器人焊接与增材的质量和自动化的实现。迫切地需要一种可以适应单道单层、多层多道等各类焊接与增材的检测系统来配合机器人获得各焊道的实时填充信息，对生产路径规划进行修正，提高行进路径规划精度，精确的完成焊接任务。

由于焊接和增材过程是一个既变性又变形的复杂物理化学过程，大部分工业自动化焊接与增材的生产环境恶劣，由于强烈的弧光辐射、高温、烟尘、飞溅、坡口状况、加工误差、装夹精度、表面状态和工件热变形等影响会使焊炬偏离焊缝，从而造成焊接质量下降甚至失败。这些都给线结构光主动视觉模块的图像处理带来很多问题，焊接条件的变化要求弧焊机器人能够实时检测出焊缝偏差，并调整焊接路径和焊接参数，保证焊接质量的可靠性。传统的中心线提取算法有极值法、几何中心法、灰度重心法和Steger法等。极值法与几何中心法通过寻找图像灰度值的极值与几何中心计算光带中心线,原理简单,运算速度较快,但是易受噪声干扰，不能适应复杂场景要求。灰度重心法利用激光光带能量类似高斯分布的特性计算带中心,稳定性优于极值法,但其准确性易受图像高频噪声和光带非正态分布的影响,仅适用于图像光带质量较好的场合。Steger法利用Hessian矩阵获取激光光带像素点的法线方向,通过法线方向上的极值点计算出光带中心线,但是对光带宽度敏感，且运算量大。由此看出传统的中心线及特征点提取算法已无法满足真实恶劣的生产条件需求。因此，急需能够排除弧光、飞溅、烟尘等各类干扰，提高图像处理的准确度和稳定性的算法应用于大型工业焊接及增材制造的作业环境中。

发明内容

本发明的目的在于提供一种基于学习的线结构光焊缝跟踪与增材路径纠偏装置及方法，既能适应多种类的焊接及增材制造工艺，又能在恶劣的工业自动化环境中稳定工作，能够抗弧光、飞溅、烟尘等各类噪声干扰，以解决工业上对于焊缝跟踪与增材路径纠偏高精度与稳定性要求。

实现本发明目的的技术解决方案为：一种基于学习的线结构光焊缝跟踪与增材路径纠偏装置，包括母板、焊枪、激光器、CCD相机和图像处理传输模块；

激光器与CCD相机之间呈一定倾角，两者均设置在焊枪上，其中CCD相机与焊枪相对平行，所述图像处理传输模块与CCD相机连接；激光器发射线结构光投射到母板产生光条轮廓，由CCD相机采集图像，图像处理传输模块进行特征线与点位处理，并与机器人控制系统通信，实现焊缝跟踪与增材路径纠偏。

一种基于学习的线结构光焊缝跟踪与增材路径纠偏装置及方法，包括以下步骤：

步骤1，选用棋盘格作为标定板，对线结构光进行标定，同时对所用CCD相机进行标定，然后对CCD相机和与之相对固定机器人之间进行手眼标定；

步骤2，作业过程中CCD相机采集到线结构光投射到母板及子材上产生的光条轮廓和各种背景干扰，图像处理传输模块利用基于VGG深度网络学习的算法对图像进行处理，获取到无噪声的二维轮廓切线及焊接路径特征点；

步骤3，利用标定结果将二维信息还原至真实三维信息，获得真实作业路径三维情景与点位路线；通过图像处理传输模块与机器人系统通信，对焊接和增材路径进行实时监控及纠偏跟踪。

本发明与现有技术相比，其显著优点为：(1)本发明利用不同曝光时间下对线结构光标定图像进行采集，提高了标定的精度；(2)本发明不同于其它装置，能够适应各类焊接及增材类型与工艺，包括但不限于的焊接及增材类型有单道单层、多道多层、V型焊、直角焊、对接焊等，生产工艺有TIG、MIG、CMT等各类熔焊，还有激光增材和电弧增材两大增材工艺；(3)本发明能够在恶劣的工业生产环境中稳定工作，排除弧光、飞溅、烟尘等各类干扰，提高了图像处理算法的准确度和稳定性，更适用于应用于大型工业焊接及增材制造的作业环境中。

附图说明

图1是本发明使用的线结构光装置的示意图。

图2(a)～图2(c)是本发明不同曝光时间下线结构光标定图像的融合示意图。

图3是本发明手眼标定坐标系转换关系示意图。

图4是本发明在线工作采集的线结构光图像。

图5是本发明线提取与点回归的网络结构图。

图6是本发明获取的线结构光光条和焊缝特征点的三维图。

图7(a)～图7(d)是本发明在实际在线作业中的图像处理效果图。

具体实施方式

如图1所示，一种基于学习的线结构光焊缝跟踪与增材路径纠偏装置，包括母板1、焊枪2、激光器3、CCD相机4和图像处理传输模块5；

激光器3与CCD相机4之间呈一定倾角，两者均设置在焊枪2上，其中CCD相机4与焊枪2相对平行，所述图像处理传输模块5与CCD相机4连接，并与机器人控制系统通信。

进一步的，激光器3与CCD相机4之间呈30°-60°倾角。

本发明还提供一种基于学习的线结构光焊缝跟踪与增材路径纠偏方法，包括以下步骤：

步骤1，选用棋盘格作为标定板，对线结构光进行标定，同时对所用CCD相机进行标定，然后对CCD相机和与之相对固定机器人之间进行手眼标定；

步骤2，作业过程中CCD相机采集到线结构光投射到母板及子材上产生的光条轮廓和各种背景干扰，图像处理传输模块利用提出的一种基于VGG深度网络学习的算法对图像进行处理，获取到无噪声的二维轮廓切线及焊接路径特征点。

步骤3，利用标定结果将二维信息还原至真实三维信息，获得真实作业路径三维情景与点位路线。通过图像处理传输模块与机器人系统通信，对焊接和增材路径进行实时监控及纠偏跟踪。

进一步的，步骤1中所述线结构光标定方法，选取高曝光时间和低曝光时间两种模式，本发明中，高曝光时间为3000us，低曝光时间为100us；对同一幅标定图像，在两种模式下分别进行拍摄；在高曝光时间的模式下，提取照射在白色区域的线结构光图像；在低曝光时间的模式下，提取照射在黑色区域的线结构光图像；二者拼接后作为最终线结构光标定图像，并提取图像的中心线；同时对所用CCD相机进行标定，获取相机内参、外参；在完成CCD相机和与机器人之间进行手眼标定之后对标定结果进行误差补偿修正，使得线结构光三维重建的精度进一步提升。

进一步的，步骤2中所述的基于VGG深度网络的学习算法，网络模型是以VGG16为基础，通过提取6个阶段的卷积特征信息与回归实现了抗恶劣环境干扰、高鲁棒性线提取与特征点回归的功能。网络结构具体说明如下：

(1)前五个阶段中主干由卷积层组成，通过卷积来提取图像特征；

(2)每个卷积层都连接到一个内核大小为1*1，通道深度为21的卷积层；利用eltwise层对每个阶段的特征图进行累加，得到混合特征；

(3)每个eltwise层后面都有一个1*1-1的卷积层；使用反卷积层对该特征图进行上采样；

(4)每一阶段都有一个交叉熵loss/sigmoid层连接到上采样层；

(5)所有上采样层都是串联的，使用一个1*1-1卷积层融合各个阶段的特征映射；通过交叉熵loss/sigmoid层得到融合损失/输出；

(6)使用难例挖掘固定正负样本比例，约束交叉熵损失函数；

(7)在第五阶段的卷积层后再加入第六阶段的两层卷积层与三层线形全连接层，回归出每条焊缝切线的特征点位。

进一步的，步骤3中所述的底层增材与焊缝三维信息还原及特征点位重建通过步骤1得到的标定结果实现，并通过处理传输模块和作业机器人控制系统相互通信，使得可以实时监控焊接成型情况及对作业路径进行在线纠偏跟踪，得出图像识别流程局部微调示教轨迹位置和姿态，最终满足焊接与增材生产的需要。

本发明可配置于进行焊接和增材制造的机器末端，首先利用标定板对线结构光进行标定，然后对机器人模块与装置中的视觉模块进行手眼标定，最终获得二维图像信息向真实三维坐标转换的关系。本发明能够适用于多种作业种类，如各类焊接制造，激光增材和电弧增材；对于恶劣的作业环境的适应性极强，能够抗弧光、飞溅、烟尘等各类噪声干扰；同时也保证了工业上对于跟踪及纠偏精度要求。

下面结合实施例对本发明进行详细说明。

实施例

如图1所示，一种基于学习的线结构光焊缝跟踪与增材路径纠偏装置，包括母板1、焊枪2、激光器3、CCD相机4、图像处理传输模块5；激光器3与CCD相机4之间选择合适的倾角30-60°，绑定于焊枪2上相对固定，其中CCD相机4与焊枪2相对平行，图像处理传输模块5与CCD相机4连接，并与机器人控制系统通信。激光器3发射线结构光投射到母板产生光条轮廓，由CCD相机4采集图像，后图像处理传输模块5通过本发明提出的深度网络算法进行特征线与点位处理，处理结束，与机器人控制系统通信交互，进行焊缝跟踪与增材路径纠偏。

依据附图1的装置，进行在线焊缝跟踪检测，线结构光焊缝跟踪与增材路径纠偏方法包括以下步骤：

步骤一：使用棋盘格标定板，选取高曝光时间(3000us)和低曝光时间(100us)两种模式，对同一幅标定图像，在两种模式下对线结构光进行拍摄；激光器向待测件表面投射一光平面，该光平面受待测件表面的深度变化调制，形成一个变形的光条纹，该条纹图像最终由摄像机捕获。光条条纹的变形程度包含了激光器与摄像机之间的相对位置信息以及被测物体表面的深度信息。线结构光视觉测量的工作就是根据激光器与摄像机之间的空间位置关系，从变形的结构光条纹图像中获取被测物体表面的三维信息。采用一块棋盘格作为平面标定靶，保证线激光与棋盘格相交。获取线激光与棋盘格交点的像素坐标，将这个二维坐标转换到摄像机坐标系上的三维坐标，并将多个三维坐标拟合平面，即可标定线结构光。为提高标定精度，选用两种模式对线结构光进行拍摄，在图2(a)所示的低曝光时间模式下，提取较粗的条纹图像，其像素宽度大于5个像素，即照射在白格区域的线结构光图像；在图2(b)所示的高曝光时间模式下，提取较细的条纹图像，其像素宽度小于5个像素，即照射在黑格区域的线结构光图像；将提取后的图像进行拼接，获得如附图2(c)所示的比较均匀的线结构光图像；拍摄大约二十五组图像，利用steger算法，对线结构光中心线进行提取。完成对线结构光参数的标定。采用传统的张正友标定法对相机进行标定，使用棋盘格作为标定板；在已知标定板物理尺寸的前提下，将标定板变换位置，进行多次采样，提取不同位置下，棋盘格角点的像素坐标；利用获取的数据，在图像坐标系、成像平面坐标系、摄像机坐标系、世界坐标系下进行坐标的变换，即可获取相机的内参，以及标定板在不同位置下相机的外参；利用CCD相机的标定数据，结合线结构光的标定数据，以及线结构光照射在目标上的像素坐标，利用steger线结构光中心提取算法，即可对线结构光进行三维重建；相机的标定需与线结构光标定同时进行；即标定板不移动的情况下，拍摄标定板的图像，实现CCD相机的标定。进行手眼标定时，标定板固定位置不动，手眼组合体变换姿态拍摄图片。手眼标定的目的是得到摄像机坐标系C与机器手末端工具坐标系H之间的转换矩阵

如图3所示；在这种手眼标定中机器人移动过程的任意两个位姿都有以下公式：

转换得

其中

为不同姿态下机器人基坐标系与机器手末端工具坐标系之间的转换矩阵，

为不同姿态下相机坐标系与世界坐标系之间的转换矩阵，

与

为不同姿态下相机坐标系与末端工具坐标系的固定转换矩阵。此时问题简化为对于AX＝XB方程的求解，多组位姿即可求解出手眼标定的转换矩阵

步骤二：标定工作完成后，即可进行焊接现场的装置运行。在焊接和增材作业过程中，本发明装置在线运行，CCD相机采集实际工况下的线结构光图像，如图4所示，并传输给图像处理模块，图像处理模块的处理算法是基于VGG深度网络的改进算法，VGG16网络由13个卷积层和3个全连接层组成。它的卷积层分为五个阶段，每个阶段之后连接一个池层。每个卷积层捕获的有用信息随着其接收域大小的增加而变得更粗，这些丰富的层次信息来帮助进行中心线检测。本算法网络设计的起点就在这里，引入的新型网络如图5所示，其结构说明如下：

1)前五个阶段中主干由卷积层组成，通过卷积来提取图像特征。

2)每个卷积层都连接到一个内核大小为1*1，通道深度为21的卷积层。利用eltwise层对每个阶段的特征图进行累加，得到混合特征。

3)每个eltwise层后面都有一个1*1-1的卷积层。然后，使用反卷积层对该特征图进行上采样。

4)每一阶段都有一个交叉熵loss/sigmoid层连接到上采样层。

5)所有上采样层都是串联的。然后使用一个1*1-1卷积层融合各个阶段的特征映射。最后，通过交叉熵loss/sigmoid层得到融合损失/输出。

6)使用难例挖掘固定正负样本比例，约束交叉熵损失函数，避免network的预测值少数服从多数而向负样本靠拢，同时达到提取的中心线条单像素宽的目的。

7)在第五阶段的卷积层后再加入第六阶段的两层卷积层与三层线形全连接层，回归出每条焊缝切线的特征点位。

步骤三：在步骤一中得到了由相机像素坐标到机器人基坐标系的标定结果，在步骤二中得到了利用深度网络算法从含有各类噪声的线结构光图像中提取到的线结构光中心单像素宽光条和焊缝特征点，此处利用标定结果将这两类二维信息还原至真实三维信息，提取图4中的获取线结构光光条和焊缝特征点的三维图如图6所示，图中焊缝特征点由十字线交叉表示，由此获得真实作业路径三维情景与点位路线。通过图像处理传输模块与机器人系统通信，对焊接和增材路径进行实时监控及纠偏跟踪。

本发明的效果可以通过以下结果进一步说明：

使用本发明步骤一所述标定算法，多次选取线结构光上两点，测量两点的实际距离和通过标定数据得到的距离。与原始标定数据相比较，使用原始标定方法的误差为1.69％，改进后的标定方法误差为1.26％。表明该技术可以提高标定精度。

使用本发明步骤二所述深度网络算法，对各类焊接类型及焊道焊层的线提取和点回归的检测结果如附图7(a)、7(b)、7(c)、7(d)所示，每组图像的左图为采集到的各类原图，右图为处理得到的中心线和特征点，特征点用十字线交叉表示，结果显示本算法可以在恶劣的工业自动化环境中稳定准确的抗弧光、飞溅、烟尘等各类噪声干扰，由此可以看出本算法的高鲁棒的优越性。

使用本发明步骤三所述的方法将像素坐标转换到机器人基础坐标系下，在标准件上对线结构光深度测量进行定量分析，使用的校正方式为一次线性拟合，即y＝kx+b，其中，k＝0.8571，b＝0.0016；原始数据、标准数据、校正数据如下：

原始数据	标准数据	校正数据
			1.168	1.000	1.003
1.184	1.000	1.016
			1.185	1.000	1.017
1.161	1.000	0.997
			1.162	1.000	0.998
1.157	1.000	0.993
			1.150	1.000	0.987
1.155	1.000	0.991
			2.353	2.000	2.018
2.369	2.000	2.032
			2.349	2.000	2.015
2.323	2.000	1.993
			2.318	2.000	1.989
2.308	2.000	1.979
			2.307	2.000	1.979
3.538	3.000	3.034
			3.532	3.000	3.029
3.511	3.000	3.011
			3.478	3.000	2.982
3.469	3.000	2.974
			3.464	3.000	2.970
4.703	4.000	4.032
			4.695	4.000	4.025
4.669	4.000	4.003
			4.628	4.000	3.968
4.626	4.000	3.966
			5.865	5.000	5.029
5.851	5.000	5.017
			5.819	5.000	4.989
5.784	5.000	4.959
			7.023	6.000	6.021
7.002	6.000	6.002
			6.977	6.000	5.981
8.173	7.000	7.007
			8.159	7.000	6.994
9.332	8.000	7.999

由上述结果可知，本发明所使用的校正算法，可以有效提高三维重建的精度，在焊缝高度的范围内，可以有效减少因线结构光不均匀、标定参数不准、提取中心线不精确等因素带来的误差。

Claims (2)

1.一种基于学习的线结构光焊缝跟踪与增材路径纠偏方法，其特征在于，该方法基于线结构光焊缝跟踪与增材路径纠偏装置实现，所述装置包括母板（1）、焊枪（2）、激光器（3）、CCD相机（4）和图像处理传输模块（5）；激光器（3）与CCD相机（4）之间呈一定倾角，两者均设置在焊枪（2）上，其中CCD相机（4）与焊枪（2）相对平行，所述图像处理传输模块（5）与CCD相机（4）连接；激光器（3）发射线结构光投射到母板（1）产生光条轮廓，由CCD相机（4）采集图像，图像处理传输模块（5）进行特征线与点位处理，并与机器人控制系统通信，实现焊缝跟踪与增材路径纠偏；所述方法包括以下步骤：

步骤1，选用棋盘格作为标定板，对线结构光进行标定，同时对所用CCD相机进行标定，然后对CCD相机和与之相对固定机器人之间进行手眼标定；线结构光标定方法具体为：

选取高曝光时间和低曝光时间两种模式；对同一幅标定图像，在两种模式下分别进行拍摄；在高曝光时间的模式下，提取照射在白色区域的线结构光图像；在低曝光时间的模式下，提取照射在黑色区域的线结构光图像；二者拼接后作为最终线结构光标定图像，并提取图像的中心线；同时对所用CCD相机进行标定，获取相机内参、外参；在完成CCD相机和与机器人之间进行手眼标定之后对标定结果进行误差补偿修正；

步骤2，作业过程中CCD相机采集到线结构光投射到母板及子材上产生的光条轮廓和各种背景干扰，图像处理传输模块利用基于VGG深度网络学习的算法对图像进行处理，获取到无噪声的二维轮廓切线及焊接路径特征点；

基于VGG深度网络学习的算法，其网络结构如下：

（1）前五个阶段中主干由卷积层组成，通过卷积来提取图像特征；

（2）每个卷积层都连接到一个内核大小为1*1，通道深度为21的卷积层；利用eltwise层对每个阶段的特征图进行累加，得到混合特征；

（3）每个eltwise层后面都有一个1*1-1的卷积层；使用反卷积层对该特征图进行上采样；

（4）每一阶段都有一个交叉熵loss/sigmoid层连接到上采样层；

（5）所有上采样层都是串联的，使用一个1*1-1 卷积层融合各个阶段的特征映射；通过交叉熵loss/sigmoid层得到融合损失/输出；

（6）使用难例挖掘固定正负样本比例，约束交叉熵损失函数；

（7）在第五阶段的卷积层后再加入第六阶段的两层卷积层与三层线形全连接层，回归出每条焊缝切线的特征点位；

步骤3，利用标定结果将二维信息还原至真实三维信息，获得真实作业路径三维情景与点位路线；通过图像处理传输模块与机器人系统通信，对焊接和增材路径进行实时监控及纠偏跟踪。

2.根据权利要求1所述的基于学习的线结构光焊缝跟踪与增材路径纠偏方法，其特征在于，激光器（3）与CCD相机（4）之间呈30°-60°倾角。

Images