CN109693018B - 自主移动机器人焊缝视觉跟踪系统及跟踪方法 - Google Patents

Abstract

本发明公开一种自主移动机器人焊缝视觉跟踪系统，包括自主移动机器人、视觉传感器和视觉跟踪处理装置。本发明还公开一种跟踪方法，在焊缝跟踪过程，通过训练大量的正负样本构建分类器以及利用高斯核函数的映射来提高跟踪精度和可靠性；通过构建样本的循环矩阵以及傅里叶变换和反变换来减少计算量，提高跟踪实时性。本发明的跟踪系统及方法满足自主移动机器人在焊接过程中，尤其受弧光和飞溅强烈干扰时，对实时性、可靠性和高精度的要求。

Description

自主移动机器人焊缝视觉跟踪系统及跟踪方法

技术领域

本发明属于焊接技术领域，涉及自主移动机器人领域，具体为一种自主移动机器人焊缝视觉跟踪系统及跟踪方法。

背景技术

在大型化工设备、管道或船舱等复杂空间的焊接环境下，焊接工作存在人工焊接劳动强度大、焊接效率低、作业困难和作业危险等问题。自主移动机器人具有焊接效率高、焊接质量统一、体积小、移动方便等特点，能避免上述问题，保证焊接标准的统一，提高焊接精度、焊接质量和焊接效率，因而将在很多领域得到应用。

自主移动机器人在焊接时需要实时获取焊缝的位置和尺寸信息，以精确控制焊枪运动，保证焊接质量。激光视觉传感器能利用激光高亮度、抗干扰能力强等优点，方便地获取焊缝特征信息，因而成为最广泛应用的焊缝传感器。但在焊接过程中，激光视觉传感器采集的焊缝图像信息中会存在因强烈的弧光和飞溅影响造成的大片噪声，造成焊缝位置测量精度降低，影响焊接质量。

公开号CN108747132A的中国专利公开了一种自主移动机器人视觉控制系统，在焊接机器人的基础上，将核心的图像采集、处理与焊接自动控制功能，用基于ARM Cortex-A8的控制系统来实现。控制系统能获取激光视觉传感器的焊缝图像信息，再根据图像信息实时测量焊缝位置和尺寸信息，通过控制系统来控制移动机器人的爬行、横摆、进行焊接自动控制和实时纠偏。嵌入式系统可以大幅减少系统的整体复杂程度和设备体积，提高自主移动机器人在工业现场焊接的适应性。该专利的控制系统采用基于模板匹配的焊缝定位算法，来减少焊缝定位算法受弧光的干扰，该算法的计算量较大，不利于焊缝跟踪过程中对实时性的要求。

公开号CN106312397B的中国专利公开了一种激光视觉引导的焊接轨迹自动跟踪系统及方法，无需事先示教的过程，通过实时检测跟踪提高了焊接生产效率及自适应能力；同时避免了超前检测引起的跟踪滞后问题，解决了传感器与焊枪距离过近时强烈的弧光辐射、高温、烟尘等因素导致特征图像耦合大量噪声，从而制约系统实时性及跟踪精度的问题。但是该专利提供的跟踪系统在焊缝跟踪过程中的可靠性不稳定，无法满足受弧光和飞溅强烈干扰时，自主移动机器人对焊接过程的实时性、可靠性和高精度的要求。

因此，为解决自主移动机器人在焊接时弧光和飞溅的干扰问题，本发明在线激光视觉传感器基础上，提出一种利用高斯核相关滤波(Kernelized correlation filter，KCF)算法的自主移动机器人焊缝自动跟踪系统。在焊缝跟踪过程，通过训练大量的正负样本构建分类器以及利用高斯核函数映射来提高跟踪精度和可靠性；通过构建样本的循环矩阵和傅里叶变换和反变换来减少计算量，提高跟踪实时性。满足自主移动机器人在焊接过程中，尤其受弧光和飞溅强烈干扰时，对实时性、可靠性和高精度的要求。

发明内容

本发明的目的是针对现有技术存在的问题，提供一种自主移动机器人焊缝视觉跟踪系统及跟踪方法，解决自主移动机器人在焊接时的弧光和飞溅干扰问题，满足自主移动机器人在焊接过程中对实时性、可靠性和高精度的要求。

为实现上述目的，本发明采用的技术方案是：

自主移动机器人焊缝视觉跟踪系统，包括自主移动机器人、视觉传感器和视觉跟踪处理装置，所述自主移动机器人包括机器人主体，与所述机器人主体连接的横摆导轨，安装在所述横摆导轨末端的焊枪，及通过485总线与所述视觉跟踪处理装置连接的焊机；所述视觉传感器包括工业相机和线激光器，所述工业相机和线激光器安装在所述横摆导轨的末端，用于获取焊缝的尺寸和位置信息，以及定位焊接过程中焊枪和焊缝的相对位置；所述视觉跟踪处理装置与所述工业相机连接，用于对采集的焊缝尺寸和位置信息，利用焊缝特征检测算法提取初始焊缝位置，并利用基于KCF的焊缝跟踪算法实时跟踪焊缝的位置、尺寸信息，控制焊枪移动和焊机动作，实现自主焊接。

为解决自主移动机器人在焊接时弧光和飞溅的干扰问题，本发明在线激光视觉传感器基础上，提出一种利用KCF算法的自主移动机器人焊缝自动跟踪系统。在焊缝跟踪过程，通过训练大量的正负样本构建分类器以及利用高斯核函数映射来提高跟踪精度和可靠性；通过构建样本的循环矩阵和傅里叶变换和反变换来减少计算量，提高跟踪实时性。满足自主移动机器人在焊接过程中，尤其受弧光和飞溅强烈干扰时，对实时性、可靠性和高精度的要求。

优选地，所述自主移动机器人为磁吸附式四轮机器人，所述机器人通过步进电机驱动包括系统爬行、焊枪横摆和焊枪上下移动三个方向的运动自由度。

优选地，所述视觉跟踪处理装置控制所述焊机设定焊接电流、焊接电压、送丝、送气和起弧动作。

优选地，所述视觉跟踪处理装置与所述机器人主体连接。所述视觉跟踪处理装置与视觉传感器、自主移动机器人进行连接实现焊缝图像的数据采集、处理和焊接运动控制。焊接过程中，根据获取的焊缝图像信息，利用焊缝特征检测算法提取初始焊缝位置，并利用基于KCF的焊缝跟踪算法处理，实时跟踪焊缝的位置、尺寸信息，控制焊枪移动和焊机动作，实现自主焊接。

一种自主移动机器人焊缝视觉跟踪方法，采用如上所述的跟踪系统实现，包括：

自主移动机器人进行自主焊接前，视觉传感器采集焊缝的初始位置和尺寸信息，视觉跟踪处理装置提取初始位置焊缝特征点；

自主移动机器人进行自主焊接时，视觉传感器采集焊缝的实时图像，视觉跟踪处理装置进行基于KCF的焊缝自动跟踪，进一步包括：确定焊缝特征点目标区域，将焊缝特征点目标区域进行循环偏移，以此构造出大量的样本来训练分类器，利用高斯核函数来计算候选区域与目标区域的相似度，选择相似度最高的区域作为新的目标区域，即得到跟踪的焊缝目标，对得到所述焊缝目标所采用的样本和分类器进行更新后，重新确定新的焊缝特征点目标区域，从而实现焊缝的自动跟踪。

优选地，基于KCF的焊缝自动跟踪还包括：通过构建样本的循环矩阵以及傅里叶变换和反变换来降低计算量。降低计算量可满足焊接过程中对实时性的要求。

优选地，所述视觉跟踪处理装置利用焊缝中心位置结合二阶差分梯度的方法提取初始位置焊缝特征。因为初始化过程中焊机并未起弧，不受弧光和飞溅干扰，因此可以利用焊缝中心位置结合二阶差分梯度的方法提取焊缝特征。

优选地，提取的初始位置焊缝特征点通过显示屏显示出来由人工校验。所述视觉跟踪处理装置可连接显示屏，用于显示处理结果。

优选地，初始位置的焊缝特征点由人工手动进行设定。

与现有技术相比，本发明的有益效果是：本发明为解决自主移动机器人在焊接时弧光和飞溅的干扰问题，在自主移动机器人的线激光视觉传感器基础上，设计了一种基于KCF算法的自主移动机器人焊缝自动跟踪系统。在焊缝跟踪过程，通过训练大量的正负样本构建分类器以及利用高斯核函数的映射来提高跟踪精度和可靠性；通过构建样本的循环矩阵以及傅里叶变换和反变换来减少计算量，提高跟踪实时性。满足自主移动机器人在焊接过程中，尤其受弧光和飞溅强烈干扰时，对实时性、可靠性和高精度的要求。

附图说明

图1为本发明的跟踪系统的结构示意图；

图2(a)-(d)为利用焊缝中心结合二阶差分提取的初始位置的焊缝特征的示意图；

图3(a)-(d)为基于KCF算法的自主移动机器人焊缝自动跟踪结果示意图。

图中：1、自主移动机器人；2、视觉跟踪处理装置；3、工业相机；4、线激光器；5、焊枪；6、横摆导轨；7、焊缝；8、焊机；9、焊件。

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明提供一种自主移动机器人焊缝视觉跟踪系统，包括自主移动机器人、视觉传感器和视觉跟踪处理装置，所述自主移动机器人包括机器人主体，与所述机器人主体连接的横摆导轨，安装在所述横摆导轨末端的焊枪，及通过485总线与所述视觉跟踪处理装置连接的焊机；所述视觉传感器包括工业相机和线激光器，所述工业相机和线激光器安装在所述横摆导轨的末端，用于获取焊缝的尺寸和位置信息，以及定位焊接过程中焊枪和焊缝的相对位置；所述视觉跟踪处理装置与所述工业相机连接，用于对采集的焊缝尺寸和位置信息，利用焊缝特征检测算法提取初始焊缝位置，并利用基于KCF的焊缝跟踪算法实时跟踪焊缝的位置、尺寸信息，控制焊枪移动和焊机动作，实现自主焊接。

具体地，所述自主移动机器人为磁吸附式四轮机器人，所述机器人通过步进电机驱动包括系统爬行(x)、焊枪横摆(y)和焊枪上下移动(z)三个方向的运动自由度。所述视觉跟踪处理装置控制所述焊机设定焊接电流、焊接电压、送丝、送气和起弧动作，以对焊件上的焊缝进行处理。

具体地，所述视觉跟踪处理装置与所述机器人主体连接。所述视觉跟踪处理装置可包括显示屏和ARM处理器，所述装置可设置在机器人主体上。另外，作为一种变形，所述视觉跟踪处理装置可选用工业控制计算机来实现，工业控制计算机分别与机器人主体、工业相机和焊机通信连接。

为解决自主移动焊接机器人在焊接时弧光和飞溅干扰问题，满足自主移动焊接机器人在焊接过程中对实时性、可靠性和高精度的要求，所述视觉跟踪处理装置与视觉传感器、自主移动机器人进行连接实现焊缝图像的数据采集、处理和焊接运动控制；焊接过程中，根据获取的焊缝图像信息，利用焊缝特征检测算法提取初始焊缝位置，并利用基于KCF的焊缝跟踪算法处理，实时跟踪焊缝的位置、尺寸信息，控制焊枪移动和焊机动作，实现自主焊接。

作为另一种实施方案，本发明还提供一种自主移动机器人焊缝视觉跟踪方法，其采用前述的跟踪系统来实现。该方法包括：自主移动机器人进行自主焊接前，视觉传感器采集焊缝的初始位置和尺寸信息，视觉跟踪处理装置提取初始位置焊缝特征点；自主移动机器人进行自主焊接时，视觉传感器采集焊缝的实时图像，视觉跟踪处理装置进行基于KCF的焊缝自动跟踪，进一步包括：确定焊缝特征点目标区域，将焊缝特征点目标区域进行循环偏移，以此构造出大量的样本来训练分类器，利用高斯核函数来计算候选区域与目标区域的相似度，选择相似度最高的区域作为新的目标区域，即得到跟踪的焊缝目标，对得到所述焊缝目标所采用的样本和分类器进行更新后，重新确定新的焊缝特征点目标区域，从而实现焊缝的自动跟踪。

在具体实施中，所述跟踪方法包括：

1、搭建自主移动机器人焊缝视觉跟踪系统

所述系统包括自主移动机器人主体、与所述机器人主体连接的横摆导轨，安装在所述横摆导轨末端的焊枪，及通过485总线与所述视觉跟踪处理装置连接的焊机，安装在所述横摆导轨末端的工业相机和线激光器，所述视觉跟踪处理装置与工业相机连接。

2、初始位置焊缝特征提取

移动机器人自主焊接前，需要获取焊缝初始位置和尺寸信息，根据线激光器视觉传感器原理，采集的线激光投射到焊缝的激光条纹图像会由于焊缝坡口深度的变化而发生偏折，如图2(a)所示。因此通过焊缝图像处理算法提取激光条纹图像的左右两端的偏折点位置即可定位焊缝的初始中心位置和缝宽尺寸。因为初始化过程中焊机并未起弧，不受弧光和飞溅干扰。因此本发明提出一种利用焊缝中心位置结合二阶差分梯度的方法提取焊缝特征。

从激光条纹图像上可以看出，焊缝特征点位置即为激光条纹的转折位置，转折点处是激光条纹中心位置行值发生突变的地方。焊缝特征点即为激光条纹上每列焊缝激光条纹中心位置行值变化最快的点。首先利用灰度重心法提取每图像中每一列焊缝灰度值重心位置行值GrayPos(i),i＝1,2L nWidth，其中nWidth为图像宽度像素数，如图2(b)中亮点所示。然后寻找焊缝中心位置行值变化最快的点，对每一列中的焊缝中心位置行值计算二阶差分，二阶差分技术公式为公式(1):

式中，D(i)为第i列的二阶差分值D(i)，GrayPos(i)为第i列的焊缝中心位置行值，dk为二阶差分计算的差分范围。二阶差分绝对值最大值意味着转折点(即特征点)。根据二阶差分值得正负，可分别确定焊缝左右两端的特征点，从而取得焊缝初始位置和缝宽尺寸。提取的焊缝特征点如图2(c)标记所示。

为后续焊缝跟踪方便，在焊缝初始位置处设定初始的焊缝跟踪目标，以初始位置为中心，根据实际需要设定一定尺寸大小的目标进行跟踪，本发明默认设定为100像素大小的正方形框来表示待跟踪的焊缝目标，如图2(d)中矩形标记所示。

3、基于KCF的焊缝自动跟踪

移动机器人自主焊接时，可以对每帧的焊缝图像利用特征检测的方法获取焊缝的位置和尺寸，但是随着焊接过程中的弧光和飞溅影响，单一图片的焊缝特征检测算法很容易受到干扰而导致特征提取失败，而且每帧图都从整幅图中去提取特征，计算耗时长，在一些实时场合应用时会受限。焊接起弧后的焊缝图像如图3(a)和图3(b)所示，弧光和飞溅会极大影响焊缝特征的提取精度和可靠性。因此为解决自主移动焊接机器人在焊接时弧光和飞溅干扰问题，满足自主移动焊接机器人在焊接过程中对实时的要求，利用基于KCF的焊缝跟踪算法来来提高焊缝跟踪精度、速度和可靠性。基于KCF的焊缝跟踪算法核心思想是将焊缝特征点目标区域进行循环偏移，以此构造出大量的样本来训练分类器，利用高斯核函数来计算候选区域与目标区域的相似度，选择相似度最高的区域作为新的目标区域，同时利用傅里叶变换将分类器的训练和检测转换到频域内，降低计算量。具体步骤如下：

3.1生成训练样本

以图2(d)矩形框所示目标区域，以矩形区域中心为特征点，选取周围大小为M×N(本发明默认100X100)区域内的图像作为训练的正样本z，记z为n×1维向量，将z进行循环偏移得到一系列的负样本x_i，则x_i可表示成:

x_i＝Pⁱz (2),

式中P为n×n矩阵，i＝0,1,2L n-1，表示为：

x_i为z循环偏移i位后的训练样本，所有训练样本x_i构成循环矩阵X：

X＝C(z)＝[x₀,x_i,L L,x_n-1]^T (4)

3.2分类器训练

设计分类器目的是用来计算所有候选区域成为跟踪的焊缝目标的概率，概率值最大的候选区域即为跟踪目标，给出训练样本x_i和回归值y_i，则样本集合表示为：

{(x₁,y₁),(x₁,y₁),L,(x_i,y_i),L,(x_n,y_n)} (5)

训练的目的是为计算概率值回归函数：

f(z)＝ω^Tz (6)

即找到一个权重向量ω，使得残差函数为最小值：

式中，λ为防止过拟合的正则化参数，其解为：

式中，x＝(x₁,x₂,L,x_i,L x_n)^T y＝(y₁,y₂,L,y_i,L y_n)^T为

为x yω的傅里叶变换，

为

的共轭矩阵。为提高分类器性能，通过引入高斯核函数，将输入x映射到特征空间

上，定义：

κ为核函数，对于高斯核函数，表达式为：

则分类器权重向量ω变为α＝(α₁,α₂,L,α_i,Lα_n)^T，不同样本之间乘积的核函数构成核函数矩阵K，矩阵K的各元素计算如公式(11)：

K_ij＝κ(x_i,x_j) (11)

最终回归函数变为:

式(7)-式(12)的解为：

式中，k^xx是核函数矩阵K第一行元素组成的向量，分类器的训练过程由寻找最优ω值变为找最优α值。

3.3快速检测

对于新输入的图像区域z_t，其成为目标的概率值为：

KCF对新输入的图像区域z_t根据公式(11)构建核函数矩阵：

式中，

为

矩阵的第一行，从而得到输入图像区域z_t在所有候选区域位置处成为跟踪目标的概率为：

式中，f^-1为傅里叶逆变换，新一帧中焊缝特征点坐标值由概率向量f(z_t)最大值元素所在的位置确定：

(c_t,r_t)＝maxf(z_t) (17)

式中，(c_t,r_t)为概率向量f(z_t)的最大值元素所在的位置对应列值c_t和行值r_t，该位置(c_t,r_t)确定的区域即为跟踪的焊缝目标z_t。

3.4模型更新

为提高焊缝跟踪适应性，跟踪过程中需对前面得到的α和目标模型z进行更新，即对分类器和正样本进行更新，更新公式为：

式中，0＜β＜1为学习因子，

和

表示当前帧和上一帧更新获得的α，

和

表示当前帧和上一帧更新获得的目标模型z。

综上，通过连续不断地采集图像，然后按照目标模型进行生成训练样本、分类器训练、快速检测、模型更新的步骤进行跟踪计算，实现焊缝跟踪过程的焊缝特征点的实时精确地跟踪检测，跟踪过程如图3(c)和图3(d)所示。

焊接前，利用焊缝中心位置结合二阶差分梯度的方法提取初始位置处焊缝特征，确定焊缝跟踪目标区域，提取结果如图2所示。提取结果在系统中可通过屏幕显示出来由人工校验，必要时可由人工手动进行初始焊缝特征区域设定。

在自主移动机器人依据跟踪到的焊缝目标进行焊接时，自主移动机器人还根据跟踪结果实时提取的焊缝中心位置和缝宽(即尺寸)对焊枪的运动进行自动纠偏控制，保证焊接可靠。

本发明为解决自主移动机器人在焊接时弧光和飞溅的干扰问题，在线激光视觉传感器基础上，提出一种利用KCF算法的自主移动机器人焊缝自动跟踪系统。在焊缝跟踪过程，通过训练大量的正负样本构建分类器以及利用高斯核函数映射来提高跟踪精度和可靠性；通过构建样本的循环矩阵和傅里叶变换和反变换来减少计算量，提高跟踪实时性。满足自主移动焊接机器人在焊接过程中，尤其受弧光和飞溅强烈干扰时，对实时性、可靠性和高精度的要求。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.自主移动机器人焊缝视觉跟踪方法，采用自主移动机器人焊缝视觉跟踪系统实现，其特征在于，所述系统包括自主移动机器人、视觉传感器和视觉跟踪处理装置，所述自主移动机器人包括机器人主体，与所述机器人主体连接的横摆导轨，安装在所述横摆导轨末端的焊枪，及通过485总线与所述视觉跟踪处理装置连接的焊机；所述视觉传感器包括工业相机和线激光器，所述工业相机和线激光器安装在所述横摆导轨的末端，用于获取焊缝的尺寸和位置信息，以及定位焊接过程中焊枪和焊缝的相对位置；所述视觉跟踪处理装置与所述工业相机连接，用于对采集的焊缝尺寸和位置信息，利用焊缝特征检测算法提取初始焊缝位置，并利用基于KCF的焊缝跟踪算法实时跟踪焊缝的位置、尺寸信息，控制焊枪移动和焊机动作，实现自主焊接；

所述方法包括：

自主移动机器人进行自主焊接前，视觉传感器采集焊缝的初始位置和尺寸信息，视觉跟踪处理装置提取初始位置焊缝特征点；

自主移动机器人进行自主焊接时，视觉传感器采集焊缝的实时图像，视觉跟踪处理装置进行基于KCF的焊缝自动跟踪，进一步包括：确定焊缝特征点目标区域，将焊缝特征点目标区域进行循环偏移，以此构造出大量的样本来训练分类器，利用高斯核函数来计算候选区域与目标区域的相似度，选择相似度最高的区域作为新的目标区域，即得到跟踪的焊缝目标，对得到所述焊缝目标所采用的样本和分类器进行更新后，重新确定新的焊缝特征点目标区域，从而实现焊缝的自动跟踪；

所述视觉跟踪处理装置利用焊缝中心位置结合二阶差分梯度的方法提取初始位置焊缝特征，进一步包括：首先利用灰度重心法提取图像中每一列焊缝灰度值重心位置行值GrayPos(i),i＝1,2L nWidth，其中nWidth为图像宽度像素数；然后寻找焊缝中心位置行值变化最快的点，对每一列中的焊缝中心位置行值计算二阶差分，二阶差分技术公式为公式(1):

式（1）中，D(i)为第i列的二阶差分值，GrayPos(i)为第i列的焊缝中心位置行值，dk为二阶差分计算的差分范围；二阶差分绝对值最大值意味着转折点，即特征点；根据二阶差分值得正负，分别确定焊缝左右两端的特征点，从而取得焊缝初始位置和缝宽尺寸。

2.根据权利要求1所述的自主移动机器人焊缝视觉跟踪方法，其特征在于，所述自主移动机器人为磁吸附式四轮机器人，所述自主移动机器人通过步进电机驱动包括系统爬行、焊枪横摆和焊枪上下移动三个方向的运动自由度。

3.根据权利要求1所述的自主移动机器人焊缝视觉跟踪方法，其特征在于，所述视觉跟踪处理装置控制所述焊机设定焊接电流、焊接电压、送丝、送气和起弧动作。

4.根据权利要求1所述的自主移动机器人焊缝视觉跟踪方法，其特征在于，所述视觉跟踪处理装置与所述机器人主体连接。

5.根据权利要求1所述的自主移动机器人焊缝视觉跟踪方法，其特征在于，基于KCF的焊缝自动跟踪还包括：通过构建样本的循环矩阵以及傅里叶变换和反变换来降低计算量。

6.根据权利要求1所述的自主移动机器人焊缝视觉跟踪方法，其特征在于，提取的初始位置焊缝特征点通过显示屏显示出来由人工校验。

7.根据权利要求1所述的自主移动机器人焊缝视觉跟踪方法，其特征在于，初始位置的焊缝特征点由人工手动进行设定。

Images