CN109226967A - 一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪系统 - Google Patents

Abstract

本发明公开了一种用于激光‑电弧复合焊的主动激光视觉稳健焊缝跟踪系统，包括：激光‑复合焊接机器人、主动激光视觉系统、激光光源、图像处理系统和控制系统，所述主动激光视觉系统和激光光源均设于激光‑复合焊接机器人上，所述图像处理系统设于控制系统中，所述激光‑复合焊接机器人、主动激光视觉系统、激光光源、图像处理系统均与控制系统连接；其解决现有激光‑电弧复合焊接时电弧弧光及飞溅干扰导致焊缝跟踪系统产生过多图像噪声最终影响焊接质量、焊接精度与效率的问题，解决示教过程焊缝特征点轨迹偏差引起的机器人跟踪失误问题，将焊缝图像识别与机器人运动控制相结合，实现焊缝特征自动提取与准确智能跟踪。

Description

一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪 系统

技术领域

本发明属于激光焊接技术领域，特别涉及一种用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统及其跟踪方法。

背景技术

激光焊接在工业生产中应用日益广泛，激光焊接工艺局限性日益突出,主要表现为：激光焊接能量利用率底、焊接厚度增加导致生产成本增加；激光焊接对工件的焊接装配精度要求高、坡口搭桥能力弱；由于金属强烈汽化，激光焊缝易产生咬边、凹陷和气孔缺陷，而且很难通过工艺参量调节来消除；激光焊的冷却速度过大，焊缝易形成脆性相，接头的塑性和韧性较低。因此，激光-电弧复合焊受到广泛重视，将激光焊接和电弧焊接结合起来实现优质高效焊接生产。与传统电弧焊和激光焊接相比，激光-电弧复合焊具有大焊接熔深、高工艺稳定性、高焊接效率、较强的焊接间隙桥接能力和小焊接变形等优点，能够大幅度提高焊接效率和焊接质量。然而，该焊接方法结合了激光焊接和常规电弧焊接两种焊接方法，影响焊接过程的因素较多，焊接工艺相对较为复杂，焊接接头的焊缝成形和焊缝质量密切相关，好的焊缝成形才能具有优良的接头力学性能，有效地控制焊缝成形尤为重要。

激光-电弧复合焊接机器人具有工业机器人自动化和柔性化程度高、灵活性和稳定性好、动作快捷准确等优点，其自动化焊接重要有两种实现方式：一种是基于手动示教再现或离线编程的控制方式，另一种是基于焊缝自动跟踪技术的控制方式。手动示教再现或者离线编程需要焊缝在空间轨迹一旦确定就不能改变，当焊接工件存在加工误差、装夹后存在位置误差、焊接时工件会发生热变形，这些因素可能会使焊缝轨迹发生一定程度的变化，导致示教编程获得的机器人焊接轨迹偏离实际的焊缝轨迹，从而影响焊接质量。而焊缝自动跟踪系统通过传感器实时检测焊缝特征点(特征点是焊缝实际轨迹的离散点) 的位置，根据特征点的三维坐标控制机器人进行自动跟踪焊接，具有更高的灵活性和更广的应用范围，能实现跟高程度的自动化焊接。光学视觉式传感器，利用CCD或者CMOS感光芯片直接对焊缝进行成像，然后从图像获取焊缝的形状、位置等信息，主动式光学视觉传感器利用特殊的辅助光源对目标的局部位置进行照明，被照明位置在图像中形成高亮度区域，降低了特征提取难度。但是容易受到弧光和飞溅的干扰，测量点与焊接点的距离越小，弧光和飞溅噪声越强烈，这些因素都对视觉系统存在干扰，增加了焊缝跟踪系统的难度。因此，提高视觉系统鲁棒性，有效提取焊缝特征点，抵抗一定程度的弧光飞溅和飞溅干扰、图像噪声，从而提高系统测量精度、频率和抗干扰能力，成为优化、提高焊缝自动跟踪系统亟待解决的问题。其次，在进行机器人人工示教过程中，由于各种因素可能将导致所提取焊缝特征点轨迹产生偏差，从而使得焊接质量出现问题，因此，实现准确的焊缝跟踪，确保机器人工具端TCP点沿着可靠的焊缝特征点行进，可动态地准确对偏差进行补偿，也是焊缝自动跟踪系统亟待解决的问题。

发明内容

发明目的：为了克服以上不足，本发明的目的是提供一种用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统，其结构简单，设计合理，易于生产，智能化程度高、系统稳健性强，减少人工劳动量，提高了工作效率，确保焊接质量。

技术方案：为了实现上述目的，本发明提供了一种用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统，包括：激光-复合焊接机器人、主动激光视觉系统、激光光源、图像处理系统和控制系统，所述主动激光视觉系统和激光光源均设于激光-复合焊接机器人上，所述图像处理系统设于控制系统中，所述激光-复合焊接机器人、主动激光视觉系统、激光光源、图像处理系统均与控制系统连接；

所述激光-复合焊接机器人中设有工业机器人、激光复合焊接头、送丝机构和焊接电源，所述激光复合焊接头设于工业机器人的前臂上，所述送丝机构设于激光复合焊接头的一侧，所述焊接电源对激光-复合焊接机器人提供焊接电流、电弧电压、送丝速度等参数一体化调节。

本发明中所述工业机器人采用六轴工业机器人，其中设有基座、机器臂和驱动机构，所述机械臂中设有下臂和前臂，所述基座上设有用于安装下臂的安装座，所述下臂下部与安装座采用活动式连接，所述前臂安装于下臂的顶部，且两者采用活动式连接。

本发明中所述主动激光视觉系统中设有激光视觉传感器和工业相机。

本发明中所述控制系统中设有视觉控制器、机器人控制器和控制器，所述视觉控制器中设有第一中央处理单元、第一内部存储单元、视觉传感器接口以及第一通讯接口，所述视觉传感器接口的两端分别主动激光视觉系统和第一内部存储单元连接，所述第一内部存储单元、视觉传感器接口以及第一通讯接口均与第一中央处理单元连接；

所述机器人控制器中设有第二中央处理单元、第二内部存储单元、第二通讯接口、驱动器、运动控制卡、输入/输出接口，所述输入/输出接口与第二内部存储单元连接，所述驱动器的输出端与驱动机械臂的电机的输入端连接，所述电机的输出端与机械臂连接，所述运动控制卡于机械臂中的编码器连接，所述第二内部存储单元、第二通讯接口、驱动器、运动控制卡、输入/输出接口均与第二中央处理单元连接，且所述机器人控制系统通过第二通讯接口与视觉控制系统中第一通讯接口连接；

所述视觉控制器、机器人控制器均与控制器连接。

本发明中所述的用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统的工作方法，具体的工作方法如下：

1)：首先通过激光视觉传感器通过将结构光投射到焊缝表面，识别出焊缝轮廓信息相关的激光条纹带；

2)：然后工业相机获取上一步骤中产生的激光条纹带的图像，并将数据传送给图像处理系统，通过图像处理系统的数据提取模块提取焊缝特征信息，从激光条纹带的中心线检测到焊缝位置后，即：进行无变形激光条纹基线探测和焊缝特征点提取；

3)：然后再对焊缝进行智能跟踪，然后控制根据跟踪的结果来控制器具体的焊接工作，在焊缝跟踪过程中会发现工业机器人路径精确或者不精确两种情况；

4)：当上一步骤跟踪过程中确认工业机器人路径精确时，其具体的工作方法如下：

a)、机器人控制器发出HOME位信号，工业机器人到达程序初始位，然后工业机器人开始搜索起始点；

b)、机器人控制器搜索机器人工具端TCP起始点；

c)、然后建立第一寄存器队列，记录与焊缝特征点对应的激光视觉传感器位置序列；

d)、然后判断机器人工具端TCP是否位于初始焊缝特征点，如果不是，那么其将要返回步骤b)至c)重新搜机器人工具端TCP起始点；如果是，那么机器人工具端TCP位于焊缝路径起始位置信号，然后机器人控制器开始焊接操作指令；

e)、然后机器人控制器开始焊缝跟踪操作指令；

f)、继续建立第一寄存器列队，记录与焊缝特征点对应的激光视觉传感器位置序列；

g)、机器人工具端TCP进行焊缝特征点跟踪操作；

h)、机器人工具端TCP点是否位于末位焊缝特征点，如果不是，那么其要返回步骤f)至g)重新进行第一寄存器列队建立；如果是，那么机器人工具端TCP位于焊接路径最末端位置信号；

i)、机器人控制器结束焊接操作指令；

5)：在上述步骤3)在焊缝跟踪过程中会发现工业机器人路径不精确，存在偏差时，需要对焊缝特征点轨迹的偏差进行补偿，使得机器人工具端TCP点沿较为精确的焊缝特征点所生成的路径运行，直至完成激光焊接操作即可。

本发明中一种用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统的工作方法，步骤3)中图像处理系统的数据提取模块提取焊缝特征信息，从激光条纹带的中心线检测到焊缝位置具体的方法如下：

所述图像处理系统对主动激光视觉焊缝图像处理以及焊缝位置检测算法，其无需附加窄带滤波器；具体的工作方法包括两部分：无变形激光条纹基线探测；焊缝特征点提取；

1)无变形激光条纹基线探测的具体步骤如下：

步骤一：图像预处理

A、对工业相机所获取的激光条纹图像进行均值滤波处理；该均值滤波方法如下式所示：

其中，为激光条纹宽度期望最大值，为第i行第j列像素的图像强度，为滤波后第i行第j列的结果值。

B、再将经处理图像从RGB色彩空间转换为HSV色彩空间，即再从图像中精确提取激光蓝光色彩，设定HSV三个通道的阈值，并对图像进行掩膜处理，三种阈值的设定使得低质量激光产生的低对比度激光条纹可获后续处理；

M＝M₁∩M₂∩M₃

其中，M₁，M₂，M₃，分别为H，S，V三通道的掩膜阈值， i，j分别为像素行列编号，为最终所获掩膜交集区域；

C、原RGB图像再经灰度处理，转换为灰度图像，方法为：

Grey＝0.299*R+0.587*G+0.114*B

将原本的RGB(R,G,B)中的R,G,B以Grey替换，形成新的颜色 RGB(Grey,Grey,Grey)，即可形成替换RGB(R,G,B)的单一通道灰度图，经掩膜交集应用至该单一通道灰度图；

D、然后再对图像进行中值滤波，去除椒盐、斑点噪声，即：中值滤波用一个含有奇数点的滑动窗口，将邻域中的像素按灰度级排序，取中间值为输出像素；

由上述步骤一经处理所得的图像用于后续进一步的图像处理过程；

步骤二：激光条纹轮廓探测

A、通过激光峰值探测的方法，提取表征激光条纹带的轮廓边缘像素点，即：领激光条纹竖直，设定水平每行像素取舍的强度阈值，获取强度峰值点，形成激光条纹带基础；再对水平方向形成的像素强度峰值点进行噪声滤波；对所获取像素强度峰值点进行拟合，反悔得到激光条纹基线位置；

B、焊缝特征点提取

以竖直的激光条纹带所获的基线为例，可知在基线上，沿基线的变形区域可视为含有焊缝特征点的位置：从激光条纹带图像上提取这些焊缝特征点的步骤可概括为：一、确定竖直方向ROI；

二、交叉点的标示与选择；三、确定水平方向的ROI；四、探测焊缝水平峰值点；

围绕先前所获的激光基线，对经滤波的图像依照如下方法进行裁剪，可确定竖直与水平方向ROI；

竖直ROI由下式获得，

ROI(i,c)＝I(i,j)

其中0≤i≤N

其中，LW为所期望的激光条纹带宽度，N为图像的行数。I(i,j)为第i行第j列的图像强度。ROI(i,c)为图像的感兴趣区域，p为原始图像中所探测的激光线条的列标；

从中，获得所提取激光线段变形区域的上部顶端特征点与下部底端特征点；

水平ROI由下式获得，

ROI(c,j)＝I′(i,j)

其中，Y_top≤i≤Y_bottom；min(X_top,X_bottom)≤j≤M

式中，Y_top，X_top，Y_bottom，X_bottom为图像I(i,j)中的交汇点集中上部顶端点与下部底端点的y轴与x轴的坐标值，M为图像I(i,j)的列数目；

从中，可获得所提取激光线段变形区域的焊缝水平峰值特征点，获取焊缝水平峰值特征点的方法如下：

步骤一：去除噪声点，提取水平ROI内激光带上的轮廓点，即所提取激光条纹带轮廓变形区域的特征点；

步骤二：将ROI内激光条纹带的轮廓分为上部与下部两区，依据如下约束条件，分别在上下部区域内轮廓之外的部分，将激光条纹轮廓变形区内的间断点补充连续；

-LW≤P_ci≤LW

其中，LW为所期望的激光条纹带的宽度，P_ci为所补充间断点的列标。步骤三：对上述完全ROI内上下部激光条纹带上轮廓点与所补充的间断点组成的点集分别进行线性拟合，所得的两条直线交点即可确定为焊缝峰值特征点。

本发明中所述的用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统的工作方法，当步骤5)中，在焊缝跟踪过程中会发现工业机器人路径不精确，存在偏差时，需要对焊缝特征点轨迹的偏差进行补偿，其具体的跟踪方法如下：

a)、机器人控制器发出HOME位信号，工业机器人到达程序初始位，然后工业机器人开始搜索起始点；

b)、机器人控制器搜索机器人工具端TCP起始点；

c)、然后建立第一寄存器队列，记录与焊缝特征点对应的激光视觉传感器位置序列；

d)、然后判断机器人工具端TCP是否位于初始焊缝特征点，如果不是，那么其将要返回步骤b)至c)重新搜机器人工具端TCP起始点；如果是，那么机器人工具端TCP位于焊缝路径起始位置信号；

e)、机器人控制器判断工业机器人是否进行空跑运行；

f)、在步骤e)中得出的结果显示工业机器人如果不是在空跑运行，那么机器人控制器将命令其继续建立第一寄存器列队，记录与焊缝特征点对应的激光视觉传感器位置序列；

g)、机器人工具端TCP位于焊接路径最末端位置信号；

i)、机器人控制器结束焊接操作指令；

h)、在步骤e)中得出的结果显示工业机器人如果是在空跑运行，那么机器人控制器将命令其建立第二寄存器队列记录与焊缝特征点对应的视觉传感器位置序列；

j)、机器人控制器判断工业机器人是否完成W次空跑，监测的结果如果显示未完成，那么其将重复步骤a)至h)；

k)、如果上一步骤中监测的结果显示工业机器人完成W次空跑，那么其将计算W次空跑所得焊缝特征点最优估计及对应的激光视觉传感器位置序列；

l)、然后机器人控制器命令工业机器人开始焊接操作；

m)、工业机器人接收到焊接操作指令后，开始焊接操作；

n)、机器人控制器开始焊缝跟踪操作指令；

o)、机器人工具端TCP参照最优估计焊缝特征点进行跟踪操作；

p)、然后机器人控制器看机器人工具端TCP点是否位于末位焊缝特征点，如果不是，那么其要返回步骤f)至g)重新进行第一寄存器列队建立；如果是，那么机器人工具端TCP位于焊接路径最末端位置信号；

q)、机器人控制器结束焊接操作指令。

上述技术方案可以看出，本发明具有如下有益效果：

1、本发明所述的一种用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统旨在解决现有激光-电弧复合焊接时电弧弧光及飞溅干扰导致焊缝跟踪系统产生过多图像噪声最终影响焊接质量、焊接精度与效率的问题，解决示教过程焊缝特征点轨迹偏差引起的机器人跟踪失误问题，将焊缝图像识别与机器人运动控制相结合，实现焊缝特征自动提取与准确智能跟踪。

2、本发明中所述无变形激光条纹基线探测以及焊缝特征点提取方法，有效提取焊缝特征点，抵抗一定程度的弧光飞溅和飞溅干扰、图像噪声，从而提高系统测量精度、频率和抗干扰能力，成为优化、提高焊缝自动跟踪系统亟待解决的问题。

3、本发明中当在焊缝跟踪过程中会发现工业机器人路径不精确，存在偏差时，对焊缝特征点轨迹的偏差进行补偿的方式的实现，让其实现准确的焊缝跟踪，确保机器人工具端TCP点沿着可靠的焊缝特征点行进，可动态地准确对偏差进行补偿，进一步提高了其焊缝跟踪的精确度，提高其焊接的质量。

附图说明

图1为本发明激光-复合焊接机器人的结构示意图；

图2为本发明中焊缝点特征提取示意图；

图3为本发明中焊缝图像处理与焊缝特征点探测、提取过程的流程图；

图4为主动激光视觉引导的机器人激光复合焊接焊缝跟踪系统主要控制结构；

图5为本发明中相对位姿网络示意图；

图6为控制策略示意图；

图7为第一寄存器队列示意图；

图8为第一寄存器队列建立的流程图；

图9为激光视觉传感器在机器人示教过程中偏离焊缝轨迹的偏差分析示意图；

图10为本发明中视觉系统所提取、估计的焊缝特征点轨迹偏差分析；

图11为本发明中相对位姿网络示意图；

图12为本发明中解决视觉系统所提取、估计的焊缝特征点轨迹出现偏差的工作策略示意图；

图13为本发明中第二寄存器队列结构示意图；

图14为本发明中第二寄存器列队建立的流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明。

实施例

如图所示的一种用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统，包括：激光-复合焊接机器人1、主动激光视觉系统2、激光光源3、图像处理系统和控制系统，所述主动激光视觉系统2和激光光源2均设于激光-复合焊接机器人1上，所述图像处理系统4设于控制系统2中，所述激光-复合焊接机器人1、主动激光视觉系统2、激光光源、图像处理系统2均与控制系统连接；

所述激光-复合焊接机器人1中设有工业机器人11、激光复合焊接头12、送丝机构13和焊接电源，所述激光复合焊接头12设于工业机器人11的前臂上，所述送丝机构13设于激光复合焊接头12的一侧，所述焊接电源对激光-复合焊接机器人1提供焊接电流、电弧电压、送丝速度等参数一体化调节。

本实施例中所述工业机器人11采用六轴工业机器人，其中设有基座111、机器臂和驱动机构112，所述机械臂中设有下臂113和前臂114，所述基座111上设有用于安装下臂113的安装座115，所述下臂113下部与安装座115采用活动式连接，所述前臂114安装于下臂113的顶部，且两者采用活动式连接。

本实施例中所述主动激光视觉系统2中设有激光视觉传感器和工业相机。

本实施例中所述控制系统4中设有视觉控制器、机器人控制器和控制器，所述视觉控制器中设有第一中央处理单元、第一内部存储单元、视觉传感器接口以及第一通讯接口，所述视觉传感器接口的两端分别主动激光视觉系统2和第一内部存储单元连接，所述第一内部存储单元、视觉传感器接口以及第一通讯接口均与第一中央处理单元连接；

所述机器人控制器中设有第二中央处理单元、第二内部存储单元、第二通讯接口、驱动器、运动控制卡、输入/输出接口，所述输入/输出接口与第二内部存储单元连接，所述驱动器的输出端与驱动机械臂的电机的输入端连接，所述电机的输出端与机械臂连接，所述运动控制卡于机械臂中的编码器连接，所述第二内部存储单元、第二通讯接口、驱动器、运动控制卡、输入/输出接口均与第二中央处理单元连接，且所述机器人控制系统通过第二通讯接口与视觉控制系统中第一通讯接口连接；

所述视觉控制器、机器人控制器均与控制器连接。

实施例2

如图所示的一种用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统，包括：激光-复合焊接机器人1、主动激光视觉系统2、激光光源3、图像处理系统4和控制系统5，所述主动激光视觉系统2和激光光源2均设于激光-复合焊接机器人1上，所述图像处理系统4 设于控制系统2中，所述激光-复合焊接机器人1、主动激光视觉系统2、激光光源、图像处理系统2均与控制系统4连接；

所述激光-复合焊接机器人1中设有工业机器人11、激光复合焊接头12、送丝机构13和焊接电源，所述激光复合焊接头12设于工业机器人11的前臂上，所述送丝机构13设于激光复合焊接头12的一侧，所述焊接电源将激光-复合焊接机器人1与外接电源连接。

本实施例中所述工业机器人11采用六轴工业机器人，其中设有基座111、机器臂和驱动机构112，所述机械臂中设有下臂113和前臂114，所述基座111上设有用于安装下臂113的安装座115，所述下臂113下部与安装座115采用活动式连接，所述前臂114安装于下臂113的顶部，且两者采用活动式连接。

本实施例中所述主动激光视觉系统2中设有激光视觉传感器和工业相机。

本实施例中所述控制系统4中设有视觉控制器、机器人控制器和控制器，所述视觉控制器中设有第一中央处理单元、第一内部存储单元、视觉传感器接口以及第一通讯接口，所述视觉传感器接口的两端分别主动激光视觉系统2和第一内部存储单元连接，所述第一内部存储单元、视觉传感器接口以及第一通讯接口均与第一中央处理单元连接；

所述机器人控制器中设有第二中央处理单元、第二内部存储单元、第二通讯接口、驱动器、运动控制卡、输入/输出接口，所述输入/输出接口与第二内部存储单元连接，所述驱动器的输出端与驱动机械臂的电机的输入端连接，所述电机的输出端与机械臂连接，所述运动控制卡于机械臂中的编码器连接，所述第二内部存储单元、第二通讯接口、驱动器、运动控制卡、输入/输出接口均与第二中央处理单元连接，且所述机器人控制系统通过第二通讯接口与视觉控制系统中第一通讯接口连接；

所述视觉控制器、机器人控制器均与控制器连接。

本实施例中所述的用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统的工作方法，具体的工作方法如下：

1)：首先通过激光视觉传感器通过将结构光投射到焊缝表面，识别出焊缝轮廓信息相关的激光条纹带；

2)：然后工业相机获取上一步骤中产生的激光条纹带的图像，并将数据传送给图像处理系统4，通过图像处理系统4的数据提取模块提取焊缝特征信息，从激光条纹带的中心线检测到焊缝位置后，即：进行无变形激光条纹基线探测和焊缝特征点提取；

3)：然后再对焊缝进行智能跟踪，然后控制根据跟踪的结果来控制器具体的焊接工作，在焊缝跟踪过程中会发现工业机器人11路径精确或者不精确两种情况；

4)：当上一步骤跟踪过程中确认工业机器人11路径精确时，其具体的工作方法如下：

a)、机器人控制器发出HOME位信号，工业机器人11到达程序初始位，然后工业机器人11开始搜索起始点；

b)、机器人控制器搜索机器人工具端TCP起始点；

c)、然后建立第一寄存器队列，记录与焊缝特征点对应的激光视觉传感器位置序列；

d)、然后判断机器人工具端TCP是否位于初始焊缝特征点，如果不是，那么其将要返回步骤b)至c)重新搜机器人工具端TCP起始点；如果是，那么机器人工具端TCP位于焊缝路径起始位置信号，然后机器人控制器开始焊接操作指令；

e)、然后机器人控制器开始焊缝跟踪操作指令；

f)、继续建立第一寄存器列队，记录与焊缝特征点对应的激光视觉传感器位置序列；

g)、机器人工具端TCP进行焊缝特征点跟踪操作；

h)、机器人工具端TCP点是否位于末位焊缝特征点，如果不是，那么其要返回步骤f)至g)重新进行第一寄存器列队建立；如果是，那么机器人工具端TCP位于焊接路径最末端位置信号；

i)、机器人控制器结束焊接操作指令；

5)：在上述步骤3)在焊缝跟踪过程中会发现工业机器人11路径

不精确，存在偏差时，需要对焊缝特征点轨迹的偏差进行补偿，使得机器人工具端TCP点沿较为精确的焊缝特征点所生成的路径运行，直至完成激光焊接操作即可。

本实施例中所述的用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统的工作方法，步骤3)图像处理系统4的数据提取模块提取焊缝特征信息，从激光条纹带的中心线检测到焊缝位置具体的方法如下：

所述图像处理系统4对主动激光视觉焊缝图像处理以及焊缝位置检测算法，其无需附加窄带滤波器；具体的工作方法包括两部分：1无变形激光条纹基线探测；2焊缝特征点提取；

1)无变形激光条纹基线探测的具体步骤如下：

步骤一：图像预处理

A、对工业相机所获取的激光条纹图像进行均值滤波处理；该均值滤波方法如下式所示：

其中，为激光条纹宽度期望最大值，为第i行第j列像素的图像强度，为滤波后第i行第j列的结果值。

B、再将经处理图像从RGB色彩空间转换为HSV色彩空间，即再从图像中精确提取激光蓝光色彩，设定HSV三个通道的阈值，并对图像进行掩膜处理，三种阈值的设定使得低质量激光产生的低对比度激光条纹可获后续处理；

M＝M₁∩M₂∩M₃

其中，M₁，M₂，M₃，分别为H，S，V三通道的掩膜阈值， i，j分别为像素行列编号，为最终所获掩膜交集区域；

C、原RGB图像再经灰度处理，转换为灰度图像，方法为：

Grey＝0.299*R+0.587*G+0.114*B

将原本的RGB(R,G,B)中的R,G,B以Grey替换，形成新的颜色 RGB(Grey,Grey,Grey)，即可形成替换RGB(R,G,B)的单一通道灰度图，经掩膜交集应用至该单一通道灰度图；

D、然后再对图像进行中值滤波，去除椒盐、斑点噪声，即：中值滤波用一个含有奇数点的滑动窗口，将邻域中的像素按灰度级排序，取中间值为输出像素；

由上述步骤一经处理所得的图像用于后续进一步的图像处理过程；

步骤二：激光条纹轮廓探测

A、通过激光峰值探测的方法，提取表征激光条纹带的轮廓边缘像素点，即：领激光条纹竖直，设定水平每行像素取舍的强度阈值，获取强度峰值点，形成激光条纹带基础；再对水平方向形成的像素强度峰值点进行噪声滤波；对所获取像素强度峰值点进行拟合，反悔得到激光条纹基线位置；

B、焊缝特征点提取

以竖直的激光条纹带所获的基线为例，可知在基线上，沿基线的变形区域可视为含有焊缝特征点的位置：从激光条纹带图像上提取这些焊缝特征点的步骤可概括为：一、确定竖直方向ROI；二、交叉点的标示与选择；三、确定水平方向的ROI；四、探测焊缝水平峰值点；

围绕先前所获的激光基线，对经滤波的图像依照如下方法进行裁剪，可确定竖直与水平方向ROI；

竖直ROI由下式获得，

ROI(i,c)＝I(i,j)

其中0≤i≤N

其中，LW为所期望的激光条纹带宽度，N为图像的行数。I(i,j)为第i行第j列的图像强度。ROI(i,c)为图像的感兴趣区域，p为原始图像中所探测的激光线条的列标；

从中，获得所提取激光线段变形区域的上部顶端特征点与下部底端特征点；

水平ROI由下式获得，

ROI(c,j)＝I′(i,j)

其中，Y_top≤i≤Y_bottom；min(X_top,X_bottom)≤j≤M

式中，Y_top，X_top，Y_bottom，X_bottom为图像I(i,j)中的交汇点集中上部顶端点与下部底端点的y轴与x轴的坐标值，M为图像I(i,j)的列数目；

从中，可获得所提取激光线段变形区域的焊缝水平峰值特征点，获取焊缝水平峰值特征点的方法如下：

步骤一：去除噪声点，提取水平ROI内激光带上的轮廓点，即所提取激光条纹带轮廓变形区域的特征点；

步骤二：将ROI内激光条纹带的轮廓分为上部与下部两区，依据如下约束条件，分别在上下部区域内轮廓之外的部分，将激光条纹轮廓变形区内的间断点补充连续；

-LW≤P_ci≤LW

其中，LW为所期望的激光条纹带的宽度，P_ci为所补充间断点的列标。步骤三：对上述完全ROI内上下部激光条纹带上轮廓点与所补充的间断点组成的点集分别进行线性拟合，所得的两条直线交点即可确定为焊缝峰值特征点。

本实施例中所述的用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统的工作方法，当步骤5)中，在焊缝跟踪过程中会发现工业机器人11路径不精确，存在偏差时，需要对焊缝特征点轨迹的偏差进行补偿，其具体的跟踪方法如下：

a)、机器人控制器发出HOME位信号，工业机器人11到达程序初始位，然后工业机器人11开始搜索起始点；

b)、机器人控制器搜索机器人工具端TCP起始点；

c)、然后建立第一寄存器队列，记录与焊缝特征点对应的激光视觉传感器位置序列；

d)、然后判断机器人工具端TCP是否位于初始焊缝特征点，如果不是，那么其将要返回步骤b)至c)重新搜机器人工具端TCP起始点；如果是，那么机器人工具端TCP位于焊缝路径起始位置信号；

e)、机器人控制器判断工业机器人11是否进行空跑运行；

f)、在步骤e)中得出的结果显示工业机器人11如果不是在空跑运行，那么机器人控制器将命令其继续建立第一寄存器列队，记录与焊缝特征点对应的激光视觉传感器位置序列；

g)、机器人工具端TCP位于焊接路径最末端位置信号；

i)、机器人控制器结束焊接操作指令；

h)、在步骤e)中得出的结果显示工业机器人11如果是在空跑运行，那么机器人控制器将命令其建立第二寄存器队列记录与焊缝特征点对应的视觉传感器位置序列；

j)、机器人控制器判断工业机器人11是否完成W次空跑，监测的结果如果显示未完成，那么其将重复步骤a)至h)；

k)、如果上一步骤中监测的结果显示工业机器人11完成W次空跑，那么其将计算W次空跑所得焊缝特征点最优估计及对应的激光视觉传感器位置序列；

l)、然后机器人控制器命令工业机器人11开始焊接操作；

m)、工业机器人11接收到焊接操作指令后，开始焊接操作；

n)、机器人控制器开始焊缝跟踪操作指令；

o)、机器人工具端TCP参照最优估计焊缝特征点进行跟踪操作；

p)、然后机器人控制器看机器人工具端TCP点是否位于末位焊缝特征点，如果不是，那么其要返回步骤f)至g)重新进行第一寄存器列队建立；如果是，那么机器人工具端TCP位于焊接路径最末端位置信号；

q)、机器人控制器结束焊接操作指令。

实施例3

如图所示的一种用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统，包括：激光-复合焊接机器人1、主动激光视觉系统2、激光光源3、图像处理系统4和控制系统5，所述主动激光视觉系统2和激光光源2均设于激光-复合焊接机器人1上，所述图像处理系统4 设于控制系统2中，所述激光-复合焊接机器人1、主动激光视觉系统2、激光光源、图像处理系统2均与控制系统4连接；

所述激光-复合焊接机器人1中设有工业机器人11、激光复合焊接头12、送丝机构13和焊接电源，所述激光复合焊接头12设于工业机器人11的前臂上，所述送丝机构13设于激光复合焊接头12的一侧，所述焊接电源对激光-复合焊接机器人1提供焊接电流、电弧电压、送丝速度等参数一体化调节。

本实施例中所述工业机器人11采用六轴工业机器人，其中设有基座111、机器臂和驱动机构112，所述机械臂中设有下臂113和前臂114，所述基座111上设有用于安装下臂113的安装座115，所述下臂113下部与安装座115采用活动式连接，所述前臂114安装于下臂113的顶部，且两者采用活动式连接。

本实施例中所述主动激光视觉系统2中设有激光视觉传感器和工业相机。

本实施例中所述控制系统4中设有视觉控制器、机器人控制器和控制器，所述视觉控制器中设有第一中央处理单元、第一内部存储单元、视觉传感器接口以及第一通讯接口，所述视觉传感器接口的两端分别主动激光视觉系统2和第一内部存储单元连接，所述第一内部存储单元、视觉传感器接口以及第一通讯接口均与第一中央处理单元连接；

所述机器人控制器中设有第二中央处理单元、第二内部存储单元、第二通讯接口、驱动器、运动控制卡、输入/输出接口，所述输入/输出接口与第二内部存储单元连接，所述驱动器的输出端与驱动机械臂的电机的输入端连接，所述电机的输出端与机械臂连接，所述运动控制卡于机械臂中的编码器连接，所述第二内部存储单元、第二通讯接口、驱动器、运动控制卡、输入/输出接口均与第二中央处理单元连接，且所述机器人控制系统通过第二通讯接口与视觉控制系统中第一通讯接口连接；

所述视觉控制器、机器人控制器均与控制器连接。

本实施例中所述的用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统的工作方法，具体的工作方法如下：

1)：首先通过激光视觉传感器通过将结构光投射到焊缝表面，识别出焊缝轮廓信息相关的激光条纹带；

2)：然后工业相机获取上一步骤中产生的激光条纹带的图像，并将数据传送给图像处理系统4，通过图像处理系统4的数据提取模块提取焊缝特征信息，从激光条纹带的中心线检测到焊缝位置后，即：进行无变形激光条纹基线探测和焊缝特征点提取；

3)：然后再对焊缝进行智能跟踪，然后控制根据跟踪的结果来控制器具体的焊接工作，在焊缝跟踪过程中会发现工业机器人11路径精确或者不精确两种情况；

4)：当上一步骤跟踪过程中确认工业机器人11路径精确时，其具体的工作方法如下：

a)、机器人控制器发出HOME位信号，工业机器人11到达程序初始位，然后工业机器人11开始搜索起始点；

b)、机器人控制器搜索机器人工具端TCP起始点；

c)、然后建立第一寄存器队列，记录与焊缝特征点对应的激光视觉传感器位置序列；

d)、然后判断机器人工具端TCP是否位于初始焊缝特征点，如果不是，那么其将要返回步骤b)至c)重新搜机器人工具端TCP起始点；如果是，那么机器人工具端TCP位于焊缝路径起始位置信号，然后机器人控制器开始焊接操作指令；

e)、然后机器人控制器开始焊缝跟踪操作指令；

f)、继续建立第一寄存器列队，记录与焊缝特征点对应的激光视觉传感器位置序列；

g)、机器人工具端TCP进行焊缝特征点跟踪操作；

h)、机器人工具端TCP点是否位于末位焊缝特征点，如果不是，那么其要返回步骤f)至g)重新进行第一寄存器列队建立；如果是，那么机器人工具端TCP位于焊接路径最末端位置信号；

i)、机器人控制器结束焊接操作指令；

5)：在上述步骤3)在焊缝跟踪过程中会发现工业机器人11路径

不精确，存在偏差时，需要对焊缝特征点轨迹的偏差进行补偿，使得机器人工具端TCP点沿较为精确的焊缝特征点所生成的路径运行，直至完成激光焊接操作即可。

本实施例中所述的用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统的工作方法，步骤3)图像处理系统4的数据提取模块提取焊缝特征信息，从激光条纹带的中心线检测到焊缝位置具体的方法如下：

所述图像处理系统4对主动激光视觉焊缝图像处理以及焊缝位置检测算法，其无需附加窄带滤波器；具体的工作方法包括两部分：1无变形激光条纹基线探测；2焊缝特征点提取；

1)无变形激光条纹基线探测的具体步骤如下：

步骤一：图像预处理

A、对工业相机所获取的激光条纹图像进行均值滤波处理；该均值滤波方法如下式所示：

其中，为激光条纹宽度期望最大值，为第i行第j列像素的图像强度，为滤波后第i行第j列的结果值。

B、再将经处理图像从RGB色彩空间转换为HSV色彩空间，即再从图像中精确提取激光蓝光色彩，设定HSV三个通道的阈值，并对图像进行掩膜处理，三种阈值的设定使得低质量激光产生的低对比度激光条纹可获后续处理；

M＝M₁∩M₂∩M₃

其中，M₁，M₂，M₃，分别为H，S，V三通道的掩膜阈值， i，j分别为像素行列编号，为最终所获掩膜交集区域；

C、原RGB图像再经灰度处理，转换为灰度图像，方法为：

Grey＝0.299*R+0.587*G+0.114*B

将原本的RGB(R,G,B)中的R,G,B以Grey替换，形成新的颜色 RGB(Grey,Grey,Grey)，即可形成替换RGB(R,G,B)的单一通道灰度图，经掩膜交集应用至该单一通道灰度图；

D、然后再对图像进行中值滤波，去除椒盐、斑点噪声，即：中值滤波用一个含有奇数点的滑动窗口，将邻域中的像素按灰度级排序，取中间值为输出像素；

由上述步骤一经处理所得的图像用于后续进一步的图像处理过程；

步骤二：激光条纹轮廓探测

A、通过激光峰值探测的方法，提取表征激光条纹带的轮廓边缘像素点，即：领激光条纹竖直，设定水平每行像素取舍的强度阈值，获取强度峰值点，形成激光条纹带基础；再对水平方向形成的像素强度峰值点进行噪声滤波；对所获取像素强度峰值点进行拟合，反悔得到激光条纹基线位置；

B、焊缝特征点提取

以竖直的激光条纹带所获的基线为例，可知在基线上，沿基线的变形区域可视为含有焊缝特征点的位置：从激光条纹带图像上提取这些焊缝特征点的步骤可概括为：一、确定竖直方向ROI；

二、交叉点的标示与选择；三、确定水平方向的ROI；四、探测焊缝水平峰值点；

围绕先前所获的激光基线，对经滤波的图像依照如下方法进行裁剪，可确定竖直与水平方向ROI；

竖直ROI由下式获得，

ROI(i,c)＝I(i,j)

其中0≤i≤N

其中，LW为所期望的激光条纹带宽度，N为图像的行数。I(i,j)为第i行第j列的图像强度。ROI(i,c)为图像的感兴趣区域，p为原始图像中所探测的激光线条的列标；

从中，获得所提取激光线段变形区域的上部顶端特征点与下部底端特征点；

水平ROI由下式获得，

ROI(c,j)＝I′(i,j)

其中，Y_top≤i≤Y_bottom；min(X_top,X_bottom)≤j≤M

式中，Y_top，X_top，Y_bottom，X_bottom为图像I(i,j)中的交汇点集中上部顶端点与下部底端点的y轴与x轴的坐标值，M为图像I(i,j)的列数目；

从中，可获得所提取激光线段变形区域的焊缝水平峰值特征点，获取焊缝水平峰值特征点的方法如下：

步骤一：去除噪声点，提取水平ROI内激光带上的轮廓点，即所提取激光条纹带轮廓变形区域的特征点；

步骤二：将ROI内激光条纹带的轮廓分为上部与下部两区，依据如下约束条件，分别在上下部区域内轮廓之外的部分，将激光条纹轮廓变形区内的间断点补充连续；

-LW≤P_ci≤LW

其中，LW为所期望的激光条纹带的宽度，P_ci为所补充间断点的列标。步骤三：对上述完全ROI内上下部激光条纹带上轮廓点与所补充的间断点组成的点集分别进行线性拟合，所得的两条直线交点即可确定为焊缝峰值特征点。

本实施例中所述的用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统的工作方法，当步骤5)中，在焊缝跟踪过程中会发现工业机器人11路径不精确，存在偏差时，需要对焊缝特征点轨迹的偏差进行补偿，其具体的跟踪方法如下：

a)、机器人控制器发出HOME位信号，工业机器人11到达程序初始位，然后工业机器人11开始搜索起始点；

b)、机器人控制器搜索机器人工具端TCP起始点；

c)、然后建立第一寄存器队列，记录与焊缝特征点对应的激光视觉传感器位置序列；

d)、然后判断机器人工具端TCP是否位于初始焊缝特征点，如果不是，那么其将要返回步骤b)至c)重新搜机器人工具端TCP起始点；如果是，那么机器人工具端TCP位于焊缝路径起始位置信号；

e)、机器人控制器判断工业机器人11是否进行空跑运行；

f)、在步骤e)中得出的结果显示工业机器人11如果不是在空跑运行，那么机器人控制器将命令其继续建立第一寄存器列队，记录与焊缝特征点对应的激光视觉传感器位置序列；

g)、机器人工具端TCP位于焊接路径最末端位置信号；

i)、机器人控制器结束焊接操作指令；

h)、在步骤e)中得出的结果显示工业机器人11如果是在空跑运行，那么机器人控制器将命令其建立第二寄存器队列记录与焊缝特征点对应的视觉传感器位置序列；

j)、机器人控制器判断工业机器人11是否完成W次空跑，监测的结果如果显示未完成，那么其将重复步骤a)至h)；

k)、如果上一步骤中监测的结果显示工业机器人11完成W次空跑，那么其将计算W次空跑所得焊缝特征点最优估计及对应的激光视觉传感器位置序列；

l)、然后机器人控制器命令工业机器人11开始焊接操作；

m)、工业机器人11接收到焊接操作指令后，开始焊接操作；

n)、机器人控制器开始焊缝跟踪操作指令；

o)、机器人工具端TCP参照最优估计焊缝特征点进行跟踪操作；

p)、然后机器人控制器看机器人工具端TCP点是否位于末位焊缝特征点，如果不是，那么其要返回步骤f)至g)重新进行第一寄存器列队建立；如果是，那么机器人工具端TCP位于焊接路径最末端位置信号；

q)、机器人控制器结束焊接操作指令。

本实施例中主动激光视觉引导的机器人激光复合焊接稳健焊缝跟踪系统工作的详细说明如下：

(一)焊缝图像处理与焊缝特征点探测、提取

激光视觉传感器通过将结构光投射到焊缝表面，识别出焊缝轮廓信息相关的激光条纹带，采用图像处理的方法提取焊缝特征信息，从激光条纹中心线检测到焊缝位置后，再采用多种控制方法实现焊缝的智能跟踪。

通常，窄带光学滤波片，与工业相机一道使用，使得对特定波长的光线更为敏感、更具选择性，然而，在焊接过程中，使用这些滤波器不够柔性、灵活，可能降低激光条纹与焊接白噪声的对比反差，从而导致提取的激光条纹位置轮廓可能具有大量噪声，图像预处理效果欠佳，尤其导致特征点的探测性能的降低与恶化。

主动激光视觉焊缝图像处理与焊缝位置检测算法，无需附加窄带光学滤波器。主要包含两个部分：(1)无变形激光条纹基线探测；(2)焊缝特征点提取。

(1)无变形激光条纹基线探测

步骤一：图像预处理

图像预处理旨在将图像中冗余无用的对象去除，一般采用带窄带滤光片的工业相机对具有一定波长的激光蓝光进行更具敏感度和选择性的通过，但是，加装滤光片使得焊接过程欠缺柔性，并且降低与焊接过程白噪声的对比度，从而难以将其与激光条纹有效区隔。采用均值滤波，将激光蓝光向周边邻域像素扩撒，从而使得激光条纹中心的高强度饱和像素更为平滑，同时抑制图像背景的高强度噪声。该均值滤波方法如下式所示：

其中，LW为激光条纹宽度期望最大值，I(i,j)为第i行第j列像素的图像强度，F(i,j)为滤波后第i行第j列的结果值。

再将经处理图像从RGB色彩空间转换为HSV色彩空间，旨在从图像中精确提取激光蓝光色彩。设定HSV三个通道的阈值，对图像进行掩膜处理，三种阈值的设定使得低质量激光产生的低对比度激光条纹可获后续处理。

M＝M₁∩M₂∩M₃

其中，M₁，M₂，M₃分别H，S，V三通道的掩膜阈值，i，j分别为像素行列编号，M为最终所获掩膜交集区域。

原RGB图像再经灰度处理，转换为灰度图像，方法为

Grey＝0.299*R+0.587*G+0.114*B

将原本的RGB(R,G,B)中的R,G,B以Grey替换，形成新的颜色 RGB(Grey,Grey,Grey)，即可形成替换RGB(R,G,B)的单一通道灰度图。

经掩膜交集M应用至该单一通道灰度图，并进行中值滤波，中值滤波用一个含有奇数点的滑动窗口，将邻域中的像素按灰度级排序，取中间值为输出像素。该方法可有效抑制或去除由于高频激光反射与焊接弧光所产生的白噪声与椒盐或斑点噪声。

由上述步骤一经处理所得的图像用于后续进一步的图像处理过程。

步骤二：激光条纹轮廓探测

通过激光峰值探测的方法，提取表征激光条纹带的轮廓边缘像素点。以具有竖直激光带的图像为例，每行中峰值像素点一般位于激光带区域，即将每行最大强度像素80％为阈值，提取多峰值点作为激光条纹带在图像内的位置点，其余少于该阈值的将置零并不予考虑。同时，采用滤波器将所提取的水平方向的对象视为伪噪声，对其进行抑制以有效地进行像素强度峰值点的提取，该滤波效果将减少事实上位于激光条纹带之外位置的噪声尖峰，从而使得激光条纹带的强度分布宽度减小，使得成组非噪声尖峰更易区分。最终，提取出一系列的的峰值点。

对前述所获取的峰值点采用多项式拟合方法进行拟合，拟合所返回直线即为激光条纹基线的探测所得位置。

(2)焊缝特征点提取

以竖直的激光条纹带所获的基线为例，可知在基线上，沿基线的变形区域可视为含有焊缝特征点的位置。从激光条纹带图像上提取这些焊缝特征点的步骤可概括为：一、确定竖直方向ROI；二、交叉点的标示与选择；三、确定水平方向的ROI；四、探测焊缝(水平)峰值点。

围绕先前所获的激光基线，对经滤波的图像依照如下方法进行裁剪，可确定竖直与水平方向ROI。

竖直ROI由下式获得，

ROI(i,c)＝I(i,j)

其中0≤i≤N

其中，LW为所期望的激光条纹带宽度，N为图像的行数。I(i,j)为第i行第j列的图像强度。ROI(i,c)为图像的感兴趣区域，p为原始图像中所探测的激光线条的列标。

从中，可获得所提取激光线段变形区域的上部顶端特征点与下部底端特征点。

水平ROI由下式获得，

ROI(c,j)＝I′(i,j)

其中，Y_top≤i≤Y_bottom；min(X_top,X_bottom)≤j≤M

式中，Y_top，X_top，Y_bottom，X_bottom为图像I(i,j)中的交汇点集中上部顶端点与下部底端点的y轴与x轴的坐标值，M为图像I(i,j)的列数目。

从中，可获得所提取激光线段变形区域的焊缝(水平)峰值特征点，获取焊缝(水平)峰值特征点的方法如下：

步骤一：去除噪声点，提取水平ROI内激光带上的轮廓点，即所提取激光条纹带轮廓变形区域的特征点；

步骤二：将ROI内激光条纹带的轮廓分为上部与下部两区，依据如下约束条件，分别在上下部区域内轮廓之外的部分，将激光条纹轮廓变形区内的间断点补充连续。

-LW≤P_ci≤LW

其中，LW为所期望的激光条纹带的宽度，P_ci为所补充间断点的列标。

步骤三：对上述完全ROI内上下部激光条纹带上轮廓点与所补充的间断点组成的点集分别进行线性拟合，所得的两条直线交点即可确定为焊缝峰值特征点。

该焊缝特征点提取如图2所示。

综上，经由图像处理进行激光条纹带探测与焊缝特征点提取的过程之后，可获得本次的激光条纹焊缝变形区内的顶端点与底端点，及激光条纹焊缝中心点。

上述焊缝图像处理与焊缝特征点探测、提取过程可归结如图3。

(二)主动激光视觉引导的机器人激光复合焊稳健焊缝跟踪系统

经由上述主动激光视觉焊缝图像处理与焊缝位置检测算法，即可进行后续激光视觉引导的机器人焊缝跟踪系统实现，其主要控制功能结构如图4所示。

令{T_ref}为末端执行器的期望姿态，{T}为末端执行器坐标系，{F}为目标坐标系，{C}为相机坐标系，{B}为机械臂基座标系。P点为前述所提取的激光条纹焊缝中心点，(u_p,v_p,1)^T为P点的图像像素坐标，记为P_u。相机内参数矩阵Q，相机坐标系与机械臂末端坐标系的转换矩阵就是手眼矩阵在相机坐标系下，激光光平面的平面方程为ax_p+by_p+c＝1。

首先，根据相机手眼矩阵，得到图像坐标内的焊缝中心特征点P点在相机坐标系内的坐标，记为P_c1。

P_c1＝Q^-1P_u

根据相机坐标系下激光光平面的方程ax_p+by_p+c＝1，得到焊缝中心特征点P点在相机坐标系内的三维坐标。

P_c＝P_c1/(ax_p+by_p+c)

根据上述位姿，结合手眼矩阵得到焊缝中心特征点P点在机器人末端执行器坐标系下的坐标。

P点在机器人基坐标系下的坐标为

为方便计，将其记为^Bξ_F。

在此基础上，分别提出针对机器人路径精确人工示教编程前提下的稳健焊缝跟踪算法和可能存在偏差前提下的稳健焊缝跟踪算法，解决示教过程焊缝特征点轨迹偏差引起的机器人跟踪失误问题。

(一)建立第一寄存器队列

(1)当视觉传感器检测到焊缝第一个特征点后，该特征点相对于相机坐标系，在相机坐标系内坐标记为^Tξ_F，而相对于机器人基坐标系，其坐标为^Bξ_F。同时，将获取该特征点时的视觉传感器沿焊缝方向的位置定义为X_s1(该点位置与焊缝特征点形成一一对应的关系)，同样方法，此时机器人工具端TCP 点的当前位置定义为X_t0，而其相对于机器人基坐标系的坐标可表示为

其中,运算符可视为广义的向量减。

(2)由此，要使得机器人工具端TCP点从当前位置X_t0运行至期望的点 X_t1，即位于视觉传感器所检测到焊缝特征点位置之上，机器人工具端TCP点需进行位置补偿的距离为

此时，机器人工具端TCP点位于点X_t1时，其在机器人基坐标系内的坐标可表示为

其中，运算符可视为广义的向量加。^Bξ_T|_t0对应于上式的^Bξ_T。

(3)依照上述步骤，令视觉传感器的位置点集的队列为 X_s＝{X_s1,X_s2,…,X_s(k+1)}，X_s(k+1)为焊缝特征点最末端位置对应的传感器末端位置。

依照图6所示的控制策略，形成两个队列，即与焊缝特征点一一对应的视觉传感器位置点队列：

其中，队列一包含焊缝特征点P₁，P₂直至P_k+1，与视觉传感器沿焊缝方向的位置X_s1，X_s2至X_s(k+1)一一对应。

队列二包含机器人工具端TCP点沿焊缝方向的位置X_t0，X_t1直至X_tk，依照前述机械臂的控制策略，无论是通过转动关节或是空间坐标移动方式，将在机械臂工具端TCP点相邻顺序位置点间进行插值，以确保机械臂经平滑运动到中间轨迹点，从而达到期望位姿。

上述过程的流程图图8所示。

其次，在人工示教非常准确基础上，即操作员在整个机器人示教过程中，确保机器人工具端TCP点与焊缝中心线保持一致，并且同时确保视觉传感器或整个视觉系统在整个示教过程中均处于焊缝特征点上方垂直方向的固定位置，上述焊缝跟踪方法可在机器人激光焊接过程中实现有效的运用。

(二)建立第二寄存器队列

如果操作员在人工示教过程中，虽然一直确保机器人工具端TCP点均处于焊缝中心线，但是难以避免出现视觉传感器在机器人示教过程中偏离焊缝轨迹的情况。

图9中，在人工示教工程中，视觉传感器的行进路径产生小幅偏差，而机器人工具端TCP点较为严格地沿焊缝中心线行进，因此，导致视觉系统所提取、估计的焊缝特征点轨迹出现偏差，在应用前述的第一寄存器队列的焊缝跟踪方法时将产生一定偏差，影响跟踪精度与准确度。

图10中，在人工示教过程中，机器人工具端TCP可能由于人为原因导致偏离焊缝路径，这也将导致视觉系统所提取、估计的焊缝特征点轨迹出现偏差，在此基础上后续进行焊缝跟踪时将可能使得机器人工具端TCP随之偏离焊缝路径，导致焊接失败。

为了解决上述问题，需对上述两种情况导致的焊缝特征点轨迹的偏差进行补偿，使得机器人工具端TCP点沿较为精确的焊缝特征点所生成的路径运行，有效完成激光焊接操作。

在操作员人工示教过程中，无论是由于视觉传感器偏差，还是机器人自身运动位姿产生的偏差，而导致的焊缝特征点轨迹随之产生的偏差，影响后续焊缝自动跟踪的效果。因此，需对上述偏差进行补偿。前提是机器人进行焊缝跟踪需具备较为精确且可靠的焊缝特征点序列所生成的轨迹。

(1)为了获得可作为参照期望的焊缝特征点序列，首先对机器人就该焊缝进行示教编程，并确保机器人工具端TCP点保持在焊缝中心线上运行，获得以正常焊接操作速度运行时较为可靠的机器人工具端TCP点轨迹程序。

(2)在确保视觉传感器位姿固定正确的基础上，依照“第一寄存器队列”方法进行焊缝特征点序列提取与视觉传感器沿焊缝方向位置点序列的确定 (两者形成一一对应的关系)，后者记为X_sd＝{X_sd1,X_sd2,…,X_sd(l+1)}，同时记录机器人工具端TCP点沿焊缝方向的位置X_td＝{X_td0,X_td2,…,X_tdl}，在此情形下，并不进行机器人工具端TCP点的位置补偿和后续焊缝特征点的跟踪操作。

机器人进行W次上述空跑操作，在视觉传感器位置点，其焊缝特征点相对于机器人基坐标系的坐标序列，可记为

在此基础上，对视觉传感器位置点相应的焊缝特征点坐标值进行最优估计，剔除偏差较大的焊缝特征点坐标值，可获得图10所示“机器人空跑焊缝特征点轨迹”，以此作为机器人工具端TCP点进行跟踪的期望参考值，记作

令对应于X_sd的存在图11所示关系。

参考空跑后所得的焊缝特征点坐标，机器人工具端TCP点将摆脱偏离点的错误引导，补偿偏离导致的偏差，从而沿焊缝中心线正确行进。

(3)依照上述步骤，依照空跑所得焊缝特征点位置为期望的机器人工具端TCP自动跟踪的控制策略如图12所示。

依照图12所示的控制策略，形成两个队列，即与焊缝特征点一一对应的视觉传感器位置点队列，以及机器人工具端TCP点在跟踪过程中沿焊缝方向位置点队列：

图13第二寄存器队列

其中，队列一包含焊缝特征点P₁，P₂直至P_k+1，多次空跑后所得的参考焊缝特征点直至与视觉传感器沿焊缝方向的位置X_s1，X_s2至 X_s(k+1)以及空跑时的位置X_sd1，X_sd2至X_sd(k+1)一一对应。

队列二包含机器人工具端TCP点沿焊缝方向的位置X_t0，X_t1直至X_tk，依照前述机械臂的控制策略，无论是通过转动关节或是空间坐标移动方式，将在机械臂工具端TCP点相邻顺序位置点间进行插值，以确保机械臂经平滑运动到中间轨迹点，从而达到期望位姿。

上述过程的流程图如图14所示。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。

Claims (7)

1.一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪系统，其特征在于：包括：激光-复合焊接机器人(1)、主动激光视觉系统(2)、激光光源(3)、图像处理系统(4)和控制系统(5)，所述主动激光视觉系统(2)和激光光源(2)均设于激光-复合焊接机器人(1)上，所述图像处理系统(4)设于控制系统(2)中，所述激光-复合焊接机器人(1)、主动激光视觉系统(2)、激光光源、图像处理系统(2)均与控制系统(4)连接；

所述激光-复合焊接机器人(1)中设有工业机器人(11)、激光复合焊接头(12)、送丝机构(13)和焊接电源，所述激光复合焊接头(12)设于工业机器人(11)的前臂上，所述送丝机构(13)设于激光复合焊接头(12)的一侧，所述焊接电源对激光-复合焊接机器人(1)提供焊接电流、电弧电压、送丝速度等参数一体化调节。

2.根据权利要求1所述的用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统，其特征在于：所述工业机器人(11)采用六轴工业机器人，其中设有基座(111)、机器臂和驱动机构(112)，所述机械臂中设有下臂(113)和前臂(114)，所述基座(111)上设有用于安装下臂(113)的安装座(115)，所述下臂(113)下部与安装座(115)采用活动式连接，所述前臂(114)安装于下臂(113)的顶部，且两者采用活动式连接。

3.根据权利要求1所述的用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统，其特征在于：所述主动激光视觉系统(2)中设有激光视觉传感器和工业相机。

4.根据权利要求1所述的用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统，其特征在于：所述控制系统(4)中设有视觉控制器、机器人控制器和控制器，所述视觉控制器中设有第一中央处理单元、第一内部存储单元、视觉传感器接口以及第一通讯接口，所述视觉传感器接口的两端分别主动激光视觉系统(2)和第一内部存储单元连接，所述第一内部存储单元、视觉传感器接口以及第一通讯接口均与第一中央处理单元连接；

所述机器人控制器中设有第二中央处理单元、第二内部存储单元、第二通讯接口、驱动器、运动控制卡、输入/输出接口，所述输入/输出接口与第二内部存储单元连接，所述驱动器的输出端与驱动机械臂的电机的输入端连接，所述电机的输出端与机械臂连接，所述运动控制卡于机械臂中的编码器连接，所述第二内部存储单元、第二通讯接口、驱动器、运动控制卡、输入/输出接口均与第二中央处理单元连接，且所述机器人控制系统通过第二通讯接口与视觉控制系统中第一通讯接口连接；

所述视觉控制器、机器人控制器均与控制器连接。

5.根据权利要求1至4任一项所述的用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统的工作方法，其特征在于：具体的工作方法如下：

1)：首先通过激光视觉传感器通过将结构光投射到焊缝表面，识别出焊缝轮廓信息相关的激光条纹带；

2)：然后工业相机获取上一步骤中产生的激光条纹带的图像，并将数据传送给图像处理系统(4)，通过图像处理系统(4)的数据提取模块提取焊缝特征信息，从激光条纹带的中心线检测到焊缝位置后，即：进行无变形激光条纹基线探测和焊缝特征点提取；

3)：然后再对焊缝进行智能跟踪，然后根据跟踪的结果来控制具体的焊接工作，在焊缝跟踪过程中会发现工业机器人(11)路径精确或者不精确两种情况；

4)：当上一步骤跟踪过程中确认工业机器人(11)路径精确时，其具体的工作方法如下：

a)、机器人控制器发出HOME位信号，工业机器人(11)到达程序初始位，然后工业机器人(11)开始搜索起始点；

b)、机器人控制器搜索机器人工具端TCP起始点；

c)、然后建立第一寄存器队列，记录与焊缝特征点对应的激光视觉传感器位置序列；

d)、然后判断机器人工具端TCP是否位于初始焊缝特征点，如果不是，那么其将要返回步骤b)至c)重新搜机器人工具端TCP起始点；如果是，那么机器人工具端TCP位于焊缝路径起始位置信号，然后机器人控制器开始焊接操作指令；

e)、然后机器人控制器开始焊缝跟踪操作指令；

f)、继续建立第一寄存器列队，记录与焊缝特征点对应的激光视觉传感器位置序列；

g)、机器人工具端TCP进行焊缝特征点跟踪操作；

h)、机器人工具端TCP点是否位于末位焊缝特征点，如果不是，那么其要返回步骤f)至g)重新进行第一寄存器列队建立；如果是，那么机器人工具端TCP位于焊接路径最末端位置信号；

i)、机器人控制器结束焊接操作指令；

5)：在上述步骤3)在焊缝跟踪过程中会发现工业机器人(11)路径

不精确，存在偏差时，需要对焊缝特征点轨迹的偏差进行补偿，使得机器人工具端TCP点沿较为精确的焊缝特征点所生成的路径运行，直至完成激光焊接操作即可。

6.根据权利要求5所述的用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统的工作方法，其特征在于：步骤3)图像处理系统(4)的数据提取模块提取焊缝特征信息，从激光条纹带的中心线检测到焊缝位置具体的方法如下：

所述图像处理系统(4)对主动激光视觉焊缝图像处理以及焊缝位置检测算法，其无需附加窄带滤波器；具体的工作方法包括两部分：(1)无变形激光条纹基线探测；(2)焊缝特征点提取；

1)无变形激光条纹基线探测的具体步骤如下：

步骤一：图像预处理

A、对工业相机所获取的激光条纹图像进行均值滤波处理；该均值滤波方法如下式所示：

其中，为激光条纹宽度期望最大值，为第i行第j列像素的图像强度，为滤波后第i行第j列的结果值。

B、再将经处理图像从RGB色彩空间转换为HSV色彩空间，即再从图像中精确提取激光蓝光色彩，设定HSV三个通道的阈值，并对图像进行掩膜处理，三种阈值的设定使得低质量激光产生的低对比度激光条纹可获后续处理；

M＝M₁∩M₂∩M₃

其中，M₁，M₂，M₃，分别为H，S，V三通道的掩膜阈值，i，j分别为像素行列编号，为最终所获掩膜交集区域；

C、原RGB图像再经灰度处理，转换为灰度图像，方法为：

Grey＝0.299*R+0.587*G+0.114*B

将原本的RGB(R,G,B)中的R,G,B以Grey替换，形成新的颜色RGB(Grey,Grey,Grey)，即可形成替换RGB(R,G,B)的单一通道灰度图，经掩膜交集应用至该单一通道灰度图；

D、然后再对图像进行中值滤波，去除椒盐、斑点噪声，即：中值滤波用一个含有奇数点的滑动窗口，将邻域中的像素按灰度级排序，取中间值为输出像素；

由上述步骤一经处理所得的图像用于后续进一步的图像处理过程；

步骤二：激光条纹轮廓探测

A、通过激光峰值探测的方法，提取表征激光条纹带的轮廓边缘像素点，即：领激光条纹竖直，设定水平每行像素取舍的强度阈值，获取强度峰值点，形成激光条纹带基础；再对水平方向形成的像素强度峰值点进行噪声滤波；对所获取像素强度峰值点进行拟合，返回得到激光条纹基线位置；

B、焊缝特征点提取

以竖直的激光条纹带所获的基线为例，可知在基线上，沿基线的变形区域可视为含有焊缝特征点的位置：从激光条纹带图像上提取这些焊缝特征点的步骤可概括为：一、确定竖直方向ROI；

二、交叉点的标示与选择；三、确定水平方向的ROI；四、探测焊缝水平峰值点；

围绕先前所获的激光基线，对经滤波的图像依照如下方法进行裁剪，可确定竖直与水平方向ROI；

竖直ROI由下式获得，

ROI(i,c)＝I(i,j)

其中

其中，LW为所期望的激光条纹带宽度，N为图像的行数。I(i,j)为第i行第j列的图像强度。ROI(i,c)为图像的感兴趣区域，p为原始图像中所探测的激光线条的列标；

从中，获得所提取激光线段变形区域的上部顶端特征点与下部底端特征点；

水平ROI由下式获得，

ROI(c,j)＝I′(i,j)

其中，Y_top≤i≤Y_bottom；min(X_top,X_bottom)≤j≤M

式中，Y_top，X_top，Y_bottom，X_bottom为图像I(i,j)中的交汇点集中上部顶端点与下部底端点的y轴与x轴的坐标值，M为图像I(i,j)的列数目；

从中，可获得所提取激光线段变形区域的焊缝水平峰值特征点，获取焊缝水平峰值特征点的方法如下：

步骤一：去除噪声点，提取水平ROI内激光带上的轮廓点，即所提取激光条纹带轮廓变形区域的特征点；

步骤二：将ROI内激光条纹带的轮廓分为上部与下部两区，依据如下约束条件，分别在上下部区域内轮廓之外的部分，将激光条纹轮廓变形区内的间断点补充连续；

-LW≤P_ci≤LW

其中，LW为所期望的激光条纹带的宽度，P_ci为所补充间断点的列标。步骤三：对上述完全ROI内上下部激光条纹带上轮廓点与所补充的间断点组成的点集分别进行线性拟合，所得的两条直线交点即可确定为焊缝峰值特征点。

7.根据权利要求5所述的用于激光-电弧复合焊的主动激光视觉焊缝跟踪系统的工作方法，其特征在于：当步骤5)中，在焊缝跟踪过程中会发现工业机器人(11)路径不精确，存在偏差时，需要对焊缝特征点轨迹的偏差进行补偿，其具体的跟踪方法如下：

a)、机器人控制器发出HOME位信号，工业机器人(11)到达程序初始位，然后工业机器人(11)开始搜索起始点；

b)、机器人控制器搜索机器人工具端TCP起始点；

c)、然后建立第一寄存器队列，记录与焊缝特征点对应的激光视觉传感器位置序列；

d)、然后判断机器人工具端TCP是否位于初始焊缝特征点，如果不是，那么其将要返回步骤b)至c)重新搜机器人工具端TCP起始点；如果是，那么机器人工具端TCP位于焊缝路径起始位置信号；

e)、机器人控制器判断工业机器人(11)是否进行空跑运行；

f)、在步骤e)中得出的结果显示工业机器人(11)如果不是在空跑运行，那么机器人控制器将命令其继续建立第一寄存器列队，记录与焊缝特征点对应的激光视觉传感器位置序列；

g)、机器人工具端TCP位于焊接路径最末端位置信号；

i)、机器人控制器结束焊接操作指令；

h)、在步骤e)中得出的结果显示工业机器人(11)如果是在空跑运行，那么机器人控制器将命令其建立第二寄存器队列记录与焊缝特征点对应的视觉传感器位置序列；

j)、机器人控制器判断工业机器人(11)是否完成W次空跑，监测的结果如果显示未完成，那么其将重复步骤a)至h)；

k)、如果上一步骤中监测的结果显示工业机器人(11)完成W次空跑，那么其将计算W次空跑所得焊缝特征点最优估计及对应的激光视觉传感器位置序列；

l)、然后机器人控制器命令工业机器人(11)开始焊接操作；

m)、工业机器人(11)接收到焊接操作指令后，开始焊接操作；

n)、机器人控制器开始焊缝跟踪操作指令；

o)、机器人工具端TCP参照最优估计焊缝特征点进行跟踪操作；

p)、然后机器人控制器看机器人工具端TCP点是否位于末位焊缝特征点，如果不是，那么其要返回步骤f)至g)重新进行第一寄存器列队建立；如果是，那么机器人工具端TCP位于焊接路径最末端位置信号；

q)、机器人控制器结束焊接操作指令。