CN109483018A - 管道自动焊接中焊缝的主动视觉引导方法 - Google Patents

Abstract

本发明涉及一种管道自动焊接中焊缝的主动视觉引导方法，属于焊接技术领域。本发明采用线形激光结合CCD相机的主动视觉传感方法，使用skeleton算法提取激光线的骨架，再结合矩形开运算的方法提取出焊缝中心点，以Smith预估控制为原理构建数学纠偏模型，实现焊缝的实时准确引导。本发明引入了纯滞后控制的方法，并建立了便于实现的工程实际应用数学模型。经实际测试及误差数据分析可以得出，本发明的纯滞后焊缝跟踪引导系统，提高了焊缝跟踪引导的精度，降低了超前误差的影响。

Description

管道自动焊接中焊缝的主动视觉引导方法

技术领域

本发明涉及一种管道自动焊接中焊缝的主动视觉引导方法，属于焊接技术领域，也属于智能机器领域。

背景技术

近年来，随着机器人和机器视觉技术的进步，智能化焊接得到了快速的发展与广泛应用。在石油化工现场施工中，管道全位置自动焊接一直是研究的热点。全位置管道自动焊接的核心问题在于如何实现管道焊缝的精准跟踪引导，进而实时控制爬行机器人的焊枪运行轨迹，以满足焊接质量的要求。

早期研究焊缝跟踪的方法主要基于探针接触式传感、电磁传感、超声波传感、电弧传感和红外传感等，近年来由于视觉传感具有应用范围广、无接触、跟踪精度高等优势，焊缝视觉跟踪已成为智能化焊接行业研究的热点。焊缝视觉跟踪技术一般可分为主动视觉传感和被动视觉传感两大类。被动视觉传感是利用焊接过程中熔池的高亮状态或是对电弧光的反射来获得焊缝图像，该方法具有实时监测熔池的优势，并且不存在超前监测误差，但焊接过程中电弧光和焊渣飞溅非常强烈，以至于被动视觉传感方式获取的图像受干扰严重，稳定性较差。主动视觉传感主要采用相机结合光源和相机结合结构光的方法，该方法采用超前监测的方式，即视觉监测位置与焊接位置存在着一定的前视距离。超前监测的优势在于采集焊缝的图像能够有效的避免焊接过程中电弧光和焊渣飞溅的干扰，焊缝图像的质量得到明显提高，缺点是给焊缝视觉跟踪系统引入了超前误差。从现有文献看，采用主动视觉传感方法通常忽略超前误差的存在。当焊缝形状规则且短距离内不存在形状突变的情况下，超前误差很小甚至没有。但当焊缝形状不规则甚至坡口边缘呈波浪形时，超前误差将不能被忽视。而从石油化工施工现场调研发现，不管采用坡口机还是人工加工坡口，加工后的焊缝坡口形状多变，因此超前误差的存在会降低纠偏精度。

发明内容

本发明所要解决的技术问题是提供一种管道自动焊接中焊缝的主动视觉引导方法。

针对采用主动视觉传感跟踪焊缝会引入超前误差的问题，本发明基于Smith预估控制原理提供了一种能够减小超前误差的焊缝跟踪引导方法。

本发明采用线形激光结合CCD相机的主动视觉传感方法，使用skeleton算法提取激光线的骨架，再结合矩形开运算的方法提取出焊缝中心点，以Smith预估控制为原理构建数学纠偏模型，实现焊缝的实时准确引导。

具体如下：

采用线形激光结合CCD相机采集焊缝图像，设带焊枪的爬行机器人以V的速度绕管道爬行，激光线与焊枪的前置距离L中存在n帧图像，将第一帧焊缝图像处理得到的焊缝中心点作为基准坐标，则第n帧图像检测到的纠偏量Pi＝第n帧图像中焊缝中心点的坐标-基准坐标，将P_i依次存入容器N中，即：

N₀＝P₀，N₁＝P₁，…，N_n-1＝P_n-1 (5)

当爬行机器人爬行L距离后，此时焊枪位置到达n＝1帧图像中激光线的位置，开始将纠偏量P₀发送给运动控制单元完成纠偏动作；基于Smith预估控制原理中的反馈机制，需将容器N中的数据依次减去P₀值，即：

此时激光视觉传感器采集到n+1帧图像，计算出纠偏量为P_n+1，更新容器N的值使新容器为N′，N′的值为：

N′₀＝N₁，N′₁＝N₂，…，N′_n-2＝N_n-1，N′_n＝P_n+1 (7)

当焊枪位置到达n＝2，n＝3，…，n＝i帧图像中激光线的位置时，依次按照公式(6)、公式(7)循环处理，即可完成纯滞后跟踪引导。

上述过程中，每帧焊缝图像焊缝中心点的坐标确定过程如下：

1)图像预处理：采用均值滤波去除图像中的噪点；

2)二值化：将激光线从图像中分割出来，设分割后的区域为N；

3)骨骼化：采用skeleton算法提取出区域N的骨架；

4)腐蚀：采用3X1大小的矩形内核对骨架进行腐蚀操作，去除骨架上的毛刺和提取出骨架的水平区域，设骨架的水平区域为S；

5)矩形膨胀：采用80X10大小的矩形内核对S区域进行膨胀操作，设膨胀后的区域为Q；

6)区域求交：Q∩N＝Y，求交后的区域Y即为激光线水平区域。

7)区域筛选：根据重心位置，将激光线水平区域区分为左、右两个区域，设左区域为Y1；

8)矩形开运算：圆滑区域Y的边缘，防止区域边缘存在凸起，对拐点的选取造成影响；

9)确定区域最左、右点：根据区域中每个像素点在图像中的坐标(x，y)，选取激光线左区域Y1中x值的最大值x1，选取激光线右区域Y2中x值的最小值x2；

10)确定焊缝中心点x＝(x1+x2)/2。

目前Smith预估控制方法在化工厂、发电厂等具有大延时、大惯性和高度非线性的工作环境下有较好的应用，而在具有滞后性的自动焊接行业还没有得到广泛应用。针对主动视觉传感存在超前误差，导致自动焊接过程中跟踪引导精度低的问题，本发明引入了纯滞后控制的方法，并建立了便于实现的工程实际应用数学模型。经实际测试及误差数据分析可以得出，本发明的纯滞后焊缝跟踪引导系统，提高了焊缝跟踪引导的精度，降低了超前误差的影响，对全位置焊接机器人在复杂焊缝工况下的精确引导具有重要意义。

附图说明

图1，激光视觉传感示意图

图2，误差分析模型图。

图3，焊缝中心提取流程图。

图4，3×3矩形结构腐蚀内核。

图5，激光线骨架提取与去毛刺结果显示图。

图6，单回路Smith预估控制方框图。

图7，焊缝跟踪引导效果对比及误差分析。

图8，焊缝跟踪引导实验验证。

具体实施方式

本发明方法适用于管道全位置焊接机器人，焊接机器人包括激光视觉传感器和爬行机器人，该设备能够在管道的360度内的任何角度起弧，并由激光视觉传感器系统实现跟踪引导功能，自主完成一整圈的焊缝焊接，具有全位置焊接的优势。图1为激光视觉传感器的示意图，整个视觉测头由一个CCD摄像机、工业镜头、激光器和反光镜组成。激光器发射出波长为650nm的红色“一字”线型光带，由反光镜折射到CCD摄像机视野中的焊缝上，在CCD摄像机中形成V型坡口图像。根据V型坡口存在角点的特征，通过图像处理可以计算出焊缝中心点坐标，进而实现焊接跟踪引导。从图1中可以看出，焊枪位置和激光线监测位置并不重合，存在着一定的前视距离。

如图2(a)所示，当焊缝为标准焊缝时，激光线所监测到的焊缝中心点与焊枪在焊缝中心点的位置处于同一条垂直直线上，即焊缝中心线与焊枪中心线重合，在该种情况下激光线监测到的偏移量可直接引导焊枪纠偏，在理论上超前误差为零，即Δd＝0。如图2(b)所示，当焊缝为不规则焊缝时，焊缝中心线与焊枪中心线不重合，存在着Δd的距离，如果将激光线监测到的偏移量直接用来引导焊枪纠偏，将引入Δd大小的纠偏误差，并且Δd的大小随着焊缝不规则程度和激光线与焊枪前视距离的大小变化而变化，是一个实时变化的误差量。因此，必须引入一种有效的延时控制算法才能减小Δd的值，实现实时精准引导焊接的功能。

本发明采用线形激光结合CCD相机的主动视觉传感方法，使用skeleton算法提取激光线的骨架，再结合矩形开运算的方法提取出焊缝中心点，以Smith预估控制为原理构建数学纠偏模型，实现焊缝的实时准确引导。

本发明提取焊缝中心的流程中关键步骤在于激光线骨架的提取以及去毛刺。激光线骨架提取的准确性决定了焊缝坡口角点特征提取的准确性，而去毛刺主要的目的是去除飞溅的焊渣在图像上形成的拖影以及分割出焊缝坡口角点特征。整个焊缝中心提取的流程如图3所示。

目前关于骨架提取的算法比较多，但所有的骨架提取算法均可分为迭代和非迭代两大类。在迭代算法中，又分为并行迭代和顺序迭代两种。焊接过程中要求视觉系统必须实时快速的响应，因此在设计图像处理算法时，在满足精度要求的情况下，更要关注算法的处理速度。本文选取了精度较好且处理速度较快的并行迭代算法来提取激光线的骨架。

并行迭代算法要求每一次的迭代步骤要对符合特定条件的目标像素进行腐蚀，效果就是目标变得越来越细。不断的迭代，直到在上一次腐蚀后的目标在本轮操作中没有新的像素点被腐蚀，算法结束。即：

(AΘkB)＝((…(AΘB)ΘB)Θ…)ΘB) (1)

(1)式中，A表示待提取骨架目标的集合，B是一个结构元，(AΘkB)表示对A的连续k次腐蚀。对于并行迭代骨架提取算法，需要满足如下四个条件：

(a)2≤B(P₁)≤6，中心像素P₁周围的目标像素的个数之和在2和6之间。

(b)A(P₁)＝1，8邻域像素中，按顺时针方向，相邻两个像素出现0->1的次数。

(c)P₂*P₄*P₆＝0。

(d)P₄*P₆*P₂＝0。

如图5(b)所示，经过skeleton算法处理后的激光线仍然是一条连续的曲线，无法直接得到焊缝的角点坐标。本发明采用3×1大小的矩形内核进行图像腐蚀，该步骤既可以去除激光线骨架上的毛刺干扰，又可以起到图像分割的作用，可以将焊缝角点坐标位置初步分割出来为后面获得焊缝中心点精确位置提供便利，效果图如图5(c)所示。从图5(d)的处理结果综合显示图来看，腐蚀分割后的结果已经非常接近实际焊缝角点位置，继续按照图3的图像处理步骤即可实现焊缝中心坐标的精确定位。

本发明聚焦于解决超前误差问题。本发明基于Smith提出的纯滞后补偿模型，推导出实现纯滞后焊接的数学公式，进而设计出纯滞后焊缝跟踪引导的控制算法。

无论是复杂回路系统还是最简单的单回路系，Smith预估控制方法在具有滞后性的系统中都有广泛的应用。对于一个单回路系统，Smith建立了如图6所示的纯滞后控制方法的方框图。若系统中没有纯滞后，G(s)＝G_p(s)；若有纯滞后，G(s)＝G_p(s)e^-τs。其中τ为纯滞后时间，则闭环传递函数的结构是：

那么可以得到闭环传递函数的特征方程为：

1+D(s)G_p(s)e^-τs＝0 (3)

由于e^-τs的存在使得系统容易造成超调和振荡，因此与D(s)并联一个补偿环节，用来补偿被控制对象中的纯滞后部分，经补偿后的系统闭环传递函数为：

由上述Smith预估控制原理可以建立实际焊接的纯滞后跟踪引导的数学模型。设爬行机器人以V(mm/s)的速度绕管道爬行，激光线与焊枪的前置距离L(mm)中存在n帧图像，将n帧图像检测到的纠偏量P_i依次存入容器N中，即：

N₀＝P₀，N₁＝P₁，…，N_n-1＝P_n-1 (5)

当爬行机器人爬行L距离后，此时焊枪位置到达n＝1帧图像中激光线的位置，开始将纠偏量P₀发送给运动控制完成纠偏动作。基于Smith预估控制原理中的反馈机制，需将容器N中的数据依次减去P₀值，即：

此时激光视觉传感器采集到n+1帧图像，计算出纠偏量为P_n+1，更新容器N的值使新容器为N′，N′的值为：

N′₀＝N₁，N′₁＝N₂，…，N′_n-2＝N_n-1，N′_n＝P_n+1 (7)

当焊枪位置到达n＝2，n＝3，…，n＝i帧图像中激光线的位置时，依次按照公式(6)、公式(7)循环处理，即可完成纯滞后跟踪引导。

实验结果对比及误差分析

如图7(a)所示，采用弯曲样板做纯滞后焊缝跟踪引导实验，因为弯曲焊缝的超前误差大，更能检验本发明设计的纯滞后焊缝跟踪引导算法的可靠性。由于焊接机器人爬行完整个弯曲样板所采集的数据有500多个，数据量太大，不利于直观的分析，因此选取中间的160个数据在MATLAB软件下做出了如图7所示的曲线图。图7(a)(c)中，连续曲线代表弯曲样板中间部分的两个波峰曲线，间断曲线表示实际焊缝跟踪引导曲线，X轴表示160帧图像，Y轴表示距离，距离以毫米(mm)为单位。图7(b)(d)为误差分析图，间断曲线160个点的Y值减去连续曲线上对应点的Y值，即可得到每帧图像计算出的焊缝中心点与实际焊缝中心点的误差。

图7(a)所示的是采用纯滞后控制的焊缝跟踪引导曲线图。虽然间断曲线存在着2到3帧数据响应超前或响应滞后，但从整体上看，间断曲线与连续曲线重合度较高，并且从图7(b)中可以看出，误差Δd稳定在区间[-0.26,0.32](mm)之间。

图7(c)所示的是不采用纯滞后控制的焊缝跟踪引导曲线图。由于视觉传感器超前监测，因此会提前开始弯曲样板的跟踪引导，导致两条曲线重合度较差。从图7(d)中可以看出，误差值离散度较大，且误差Δd的区间在[-2.82,3.90](mm)之间。因此说明，在焊缝不规则的情况下，超前误差不能被忽视。

图8所示的是采用纯滞后控制的焊缝跟踪引导方法的实际焊接效果，进一步说明本发明采用的纯滞后控制算法具有较高的跟踪引导精度。

Claims (3)

1.一种管道自动焊接中焊缝的主动视觉引导方法，其特征在于：

采用线形激光结合CCD相机的主动视觉传感方法，使用skeleton算法提取激光线的骨架，再结合矩形开运算的方法提取出焊缝中心点，以Smith预估控制为原理构建数学纠偏模型，实现焊缝的实时准确引导。

2.根据权利要求1所述的主动视觉引导方法，其特征在于：

采用线形激光结合CCD相机采集焊缝图像，设带焊枪的爬行机器人以V的速度绕管道爬行，激光线与焊枪的前置距离L中存在n帧图像，将第一帧焊缝图像处理得到的焊缝中心点作为基准坐标，则第n帧图像检测到的纠偏量Pi＝第n帧图像中焊缝中心点的坐标-基准坐标，将P_i依次存入容器N中，即：

N₀＝P₀，N₁＝P₁，…，N_n-1＝P_n-1 (5)

当爬行机器人爬行L距离后，此时焊枪位置到达n＝1帧图像中激光线的位置，开始将纠偏量P₀发送给运动控制单元完成纠偏动作；基于Smith预估控制原理中的反馈机制，需将容器N中的数据依次减去P₀值，即：

此时激光视觉传感器采集到n+1帧图像，计算出纠偏量为P_n+1，更新容器N的值使新容器为N`,N`的值为：

N`<sub>0</sub>＝N<sub>1</sub>，N`₁＝N₂，…，N`<sub>n-2</sub>＝N<sub>n-1</sub>，N`_n＝P_n+1 (7)

当焊枪位置到达n＝2，n＝3，...，n＝i帧图像中激光线的位置时，依次按照公式(6)、公式(7)循环处理，即可完成纯滞后跟踪引导。

3.根据权利要求1或2所述的主动视觉引导方法，其特征在于：每帧焊缝图像焊缝中心点的坐标确定过程如下：

1)图像预处理：采用均值滤波去除图像中的噪点；

2)二值化：将激光线从图像中分割出来，设分割后的区域为N；

3)骨骼化：采用skeleton算法提取出区域N的骨架；

4)腐蚀：采用3X1大小的矩形内核对骨架进行腐蚀操作，去除骨架上的毛刺和提取出骨架的水平区域，设骨架的水平区域为S；

5)矩形膨胀：采用80X10大小的矩形内核对S区域进行膨胀操作，设膨胀后的区域为Q；

6)区域求交：Q∩N=Y，求交后的区域Y即为激光线水平区域；

7)区域筛选：根据重心位置，将激光线水平区域区分为左、右两个区域，设左区域为Y1；

8)矩形开运算：圆滑区域Y的边缘，防止区域边缘存在凸起，对拐点的选取造成影响；

9)确定区域最左、右点：根据区域中每个像素点在图像中的坐标(x，y)，选取激光线左区域Y1中x值的最大值x1，选取激光线右区域Y2中x值的最小值x2；

10)确定焊缝中心点x＝(x1+x2)/2。