CN102059435A - 带有线结构光型视觉传感器的纵缝焊接专机及其控制方法 - Google Patents

Abstract

本发明公开了一种带有线结构光型视觉传感器的纵缝焊接专机及其控制方法，所述纵缝焊接专机包括焊枪、线结构光型视觉传感器、工业控制计算机和执行机构，焊枪固定在执行机构上，焊枪与线结构光型视觉传感器连接在纵缝焊接专机的运行轨道上，且线结构光型视觉传感器前置于焊枪；线结构光型视觉传感器的输出端通过工业控制计算机与执行结构相连接；所述控制方法建立了坐标系的概念，通过视觉传感器检测出焊缝轨迹，从本质上改变了将焊枪通过刚体关系对应在图像基准点上的应用方式，所以本方法不限于跟踪直线焊缝轨迹，对空间曲线焊缝也能实现跟踪；本发明检测了整条焊缝轨迹，故在焊缝最后一段即使传感器超出了视野也能保证焊枪对整条焊缝的跟踪。

Description

带有线结构光型视觉传感器的纵缝焊接专机及其控制方法

技术领域

本发明涉及工业焊接设备，尤其涉及一种带有线结构光型视觉传感器的纵缝焊接专机及其控制方法。

背景技术

随着自动焊接在焊接领域的广泛应用，为了保证焊接质量，焊缝的自动跟踪技术成为重点研究方向。近年来，运用计算机视觉、数字图像处理、模式识别、智能控制等高新技术的焊缝视觉跟踪得到了普遍的关注。其中线结构光型传感器因为其简单结构、非接触方式、获取信息量大及高精度等优点，得到了广泛的应用。如何将线结构光型视觉传感器应用于工业焊接设备纵缝焊接专机中成为了一个关键问题。

线结构光型视觉传感器通过激光管发出点光源经柱状镜转换成条形光，投射到工件表面的焊缝坡口上并向工件上方漫反射。CCD接收从工件上漫反射的不同焊缝坡口形式的条形光，通过信号采集或图像处理环节，获得条形光变形处焊缝的特征信息。结构光型传感器不仅能检测出焊缝的中心位置，还能获得焊缝截面的形状和尺寸等特征参数，并且适合于不同的焊缝和各种焊接方法。

目前，线结构光型视觉传感器在纵缝焊接专机中的应用方式通常为传感器前置安装于焊枪上，通过十字滑块控制焊枪进行纠偏，纠偏过程中根据传感器与焊枪间的刚体关系将图像偏差对应为焊枪偏离焊缝的偏差。例如郑定根等在文章“基于激光视觉的焊缝跟踪系统的研究”中提出的通过安装保证焊枪中心、摄像头中心与激光器中心线处于焊接方向平行的平面上。跟踪前人工将焊枪位置对准焊缝，采集当前图像中的焊缝特征点的图像坐标作为图像基准点。考虑视觉传感系统与焊枪刚性连接，当焊枪中心与焊缝中心发生偏移时，摄像头中心同样也发生相同量的偏移，通过图像特征点提取坐标与图像基准点的比较得到焊枪相对焊缝的偏差量进行纠偏控制。

徐鹏飞等在文章“水下焊接机器人视觉传感焊缝跟踪方法研究”中焊枪和水下激光传感器固定并安装在十字滑块上，由十字滑块上下左右移动调整焊枪的位置，十字滑块由控制上下和左右的两组电机驱动。焊接跟踪前首先进行焊枪的标定，其方法是，预先将焊枪对准某一直焊缝，然后通过图像采集和焊缝位置的识别，得到焊缝中心的坐标，此坐标即焊枪在水平方向的位置，将这个位置标定为焊枪的标准位置。初始进行焊缝检测，检测出当前初始焊缝位置，从而可以计算出初始的焊缝偏差，从而可以进行偏差的调整。进行初始焊缝检测，得出初始的焊缝偏差，即开始焊缝跟踪。

上述应用方式从本质上来说是使图像基准点位置与焊缝接近并收敛，而不是实际的焊枪位置。对于跟踪对象为直线焊缝的情况，由于传感器及焊枪的刚体关系，当图像基准点位置与焊缝接近并收敛时，焊枪同样与焊缝接近并收敛，所以对于直线焊缝能够实现较好的跟踪，并具有一定的跟踪精度。使用这种方式进行曲线焊缝的跟踪，跟踪精度差，且曲率变化越大偏差越大。同时使用该应用方式，每次跟踪前需人工使焊枪位置对准焊缝来确定图像基准点，降低了自动化程度。同时由于传感器的前置安装方式使得在最后一段焊缝传感器无法获得相应的焊缝信息，难于进行焊缝的跟踪控制。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种带有线结构光型视觉传感器的纵缝焊接专机及其控制方法，能够实现对直线或者空间曲线焊缝的自动跟踪。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种带有线结构光型视觉传感器的纵缝焊接专机，包括焊枪、线结构光型视觉传感器、工业控制计算机和执行机构，所述焊枪固定在执行机构上，焊枪与线结构光型视觉传感器连接在纵缝焊接专机的运行轨道上，且线结构光型视觉传感器前置于焊枪；所述线结构光型视觉传感器的输出端与工业控制计算机的输入端连接，工业控制计算机的输出端连接执行结构。

所述焊枪与线结构光型视觉传感器一起沿纵缝焊接专机的运行轨道前行，由于焊枪固定在执行机构上，执行机构会根据从线结构光型视觉传感器接受到的数据进行纠偏运动，因而焊枪在沿运行轨道前行的同时亦会存在纠偏运动，但是线结构光型视觉传感器只沿着运行轨道前行而不跟随焊枪一同进行纠偏运动。同时执行机构可以为一组相互垂直的执行机构，能够同时实现对焊枪高度及水平方向的纠偏。

线结构光型视觉传感器不随焊枪进行纠偏运动的方式虽然在一定程度上使得线结构光型视觉传感器的视野相对减少，但是考虑到执行机构运动范围有限，只要保证线结构光型视觉传感器的视野能够覆盖执行机构的运动范围即能够满足实际使用要求。这种方式的优点在于，分离焊枪的纠偏运动以及线结构光型视觉传感器对数字图像特征的采集，能够获得空间的焊缝轨迹，实现实际需要的运动方式，例如常用的焊缝的跟踪加摆动，摆动坡口自适应等。

线结构光型视觉传感器的前置安装方式一方面能够避免焊接时弧光的干扰，另一方面能够使得整个装置能够提前获取焊缝信息，提前获取的焊缝信息经处理后能够直接用于对执行机构的控制。

所述执行机构可以为伺服电机或者步进电机中的一种。

上述一种带有线结构光型视觉传感器的纵缝焊接专机的控制方法，可以实现对焊缝的跟踪，具体包括如下步骤：

(1)将焊枪置于零点位置；

(2)通过线结构光型视觉传感器采集数字图像，并分析所得数字图像提取焊缝坡口的图像特征点，确定图像特征点在所述线结构光型视觉传感器形成的传感器坐标系下的坐标值；

(3)根据纵缝焊接专机的运行轨道建立焊缝轨迹的基坐标系，依据线结构光型视觉传感器在采集步骤(2)中图像特征点的时刻的位置，计算该图像特征点在基坐标系下的坐标值；

(4)将通过步骤(2)和步骤(3)获得的各个离散的图像特征点在基坐标系下的坐标值，通过插补方法得到连续的焊缝轨迹；

(5)根据焊枪当前位置计算下一纠正时刻纠正截面方程与步骤(4)中得到的连续的焊缝轨迹的交点，并得到该交点在焊枪纠正方向上投影值；根据当前时刻焊枪位置与下一时刻焊缝位置的差值纠正焊枪；

(6)重复步骤(2)至步骤(5)，直至焊接完成。

所述步骤(1)中，零点位置可以自由选定，但选定后即作为为一个固定的位置点不再变更，但是该点必须可以通过执行机构重复到达。当焊枪位于零点位置时，焊枪末端沿纵缝焊接专机运行轨道方向的直线与线结构光型视觉传感器的结构光面交点在传感器图像中的投影点定义为零点图像参考点，此时图像定义为零点参考图像，所述零点图像参考点在零点参考图像上的像素值记为(u_ref，v_ref)；焊枪末端到所述结构光交点的距离定义为前置距离，前置距离记为d_ref。

在实际应用中，对于采用伺服电机作为执行机构的情况，可通过选取某固定的码盘位置值来设定零点位置，焊缝跟踪前使焊枪运行到该码盘位置即实现回“零点”操作；对于采用步进电机作为执行机构的情况，可通过安装外部传感器辅助实现回“零点”操作。当零点位置确定后，可以保证每次回“零点”操作后焊枪相对传感器的位置固定不变。对于上述执行机构为伺服电机的情况，焊枪位置能够通过码盘值获得，但是对于很多无法获取位置的执行机构很难确定焊枪在系统中的位置。不失一般性，为了能够确定跟踪初始时刻焊枪相对于传感器的位置，一般都要求在进行焊缝跟踪前首先进行焊枪的回“零点”操作。

所述步骤(2)中，通过线结构光型视觉传感器采集到数字图像，可以通过计算机视觉、图像处理技术、模式识别等技术进行分析，以得到焊缝坡口的图像特征点。所述传感器坐标系记为o_cx_cy_cz_c，焊枪坐标系记为o_tx_ty_tz_t，焊枪坐标系在传感器坐标系下旋转关系的描述记为R_tc，轨道前进方向在传感器坐标系中的单位向量记为v_tool，其中焊枪坐标系的x_t轴方向为高度方向执行机构的运动方向，y_t轴方向为水平方向执行机构的运动方向，z_t轴方向为x轴与y轴满足右手法则的正交方向。记焊枪坐标系的x_t轴、y_t轴、z_t轴的正向在传感器坐标系下的描述单位向量分别为v_vert、v_hor、v_vert×v_hor，则焊枪坐标系在传感器坐标系下旋转关系的描述为[v_vert v_hor v_vert×v_hor]，轨道前进方向在传感器坐标系中的单位向量为v_tool。

有益效果：本发明提出的一种带有线结构光型视觉传感器的纵缝焊接专机及其控制方法，建立了坐标系的概念，通过视觉传感器检测出焊缝轨迹，从本质上改变了将焊枪通过刚体关系对应在图像基准点上的应用方式，所以本应用方法不局限于跟踪直线焊缝轨迹，对空间曲线焊缝同样能实现跟踪，且曲线跟踪的逼近精度与图像采样率相关。本发明检测了整条焊缝轨迹，故在焊缝最后一段即使传感器超出了视野也能保证焊枪可以实现对整条焊缝的跟踪。同时本发明标定完成后可以不需要重复进行零点参考点的标定，大大提高了自动化程度。

附图说明

图1为本发明的结构示意图；

图2为本发明方法的流程图；

图3为步进电机“零点”实现示意图；

图4为焊缝轨迹检测示意图；

图5为焊缝跟踪运动示意图；

图6为直线焊缝跟踪数据仿真图；

图7为平面曲线焊缝跟踪数据仿真图；

图8为平面曲线焊缝跟踪加摆动数据仿真图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

图1所示为一种带有线结构光型视觉传感器的纵缝焊接专机，包括焊枪、线结构光型视觉传感器、工业控制计算机和执行机构，所述焊枪固定在执行机构上，焊枪与线结构光型视觉传感器连接在纵缝焊接专机的运行轨道上，且线结构光型视觉传感器前置于焊枪；所述线结构光型视觉传感器的输出端与工业控制计算机的输入端连接，工业控制计算机的输出端连接执行结构。所述执行机构为一组相互垂直的执行机构，能够同时实现对焊枪高度及水平方向的纠偏。所述焊枪与线结构光型视觉传感器一起沿纵缝焊接专机的运行轨道前行，但线结构光型视觉传感器不跟随焊枪一同进行纠偏运动。

图2所示为图1所示结构的控制方法流程图，在将焊枪置于零点参考点位置后，执行如下步骤：

(1)通过线结构光型视觉传感器采集数字图像；判断该次跟踪是否已获得焊缝初始点，如果判断结果为是则执行步骤(2)，若判断结果为否则执行步骤(3)；

(2)获取当前传感器坐标系原点在基坐标系下的坐标值，执行步骤(3)；

纵缝焊接专机沿基坐标系的单位向量为v_tool，线结构光型视觉传感器在采集第i帧数字图像时刻，焊枪沿缝焊接专机的运行轨道距离焊缝初始点的距离为d_i，此时传感器坐标系原点在基坐标系下的坐标值为d_iv_tool。

(3)分析所得数字图像，判断能否提取焊缝坡口的图像特征点，如果提取成功则记该图像特征点在所得数字图像上的像素值为(u，v)：如果该图像特征点识别成功且没有找到焊缝初始点，则执行步骤(4)；如果该图像特征点识别成功且找到焊缝初始点，则执行步骤(5)；如果该图像特征点识别失败，则执行步骤(6)；

(4)根据纵缝焊接专机的运行轨道建立焊缝轨迹的基坐标系，执行步骤(5)；

执行该步骤时表明已经找到焊缝初始点，当前帧数字图像的采集时刻即为焊缝初始点识别时刻，并以当前传感器坐标系作为基坐标系，但是传感器坐标系会随着焊接过程的进行而变化，而基坐标系在确定以后便不再变化。此时，焊枪位于基坐标系下的位置为焊枪初始位置T₀，且T₀＝T(u_ref，v_ref)-d_refv_tool，而焊枪在纠正面上的位置值为

(5)计算图像特征点(u，v)在基坐标系下的坐标值(x_b y_b z_b)，执行步骤(6)；

像素值为(u，v)的图像特征点到传感器坐标系上的坐标值(x_c y_c z_c)的变化关系记为[x_c y_c z_c]^T＝T(u，v)，进一步考虑到传感器坐标系与基坐标系仅存在平移变换，则第i帧数字图像的图像特征点(u_i，v_i)在基坐标系下的坐标值为

(6)获取焊枪当前位置，并计算下一时刻纠正截面的方程，执行步骤(7)；

记焊枪水平纠正方向在轨迹基坐标系下的单位向量为v_hor，焊枪垂直纠正方向在轨迹基坐标系下的单位向量为v_vert，则纠正截面方程的法向量为n＝v_hor×v_vert。当前时刻焊枪距离焊枪初始位置的距离为记d_k，焊枪在纠正截面上的位置为

下一纠正时刻焊枪距离焊枪初始位置的距离为d_k+1，则点d_k+1v_tool+T₀为下一纠正截面上的点。则下一纠正截面的方程为(X-(d_k+1v_tool+T₀))·n＝0，其中X为纠正面上任意一点。

(7)插补在基坐标系下坐标值为的

点，得到连续的焊缝轨迹方程，计算连续的焊缝轨迹与下一时刻纠正截面的交点，计算该交点在焊枪纠正方向上的纠正偏量后，纠正焊枪至连续的焊缝轨迹上，执行步骤(1)；

选择合适的插补方式对离散轨迹点进行插补，插补方法的实现此处不再赘述。根据上述插补后的焊缝轨迹方程及步骤16的纠正截面方程计算出其交点

进一步计算出该点在焊枪纠正方向上位置值

则焊枪的纠正量为

按照上述步骤，循环执行步骤(1)至步骤(7)即可实现焊缝的自动跟踪。

具体地，线结构光型视觉传感器通过标定得到的传感器内参数

标定得到结构光面在传感器坐标系中的方程为AX+BY+CZ＝D，则图像像素值(u，v)到传感器坐标系坐标[x_c y_c z_c]^T的转化关系满足

采用一组高精度的十字步进电机滑架作为执行机构，且安装时保证步进电机水平、高度纠正方向与纵缝专机前进轨道的方向垂直。焊枪的“零点”通过使用两个外部传感器实现，如图3所示，在水平方向步进电机左侧安装一个位置传感器1，电机滑块2距离位置传感器D_hor处定义为焊枪“零点”。焊枪回“零点”操作通过如下方式实现：回零点时，电机滑块2向左移动直至位置传感器1检测到信号，再向右移动滑块距离D_hor即完成回“零点”。对于垂直方向的电机可采用同样的方式实现高度方向的回“零点”操作。

按图1方式安装线结构光型视觉传感器，且保证x_t轴平行于z_c轴，y_t轴平行于x_c轴。上述示例通过工装保证实现了一种最简单的跟踪情况，其中v_vert＝[0 0 1]^T，v_hor＝[-1 0 0]^T，v_tool＝v_vert×v_hor＝[0 -1 0]^T。离散轨迹的插补采用直线插补方式。由于采用线结构光型视觉传感器的前置安装方式，使得在第一个前置距离内焊枪到传感器间没有焊缝轨迹，该段称为“初始段”，在初始段中焊枪由初始点以直线轨迹运动到焊缝初始点。

图4中进一步分析了本例焊缝轨迹检测的原理及流程。纵缝专机轨道前进过程中，图像识别成功的第一帧图像点对应的焊缝轨迹点定义为焊缝的起点。当前图像采集时刻t₀对应的传感器坐标系定义为轨迹基坐标系，该坐标系在此次焊缝跟踪过程中固定不变，此次跟踪过程中的轨迹点及其相应的运算都在该坐标系下进行。对于图像采集时刻t₁，传感器前进距离为d₁，则此时图像像素点(u₁，v₁)对应在轨迹基坐标系下的坐标值为

根据上述分析，依次可以得到图像采集时刻t_i，焊缝轨迹点在轨迹基坐标系下的坐标

图5中进一步分析了本例焊缝轨迹跟踪的控制原理及流程。在图像采集时刻t0时，焊枪在轨迹基坐标系下的位置固定T₀＝T(u_ref，v_ref)-d_refv_tool，且焊枪在纠正面上的位置值为

在时刻t₁时，纠正面方程为(X-(d₁v_tool+T₀))·n＝0，其中n＝v_hor×v_vert，由于初始段采用焊枪以直线轨迹向焊缝初始点运动的方式，则下一时刻焊枪运行轨迹点为焊枪初始点与焊缝初始点的连线与纠正面的交点，

在焊枪纠正方向上位置值

则时刻t₀到时刻t₁过程中焊枪的实际运动量为

依次实现初始段的焊枪运动，假设在时刻t_k焊枪运行到轨迹初始点，则下面进入轨迹跟踪段。在时刻t_k，焊枪在纠正面上的位置为

则在下一时刻t_k+1，纠正面方程为(X-(d_k+1v_tool+T₀))·n＝0，由于采用直线插补方式插补离散焊缝轨迹，则下一时刻时焊枪轨迹点

为离散轨迹点P₀与P₁连线与纠正面的交点，

在焊枪纠正方向上位置值

则时刻t_k到时刻t_k+1过程中焊枪的实际运动量为

依次实现焊缝跟踪段，直至结束。

图6、图7、图8为焊缝跟踪实验中跟踪数据的仿真图。图中包括焊枪在原点位置不进行纠偏时的前进轨迹，其中每一个点代表前面介绍的纠正面上的基点，同时包括传感器检测得到的焊缝的离散轨迹点集，还包括实际跟踪时焊枪的运行位置点。图6、图7、图8包括直线焊缝跟踪、平面曲线焊缝跟踪及平面曲线焊缝跟踪加摆动三种情况的跟踪数据仿真。本实验中设置系统响应阈值为0.2mm，即只有当下一时刻纠正误差大于等于阈值0.2mm时系统才进行纠偏，避免焊枪的微小抖动。

通过实验证明本发明方法的正确性及高适用性，进一步证明本发明不仅适用于直线焊缝，同时适用于空间曲线焊缝，同时还证明了本发明对焊接工艺要求的可扩展性，如增加摆动功能、摆动幅度自适应等。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种带有线结构光型视觉传感器的纵缝焊接专机，其特征在于：所述纵缝焊接专机包括焊枪、线结构光型视觉传感器、工业控制计算机和执行机构，所述焊枪固定在执行机构上，焊枪与线结构光型视觉传感器连接在纵缝焊接专机的运行轨道上，且线结构光型视觉传感器前置于焊枪；所述线结构光型视觉传感器的输出端与工业控制计算机的输入端连接，工业控制计算机的输出端连接执行结构。

2.根据权利要求1所述的带有线结构光型视觉传感器的纵缝焊接专机，其特征在于：所述执行机构为伺服电机或者步进电机中的一种。

3.根据权利要求1所述的一种带有线结构光型视觉传感器的纵缝焊接专机的控制方法，其特征在于：所述控制方法包括如下步骤：

(1)将焊枪置于零点位置；

(2)通过线结构光型视觉传感器采集数字图像，并分析所得数字图像提取焊缝坡口的图像特征点，确定图像特征点在所述线结构光型视觉传感器形成的传感器坐标系下的坐标值；

(3)根据纵缝焊接专机的运行轨道建立焊缝轨迹的基坐标系，依据线结构光型视觉传感器在采集步骤(2)中图像特征点的时刻的位置，计算该图像特征点在基坐标系下的坐标值；

(4)将通过步骤(2)和步骤(3)获得的各个离散的图像特征点在基坐标系下的坐标值，通过插补方法得到连续的焊缝轨迹；

(5)根据焊枪当前位置计算下一纠正时刻纠正截面方程与步骤(4)中得到的连续的焊缝轨迹的交点，并得到该交点在焊枪纠正方向上投影值；根据当前时刻焊枪位置与下一时刻焊缝位置的差值纠正焊枪；

(6)重复步骤(2)至步骤(5)，直至焊接完成。

Images