CN109894779A - 一种机器视觉跟踪系统及方法 - Google Patents

Abstract

本发明提出一种机器视觉跟踪系统及方法，所述系统包括：焊接机器人、激光视觉传感器、多轴伺服控制器、伺服驱动器、PC现场组态平台和智能终端。所述激光视觉引导的焊缝跟踪方法包括以下步骤：S1，激光视觉传感器采集焊缝图像；S2，对焊缝图像进行噪声滤除；S3，对小波降噪后的图像进行二值化处理；S4，激光条纹中心提取；S5，检测焊缝位置；S6，建立焊缝跟踪系统模型；S7，通过双队列的控制策略实现焊缝跟踪。

Description

一种机器视觉跟踪系统及方法

技术领域

本发明涉及焊接工业中的焊缝跟踪技术，具体涉及一种机器视觉跟踪系统及方法。

背景技术

焊接是一门材料连接技术，通过某种物理化学过程使分离的材料产生原子或者分子间的作用力而连接在一起，随着焊接技术的不断发展，它在生产中的应用日趋广泛，到目前为止已经成为一种重要的加工手段。从日常生活用品，如家用电器、水暖设备等的生产到飞机、潜艇、火箭、飞船等尖端科技产品都离不开高效率、现代化的焊接技术，进一步提高焊接质量、改善劳动条件、提高劳动生产率已经成为所有焊接工作者的强烈的愿望，而采用自动控制技术是实现上述的正确途径。焊缝自动跟踪系统的研究作为焊接领域的一个重要的方面，为了进行精确的自动焊接，必须进行焊缝自动跟踪。

众所周知，焊工可以通过眼睛或者工业电视观察焊接熔池来对工件或焊枪进行调整并能达到很高的精度。但是这依赖于焊工个人的经验、带有主观性、劳动强度大、并受烟尘和弧光的影响,也会产生偏差。

发明内容

本发明目的在于克服传统的焊接工业中对焊工个人的经验依赖性强、带有主观性、劳动强度大、受烟尘和弧光的影响大等缺点，提供一种机器视觉跟踪系统及方法，将焊缝图像识别与机器人运动控制技术相结合，有效地解决了焊缝自动提取和智能跟踪。

为解决上述技术问题，本发明采用如下的技术方案：

一种机器视觉跟踪系统，其特征在于，所述系统包括：焊接机器人、激光视觉传感器、多轴伺服控制器、伺服驱动器、PC现场组态平台和智能终端。所述激光视觉传感器安装于焊接机器人末端，用于跟踪焊缝图像和采集焊缝图像；所述多轴伺服控制器和伺服驱动器置于焊接机器人内部，实现焊接机器人的自动焊接作业；所述智能终端位于PC现场组态平台，用于对本焊缝跟踪系统的智能控制；系统界面包括图像采集、图像处理、焊缝识别、机械控制、焊缝跟踪模块。

一种机器视觉跟踪方法，其特征在于，具体包括以下步骤：

S1，激光视觉传感器采集焊缝图像；

S2，对焊缝图像进行噪声的小波滤除；

S3，对小波降噪后的图像进行二值化处理；

S4，激光条纹中心提取；

S5，检测焊缝位置；

S6，建立焊缝跟踪系统模型；

S7，通过双队列的控制策略实现焊缝跟踪。

附图说明

图1为本发明的一种机器视觉跟踪系统结构示意图。

图2是本发明中一种机器视觉跟踪方法的流程图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

如图1所示，本发明的一种机器视觉跟踪系统包括焊接机器人、激光视觉传感器、多轴伺服控制器、驱动器、PC现场组态平台和智能终端。所述激光视觉传感器安装于焊接机器人末端，用于跟踪焊缝图像和采集焊缝图像；所述多轴伺服控制器和伺服驱动器置于焊接机器人内部，实现焊接机器人的自动焊接作业；所述智能终端位于PC现场组态平台，用于对本焊缝跟踪系统的智能控制；系统界面包括图像采集、图像处理、焊缝识别、机械控制、焊缝跟踪模块。

如图2所示，本发明的一种机器视觉跟踪方法，具体包括以下步骤：

S1，激光视觉传感器采集焊缝图像；

S2，对焊缝图像进行噪声的小波滤除。小波变换先将图像进行分解，得到不同方向、不同频率的分量，对各分量处理后，再用小波逆变换重构并得到经处理后的图像；

S3，对小波降噪后的图像进行二值化处理。为了便于后续图像处理，需要对小波降噪后的图像进行二值化处理。二值化就是将大于一定阈值的像素点的值设为1，其余像素点的值设为0：

式中f(x，y)表示转换前像素点(x，y)的灰度值，g(x，y)表示经过转换后该像素点的值，T为二值化变换阈值；

S4，激光条纹中心提取。Steger算法(吴家勇，王平江，陈吉红，等.基于梯度重心法的线结构光中心亚像素提取方法[J].中国图象图形学报，2009，14(7)：1354-1360.)首先利用Hessian矩阵确定线条的法线方向，然后在其法线方向上利用泰勒展开求出光条纹中心的亚像素位置。在光条图像中，Hessian矩阵表示为：

式中g(x,y)表示二维图像，(x,y)表示图像上的一点，r_xx，r_xy表示高斯函数的二阶导数，r_yy表示二阶偏导数与图像的卷积。

激光条纹中心提取之后，通过Hough变换法提取直线。Hough变换利用图像坐标系与参数坐标系中点与线的对偶性，即：在图像坐标系下的一个点对应了参数坐标系中的一条直线；同样，参数坐标系的一条直线对应了图像坐标系下的一个点。这样在图像坐标系中呈现直线的所有点，它们的斜率和截距都是相同的，所以它们在参数坐标系下对应于同一个点。将图像坐标系下的各个点投影到参数坐标系下之后，会出现一些聚集点，这样的聚集点就对应差原始坐标系下的直线。

考虑到直线的斜率可能会接近无穷大，为了使变换有意义，将直线的方程用法线式表示：

x cosθ+y sinθ＝ρ

式中ρ是直线到坐标系原点的距离，θ是直线法线与x轴的夹角。这样，图像平面上的一条直线就对应到参数ρ-θ平面上的一个点，统计共线点的数量，可以检测出直线；

S5，检测焊缝位置。对于分布于焊缝两侧的激光条纹中心线，由于其ρ值和θ值都相同，用Hough变换法提取出的是同一条直线，因此需要与Hough变换前的激光条纹中心线进行比对，找到激光条纹中心线上的间断点，该间断点将焊缝两侧的激光条纹中心线分为两段，两条线段的最近端点为焊缝边缘点，其中心点即为所求焊缝中心位置。根据两个焊缝边缘点的间距还可求得焊缝宽度；

S6，建立焊缝跟踪系统模型。激光视觉引导焊缝跟踪系统的模型如下：O_CX_CY_CZ_C为摄像机坐标系，O_eX_eY_eZ_e为机械臂末端坐标系，O_wX_wY_wZ_w为机械臂基坐标系，O_gX_gY_gZ_g为世界坐标系，P点为当前可提取焊缝特征点，(u_p,v_p,1)^T为P点的图像像素坐标，记为P_u。摄像机内参数矩阵A、摄像机坐标系与机械臂末端坐标系的转换矩阵即手眼矩阵H_y、激光光平面在摄像机坐标系下的平面方程ax_p+by_p+c＝1，工件在机械臂末端的偏移向量t₇由标定得到。T₆为机械臂末端坐标系与机械臂基坐标系的转换矩阵，通过实时读取机械臂当前位姿计算得到。

按照该模型，对从焊缝图像上提取得到的焊缝特征点P(图像坐标为P_u)进行变换，即可得到其在机械臂基坐标系下的坐标P_w。为使焊枪能跟踪焊缝，还要根据P_w计算在旋转位姿R₆下机械臂末端点应到达的位置坐标P_e。具体变换步骤如下：

(1)计算图像上P点在摄像机坐标系下的坐标P_x，(x_p,y_p,1)^T：

P_x＝A^-1P_u

(2)结合摄像机坐标系下的激光光平面的平面方程ax_p+by_p+c＝1计算焊缝点在摄像机坐标系下的三维坐标P_c：

P_c＝P_x/(ax_p+by_p+c)

(3)计算P点在机械臂末端坐标系下的坐标P_m，(x_pm,y_pm,z_pm,1)^T:

(4)计算P点在机械臂基坐标系下的坐标P_w：

P_w＝T₆P_m

(5)计算在旋转位姿R₆下为使焊枪跟踪焊缝，机械臂末端应到达位置坐标P_e：

P_e＝P_w+R₆t₇

S7，通过双队列的控制策略实现焊缝跟踪，具体如下：

S71：将机器臂末端移动到焊缝起点附近；

S72：激光视觉传感器识别焊缝起点，自动控制机器臂末端向焊缝移动，识别第一个有效焊缝点P₁,存储到队列1中；

S73：读取当前机械臂末端位置P_0e，将队列1的队首元素P₁出队，计算机械臂末端应到达位置P_1e在P_0e和P_1e这两个机械臂末端位置点之间进行插值，得到保证机械臂平滑运动到P_1e的一系列中间轨迹点，存储到队列2中，并将P_1e作为当前机械臂应达位置保存；

S74：将队列2中的元素依次出队，控制机械臂运动到指定位置。重复这一过程，直到队列2为空。

S75：在机械臂运动的同时，同步采集焊缝图像，提取一系列的焊缝特征点P_i依次存储到队列1中。若焊缝提取失败则跳到(S78)。

S76：将队列1的队首元素出队，计算该焊缝位置所对应的机械臂末端位置点P_(i+1)e，然后在当前机械臂应达位置点P_ie和P_(i+1)e之间进行插值，得到一系列轨迹点，存储到队列2中，并将当前机械臂应达位置点用P_(i+1)e替换。

S77：在视觉传感器采集的焊缝图像中，如果焊缝特征点偏离了图像中心区域，则要适当调整机械臂末端旋转位姿R₆。具体调整方法为：若焊缝点在图像中处于偏左位置，则机械臂末端旋转位姿R₆逆时针运动一定量，若焊缝点处于偏右位置，则机械臂末端旋转位姿R₆顺时针运动一定量。运动量的大小由焊缝特征点与图像中心的偏离程度决定，以保证调整后焊缝特征点处于图像中心区域位置。机械臂末端旋转位姿调整后，要对队列2中的机械臂末端位置点做相应变换。

S78：重复执行步骤(S74)～(S77)。当队列1和队列2都为空时，焊缝跟踪结束。

上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种机器视觉跟踪系统，其特征在于，所述系统包括：焊接机器人、激光视觉传感器、多轴伺服控制器、伺服驱动器、PC现场组态平台和智能终端；其中：所述激光视觉传感器安装于焊接机器人末端，用于跟踪焊缝图像和采集焊缝图像；所述多轴伺服控制器和伺服驱动器置于焊接机器人内部，用于实现焊接机器人的自动焊接作业；所述智能终端位于PC现场组态平台，用于对本焊缝跟踪系统的智能控制；系统界面包括图像采集、图像处理、焊缝识别、机械控制、焊缝跟踪模块。

2.一种应用权利要求1所述的一种机器视觉跟踪系统实现的一种机器视觉跟踪方法，其特征在于，具体包括以下步骤：

S1，激光视觉传感器采集焊缝图像；

S2，对焊缝图像进行噪声的小波滤除；

S3，对小波降噪后的图像进行二值化处理；

S4，激光条纹中心提取；

S5，检测焊缝位置；

S6，建立焊缝跟踪系统模型；

S7，通过双队列的控制策略实现焊缝跟踪。