CN112238292A - 一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法 - Google Patents

Abstract

本发明涉及一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法，将视觉传感模块前置于机器人主轴，通过视觉传感模块预先提取原始焊缝坐标，并对工件世界坐标系下的焊缝中心坐标进行转换存储，通过自适应中值滤波进行图像的平滑处理，通过算法识别搅拌头到达视觉传感模块已识别的焊缝位置，对存储的焊缝中心坐标进行读取对比计算偏移量，数据处理反馈机器人主轴控制系统完成搅拌头纠偏，最后完成对空间曲线轨迹的跟踪，本发明可以对不同厚度，不同轨迹的曲线焊缝进行焊接，算法具有通用性，同时有效保证焊接精度。

Description

一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法

技术领域

本发明涉及搅拌摩擦焊机器人空间曲线轨迹跟踪方法，具体说是基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法。

背景技术

搅拌摩擦焊广泛应用于航空航天产品的焊接，然而由于焊件多为复杂薄壁曲面结构，在机器人焊接过程中，焊件通过夹具进行固定及定位，同时由于顶锻力及搅拌头摩擦力的存在，夹具装夹力及焊接力极易导致焊件发生变形，焊缝轨迹会偏离理论位置，因此对焊缝轨迹进行实时跟踪具有意义。

目前已提出的焊缝跟踪系统多应用于普通熔焊系统，普通熔焊中极易出现坡口、裂纹等缺陷，这种缺陷较容易发现，然而对于搅拌摩擦焊工艺来说，薄壁板焊接一般焊缝尺寸较小，而且焊缝形式为无坡口且焊接缺陷较小，因此对于搅拌摩擦焊的跟踪系统对传感器灵敏度及测量精度要求较高。而且对于曲面焊接，焊接图像需要进行图像处理，需要对图像进行平铺处理并提取焊缝特征。

发明内容

针对由于焊件多为复杂薄壁曲面结构，焊缝轨迹极易发生偏离理论位置的情况，因此对搅拌摩擦焊机器人的轨迹跟踪非常必要，将极大程度上的提高焊接精度及焊接质量。本发明提出一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法，将视觉传感模块前置于机器人主轴，通过视觉传感模块预先提取原始焊缝坐标，并对工件世界坐标系下的焊缝中心坐标进行转换存储，通过自适应中值滤波进行图像的平滑处理，通过算法识别搅拌头到达视觉传感模块已识别的焊缝位置，对存储的焊缝中心坐标进行读取对比计算偏移量，数据处理反馈机器人主轴控制系统完成搅拌头纠偏，最后完成对空间曲线轨迹的跟踪。

本发明解决其技术问题所采用的技术方案是：一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法，在机器人搅拌头的主轴上设置视觉传感模块，通过视觉传感模块采集焊缝图像，进行焊缝轨迹跟踪，包括以下步骤：

视觉传感模块对焊缝图像进行采集并二值化，提取到在工件世界坐标系下焊缝中心坐标；

读取机器人底座坐标系下的机器人搅拌头坐标，焊接方向为y方向；当机器人搅拌头坐标的y坐标值发生改变时，说明焊接进行，将视觉传感模块识别的工件世界坐标系下的焊缝中心坐标转换成机器人底座坐标系的焊缝中心坐标；

将机器人底座坐标系的焊缝中心坐标存储在临时数组[A]中，并对机器人底座坐标系的焊缝中心坐标进行平滑降噪处理，处理后的数据进行离散化存在临时数组[B]中；

将当前机器人底座坐标系下的搅拌头y坐标值与数组[B]中y坐标值时刻对应的焊缝中心坐标(x_B,y_B)进行对比：当y＝y_B+0.01时，对比y＝y_B时的机器人底座坐标系下的搅拌头X方向坐标值，并将X方向坐标值与数组[B]中的x_B坐标值做差值计算得到偏移量，将偏移量反馈到机器人主轴控制系统用于实现搅拌头的纠偏。

每对比一次(x_B,y_B)之后将该坐标进行删除，下一组对比的临时数组[B]的元素仍定义为(x_B,y_B)。

所述视觉传感模块包括图像传感器、激光发生器和通讯模块；所述图像传感器设于机器人搅拌头的主轴上，图像传感器的光轴与激光发生器激光光轴的交点位于焊缝平面内，图像传感器采集的图像通过通讯模块反馈至主轴控制系统。

将工件世界坐标系下的焊缝中心坐标与机器人底座坐标系变换，具体如下：

焊缝中心坐标A在机器人底座坐标系中表示为：

其中，x,y为机器人底座坐标，则转换差值Δx,Δy由下式计算得到：

其中，图像传感器中心距焊缝中心的距离为d_j，d′_j＝d_j+δ；

其中，图像传感器中心与机器人主轴之间的距离作为前置距离d_q、图像传感器轴线与机器人主轴轴线偏差δ测量出并输入算法中，θ为d_q与y方向的夹角。

将求解的X方向偏移量反馈机器人主轴控制系统，用于机器人主轴控制系统完成搅拌头的纠偏，最后完成对空间曲线轨迹的跟踪。

本发明具有以下有益效果及优点：

1.现有搅拌摩擦焊机器人焊接工艺参数设置后，无法保证焊缝轨迹与预想的轨迹一致，本发明可以完成空间曲线焊接的焊缝实时提取及实时纠偏。

2.本发明通过坐标的识别、变换、储存、提取、对比完成偏移量的计算，本发明可以对不同厚度，不同轨迹的曲线焊缝进行焊接，算法具有通用性，同时有效保证焊接精度。

3.本发明可根据焊接精度要求，设置提高原始焊缝中心坐标数组[A]的数据采集量，对应机器人主轴搅拌头坐标对比数据增多，提高焊接精度。

4.本算法可以实时检测到焊接是否进行，从而保证搅拌头在未进行焊接时不发生搅拌头纠偏，提高机器人运作的安全性。搅拌头通常用于焊接航天硬质铝合金，下压过程中铝合金材料由于温度较低，材料未达到流动状态，若出现纠偏操作极有可能导致搅拌针直接断裂在材料中，本算法充分考虑该因素并通过算法进行识别。

5.本发明在机器人搅拌头坐标系对比后，及时将数组[B]中该坐标进行删除，缩短了算法数据遍历读取时间，提高算法求解速率和搅拌头纠偏效率。

附图说明

图1为本发明整体工作流程简图；

图2为本发明结构简图；

图3为本发明前置距离与Y方向偏差示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明。

如图1～图3所示，一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法，具体包括图像传感器1、激光发生器2、通讯模块3等通过封装固定在机器人主轴前侧称为视觉传感模块4，焊接过程中，视觉传感模块4获取搅拌摩擦焊焊缝图像，经过图像处理及搅拌头焊缝中心坐标提取，采用视觉传感模块4前置的原因也是为了可以提前的获取焊缝中心坐标。当机器人末端执行器焊接到该区域时，算法通过对比之前储存的坐标值与当前机器人末端坐标值实时计算出位置偏差，并及时反馈进行机器人末端执行器的位姿调整。

视觉传感模块4，通过图像二值法进行焊缝轨迹的识别与显现，将视觉图像处理为黑色和白色凸显，其中不同灰度之间只有两种取值，因此二值法也称为图像分割法，优化该算法使其将目标与未焊接部分进行分割。

首先进行搅拌摩擦焊机器人焊接参数的设置，对视觉传感模块4(包括图像传感器1、激光发生器、通讯模块3)参数进行设置，视觉传感模块4对拼焊(两块板之间存在缝隙)的焊缝图像进行采集，之后通过二值化算法提取焊缝的中心坐标。

搅拌头主轴坐标系基于机器人底座坐标系，控制系统读取机器人搅拌头坐标，焊接方向为y方向。若识别y坐标值发生改变，说明焊接进行。此时对图像传感器1识别的工件世界坐标系下的焊缝中心坐标与机器人底座坐标系进行变换，目的是统一坐标系，在后期纠偏算法中完成坐标值的差值计算。

将变换后的焊缝中心坐标存储在临时数组[A]中，同时对焊缝中心坐标进行平滑降噪处理，处理后的数据进行离散化存在临时数组[B]中，其中视觉传感模块4前置处理也为平滑处理提供时间条件，在搅拌头焊接到已识别位置时，保证算法已经对数据处理并存储完毕。

器人主轴系统对数组[B]中的(x_B,y_B)进行对比，算法将搅拌头坐标系的y坐标值与临时数组的[B]的y_B坐标值的差值区间设置为0.01mm，当识别到搅拌头y坐标值y＝y_B+0.01时，对比y＝y_B时的x及x_B值，求出偏移量并反馈到机器人主轴系统完成搅拌头的纠偏。之所以算法设置差值区间0.01mm而不是0mm的原因为方便算法识别焊接没有中止。同时每对比识别一次(x_B,y_B)之后将该坐标进行删除处理，下一组对比的临时数组仍定义为(x_B,y_B)。

在曲线焊缝图像识别及获取过程中无法避免的即为图像带有噪声，需要对图像进行滤噪，搅拌摩擦焊机器人对焊缝进行跟踪图像提取，要提高图像信号采集的信噪比，本发明应用在搅拌摩擦焊机器人系统上，环境的电磁信号干扰较小，同时本发明采用多种信号过滤及去噪方法。硬件方面主要采用大功率激光发生器，通过不同参数及不同材料焊接确定激光发生器与图像传感器1的夹角，通过夹角的确定可以提高传感器成像足够光源及精确度。

同时搅拌头实际焊缝的滞后性也为轨迹平滑处理提供条件，临时数组[A]所在的坐标系形成了原始空间曲线轨迹，通过算法对原始焊缝轨迹进行空间曲线的平滑处理，处理拟合后的曲线离散优化得到的焊缝并将其坐标保存至临时数组[B]中，然而随着焊接的持续进行，临时数组[B]实时的动态变化，从来保证机器人主轴控制系统输出的焊接轨迹式中平滑并保证精度。

焊接过程中y向为焊接方向，机器人在焊接直焊缝或弯曲焊缝时，y方向坐标值不会发生改变，当x值发生改变时说明焊接存在误差，因此求解焊缝x坐标的差值完成搅拌头的纠偏。

8位灰度值范围为[0,255],其中共有256个灰度等级，灰度值为i，而像素值为k_i，则像素总数为

像素等级灰度概率为

其中定义灰度阈值为P,而灰度阈值将图像传感器1捕捉的图像分为目标源和背景源。目标源用A表示，背景源用B表示，ξ_A为目标源概率，E_A为目标源期望。

目标源概率及期望通过以下公式确定,

同上ξ_B为背景源概率，E_B为背景源期望。然而背景概率及背景灰度期望通过以下公式确定：

总体的灰度值期望为E、背景源及目标源的方差为σ²(P)可通过以下公式确定：

σ²(P)＝ξ_A(E_A-E)²+ξ_B(E_B-E)²

通过在灰度阈值区间P内计算上式的方差最大值即可确定最佳的亮度值。

同时该算法在图像二值化过程中稳定性较高，处理后的图像灰度直方图不会出现明显的双峰值，因此将提高跟踪系统的图像处理精度。

然而对于机器人末端执行器的焊缝坐标识别及变换也是跟踪系统的算法核心，本发明中当机器人末端执行器焊接到该区域时，算法通过对比之前储存的坐标值与当前机器人末端坐标值实时计算出位置偏差，并及时反馈进行机器人末端执行器的位姿调整。

本发明中主轴搅拌头的偏移量通过坐标变化对比获得，主轴搅拌头坐标系是基于机器人主轴搅拌头坐标系底座坐标系计算求解，通过算法将工件世界坐标系下的焊缝中心坐标与机器人底座坐标系变换。其中焊缝中心坐标A在底座坐标系中可表示为：

其中式中机器人底座坐标系下机器人底座坐标(x,y)可通过搅拌摩擦焊机器人控制系统中的OPC(Object Linking and Embedding for Process Control)模块获取，其中转换差值Δx,Δy则由下式计算得到：

其中视觉传感模块4中心(图像传感器中心在工件上的投影)距离焊缝中心的距离为d_j，d′_j＝d_j+δ。

其中图像传感器中心与机器人主轴之间的距离作为前置距离d_q和图像传感器轴线与机器人主轴轴线偏差δ测量出并输入算法中，θ为d_q与y方向的夹角，其中此时工件世界坐标系下的焊缝中心坐标已经与机器人底座坐标系进行了转换。后续将通过软件对搅拌头偏移量进行求解，从而实现搅拌头的纠偏。

已知m个已知测量点数据为，

曲线拟合即为将m个离散点连接成一条曲线，提高数据点整体的反映准确度及平滑度。同时将近似函数定义为φ(x)，使近似函数可是无限逼近整体数据点的实际特征。

为近似函数中的x的j次方曲线表达方程，j分别取0,1,2…，n，n表示数据总数。

则数据点的偏差δ_i可由下式表示，

δ_i＝φ(x_i)-y_i(i＝1,2,...,m)

最小二乘法曲线拟合使整体数据点偏差的平方和S(α₀,α₁,...,α_n)最小来确定拟合函数，其中拟合函数的待定系数记为α_j(j＝0,1,2,…,n)，通过以下公式表示：

式中多元函数求偏导数可得：

令

可推导出：

则上式可表达为：

式中j分别取0,1,2…，n，可得含有n+1个方程组，其的矩阵表达形式为：

取

φ(x)可表示为，

φ(x)＝α₀+α₁x+α₂x²...+α_nxⁿ

由上式可求解出φ(x)中待定系数α_j，从而求解出平滑处理过程的拟合曲线。

图像传感器1相对于搅拌头设置在前缘，这样将导致采集到的视觉图像比实际的焊接位置提前，这样就存在一定的时间差，实际的焊接具有一定的滞后性，在工件世界坐标系下的焊缝中心坐标与机器人底座坐标系变换之后，无法立即进行纠偏的算法运算，因此本发明主要通过将实际焊缝处的坐标值保存到临时数组[A]中，当搅拌头到达图像传感器1位置时，进行纠偏算法的求解计算，并通过OPC通讯模块3将信号传输到机器人主轴控制系统中。

同时搅拌头实际焊缝的滞后性也为轨迹平滑处理提供条件，临时数组[A]所在的坐标系形成了原始空间曲线轨迹，通过算法对原始焊缝轨迹进行空间曲线的平滑处理，处理拟合后的曲线离散优化得到的焊缝并将其坐标保存至临时数组[B]中，然而随着焊接的持续进行，临时数组[B]实时的动态变化，从来保证机器人主轴控制系统输出的焊接轨迹式中平滑并保证精度。

焊接过程中y向为焊接方向，机器人在焊接直焊缝或弯曲焊缝时，y方向坐标值不会发生改变，当x值发生改变时说明焊接存在误差，因此求解焊缝x坐标的差值完成搅拌头的纠偏。

视觉传感模块4获取原始焊缝坐标，并通过交换机传输到上位机，上位机对图像进行处理及显示，并将原始焊缝坐标按顺序存储，通过纠偏算法求解出搅拌头的微调偏移量在通过交换机传输到PLC控制器，其中DP Coupler连接PLC控制器及机器人主轴的控制系统，控制系统将指令传输至伺服系统，从而完成机器人主轴搅拌头的位姿调整。

通过labview编写的上位机程序可以将视觉传感模块采集的数据及平滑处理后的焊缝中心坐标实时显示，同时机器人搅拌头焊接坐标也在上位机上进行显示，焊接后的界面为两条曲线，可以直观的显示机器人焊接轨迹的匹配度及纠偏效果。

Claims (5)

1.一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法，其特征在于，在机器人搅拌头的主轴上设置视觉传感模块，通过视觉传感模块采集焊缝图像，进行焊缝轨迹跟踪，包括以下步骤：

视觉传感模块对焊缝图像进行采集并二值化，提取到在工件世界坐标系下焊缝中心坐标；

读取机器人底座坐标系下的机器人搅拌头坐标，焊接方向为y方向；当机器人搅拌头坐标的y坐标值发生改变时，说明焊接进行，将视觉传感模块识别的工件世界坐标系下的焊缝中心坐标转换成机器人底座坐标系的焊缝中心坐标；

将机器人底座坐标系的焊缝中心坐标存储在临时数组[A]中，并对机器人底座坐标系的焊缝中心坐标进行平滑降噪处理，处理后的数据进行离散化存在临时数组[B]中；

将当前机器人底座坐标系下的搅拌头y坐标值与数组[B]中y坐标值时刻对应的焊缝中心坐标(x_B,y_B)进行对比：当y＝y_B+0.01时，对比y＝y_B时的机器人底座坐标系下的搅拌头X方向坐标值，并将X方向坐标值与数组[B]中的x_B坐标值做差值计算得到偏移量，将偏移量反馈到机器人主轴控制系统用于实现搅拌头的纠偏。

2.根据权利要求1所述的一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法，其特征在于，每对比一次(x_B,y_B)之后将该坐标进行删除，下一组对比的临时数组[B]的元素仍定义为(x_B,y_B)。

3.根据权利要求1所述的一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法，其特征在于，所述视觉传感模块包括图像传感器、激光发生器和通讯模块；所述图像传感器设于机器人搅拌头的主轴上，图像传感器的光轴与激光发生器激光光轴的交点位于焊缝平面内，图像传感器采集的图像通过通讯模块反馈至主轴控制系统。

4.根据权利要求1所述的一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法，其特征在于，将工件世界坐标系下的焊缝中心坐标与机器人底座坐标系变换，具体如下：

焊缝中心坐标A在机器人底座坐标系中表示为：

其中，x,y为机器人底座坐标，则转换差值Δx,Δy由下式计算得到：

其中，图像传感器中心距焊缝中心的距离为d_j，d′_j＝d_j+δ；

其中，图像传感器中心与机器人主轴之间的距离作为前置距离d_q、图像传感器轴线与机器人主轴轴线偏差δ测量出并输入算法中，θ为d_q与y方向的夹角。

5.根据权利要求1所述的一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法，其特征在于，将求解的X方向偏移量反馈机器人主轴控制系统，用于机器人主轴控制系统完成搅拌头的纠偏，最后完成对空间曲线轨迹的跟踪。

Images