CN105458462A - 一种变间隙梯形焊缝多参数同步视觉检测跟踪方法 - Google Patents

Abstract

本发明公开了一种变间隙梯形焊缝多参数同步视觉检测跟踪方法，该方法利用二维焊缝图像得到焊缝三维的位置信息以及焊缝间隙，使得图像特征的变化和焊枪运动之间存在线性关系，根据智能相机传感器采集的单帧图像，提取出图像特征点，由特征点计算出焊枪在三维空间的位置坐标和焊缝间隙，在跟踪过程中，视觉系统将计算得到的三维坐标信息和焊缝间隙通过通信线传输给控制系统，控制系统寻找焊缝初始点，之后实时跟踪焊缝，视觉系统识别焊缝终止点后，将焊缝终止点传给控制系统后，焊接结束。此方法可实现焊枪在三维空间焊点的准确定位，并且在实时焊接过程中对较大的焊缝间隙进行摆动焊接，摆动频率由焊缝间隙大小决定。

Description

一种变间隙梯形焊缝多参数同步视觉检测跟踪方法

技术领域

本发明涉及确定焊缝位置及焊缝间隙值的检测跟踪方法，具体是一种变间隙梯形焊缝多参数同步视觉检测跟踪方法。

背景技术

焊接作为金属制造行业重要的加工手段，因其可靠、低成本连接材料的方法而广泛地应用于金属连接领域。随着焊接技术和工业机器人技术的不断发展，机器人焊接将逐步取代手工焊接，广泛应用在汽车、船舶、工程机械等行业中。采用焊接机器人可以获得比手工焊接更快的焊接速度，更高的焊接质量，具有高可靠性、精确性，可以有效减缓焊接过程产生的热辐射、弧光、烟尘以及弧光等对工人健康带来的危害，改善劳动环境，提高生产效率。因此，推进焊接自动化、机械化、智能化，减轻焊工劳动强度和改善工作条件的机器人焊接方法成为研究焦点。而梯形焊件广泛应用于集装箱、工业厂房、展厅屋顶等，梯形焊件焊缝的跟踪问题是制约梯形焊件焊接发展的重要难题之一。在强干扰恶劣的情况下，视觉信息的获取和图像处理问题研究成为制约当前焊接机器人视觉检测应用、实现焊缝跟踪控制的一个技术瓶颈。

中国专利CN104107973A公开了一种集装箱波纹板焊缝的识别方法、识别装置及焊接控制系统，该方法通过两个激光器发出两束面激光，由图像传感器采集照射在焊缝的激光图像，并对此图像进行处理，比较采集的两个激光器特征点坐标，获得焊缝X方向、Y方向的位置坐标，其不足之处在于：由于梯形焊件焊缝并不是十分平整，在焊缝的高度方向Z方向也会有偏差，并且不能够得出焊缝间隙的大小。对于冲压不规则的梯形焊件，这些焊件的拐点处会有一定的弧度，需要对采集的离散点做连续化处理，若只是利用离散点跟踪焊缝，在梯形焊缝拐点处精度有可能会达不到焊接要求。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种变间隙梯形焊缝多参数同步视觉检测跟踪方法。该方法针对梯形焊件焊缝设计，根据智能相机传感器采集的单帧图像，提取出图像特征点，由特征点计算出焊枪在三维空间的位置坐标和焊缝间隙，在跟踪过程中，视觉系统将计算得到的三维坐标信息和焊缝间隙通过通信线传输给控制系统，控制系统寻找焊缝初始点，之后实时跟踪焊缝，视觉系统识别焊缝终止点后，将焊缝终止点传给控制系统后，焊接结束。此方法可实现焊枪在三维空间焊点的准确定位，并且在实时焊接过程中对较大的焊缝间隙进行摆动焊接，摆动频率由焊缝间隙大小决定。

本发明解决所述技术问题所采用的技术方案是，设计一种变间隙梯形焊缝多参数同步视觉检测跟踪方法，该方法利用二维焊缝图像得到焊缝三维的位置信息以及焊缝间隙，使得图像特征的变化和焊枪运动之间存在线性关系，该方法的具体步骤是：

第一步，图像处理和特征提取

1-1图像获取：通过智能相机传感器获取包含激光条纹的焊缝区域图像；

1-2图像阈值自适应分割：在步骤1-1的基础上，以每五列为单位，选取像素值相同个数最多的像素值为阈值，每五列中，以像素值大于所述阈值的，确定为激光条纹的有效点，从图像中分割出有效点；

1-3激光条纹中心线提取：将步骤1-2中确定的激光条纹的有效点采用逐列提取的方式，把每列激光条纹有效点提取中间点，把中间点存到数组中，这个数组为激光条纹中心线数组；

1-4Hough直线变换：在步骤1-3的基础上对提取的激光条纹中心线求取hough直线，得到两条直线，分别对应为梯形焊件上的直线和焊件底板上的直线；

1-5两个特征点提取：在步骤1-4的基础上求取两条直线的交点，并且提取交点的纵坐标值和横坐标值，此交点为第一特征点，坐标为智能相机传感器采集图像的梯形焊件上的激光条纹，该激光条纹的末端点为梯形焊件需要焊接的焊点，此点为第二特征点坐标为

1-6求取间隙值：第一特征点与第二特征点的欧式几何距离为焊缝间隙的像素值大小；

第二步，图像信息分析

2-1水平X方向位置计算：焊枪水平X方向的坐标X_n为在X方向上焊枪到梯形焊件前表面的初始测量距离DE与梯形焊件上激光条纹的位置在X方向上到梯形焊件前表面的距离BC的和，即

X_n＝DE+BC(5)；

2-2水平Y方向位置计算：控制系统通过通信线向视觉系统实时传输焊枪在测试平台Y方向导轨上的距离mc_cur，由焊枪在测试平台Y方向导轨上的距离mc_cur以及AB和焊枪与智能相机传感器在X方向上的距离EF,得到焊枪水平Y方向的坐标Y_n，即

Y_n＝mc_cur-AB-EF(6)；

式中AB＝BC×tanα；

2-3垂直Z方向位置计算：已知焊枪与焊件底板的初始测量距离JK，求出实时跟踪时梯形焊件上焊缝与初始跟踪时激光条纹所在焊件底板位置在Z方向上的距离d，则焊枪垂直Z方向的坐标Z_n为焊枪到焊件底板的初始测量距离JK和实时跟踪时梯形焊件上焊缝与初始跟踪时激光条纹所在焊件底板位置在Z方向上的距离d之差，即

Z_n＝JK-d(11)；

2-4间隙大小识别：依据智能相机传感器与梯形焊件的物距几何模型，进一步得到焊缝间隙的大小，即间隙大小为：

${\mathrm{\Γ}}_n=K_{zd}\×(x_3^n-x_4^n)\×\frac{LM+k_{xd}\×(y_3^n-y_3^{Int})}{LM}---\left(12\right);$

式中，为实时采集的第一特征点坐标值，为实时采集的第二特征点x坐标值，为初始采集的第一组第一特征点的坐标，LM为梯形焊件前表面与智能相机传感器的距离，k_xd为梯形焊件前后表面在X方向上的距离与对应的y方向像素差的比值，k_zd为测量得到的焊缝间隙的距离ΔZ与梯形焊件的前表面记录下焊缝间隙像素坐标差值δz的比值；

第三步，实时跟踪

3-1寻找焊缝初始点：测试平台启动后，视觉系统在测试平台Y方向上移动，并通过视觉系统检测焊缝，并确定焊缝初始点；视觉系统将检测到的焊缝初始点的位置信息通过通信线传输给控制系统，控制系统控制焊枪移动到焊缝初始点位置；

3-2实时跟踪：寻找到初始点后，视觉系统持续将检测的图像焊缝特征点坐标转换为焊缝的三维位置坐标，检测的焊缝位置具有离散性；将离散的焊缝位置转换为连续的焊缝位置，控制系统实时向视觉系统发送焊枪在Y方向移动距离mc_cur，视觉系统依据mc_cur计算焊枪在Y方向的位置，随后将与此Y方向对应的X方向、Z方向的坐标和焊缝间隙一块传输给控制系统，控制系统控制焊枪跟踪焊缝，并且由焊缝间隙大小确定焊枪是否摆动以及摆动频率；

3-3识别焊缝终止点：在检测中，视觉系统移动到梯形焊件末端焊缝，识别焊缝终止点，并通过视觉系统确定焊缝终止点，然后由视觉系统将焊缝终止点坐标通过通信线传输给控制系统，并给控制系统一个焊接完毕的信号，焊枪焊接完终止点后自动移动焊枪到达焊枪初始点，等待下次焊接。

与现有技术相比，本发明的有益效果是：

本发明方法通过智能相机传感器采集图像，并通过Hough直线变换等一系列方式对图像进行处理，提取出二维焊缝特征信息，即可计算出焊枪在三维空间内相对焊缝中心在X、Y、Z方向的距离和焊缝间隙，进而可实现在三维空间焊点的准确定位。本发明采用单目视觉在获取焊缝二维信息后转换为焊枪三维坐标，标定简单，避免了建立复杂的智能相机传感器成像模型，大大节约了图像处理时间，显著提高了系统的实时性和适应性。在跟踪阶段，视觉系统自动识别焊缝初始点和终止点，实时地把焊缝位置坐标传输给控制系统，并传输焊接开始和焊接终止信号，自动焊接，不需要人工干预，提高了工作效率。主要工作是视觉系统完成，简化了控制算法，降低了对控制器的要求。

本发明方法适用于变间隙梯形焊缝的检测、识别与焊接，梯形焊件广泛应用于集装箱、工业厂房、展厅屋顶等，提高梯形焊件焊接自动化的关键是梯形焊缝的跟踪和检测焊缝间隙。本发明视觉系统能够获得焊缝的三维位置坐标、焊缝间隙、焊枪位置等参数，解决了三维空间中梯形焊缝位置的定位以及对变间隙的梯形焊缝焊接的难题，同时能观看到焊枪实时跟踪焊缝的情况，且在梯形焊缝拐点处精度仍能满足焊接要求，更适于工业应用。

附图说明

图1为本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法一种实施例组装测试平台的硬件结构示意图；

图2所示实施例表明，本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法所检测的梯形焊件在焊件底板上的摆放位置示意图；

图3为本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法在未开始跟踪前的视觉系统、焊枪和梯形焊件的位置关系示意图；

图4为本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法的智能相机传感器1与焊缝10的位置关系以及激光器照射在梯形焊件上的形状；

图5为本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法在实时跟踪中智能相机传感器、激光器、焊枪7与焊缝10的位置关系；

图6为本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法中视觉系统采集图像并处理图像后，在上位机14上显示的激光条纹、第一特征点12和第二特征点11；

图7为本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法中智能相机传感器1与梯形焊件8的物距几何模型图；

图8为本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法仿真得到的梯形焊件焊缝的形状；

图9为本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法中呈现的梯形焊件焊缝的Y轴位置(单位为mm)与对应梯形焊件焊缝检测值与实际值的误差图；

图中，1智能相机传感器，2支架，3激光器，4角度调节架，5十字调节架，6连接架，7焊枪，8梯形焊件，9焊件底板，10焊缝，11第二特征点，12第一特征点，13通信线，14上位机。

具体实施方式

下面结合实施例及附图对本发明作进一步说明。

本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法(简称方法，参见图1-7)主要应用于工业现场，变间隙梯形焊缝的检测、识别与焊接同时进行，检测算法充分适应现场情况，利用二维焊缝图像得到焊缝三维的位置信息以及焊缝间隙，使得图像特征的变化和焊枪运动之间存在线性关系，该方法的具体步骤是：

第一步，图像处理和特征提取

1-1图像获取：通过智能相机传感器获取包含激光条纹的焊缝区域图像；

1-2图像阈值自适应分割：在步骤1-1的基础上，以每五列为单位，选取像素值相同个数最多的像素值为阈值，每五列中，以像素值大于所述阈值的，确定为激光条纹的有效点，从图像中分割出有效点；

1-3激光条纹中心线提取：将步骤1-2中确定的激光条纹的有效点采用逐列提取的方式，把每列激光条纹有效点提取中间点，把中间点存到数组中，这个数组为激光条纹中心线数组；

1-4Hough直线变换：在步骤1-3的基础上对提取的激光条纹中心线求取hough直线，得到两条直线，分别对应为梯形焊件8上的直线和焊件底板9上的直线；

1-5两个特征点提取：在步骤1-4的基础上求取两条直线的交点，并且提取交点的纵坐标值和横坐标值，此交点为第一特征点12，坐标为智能相机传感器采集图像的梯形焊件上的激光条纹，该激光条纹的末端点为梯形焊件需要焊接的焊点，此点为第二特征点11坐标为

1-6求取间隙值：第一特征点12与第二特征点11的欧式几何距离为焊缝间隙的像素值大小；

第二步，图像信息分析

2-1水平X方向位置计算：焊枪水平X方向的坐标X_n为在X方向上焊枪到梯形焊件前表面的初始测量距离DE与梯形焊件上激光条纹的位置在X方向上到梯形焊件前表面的距离BC的和，即

X_n＝DE+BC(5)；

2-2水平Y方向位置计算：控制系统通过通信线向视觉系统实时传输焊枪在测试平台Y方向导轨上的距离mc_cur，由焊枪在测试平台Y方向导轨上的距离mc_cur以及AB和焊枪与智能相机传感器在X方向上的距离EF,得到焊枪水平Y方向的坐标Y_n，即

Y_n＝mc_cur-AB-EF(6)；

式中AB＝BC×tanα；

2-3垂直Z方向位置计算：已知焊枪与焊件底板的初始测量距离JK，求出实时跟踪时梯形焊件上焊缝与初始跟踪时激光条纹所在焊件底板位置在Z方向上的距离d，则焊枪垂直Z方向的坐标Z_n为焊枪7到焊件底板9的初始测量距离JK和实时跟踪时梯形焊件上焊缝与初始跟踪时激光条纹所在焊件底板位置在Z方向上的距离d之差，即

Z_n＝JK-d(11)；

2-4间隙大小识别：依据智能相机传感器1与梯形焊件的物距几何模型，进一步得到焊缝间隙的大小，即间隙大小为：

${\mathrm{\Γ}}_n=K_{zd}\×(x_3^n-x_4^n)\×\frac{LM+k_{xd}\×(y_3^n-y_3^{Int})}{LM}---\left(12\right);$

式中，为实时采集的第一特征点坐标值，为实时采集的第二特征点x坐标值，为初始采集的第一组第一特征点的坐标，LM为梯形焊件前表面与智能相机传感器1的距离，k_xd为梯形焊件8前后表面在X方向上的距离与对应的y方向像素差的比值，k_zd为为测量得到的焊缝间隙的距离ΔZ与梯形焊件的前表面记录下焊缝间隙像素坐标差值δz的比值；第三步，实时跟踪

3-1寻找焊缝初始点：测试平台启动后，视觉系统在测试平台Y方向上移动，并通过视觉系统检测焊缝，并确定焊缝初始点；视觉系统将检测到的焊缝初始点的位置信息通过通信线传输给控制系统，控制系统控制焊枪移动到焊缝初始点位置；

3-2实时跟踪：寻找到初始点后，视觉系统持续将检测的图像焊缝特征点坐标转换为焊缝的三维位置坐标，检测的焊缝位置具有离散性；将离散的焊缝位置转换为连续的焊缝位置，控制系统实时向视觉系统发送焊枪在Y方向移动距离mc_cur，视觉系统依据mc_cur计算焊枪在Y方向的位置，随后将与此Y方向对应的X方向、Z方向的坐标和焊缝间隙一块传输给控制系统，控制系统控制焊枪跟踪焊缝，并且由焊缝间隙大小确定焊枪是否摆动以及摆动频率；

3-3识别焊缝终止点：在检测中，视觉系统移动到梯形焊件末端焊缝，识别焊缝终止点，并通过视觉系统确定焊缝终止点，然后由视觉系统将焊缝终止点坐标通过通信线传输给控制系统，并给控制系统一个焊接完毕的信号，焊枪焊接完终止点后自动移动焊枪到达焊枪初始点，等待下次焊接。

本发明方法的进一步特征在于所述梯形焊件8的前表面和后表面的距离为10～50mm，焊缝间隙为0～5mm。

本发明方法检测的第一特征点为两条直线的交点，该交点坐标为第二特征点为激光条纹在梯形焊件的末端点，该末端点的坐标为

图1所示实施例表明，本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法所使用的组装测试平台的硬件组成包括视觉系统、控制系统、焊枪7、十字调节架5、角度调节器4和连接架6，所述视觉系统由智能相机传感器1、支架2、激光器3、通信线13和上位机14共同构成，所述智能相机传感器1通过支架2与激光器3连接，智能相机传感器1通过通信线13与上位机14和控制系统相连，上位机14可显示智能相机传感器1采集和处理后的图像；支架2的下方通过角度调节器4与十字调节架5的上部相连，十字调节架5的下部与连接架6的上部相连，连接架6的下部固定在测试平台的Y方向导轨上，焊枪7固定在测试平台的Z方向导轨末端的摆动轴上，测试平台启动后，视觉系统和焊枪7沿平台Y方向移动。图中XYZ坐标系表示测试平台在三维空间中的沿X、Y、Z方向的运动方向，且测试平台沿X、Y、Z方向均设有导轨，测试平台的原点位置为Y方向导轨的最右端，在X方向上，焊枪与梯形焊件前表面距离为5cm-10cm，在Z方向上，焊枪与梯形焊件底板距离为5cm-10cm。

所述控制系统通过控制测试平台的X、Y、Z三个方向上的导轨及摆动轴来控制焊枪7的移动。X方向导轨可控制焊枪7前后移动，Z方向导轨控制焊枪7上下移动，X方向导轨末端安装有摆动轴，可控制焊枪上下连续摆动。本申请所述的Y方向是指在测试平台中平行于梯形焊缝的方向。

图2所示实施例表明，本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法所检测的梯形焊件8在焊件底板上的摆放位置示意图，本发明目的是将梯形焊件8与焊件底板9焊接在一起，梯形焊件8需要摆放在视觉系统可采集到梯形焊缝图像的位置上。

图3所示实施例表明，本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法在未开始跟踪前的视觉系统、焊枪和梯形焊件的位置关系，焊枪7与智能相机传感器1在X方向上的距离为EF，EF为恒定值；在X方向上焊枪7到梯形焊件8前表面的初始测量距离为DE，BC为梯形焊件上激光条纹的位置在X方向上到梯形焊件前表面的距离。其中，梯形焊件前、后表面分别为焊件在X方向上距离焊枪最近平面与最远平面。a为激光线AC与智能相机传感器1的照射的平行面的夹角。

图4所示实施例表明，本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法的智能相机传感器1与焊缝10的位置关系以及激光器照射在梯形焊件上的形状，JK为焊枪7位于测试平台原点位置时焊枪7到焊件底板9的初始测量距离，激光器3和智能相机传感器1分别固定在支架2的两端，支架2的下方通过角度调节器4与十字调节架5的上部相连，十字调节架5的下部与连接架6的上部相连，通过调节角度调节架4可以同时调整激光器3和智能相机传感器1与水平面的夹角θ，激光器3发出激光条纹，图中的阴影区域为激光器3的激光条纹照射的区域，梯形焊件8位于在焊件底板9上，梯形焊件8和焊件底板9相交处为焊缝10，激光条纹照射的区域恰好投影在焊缝10上。

图5所示实施例表明，本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法在实时跟踪中视觉系统、焊枪7与焊缝10的位置关系，激光器3和智能相机传感器1分别固定在支架2的两端，激光器3发出的激光线与智能相机传感器1的照射的平行面的夹角为a，梯形焊件8位于视觉系统可采集到梯形焊缝图像的位置上，通过控制系统控制焊枪7实时跟踪焊缝10并且沿着焊缝10进行焊接。

图6所示实施例表明，视觉系统的智能相机传感器1采集图像并处理图像后，会在上位机14上显示的激光条纹、第一特征点12和第二特征点11，上位机14上呈现的图像即为图像平面。图6中横线为智能相机传感器采集图像的梯形焊件上的激光条纹，该激光条纹的末端点为梯形焊件需要焊接的焊点，此点为第二特征点11；斜线为激光条纹在梯形焊件底板上的直线，两条直线的交点为第一特征点12。

图7所示实施例表明，本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法中智能相机传感器1与梯形焊件的物距几何模型图，HF为图像平面上梯形焊件前表面激光条纹的长度，IG为图像平面上梯形焊件后表面激光条纹的长度，LM为梯形焊件8的前表面与智能相机传感器1的距离，LN为梯形焊件的后表面与智能相机传感器1的距离，则HF、IG、LM、LN的关系为

图8为本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法显示的X方向(梯形焊件焊缝X轴位置)和Y方向(梯形焊件焊缝Y轴位置)的仿真图，从该图中可以，通过仿真后得到的图像形状与实际梯形焊缝形状一致。

图9所示实施例表明，本发明变间隙梯形焊缝多参数同步视觉检测跟踪方法在梯形焊件焊缝的Y轴位置(单位为mm)与对应梯形焊件焊缝的X轴检测值与实际值的误差图。从图中可以看出，该方法进行焊接后的，焊缝误差控制在±1mm内，能够达到实际焊接精度要求。

实施例

本实施例变间隙梯形焊缝多参数同步视觉检测跟踪方法的具体步骤是：

第一步，图像处理和特征提取

1-1图像获取：通过智能相机传感器获取包含激光条纹的焊缝区域图像；

1-2图像阈值自适应分割：在步骤1-1的基础上，以每五列为单位，选取像素值相同个数最多的像素值为阈值，每五列中，以像素值大于所述阈值的，确定为激光条纹的有效点，从图像中分割出有效点；

1-3激光条纹中心线提取：将步骤1-2中确定的激光条纹的有效点采用逐列提取的方式，把每列激光条纹有效点提取中间点，把中间点存到数组中，这个数组为激光条纹中心线数组；

1-4Hough直线变换：在步骤1-3的基础上对提取的激光条纹中心线求取hough直线，得到两条直线，分别对应为梯形焊件8上的直线和焊件底板9上的直线；

1-5两个特征点提取：在步骤1-4的基础上求取两条直线的交点，并且提取交点的纵坐标值和横坐标值，此交点为第一特征点12，坐标为智能相机传感器采集图像的梯形焊件上的激光条纹，该激光条纹的末端点为梯形焊件需要焊接的焊点，此点为第二特征点11坐标为

1-6求取间隙值：第一特征点12与第二特征点11的欧式几何距离为焊缝间隙的像素值大小；

第二步，图像信息分析

2-1水平X方向位置计算，即求取焊缝在X方向上的X_n值

标定深度X方向上像素与实际位置的关系，即计算水平X方向位置，沿着Y方向移动视觉系统，将激光条纹照射在梯形焊件8的前表面，记录视觉系统采集梯形焊件前表面的第一特征点坐标为再次移动视觉系统，将激光条纹照射在梯形焊件的后表面，记录视觉系统采集梯形焊件后表面的第一特征点坐标为上述前平面与后平面的两个第一特征点的y方向像素差为再测量出梯形焊件8前后表面在X方向上的距离ΔX，则根据公式(1)得到ΔX与δy的比值。

$k_{xd}^i=\frac{\mathrm{\Δ}X}{\mathrm{\δ}y}---\left(1\right)$

为了保证k_xd更加精确，需要多次测量梯形焊件前后表面在X方向上的距离ΔX和对应的y方向像素差δy，根据公式(1)计算并记录下N次的并求平均值根据公式(2)得到最终的梯形焊件8前后表面在X方向上的距离ΔX与对应的y方向像素差δy的比值k_xd，

$k_{xd}=\frac{1}{N}\underset{1}{\overset{N}{\Σ}}{k}_{xd}^i---\left(2\right)$

图3所示，激光器照射在梯形焊件的后表面或梯形焊件腰上时的激光条纹与焊枪在Y方向的距离为BD，记下激光器照射在前表面的激光条纹与焊枪的距离为AD，BD<AD。激光线倾斜照射在梯形焊件上的前后表面与焊枪的距离在Y方向上不相等。梯形焊件上激光条纹的位置在X方向上到梯形焊件前表面的距离BC的大小为

$BC=k_{xd}\&times;(y_3^n-y_3^{Int})---\left(3\right)$

AB的变化时随着距离BC的改变而改变，AB的大小为

AB＝BC×tana(4)

移动焊枪，将激光条纹照射到梯形焊件的前表面，对焊缝进行初始化采集，记录下初始采集的第一组第一特征点的坐标视觉系统实时采集的第二特征点11的坐标为在X方向上焊枪到梯形焊件前表面的初始距离为DE。令焊枪的初始位置为原点位置，根据公式(5)计算水平X方向位置，即焊枪的绝对位置X_n：

X_n＝DE+BC(5)

2-2水平Y方向位置计算，即求取焊缝在Y方向上的Y_n值

实时跟踪时，控制系统向视觉系统发送焊枪在Y方向上移动距离mc_cur，由于激光器3与梯形焊件8的表面呈一定的角度，照射在梯形焊件8的前后表面的激光条纹与焊枪的距离在Y方向不相等，因此选择梯形焊件前表面为基准面，使激光器照射在梯形焊件后表面和腰上的激光条纹到焊枪在Y方向的距离换算为前表面到焊枪在Y方向的距离，如图3所示，由激光器照射在梯形焊件的后表面或梯形焊件腰上时的激光条纹与焊枪在Y方向的距离BD转求出AD。

根据公式(3)和(4)，若激光条纹处于梯形焊件的腰上或者梯形焊件后表面，再减去焊枪与智能相机传感器的距离EF，可根据公式(6)计算得到焊缝在水平Y方向位置，即Y_n的绝对位置：

Y_n＝mc_cur-AB-EF(6)

2-3垂直Z方向位置计算，即求取焊缝在Z方向上的Z_n值

考虑到梯形焊件的底板可能不平整，启动时焊枪在原点位置，检测到激光器照射在梯形焊件底板上的激光线，也就是如图6所示记录下初始采集的第一特征点12所在直线，这条直线为：

$y_1^1=m_1{x}_1^1+n_1---\left(7\right)$

记录下参数m₁和n₁，实时跟踪时，图6中第二特征点11所在直线呈水平状态，第二特征点11所在直线与初始采集的第一特征点所在直线的交点的横坐标为x_du，得到x_du的表达式为公式(8)：

$X_{du}=\frac{y_4^n-n_1}{m_1}---\left(8\right)$

对梯形焊件的前表面记录下焊缝间隙像素坐标差值δz及与之对应的距离为ΔZ，他们之间存在如下的比列关系：

$k_{zd}=\frac{\mathrm{\&Delta;}Z}{\mathrm{\&delta;}z}---\left(9\right)$

依据智能相机传感器1与梯形焊件的物距几何模型，即并结合公式(8)，求出实时跟踪时梯形焊件上焊缝与开始跟踪时底板在Z方向上的距离d，即得到公式(9)，

$d=k_{zd}\&times;(x_{du}-x_4^n)\&times;\frac{LM+k_{xd}\&times;\left(y_3^n-y_3^{Int}\right)}{LM}---\left(10\right)$

式中，LM为梯形焊件8的前表面与智能相机传感器1的距离。

焊枪垂直Z方向位置即为焊枪7到焊件底板9的初始测量距离JK和实时跟踪时梯形焊件上焊缝与开始跟踪时底板在Z方向上的距离d之差，即根据公式(10)计算得到Z_n：

Z_n＝JK-d(11)

2-4间隙大小识别，即求取焊缝间隙Γ_n值

间隙大小为：

${\mathrm{\&Gamma;}}_n=K_{zd}\&times;(x_3^n-x_4^n)\&times;\frac{LM+k_{xd}\&times;(y_3^n-y_3^{Int})}{LM}---\left(12\right);$

第三步，实时跟踪

3-1寻找焊缝初始点：

开启激光器和智能相机传感器，激光器照射到梯形焊缝时，如图4所示。利用霍夫变换检测位于梯形焊件上的直线，设置霍夫变换为直线的阈值λ＝20，检测到的图像进行霍夫变换后的最大相同点数为Ψ。在80°～110°的角度范围内，若Ψ＞λ，在界面上画出检测出的激光条纹线，并在上位机显示检测到的特征点的位置坐标。前五个点的方差值

$\mathrm{\&delta;}d=\sqrt{\underset{n=1}{\overset{5}{\&Sigma;}}{(x_3^n-\stackrel{\&OverBar;}{x})}^2+{(y_3^n-{\stackrel{\&OverBar;}{y}}_3)}^2}---\left(13\right)$

若δd＜20，则为检测得出的第一特征点坐标。

3-2实时跟踪：求取连续焊缝位置，实时跟踪焊缝

由于视觉系统采集的焊缝位置具有离散性，把其转为连续性可提高精度，在实时跟踪阶段，控制系统向视觉系统实时传输Y方向位置坐标mc_cur，视觉系统依据mc_cur计算此时焊枪对应的焊缝X、Z位置方向坐标并传输给控制系统焊缝位置。视觉系统根据接受由控制系统传输的mc_cur位置，求出(mc_cur-EF)的前后位置坐标(X_i,Y_i),(X_i+1,Y_i+1)，利用插值法计算出此刻焊枪对应的焊缝X方向位置。插值公式为Η₃(Y)。

根据(X_i,Y_i),(X_i+1,Y_i+1)可得：

Η₃(Y_i)＝X_i

Η₃(Y_i+1)＝X_i+1(14)

X′_i计算公式为：

$X_i^{\&prime;}=\frac{X_{i+1}-X_{i-1}}{Y_{i+1}-Y_{i-1}}---\left(15\right)$

插值公式的一阶导为：

Η′₃(Y_i)＝X′_i

Η′₃(Y_i+1)＝X′_i+1(16)

插值函数可以表示表示为：

Η₃(Y)＝x_ia_i(Y)+x_i+1a_i+1(Y)+x′_iβ_i(X)+x′_i+1β_i+1(X)(17)

Η′₃(Y)＝x_ia′_i(Y)+x_i+1a_i+1(Y)+x′_iβ′_i(Y)+x′_i+1β′_i+1(Y)(18)

其中：X_i是a_i(X)的二重零点，即

a_i(Y)＝(Y-Y_i)²(aY+b)(19)

由a_i(Y_i)＝1，a′_i(Y_i)＝0可得：

$a=-\frac{2}{{(Y_i-Y_{i+1})}^3}$

$b=\frac{1}{{(Y_i-Y_{i+1})}^2}+\frac{2X_i}{{(Y_i-Y_{i+1})}^3}---\left(20\right)$

将a，b计算结果带入式(19)得：

$a_i\left(Y\right)=(1+2\frac{Y-Y_i}{Y_{i+1}-Y_i}){\left(\frac{Y-Y_{i+1}}{Y_i-Y_{i+1}}\right)}^2---\left(21\right)$

依据计算a_i(Y)的方法，可得

$a_{i+1}\left(Y\right)=(1+2\frac{Y-Y_{i+1}}{Y_i-Y_{i+1}}){\left(\frac{Y-Y_i}{Y_{i+1}-Y_i}\right)}^2$

${\mathrm{\&beta;}}_i\left(Y\right)=(Y-Y_i){\left(\frac{Y-Y_{i+1}}{Y_i-Y_{i+1}}\right)}^2$

${\mathrm{\&beta;}}_{i+1}\left(Y\right)=(Y-Y_{i+1}){\left(\frac{Y-Y_i}{Y_{i+1}-Y_i}\right)}^2---\left(22\right)$

将上述为a_i(Y)，a_i+1(Y)，β_i(Y)，β_i+1(Y)代入式(17)中，得到插值函数：

$\begin{array}{c}{H}_3\left(Y\right)=x_i\left(1+2\frac{Y-Y_i}{Y_{i+1}-Y_i}\right){\left(\frac{Y-Y_{i+1}}{Y_i-Y_{i+1}}\right)}^2+x_{i+1}\left(1+2\frac{Y-Y_{i+1}}{Y_i-Y_{i+1}}\right){\left(\frac{Y-Y_i}{Y_{i+1}-Y_i}\right)}^2\\ +x_i^{\&prime;}\left(Y-Y_j\right){\left(\frac{Y-Y_{i+1}}{Y_i-Y_{i+1}}\right)}^2+x_{j+1}^{\&prime;}\left(Y-Y_{i+1}\right){\left(\frac{Y-Y_i}{Y_{i+1}-Y_i}\right)}^2\end{array}---\left(23\right)$

将控制系统传输给视觉系统的Y方向位置代入式(23)计算得到X方向的位置坐标。

同理用Z方向替换X方向，带入公式(14)-(23)，可得Z方向的位置坐标为：

$\begin{array}{c}{H}_3\left(Y\right)=z_i\left(1+2\frac{Y-Y_i}{Y_{i+1}-Y_i}\right){\left(\frac{Y-Y_{i+1}}{Y_i-Y_{i+1}}\right)}^2+z_{i+1}\left(1+2\frac{Y-Y_{i+1}}{Y_i-Y_{i+1}}\right){\left(\frac{Y-Y_i}{Y_{i+1}-Y_i}\right)}^2\\ +z_i^{\&prime;}\left(Y-Y_i\right){\left(\frac{Y-Y_{i+1}}{Y_i-Y_{i+1}}\right)}^2+z_{i+1}^{\&prime;}\left(Y-Y_{i+1}\right){\left(\frac{Y-Y_i}{Y_{i+1}-Y_i}\right)}^2\end{array}---\left(24\right)$

控制系统向视觉系统传输Y方向的实时位置mc_cur，求出(mc_cur-EF)的前后位置坐标Γ_i,Γ_i+1，得到斜率k为：

$k=\frac{{\mathrm{\&Gamma;}}_{i+1}-{\mathrm{\&Gamma;}}_i}{Y_{i+1}-Y_i}---\left(25\right)$

由此可得与焊缝Y方向对应的间隙大小为

Γ＝Γ_i+k(Y-Y_i)(26)

控制系统根据间隙Γ控制摆动轴的摆动频率和摆动幅度。

3-3识别焊缝终止点：

实时采集图像，在图像处理后，若Ψ＜λ，则其上一位置检测出的焊缝位置为焊缝终点。视觉系统将焊缝终止点坐标通过通信线传输给控制系统，并给控制系统一个焊接完毕的信号，焊枪焊接完终止点后自动移动焊枪到达焊枪初始点，等待下次焊接。

本发明未述及之处适用于现有技术。

Claims (2)

1.一种变间隙梯形焊缝多参数同步视觉检测跟踪方法，该方法利用二维焊缝图像得到焊缝三维的位置信息以及焊缝间隙，使得图像特征的变化和焊枪运动之间存在线性关系，该方法的具体步骤是：

第一步，图像处理和特征提取

1-1图像获取：通过智能相机传感器获取包含激光条纹的焊缝区域图像；

1-2图像阈值自适应分割：在步骤1-1的基础上，以每五列为单位，选取像素值相同个数最多的像素值为阈值，每五列中，以像素值大于所述阈值的，确定为激光条纹的有效点，从图像中分割出有效点；

1-3激光条纹中心线提取：将步骤1-2中确定的激光条纹的有效点采用逐列提取的方式，把每列激光条纹有效点提取中间点，把中间点存到数组中，这个数组为激光条纹中心线数组；

1-4Hough直线变换：在步骤1-3的基础上对提取的激光条纹中心线求取hough直线，得到两条直线，分别对应为梯形焊件上的直线和焊件底板上的直线；

1-5两个特征点提取：在步骤1-4的基础上求取两条直线的交点，并且提取交点的纵坐标值和横坐标值，此交点为第一特征点，坐标为智能相机传感器采集图像的梯形焊件上的激光条纹，该激光条纹的末端点为梯形焊件需要焊接的焊点，此点为第二特征点，坐标为

1-6求取间隙值：第一特征点与第二特征点的欧式几何距离为焊缝间隙的像素值大小；

第二步，图像信息分析

2-1水平X方向位置计算：焊枪水平X方向的坐标X_n为在X方向上焊枪到梯形焊件前表面的初始测量距离DE与梯形焊件上激光条纹的位置在X方向上到梯形焊件前表面的距离BC的和，即

X_n＝DE+BC(5)；

2-2水平Y方向位置计算：控制系统通过通信线向视觉系统实时传输焊枪在测试平台Y方向导轨上的距离mc_cur，由焊枪在测试平台Y方向导轨上的距离mc_cur以及AB和焊枪与智能相机传感器在X方向上的距离EF,得到焊枪水平Y方向的坐标Y_n，即

Y_n＝mc_cur-AB-EF(6)；

式中AB＝BC×tanα；

2-3垂直Z方向位置计算：已知焊枪与焊件底板的初始测量距离JK，求出实时跟踪时梯形焊件上焊缝与初始跟踪时激光条纹所在焊件底板位置在Z方向上的距离d，则焊枪垂直Z方向的坐标Z_n为焊枪到焊件底板的初始测量距离JK和实时跟踪时梯形焊件上焊缝与初始跟踪时激光条纹所在焊件底板位置在Z方向上的距离d之差，即

Z_n＝JK-d(11)；

2-4间隙大小识别：依据智能相机传感器与梯形焊件的物距几何模型，进一步得到焊缝间隙的大小，即间隙大小为：

${\mathrm{\&Gamma;}}_n=K_{zd}\&times;(x_3^n-x_4^n)\&times;\frac{LM+k_{xd}\&times;(y_3^n-y_3^{Int})}{LM}---\left(12\right);$

式中，为实时采集的第一特征点坐标值，为实时采集的第二特征点x坐标值，为初始采集的第一组第一特征点的坐标，LM为梯形焊件前表面与智能相机传感器的距离，k_xd为梯形焊件前后表面在X方向上的距离与对应的y方向像素差的比值，k_zd为测量得到的焊缝间隙的距离ΔZ与梯形焊件的前表面记录下焊缝间隙像素坐标差值δz的比值；

第三步，实时跟踪

3-1寻找焊缝初始点：测试平台启动后，视觉系统在测试平台Y方向上移动，并通过视觉系统检测焊缝，并确定焊缝初始点；视觉系统将检测到的焊缝初始点的位置信息通过通信线传输给控制系统，控制系统控制焊枪移动到焊缝初始点位置；

3-2实时跟踪：寻找到初始点后，视觉系统持续将检测的图像焊缝特征点坐标转换为焊缝的三维位置坐标，检测的焊缝位置具有离散性；将离散的焊缝位置转换为连续的焊缝位置，控制系统实时向视觉系统发送焊枪在Y方向移动距离mc_cur，视觉系统依据mc_cur计算焊枪在Y方向的位置，随后将与此Y方向对应的X方向、Z方向的坐标和焊缝间隙一块传输给控制系统，控制系统控制焊枪跟踪焊缝，并且由焊缝间隙大小确定焊枪是否摆动以及摆动频率；

3-3识别焊缝终止点：在检测中，视觉系统移动到梯形焊件末端焊缝，识别焊缝终止点，并通过视觉系统确定焊缝终止点，然后由视觉系统将焊缝终止点坐标通过通信线传输给控制系统，并给控制系统一个焊接完毕的信号，焊枪焊接完终止点后自动移动焊枪到达焊枪初始点，等待下次焊接。

2.根据权利要求1所述的变间隙梯形焊缝多参数同步视觉检测跟踪方法，其特征在于所述梯形焊件的前表面和后表面的距离为10～50mm，焊缝间隙为0～5mm。