CN106312397A - 一种激光视觉引导的焊接轨迹自动跟踪系统及方法 - Google Patents

Abstract

本发明公开了一种激光视觉引导的焊接轨迹自动跟踪系统，包括具有图像处理装置的嵌入式工控机、激光视觉传感器，焊接机器人，配套焊接设备及工件夹持工作台，激光视觉传感器通过激光传感器固定元件在焊接方向上超前平行安装于焊枪上，焊枪通过焊枪固定元件安装在焊接机器人的末端法兰盘上，所述的嵌入式工控机与激光视觉传感器电路连接。本发明还公开了一种激光视觉引导的焊接轨迹自动跟踪方法。本发明无需事先示教的过程，通过实时检测跟踪提高了焊接生产效率及自适应能力；同时避免了超前检测引起的跟踪滞后问题，解决了传感器与焊枪距离过近时强烈的弧光辐射、高温、烟尘等因素导致特征图像耦合大量噪声，从而制约系统实时性及跟踪精度的问题。

Description

一种激光视觉引导的焊接轨迹自动跟踪系统及方法

技术领域

本发明涉及焊接轨迹自动跟踪领域，特别涉及一种激光视觉引导的焊接轨迹自动跟踪系统及方法。

背景技术

随着自动化技术的发展，焊接机器人在工业领域得到了广泛应用，已成为主要的焊接自动化装备。目前机器人焊接方法主要以“示教再现”模式为主，即用户引导机器人，机器人在导引过程中自动记忆示教的每个动作的位置、姿态、运动参数、焊接参数等，并自动生成一个连续执行全部操作的程序。完成示教后，只需给机器人一个起动命令，机器人通过示教编程存储起来的工作程序重复完成预期焊接工作。但在焊接过程中由于各种因素的影响，如振动、加工误差、夹具装夹精度和工件热变形等引起实际焊缝路径偏离示教轨迹，从而造成焊接质量下降甚至失效。而且若对每一次焊接工件都进行一次示教，大大降低了焊接效率。

因而要求焊接机器人能够实时检测出焊缝的偏差，自动调整焊接轨迹，实现自适应和高精度的焊接。为解决该问题，各种焊接传感器如电弧传感、接触传感、超声波传感、视觉传感应运而生。其中电弧传感由于电流变化和电弧长度之间的精确模型较难建立，影响了焊缝信号检测的精度；接触式传感要求对应不同型式的坡口使用不同的探头，探头磨损大、易变形，且难以克服固点障碍；超声波传感要求传感器贴近工件，因此受焊接方法和工件尺寸等的严格限制，且需考虑外界震动、传播时间等因素，对金属表面状况要求高，使其应用范围受到限。视觉传感具有非接触特性、获取信息丰富等优点，使用CCD摄像机拍摄焊缝图像，图像易受到电弧等噪声的严重干扰而退化，导致特征提取不易。

为解决该问题，采用基于激光视觉的焊缝跟踪系统，利用单色性、相干性和方向性均非常好的激光，作为外加辅助光源来获取表征焊缝结构的激光条纹，该技术结合了计算机视觉与激光三维视觉测量技术，具有获取信息丰富、焊缝特征明显、抗干扰能力强等优点。但在焊接过程中，由于激光视觉传感器超前于焊枪，激光条纹与熔池有一定间距，该间距越小则更易实现精确的跟踪控制，从而使得跟踪精度越高。然而该间距≤30mm后，受电弧光、烟尘和飞溅等因素的干扰，特别是在焊接电流超过300A中后，现场采集到的跟踪图像中往往覆盖有大量噪声，导致特征信号不明显甚至被淹没，使得实际跟踪精度难以达到系统的理论精度。从含有强烈噪声干扰的图像中识别出焊缝，快速、准确获取其位置是实时焊缝跟踪中重要的问题，现有的算法多数只从形态学方面进行特征提取，难以适应焊枪与传感器距离太短的焊接环境。

本发明因此托出，设计了能够实时检测并跟踪焊缝路径的激光视觉引导的焊接轨迹自动跟踪系统，充分利用采集图像中激光光带及背景噪声的空间一致性，提出了能够持续有效地从噪声污染的图像中获得焊缝特征的基于概率连续模型的焊缝跟踪方法。

发明内容

本发明的目的是提供一种激光视觉引导的焊接轨迹自动跟踪系统，旨在解决焊接机器人“示教再现”式焊接效率低、通用性差、灵活性低的问题，同时解决了现有自动化焊缝识别方法自适应能力差的问题，实现精确的自动化焊接。

本发明的另一目的是提供一种激光视觉引导的焊接轨迹自动跟踪中能够持续有效地从噪声污染的图像中获得焊缝特征的跟踪方法。

本发明的第一目的通过下述技术方案来实现：

一种激光视觉引导的焊接轨迹自动跟踪系统，包括具有图像处理装置的嵌入式工控机、激光视觉传感器，焊接机器人，配套焊接设备及工件夹持工作台，工件固定在夹持工作台上，所述激光视觉传感器通过激光传感器固定元件在焊接方向上超前平行安装于焊枪上，焊枪通过焊枪固定元件安装在焊接机器人的末端法兰盘上，激光视觉传感器和焊枪通过焊接机器人各轴的运动而改变其在空间的位置，所述配套焊接设备为焊接提供能量及材料，所述的嵌入式工控机与激光视觉传感器电路连接，用于根据激光视觉传感器获取的图像识别跟踪对象并准确确定其位置，将所计算得到的位置偏差传输给焊接机器人的控制器，实时修正焊枪运动轨迹，实现精确的在线自动焊接。

进一步地，所述激光视觉传感器包括黑色氧化处理的传感器外壳、相机、透光性隔板、激光发生器，所述相机和激光发生器固定在传感器外壳内，所述透光性隔板固定在传感器外壳上且位于所述相机和激光发生器前端。

进一步地，所述的透光性隔板采用透光率为90％～95％聚碳酸酯板。

进一步地，所述的相机采用CMOS相机，所述的CMOS相机高速采集携带焊缝信息的特征条纹图像，并实时通过千兆工业以太网接口将图像数据传输到嵌入式工控机的图像处理装置。

进一步地，所述的激光发生器为三线激光发生器，其波长为645～655nm，功率为30～35mW，三道线激光投射在焊缝表面形成表征焊缝轮廓特征的结构光条纹，能够在焊接现场弧光和烟尘严重干扰将特征条纹与噪声界定开来。

本发明的另一目的采用如下技术方案实现：

一种基于所述系统的激光视觉引导的焊接轨迹自动跟踪方法，包括步骤：

S1、调整焊接机器人的空间位置和姿态，使固定激光视觉传感器的焊枪处于初始焊接位置，且激光线处于相机视场范围内，又要保证在连续自动焊缝识别及跟踪过程中，工件不会与激光视觉传感器发生干涉；

S3、焊接开始前激光视觉传感器中的相机先采集特征条纹图像并发送到图像处理装置，通过调用Halcon软件的库函数进行初始化检测及定位，得到焊缝起始位置；

S4、焊接开始后激光视觉传感器的相机以20K采样频率连续采集图像，并发送至图像处理装置进行处理计算；

S5、进行当前时刻焊缝位置预测，根据上一时刻焊缝的状态信息z_t-1，使用服从高斯分布的运动模型p(z_t|z_t-1)＝N(z_t；z_t-1,Ψ)进行粒子滤波来预测候选状态，并存储所有状态时的图像特征值用于最佳统计决策，模型中Ψ为对角协方差矩阵，其元素对应仿射变换参数的方差；

S6、进行焊缝位置更新修正，利用直至当前时刻t的所有观测值y_1:t＝{y₁,y₂,...,y_t}对预测候选状态进行修正，计算出后验概率p(z_t|y_1:t)：

p(z_t|y_1:t)∝p(y_t|z_t)∫p(z_t|z_t-1)p(z_t-1|y_1:t-1)dz_t-1，

其中p(y_t|z_t)表示用来评估当前时刻每个候选状态的可能性的观测似然概率，p(z_t-1|y_1:t-1)为已获知的上一时刻的后验概率；

S7、根据最大后验概率准则(MAP)可求得p(z_t|y_1:t)最大时的隐藏状态变量z_t，即为当前时刻的最佳位置状态估计为

S8、根据测量得到的焊缝位置计算焊枪的运动轨迹，机器人控制器按此轨迹实时控制焊枪运动，以保证焊枪始终对准焊缝，完成焊接轨迹自动跟踪。

进一步地，所述步骤S6中确定t时刻时观测值的似然概率p(y_t|z_t)的过程包括步骤：

S61、通过相应算法对对观测模型建模，建立概率连续模型描述观测向量，并获取目标函数；

S62、对所述观测模型进行迭代求解，将后验概率最大问题转变成求目标函数的最小化问题；

S63、构造稳健的模型动态更新机制。

进一步地，所述步骤S61具体包括：

S611、采用线性表示模型y＝Ax+e对观测向量进行建模，为了保证跟踪算法的实时性，用典型的PCA子空间表示跟踪目标，在减少处理时间的同时最大程度保留原始数据的信息，式中A＝[a₁,a₂,...,a_m]为列向量间相互正交的PCA基矩阵，为n维观测向量，x∈R^m×1为表示系数，e＝y-Ax为误差项，跟踪算法的目的就是通过学习获得最佳表示系数

S612、为在跟踪过程中对所获得的特征点集建立有效的处理模型，定义跟踪区域内激光条纹上的点为内点，噪声及背景信息点为异常点，并引入用来标记点y_i类型的标签向量Φ＝[φ₁,φ₂,...,φ_n]^Τ，即y_i为内点时，φ_i＝1，反之φ_i＝0，若假设相邻时刻的标签向量变化十分小，则用式可将t时刻第k个候选状态的异常点所在位置的重构误差去除，因而可设计观测值的似然函数为：

式中k表示状态z_t下第k个采样，⊙表示Hadamard积，为在第t-1时刻所求得的标签向量，为最佳表示系数，因而跟踪问题等效为求各时刻的最佳表示系数及最佳标签向量

S613、邻域结构中内点或者异常点间相互作用，往往具有空间一致性，构成了像素的局部相关属性，采用伊辛-马尔可夫随机场模型来描述图像点阵中的Φ的先验分布，能够反映图像的随机性和潜在结构，其概率分布为:

$p\left(\mathrm{\Φ}\right)=\frac{1}{Z}\exp (-\underset{\{i,i^{\′}\}\∈E}{\mathrm{\Σ}}{\mathrm{\β}}_{{\mathrm{ii}}^{\′}}|{\mathrm{\φ}}_i-{\mathrm{\φ}}_{i^{\′}}\left|\right),$

其中Z为称作配分函数的归一化常数，E表示连接邻近像素点所成的边缘集合(本文选用4邻域结构)，β_ii′为相互作用系数；

S614、提升焊缝跟踪的精确度，综合考虑激光条纹及异常点在特征空间的概率密度分布，PCA线性变换的前提是数据集满足高斯分布，且在图像中噪声分布呈随机态，因此内点及异常点的概率分布连续，若y_i为内点，该点的误差项满足小方差的高斯分布，有e_i～N(0,σ²)，即：

$p\left(y_i\right|{\mathrm{\φ}}_i=1,x)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-\frac{{\[y_i-{\left(Ax\right)}_i\]}^2}{2{\mathrm{\σ}}^2})$

若y_i为异常点，其值随机等概率地落在图像数据的动态范围[p,q]上，故满足均匀分布，有y_i～U(p,q)，即：

$p\left(y_i\right|{\mathrm{\φ}}_i=0,x)=\left\{\begin{array}{cc}\frac{1}{p-q},& p\≤y_i\≤q\\ 0,& otherwise\end{array}\right.;$

S615、假设表示系数x满足均匀分布的先验，则给出图像观测值y条件下，根据条件独立性以及φ_i∈{0,1}，标签向量为Φ的可能性为

$L\left(\mathrm{\Φ}\right)=p\left(y\right|\mathrm{\Φ},x)=\underset{i=1}{\overset{n}{\mathrm{\Π}}}p\left(y_i\right|{\mathrm{\φ}}_i,x)=\underset{i=1}{\overset{n}{\mathrm{\Π}}}p{\left(y_i\right|{\mathrm{\φ}}_i=1,x)}^{{\mathrm{\φ}}_i}p{\left(y_i\right|{\mathrm{\φ}}_i=0,x)}^{1-{\mathrm{\φ}}_i},$

综合上式可得后验概率p(Φ,x|y)，为计算方便，对数化可得目标函数：

$-\ln p(\mathrm{\Φ},x|y)=-ln\[p\left(y\right|\mathrm{\Φ},x)p\left(\mathrm{\Φ}\right)\]=C+\frac{1}{{\mathrm{\σ}}^2}F(\mathrm{\Φ},x),$

其中，

$F(\mathrm{\Φ},x)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}({\mathrm{\φ}}_i\frac{{\[y_i-{\left(Ax\right)}_i\]}^2}{2}+(1-{\mathrm{\φ}}_i\left)\frac{{\mathrm{\λ}}^2}{2}\right)+\underset{\{i,i^{\′}\}\∈E}{\mathrm{\Σ}}{\mathrm{\λ}}_{{\mathrm{ii}}^{\′}}\left|{\mathrm{\φ}}_i-{\mathrm{\φ}}_{i^{\′}}\right|.$

进一步地，所述步骤S62具体包括：

S621、给定最佳的标签向量将所述目标函数中不包含x的项变为常数项，去掉后只剩下误差求和项由于相邻时刻所采样图像特征变化微小，最小化该函数求得最佳系数等效于利用加权最小二乘法求解以下方程：

S622、给定最佳表示系数则目标函数式转变为：

$E\left(\mathrm{\Φ}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left(\right|0-{\mathrm{\φ}}_i|\frac{e_i^2}{2}+|1-{\mathrm{\φ}}_i\left|\frac{{\mathrm{\λ}}^2}{2}\right)+\underset{\{i,i^{\′}\}\∈E}{\mathrm{\Σ}}{\mathrm{\λ}}_{{\mathrm{ii}}^{\′}}\left|{\mathrm{\φ}}_i-{\mathrm{\φ}}_{i^{\′}}\right|,$

将此式视为图割问题中的能量函数，利用最大流/最小割算法来最小化该函数，最终求得t时刻时最佳标签向量

${\widehat{\mathrm{\Φ}}}_t^k=\arg \underset{{\mathrm{\Φ}}_t^k}{min}{E}_t^k\left({\mathrm{\Φ}}_t^k\right);$

S623、由最佳表示系数和最佳标签向量求得当前时刻目标的位置z_t。而后根据测量得到的焊缝位置信息计算焊枪的运动轨迹，机器人控制器按此运动轨迹实时控制焊枪运动，以保证焊枪始终对准焊缝。

进一步地，所述步骤S63具体包括：

提取出当前状态下的n维观测向量y_d，用PCA子空间的均值向量μ中与异常值对应部分元素值来代替异常值，构造出更新向量y_r用以更新模型，得：

y_r＝Φ_d⊙y_d+(1-Φ_d)⊙μ。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明通过激光视觉传感器检测定位焊缝引导焊接机器人工作，并采用GPU进行加速运算的图像处理装置，装置结构简单，数据处理的效率高，同时传感器与焊枪距离更近，避免了超前检测引起的跟踪滞后问题；

(2)基于概率连续模型的焊缝跟踪方法，能够持续有效地从噪声污染的图像中获得焊缝特征，具有很强的抗干扰、自适应能力；

(3)本发明自动化程度比较高，能够实现焊缝自动识别，自动焊接，焊缝自动跟踪，大大提高了生产效率。

附图说明

图1是本发明实施例的激光视觉引导的焊接轨迹自动跟踪系统结构示意图；

图2是本发明实施例的激光视觉引导的焊接轨迹自动跟踪系统中激光视觉传感器的结构示意图；

图3是本发明实施例的激光视觉引导的焊接轨迹自动跟踪方法流程示意图。

图中所示为：1-嵌入式工控机；图像处理装置；2-工件夹持工作台；3-工件；4-激光视觉传感器；41-传感器外壳；42-相机；43-透光性隔板；44-激光发生器；5-焊接机器人；6-配套焊接设备。

具体实施方式

下面结合实施例及附图对本发明作进一步的详细描述，但本发明的实施方式不限于此。

实施例一

如图1所示，一种激光视觉引导的焊接轨迹自动跟踪系统，包括具有图像处理装置的嵌入式工控机1、激光视觉传感器4，焊接机器人5，配套焊接设备6及工件夹持工作台2，工件3固定在夹持工作台2上，所述激光视觉传感器4通过激光传感器固定元件在焊接方向上超前平行安装于焊枪上，焊枪通过焊枪固定元件安装在焊接机器人5的末端法兰盘上，激光视觉传感器4和焊枪通过焊接机器人5各轴的运动而改变其在空间的位置，所述配套焊接设备6为焊接提供能量及材料，所述的嵌入式工控机1与激光视觉传感器4电路连接，用于根据激光视觉传感器4获取的图像识别跟踪对象并准确确定其位置，将所计算得到的位置偏差传输给焊接机器人5的控制器，实时修正焊枪运动轨迹，实现精确的在线自动焊接。本实施例中嵌入式工控机1为装有型号为NVIDIA GeForce GTX980图形处理器(GPU)的研华IPC-510嵌入式工控机。所述焊接机器人5采用MOTOMAN-MA1440弧焊机器人；所述配套焊接设备6为MOTOWELD-RD350焊接系统。

如图2所示，所述激光视觉传感器4包括黑色氧化处理的传感器外壳41、相机42、透光性隔板43、激光发生器44，所述相机42和激光发生器44固定在传感器外壳41内，所述透光性隔板43固定在传感器外壳41上且位于所述相机42和激光发生器44前端。所述的透光性隔板43采用透光率为90％～95％的聚碳酸酯板。所述的相机42采用CMOS相机，所述的CMOS相机高速采集携带焊缝信息的特征条纹图像，并实时通过千兆工业以太网接口将图像数据传输到嵌入式工控机1的图像处理装置。所述的激光发生器44为三线激光发生器，其波长为645～655nm，功率为30～35mW，三道线激光投射在焊缝表面形成表征焊缝轮廓特征的结构光条纹。

当嵌入式工控机1给焊接机器人5的控制器发出偏差信号后，控制器就会使机器人各伺服电机做出相应转动，改变焊枪在空间的位置和姿态，运动到相应的位置处，从而完成焊接过程。

所述工件夹持工作台2包括铝型材支架和支撑板，所述铝型材支架其截面尺寸为60*60mm，所述工件放置于焊接支撑板上,其材质为铝合金，规格尺寸为1000*400*10mm。

本实施例所述的各零部件可选型如下，但选型不限于此：图像处理装置：可选用其他同功能的嵌入式控制器；焊接机器人：可选其他型号的焊接机器人；工件：可选用其它形状规则的同类型工件；激光视觉传感器：可选用其他型号相机、激光发射器。

实施例二

如图3所示，一种基于所述系统的激光视觉引导的焊接轨迹自动跟踪方法，包括步骤：

S1、调整焊接机器人5的空间位置和姿态，使固定激光视觉传感器4的焊枪处于初始焊接位置，且激光线处于相机42视场范围内，又要保证在连续自动焊缝识别及跟踪过程中，工件不会与激光视觉传感器4发生干涉；

S3、焊接开始前激光视觉传感器4中的相机42先采集特征条纹图像并发送到图像处理装置，通过调用Halcon软件的库函数进行初始化检测及定位，得到焊缝起始位置；

S4、焊接开始后激光视觉传感器4的相机42以20K采样频率连续采集图像，并发送至图像处理装置进行处理计算；

S5、进行当前时刻焊缝位置预测，根据上一时刻焊缝的状态信息z_t-1，使用服从高斯分布的运动模型p(z_t|z_t-1)＝N(z_t；z_t-1,Ψ)进行粒子滤波来预测候选状态，并存储所有状态时的图像特征值用于最佳统计决策，模型中Ψ为对角协方差矩阵，其元素对应仿射变换参数的方差；

S6、进行焊缝位置更新修正，利用直至当前时刻t的所有观测值y_1:t＝{y₁,y₂,...,y_t}对预测候选状态进行修正，计算出后验概率p(z_t|y_1:t)：

p(z_t|y_1:t)∝p(y_t|z_t)∫p(z_t|z_t-1)p(z_t-1|y_1:t-1)dz_t-1，

其中p(y_t|z_t)表示用来评估当前时刻每个候选状态的可能性的观测似然概率，p(z_t-1|y_1:t-1)为已获知的上一时刻的后验概率；

S7、根据最大后验概率准则(MAP)可求得p(z_t|y_1:t)最大时的隐藏状态变量z_t，即为当前时刻的最佳位置状态估计为

S8、根据测量得到的焊缝位置计算焊枪的运动轨迹，机器人控制器按此轨迹实时控制焊枪运动，以保证焊枪始终对准焊缝，完成焊接轨迹自动跟踪。

具体而言，所述步骤S6中确定t时刻时观测值的似然概率p(y_t|z_t)的过程包括步骤：

S61、通过相应算法对对观测模型建模，建立概率连续模型描述观测向量，并获取目标函数；

S62、对所述观测模型进行迭代求解，将后验概率最大问题转变成求目标函数的最小化问题；

S63、构造稳健的模型动态更新机制。

具体而言，所述步骤S61具体包括：

S611、采用线性表示模型y＝Ax+e对观测向量进行建模，为了保证跟踪算法的实时性，用典型的PCA子空间表示跟踪目标，在减少处理时间的同时最大程度保留原始数据的信息，式中A＝[a₁,a₂,...,a_m]为列向量间相互正交的PCA基矩阵，为n维观测向量，x∈R^m×1为表示系数，e＝y-Ax为误差项，跟踪算法的目的就是通过学习获得最佳表示系数

S612、为在跟踪过程中对所获得的特征点集建立有效的处理模型，定义跟踪区域内激光条纹上的点为内点，噪声及背景信息点为异常点，并引入用来标记点y_i类型的标签向量Φ＝[φ₁,φ₂,...,φ_n]^Τ，即y_i为内点时，φ_i＝1，反之φ_i＝0，若假设相邻时刻的标签向量变化十分小，则用式可将t时刻第k个候选状态的异常点所在位置的重构误差去除，因而可设计观测值的似然函数为：

式中k表示状态z_t下第k个采样，⊙表示Hadamard积，为在第t-1时刻所求得的标签向量，为最佳表示系数，因而跟踪问题等效为求各时刻的最佳表示系数及最佳标签向量

S613、邻域结构中内点或者异常点间相互作用，往往具有空间一致性，构成了像素的局部相关属性，采用伊辛-马尔可夫随机场模型来描述图像点阵中的Φ的先验分布，能够反映图像的随机性和潜在结构，其概率分布为:

$p\left(\mathrm{\Φ}\right)=\frac{1}{Z}\exp (-\underset{\{i,i^{\′}\}\∈E}{\mathrm{\Σ}}{\mathrm{\β}}_{{\mathrm{ii}}^{\′}}|{\mathrm{\φ}}_i-{\mathrm{\φ}}_{i^{\′}}\left|\right),$

其中Z为称作配分函数的归一化常数，E表示连接邻近像素点所成的边缘集合(本实施例选用4邻域结构)，β_ii′为相互作用系数；

S614、提升焊缝跟踪的精确度，综合考虑激光条纹及异常点在特征空间的概率密度分布，PCA线性变换的前提是数据集满足高斯分布，且在图像中噪声分布呈随机态，因此内点及异常点的概率分布连续，若y_i为内点，该点的误差项满足小方差的高斯分布，有e_i～N(0,σ²)，即：

$p\left(y_i\right|{\mathrm{\φ}}_i=1,x)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-\frac{{\[y_i-{\left(Ax\right)}_i\]}^2}{2{\mathrm{\σ}}^2})$

若y_i为异常点，其值随机等概率地落在图像数据的动态范围[p,q]上，故满足均匀分布，有y_i～U(p,q)，即：

$p\left(y_i\right|{\mathrm{\φ}}_i=0,x)=\left\{\begin{array}{cc}\frac{1}{p-q},& p\≤y_i\≤q\\ 0,& otherwise\end{array}\right.;$

S615、假设表示系数x满足均匀分布的先验，则给出图像观测值y条件下，根据条件独立性以及φ_i∈{0,1}，标签向量为Φ的可能性为

$L\left(\mathrm{\Φ}\right)=p\left(y\right|\mathrm{\Φ},x)=\underset{i=1}{\overset{n}{\mathrm{\Π}}}p\left(y_i\right|{\mathrm{\φ}}_i,x)=\underset{i=1}{\overset{n}{\mathrm{\Π}}}p{\left(y_i\right|{\mathrm{\φ}}_i=1,x)}^{{\mathrm{\φ}}_i}p{\left(y_i\right|{\mathrm{\φ}}_i=0,x)}^{1-{\mathrm{\φ}}_i},$

综合上式可得后验概率p(Φ,x|y)，为计算方便，对数化可得目标函数：

$-\ln p(\mathrm{\Φ},x|y)=-ln\[p\left(y\right|\mathrm{\Φ},x)p\left(\mathrm{\Φ}\right)\]=C+\frac{1}{{\mathrm{\σ}}^2}F(\mathrm{\Φ},x),$

其中，

$F(\mathrm{\Φ},x)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}({\mathrm{\φ}}_i\frac{{\[y_i-{\left(Ax\right)}_i\]}^2}{2}+(1-{\mathrm{\φ}}_i\left)\frac{{\mathrm{\λ}}^2}{2}\right)+\underset{\{i,i^{\′}\}\∈E}{\mathrm{\Σ}}{\mathrm{\λ}}_{{\mathrm{ii}}^{\′}}\left|{\mathrm{\φ}}_i-{\mathrm{\φ}}_{i^{\′}}\right|.$

具体而言，所述步骤S62具体包括：

S621、给定最佳的标签向量将所述目标函数中不包含x的项变为常数项，去掉后只剩下误差求和项由于相邻时刻所采样图像特征变化微小，最小化该函数求得最佳系数等效于利用加权最小二乘法求解以下方程：

S622、给定最佳表示系数则目标函数式转变为：

$E\left(\mathrm{\Φ}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left(\right|0-{\mathrm{\φ}}_i|\frac{e_i^2}{2}+|1-{\mathrm{\φ}}_i\left|\frac{{\mathrm{\λ}}^2}{2}\right)+\underset{\{i,i^{\′}\}\∈E}{\mathrm{\Σ}}{\mathrm{\λ}}_{{\mathrm{ii}}^{\′}}\left|{\mathrm{\φ}}_i-{\mathrm{\φ}}_{i^{\′}}\right|,$

将此式视为图割问题中的能量函数，利用最大流/最小割算法来最小化该函数，最终求得t时刻时最佳标签向量

${\widehat{\mathrm{\Φ}}}_t^k=\arg \underset{{\mathrm{\Φ}}_t^k}{min}{E}_t^k\left({\mathrm{\Φ}}_t^k\right);$

S623、由最佳表示系数和最佳标签向量求得当前时刻目标的位置z_t。而后根据测量得到的焊缝位置信息计算焊枪的运动轨迹，机器人控制器按此运动轨迹实时控制焊枪运动，以保证焊枪始终对准焊缝。

具体而言，所述步骤S63具体包括：

提取出当前状态下的n维观测向量y_d，用PCA子空间的均值向量μ中与异常值对应部分元素值来代替异常值，构造出更新向量y_r用以更新模型，得：

y_r＝Φ_d⊙y_d+(1-Φ_d)⊙μ。

本实施例将激光视觉传感器4中相机42采集到的图像实时传输给图像处理装置后，利用基于概率连续模型的焊缝跟踪算法，以线性表示模型对观测向量进行建模并利用仿射变换模型对焊缝运动进行描述，构建概率连续模型；充分利用图像中激光条纹和背景噪声的空间一致性，结合刻画邻域结构内像素点间相互关系的一阶马尔可夫随机场理论，推导出焊缝跟踪问题的目标函数，同时采用基于最小二乘法与最大流/最小割的迭代算法对其进行求解，得到当前帧图像中焊缝中心特征点的像素坐标值，并反推出其在工件坐标系中的坐标值；将该值与上一时刻值的偏差值实时发送给机器人控制器，实现实时、准确的焊接轨迹跟踪，从复杂背景中鲁棒地识别跟踪对象并准确确定其位置，将所计算得到的位置偏差传输给机器人控制器，实时修正焊枪运动轨迹，实现精确的在线自动焊接。

鉴于跟踪时，图像采样速度极快，相邻两帧图像中激光条纹的形状及位置并未发生太大改变，只是随机地加入了各种噪声，充分利用采集图像中激光光带及背景噪声的空间一致性，通过结合当前目标状态信息及所获取的特征图像，采用基于概率连续模型的焊缝跟踪算法来完成在线的机器人焊缝跟踪任务。焊接时，激光发生器发射的激光投射到焊接工件表面调制成激光特征条纹，由相机获取携带焊缝轮廓信息的条纹的图像，经千兆以太网高速传输给采用GPU进行加速运算的图像处理装置；图像处理装置在利用基于概率连续模型的焊缝跟踪算法对焊缝准确定位的同时，将所计算得到的位置偏差传输给机器人控制器，实时修正焊枪运动轨迹，实现精确的在线自动焊接

图像处理装置在利用基于概率连续模型的焊缝跟踪算法对焊缝准确定位的同时，将所计算得到的位置偏差传输给机器人控制器，机器人控制器按此轨迹实时控制焊枪运动，实时修正焊枪运动轨迹，以保证焊枪始终对准焊缝，完成焊接轨迹自动跟踪。

上述实施例为本发明较佳的实施方式，但本方明的实施方式并不受上述实施例的限制，其他的任何背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种激光视觉引导的焊接轨迹自动跟踪系统，其特征在于：包括具有图像处理装置的嵌入式工控机(1)、激光视觉传感器(4)，焊接机器人(5)，配套焊接设备(6)及工件夹持工作台(2)，工件(3)固定在夹持工作台(2)上，所述激光视觉传感器(4)通过激光传感器固定元件在焊接方向上超前平行安装于焊枪上，焊枪通过焊枪固定元件安装在焊接机器人(5)的末端法兰盘上，所述配套焊接设备6)为焊接提供能量及材料，所述的嵌入式工控机(1)与激光视觉传感器(4)电路连接，用于根据激光视觉传感器(4)获取的图像识别跟踪对象并准确确定其位置，将所得到的位置偏差传输给焊接机器人(5)的控制器，实时修正焊枪运动轨迹，实现精确的在线自动焊接。

2.根据权利要求1所述的激光视觉引导的焊接轨迹自动跟踪系统，其特征在于：所述激光视觉传感器(4)包括黑色氧化处理的传感器外壳(41)、相机(42)、透光性隔板(43)、激光发生器(44)，所述相机(42)和激光发生器(44)固定在传感器外壳(41)内，所述透光性隔板43)固定在传感器外壳(41)上且位于所述相机(42)和激光发生器(44)前端。

3.根据权利要求2所述的激光视觉引导的焊接轨迹自动跟踪系统，其特征在于：所述的透光性隔板(43)采用透光率为90％～95％的聚碳酸酯板。

4.根据权利要求2所述的激光视觉引导的焊接轨迹自动跟踪系统，其特征在于：所述的相机(42)采用CMOS相机，所述的CMOS相机高速采集携带焊缝信息的特征条纹图像，并实时通过千兆工业以太网接口将图像数据传输到嵌入式工控机1)的图像处理装置。

5.根据权利要求2所述的激光视觉引导的焊接轨迹自动跟踪系统，其特征在于：所述的激光发生器(44)为三线激光发生器，其波长为645～655nm，功率为30～35mW，三道线激光投射在焊缝表面形成表征焊缝轮廓特征的结构光条纹。

6.一种基于权利要求1至权利要求5中任一项所述系统的激光视觉引导的焊接轨迹自动跟踪方法，其特征在于，包括步骤：

S1、调整焊接机器人(5)的空间位置和姿态，使固定激光视觉传感器(4)的焊枪处于初始焊接位置，且激光线处于相机(42)视场范围内，又要保证在连续自动焊缝识别及跟踪过程中，工件不会与激光视觉传感器4发生干涉；

S3、焊接开始前激光视觉传感器(4)中的相机(42)先采集特征条纹图像并发送到图像处理装置，通过调用Halcon软件的库函数进行初始化检测及定位，得到焊缝起始位置；

S4、焊接开始后激光视觉传感器(4)的相机(42)以20K采样频率连续采集图像，并发送至图像处理装置进行处理计算；

S5、进行当前时刻焊缝位置预测，根据上一时刻焊缝的状态信息z_t-1，使用服从高斯分布的运动模型p(z_t|z_t-1)＝N(z_t；z_t-1,Ψ)进行粒子滤波来预测候选状态，并存储所有状态时的图像特征值用于最佳统计决策，模型中Ψ为对角协方差矩阵，其元素对应仿射变换参数的方差；

S6、进行焊缝位置更新修正，利用直至当前时刻t的所有观测值y_1:t＝{y₁,y₂,...,y_t}对预测候选状态进行修正，计算出后验概率p(z_t|y_1:t)：

p(z_t|y_1:t)∝p(y_t|z_t)∫p(z_t|z_t-1)p(z_t-1|y_1:t-1)dz_t-1，

其中p(y_t|z_t)表示用来评估当前时刻每个候选状态的可能性的观测似然概率，p(z_t-1|y_1:t-1)为已获知的上一时刻的后验概率；

S7、根据最大后验概率准则(MAP)可求得p(z_t|y_1:t)最大时的隐藏状态变量z_t，即为当前时刻的最佳位置状态估计为

S8、根据测量得到的焊缝位置计算焊枪的运动轨迹，机器人控制器按此轨迹实时控制焊枪运动，以保证焊枪始终对准焊缝，完成焊接轨迹自动跟踪。

7.根据权利要求1所述的激光视觉引导的焊接轨迹自动跟踪方法，其特征在于：所述步骤S6中确定t时刻时观测值的似然概率p(y_t|z_t)的过程包括步骤：

S61、通过相应算法对对观测模型建模，建立概率连续模型描述观测向量，并获取目标函数；

S62、对所述观测模型进行迭代求解，将后验概率最大问题转变成求目标函数的最小化问题；

S63、构造稳健的模型动态更新机制。

8.根据权利要求7所述的激光视觉引导的焊接轨迹自动跟踪方法，其特征在于，所述步骤S61具体包括：

S611、采用线性表示模型y＝Ax+e对观测向量进行建模，为了保证跟踪算法的实时性，用典型的PCA子空间表示跟踪目标，在减少处理时间的同时最大程度保留原始数据的信息，式中A＝[a₁,a₂,...,a_m]为列向量间相互正交的PCA基矩阵，y∈i^n×1为n维观测向量，x∈R^m×1为表示系数，e＝y-Ax为误差项，跟踪算法的目的就是通过学习获得最佳表示系数

S612、为在跟踪过程中对所获得的特征点集建立有效的处理模型，定义跟踪区域内激光条纹上的点为内点，噪声及背景信息点为异常点，并引入用来标记点y_i类型的标签向量Φ＝[φ₁,φ₂,...,φ_n]^Τ，即y_i为内点时，φ_i＝1，反之φ_i＝0，若假设相邻时刻的标签向量变化十分小，则用式可将t时刻第k个候选状态的异常点所在位置的重构误差去除，因而可设计观测值的似然函数为：

式中k表示状态z_t下第k个采样，⊙表示Hadamard积，为在第t-1时刻所求得的标签向量，为最佳表示系数，因而跟踪问题等效为求各时刻的最佳表示系数及最佳标签向量

S613、邻域结构中内点或者异常点间相互作用，往往具有空间一致性，构成了像素的局部相关属性，采用伊辛-马尔可夫随机场模型来描述图像点阵中的Φ的先验分布，能够反映图像的随机性和潜在结构，其概率分布为:

$p\left(\mathrm{\Φ}\right)=\frac{1}{Z}\exp (-\underset{\{i,i^{\′}\}\∈E}{\Σ}{\mathrm{\β}}_{{\mathrm{ii}}^{\′}}|{\mathrm{\φ}}_i-{\mathrm{\φ}}_{i^{\′}}\left|\right),$

其中Z为称作配分函数的归一化常数，E表示连接邻近像素点所成的边缘集合，β_ii′为相互作用系数；

S614、提升焊缝跟踪的精确度，综合考虑激光条纹及异常点在特征空间的概率密度分布，PCA线性变换的前提是数据集满足高斯分布，且在图像中噪声分布呈随机态，因此内点及异常点的概率分布连续，若y_i为内点，该点的误差项满足小方差的高斯分布，有e_i～N(0,σ²)，即：

$p\left(y_i\right|{\mathrm{\φ}}_i=1,x)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-\frac{{\[y_i-{\left(Ax\right)}_i\]}^2}{2{\mathrm{\σ}}^2})$

若y_i为异常点，其值随机等概率地落在图像数据的动态范围[p,q]上，故满足均匀分布，有y_i～U(p,q)，即：

$p\left(y_i\right|{\mathrm{\φ}}_i=0,x)=\left\{\begin{array}{cc}\frac{1}{p-q},& p\≤y_i\≤q\\ 0,& otherwise\end{array}\right.;$

S615、假设表示系数x满足均匀分布的先验，则给出图像观测值y条件下，根据条件独立性以及φ_i∈{0,1}，标签向量为Φ的可能性为

$L\left(\mathrm{\Φ}\right)=p\left(y\right|\mathrm{\Φ},x)=\underset{i=1}{\overset{n}{\Π}}p\left(y_i\right|{\mathrm{\φ}}_i,x)=\underset{i=1}{\overset{n}{\Π}}p{\left(y_i\right|{\mathrm{\φ}}_i=1,x)}^{{\mathrm{\φ}}_i}p{\left(y_i\right|{\mathrm{\φ}}_i=0,x)}^{1-{\mathrm{\φ}}_i},$

综合上式可得后验概率p(Φ,x|y)，为计算方便，对数化可得目标函数：

$-\ln p(\mathrm{\Φ},x|y)=-ln\[p\left(y\right|\mathrm{\Φ},x)p\left(\mathrm{\Φ}\right)\]=C+\frac{1}{{\mathrm{\σ}}^2}F(\mathrm{\Φ},x),$

其中，

$F(\mathrm{\Φ},x)=\underset{i=1}{\overset{n}{\Σ}}({\mathrm{\φ}}_i\frac{{\[y_i-{\left(Ax\right)}_i\]}^2}{2}+(1-{\mathrm{\φ}}_i)\frac{{\mathrm{\λ}}^2}{2})+\underset{\{i,i^{\′}\}\∈E}{\Σ}{\mathrm{\λ}}_{{\mathrm{ii}}^{\′}}|{\mathrm{\φ}}_i-{\mathrm{\φ}}_{i^{\′}}|.$

9.根据权利要求8所述的激光视觉引导的焊接轨迹自动跟踪方法，其特征在于，所述步骤S62具体包括：

S621、给定最佳的标签向量将所述目标函数中不包含x的项变为常数项，去掉后只剩下误差求和项由于相邻时刻所采样图像特征变化微小，最小化该函数求得最佳系数等效于利用加权最小二乘法求解以下方程：

S622、给定最佳表示系数则目标函数式转变为：

$E\left(\mathrm{\Φ}\right)=\underset{i=1}{\overset{n}{\Σ}}\left(\right|0-{\mathrm{\φ}}_i|\frac{e_i^2}{2}+|1-{\mathrm{\φ}}_i\left|\frac{{\mathrm{\λ}}^2}{2}\right)+\underset{\{i,i^{\′}\}\∈E}{\Σ}{\mathrm{\λ}}_{{\mathrm{ii}}^{\′}}|{\mathrm{\φ}}_i-{\mathrm{\φ}}_{i^{\′}}|,$

将此式视为图割问题中的能量函数，利用最大流/最小割算法来最小化该函数，最终求得t时刻时最佳标签向量

${\widehat{\mathrm{\Φ}}}_t^k=\arg \underset{{\mathrm{\Φ}}_t^k}{min}{E}_t^k\left({\mathrm{\Φ}}_t^k\right);$

S623、由最佳表示系数和最佳标签向量求得当前时刻目标的位置z_t。而后根据测量得到的焊缝位置信息计算焊枪的运动轨迹，机器人控制器按此运动轨迹实时控制焊枪运动，以保证焊枪始终对准焊缝。

10.根据权利要求7所述的激光视觉引导的焊接轨迹自动跟踪方法，其特征在于，所述步骤S63具体包括：

提取出当前状态下的n维观测向量y_d，用PCA子空间的均值向量μ中与异常值对应部分元素值来代替异常值，构造出更新向量y_r用以更新模型，得：

y_r＝Φ_d⊙y_d+(1-Φ_d)⊙μ。