CN109949346B - 基于方向梯度直方图粒子滤波的焊缝跟踪方法 - Google Patents

Abstract

本发明涉及一种基于方向梯度直方图粒子滤波的焊缝跟踪方法，采用方向梯度特征向量来表示跟踪区域，利用图像方向梯度信息并非灰度特征，因此在弧光信息干扰中能更好地表示焊缝激光线的偏折特征，并利用掩模矢量来辅助滤出背景噪声，提高噪声抑制能力。本发明通过建立受空间邻域约束的目标函数求解最优掩模矢量以获得准确地观测似然概率；利用粒子滤波的预测与更新修正的递归滤波算法实现焊缝准确跟踪；本发明依据候选状态权重重采样，可以在提高效率同时保证越接近目标区域的信息越多，提高跟踪精度；跟踪过程能够实时对目标动态更新，学习当前帧跟踪的最优区域特征，可以避免初始目标模型退化导致跟踪精度下降。

Description

基于方向梯度直方图粒子滤波的焊缝跟踪方法

技术领域

本发明属于焊接领域，涉及焊缝自动跟踪技术，由其是一种基于方向梯度直方图粒子滤波的焊缝跟踪方法。

背景技术

焊接机器人在现场焊接过程中，为使得跟踪精度高，激光视觉传感器超前于焊枪，激光条纹与焊缝间距较小。小间距使得激光视觉传感器受焊接现场反光电弧光、烟尘和飞溅等因素的干扰，现场采集到的焊缝图像中往往覆盖有大量噪声，导致特征信号不明显甚至被淹没，使得实际焊缝特征获取精度难以达到系统的理论精度，焊缝纠偏控制会产生误差，影响焊接质量。

发明内容

本发明的目的在于克服现有技术的不足之处，提供一种基于方向梯度直方图粒子滤波的焊缝跟踪方法，解决从含有强烈噪声干扰的图像中实时、准确地识别出焊缝位置的问题，满足焊接机器人在焊接过程中实时性、可靠性和高精度的要求。

实现本发明的技术方案如下：

1、一种基于方向梯度直方图粒子滤波的焊缝跟踪方法，其特征在于：步骤如下：

(1)初始化焊缝跟踪目标；

(2)提取焊缝目标的方向梯度直方图特征，用特征向量y_d表示，

y_d＝Hog(x₀)，y_d∈R^n×1，x₀为初始无弧光焊缝状态，y_d∈R^n×1为n维向量，n是计算Hog特征时的特征向量数；

(3)利用粒子滤波实现焊缝跟踪：粒子滤波过程就是利用式(1)递归算法从t-1时刻的各个粒子状态

和当前t时刻的观测值y_t递归计算出当前t时刻的目标状态

并按式(2)进行最优目标状态

估计的过程；

SIR代表粒子滤波过程，

为t-1和t时刻第i个粒子状态在估计最优目标状态

时需要的权重值；

是对每个粒子权重

归一化后的值；

为粒子状态的观测似然概率；

⊙表示Hadamard积，λ_t＝(λ₁,λ₂,…λ_n)^T表示t时刻对应的掩模矢量；

为t时刻第i个粒子状态观测的特征向量；

t时刻第i个粒子最优的掩模矢量

为：

式中，

约束了特征向量中相邻区域的局部相关性，E表示邻近特征点所组成的集合，β_jj'为邻域各特征之间的相互作用系数，用于控制掩模的平滑程度，β为噪声系数，控制噪声水平，

为掩模矢量

第j个元素的掩模数值，

为掩模矢量

第j个元素邻域的掩模数值；

求解出

后，可根据公式(2)递归计算出最优目标状态

从而得到焊缝位置信息实现焊缝目标跟踪。

(4)步骤(3)完成后需要对焊缝目标特征进行动态更新，更新时对当前时刻获取的最优目标状态对应的特征向量

结合掩模矢量

进行学习，学习率设为α，更新后的新的目标特征向量为：

(5)根据粒子的权重，对粒子候选状态进行重采样实现粒子状态转移，为下一时刻跟踪迭代做准备。

按照图2设计的算法流程图实现焊缝自动跟踪。首先在未起弧的焊缝图像中初始化焊缝跟踪目标，利用传统检测算法即可检测出需要跟踪的焊缝拐点初始位置，并确定如图1(c)所示的待跟踪焊缝跟踪目标区域。然后提取焊缝目标的方向梯度直方图特征，用特征向量y_d表示，特征向量在焊缝图像中可视化结果如图3所示。然后利用粒子滤波实现焊缝跟踪，利用上一时刻粒子状态

预测当前时刻的粒子状态

并结合粒子权重进行更新修正得到最优估计

当前时刻计算的候选状态

和权重

进行存储用来预测下一帧焊缝候选状态。跟踪过程中，候选状态

的选择依据权重进行重采样实现下一帧状态转移得到，权重的获取通过计算观测似然概率

递推计算获得，

的计算通过公式(4-6)计算得到，焊缝目标特征通过公式(7)动态更新。通过不断地递推计算实现图4所示的焊缝自动跟踪。

本发明的优点和有益效果：

1、本发明设计了一种基于梯度直方图粒子滤波的焊缝自动跟踪方法。采用方向梯度特征向量来表示跟踪区域，利用图像方向梯度信息并非灰度特征，因此在弧光信息干扰中能更好地表示焊缝激光线的偏折特征，并利用掩模矢量来辅助滤出背景噪声，提高噪声抑制能力。

2、本发明通过建立受空间邻域约束的目标函数求解最优掩模矢量以获得准确地观测似然概率；利用粒子滤波的预测与更新修正的递归滤波算法实现焊缝准确跟踪；

3、本发明依据候选状态权重重采样，可以在提高效率同时保证越接近目标区域的信息越多，提高跟踪精度；跟踪过程能够实时对目标动态更新，学习当前帧跟踪的最优区域特征，可以避免初始目标模型退化导致跟踪精度下降。通过以上措施满足焊接机器人在自动焊接过程中，尤其受弧光和飞溅强烈干扰时，对实时性、可靠性和高精度的要求。

附图说明

图1(a)为未起弧焊缝激光条纹图；

图1(b)为带弧光焊接激光条纹图；

图1(c)为焊缝特征点与跟踪目标区域指示图；

图2为焊缝自动跟踪算法流程图；

图3为焊缝Hog特征向量可视化指示图；

图4为焊缝自动跟踪结果图。

具体实施方式

下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

自动焊接时，激光视觉传感器投射的激光条纹投射到焊接工件表面会因坡口形状发生条纹偏折，如图1(a)(b)所示。因此以条纹偏折点作为焊缝跟踪时的特征点，以该点为中心选取一定矩形区域内激光条纹作为跟踪目标，如图1(c)所示。焊接过程中会因为弧光、飞溅等干扰，因此焊缝跟踪目的就是从这些复杂的背景噪声中准确提取焊缝跟踪目标并计算出其准确位置。为表示不同时刻焊缝目标的状态信息，利用仿射变换6个参数来建立焊缝目标位置和姿态变化的模型，因此t时刻焊缝目标的状态为：

其中u_t,v_t代表平移变换、

代表尺寸变换，α_t代表旋转变换，β_t代表错切变换。

根据贝叶斯理论，焊缝跟踪就是焊缝目标的状态估计问题，就是根据之前一系列的已知数据递推计算出当前状态x_t的可信度。跟踪过程通过预测和更新两个步骤来递推计算：

1)预测：预测过程是利用系统模型预测当前状态x_t的先验概率，通过焊缝目标运动状态转移特点对当前状态进行猜测。焊缝跟踪过程可以认为是服从一阶马尔科夫模型的，即当前状态x_t可根据上一时刻的焊缝状态x_t-1进行预测得到。相邻两帧焊缝激光条纹图像特征变换较小，因此可以认为是服从高斯分布的运动模型，据此得到焊缝当前状态预测的先验概率：

p(x_t|x_t-1)＝N(x_t；x_t-1,ψ) (1)

公式中ψ为对角协方差矩阵，其元素为仿射变换6个参数的方差。

2)更新修正：更新的过程是利用t时刻和之前所有观测值y_1:t＝{y₁,y₂,…,y_t}对预测状态进行修正，根据贝叶斯公式计算出当前状态x_t的后验概率：

p(x_t|y_1:t)∝p(y_t|x_t)∫p(x_t|x_t-1)p(x_t-1|y_1:t-1)dx_t-1 (2)

式中，p(y_t|x_t)为观测值的似然概率，p(x_t-1|y_1:t-1)为已经求得的上一时刻的后验概率。式(2)中能够得到最大后验概率的状态x_t即为当前时刻的最佳位置状态估计

综上，焊缝跟踪就是通过不断地递推计算来寻找t时刻最大后验概率的状态信息

根据公式(2)知，计算最大后验概率存在两个关键步骤，一是需要准确确定t时刻观测值的似然概率p(y_t|x_t)，因而需要准确有效的算法对焊缝目标进行建模、求解，并实现模型稳定的动态更新，以准确体现焊缝特征并抑制噪声；二是公式(2)的后验概率的计算包含高维积分问题，无法直接应用求解出解析解，因此需要转化为可实施的数值算法。

因此，本方案提出了一种基于Hog粒子滤波的焊缝跟踪算法。通过计算和统计图像局部区域的梯度方向直方图来构成特征向量来对观测焊缝目标进行建模，设计出观测值的似然函数p(y_t|x_t)，Hog特征能突显出焊缝目标图像中激光条纹的偏折信息，并以掩模矢量作为辅助来区别目标模型中的激光条纹和背景噪声信息，提高跟踪的可靠性。针对后验概率数值积分问题，利用随机蒙特卡罗方法也称为粒子滤波方法，从公式(1)先验概率分布中预测候选样本状态，从而把公式(2)积分问题转换为求和问题求解。

1.基于Hog粒子滤波的焊缝跟踪算法流程

本方案根据跟踪原理设计的基于Hog粒子滤波的焊缝跟踪算法流程原理图如图2所示，首先在起弧前初始化焊缝跟踪目标，然后提取焊缝目标的Hog特征，然后通过粒子滤波算法流程求得最优的焊缝目标状态。具体的步骤如下：

1)初始化焊缝跟踪目标

焊缝跟踪前提需要确定跟踪的焊缝目标，因此初始化过程中焊机并未起弧，不受弧光和飞溅干扰，因此传统检测算法即可检测出需要跟踪的焊缝拐点初始位置。例如，利用焊缝条纹中心位置结合二阶差分梯度的方法即可定位焊缝初始位置，并以初始位置为中心，根据实际需要设定一定尺寸大小的目标进行跟踪，如图1(c)所示。

2)提取焊缝目标的梯度特征，即方向梯度直方图特征

准确地表示激光焊缝图像特征得到焊缝的观测量y_t是得到焊缝准确位置信息的关键。根据焊缝激光图像知，图像是灰度图像，焊缝激光条纹与背景图区别是较亮的灰度值，但弧光也会引起灰度的剧烈变化，容易引起干扰，但同弧光相比，焊缝拐点处具有较规则的梯度走势。因此本方案描述焊缝目标采用的是梯度特征，采用梯度方向直方图描述子(HOG算子)对该目标区域提出特征，即统计目标区域的梯度方向的信息作为目标图像区域的表征，为得到最优跟踪目标，初始化时，可采集多幅焊缝目标梯度直方图的均值，提取焊缝特征向量用y_d表示：

y_d＝Hog(x₀)，y_d∈R^n×1 (4)

x₀为初始无弧光焊缝状态，y_d∈R^n×1为n维向量，n是计算Hog特征时的特征向量数，Hog计算原理是将图像分成小的单元(Cell)进行计算各像素点各个方向的梯度，然后按划分的块(Block)统计梯度的方向直方图，通常采用9个方向维度(bin)进行统计。最后把这些直方图组合起来就可以构成Hog特征向量。因此n由计算梯度直方图时对目标区域划分的窗口中的块数N_block、单元数N_cell和单元内统计的方向梯度维数N_bin决定：

n＝N_block×N_cell×N_bin (5)

图3显示的是图1(c)中焊缝激光条纹图左右两边跟踪目标提取的焊缝Hog特征向量后可视化的结果，图中可以看出梯度方向能很好地跟踪焊缝条纹的偏折信息。

3)粒子滤波

粒子滤波过程就是利用式(6)递归算法从t-1时刻的各个粒子状态

和当前t时刻的观测值y_t递归计算出当前t时刻的目标状态

并按式(7)进行最优目标状态

估计的过程：

式中，SIR代表粒子滤波过程。

为t-1和t时刻第i个粒子状态在估计最优目标状态

时需要的权重值。

是对每个粒子权重

归一化后的值，决定目标状态估计结果的关键变量是

的采样选择和对应的权重

的计算。

a)依重要性采样：粒子滤波算法是基于蒙特卡罗随机采样的计算过程，因此候选状态

的选择对目标估计起着关键性影响。因为相邻帧的焊接激光条纹图的位置变化有趋势性，焊缝拐点位置具有可预测性。根据上一时刻焊缝的状态信息，在目标区域附近按高斯分布的运动模型撒粒子，离目标区域越近，粒子数越多，提高跟踪精度；离目标远的区域也能有粒子进行采样，因此还具有大区域搜索目标的特点，可以避免焊缝位置发生突变或焊缝图像缺失时跟踪失败。根据公式(1)从分布p(x_t|x_t-1)抽样得到N个粒子候选状态

因此候选状态满足依据重要性采样分布的概率：

b)权重计算：通过粒子滤波采样的方式，式(2-3)根据后验概率得到最优估计公式可以转化转换为公式(7)求和问题得到

当前时刻各粒子的权重

按式(9)由上一时刻的权重

递归计算得到，并依赖于t时刻第i个粒子状态的观测值

的观测似然概率分布

综上，焊缝跟踪的粒子滤波过程是当前时刻的粒子状态

由上一时刻粒子状态

预测，并结合粒子权重进行更新修正得到最优估计

当前时刻计算的候选状态

和权重

进行存储用来预测下一帧焊缝候选状态。由于需要递推计算，因此需要初始时刻给出初始权重，初始时设定权重相等即

i＝1,2,…,N，用于后续递归运算和统计决策。焊缝跟踪的递推计算需要求解各个粒子状态的观测似然概率

4)提取候选状态的观测似然概率

本方案利用Hog特征表征焊缝特征，首先针对每个候选状态

利用Hog算子提取对应的焊缝特征向量

然后根据候选状态观测特征向量

与焊缝目标特征向量y_d之间的距离或相似度可以构建如式(10)的观测似然函数：

式中，⊙表示Hadamard积，λ_t＝(λ₁,λ₂,…λ_n)^T表示t时刻对应的掩模矢量，引入掩模矢量是为了更准确地表示受弧光干扰后的焊缝特征信息，λ_i＝1表示焊缝该特征为焊缝激光条纹上的特征，λ_i＝0表示为背景或弧光等噪声点的特征，视为异常点，可在(10)观测似然函数中的计算中滤除噪声的影响。因此跟踪问题转化为求各个时刻的最优的掩模矢量

最优的掩模矢量

的解应使式(10)得到最大的观测似然概率，同时掩模矢量之间并不完全独立，相邻的特征之间具有局部相关的性质，因此为准确反应特征矢量中激光条纹分布的潜在结构和噪声的随机性，对(10)添加一定的空间邻域约束构建式(11)目标函数：

式中，

约束了特征向量中相邻区域的局部相关性，E表示邻近特征点所组成的集合，β_jj'为邻域各特征之间的相互作用系数，用于控制掩模的平滑程度，β为噪声系数，控制噪声水平。

对目标函数(11)最小值利用Levenberg-Marquardt非线性优化算法求解得到掩模矢量的最优解：

进而利用式(10)求得各候选状态的观测似然概率。

5)焊缝定位与目标动态更新

求解出各个候选状态的观测似然概率

后，可根据公式(7-9)递归计算出最优目标状态

从而得到焊缝位置信息实现焊缝目标跟踪，用于机器人焊接控制保证焊接精度。依据概率最优原则进行粒子滤波跟踪的结果如图4所示。图中点表示根据粒子状态选取的候选位置，根据观测似然概率计算的权重，估计出最优粒子状态确定的焊缝目标和位置，在图4中用框表示。

为修正焊缝跟踪时获取图像中的因弧光等引起的噪声，克服噪声的叠加对下一时刻特征变换产生的影响，避免初始焊缝目标模型退化导致跟踪精度下降，必须对焊缝目标特征动态更新。更新时对当前时刻获取的最优目标状态对应的特征向量

结合掩模矢量

进行学习，学习率设为α，更新后的新的目标特征向量为：

6)依重要性采样与粒子状态转移

根据粒子的权重，对粒子候选状态进行重采样实现粒子状态转移，为下一时刻跟踪迭代做准备，根据第3步获得的权重重采样，相似度高的粒子周围多复制候选状态，相似度低的地方少复制候选状态。根据重采样的结果来预测下一帧焊缝粒子候选状态位置，可以在提高效率同时保证越接近目标区域的信息越多，提高跟踪精度。重采样对粒子候选状态进行转移后，回到第3步进行下一帧焊缝图像的跟踪。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (3)

1.一种基于方向梯度直方图粒子滤波的焊缝跟踪方法，其特征在于：步骤如下：

(1)初始化焊缝跟踪目标；

(2)提取焊缝目标的方向梯度直方图特征，用特征向量y_d表示，

y_d＝Hog(x₀)，y_d∈R^n×1，x₀为初始无弧光焊缝状态，y_d∈R^n×1为n维向量，n是计算Hog特征时的特征向量数；

(3)利用粒子滤波实现焊缝跟踪：粒子滤波过程就是利用式(1)递归算法从t-1时刻的各个粒子状态

和当前t时刻的观测值y_t递归计算出当前t时刻的目标状态

并按式(2)进行最优目标状态

估计的过程；

SIR代表粒子滤波过程，

为t-1和t时刻第i个粒子状态在估计最优目标状态

时需要的权重值；

是对每个粒子权重

归一化后的值；

为粒子状态的观测似然概率；

⊙表示Hadamard积，λ_t＝(λ₁,λ₂,…λ_n)^T表示t时刻对应的掩模矢量；

为t时刻第i个粒子状态观测的特征向量；

t时刻第i个粒子最优的掩模矢量

为：

式中，

约束了特征向量中相邻区域的局部相关性，E表示邻近特征点所组成的集合，β_jj'为邻域各特征之间的相互作用系数，用于控制掩模的平滑程度，β为噪声系数，控制噪声水平，

为掩模矢量

第j个元素的掩模数值，

为掩模矢量

第j个元素邻域的掩模数值；

求解出

后，可根据公式(2)递归计算出最优目标状态

从而得到焊缝位置信息实现焊缝目标跟踪。

2.根据权利要求1所述的基于方向梯度直方图粒子滤波的焊缝跟踪方法，其特征在于：步骤(3)完成后需要对焊缝目标特征进行动态更新，更新时对当前时刻获取的最优目标状态对应的特征向量

结合掩模矢量

进行学习，学习率设为α，更新后的新的目标特征向量为：

3.根据权利要求1或2所述的基于方向梯度直方图粒子滤波的焊缝跟踪方法，其特征在于：根据粒子的权重，对粒子候选状态进行重采样实现粒子状态转移，为下一时刻跟踪迭代做准备。

Images