CN109434251A - 一种基于粒子滤波的焊缝图像跟踪方法 - Google Patents

Abstract

本发明公开一种基于粒子滤波的焊缝图像跟踪方法，包括以下步骤：图像采集、图像预处理、图像分割、特征提取、串口通讯；本发明采用粒子滤波跟踪方法提取焊缝图像特征，即激光线拐点坐标，获得焊缝在图像中的位置；可减少焊缝位置发生突变或焊缝图像缺失时跟踪失效的问题；本发明所述方法能够在强烈噪声干扰下快速、准确地识别焊缝特征位置，为焊缝跟踪提供一种有效方法。

Description

一种基于粒子滤波的焊缝图像跟踪方法

技术领域

本发明属于视觉跟踪系统技术领域，尤其涉及一种基于粒子滤波的焊缝图像跟踪方法。

背景技术

图像的处理与识别是焊缝自动跟踪视觉系统中的关键技术，这一技术首先通过传感器获取原始图像，再由计算机对图像进行处理分析，最后获取所需的图像特征信息。

中国CN201610301581.1号专利公开了一种三维智能激光视觉跟踪焊接系统,其特征在于：包括：视觉传感器、行走单元和智能控制单元、焊机，所述视觉传感器采集的焊缝信息输出到智能控制单元，智能控制单元对该信息进行处理后分别给行走单元和焊机下达行走和焊接指令。本发明，达到了如下效果：(1)系统设计简单，实用性强，成本低；(2)解决了三维焊接视觉跟踪的技术难题；(3)应用广泛，该系统不仅可用于焊接领域，还可以用于导航、勘探等其他领域。(4)操作简单，使用方便，具有极大的市场推广价值。该系统受噪音影响较大，误差较大。

中国CN200910089311.9号专利公开了一种结构光图像焊缝跟踪的二维位置信息提取方法，该方法通过一个结构光图像焊缝跟踪传感器获取焊缝图像，传感器对此图像进行处理，从而获得焊缝的中心位置，为焊缝跟踪提供信息。利用前一帧图像和后一帧图像的比较，同时获取焊缝的左右和高低的位置偏差信息，为焊缝跟踪提供参考数据。通过该方法，只采用一个传感器，从而降低了设备成本。本发明可用于机器人焊接的焊缝自动跟踪，原理简单，数据处理方便，算法可靠，容易实现，硬件成本低。该提取方法受焊接电弧光、飞溅、烟尘等因素影响较大。

对于激光视觉焊缝跟踪系统，由于激光视觉传感器超前于焊枪，激光条纹与焊枪有一定间距，该间距愈小则更容易实现精确的焊缝跟踪。当间距减少时，受焊接电弧光、飞溅、烟尘等因素影响，现场采集的焊缝图像覆盖了大量噪声，导致特征信号不明显甚至被淹没，使得实际焊缝特征获取精度难以达到系统的理论精度，焊缝纠偏控制会产生误差，影响焊接质量。描述焊缝，最重要的是找到拐点，确定了拐点即可描述焊缝了，提取焊缝的特征参数。目前的焊缝图像跟踪算法在强烈噪声干扰下识别焊缝特征参数存在着或算法复杂，或准确性不理想等问题。因此，急需设计一种基于粒子滤波的焊缝图像跟踪方法以解决上述问题。

发明内容

本发明的目的是针对现有技术存在的问题，提供一种基于粒子滤波的焊缝图像跟踪方法，通过粒子滤波能够对图像大目标区域搜索，可减少焊缝位置发生突变或焊缝图像缺失时跟踪失效的问题；本发明所述方法能够在强烈噪声干扰下快速、准确地识别焊缝特征位置，为焊缝跟踪提供一种有效方法。

为实现上述目的，本发明采用的技术方案是：

本发明提供一种基于粒子滤波的焊缝图像跟踪方法，包括以下步骤：

(1)图像采集：图像采集设备连续采集特征焊缝激光条纹图，发送至图像处理装置；

(2)图像预处理：对所获取的图像采用中值滤波方法进行图像去噪，然后采用拉普拉斯算子图像增强，提高激光条纹与周围背景对比度；

(3)图像分割：将预处理后的图像进行二值化处理，从而将焊缝激光条纹图像分割出来；

(4)特征提取：采用粒子滤波跟踪方法提取焊缝图像特征，即激光线拐点坐标，获得焊缝在图像中的位置；

(5)串口通讯：通过串口通讯将焊缝跟踪结果发送给PLC，进而控制执行机构进行相关运动。

本发明采用粒子滤波方法跟踪焊缝图像，对于有强烈噪声干扰因素下，仍能快速、准确的找到焊缝特征点。在实际焊接应用中，通过串口通讯将焊缝跟踪结果发送给PLC，进而控制执行机构进行相关运动，很好地提高了焊接自动化效率和焊接质量。

步骤(1)中，所述图像采集设备包括摄像机、激光器、滤光片，所述激光器发射激光倾斜照射待测元件，所述摄像机垂直采集焊缝激光条纹图。摄像机与激光器成20°夹角

步骤(4)中，所述粒子滤波跟踪方法包括：

1)初始化焊接目标：在无焊接弧光干扰情况下用传统算法检测出需要跟踪的焊缝拐点初始位置，并选取一定区域作为跟踪目标；

2)提取焊缝目标的方向梯度直方图：采用梯度方向直方图描述子对该目标区域提出特征，即统计目标区域的梯度方向的信息作为目标图像区域的表征，特征向量用表示；

3)初始化粒子：根据上一时刻焊缝的状态信息，在目标区域附近按高斯分布的运动模型撒粒子，离初始目标区域越近，粒子数越多，确定候选区域；

4)提取候选状态位置处的梯度方向直方图：采用梯度方向直方图描述子对候选区域提出特征，即统计候选区域的梯度方向的信息作为候选图像区域的表征，特征向量表示，表示第t帧的第i个候选粒子状态，存储当前所有候选状态位置；

5)粒子滤波：根据候选状态位置处的梯度方向直方图特征向量和焊缝目标的方向梯度直方图特征向量之间的距离或相似度，确定粒子后续状态的权重；

6)焊缝定位：根据步骤5)中粒子后续状态的权重，估计出最优粒子状态确定的焊缝位置；

7)目标特征矢量更新：对目标特征向量进行更新，更新时对当前帧处理的最优解对应的特征向量进行学习，学习率设为α，更新后的新的目标特征向量为：

8)重采样与粒子状态转移：根据粒子的权重，对粒子进行重采样，根据步骤5)获得的相似度重新撒粒子，根据重采样的结果来预测下一帧焊缝粒子候选状态位置；重采样对粒子候选状态进行转移后，回到步骤4)进行下一帧焊缝图像的跟踪。

步骤3)中，初始化粒子权重相等，用于后续统计决策。

步骤5)中，所述粒子滤波依据概率最优原则进行。

步骤6)中，所述焊缝位置的估计方法为：根据贝叶斯后验概率来估计出最优目标位置。

步骤6)中，所述焊缝位置的估计方法为：利用相似度对粒子位置进行加权的结果作为目标可能的位置。

与现有技术相比，本发明的有益效果是：

(1)本发明所述粒子滤波能够对图像大目标区域搜索，可减少焊缝位置发生突变或焊缝图像缺失时跟踪失效，算法简单、准确性较高；

(2)本发明所述一种基于粒子滤波的焊缝图像跟踪方法，对于有强烈噪声干扰因素下，仍能快速、准确的找到焊缝特征点。在实际焊接应用中，通过串口通讯将焊缝跟踪结果发送给PLC，进而控制执行机构进行相关运动，很好地提高了焊接自动化效率和焊接质量。

附图说明

图1是本发明所述一种基于粒子滤波的焊缝图像跟踪方法的流程示意图。

图2是本发明所述粒子滤波跟踪方法的流程示意图。

图3是实施例步骤(1)中图像采集的特征焊缝激光条纹图像。

图4是实施例步骤(2)中经过图像预处理后的焊缝图像。

图5是实施例初始化焊接目标中焊缝拐点初始位置检测确定初始跟踪目标区域示意图。

图6是实施例焊缝定位中焊缝跟踪结果示意图。

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。

实施例

本发明提供一种基于粒子滤波的焊缝图像跟踪方法，如图1所示，包括以下步骤：

(1)图像采集：图像采集设备连续采集特征焊缝激光条纹图如图3所示，发送至图像处理装置；

(2)图像预处理：对所获取的图像采用中值滤波方法进行图像去噪，然后采用拉普拉斯算子图像增强，提高激光条纹与周围背景对比度，如图4所示；

(3)图像分割：将预处理后的图像进行二值化处理，从而将焊缝激光条纹图像分割出来；

(4)特征提取：采用粒子滤波跟踪方法提取焊缝图像特征，即激光线拐点坐标，获得焊缝在图像中的位置；

(5)串口通讯：通过串口通讯将焊缝跟踪结果发送给PLC，进而控制执行机构进行相关运动。

步骤(1)中，所述图像采集设备包括摄像机、激光器、滤光片，所述激光器发射激光倾斜照射待测元件，所述摄像机垂直采集焊缝激光条纹图。摄像机与激光器成20°夹角

步骤(4)中，所述粒子滤波跟踪方法具体步骤如图2所示，包括：

1)初始化焊接目标：焊缝跟踪前提需要确定跟踪目标，因此初始化阶段先在无焊接弧光干扰情况下用传统算法检测出需要跟踪的焊缝拐点初始位置，并选取一定区域作为跟踪目标，如图5所示；

2)提取焊缝目标的方向梯度直方图：根据焊缝激光条纹图像知，图像是灰度图像，且焊缝激光条纹与背景图是黑白分明，具有较大的灰度变化；同弧光相比，焊缝拐点具有较规则的梯度走势。因此描述焊缝目标的梯度特征，采用梯度方向直方图描述子对该目标区域提出特征，即统计目标区域的梯度方向的信息作为目标图像区域的表征，特征向量用表示；

3)初始化粒子：初始化粒子中，因为相邻帧的焊接激光条纹图的位置变化有趋势性，焊缝拐点位置具有可预测性。根据上一时刻焊缝的状态信息，在目标区域附近按高斯分布的运动模型撒粒子，离初始目标区域越近，粒子数越多，确定候选区域；

4)提取候选状态位置处的梯度方向直方图：采用梯度方向直方图描述子对候选区域提出特征，即统计候选区域的梯度方向的信息作为候选图像区域的表征，特征向量表示，表示第t帧的第i个候选粒子状态，存储当前所有候选状态位置；

5)粒子滤波：粒子滤波中，获取新一帧的图像，根据候选状态位置处的梯度方向直方图特征向量和焊缝目标的方向梯度直方图特征向量之间的距离或相似度，确定粒子后续状态的权重；粒子滤波能够对图像大目标区域搜索，可减少焊缝位置发生突变或焊缝图像缺失时跟踪失效。

6)焊缝定位：候选粒子状态位置处的梯度方向直方图和目标的梯度方向直方图之间相似度体现了该区域是目标的置信度，可以把所有粒子位置根据贝叶斯后验概率来估计出最优目标位置。实际使用时可利用相似度对粒子位置进行加权的结果作为目标可能的位置。依据概率最优原则进行粒子滤波，然后根据粒子状态选取的候选位置，根据与跟踪目标的相似度进行概率计算的权重，估计出最优粒子状态确定的焊缝位置，如图6所示。

7)目标特征矢量更新：为修正焊缝跟踪时获取图像中的因弧光等引起的噪声，克服噪声的叠加对下一时刻特征变换产生的影响，避免初始目标模型退化导致跟踪精度下降，必须动态更新。对目标特征向量进行更新，更新时对当前帧处理的最优解对应的特征向量进行学习，学习率设为α，更新后的新的目标特征向量为：

8)重采样与粒子状态转移：依重要性采样与粒子状态转移，根据粒子的权重，对粒子进行重采样，根据步骤5)获得的相似度重新撒粒子，相似度高的粒子周围多撒，相似度低的地方少撒。根据重采样的结果来预测下一帧焊缝粒子候选状态位置；重采样对粒子候选状态进行转移后，回到步骤4)进行下一帧焊缝图像的跟踪。为提高精度可以多次重采样，为了提高检测速度，可减少重采样。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于粒子滤波的焊缝图像跟踪方法，其特征在于，包括以下步骤：

(1)图像采集：图像采集设备连续采集特征焊缝激光条纹图，发送至图像处理装置；

(2)图像预处理：对所获取的图像采用中值滤波方法进行图像去噪，然后采用拉普拉斯算子图像增强，提高激光条纹与周围背景对比度；

(3)图像分割：将预处理后的图像进行二值化分割处理，从而将焊缝激光条纹图像分割出来；

(4)特征提取：采用粒子滤波跟踪方法提取焊缝图像特征，即激光线拐点坐标，获得焊缝在图像中的位置；

(5)串口通讯：通过串口通讯将焊缝跟踪结果发送给PLC，进而控制执行机构进行相关运动。

2.根据权利要求1所述的一种基于粒子滤波的焊缝图像跟踪方法，其特征在于，步骤(1)中，所述图像采集设备包括摄像机、激光器、滤光片，所述激光器发射激光倾斜照射待测元件，所述摄像机垂直采集焊缝激光条纹图。

3.根据权利要求2所述的一种基于粒子滤波的焊缝图像跟踪方法，其特征在于，摄像机与激光器成20°夹角。

4.根据权利要求1所述的一种基于粒子滤波的焊缝图像跟踪方法，其特征在于，步骤(4)中，所述粒子滤波跟踪方法包括：

1)初始化焊接目标：在无焊接弧光干扰情况下用传统算法检测出需要跟踪的焊缝拐点初始位置，并选取一定区域作为跟踪目标区域；

2)提取焊缝目标的方向梯度直方图：采用梯度方向直方图描述子对该目标区域提出特征，即统计目标区域的梯度方向的信息作为目标图像区域的表征，特征向量用表示；

3)初始化粒子：根据上一时刻焊缝的状态信息，在目标区域附近按高斯分布的运动模型撒粒子，离初始目标区域越近，粒子数越多，确定候选区域；

4)提取候选状态位置处的梯度方向直方图：采用梯度方向直方图描述子对候选区域提出特征，即统计候选区域的梯度方向的信息作为候选图像区域的表征，特征向量表示，表示第t帧的第i个候选粒子状态，存储当前所有候选状态位置；

5)粒子滤波：根据候选状态位置处的梯度方向直方图特征向量和焊缝目标的方向梯度直方图特征向量之间的距离或相似度，确定粒子后续状态的权重；

6)焊缝定位：根据步骤5)中粒子后续状态的权重，估计出最优粒子状态确定的焊缝位置；

7)目标特征矢量更新：对目标特征向量进行更新，更新时对当前帧处理的最优解对应的特征向量进行学习，学习率设为α，更新后的新的目标特征向量为：

8)重采样与粒子状态转移：根据粒子的权重，对粒子进行重采样，根据步骤5)获得的相似度重新撒粒子，根据重采样的结果来预测下一帧焊缝粒子候选状态位置；重采样对粒子候选状态进行转移后，回到步骤4)进行下一帧焊缝图像的跟踪。

5.根据权利要求4所述的一种基于粒子滤波的焊缝图像跟踪方法，其特征在于，步骤3)中，初始化粒子权重相等，用于后续统计决策。

6.根据权利要求4所述的一种基于粒子滤波的焊缝图像跟踪方法，其特征在于，步骤5)中，所述粒子滤波依据概率最优原则进行。

7.根据权利要求4所述的一种基于粒子滤波的焊缝图像跟踪方法，其特征在于，步骤6)中，所述焊缝位置的估计方法为：根据贝叶斯后验概率来估计出最优目标位置。

8.根据权利要求4所述的一种基于粒子滤波的焊缝图像跟踪方法，其特征在于，步骤6)中，所述焊缝位置的估计方法为：利用相似度对粒子位置进行加权的结果作为目标可能的位置。