CN109919982B - 一种基于粒子滤波的多尺度目标跟踪改进方法 - Google Patents

Abstract

本发明属于移动目标跟踪领域，具体涉及一种基于粒子滤波的多尺度目标跟踪改进方法。包括以下步骤：根据目标的初始位置建立主粒子滤波，在目标中心的左上角、右上角、左下角、右下角设置四个辅助粒子滤波；利用方向梯度直方图方法分别提取五个粒子滤波区域的目标特征；利用DSST目标跟踪算法求取每个粒子滤波对应的位置响应值和尺度值；根据主粒子滤波进行粗目标定位；通过比较辅助粒子滤波和主粒子滤波的位置响应值和尺度值的大小，进行精确目标定位。在目标定位方面，本发明通过增加四个辅助粒子滤波提高了定位精度；在目标尺度方面，在目标的四周增加四个辅助粒子滤波，通过比较粒子滤波尺度的响应值可以有效解决目标整体尺度变化不一致的状况。

Description

一种基于粒子滤波的多尺度目标跟踪改进方法

技术领域

本发明属于移动目标跟踪领域，具体涉及一种基于粒子滤波的多尺度目标跟踪改进方法。

背景技术

目标跟踪是机器视觉的核心问题之一，是一个融合图像处理、模式识别、人工智能及自动控制等不同领域先进成果的高新技术，在军事制导、视频监控、医疗诊断、产品检测、虚拟现实等众多领域有重要的实用价值和广阔的发展前景。然而，由于被跟踪目标本身特征的多样性和外部环境的复杂性，目标跟踪一直是一个极富挑战性的课题。一个鲁棒的目标跟踪算法必须要能够解决跟踪过程中遇到的各种困难，如遮挡、旋转、尺寸变化、光照变化等,而其中尺度问题是难点之一。

尺度是目标跟踪中的常见情况。目标在跟踪的过程中可能因为拍摄角度的原因或者离镜头的远近导致目标尺度发生了改变，进而影响跟踪的精度。尺度问题造成了目标信息的不稳定甚至导致跟踪失败，而跟踪算法的关键在于搜索到足够的目标信息，判断目标的所在位置，所以尺度问题给目标跟踪的可靠性带来了很大困难。尺度变换分为整体尺度一致变换和整体尺度不一致变化，一个鲁棒的目标跟踪算法应该能够准确判断目标尺度的发生，并且利用目标的剩余信息继续跟踪目标。能否有效处理尺度问题，尤其是整体尺度不一致时，即左旋转和右旋转，是评价目标跟踪算法的重要依据。良好的处理尺度问题，对于提高目标跟踪算法的鲁棒性，具有非常重要的意义。

文章《Discriminative Scale Space Tracking》，利用方向梯度直方图即Histogram of Oriented Gradient，HOG方法提取目标特征，加入了尺度变换来对目标进行定位跟踪。该文章对尺度的处理是按照整体尺度一致变化的情况进行处理，没有考虑到整体尺度变化不一致时的场景，从而在部分场景中容易跟踪失败。本发明提出一种跟踪过程中目标发生整体尺度变化不一致时的处理算法，有效的改进了目标跟踪算法即Discriminative Scale Space Tracker，DSST算法在跟踪过程中容易跟丢的问题。

专利《一种利用自适应特征融合的多尺度目标跟踪方法》，提出了一种基于自适应特征融合的多尺度目标跟踪方法，利用了两种特征提取方法，分别为HOG特征和CN特征，提高了特征的丰富性，增加了目标的特征信息，达到了提高跟踪精度的效果，但是在目标尺度变化上，依然采用了DSST跟踪算法，没有解决目标尺度变化不一致的问题。

文章《Multi-task Correlation Particle Filter for Robust ObjectTracking》，使用了大量的粒子滤波和不同粒子滤波之间的相关性来改善目标跟踪的精度。由于结构复杂使得计算量过大，导致跟踪速度达不到实时要求。本发明在跟踪过程中仅仅使用5个粒子滤波，在保证跟踪精度的同时提高了运算速度。

目前，运动目标检测与运动目标跟踪的算法有很多种，解决了一些移动目标跟踪中的实际问题，例如DSST移动目标跟踪算法，该算法用两个相关滤波器来实现目标位置和目标尺度的预测，它们分别被定义为平移滤波器和尺度滤波器。平移相关滤波器用于进行当前帧目标的定位，尺度相关滤波器用于进行当前帧尺度的估计。这两个滤波器是相对独立的，因此这两个滤波器互不干扰，从而可以选择不同的特征种类和特征计算方式来训练和测试。该目标跟踪算法在应对各种不利因素，例如目标整体尺度一致变化、杂乱背景以及光照改变等情况时表现较为不错，然而对于存在较大形变与目标整体尺度不一致变化等问题表现不够好。因此本发明引入粒子滤波进行算法的改进，提高算法跟踪的准确度和鲁棒性。

发明内容

本发明的目的在于提供一种高精度定位的基于粒子滤波的多尺度目标跟踪改进方法。

一种基于粒子滤波的多尺度目标跟踪改进方法，具体包括以下步骤：

步骤1、根据目标的初始位置建立主粒子滤波，在目标中心的左上角、右上角、左下角、右下角设置四个辅助粒子滤波；

步骤2、利用方向梯度直方图即Histogram of Oriented Gradient，HOG方法分别提取五个粒子滤波区域的目标特征；

步骤3、利用DSST即Discriminative Scale Space Tracking目标跟踪算法求取每个粒子滤波对应的位置响应值和尺度响应值；

步骤4、根据主粒子滤波进行粗目标定位；

步骤5、通过比较辅助粒子滤波和主粒子滤波的位置响应值和尺度值的大小，进行精确目标定位；是否需要精确目标定位由尺度滤波器响应系数LP决定，如果LP大于指定阈值0.2，表明跟踪的目标发生了整体尺度不一致变化，需要目标依靠辅助粒子滤波重新定位；尺度滤波器相应系数LP为：

具体目标重定位为：

本发明的有益效果在于：

在目标定位方面，与一个单一的主粒子滤波来实现目标的重定位相比较，通过增加四个辅助粒子滤波可以达到提高定位精度的效果；在目标尺度方面，当整体尺度变化不一致时，单一的尺度滤波会导致错误的尺度估计和降低目标定位的准确度，在目标的四周增加四个辅助粒子滤波，通过比较粒子滤波尺度的响应值可以有效解决目标整体尺度变化不一致的状况。

附图说明

图1为本发明的流程图；

图2为主粒子与辅助粒子分布图；(a)为主粒子和四个辅助粒子图；(b)为主粒子与左上辅助粒子；(c)为主粒子和右上辅助粒子图；(d)为主粒子与左下辅助粒子；(e)为主粒子与右下辅助粒子；

图3为改进算法跟踪效果图；(a)为第1帧图像；(b)为第165帧图像；(c)为第230帧图像；(d)为第320帧图像；(e)为第850帧图像；(f)为第1340帧图像。

具体实施方式

下面结合附图，对本发明作进一步描述。

如附图1所示，为一种基于粒子滤波的多尺度目标跟踪改进方法的流程图，包括以下步骤：

步骤1：训练相关滤波器模板，并更新相关滤波器模板。获得一帧视频图像，判断是否是第一帧图像，如果是第一帧图像，在目标中心的左上角、右上角、左下角、右下角设置四个辅助点，并提取粒子区域的HOG特征，粒子区域分布如附图2所示。

目标跟踪算法采用HOG特征作为训练样本，把图像表示成一个d维的特征图，f表示从这个特征图中提取的目标区域的矩形。用f^l表示f的每一维度的特征，其中l∈{1,...,d}。最优相关滤波器为h，可以通过最小损失函数求得。每一维度的相关滤波器为h^l，最小损失函数为：

g表示训练样本f的期望相关输出，λ≥0是正则化参数。上式其实是岭回归的一个表达式，岭回归其实就是最小二乘法加上一个惩罚项，这里的惩罚项是

对ε按照MOSSE算法的公式进行求导，得：

为了得到一个鲁棒的近似，对式(2)的分子分母进行更新。

训练得到平移滤波器模型为

和尺度滤波器模型

保存目标框的中心点，返回并继续获取视频图像；如果不是第一帧图像，提取粒子区域的HOG特征，通过最新的滤波器模板与当前帧中预测目标框进行相关滤波运算。

步骤2：确定跟踪目标的位置y。当前帧目标的预估位置的采样特征为Z^trans。那么下一帧目标的位置为：

其中，y是向量Y_t的最大值。

步骤3：确定粒子滤波器尺度响应值。在新的一帧中，先用平移滤波器来确定目标的新位置，再以当前位置的中心为中心提取尺度不同的候选目标框，然后求取每个尺度的目标框的特征，组成一个二维矩阵，然后在用尺度模板和预测目标框进行相关运算，确定响应值最大的值对应的尺度，作为最终的目标的尺度。尺寸选择原则是：

P，R分别表示前一帧目标的宽和高，a和M分别表示为尺度因子和尺度数量。模型的更新和平移滤波器的更新方式相同。

其中，Z^scale是不同尺度特征组成的向量。s是向量S_t中的最大值。

步骤4：确定尺度滤波器响应系数LP。具体为：左上角辅助粒子滤波尺度响应值为p₁，右上角辅助粒子滤波尺度响应值为p₂，左下角辅助粒子滤波尺度响应值为p₃，右下角辅助粒子滤波尺度响应值为p₄，主粒子滤波尺度响应值为p₅，粒子滤波尺度响应值p₁～p₅根据其所在不同位置的模板由s获取，则尺度滤波器相应系数LP为：

如果LP大于指定阈值0.2，表明跟踪的目标发生了整体尺度不一致变化，需要目标依靠辅助粒子滤波重新定位，进入步骤五；如果LP小于指定阈值0.2，表明跟踪的目标没有发生了整体尺度不一致变化，进入步骤6。

步骤5：目标重定位的具体方位为：左上角辅助粒子相关滤波器响应值为F1，粒子位置为(x₁,y₁)，右上角辅助粒子相关滤波器响应值为F2，粒子位置为(x₂,y₂)，左下角辅助粒子相关滤波器响应值为F3，粒子位置为(x₃,y₃)，右下角辅助粒子相关滤波器响应值为F4，粒子位置为(x₄,y₄)，主粒子相关滤波器响应值为F，粒子位置为(x,y)，粒子相关滤波器响应值F和F1～F4根据其所在不同位置的模板由y获取，目标重定位为：

在重定位的位置(x,y)上进行主粒子滤波的模型更新和辅助粒子模板的更新。

步骤6：如果相关滤波器尺度相应系数LP≤0.2，根据公式(5)和公式(7)进行各粒子的定位和估计尺度，更新平移滤波器模板和尺度滤波器模板，返回步骤1。

Claims (1)

1.一种基于粒子滤波的多尺度目标跟踪改进方法，其特征在于，具体包括以下步骤：

步骤1：训练得到平移滤波器模型

和尺度滤波器模型

获得一帧视频图像，判断是否是第一帧图像，如果是第一帧图像，在目标中心的左上角、右上角、左下角、右下角设置四个辅助点，并提取粒子区域的HOG特征；如果不是第一帧图像，提取粒子区域的HOG特征，通过最新的滤波器模型与当前帧中预测目标框进行相关滤波运算；

步骤2：根据当前帧目标的预估位置的采样特征Z^trans，确定跟踪目标的位置y；

其中，y是向量Y_t的最大值；λ≥0是正则化参数；

步骤3：确定粒子滤波器尺度响应值；在新的一帧中，先用平移滤波器来确定目标的新位置，再以当前位置的中心为中心提取尺度不同的候选目标框，然后求取每个尺度的目标框的特征，组成一个二维矩阵，然后在用尺度模板和预测目标框进行相关运算，确定响应值最大的值对应的尺度，作为最终的目标的尺度；尺寸选择原则是：

P，R分别表示前一帧目标的宽和高；a和M分别表示为尺度因子和尺度数量；

其中，Z^scale是不同尺度特征组成的向量；s是向量S_t中的最大值；；

步骤4：确定尺度滤波器响应系数LP；如果LP大于指定阈值0.2，表明跟踪的目标发生了整体尺度不一致变化，需要目标依靠辅助粒子滤波重新定位，进入步骤5；如果LP小于指定阈值0.2，表明跟踪的目标没有发生了整体尺度不一致变化，进入步骤6；

其中，p₁为左上角辅助粒子滤波尺度响应值，p₂为右上角辅助粒子滤波尺度响应值，p₃为左下角辅助粒子滤波尺度响应值，p₄为右下角辅助粒子滤波尺度响应值，p₅为主粒子滤波尺度响应值；p₁～p₅根据其所在不同位置的模板由s获取；

步骤5：重新定位目标的位置(x,y)，在重定位的位置(x,y)上进行主粒子滤波的模型更新和辅助粒子模板的更新；

其中，左上角辅助粒子相关滤波器响应值为F₁，粒子位置为(x₁,y₁)；右上角辅助粒子相关滤波器响应值为F₂，粒子位置为(x₂,y₂)；左下角辅助粒子相关滤波器响应值为F₃，粒子位置为(x₃,y₃)；右下角辅助粒子相关滤波器响应值为F₄，粒子位置为(x₄,y₄)；主粒子相关滤波器响应值为F，粒子位置为(x,y)；粒子相关滤波器响应值F和F₁～F₄根据其所在不同位置的模板由y获取；

步骤6：进行各粒子的定位和估计尺度，更新平移滤波器模板和尺度滤波器模板，返回步骤1。

Images