CN108629797A - 一种基于粒子滤波的视觉目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于粒子滤波的视觉目标跟踪方法。针对目标跟踪算法在精度和鲁棒性上的要求，提出一种基于改进粒子滤波的视觉目标跟踪算法。首先，建立多种特征来描述目标外观模型，并对各特征分量的加权系数进行自适应调节；然后，利用分类重采样方法解决原始重采样方法中的粒子退化和匮乏问题；最后，提出一种新的模板更新机制，自适应选取运动模板或原始模板。实验结果表明，改进后的算法在具有挑战的跟踪视频序列上实验，具有良好的跟踪精度和鲁棒性，能够应对视频图像分辨率不高、目标转动变化、部分遮挡等复杂条件。本发明在军事方面包括无人飞行器、精确制导、空中预警、战场监视等；民用方面包括移动机器人、智能视频监控、智能交通系统、人机交互、虚拟现实等上也有较为广阔的应用前景。

Description

一种基于粒子滤波的视觉目标跟踪方法

技术领域

本发明涉及一种基于粒子滤波的视觉目标跟踪方法，尤其涉及一种基于多特征自适应融合、模板自适应更新以及优化重采样方法的粒子滤波目标跟踪方法，属于计算机视觉与智能信息处理领域。

背景技术

目标跟踪旨在连续估计预先确定的目标位置，是近十年来的热点研究方向，在很多实际应用中扮演着至关重要的角色，鲁棒的目标跟踪模块为进一步的高层视觉分析系统提供良好基础，广泛应用于军事和日常生活中，如：精确制导、视觉智能监控系统、驾驶辅助系统、智能机器人、人机交互、无人机监视、智能交通控制、姿态估计等领域。

基于粒子滤波视觉目标跟踪方法在技术上主要包括多特征提取、多特征自适应融合、优化重采样方法以及模板自适应更新机制几大部分。首先，在目标外观模型建立之前需要提取多个特征，如颜色特征、纹理特征、边缘特征、方向梯度特征等。其次，由于不同特征对目标模型的贡献存在差别，这种差别针对不同场景各不相同。例如，对于旋转变化严重的场景，颜色特征具有更好的区分度；对于光照变化厉害的目标，颜色特征的区分度小于其他特征；对于尺度变化较大时，纹理和边缘特征能较好的建立目标模型。因此，实际状态下有必要选择一种自适应融合多特征的方式。然后，使用分类重采样算法优化传统粒子滤波目标跟踪算法，减轻粒子退化现象，较好地避免了若干次迭代后粒子重要性权值波动剧烈的问题，防止累计效应致使粒子集的后验概率密度分布不准确，从而有效地表达下一帧目标的真实状态；最后，在目标模板更新方面，自适应地更新模板，解决传统框架下目标外观发生较大变化时，模板长时间不更新导致的目标框漂移问题。

发明内容

本发明提出了一种基于粒子滤波的视觉目标跟踪方法，目的就在于为解决上述问题而提供一种跟踪精确度较高的基于粒子滤波的视觉目标跟踪方法。

本发明通过以下技术方案来实现上述目的：

一种基于粒子滤波的视觉目标跟踪方法，包括以下步骤：

(1)提取描述目标外观模型的特征

相比传统的RGB颜色特征，HSV空间的颜色特征更符合人类视觉感知，从全局描述目标，是一个好的颜色描述算子。但是在跟踪这一特定应用背景下，图像中被自身遮挡和其他遮挡的区域出现在目标的外围，因此引入能表征空间信息的核函数变得很有必要，这样使得不同位置的像素点有不同的权重值，从而更精确地表征目标颜色模型。算法中的核函数采用Comaniciu D等人提出的Epanechnikov核函数，函数定义如下：

其中，C_d为d维单位球的体积，r为目标区域中的点到区域中心点的距离。用表示以y为中心点的目标区域的分布，受到的约束，计算如下：

其中，目标区域的总像素数为N，x_i为其第i个像素点的坐标，x_i处像素点对应在直方图中的索引值为b(x_i)，δ[·]为狄拉克函数，u为直方图的索引区间，参数(w和s分别为目标矩形的半宽和半高)，标准归一化系数为M表示子区域，统计构成该特征直方图。

考虑计算复杂度因素，本方法选择LBP算法的纹理特征进行融合。LBP(LocalBinary Pattern)反映图像中色彩与灰度的变换关系，具有对旋转不敏感的优势及抗光性能，还能解决目标与背景颜色相似干扰的问题。该特征描述的目标模型，能有效解决场景变化导致跟踪性能差的问题。本方法采用3*3的圆形子区域，使纹理特征更好地适应不同尺度。邻域里的像素点经过门限函数处理，便可以算得中心点像素的LBP值。具体计算公式如下：

式中符号函数g_c表示在局部区域中心像素的灰度值，g_p(p＝0,...,p-1)对应以半径为R(本方法取1个像素，即P＝8)的圆弧上单位像素间隔的8个点。

边缘出现在图像中亮度急剧变化的区域，使目标与背景分离具有很大优势，目标的微弱运动都会使边缘特征发生很大变化，因此本方法选用边缘特征进行目标建模意义较大。首先灰度化图像，然后用sobel算子计算出感兴趣区域的正交方向上的梯度G_x和G_y，再计算出每个像素点I(x,y)的梯度幅值G和相角θ，最后通过归一化得到边缘方向直方图。

HOG特征即用梯度信息和边缘的方向密度分布来描述一副图像中局部目标的纹理和形状，能够避免目标平动和转动的干扰，使用该特征来描述外观模型时不受光照变化妨碍，计算公式如下：

G_x(x,y)＝H(x+1,y)-H(x-1,y) (5)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (6)

其中，图像为H(x,y)，计算两个正交方向上的梯度：G_x,G_y，幅值大小为：方向为：与前文采用核函数计算颜色特征类似，可以得到该特征的加权直方图。

(2)多特征的自适应融合

该算法框架下，通过相似性度量函数来计算粒子的权重值，为了较好地实现相似性度量，需要寻找特征模型的建立方法，常用的是直方图度量模式。本方法采用Bhattacharyya系数来度量离散概率分布的相似性，从而进一步算得粒子的权重值。两个离散概率分布为p_u和q_u，n是直方图的维数，权重值计算公式如下：

其中m为Bhattacharyya系数为：m值的大小反映目标模型与候选模型差异大小，越大说明该模型更可靠。i表示特征种类，t表示当前帧数。

由前面的计算方法可以得到几种特征所对应的粒子权重和由于不同特征对目标模型的贡献存在差别，这种差别针对不同场景各不相同。例如，对于旋转变化严重的场景，颜色特征具有更好的区分度；对于光照变化厉害的目标，颜色特征的区分度小于其他特征；对于尺度变化较大时，纹理和边缘特征能较好的建立目标模型。因此，实际状态下有必要选择一种自适应融合多特征的方式，采用前面的Bhattacharyya系数计算方法，得到每种特征的实时匹配度分别为和再通过归一化计算每种特征的权重(t表示当前帧，f表示特征)，归一化计算公式如下：

最终得到一种自适应融合的策略，其融合方式的计算公式：

(3)分类重采样算法

在传统粒子滤波算法中，重采样算法的原理只是简单地删除权重小的粒子，保留并复制权重大的粒子。经过若干次迭代递推后，不但没有解决退化问题，还会出现样本枯竭，粒子多样性缺失等问题，致使粒子集不能有效表达状态的后验概率分布，再加上长时间目标跟踪时的累计效应，导致跟踪框漂移。所以，选择一个好的重采样算法来实现既把小权重粒子淘汰了，又能保证粒子还具有多样性，显得尤为重要。因此，本方法采用的分类重采样算法有重要意义。设计复制次数与权值大小的关联算法，每一代的粒子总数仍不变(本方法粒子总数为N＝50)。粒子筛选和复制方案如下：

i粒子筛选方案

首先在0～1/N中选择随机数u(即随机种子数)，并将当前时刻每个粒子的权重与其对比，以权重u作为门限值，淘汰权重低于门限u的粒子，保留权重高于门限u的粒子，计算筛选出的粒子总数C，再按照权重大小依次排序，并计算平均权重means。

ii粒子的复制方案

每一代粒子总量保持恒定，则需要对权重较高的粒子进行策略性地复制。设置一个门限值为N_p，通过比较C与N_p的大小关系制定粒子复制策略：①当C≥N_p时，说明权重分方差小，分布较为均匀，为了保证尽可能地多次复制大权值粒子，设定每个粒子的复制次数为小于或等于的最大整数；②当C＜N_p时，说明粒子权重分布方差大，权重极大和极小的分布极端，为了体现权值大的粒子，复制次数大于或等于的最小整数。

iii新粒子产生方案

当新一代粒子的权重分布极其恶劣，会出现C个粒子按照上述策略处理后，仍不足设定的总数N的情况。这种情况下，为了弥补粒子的多样性，不再直接用权重较大的粒子繁衍，而是将大权值粒子叠加一个高斯噪声后得到新粒子再用策略复制产生新粒子，直到粒子总数为N时结束这一过程。

(4)模板更新策略

由于存在目标旋转、角度变化、运动方向变化等复杂因素的影响，传统的粒子滤波目标跟踪算法使用固定的模板会出现较大的跟踪误差甚至导致跟踪失败。因此，需要对模板进行策略性地更新，如果目标模板更新过快，较多的背景信息又会引入，产生模板漂移，导致丢失目标，或者更新模板较慢，同样会出现跟踪误差。本方法选择一个不断更新的模板(运动模板)和原始模板自适应选取的方式。首先分别求出候选目标区域与初始模板、运动模板的颜色直方图的距离，如果与初始模板更相似，则选用初始模板进行跟踪，否则，选取运动模板。其中原始模板和运动模板分别用T_o和T_c表示，目标模板用T表示，具体选取规则如下：

用α＝0.2表示模板更新系数，上一帧和当前帧的模板分别为T_t-1,T_t，模板T_c的更新方程：

T_c＝αT_t+(1-α)T_t-1 (11)

同时，为了防止过快或者过慢更新模板时出现跟踪误差，引入一个原始模板和运动模板之间的距离阈值d_thr来约束：

d(T_o,T_c)＞d_thr (12)

本发明的有益效果在于：本发明所建立的目标模型精确度高，模板更新策略合理，避免了目标跟踪漂移等难题，还可以达到实时跟踪的要求。因此，在军事方面包括无人飞行器、精确制导、空中预警、战场监视等；民用方面包括移动机器人、智能视频监控、智能交通系统、人机交互、虚拟现实上也有较为广阔的应用前景。

附图说明

图1是本发明所述视觉目标跟踪方法的整体流程图

图2是本发明所述视觉目标跟踪方法在具有代表性的两段序列上实验得到的跟踪精度图

具体实施方式

下面结合附图对本发明作进一步说明：

如图1所示，一种基于粒子滤波的视觉目标跟踪方法，包括以下步骤：

(1)建立目标外观模型提取颜色特征、纹理特征、边缘特征以及方向梯度特征；

(2)对提取的各种视觉特征进行自适应融合；

(3)模板更新策略，本方法构建一个不断更新的模板(运动模板)和原始模板自适应选取的方式；

(4)分类重采样算法实现既把小权重粒子淘汰了，又能保证粒子还具有多样性；

具体地，所述步骤中，首先，在目标外观模型建立之前需要提取多个特征，如颜色特征、纹理特征、边缘特征、梯度方向特征等。其次，由于不同特征对目标模型的贡献存在差别，这种差别针对不同场景各不相同。例如，对于旋转变化严重的场景，颜色特征具有更好的区分度；对于光照变化厉害的目标，颜色特征的区分度小于其他特征；对于尺度变化较大时，纹理和边缘特征能较好的建立目标模型。因此，实际状态下有必要选择一种自适应融合多特征的方式。然后，使用分类重采样算法优化传统粒子滤波目标跟踪算法，减轻粒子退化现象，较好地避免了若干次迭代后粒子重要性权值波动剧烈的问题，防止累计效应致使粒子集的后验概率密度分布不准确，从而有效地表达下一帧目标的真实状态；最后，在目标模板更新方面，自适应地更新模板，解决传统框架下目标外观发生较大变化时，模板长时间不更新导致的目标框漂移问题。

如图2所示是本发明所述方法在上的跟踪精度分析结果，其中，横轴表示帧数，纵轴表示用欧氏距离来度量实际位置与标准位置中心之间的距离(单位：像素)。Panda序列较长，采用前300帧测试，Airplane采用前200帧测试。

为了验证本发明所述基于粒子滤波的视觉目标跟踪方法的准确性和有效性，下面通过实验进行详细的分析比较：

实验环境：开发环境为VS2010,图像处理库为Opencv2.4.9；计算机硬件配置为Intel Core i5，主频为3.2GHz，内存为4GB，64位Windows10操作系统；实验代码采用C++语言编写。表1列出了几种算法在两段视频序列上的跟踪成功帧数(跟踪成功帧定义为实际框与标准框的面积之比大于0.8，即与手工标定区域的覆盖率)和跟踪失败帧数，以及运行时间。可以看出，本方法的跟踪精度更高，由于建立了多种特征，跟踪速率有一定降低，但仍然满足实时性的要求。

表1视频序列的跟踪成功帧数、失败帧数以及运行时间

Claims (5)

1.一种基于粒子滤波的视觉目标跟踪方法，包括以下步骤：

(1)提取描述目标外观模型的特征，包括颜色特征、边缘特征、纹理特征以及方向梯度特征；

(2)设计多特征自适应融合算法，对提取的几种视觉特征进行自适应加权融合，使该方法能够在不同自然场景下有较好的适应能力；

(3)使用分类重采样算法优化传统粒子滤波目标跟踪算法，减轻粒子退化现象，较好地避免了若干次迭代后粒子重要性权值波动剧烈的问题，防止累计效应致使粒子集的后验概率密度分布不准确，从而有效地表达下一帧目标的真实状态；

(4)在目标模板更新方面，提出一种自适应模板更新机制，解决传统框架下目标外观发生较大变化时，模板长时间不更新导致的目标框漂移问题。

2.根据权利要求1所述的基于粒子滤波的视觉目标跟踪方法，在所述步骤(1)中，提取描述目标外观模型的特征：颜色特征采用HSV空间的，相比传统的RGB颜色特征，HSV空间的颜色特征更符合人类视觉感知，从全局描述目标，是一个好的颜色描述算子；但是在跟踪这一特定应用背景下，图像中被自身遮挡和其他遮挡的区域出现在目标的外围，因此引入能表征空间信息的核函数变得很有必要，这样使得不同位置的像素点有不同的权重值，从而更精确地表征目标颜色模型；算法中的核函数采用Comaniciu D等人提出的Epanechnikov核函数，函数定义如下：

其中，C_d为d维单位球的体积，r为目标区域中的点到区域中心点的距离；用表示以y为中心点的目标区域的分布，受到的约束，计算如下：

其中，目标区域的总像素数为N，x_i为其第i个像素点的坐标，x_i处像素点对应在直方图中的索引值为b(x_i)，δ[·]为狄拉克函数，u为直方图的索引区间，参数(w和s分别为目标矩形的半宽和半高)，标准归一化系数为M表示子区域，统计构成该特征直方图；

考虑计算复杂度因素，本方法选择LBP算法的纹理特征进行融合；LBP(Local BinaryPattern)反映图像中色彩与灰度的变换关系，具有对旋转不敏感的优势及抗光性能，还能解决目标与背景颜色相似干扰的问题；该特征描述的目标模型，能有效解决场景变化导致跟踪性能差的问题；本方法采用3*3的圆形子区域，使纹理特征更好地适应不同尺度；邻域里的像素点经过门限函数处理，便可以算得中心点像素的LBP值；具体计算公式如下：

式中符号函数g_c表示在局部区域中心像素的灰度值，g_p(p＝0,...,p-1)对应以半径为R(本方法取1个像素，即P＝8)的圆弧上单位像素间隔的8个点；

边缘出现在图像中亮度急剧变化的区域，使目标与背景分离具有很大优势，目标的微弱运动都会使边缘特征发生很大变化，因此本方法选用边缘特征进行目标建模意义较大；首先灰度化图像，然后用sobel算子计算出感兴趣区域的正交方向上的梯度G_x和G_y，再计算出每个像素点I(x,y)的梯度幅值G和相角θ，最后通过归一化得到边缘方向直方图；

HOG特征即用梯度信息和边缘的方向密度分布来描述一副图像中局部目标的纹理和形状，能够避免目标平动和转动的干扰，使用该特征来描述外观模型时不受光照变化妨碍，计算公式如下：

G_x(x,y)＝H(x+1,y)-H(x-1,y) (5)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (6)

其中，图像为H(x,y)，计算两个正交方向上的梯度：G_x,G_y，幅值大小为：方向为：与前文采用核函数计算颜色特征类似，可以得到该特征的加权直方图。

3.根据权利要求1所述的基于粒子滤波的视觉目标跟踪方法，在所述步骤(2)中，该算法框架下，通过相似性度量函数来计算粒子的权重值，为了较好地实现相似性度量，需要寻找特征模型的建立方法，常用的是直方图度量模式；本方法采用Bhattacharyya系数来度量离散概率分布的相似性，从而进一步算得粒子的权重值；两个离散概率分布为p_u和q_u，n是直方图的维数，权重值计算公式如下：

其中m为Bhattacharyya系数为：m值的大小反映目标模型与候选模型差异大小，越大说明该模型更可靠；i表示特征种类，t表示当前帧数；

由前面的计算方法可以得到几种特征所对应的粒子权重和由于不同特征对目标模型的贡献存在差别，这种差别针对不同场景各不相同；例如，对于旋转变化严重的场景，颜色特征具有更好的区分度；对于光照变化厉害的目标，颜色特征的区分度小于其他特征；对于尺度变化较大时，纹理和边缘特征能较好的建立目标模型；因此，实际状态下有必要选择一种自适应融合多特征的方式，采用前面的Bhattacharyya系数计算方法，得到每种特征的实时匹配度分别为和再通过归一化计算每种特征的权重(t表示当前帧，f表示特征)，归一化计算公式如下：

最终得到一种自适应融合的策略，其融合方式的计算公式：

4.根据权利要求1所述的基于粒子滤波的视觉目标跟踪方法，在所述步骤(3)中，针对传统粒子滤波算法中，重采样算法的原理只是简单地删除权重小的粒子，保留并复制权重大的粒子；经过若干次迭代递推后，不但没有解决退化问题，还会出现样本枯竭，粒子多样性缺失等问题，致使粒子集不能有效表达状态的后验概率分布，再加上长时间目标跟踪时的累计效应，导致跟踪框漂移；所以，选择一个好的重采样算法来实现既把小权重粒子淘汰了，又能保证粒子还具有多样性，显得尤为重要；因此，本方法采用的分类重采样算法有重要意义；设计复制次数与权值大小的关联算法，每一代的粒子总数仍不变(本方法粒子总数为N＝50)；粒子筛选和复制方案如下：

i粒子筛选方案

首先在0～1/N中选择随机数u(即随机种子数)，并将当前时刻每个粒子的权重与其对比，以权重u作为门限值，淘汰权重低于门限u的粒子，保留权重高于门限u的粒子，计算筛选出的粒子总数C，再按照权重大小依次排序，并计算平均权重means；

ii粒子的复制方案

每一代粒子总量保持恒定，则需要对权重较高的粒子进行策略性地复制；设置一个门限值为N_p，通过比较C与N_p的大小关系制定粒子复制策略：①当C≥N_p时，说明权重分布方差小，分布较为均匀，为了保证尽可能地多次复制大权值粒子，设定每个粒子的复制次数为小于或等于的最大整数；②当C＜N_p时，说明粒子权重分布方差大，权重极大和极小的分布极端，为了体现权值大的粒子，复制次数大于或等于的最小整数；

iii新粒子产生方案

当新一代粒子的权重分布极其恶劣，会出现C个粒子按照上述策略处理后，仍不足设定的总数N的情况；这种情况下，为了弥补粒子的多样性，不再直接用权重较大的粒子繁衍，而是将大权值粒子叠加一个高斯噪声后得到新粒子再用策略复制产生新粒子，直到粒子总数为N时结束这一过程。

5.根据权利要求1所述的基于粒子滤波的视觉目标跟踪方法，在所述步骤(4)中，由于存在目标旋转、角度变化、运动方向变化等复杂因素的影响，传统的粒子滤波目标跟踪算法使用固定的模板会出现较大的跟踪误差甚至导致跟踪失败；因此，需要对模板进行策略性地更新，如果目标模板更新过快，较多的背景信息又会引入，产生模板漂移，导致丢失目标，或者更新模板较慢，同样会出现跟踪误差；本方法选择一个不断更新的模板(运动模板)和原始模板自适应选取的方式；首先分别求出候选目标区域与初始模板、运动模板的颜色直方图的距离，如果与初始模板更相似，则选用初始模板进行跟踪，否则，选取运动模板；其中原始模板和运动模板分别用T_o和T_c表示，目标模板用T表示，具体选取规则如下：

用α＝0.2表示模板更新系数，上一帧和当前帧的模板分别为T_t-1,T_t，模板T_c的更新方程：

T_c＝αT_t+(1-α)T_t-1 (11)

同时，为了防止过快或者过慢更新模板时出现跟踪误差，引入一个原始模板和运动模板之间的距离阈值d_thr来约束：

d(T_o,T_c)＞d_thr (12)。