CN112991390A - 一种基于背景感知的多跟踪器融合目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于背景感知的多跟踪器融合目标跟踪方法，先通过提取目标区域的颜色直方图，采用基于粒子滤波的目标跟踪方法进行跟踪，得到目标的位置信息；再采用背景感知相关滤波器进行目标跟踪，获取目标位置信息；接着采用尺度池技术对目标尺度进行估计，并进行更新，得到最新的目标尺度；对目标模型进行更新；重复上述步骤直至当前序列所有帧跟踪结束。本发明使用了多跟踪器融合的机制，采用粗略定位和精确定位相结合，提高了跟踪模型的泛化能力；在训练相关滤波器时增加了对背景信息的抑制，提高了跟踪方法的抗干扰能力；在目标跟踪过程中引入了尺度更新和模型更新机制，提高了跟踪方法应对复杂场景中目标模型变化的鲁棒性。

Description

一种基于背景感知的多跟踪器融合目标跟踪方法

技术领域

本发明涉及一种基于背景感知的多跟踪器融合目标跟踪方法，属于目标跟 踪技术领域。

背景技术

随着科技和社会的发展，目标跟踪成为计算机领域中的研究热点之一，在 视频监控、人机交互、智能交通等领域得到了广泛的应用，在军事和民用领域 担当着越来越重要的角色。视觉跟踪任务是在给定跟踪目标的初始状态下，最 终实现对目标持续识别和跟踪，获得物体的运动信息，进一步提取物体运动轨 迹，并对物体进行运动分析，从而实现对物体运动行为的理解。由于跟踪场景 的多样性和复杂性，现有目标跟踪算法对目标进行判别和定位依然不够准确， 如何进一步提升现有目标跟踪算法的性能具有十分重要的研究意义。

目前，基于粒子滤波(Particle Filter，PF)的目标跟踪算法因能够有效地解决视觉目标跟踪中普遍存在的目标状态非线性、噪声分布非高斯性的问题，得到 了广泛的应用。而传统的基于颜色直方图的粒子滤波视觉目标跟踪算法虽然在 处理遮挡、光照变化等场景具有一定的鲁棒性，但由于颜色直方图表征能力不 够，易受相似目标、相机抖动等因素干扰，甚至丢失目标。

近年来，基于相关滤波(Correlation Filter，CF)的目标跟踪算法由于具有较 强的鲁棒性和超高的跟踪速度也得到了广泛的应用。但由于循环转移采样和余 弦窗的引入，大多数相关滤波器都会产生边界效应(Boundary Effects)。为解决 该问题，Mueller等提出了背景感知相关滤波方法(Context-Aware Correlation Filter Tracking，CACF)，在解决边界效应的同时增强了相关滤波器对背景信息 的学习。此外，CACF方法存在闭合解，不需要进行迭代求解，有着较好的算 法实时性。

然而，随着跟踪场景的多样化和跟踪目标的复杂化，单一跟踪器很难应对 所有跟踪的挑战，因此很有必要利用多跟踪器融合进行目标跟踪；故，如何融 合不同跟踪器，充分利用其之间的互补性，从而显著地提高跟踪算法的性能， 是一个亟需解决的问题。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于背景感知的多跟踪器 融合目标跟踪方法，可提高跟踪模型的泛化能力、跟踪方法的抗干扰能力以及 跟踪方法应对复杂场景中目标模型变化的鲁棒性。

为了实现上述目的，本发明采用如下技术方案：一种基于背景感知的多跟 踪器融合目标跟踪方法，包括如下步骤：

步骤S1、根据视频序列第一帧输入图片I₁和目标框，以及后续输入图片I_t+1， t∈[1，L-1]，L为视频序列总帧数，x_t＝(w，h)为中心点坐标，c_t＝(c_w，c_h)为目标 尺度；

步骤S2、提取目标区域的颜色直方图，采用基于粒子滤波的目标跟踪方 法进行跟踪，得到目标的位置信息

步骤S3、采用背景感知相关滤波器进行目标跟踪，获取目标位置信息；

步骤S4、采用尺度池技术对目标尺度进行估计，并进行更新，得到最新 的目标尺度c＝(c_w，c_h)；

步骤S5、对目标模型进行更新；

步骤S6、重复步骤S2-S5，直至当前序列所有帧跟踪结束。

进一步地，所述步骤S2中粒子滤波的目标跟踪过程的具体步骤为：

步骤S21、计算目标区域的m维的颜色直方图

其 中，B为所选择目标区域的像素点数；y_b为目标区域中第b个像素点坐标， b∈[1，B]；h(y_b)为直方图量化的函数；u为直方图的区间索引号，u∈[1，m]；δ 表示Kronecker函数；

步骤S22、按照一阶模型x_t+1＝x_t+wn_t随机生成N个粒子，生成的粒子坐标 为

表示t时刻第n个粒子的位置信息，wn_t为高斯随机噪声；

步骤S23、计算粒子集合中各样本所确定m维的的目标区域直方图

其中，

为以第n个粒子为中心的候选区域中第b个 像素点坐标，n∈[1，N]；

步骤S24、计算目标区域与候选区域颜色直方图的Bhattacharyya距离，

并确定每个粒子的权重系数k_t(n)，计算公式为 k_t(n)＝C·exp(-p_n)，C为归一化系数，

步骤S25、计算粒子滤波跟踪算法的定位信息，

进一步地，所述步骤S3中采用背景感知相关滤波器进行目标跟踪获取目 标位置信息的具体步骤为：

步骤S31、按照步骤S2中得到的目标位置信息划分目标和背景区域，提 取灰度信息f_t ⁱ,i＝0,1,2,3,4作为背景感知相关滤波器的特征，其中，f_t ⁰为t时刻目 标区域的灰度表示，f_t ¹、f_t ²、f_t ³、f_t ⁴分别为t时刻四块背景区域的特征表示；

步骤S32、通过

训练滤波器参数，其中，符号★代表f_t ⁱ和h之间的循环相关操作，

为相关滤波器，

为输 出期望值，λ₁为正则化参数，取0.0001；λ₂为回归参数，取0.4；

为背景信息约束项；将上述目标函数转化成

其中，

得到滤波器对应的解为

其中，

为傅里叶变换，

和

分别为

和

的共轭转置；

步骤S33、通过傅立叶反变换求解得到响应图为

其中，

为傅立叶反变换，z_t为候选区域的特征表示，

为点乘操作，目标定位 信息为响应图R_t最大值处

进一步地，所述步骤S4中采用尺度池技术对目标尺度进行估计，设定尺 度池为S＝{s₁,s₂,...,s_k}，即跟踪过程中对这些尺度{s_ic|s_i∈S}进行分别计算，选出表 现性能最佳的尺寸作为当前帧的尺寸，具体步骤为：

步骤S41、设定尺度池为S＝{0.8,0.85,0.9,0.95,1.0,1.05,1.1,1.15,1.2}，对这些尺寸进 行分别估算，通过计算平均峰值相关能量指标找出表现性能最好的尺寸，即

用以反映响应图的平均波动程度和检测目标的置信水平，其中，

为响应图中坐标位置(i,j)的响应值；

为响应图的最小值；

为响应图的最大值；μ(·)为均值计算；

步骤S42、为保证目标尺寸平稳，对尺寸进行平缓更新，c_t+1＝(1-γ)c_t+γc_t+1， γ为目标尺寸学习率，取0.2。

进一步地，所述步骤S5中对目标模型进行更新是将相关滤波器分成分母 和分子两部分进行分别更新，

其中，A_t为分子部分，B_t为分母的一 部分，A₁、B₁均为0，具体更新步骤为：

步骤S51、进行分子部分更新，

其中，β为相关滤 波器模型学习率，取值0.01；

为

下一时刻的值；

步骤S52、进行分母部分更新，

与现有的技术相比，本发明具有如下优点：

第一，本发明使用了多跟踪器融合的机制，先采用粒子滤波目标跟踪方法 进行粗略定位，再采用背景感知相关滤波跟踪方法进行精确定位，提高了跟踪 模型的泛化能力；

第二，本发明引入了背景感知策略，在训练相关滤波器时增加了对背景信 息的抑制，提高了跟踪方法的抗干扰能力；

第三，本发明在目标跟踪过程中引入了尺度更新和模型更新机制，提高了 跟踪方法应对复杂场景中目标模型变化的鲁棒性。

附图说明

图1为本发明的流程图；

图2为本发明采用基于粒子滤波的目标跟踪方法进行跟踪的流程图；

图3为本发明目标区域和背景区域的划分示意图；

图4为本发明训练得到的目标区域和背景区域的相关滤波器的响应图；

图5为图4中各个对应区域的指标示意图；

图6为本发明和现有常用目标跟踪算法在OTB(Object Tracking Benchmark)100标准数据集上综合精度的对比仿真图；

图7为本发明和现有常用目标跟踪算法在OTB100标准数据集上跟踪成功 率的对比仿真图。

具体实施方式

下面结合附图对本发明实施中的技术方案进行清楚，完整的描述，所描述 的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的 实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。

如图1至图5所示，本发明提供的一种基于背景感知的多跟踪器融合目标 跟踪方法，包括如下步骤：

步骤S1、根据视频序列第一帧输入图片I₁和目标框，以及后续输入图片I_t+1， t∈[1，L-1]，L为视频序列总帧数，x_t＝(w，h)为中心点坐标，c_t＝(c_w，c_h)为目标 尺度；

步骤S2、提取目标框所对应目标区域的颜色直方图，采用基于粒子滤波 的目标跟踪方法进行跟踪，得到目标的位置信息

步骤S3、采用背景感知相关滤波器进行目标跟踪，获取目标位置信息；

步骤S4、采用尺度池技术对目标尺度进行估计，并进行更新，得到最新 的目标尺度c＝(c_w，c_h)；

步骤S5、对目标模型进行更新；

步骤S6、重复步骤S2-S5，直至当前序列所有帧跟踪结束。

进一步地，所述步骤S2中粒子滤波的目标跟踪过程的具体步骤为：

步骤S21、计算目标区域的m维的颜色直方图

其 中，B为所选择目标区域的像素点数；y_b为目标区域中第b个像素点坐标， b∈[1，B]；h(y_b)为直方图量化的函数；u为直方图的区间索引号，u∈[1，m]；δ 表示Kronecker函数；

步骤S22、按照一阶模型x_t+1＝x_t+wn_t随机生成N个粒子，生成的粒子坐标 为

表示t时刻(指视频序列第t帧对应的时刻，下同)第n个 粒子的位置信息，wn_t为高斯随机噪声；

步骤S23、计算粒子集合中各样本所确定m维的的目标区域直方图

其中，

为以第n个粒子为中心的候选区域中第b个 像素点坐标，n∈[1，N]；

步骤S24、计算目标区域与候选区域颜色直方图的Bhattacharyya距离，

并确定每个粒子的权重系数k_t(n)，计算公式为 k_t(n)＝C·exp(-p_n)，C为归一化系数，

步骤S25、计算粒子滤波跟踪算法的定位信息，

进一步地，所述步骤S3中采用背景感知相关滤波器进行目标跟踪获取目 标位置信息的具体步骤为：

步骤S31、按照步骤S2中得到的目标位置信息划分目标和背景区域，提 取灰度信息f_t ⁱ,i＝0,1,2,3,4作为背景感知相关滤波器的特征，其中，f_t ⁰为t时刻目 标区域的灰度表示，f_t ¹、f_t ²、f_t ³、f_t ⁴分别为t时刻四块背景区域的特征表示； 各个背景区域紧靠目标区域布置，且与目标区域大小相同；具体的，目标区域 和四块背景区域的划分如图3所示，目标区域对应目标框选中的区域，第一背 景区域位于目标区域的左方，第二背景区域位于目标区域的下方，第三背景区 域位于目标区域的右方，第四背景区域位于目标区域的上方；

步骤S32、通过

训练滤波器参数，其中，符号★代表f_t ⁱ和h之间的循环相关操作，

为相关滤波器，

为输 出期望值，λ₁为正则化参数，防止过拟合，取0.0001；λ₂为回归参数，取0.4；

为背景信息约束项，加强了对背景信息的限制，该项越小，背景 信息对跟踪器的影响越小；将上述目标函数转化成

其中，

得到滤波器对应的解为

其中，

为傅里叶变换，

和

分别为

和

的共轭转置；训练得到 的目标区域和背景区域的相关滤波器的响应图如图4所示，对应区域的指标如 图5所示，由于采用了背景抑制策略，目标区域的相关滤波器的响应图要优于 背景区域；

步骤S33、通过傅立叶反变换求解得到响应图为

其中，

为傅立叶反变换，z_t为候选区域的特征表示，

为点乘操作，目标定位 信息为响应图R_t最大值处

进一步地，所述步骤S4中采用尺度池技术对目标尺度进行估计，设定尺 度池为S＝{s₁,s₂,...,s_k}，即跟踪过程中对这些尺度{s_ic|s_i∈S}进行分别计算，选出表 现性能最佳的尺寸作为当前帧的尺寸，具体步骤为：

步骤S41、设定尺度池为S＝{0.8,0.85,0.9,0.95,1.0,1.05,1.1,1.15,1.2}，对这些尺寸进 行分别估算，通过计算平均峰值相关能量指标找出表现性能最好的尺寸，即

用以反映响应图的平均波动程度和检测目标的置信水平，其中，

为响应图中坐标位置(i,j)的响应值；

为响应图的最小值；

为响应图的最大值；μ(·)为均值计算；

步骤S42、为保证目标尺寸平稳，对尺寸进行平缓更新，c_t+1＝(1-γ)c_t+γc_t+1， γ为目标尺寸学习率，取0.2。

进一步地，所述步骤S5中对目标模型进行更新是将相关滤波器分成分母 和分子两部分进行分别更新，

其中，A_t为分子部分，B_t为分母的一 部分，A₁、B₁均为0，具体更新步骤为：

步骤S51、进行分子部分更新，

其中，β为相关滤 波器模型学习率，取值0.01；

为

下一时刻的值；

步骤S52、进行分母部分更新，

上述步骤S1-S4目标跟踪过程，步骤S4为目标尺度更新过程，步骤S5为 跟踪模型更新过程，三者结合一起构成完整的目标跟踪过程，在实际的目标跟 踪过程中，通过重复步骤S1-S5，完成整个目标跟踪，目标跟踪的位置信息由 步骤S3得到。

为了验证上述实施例中利用基于背景感知的多跟踪器融合目标跟踪方法 (ABackground Aware Visual Tracking Algorithm Based on Multi-trackers Fusion,BATMF)的有效性，将其应用在OTB100数据集上进行对比实验，对比算法主 要有目前常用的目标跟踪算法，具体如下：

对比算法1、CT(Zhang K,Lei Z,Yang M H.Real-Time Compressive Tracking[C]//Proceedings of 2012European Conference on Computer Vision,2012: 864-877.)；

对比算法2、CSK(Henriques J F,Caseiro R,Martins P,et al.Exploiting theCirculant Structure of Tracking-by-Detection with Kernels[C]//Proceedings ofEuropean Conference on Computer Vision,2012:702-715.)；

对比算法3、SCM(Wei Z,Lu H,Yang M H.Robust object tracking viasparsity-based collaborative model[C]//Proceedings of 2010IEEE Conference onComputer Vision and Pattern Recognition,2010:1838-1845.)；

对比算法4、VTD(Kwon J,Lee K M.Visual tracking decomposition[C]//Proceedings of 2010IEEE Conference on Computer Vision and PatternRecognition. IEEE,2010:1269-1276.)；

对比算法5、VTS(Kwon J,Lee K M.Tracking by Sampling Trackers[C]//Proceedings of 2011International Conference on Computer Vision,2011: 1195-1202.)；

对比算法6、TLD(Kalal Z,Matas J,Mikolajczyk K.P-N learning:Bootstrapping binary classifiers by structural constraints[C]//Proceedings of2010 Computer Vision and Pattern Recognition.IEEE,2010:49-56.)；

对比算法7、ASLA(Jia X,Lu H,Yang M H.Visual tracking via adaptivestructural local sparse appearance model[C]//Proceedings of 2012IEEEConference on Computer Vision and Pattern Recognition,2012:1822-1829.)；

对比算法8、CXT(Dinh T B,Vo N,Medioni G G.Context tracker:Exploringsupporters and distracters in unconstrained environments[C]//Proceedings of2011 IEEE Conference on Computer Vision and Pattern Recognition,,2011:1177-1184.)；

对比算法9、LSK(Liu B,Huang J,Lin Y,et al.Robust tracking using localsparse appearance model and K-selection[C]//Proceedings of 2011IEEEConference on Computer Vision and Pattern Recognition,2011:1313-1320.)；

对比算法10、CPF(P.Pérez,C.Hue,J.Vermaak,M.Gangnet,Color-BasedProbabilistic Tracking[C]//Proceedings of 2002European Conference on ComputerVision,2002:661-675.)

对比仿真实验过程中采用定量分析，即通过计算评价指标判断跟踪性能。 实验中采用的评价指标有跟踪精度(Precision)和跟踪成功率(SuccessRate)，其对 应的对比仿真实验结果如图6和图7所示。图6中横坐标表示算法估计的目标 位置的中心点与人工标注的目标中心点距离阈值，纵轴表示小于此阈值的帧数 占总帧数的比率，即预测精度；图7中横坐标表示算法估计的目标边界框面积 与人工标注的目标的边界框的重合率阈值，纵轴表示小于此阈值的帧数所占总 帧数百分比，即成功率。

结合图6和图7可见，本发明BATMF在OTB100数据集上均较上述对比 算法展现出更优的跟踪精度和成功率，综合精度为70.9％，成功率为62.9％， 相比于粒子滤波跟踪器CPF的58.2％和52.3％提升较大。

综上所述，本发明构建一种由粗到精定位的跟踪框架，首先，采用基于粒 子滤波的视觉跟踪方法进行粗定位，提升跟踪算法在复杂跟踪场景的目标搜索 能力，增强跟踪算法应对遮挡等干扰的鲁棒性；然后，采用基于背景感知的相 关滤波方法进行精定位，提高跟踪算法在复杂场景中的精确性；在跟踪过程中， 采用尺度池技术对目标尺寸进行估计，并进行跟踪模型更新，得到鲁棒性更强 跟踪模型。实验结果表明，所提算法应对跟踪场景中复杂变化，如：光照变化、 尺度变化、遮挡等，都有着精确和稳健的跟踪效果。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节， 而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现 本发明。此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个 实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅为清楚起 见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可 以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种基于背景感知的多跟踪器融合目标跟踪方法，其特征在于，包括如下步骤：

步骤S1、根据视频序列第一帧输入图片I₁和目标框，以及后续输入图片I_t+1，t∈[1，L-1]，L为视频序列总帧数，x_t＝(w，h)为中心点坐标，c_t＝(c_w，c_h)为目标尺度；

步骤S2、提取目标区域的颜色直方图，采用基于粒子滤波的目标跟踪方法进行跟踪，得到目标的位置信息

步骤S3、采用背景感知相关滤波器进行目标跟踪，获取目标位置信息；

步骤S4、采用尺度池技术对目标尺度进行估计，并进行更新，得到最新的目标尺度c＝(c_w，c_h)；

步骤S5、对目标模型进行更新；

步骤S6、重复步骤S2-S5，直至当前序列所有帧跟踪结束。

2.根据权利要求1所述的一种基于背景感知的多跟踪器融合目标跟踪方法，其特征在于，所述步骤S2中粒子滤波的目标跟踪过程的具体步骤为：

步骤S21、计算目标区域的m维的颜色直方图

其中，B为所选择目标区域的像素点数；y_b为目标区域中第b个像素点坐标，b∈[1，B]；h(y_b)为直方图量化的函数；u为直方图的区间索引号，u∈[1，m]；δ表示Kronecker函数；

步骤S22、按照一阶模型x_t+1＝x_t+wn_t随机生成N个粒子，生成的粒子坐标为

表示t时刻第n个粒子的位置信息，wn_t为高斯随机噪声；

步骤S23、计算粒子集合中各样本所确定m维的的目标区域直方图

其中，

为以第n个粒子为中心的候选区域中第b个像素点坐标，n∈[1，N]；

步骤S24、计算目标区域与候选区域颜色直方图的Bhattacharyya距离，

并确定每个粒子的权重系数k_t(n)，计算公式为k_t(n)＝C·exp(-p_n)，C为归一化系数，

步骤S25、计算粒子滤波跟踪算法的定位信息，

3.根据权利要求2所述的一种基于背景感知的多跟踪器融合目标跟踪方法，其特征在于，所述步骤S3中采用背景感知相关滤波器进行目标跟踪获取目标位置信息的具体步骤为：

步骤S31、按照步骤S2中得到的目标位置信息划分目标和背景区域，提取灰度信息f_t ⁱ，i＝0，1，2，3，4作为背景感知相关滤波器的特征，其中，f_t ⁰为t时刻目标区域的灰度表示，f_t ¹、f_t ²、f_t ³、f_t ⁴分别为t时刻四块背景区域的特征表示；

步骤S32、通过

训练滤波器参数，其中，符号★代表f_t ⁱ和h之间的循环相关操作，

为相关滤波器，

为输出期望值，λ₁为正则化参数，取0.0001；λ₂为回归参数，取0.4；

为背景信息约束项；将上述目标函数转化成

其中，

得到滤波器对应的解为

其中，

为傅里叶变换，

和

分别为

和

的共轭转置；

步骤S33、通过傅立叶反变换求解得到响应图为

其中，

为傅立叶反变换，z_t为候选区域的特征表示，

为点乘操作，目标定位信息为响应图R_t最大值处

4.根据权利要求3所述的一种基于背景感知的多跟踪器融合目标跟踪方法，其特征在于，所述步骤S4中采用尺度池技术对目标尺度进行估计，设定尺度池为S＝{s₁,s₂,...,s_k}，即跟踪过程中对这些尺度{s_ic|s_i∈S}进行分别计算，选出表现性能最佳的尺寸作为当前帧的尺寸，具体步骤为：

步骤S41、设定尺度池为S＝{0.8,0.85,0.9,0.95,1.0,1.05,1.1,1.15,1.2}，对这些尺寸进行分别估算，通过计算平均峰值相关能量指标找出表现性能最好的尺寸，即

用以反映响应图的平均波动程度和检测目标的置信水平，其中，

为响应图中坐标位置(i,j)的响应值；

为响应图的最小值；

为响应图的最大值；μ(·)为均值计算；

步骤S42、为保证目标尺寸平稳，对尺寸进行平缓更新，c_t+1＝(1-γ)c_t+γc_t+1，γ为目标尺寸学习率，取0.2。

5.根据权利要求4所述的一种基于背景感知的多跟踪器融合目标跟踪方法，其特征在于，所述步骤S5中对目标模型进行更新是将相关滤波器分成分母和分子两部分进行分别更新，

其中，A_t为分子部分，B_t为分母的一部分，A₁、B₁均为0，具体更新步骤为：

步骤S51、进行分子部分更新，

其中，β为相关滤波器模型学习率，取值0.01；

为

下一时刻的值；

步骤S52、进行分母部分更新，

Images