CN111161324B - 一种基于自适应多模更新策略的目标跟踪方法 - Google Patents

Abstract

本发明揭示了一种基于自适应多模更新策略的目标跟踪方法，属于计算机视觉领域，在遮挡情况下可提高的目标跟踪性能。本发明的实现步骤如下：(1)读取初始帧；(2)初始化跟踪滤波器、初始帧置信度和局部极大置信度模板；(3)读取下一帧并预测被跟踪目标的位置；(4)计算该帧置信度及设置局部极大置信度模板；(5)从第4帧开始判断是否出现遮挡；(6)根据遮挡自适应设置各模板的学习率，然后将历史模板、当前帧滤波器和局部极大置信度模板根据相应的学习率融合为新的跟踪模板；(7)循环执行(3)～(6)直至跟踪结束。本发明提出了基于历史模板、当前帧滤波器和局部极大置信度模板的自适应融合方法，有效提高了遮挡环境下目标跟踪的鲁棒性和准确性。

Description

一种基于自适应多模更新策略的目标跟踪方法

技术领域

本发明涉及计算机视觉领域，具体为一种基于自适应多模更新策略的目标跟踪方法。

背景技术

视频目标跟踪是计算机视觉方向重要的研究方向之一，首先在视频中选取被跟踪目标，根据目标的位置、尺度及特征在后续帧中预测位置和尺度等信息。目前，该研究方向的成果已被广泛的应用在智能监控和机器人导航等领域。当前，视频目标跟踪存在着遮挡、形变、光照变化、超出视野范围、快速移动、旋转和背景扰动等挑战性难点，其中遮挡是影响跟踪性能的一个重要的因素。

基于相关滤波器的目标跟踪方法具有较高的准确性以及实时性，已成为当前跟踪领域的研究热点。Bolme等学者提出基于最小输出平方误差滤波器(Minimum Output Sumof Squared Error filter，MOSSE)的跟踪方法，并提出采用峰值旁瓣比(The Peak-to-Sidelobe Ratio，PSR)检测遮挡或跟踪失败的情况。Alan提出了基于全相关的长时追踪算法(A Fully-Correlational Long-Term Tracker，FuCoLoT)，在PSR的基础上得到加权PSR特征，以此来判别跟踪是否存在的遮挡，若存在遮挡情况，则不更新或少更新滤波器模板。Martin等学者提出有效卷积算子跟踪算法(Efficient Convolution Operators forTracking，ECO)，算法针对滤波器组进行降维；为了克服遮挡等对跟踪模板的影响，采用每隔N帧更新一次的策略，可在一定程度上避免了遮挡或目标超出视野范围导致的模板漂移。这种隔帧更新的方法，也存在着明显的缺点，当目标出现遮挡时也有可能将当前滤波器更新到滤波器模板中，从而导致模板的不准确性。在已有的算法中，当遇到目标遮挡和目标超出视野范围影响时，大部分算法采用减少更新或者是不更新模板的方法以及模板漂移，然而，目前的检测方法并不能准确的检测遮挡，同时目前所有算法在模板更新方面，仅采用了历史模板和当前滤波器模板，而没有考虑到极大置信度模板，忽略了历史有效信息。

为了增强遮挡情形下模板的鲁棒性，本发明提出将局部极大置信度模板以一定的学习率更新到目标模板中，局部极大置信度模板往往具有较高的可靠性，在一定程度上克服遮挡导致的模板不准确性，从而提高跟踪性能。

发明内容

本发明是针对遮挡环境下的一种基于自适应多模更新策略的目标跟踪方法，旨在解决遮挡导致跟踪模板的不准确性。

本发明提出在目标跟踪过程中，模板更新不仅考虑历史模板和当前帧滤波器，同时将局部极大置信度模板更新融合进跟踪模板。

本发明的技术方案如下：

一种基于自适应多模更新策略的目标跟踪方法，包括以下步骤：

(1)读取视频帧序列，获取初始帧图像；

(2)根据初始帧确定被跟踪目标的位置，设置初始帧置信度Con₁及局部极大置信度模板F^max；

(3)读取第t帧视频序列，根据历史滤波器模板F^t-1预测第t帧被跟踪目标的位置；

(4)计算并保存第t帧的置信度Con_t及滤波器FC_t，统计第t-k-1帧至第t帧共k帧范围内的极大置信度值MaxC，F^max设置为MaxC所对应帧j的滤波器FC_j；

(5)当t＞3时开始判断遮挡，根据第t帧的置信度Con_t及第t-2帧、第t-3帧的置信度差|Con_t-Con_t-2|、|Con_t-Con_t-3|判断该帧是否存在遮挡；

(6)根据遮挡情况自适应调整历史模板F^t-1、局部极大置信度模板F^max和当前帧滤波器FC_t的学习率，将以上3个模板融合成为滤波器模板F^t；

(7)t＝t+1，重复执行步骤3～步骤6；直到最后一帧，完成目标跟踪。

在步骤2中，根据groundtruth值确定被跟踪目标，根据目标特征计算初始帧滤波器模板，初始帧置信度Con₁设置为0，F^max设置为初始帧滤波器模板。

在步骤3中，根据搜索区域提取第t帧的目标特征w，计算响应图

其中/>

为w的傅里叶变换，根据响应图的极大值确定被跟踪目标位置。

在步骤4中，计算第t帧的置信度，以加权峰值旁瓣比作为置信度Con_t，计算方法为

在式(1)中，R_t为第t帧的响应图，max(R_t)代表求该帧响应的极大值；

为去除中心位置11×11像素范围后的响应图，/>

代表响应的平均值，/>

为该帧响应的标准差，而式(1)中的/>

为传统峰值旁瓣比，其中，max(R_t)相当于权重，因此式(1)可认为加权峰值旁瓣比；进一步，统计第t-k-1帧至第t帧范围内的极大置信度MaxC，MaxC实质为k帧局部范围内的极大置信度值；同时可得MaxC的对应帧j的FC_j，设置局部极大置信度模板为F^max＝FC_j，由于滤波器FC_j的置信度MaxC较高，因此F^max也具有较高的置信度。

在步骤5中，当t>3时，根据第t帧及第t-2帧、t-3帧的置信度差|Con_t-Con_t-2|、|Con_t-Con_t-3|判断第t帧是否出现遮挡；若第t帧的置信度Con_t<τ₁并且|Con_t-Con_t-2|＞τ₂或者第t帧的置信度Con_t<τ₁并且|Con_t-Con_t-3|＞τ₃，则判断第t帧为存在遮挡，否则判断为不存在遮挡，其中，τ₁、τ₂、τ₃均为阈值，可根据跟踪目标类型进行调整。

在步骤6中，自适应设置F^max的学习率μ_Max，若t≤3，设置为μ_Max＝α₁；若t＞3,则μ_Max设置为

其中α₀＞α₁(2)式(2)中的第一种和第二种情形表明目标存在遮挡，F^max可设置一个较大的学习率α₀，增强更新后模板的准确性；第三种为不存在遮挡情形，则设置一个较小的学习率α₁，随后第t帧滤波器模板F^t实现方法如下

F^t＝(1-μ_Max-μ_c)*F^t-1+μ_Max*F^Max+μ_c*FC_t(3)

式(3)中F^t-1为第t-1帧滤波器模板，F^Max为极大置信度模板，FC_t为当前帧滤波器；μ_c为FC_t的学习率，设定为固定参数值；最终利用融合后的滤波器模板F^t可预测第t+1帧的目标位置。

本发明提供的方法相较于以往技术优点在于：

(1)提出多模更新策略，该策略不仅考虑了历史模板(即第t-1帧模板)和当前帧滤波器，而且还考虑了局部极大置信度模板，这种更新策略与传统更新策略不同；将局部极大置信度模板更新到滤波器中，是一种增量更新策略即增加了极大置信度模板的更新，能够显著提高滤波器模板的鲁棒性。

(2)判断目标是否存在遮挡时，不仅考虑第t帧的置信度，而且考虑了第t帧及第t-2帧、t-3帧的置信度差，利用不同间隔的帧的关系综合分析目标是否存在遮挡，能够全面分析目标遮挡情形。

(3)自适应调整局部极大置信度模板F^max的学习率，针对遮挡情形，将局部极大置信度模板F^max设置一个较大的学习率，否则，F^max设置一个较小的学习率。该策略能够有效根据被跟踪目标的状态，自适应地调整局部极大置信度模板的学习率，进一步增强跟踪模板的鲁棒性。

附图说明

图1是本发明算法流程示意图；

图2是本发明算法与ECO算法在Unsupervised测试模式下针对VOT2016数据库中11个遮挡严重视频测试结果的重叠率示意图；

图3是本发明算法与ECO算法在Unsupervised测试模式下针对VOT2016数据库所有视频测试结果的重叠率示意图。

本发明的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。参照图1，本发明提供的示例以ECO跟踪算法为基准滤波器，具体实施方式如下：

(1)读取视频，获取视频的初始帧图像；

(2)根据groundtruth值确定被跟踪目标，根据目标特征计算初始帧滤波器模板，初始帧置信度Con₁设置为0，F^max设置为初始帧滤波器模板。其中特征提取部分，本发明主要采用了VGG-16神经网络中的第一层、第五层特征和HOG、CN特征作为跟踪过程中的主要特征。

(3)根据搜索区域提取第t帧的目标特征w，计算响应图

其中/>

为w的傅里叶变换，根据响应图的极大值确定被跟踪目标位置。

(4)计算并保存第t帧的置信度Con_t及滤波器FC_t，统计第t-k-1帧至第t帧共k帧范围内的极大置信度值MaxC，F^max设置为MaxC对应帧j的滤波器FC_j，在本发明中k＝18，在t<18时只统计第一帧到t帧的极大置信度值。

(5)当t>3时，根据第t帧及第t-2帧、t-3帧的置信度差|Con_t-Con_t-2|、|Con_t-Con_t-3|判断第t帧是否出现遮挡；若第t帧的置信度Con_t<τ₁并且|Con_t-Con_t-2|＞τ₂或者第t帧的置信度Con_t＜τ₁并且|Con_t-Con_t-3|＞τ₃，则判断第t帧为存在遮挡，否则判断为不存在遮挡。本发明针对置信度利用全局极大值进行了[0,1]归一化，其中τ₁＝0.325，τ₂＝0.125，τ₃＝0.175。

(6)自适应设置F^max的学习率μ_Max，若t≤3，设置为μ_Max＝α₁；若t＞3,则μ_Max设置为

(其中α₀＞α₁)(2)

式(2)中α₀＝0.017，α₁＝0，第t帧滤波器模板F^t实现方法如下

F^t＝(1-μ_Max-μ_c)*F^t-1+μ_Max*F^Max+μ_c*FC_t (3)

式(3)中μ_c＝0.012，随后利用更新融合后的滤波器模板F^t作为分类器预测第t+1帧的目标位置。

(7)t＝t+1,重复执行步骤3～步骤6；直到最后一帧，完成目标跟踪。

为了验证本发明的跟踪性能，分别对VOT2016中11个遮挡严重的视频(basketball、birds2、fernando、godfather、handball1、handball2、iceskater2、motocross2、pedestrian2、road、soccer2)及VOT2016所有视频进行跟踪测试。在baseline模式下采用鲁棒性(Robustness)、准确性(Accuracy)、重叠率(Overlap)和失败率(Failures)和平均重叠期望(Expected Average Overlap，EAO)表征跟踪性能；在unsupervised experiment模式采用曲线下面积(AreaUnderCurve，AUC)表征跟踪性能。

针对遮挡较为严重的11个视频的实验结果如表1所示，本发明算法在baseline测试模式下比ECO鲁棒性提高了0.67，准确率提高了2个百分点，重叠率提高了2个百分点，错误率低了0.37，EAO提高6个百分点；在Unsupervised测试模式下AUC提高了4个百分点。VOT2016数据库的实验结果如表2所示，本发明算法在baseline测试模式下比ECO鲁棒性高了0.66，准确率高了1个百分点，重叠率高了1个百分点，错误率低了0.13，EAO提高了1个百分点，在Unsupervised测试模式下AUC提高了1个百分点。

表1.遮挡严重的11个视频跟踪的实验结果

表2.VOT2016所有视频跟踪的实验结果

图2为Unsupervised模式下的11个遮挡严重视频的重叠率图，在不同的阈值下，本发明的重叠率明显优于ECO算法；图3为Unsupervised模式下在VOT2016数据库上的重叠率图，本发明的重叠率明显优于ECO算法。

综上所述，本发明提供的自适应多模更新策略提高了目标跟踪的准确性和鲁棒性，尤其是受到遮挡干扰因素影响时，本发明表现出了良好的准确性和鲁棒性，具有极高的推广价值。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于自适应多模更新策略的目标跟踪方法，其特征在于，利用历史模板、当前帧滤波器以及局部极大置信度模板融合成为第t帧滤波器模板，利用融合后的滤波器模板作为分类器，预测下一帧目标的跟踪位置；该方法的具体步骤如下：

Step1：读取视频帧序列，获取初始帧图像；

Step2：根据初始帧确定被跟踪目标的位置，设置初始帧置信度Con₁及局部极大置信度模板F^max；

Step3：读取第t帧视频序列，根据历史滤波器模板F^t-1预测第t帧被跟踪目标的位置；

Step4：计算并保存第t帧的置信度Con_t及滤波器FC_t，统计第t-k-1帧至第t帧共k帧范围内的极大置信度值MaxC，F^max设置为MaxC所对应帧j的滤波器FC_j；

Step5：当t>3时开始判断遮挡，根据第t帧及第t-2帧、第t-3帧的置信度差|Con_t-Con_t-2|、|Con_t-Con_t-3|判断该帧是否存在遮挡；

Step6：根据遮挡情况自适应调整历史模板F^t-1、局部极大置信度模板F^max和当前帧滤波器FC_t的学习率，将以上3个模板融合成为滤波器模板F^t；

Step7：t＝t+1，重复执行步骤3～步骤6；直到最后一帧，完成目标跟踪。

2.根据权利要求1所述的一种基于自适应多模更新策略的目标跟踪方法，其特征在于，步骤2的具体步骤如下：根据groundtruth值确定被跟踪目标，根据目标特征计算初始帧滤波器模板，初始帧置信度Con₁设置为0，F^max设置为初始帧滤波器模板。

3.根据权利要求1所述的一种基于自适应多模更新策略的目标跟踪方法，其特征在于，步骤3的具体步骤如下：根据搜索区域提取第t帧的特征w，计算响应图

其中/>

为w的傅里叶变换，根据响应图G的极大值确定被跟踪目标位置。

4.根据权利要求1所述的一种基于自适应多模更新策略的目标跟踪方法，其特征在于，步骤4计算第t帧的置信度，以加权峰值旁瓣比作为置信度Con_t，计算方法为

在式(1)中，R_t为第t帧的响应图，max(R_t)代表求该帧响应的极大值；

为去除中心位置11×11像素范围后的响应图，/>

代表响应的平均值，/>

为该帧响应的标准差，而式(1)中的/>

为传统峰值旁瓣比，其中，max(R_t)相当于权重，因此式(1)可认为加权峰值旁瓣比；进一步，统计第t-k-1帧至第t帧范围内的极大置信度MaxC，MaxC实质为k帧局部范围内的极大置信度值，同时可得MaxC的对应帧j的FC_j，设置局部极大置信度模板为F^max＝FC_j，由于滤波器FC_j的置信度MaxC较高，因此F^max也具有较高的置信度。

5.根据权利要求1所述的一种基于自适应多模更新策略的目标跟踪方法，其特征在于，步骤5的具体步骤如下：当t>3时，根据第t帧及第t-2帧、t-3帧的置信度差|Con_t-Con_t-2|、|Con_t-Con_t-3|判断第t帧是否出现遮挡；若第t帧的置信度Con_t<τ₁并且|Con_t-Con_t-2|＞τ₂或者第t帧的置信度Con_t<τ₁并且|Con_t-Con_t-3|＞τ₃，则判断第t帧为存在遮挡，否则判断为不存在遮挡，其中，τ₁、τ₂、τ₃均为阈值。

6.根据权利要求1所述的一种基于自适应多模更新策略的目标跟踪方法，其特征在于，所述步骤6中自适应设置F^max的学习率μ_Max，若t≤3，设置为μ_Max＝α₁；若t＞3，则μ_Max设置为

式(2)中的第一种和第二种情形表明目标存在遮挡，F^max可设置一个较大的学习率α₀，增强更新后模板的准确性；第三种为不存在遮挡情形，则设置一个较小的学习率α₁，随后第t帧滤波器模板F^t实现方法如下

F^t＝(1-μ_Max-μ_c)*F^t-1+μ_Max*F^Max+μ_c*FC_t (3)

式(3)中F^t-1为第t-1帧的历史模板，F^Max为极大置信度模板，FC_t为当前帧滤波器；μ_c为FC_t的学习率，设定为固定值；最终利用融合后的滤波器模板F^t可预测第t+1帧的目标位置。

Images