CN111091583B - 长期目标跟踪方法 - Google Patents

Abstract

本发明公开了一种长期目标跟踪方法，通过一个自适应更新策略，判断相关滤波器的跟踪质量，决定当前帧相关滤波是否被更新；当某一种跟踪结果不可靠时，极有可能受到背景像素污染，可能已经跟丢目标，因而，通过再检测模块生成一个疑似真实目标的候选者，来寻找丢失的目标，极大的提高了抗干扰能力，增强了目标跟踪效果。

Description

长期目标跟踪方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种长期目标跟踪方法。

背景技术

随着计算机视觉的日益发展，视觉跟踪已经广泛应用于许多计算机视觉任务，例如视频监控，视频检索和无人车感知系统。给出初始帧待跟踪目标的位置，跟踪器就可以在整个视频序列中一直跟踪该目标。虽然视觉跟踪方法取得了很大进展，但仍存在许多挑战，例如变形，遮挡，视野外，尺度变化，平面内旋转等。

近年来，基于相关滤波(KCF)的方法(J.F.Henriques,R.Caseiro,P.Martins,andJ.Batista,"High-speed tracking with kernelized correlation filters,"IEEETransactions on Pattern Analysis and Machine Intelligence,vol.37,no.3,pp.583-596,2015)，由于其具备高计算效率和出色的跟踪性能，在跟踪领域最受欢迎。

文章[1](J.F.Henriques,R.Caseiro,P.Martins,and J.Batista,"High-speedtracking with kernelized correlation filters,"IEEE Transactions on PatternAnalysis and Machine Intelligence,vol.37,no.3,pp.583-596,2015)提出传统的KCF跟踪算法流程，利用到流行的tracking–by-detection(Z.Kalal,K.Mikolajczyk,andJ.Matas,"Tracking-learning-detection,"IEEE transactions on pattern analysisand machine intelligence,vol.34,no.7,p.1409,2012)思想，KCF的总体思路为：对给定的一个训练正样本，利用周期矩阵的性质，生成大量的其余负样本并用于训练相关滤波器。根据循环矩阵的性质，DCF方法将耗时的空间相关转换为快速的傅里叶域中的元素操作。

文章[2](M.Danelljan,G.Hager,F.Khan,and M.Felsberg,“Accurate scaleesti-¨mation for robust visual tracking,”in British Machine VisionConference,Nottingham,September 1-5,2014.BMVA Press,2014)在原有KCF的基础上，加上尺寸预测，以应对目标跟踪过程中的尺寸变换。文章[3](L.Bertinetto,J.Valmadre,S.Golodetz,O.Miksik,and P.H.Torr,“Staple:Complementary learners for real-timetracking,”in Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,2016,pp.1401–1409)利用颜色直方图生成一个模型，与文章[2]的提出的方法结合，因此文章[3]提出的跟踪器优势互补，既拥有KCF方法强大的前景背景识别能力，也因为颜色直方图的抗旋转干扰特性，可实现更加鲁棒的跟踪。

但是，上述基于相关滤波的方法都是在线学习，如果在跟踪过程的某一帧中，跟踪结果出现偏差(目标变形，遭受遮挡等因素)，这样跟踪器可能会学习到受到背景污染的样本，累积几帧后，跟踪器可能会彻底跟丢目标。由于基于相关滤波的跟踪器都是在基于目标上一帧位置附近，确定一个感兴趣区域，在当前帧寻找目标位置，而一旦目标跟丢且目标已经不在当前感兴趣区域内的时候，跟踪器是无法找回跟丢的目标的。

发明内容

本发明的目的是提供一种长期目标跟踪方法，跟踪速度满足实时需求，可解决目标跟丢等问题。

本发明的目的是通过以下技术方案实现的：

一种长期目标跟踪方法，包括：

对于一段跟踪的视频序列，根据前一帧更新后的相关滤波器，预测当前帧中跟踪目标位置，根据与预测到的当前帧中跟踪目标位置相关的响应值指标，来判断预测到的当前帧中跟踪目标位置是否可靠；

若可靠，则将预测到的当前帧中跟踪目标位置作为当前帧的跟踪结果，并更新当前帧的相关滤波器；

若不可靠，则启动再检测模块，根据给定的前一帧中跟踪目标位置和大小生成一个疑似跟踪目标的候选者，并根据与疑似跟踪目标的候选者相关的响应值指标来判断是否满足替换条件；若是，则将疑似跟踪目标的候选者作为当前帧的跟踪结果，否则，继续保留预测到的当前帧中跟踪目标位置为当前帧的跟踪结果。

由上述本发明提供的技术方案可以看出，通过一个自适应更新策略，判断相关滤波器的跟踪质量，决定当前帧相关滤波是否被更新；当某一种跟踪结果不可靠时，极有可能受到背景像素污染，可能已经跟丢目标，因而，通过再检测模块生成一个疑似真实目标的候选者，来寻找丢失的目标，极大的提高了抗干扰能力，增强了目标跟踪效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种长期目标跟踪方法的流程图；

图2为本发明实施例提供的一种长期目标跟踪方法的流程图；

图3为本发明实施例提供的目标区域和背景区域的示意图；

图4为本发明实施例提供的再检测模块的原理图；

图5为本发明实施例提供的实验结果示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种长期目标跟踪方法，如图1所示，其主要包括：

步骤A1、对于一段跟踪的视频序列，根据前一帧更新后的相关滤波器，预测当前帧中跟踪目标位置，根据与预测到的当前帧中跟踪目标位置相关的响应值指标，来判断预测到的当前帧中跟踪目标位置是否可靠；若可靠，则转入步骤A2；若不可靠，则转入步骤A3。

步骤A2、接受预测到的当前帧中的跟踪目标位置，作为当前帧的跟踪结果，并更新当前帧的相关滤波器。

步骤A3、启动再检测模块，根据给定的前一帧中跟踪目标位置和大小生成一个疑似跟踪目标的候选者，并根据与疑似跟踪目标的候选者相关的响应值指标来判断是否满足替换条件；若是，则转入步骤A4；否则，转入步骤A5。

步骤A4、将疑似跟踪目标的候选者作为当前帧的跟踪结果。

步骤A5、依旧接受预测到的当前帧中的跟踪目标位置，作为当前帧的跟踪结果，但是并不更新当前帧的相关滤波器。

上述方案的主要原理如下：一方面，由于真实的目标位置只会在第一帧中给出，后续的视频序列中，相关滤波器(跟踪器)负责给出预测的目标位置。因此，如何判断跟踪器预测的目标位置的准确性是很必要的，如果当前帧的跟踪结果不可靠，那么当前样本极有可能受到背景像素污染，因此不应该被更新。本发明提出了一个自适应更新策略，用于判断跟踪器跟踪质量，决定当前帧相关滤波模型是否被更新。

同时，若某一帧结果不可靠，相关滤波器可能已经跟丢目标，本发明提出的再检测模块会负责寻找丢失的目标，再检测模块会生成一个疑似真实目标的候选者，如果该候选者通过本发明提出的替换检查的话，本发明会将该候选者对应的位置替换原始的跟踪器结果(也即之前预测到的结果)；如果该候选者没有通过替换检查的话，则就接受原始的跟踪器结果，作为当前帧的跟踪结果。

为了便于理解，下面针对本发明做详细的介绍。

如图2所示，给出了本发明的详细步骤，主要如下：

步骤1、确定前一帧的搜索区域。

本发明实施例中，将第t+1帧作为当前帧，则前一帧为第t帧。因为第t帧中跟踪目标位置和大小是已知的，所以可以确定搜索区域，即以第t帧中跟踪目标的中心为中心坐标，划分一个跟踪目标大小指定倍数的区域作为搜索区域。示例性的，搜索区域的大小是第t帧跟踪目标的长宽的2.5倍。

步骤2、训练相关滤波器。

提取搜索区域的特征，记为x，记y是符合高斯分布的特征标签，训练第t帧的相关滤波器f^t，优化函数如下所示：

ε(f^t)＝||f^t*x-y||²+λ||f^t||²

其中，*表示相关运算(相关运算是矩阵的一种运算方式)，λ为优化函数的正则项系数，根据已有的跟踪器先验知识，一般可取0.001。

当ε(f^t)最小时，训练出第t帧的相关滤波器f^t。同理，第t帧的相关滤波器更新公式为：

其中，

为第1帧到第t-1帧(历史帧)的相关滤波器；

为更新后的第1帧到第t帧的相关滤波器。η为固定的更新率，示例性，经过大量反复试验后，可设置η＝0.01。

示例性的，对于搜索区域可以提取HOG和CN特征，相关特征提取方式可参见现有技术。例如：

文章(N.Dalal and B.Triggs,"Histograms of oriented gradients for humandetection,"in Computer Vision and Pattern Recognition,2005.pp.886-893)提出HOG(Histogram of Oriented Gradient)描述子，HOG的生成方式是根据这样的思想：它通过计算和统计图像局部区域的梯度方向直方图来构成特征。目标的梯度或边缘的方向密度分布很好地描述目标的表象和形状，因此HOG特征被广泛地运用在目标检测和跟踪领域。

文章(J.Van De Weijer,C.Schmid,J.Verbeek,and D.Larlus,"Learning colornames for real-world applications,"IEEE Transactions on Image Processing,vol.18,no.7,pp.1512-1523,2009)提出CN(Color Names)描述子，CN的生成方式是根据这样的思想：它把目标可能出现的颜色分为11类：黑、蓝、棕、灰、绿、橙、粉、紫、红、白和黄共11种。通过自适应算法，利用PCA(主成分分析)的思想，选择目标区域中每个像素比较显著的颜色，将11维的颜色特征降为2维度。

步骤3、计算颜色直方图的权重图。

本步骤计算到的颜色直方图的权重图将在后续计算响应值指标以及再检测模块生成一个疑似跟踪目标的候选者中使用，因此，步骤3具体执行时间不做限定，可预先执行，也可以在需要时间再执行。

将第t帧的目标区域定义O_t，目标周围背景定义为B_t，对第t帧来说，如图3所示，图3小矩形区域为目标区域O_t，大矩形除去O_t的区域为背景区域B_t，本发明中目标区域O_t和背景区域B_t总面积所构成的区域也即前文提到的搜索区域，可以设为目标区域O_t的2.5倍。这样针对两个区域提取颜色直方图，记成

和

其中，

和

即第1帧到第t-1帧(历史帧)的目标和背景颜色直方图；γ为固定的更新率，示例性，经过大量反复试验后，可设置γ＝0.01。

最终，得到颜色直方图的权重图T：

步骤4、预测当前帧中跟踪目标位置。

对于当前帧，也即第t+1帧，需要以第t帧的跟踪目标位置为中心裁剪出一定范围的区域(该区域大小是第t帧目标区域大小的2.5倍，具体的区域范围可以根据实际实际情况调整)作为搜索区域，并提取出相应的特征图z^t+1(特征利用前面提到的HOG和CN特征)，然后，根据第t帧的更新过后的相关滤波器

得到第t+1帧的跟踪目标响应图S_t+1：

其中，

和

表示对

和z^t+1进行傅里叶变换，F^-1代表逆傅里叶变换，⊙表示矩阵点乘；响应图S_t+1是一个与搜索区域特征图z^t+1同样大小的二维矩阵，矩阵每一个位置的值在0到1之间，代表搜索区域中不同位置的像素属于目标的可能性。

因此，通过第t+1帧的跟踪目标响应图S_t+1，确定第t+1帧中跟踪目标位置，通常为跟踪目标响应图S_t+1的最大值位置。

步骤5、计算响应值指标，判断预测结果是否可靠，从而决定是否更新相关滤波器。

大多数的跟踪方法是利用一个固定的更新率更新滤波器。但是，如果目标被遮挡或者跟踪器预测的结果偏离真实目标，此时如果继续更新模型的话，跟踪模型可能会遭受污染，因此，本发明引入了两种置信度评估策略，来判断当前帧的预测阶段是否可靠，进而决定是否更新相关滤波器。

在正常的跟踪目标的响应图S_t+1，具备一个锐利峰值，和其他平坦的响应值，表明检测到可靠的跟踪目标。相反，当响应图有多个的矮峰值时，此时跟踪器可能跟丢目标。

针对得到的第t+1帧的跟踪目标的响应图S_t+1，计算HOGR响应值，判断跟踪质量，计算公式为：

其中，S_max代表S_t+1中的响应值最大值，μ_t代表S_t+1的响应值均值，σ_t为S_t+1的响应值标准差；

同时，计算COLOR响应值的计算公式为：

其中，u表示特征图z^t+1中的任意一个像素，T表示前一帧的颜色直方图的权重图(步骤3计算得到)，T(u)表示像素u的权重，得到的

代表了特征图z^t+1中的一个像素u属于目标区域的概率。在本发明中，我们知道目标不是一个像素，是一个矩形区域下的像素集合。因此B(u)是以像素u为中心的矩形区域(矩形大小等同于第t帧的目标区域O_t)，那么对B(u)区域内的所有像素v求和，即

得到

含义为：对于像素u∈z^t+1，以u为中心的矩形区域B(u)的所有像素v求和，即得到了以像素u为中心的矩形区域的所有像素属于目标区域的概率和。

中的最大值作为第t+1帧的COLOR响应值

如果响应值指标满足以下条件，则认为预测到的当前帧中跟踪目标位置可靠：

其中，o₁和o₂为阈值参数，

分别为HOGR响应平均值、COLOR响应平均值，都通过历史数据(第1～第t帧的响应值)计算得到。上述两个式子，简称可靠性检查，便于后续分辨。

阈值参数o₁和o₂，取值范围在0和1之间，结合已有的各个跟踪器先验知识，本发明提供一个参考值：二者均为0.7。

以上的比较判断条件称为可靠性检查，如果第t+1帧的跟踪结果质量良好，则可以通过上述可靠性检查，基于第t+1帧跟踪结果可以更新相关滤波器(具体方式可参见前述步骤2)。

如果响应值指标满足以下条件之一，那么则认为预测到的当前帧中跟踪目标位置不可靠：

其中，τ₁和τ₁为两个经验阈值，结合已有的跟踪器，且经过大量试验，二者取值0.6。该条件称为不可靠性检查。

如果满足不可靠性检查，则有理由认为预测到的当前帧中跟踪目标位置足够不可靠，不更新相关滤波器，并进入步骤6。

如果不满足可靠性检查与不可靠性检查，我们无法说第t+1帧跟踪结果良好，但是不能说跟踪结果坏。事实上，本发明在通过大量的试验发现，虽然跟踪器没有跟丢目标，但由于目标可能遭受轻微遮挡等因素，可靠性检查也会出现不满足的情况。因此，可靠性检查不满足时，我们依旧选择相信当前帧的跟踪结果，即步骤6的再检测模块不会被启动。不过处于保险起见，基于第t+1帧跟踪结果不会被用来更新相关滤波器，防止相关滤波器被污染。

步骤6、启动再检测模块，生成一个疑似跟踪目标的候选者，若该候选者通过替换检查，则认为再检测模块生成的候选者可靠，用来替换不可靠的预测的跟踪器结果。否则，我们有理由相信，候选者没有那么可靠，不值得我们放弃跟踪器预测的跟踪结果(尽管跟踪器满足了不可靠性检查)。

再检测模块以前一帧的跟踪目标位置为中心裁剪出的一定范围的搜索区域(示例性的，可以是第t帧目标长宽的7倍)，并提取出相应的特征图z′^t+1，此阶段裁剪出的搜索区域大于之前步骤4预测时搜索区域的范围(示例性的，步骤4给出的为2.5倍)，便于寻找丢失的目标。

并结合前一帧的颜色直方图的权重图T，重建构建一个颜色相似图P：

定义和步骤5中计算COLOR响应值类似，u′表示特征图中z′^t+1的任意一个像素，T表示前一帧的颜色直方图的权重图(步骤3计算得到)，T(u′)表示像素u′的权重，得到的

代表了特征图z′^t+1中的一个像素u′属于目标的概率。在本发明中，我们知道目标不是一个像素，是一个矩形区域下的像素集合。因此B(u′)是以像素u′为中心的矩形区域(矩形大小等同于第t帧的目标区域O_t)B(u′)矩形框像素用v′表示，那么对B(u′)区域内的所有像素v′求和，即

得到

所构建的颜色相似图P中值最大的像素位置作为疑似跟踪目标的候选者中心坐标，候选者目标区域大小暂时采用第t帧的目标大小，如果疑似跟踪目标的候选者可靠，即相关的响应值指标满足步骤5中的可靠性检查，并且对应的响应值指标大于基于相关滤波的跟踪结果响应值指标的一定倍数(例如，2倍)，那么称疑似跟踪目标满足替换检查。则将疑似跟踪目标的候选者作为当前帧的跟踪结果。

优选的，为了进一步提高预测结果的准确性，结合疑似跟踪目标的候选者再次执行步骤4，不同的是，这次是以疑似跟踪目标的候选者的目标位置中心裁剪出一定范围的区域，其他操作与步骤4相同，即，通过相关滤波器

再次预测出一个新的跟踪目标位置，并作为最终的当前帧的跟踪结果。可选的，此时跟踪目标的大小可以采用疑似跟踪目标的候选者的大小，或者采用其他现有技术来实现。

图4给出一个再检测模块的示例说明。如图4可以看出，第130帧(也即左侧图像)，跟踪目标(熊猫)被遮挡，此时相关滤波器已经跟丢目标，本发明提出的再检测模块开始工作，寻找丢失的目标；在第132帧，跟踪目标出现在视野中(图4中间图像中部的矩形框区域)，图4的右侧图像为再检测模块构建的颜色相似图P，从颜色相似图中，根据像素数值可以快速找到疑似跟踪目标的候选者(矩形框)。该疑似跟踪目标的候选者对应的新的目标框的响应值比原始跟踪器预测的结果的响应值2倍还大，且满足步骤5所提到的可靠性检查，此时满足替换检查，也即，将疑似跟踪目标的候选者替换当前帧的跟踪结果。在第132帧中，将该候选者替换第132帧跟踪器结果，成功找到已经跟丢的目标(图4中间图像中部的矩形框区域)。如果不满足替换原则，则将保留原始的跟踪结果，也即步骤4的预测结果。

本发明与现有技术相比的主要具有如下优点：

(1)本发明能有效处理目标被遮挡，变形等复杂场景下的跟踪

针对实际场景下目标跟踪，当实际的场景挑战因素较少，跟踪器可以良好地跟踪出目标；如果出现了若干挑战因素(变形，遮挡)，此时相关滤波器可能会跟丢目标。本发明提出的再检测模块，会生成基于颜色直方图的权重图，生成一个颜色相似图，根据颜色相似图，可生成真实目标的候选者。之后对候选者进行考查，如果候选者足够可靠的话，则替换原来的跟踪器结果，否则的话，保留原来的跟踪器结果作为当前帧的目标位置。本发明提出的相关滤波器在OTB2015目标跟踪数据集上，取得87.1％的精度，同时本发明提出的再检测模块，可用在其他主流的跟踪器上，比如KCF，DSST(文章[2]的方法)和Staple(文章[3]的方法)，均可至少提高10％的精度。

(2)本发明的跟踪算法耗时少

本发明的计算速度较快，一方面得益于KCF算法的优势，另外一方面本文摈弃了复杂的优化过程，训练出理想的滤波器。实验表明，本发明的方法，每秒能处理45帧数据，完全能满足实时跟踪的要求。

实验说明。

在OTB2015目标跟踪数据集上，评测本发明的跟踪性能。在OTB2015目标跟踪数据集上，本发明提出的跟踪器精度为87％，远大于基础算法KCF(47.7％)。并且提出的再检测模块，可被移植到其余相关滤波器(跟踪器)上，提高原本跟踪器的跟踪性能，同样地，本发明列举三个基础跟踪器KCF，DSST和Staple，这三个跟踪器在使用本发明提出的再检测模块，在原有的跟踪性能上，成功提高10％以上的精度，并且还基本维持原来跟踪器的速度。一定程度上证明本发明提出的再检测模块具备较强的通用性。

为了进一步展示本发明提出的跟踪器效果，本发明从OTB2015目标跟踪数据集上挑选出2个视频Human3和Girl2序列来做说明。如图5所示，上、下两部分分别为Human3和Girl2序列的跟踪结果。上部分左侧图像为第35帧跟踪结果，第53帧时(即中间图像)跟踪目标遭受遮挡，使得相关滤波器跟丢了目标；第55帧时(即右侧图像)跟踪目标重新出现在视野，在本发明提出的再检测模块的帮助下，重新找到跟踪目标。下部分也是如此，下部分左侧图像为第103帧跟踪结果，第113帧时(即中间图像)跟踪目标遭受遮挡，使得相关滤波器跟丢了目标；第153帧时(即右侧图像)跟踪目标重新出现在视野，在本发明提出的再检测模块的帮助下，重新找到跟踪目标。可见，这一定程度上证明了本发明的跟踪方法可以很好地提高基础跟踪器抗干扰差的情况，帮助原来的基础跟踪器找回跟丢的目标。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种长期目标跟踪方法，其特征在于，包括：

对于一段跟踪的视频序列，根据前一帧更新后的相关滤波器，预测当前帧中跟踪目标位置，根据与预测到的当前帧中跟踪目标位置相关的响应值指标，来判断预测到的当前帧中跟踪目标位置是否可靠；

若可靠，则将预测到的当前帧中跟踪目标位置作为当前帧的跟踪结果，并更新当前帧的相关滤波器；

若不可靠，则启动再检测模块，根据给定的前一帧中跟踪目标位置和大小生成一个疑似跟踪目标的候选者，并根据与疑似跟踪目标的候选者相关的响应值指标来判断是否满足替换条件；若是，则将疑似跟踪目标的候选者作为当前帧的跟踪结果，否则，继续保留预测到的当前帧中跟踪目标位置为当前帧的跟踪结果；

其中，启动再检测模块，根据给定的前一帧中跟踪目标位置和大小生成一个疑似跟踪目标的候选者包括：

再检测模块以前一帧的跟踪目标位置为中心裁剪出一定范围的搜索区域，前一帧也即第t帧，并提取出相应的特征图z′^t+1，此阶段裁剪出的搜索区域大于之前预测时搜索区域的范围，并结合前一帧的颜色直方图的权重图T，构建一个颜色相似图

其中，u′表示特征图中z′^t+1的任意一个像素，T表示前一帧的颜色直方图的权重图，T(u′)表示像素u′的权重，得到的

代表了特征图z′^t+1中的一个像素u′属于跟踪目标的概率；B(u′)是以像素u′为中心的矩形区域，v'表示矩形区域B(u′)中的任一像素；对B(u′)区域内的所有像素求和，即

得到

所构建的颜色相似图

中数值最大的像素位置作为疑似跟踪目标的候选者中心坐标，候选者目标区域大小采用第t帧的跟踪目标的大小。

2.根据权利要求1所述的一种长期目标跟踪方法，其特征在于，更新前一帧的相关滤波器的方式包括：

根据给定的前一帧中跟踪目标位置和大小，确定搜索区域，并提取搜索区域的特征x；

记y是符合高斯分布的特征标签，训练相关滤波器f^t，优化函数如下所示：

ε(f^t)＝||f^t*x-y||²+λ||f^t||²

其中，*表示相关运算，λ为优化函数的正则项系数；

当ε(f^t)最小时，训练出第t帧的相关滤波器f^t，第t帧的相关滤波器更新公式为：

其中，

为第1帧到第t-1帧的相关滤波器；

为更新后的第1帧到第t帧的相关滤波器，η为固定的更新率。

3.根据权利要求1所述的一种长期目标跟踪方法，其特征在于，预测当前帧中跟踪目标位置的步骤包括：

当前帧也即第t+1帧，以第t帧的跟踪目标位置为中心裁剪出一定范围的区域作为搜索区域，并提取出相应的特征图z^t+1，然后，根据前一帧的更新后的相关滤波器

得到第t+1帧的跟踪目标响应图S_t+1：

其中，

和

表示对

和z^t+1进行傅里叶变换的结果，F^-1代表逆傅里叶变换，⊙表示矩阵点乘；

通过第t+1帧的跟踪目标响应图S_t+1，确定第t+1帧中跟踪目标位置。

4.根据权利要求3所述的一种长期目标跟踪方法，其特征在于，与预测到的当前帧中跟踪目标位置相关的响应值指标包括：HOGR响应值与COLOR响应值；其中，

HOGR响应值的计算公式为：

其中，S_max代表S_t+1中的响应值最大值，μ_t代表S_t+1的响应值均值，σ_t为S_t+1的响应值标准差；

COLOR响应值的计算公式为：

其中，u表示特征图z^t+1中的任意一个像素，T表示前一帧的颜色直方图的权重图，T(u)表示像素u的权重，得到的

代表了特征图z^t+1中的一个像素u属于目标区域的概率；B(u)是以像素u为中心的矩形区域，v表示矩形区域B(u)中的任一像素；

含义为：对于像素u∈z^t+1，以u为中心的矩形区域B(u)的所有像素求和，即得到了以像素u为中心的目标区域的所有像素属于目标区域的概率和，

中的最大值作为第t+1帧的COLOR响应值

5.根据权利要求4所述的一种长期目标跟踪方法，其特征在于，判断预测到的当前帧中跟踪目标位置是否可靠包括：

如果响应值指标满足以下条件，则通过可靠性检查，认为预测到的当前帧中跟踪目标位置可靠：

其中，o₁和o₂为阈值参数，

分别为HOGR响应平均值、COLOR响应平均值；

如果响应值指标满足以下条件之一，则通过不可靠性检查，认为预测到的当前帧中跟踪目标位置不可靠：

其中，τ₁和τ₁为两个经验阈值。

6.根据权利要求5所述的一种长期目标跟踪方法，其特征在于，

如果通过可靠性检查条件，则认为预测到的当前帧中跟踪目标位置可靠；

如果通过不可靠性检查，则认为预测到的当前帧中跟踪目标位置不可靠；

如果未通过可靠性检查与不可靠性检查，则将预测到的当前帧中跟踪目标位置作为当前帧的跟踪结果，但不更新当前帧的相关滤波器。

7.根据权利要求1或5所述的一种长期目标跟踪方法，其特征在于，满足替换条件包括：如果疑似跟踪目标的候选者可靠，并且对应的响应值指标大于与预测到的当前帧中跟踪目标位置相关的响应值指标的一定倍数，则将疑似跟踪目标的候选者作为当前帧的跟踪结果。

8.根据权利要求7所述的一种长期目标跟踪方法，其特征在于，结合疑似跟踪目标的候选者与前一帧更新后的相关滤波器预测出一个新的跟踪目标位置，并作为最终的当前帧的跟踪结果。

9.根据权利要求4所述的一种长期目标跟踪方法，其特征在于，颜色直方图的权重图的计算步骤包括：

根据给定的前一帧中跟踪目标位置和大小，确定搜索区域，构建颜色直方图

和

其中，γ为固定的更新率，

和

分别表示前一帧，也即第t帧的目标和背景颜色直方图，

和

即第1帧到第t-1帧的目标和背景颜色直方图；

则颜色直方图的权重图T为：

Images