CN113486820B - 基于高效模板更新与选择机制的双向目标跟踪方法及系统 - Google Patents

Abstract

本发明涉及一种基于高效模板更新与选择机制的双向目标跟踪方法，包括以下步骤：构建基于在线学习的目标跟踪器T ₀；构建在线可靠性评估模块ORE；构建动态模板更新模块DTU；构建自适应模板选择模块ATS；构建基于离线学习的孪生跟踪器T ₁；根据ORE、DTU和ATS，首先选择将当前视频帧图像输入T ₀或者T ₁，第一帧默认选择T ₀，然后执行相应切换模式下的跟踪策略和模板策略，得到当前帧的最终预测结果。该方法及系统有效结合了基于在线学习跟踪器和基于离线学习跟踪器的优势，可以在具有挑战性的场景中获得更加稳定、鲁棒、准确的跟踪结果。

Description

基于高效模板更新与选择机制的双向目标跟踪方法及系统

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于高效模板更新与选择机制的双向目标跟踪方法及系统。

背景技术

目标跟踪作为计算机领域中的一项重要研究课题受到了显著关注，其在诸多领域具有广泛的应用，比如无人驾驶、移动机器人等。给定被跟踪物体在第一帧中的真实位置，我们希望在后续帧中能够持续地对该物体进行跟踪。近年来，目标跟踪方法已经从深度学习中受益匪浅，并取得了长足的进步。但是，现有的目标跟踪方法难以应对背景杂乱、遮挡等具有挑战性的场景，容易出现目标漂移现象。

现有的基于深度神经网络的目标跟踪器通过利用深度网络强大的特征提取能力表现出较好的性能。这些跟踪器可以分为两类：基于在线学习的跟踪器和基于离线学习的跟踪器。基于在线学习的跟踪器具有较高的精度，其使用模型更新的方法来处理跟踪过程中目标外观的变化。MDNet(H.Nam andB.Han.Learning multi-domain convolutionalneural networks for visual tracking.Proceeding of the IEEE Conference onComputer Vision and Pattern Recognition.2016，pp.4293-4302.)将目标跟踪视为一个二分类任务，并且使用一个轻量级的网络进行多域学习。在此基础上，VITAL(Y.B.Song，C.Ma，X.H.Wu，L.J.Gong，L.C.Bao，W.M.Zuo，C.H.Shen，R.W.H.Lau，M.H.Yang.VITAL:Visualtracking via adversarial learning.Proceeding of the IEEE Conference onComputer Vision and Pattern Recognition.2018，pp.8990-8999.)将对抗学习的思想整合到跟踪网络框架中，该网络通过生成掩码来学习一系列目标外观中的鲁棒特征。Meta-Tracker(E.Park and A.C.Berg.Meta-tracker:fast and robust online adaptationfor visual object trackers.Proceeding of the European Conference on ComputerVision.2018，pp.587-604.)发现大多数在线学习的性能受到初始化的限制，因此将元学习方法引入到跟踪框架中，以使模型得到有效的初始化。同样，MAML-Tracker(G.Wang，C.Luo，X.Sun，Z.Xiong，and W.Zeng.Tracking by instance detection:A meta-learningapproach.Proceeding of the IEEE Conference on Computer Vision and PatternRecognition.2020，pp.6287-6296.)引入与模型无关的元学习方法，能够更好地学习模型的初始权重。由于在跟踪过程中对目标外观模型的迭代训练和更新，因此上述具有代表性的基于在线学习的跟踪器在判别性能方面显示出巨大的优势。但是，它们中的大多数离实时跟踪还有较大的距离，且很容易引入噪声。

此外，当前基于离线学习的跟踪器主要由孪生网络结构组成，比如SiamFC(L.Bertinetto，J.Valmadre，J.F.Henriques，A.Vedaldi，and P.H.Torr.Fully-convolutional siamese networks for object tracking.Proceeding of the EuropeanConference on Computer Vision Workshop.2016，pp.850-865.)和SiamRPN(B.Li，J.Yan，W.Wu，Z.Zhu，and X.Hu.High performance visual tracking with siamese regionproposal network.Proceeding of the IEEE Conference on ComputerVision andPattern Recognition.2018，pp.8971-8980.)，其外观模型在跟踪之前已经进行端到端的离线训练，并且跟踪时不更新模型，因此具有较快的跟踪速度，此类孪生跟踪器的基本思想是将视频的第一帧作为模板，将后续帧作为搜索区域，在该区域中，与模板最相似的区域被视为预测结果。但是由于模板固定，它们不能很好地应对目标外观变化。为了解决这个问题，已经有一些工作来更新孪生跟踪器的模板，比如CFNet(J.Valmadre，L.Bertinetto，J.F.Henriques，A.Vedaldi，and P.H.S.Torr.End-to-end representation learning forcorrelation filter based tracking.Proceeding of the IEEE Conference onComputer Vision and Pattern Recognition.2017，pp.2805-2813.)和RASNet(Q.Wang，Z.Teng，J.Xing，J.Gao，W.Hu，and S.Maybank.Learning attentions:Residualattentional siamese network for high performance online visualtracking.Proceeding of the IEEE Conference on Computer Vision and PatternRecognition.2018，pp.4854-4863.)，分别将相关滤波器模块和注意力机制模块插入模板分支。

发明内容

本发明的目的在于提供一种基于高效模板更新与选择机制的双向目标跟踪方法及系统，该方法及系统有利于获得更加稳定、鲁棒、准确的跟踪结果。

为实现上述目的，本发明采用的技术方案是：一种基于高效模板更新与选择机制的双向目标跟踪方法，包括以下步骤：

构建基于在线学习的目标跟踪器T₀；

构建在线可靠性评估模块ORE，其由结果可靠性评估器、模板可靠性评估器和跟踪器可靠性评估器组成，分别评估跟踪结果、模板和跟踪器的可靠性，以为下一步决策提供依据；

构建动态模板更新模块DTU，其主要由一个模板记忆单元组成，通过模板写入、模板删除操作更新记忆单元中的模板，进一步通过模板统计操作判断模板数量是否充足，以为下一步决策提供依据；

构建自适应模板选择模块ATS，其通过读取模板策略、记忆单元，自适应地选择当前帧使用的模板，作为基于离线学习的孪生跟踪器的输入；

构建基于离线学习的孪生跟踪器T₁，其在执行跟踪任务前根据ATS自适应地选择当前帧的模板，可以是单模板，也可以是多模板；

对获取到的一帧图像采用T₀和T₁进行双向目标跟踪，包括以下步骤：

选择将图像输入跟踪器T₀或跟踪器T₁，若为第一帧图像，则默认选择T₀，否则根据切换模式、跟踪器以及模板策略的状态值决定采用的跟踪策略、跟踪器及模板；

根据ORE判断跟踪结果、模板或跟踪器的可靠性，更新切换模式、跟踪器和模板策略的状态值，判断是否直接用跟踪器T₀或T₁的初始跟踪结果作为当前帧的最终跟踪结果、是否更新模板以及是否要切换跟踪器；

如果模板可靠或者跟踪器不可靠，则根据DTU更新、统计记忆单元中的模板，更新切换模式、跟踪器和模板策略；

如果选择T₁进行跟踪，根据ATS从记忆单元中选择T₁需要使用的模板。

进一步地，构建基于在线学习的目标跟踪器T₀的具体方法为：

在线跟踪前，采用VITAL跟踪算法并利用ILSVRC-VID数据集对T₀进行离线预训练；

在线跟踪时，利用第一帧对T₀进行参数初始化以适应当前任务，具体为在第一帧给定真实框周围采集5000个负样本、500个正样本，并对跟踪器迭代训练15轮；从第二帧开始，在上一帧预测目标框周围采集200个负样本、50个正样本，并对跟踪器训练1轮。

进一步地，构建在线可靠性评估模块ORE的具体方法为：

给定第t帧输入的图像，跟踪器T_i输出当前预测目标的置信度得分

对结果可靠性的评估方法

表示如下：

这里i＝0,1.

其中，τ₁是跟踪结果的置信度阈值；跳跃函数sgn(·)用于将所有的

映射到{-1,0,1}；如果

返回1，则说明跟踪结果是可靠的；否则跟踪结果被判定为不可靠；

对模板的可靠性进行评估，使用一个更严格的阈值τ₂以过滤掉不可靠的目标模板，评估方法

表示如下：

这里i＝0,1.

其中，

是模板Z_l(l∈{0,k,N-1})相应的置信度得分；如果

返回1，说明模板是可靠的；

对跟踪器的可靠性进行评估，评估方法E_tra(T_i)表示如下：

这里i＝0,1.

其中，failNum(T_i)表示在连续帧中跟踪失败的总次数，一旦跟踪结果是可靠的，其将会被重置为0；阈值τ₃是连续帧失败总次数的上限；如果E_tra(T_i)返回1，说明跟踪器是可靠的。

进一步地，构建动态模板更新模块DTU的具体方法为：

设置一个模板记忆单元Z＝{Z₀,Z₁,...,Z_N-1}，其容量为N，并且根据第一帧给定真实框得到的第一个模板Z₀进行初始化；

对于后续帧，设置模板写入和模板删除操作动态地更新模板记忆单元；当模板写入操作被执行，可靠的模板以及相应的权重将以队列的形式加入记忆单元；当模板删除操作被执行，除了第一帧模板外，记忆单元中的其他模板都将被删除；

设置模板统计操作，当记忆单元中的模板总数达到上限，下一帧使用T₁单独跟踪策略。

进一步地，构建自适应模板选择模块ATS的具体方法为：

标记第一帧模板为Z₀，最新帧模板为Z_N-1，中间帧模板为Z_k，k∈(0,N-1)，其中中间帧模板Z_k从记忆单元中根据权重自适应选择；

根据变量ASS定义不同的模板策略Temp，表示如下：

其中P₀表示仅使用第一帧模板，P₁表示仅使用最新帧模板，P₂表示同时使用第一帧、中间帧和最新帧，中间帧根据模板权重选择；P₀和P₁属于单模板策略，P₂属于多模板策略；

对于使用T₀和T₁联合跟踪的情况，进一步将ASS表示为：

其中Count(·)表示记忆单元中模板的总数量，其最大容量为N；

对于使用T₁单独跟踪的情况，进一步将ASS表示为：

并且Recovery＝1

其中Recovery用于标识当前帧使用第一帧模板进行重检测；若使用，则Recovery＝1，否则为0。

进一步地，构建基于离线学习的孪生跟踪器T₁的具体方法为：

对视频的第一帧图像，基于给定的真实框的中心点，裁剪出127*127大小的区域作为模板图像；对于视频的后续帧图像，基于上一帧预测的边界框的中心点，裁剪出255*255大小的区域作为搜索区域图像；

加载在ILSVRC-VID数据集上预训练好的参数模型；

将每一个模板Z_l(l∈{0,k,N-1})以及搜索图像X_t输入T₁，得到三组分类图

和三组回归图

分别表示为：

和

将得到的三组分类图和回归图采用按位相加的方式进行融合，得到预测目标结果。

进一步地，对获取到的一帧图像采用T₀和T₁进行双向目标跟踪的具体方法为：

选择将图像输入跟踪器T₀或跟踪器T₁，若为第一帧图像，则默认选择T₀，否则根据切换模式、跟踪器以及模板策略的状态值决定采用的跟踪策略、跟踪器及模板；

当采用T₀跟踪器，首先获得初始跟踪结果PR₀，将该结果输入ORE，由结果可靠性评估器评估跟踪结果的可靠性；如果结果PR₀可靠，PR₀即为当前帧的最终跟踪结果，表示为FR₀，其进一步作为模板由模板可靠性评估器评估可靠性；如果模板是不可靠的，则更新切换模式状态值为帧间、跟踪器状态值为T₀、模板策略状态值为P₂，即为包含第一帧、中间帧和最新帧的多模板策略，表示当前帧结束，下一帧采用T₀跟踪，若需要使用T₁辅助跟踪，其模板策略为多模板；如果模板是可靠的，则执行模板写入操作更新模板记忆单元，此时模板及其权重都会被写入，写入后模板统计操作用于计算记忆单元中的模板数量，进一步判断是否充足，如果充足则更新切换模式状态值为帧间、跟踪器状态值为T₁、模板策略状态值为P₁，即为仅含最新帧的单模板策略，表示当前帧结束，下一帧采用T₁跟踪，其模板策略为单模板，如果模板数量不充足，则更新切换模式状态值为帧间、跟踪器状态值为T₀、模板策略状态值为P₂，即为包含第一帧、中间帧和最新帧的多模板策略；

当结果PR₀不可靠，更新切换模式状态值为帧内、跟踪器状态值为T₁、模板策略状态值为P₂，表示当前帧未结束，将继续采用跟踪器T₁进行辅助跟踪，其模板策略为多模板；由于T₁不仅能通过帧内转换辅助T₀跟踪，还能通过帧间转换单独跟踪，因此T₁需要根据当前的切换模式进行下一步操作；首先由ATS选择当前帧的模板，随后模板与搜索区域图像输入T₁得到初始跟踪结果PR₁，ORE中的结果可靠性评估器评估PR₁的可靠性；如果PR₁可靠，PR₁将作为当前帧的最终跟踪结果，表示为FR₁，进一步通过与T₀一样的操作，将FR₁输入模板可靠性评估器，以判断是否将其写入模板记忆单元中；如果PR₁不可靠，当前帧的最终跟踪结果FR₁则采用T₀的跟踪结果PR₀，此时FR₁也会送入模板可靠性评估器，执行和上述一样的评估方式；

当上述过程中更新切换模式状态值为帧间、跟踪器状态值为T₁时，下一帧将采用T₁单独跟踪以平衡速度和精度；此时的模板策略可以是P₀、P₁或者P₂，即仅包含第一帧的单模板策略、仅包含最新帧的单模板策略或包含第一帧、中间帧和最新帧的多模板策略；ATS读取相应的模板输入T₁后，得到初始跟踪结果PR₁，PR₁的可靠性由ORE中的结果可靠性评估器评估，如果PR₁不可靠，PR₁将作为当前帧的跟踪结果，表示为FR₁，但是将由跟踪器可靠性评估器评估T₁的可靠性，如果T₁可靠，那么更新切换模式状态值为帧间、跟踪器状态值为T₁、模板策略状态值为P₁，表示当前帧结束，下一帧仍然采用T₁跟踪，并基于最新帧模板，如果T₁不可靠，一方面会从记忆单元中删除当前模板及其权重，另一方面更新切换模式状态值为帧间、跟踪器状态值为T₁、模板策略状态值为P₀，表示当前帧结束，下一帧T₁将采用第一帧模板进行跟踪，以从不可靠状态中恢复；

如果PR₁可靠，PR₁将作为当前帧的跟踪结果，表示为FR₁；此时根据模板策略，需要判断当前帧是否仅使用第一帧模板恢复，并且成功，即在PR₁可靠的前提下ASS是否等于P₀；如果ASS＝P₀，则更新切换模式状态值为帧间、跟踪器状态值为T₀、模板策略状态值为P₂，表示T₁从不可靠状态恢复成功后，下一帧将采用T₀跟踪，以收集更多可靠的模板；如果ASS≠P₀，则更新切换模式状态值为帧间、跟踪器状态值为T₁、模板策略状态值为P₂，表示下一帧继续使用基于多模板的T₁跟踪。

本发明还提供了一种基于高效模板更新与选择机制的双向目标跟踪系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。

相较于现有技术，本发明具有以下有益效果：本方法及系统有效结合了基于在线学习的跟踪器和基于离线学习的跟踪器的优势，以确保在具有挑战性的场景中获得更稳定和鲁棒的跟踪结果。该方法包括两种模式：帧内切换模式和帧间切换模式，每个模式又包含两种不同的跟踪策略，即联合跟踪和单独跟踪。同时，该模板更新与选择机制是基于在线和离线学习跟踪器的跟踪结果，采用ORE对模板质量和跟踪器的可靠性进行评估，通过DTU对记忆单元中的模板进行动态更新，并利用ATS自适应选择模板，以应对剧烈的外观变化。此外，基于离线学习的多模板匹配孪生跟踪方法有效地融合了多模板的外观信息，使跟踪器对具有挑战性的场景具有更强的鲁棒性。

附图说明

图1是本发明实施例的方法实现流程图。

图2是本发明实施例中基于离线学习的孪生跟踪器的实现流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于高效模板更新与选择机制的双向目标跟踪方法，包括以下步骤：

1、构建基于在线学习的目标跟踪器T₀。具体实现方法为：

1)在线跟踪前，T₀采用VITAL跟踪算法(Yibing Song，Chao Ma，Xiaohe Wu，LijunGong，Linchao Bao，Wangmeng Zuo，Chunhua Shen，Rynson W.H.Lau，and Ming-HsuanYang.VITAL:VIsual Tracking via Adversarial Learning.Proceeding of the IEEEConference on Computer Vision and Pattern Recognition.2018，pp.8990-8999.)，并且利用ILSVRC-VID数据集(O.Russakovsky，J.Deng，et al.ImageNet Large Scale VisualRecognition Challenge.Int.J.Comput.Vis.，vol 115，no.3，pp.211-252，2015.)对T₀进行离线预训练；

2)在线跟踪时，利用第一帧对T₀进行参数初始化以适应当前任务，具体为在第一帧给定真实框周围采集5000个负样本、500个正样本，并对跟踪器迭代训练15轮；从第二帧开始，在上一帧预测目标框周围采集200个负样本、50个正样本，并对跟踪器训练1轮。

2、构建在线可靠性评估模块ORE，其由结果可靠性评估器、模板可靠性评估器和跟踪器可靠性评估器组成，分别评估跟踪结果、模板和跟踪器的可靠性，以为下一步决策提供依据。其具体实现方法为：

1)给定第t帧输入的图像，跟踪器T_i输出当前预测目标的置信度得分

对结果可靠性的评估方法

表示如下：

这里i＝0,1

其中，τ₁是跟踪结果的置信度阈值；跳跃函数sgn(·)用于将所有的

映射到{-1,0,1}；如果

返回1，则说明跟踪结果是可靠的；否则跟踪结果被判定为不可靠；

2)对模板的可靠性进行评估，使用一个更严格的阈值τ₂以过滤掉不可靠的目标模板，评估方法

表示如下：

这里i＝0,1

其中，

是模板Z_l(l∈{0,k,N-1})相应的置信度得分；如果

返回1，说明模板是可靠的；

3)对跟踪器的可靠性进行评估，评估方法E_tra(T_i)表示如下：

这里i＝0,1

其中，failNum(T_i)表示在连续帧中跟踪失败的总次数，一旦跟踪结果是可靠的，其将会被重置为0；阈值τ₃是连续帧失败总次数的上限；如果E_tra(T_i)返回1，说明跟踪器是可靠的。

3、构建动态模板更新模块DTU，其主要由一个模板记忆单元组成，通过模板写入、模板删除操作更新记忆单元中的模板，进一步通过模板统计操作判断模板数量是否充足，以为下一步决策提供依据。其具体实现方法为：

1)设置一个模板记忆单元Z＝{Z₀,Z₁,...,Z_N-1}，其容量为N，并且根据第一帧给定真实框得到的第一个模板Z₀进行初始化；

2)对于后续帧，设置模板写入和模板删除操作动态地更新模板记忆单元；当模板写入操作被执行，可靠的模板以及相应的权重将以队列的形式加入记忆单元；当模板删除操作被执行，除了第一帧模板外，记忆单元中的其他模板都将被删除；

3)设置模板统计操作，当记忆单元中的模板总数达到上限，下一帧使用T₁单独跟踪策略。

4、构建自适应模板选择模块ATS，其通过读取模板策略、记忆单元，自适应地选择当前帧使用的模板，作为基于离线学习的孪生跟踪器的输入。其具体实现方法为：

1)标记第一帧模板为Z₀，最新帧模板为Z_N-1，中间帧模板为Z_k，k∈(0,N-1)，其中中间帧模板Z_k从记忆单元中根据权重自适应选择；

2)根据变量ASS定义不同的模板策略Temp，表示如下：

其中P₀表示仅使用第一帧模板，P₁表示仅使用最新帧模板，P₂表示同时使用第一帧、中间帧和最新帧，中间帧根据模板权重选择；具体地，P₀和P₁属于单模板策略，P₂属于多模板策略；

3)对于使用T₀和T₁联合跟踪的情况，进一步将ASS表示为：

其中Count(·)表示记忆单元中模板的总数量，其最大容量为N；

4)对于使用T₁单独跟踪的情况，进一步将ASS表示为：

并且Recovery＝1

其中Recovery用于标识当前帧使用第一帧模板进行重检测；若使用，则Recovery＝1，否则为0。

5、构建基于离线学习的孪生跟踪器T₁，其区别于一般孪生跟踪器固定使用第一帧模板，其特点在于在执行跟踪任务前会根据ATS自适应地选择当前帧的模板，可以是单模板，也可以是多模板。如图2所示，其具体实现方法为：

1)对视频的第一帧图像，基于给定的真实框的中心点，裁剪出127*127大小的区域作为模板图像；对于视频的后续帧图像，基于上一帧预测的边界框的中心点，裁剪出255*255大小的区域作为搜索区域图像；

2)加载在ILSVRC-VID(O.Russakovsky，J.Deng，et al.ImageNet Large ScaleVisual Recognition Challenge.Int.J.Comput.Vis.，vol 115，no.3，pp.211-252，2015.)数据集上预训练好的参数模型；

3)将每一个模板Z_l(l∈{0,k,N-1})以及搜索图像X_t输入T₁，得到三组分类图

和三组回归图

分别表示为：

和

4)将得到的三组分类图和回归图采用按位相加的方式进行融合，得到预测目标结果。

6、对获取到的一帧图像采用T₀和T₁进行双向目标跟踪，包括以下步骤：

选择将图像输入跟踪器T₀或跟踪器T₁，若为第一帧图像，则默认选择T₀，否则根据切换模式、跟踪器以及模板策略的状态值决定采用的跟踪策略、跟踪器及模板；

根据ORE判断跟踪结果、模板或跟踪器的可靠性，更新切换模式、跟踪器和模板策略的状态值，判断是否直接用跟踪器T₀或T₁的初始跟踪结果作为当前帧的最终跟踪结果、是否更新模板以及是否要切换跟踪器；

如果模板可靠或者跟踪器不可靠，则根据DTU更新、统计记忆单元中的模板，更新切换模式、跟踪器和模板策略；

如果选择T₁进行跟踪，根据ATS从记忆单元中选择T₁需要使用的模板。

在本实施例中，对获取到的一帧图像采用T₀和T₁进行双向目标跟踪的具体方法为：

1)选择将图像输入跟踪器T₀或跟踪器T₁，若为第一帧图像，则默认选择T₀，否则根据切换模式、跟踪器以及模板策略的状态值决定采用的跟踪策略、跟踪器及模板；

2)当采用T₀跟踪器，首先获得初始跟踪结果PR₀，将该结果输入ORE，由结果可靠性评估器评估跟踪结果的可靠性；如果结果PR₀可靠，PR₀即为当前帧的最终跟踪结果，表示为FR₀，其进一步作为模板由模板可靠性评估器评估可靠性；如果模板是不可靠的，则更新切换模式状态值为帧间、跟踪器状态值为T₀、模板策略状态值为P₂(包含第一帧、中间帧和最新帧的多模板策略)，表示当前帧结束，下一帧采用T₀跟踪，若需要使用T₁辅助跟踪，其模板策略为多模板；如果模板是可靠的，则执行模板写入操作更新模板记忆单元，此时模板及其权重都会被写入，写入后模板统计操作用于计算记忆单元中的模板数量，进一步判断是否充足，如果充足则更新切换模式状态值为帧间、跟踪器状态值为T₁、模板策略状态值为P₁(仅含最新帧的单模板策略)，表示当前帧结束，下一帧采用T₁跟踪，其模板策略为单模板，如果模板数量不充足，则更新切换模式状态值为帧间、跟踪器状态值为T₀、模板策略状态值为P₂(包含第一帧、中间帧和最新帧的多模板策略)；

3)当结果PR₀不可靠，更新切换模式状态值为帧内、跟踪器状态值为T₁、模板策略状态值为P₂，表示当前帧未结束，将继续采用跟踪器T₁进行辅助跟踪，其模板策略为多模板；由于T₁不仅能通过帧内转换辅助T₀跟踪，还能通过帧间转换单独跟踪，因此T₁需要根据当前的切换模式进行下一步操作；首先由ATS选择当前帧的模板，随后模板与搜索区域图像输入T₁得到初始跟踪结果PR₁，ORE中的结果可靠性评估器评估PR₁的可靠性；如果PR₁可靠，PR₁将作为当前帧的最终跟踪结果，表示为FR₁，进一步通过与T₀一样的操作，将FR₁输入模板可靠性评估器，以判断是否将其写入模板记忆单元中；如果PR₁不可靠，当前帧的最终跟踪结果FR₁则采用T₀的跟踪结果PR₀，此时FR₁也会送入模板可靠性评估器，执行和上述一样的评估方式；

4)当上述过程中更新切换模式状态值为帧间、跟踪器状态值为T₁时，下一帧将采用T₁单独跟踪以平衡速度和精度；此时的模板策略可以是P₀(仅包含第一帧的单模板策略)、P₁(仅包含最新帧的单模板策略)或者P₂包含第一帧、中间帧和最新帧的多模板策略；ATS读取相应的模板输入T₁后，得到初始跟踪结果PR₁，PR₁的可靠性由ORE中的结果可靠性评估器评估，如果PR₁不可靠，PR₁将作为当前帧的跟踪结果，表示为FR₁，但是将由跟踪器可靠性评估器评估T₁的可靠性，如果T₁可靠，那么更新切换模式状态值为帧间、跟踪器状态值为T₁、模板策略状态值为P₁，表示当前帧结束，下一帧仍然采用T₁跟踪，并基于最新帧模板，如果T₁不可靠，一方面会从记忆单元中删除当前模板及其权重，另一方面更新切换模式状态值为帧间、跟踪器状态值为T₁、模板策略状态值为P₀，表示当前帧结束，下一帧T₁将采用第一帧模板进行跟踪，以从不可靠状态中恢复；

如果PR₁可靠，PR₁将作为当前帧的跟踪结果，表示为FR₁；此时根据模板策略，需要判断当前帧是否仅使用第一帧模板恢复，并且成功，即在PR₁可靠的前提下ASS是否等于P₀；如果ASS＝P₀，则更新切换模式状态值为帧间、跟踪器状态值为T₀、模板策略状态值为P₂，表示T₁从不可靠状态恢复成功后，下一帧将采用T₀跟踪，以收集更多可靠的模板；如果ASS≠P₀，则更新切换模式状态值为帧间、跟踪器状态值为T₁、模板策略状态值为P₂，表示下一帧继续使用基于多模板的T₁跟踪。

本实施例还提供了一种基于高效模板更新与选择机制的双向目标跟踪系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。

本实施例中，采用了OTB100数据集进行对比验证，表1中展示出在OTB100数据集上本发明提出的方法与其他目标跟踪方法的对比结果。从表1中可以看到，本发明方法相比于其他目标跟踪方法有较高的精确性和鲁棒性，具体体现为精度和成功率最佳。

表1本发明方法与其他目标跟踪方法的对比结果

方法	精度(％)	成功率(％)
			本发明	91.9	67.6
SiamRPN	87.8	66.5
			VITAL	89.1	66.2
DaSiamRPN	88.0	65.8
			GradNet	86.1	63.9
DeepSRDCF	85.1	63.6
			SiamDW	82.8	62.7
CFNet	77.8	58.7
			SiamFC	77.2	58.7
UDT	75.7	58.4

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (7)

1.一种基于高效模板更新与选择机制的双向目标跟踪方法，其特征在于，包括以下步骤：

构建基于在线学习的目标跟踪器T₀；

构建在线可靠性评估模块ORE，其由结果可靠性评估器、模板可靠性评估器和跟踪器可靠性评估器组成，分别评估跟踪结果、模板和跟踪器的可靠性，以为下一步决策提供依据；

构建动态模板更新模块DTU，其主要由一个模板记忆单元组成，通过模板写入、模板删除操作更新记忆单元中的模板，进一步通过模板统计操作判断模板数量是否充足，以为下一步决策提供依据；

构建自适应模板选择模块ATS，其通过读取模板策略、记忆单元，自适应地选择当前帧使用的模板，作为基于离线学习的孪生跟踪器的输入；

构建基于离线学习的孪生跟踪器T₁，其在执行跟踪任务前根据ATS自适应地选择当前帧的模板，可以是单模板，也可以是多模板；

对获取到的一帧图像采用T₀和T₁进行双向目标跟踪，包括以下步骤：

选择将图像输入跟踪器T₀或跟踪器T₁，若为第一帧图像，则默认选择T₀，否则根据切换模式、跟踪器以及模板策略的状态值决定采用的跟踪策略、跟踪器及模板；

根据ORE判断跟踪结果、模板或跟踪器的可靠性，更新切换模式、跟踪器和模板策略的状态值，判断是否直接用跟踪器T₀或T₁的初始跟踪结果作为当前帧的最终跟踪结果、是否更新模板以及是否要切换跟踪器；

如果模板可靠或者跟踪器不可靠，则根据DTU更新、统计记忆单元中的模板，更新切换模式、跟踪器和模板策略；

如果选择T₁进行跟踪，根据ATS从记忆单元中选择T₁需要使用的模板；

对获取到的一帧图像采用T₀和T₁进行双向目标跟踪的具体方法为：

选择将当前帧图像输入跟踪器T₀或跟踪器T₁，若为第一帧图像，则默认选择T₀，否则根据切换模式、跟踪器以及模板策略的状态值决定采用的跟踪策略、跟踪器及模板；

当采用T₀跟踪器，首先获得初始跟踪结果PR₀，将该结果输入ORE，由结果可靠性评估器评估跟踪结果的可靠性；如果结果PR₀可靠，PR₀即为当前帧的最终跟踪结果，表示为FR₀，其进一步作为模板由模板可靠性评估器评估可靠性；如果模板是不可靠的，则更新切换模式状态值为帧间、跟踪器状态值为T₀、模板策略状态值为P₂，即为包含第一帧、中间帧和最新帧的多模板策略，表示当前帧结束，下一帧采用T₀跟踪，若需要使用T₁辅助跟踪，其模板策略为多模板；如果模板是可靠的，则执行模板写入操作更新模板记忆单元，此时模板及其权重都会被写入，写入后模板统计操作用于计算记忆单元中的模板数量，进一步判断是否充足，如果充足则更新切换模式状态值为帧间、跟踪器状态值为T₁、模板策略状态值为P₁，即为仅含最新帧的单模板策略，表示当前帧结束，下一帧采用T₁跟踪，其模板策略为单模板，如果模板数量不充足，则更新切换模式状态值为帧间、跟踪器状态值为T₀、模板策略状态值为P₂，即为包含第一帧、中间帧和最新帧的多模板策略；

当结果PR₀不可靠，更新切换模式状态值为帧内、跟踪器状态值为T₁、模板策略状态值为P₂，表示当前帧未结束，将继续采用跟踪器T₁进行辅助跟踪，其模板策略为多模板；由于T₁不仅能通过帧内转换辅助T₀跟踪，还能通过帧间转换单独跟踪，因此T₁需要根据当前的切换模式进行下一步操作；首先由ATS选择当前帧的模板，接着模板与搜索区域图像输入T₁得到初始跟踪结果PR₁，再利用ORE中的结果可靠性评估器评估PR₁的可靠性；如果PR₁可靠，PR₁将作为当前帧的最终跟踪结果，表示为FR₁，进一步通过与T₀一样的操作，将FR₁输入模板可靠性评估器，以判断是否将其写入模板记忆单元中；如果PR₁不可靠，当前帧的最终跟踪结果FR₁则采用T₀的跟踪结果PR₀，此时FR₁也会送入模板可靠性评估器，执行和上述一样的评估方式；

当上述过程中更新切换模式状态值为帧间、跟踪器状态值为T₁时，下一帧将采用T₁单独跟踪以平衡速度和精度；此时的模板策略可以是P₀、P₁或者P₂，即仅包含第一帧的单模板策略、仅包含最新帧的单模板策略或包含第一帧、中间帧和最新帧的多模板策略；ATS读取相应的模板输入T₁后，得到初始跟踪结果PR₁，PR₁的可靠性由ORE中的结果可靠性评估器评估，如果PR₁不可靠，PR₁将作为当前帧的跟踪结果，表示为FR₁，但是将由跟踪器可靠性评估器评估T₁的可靠性，如果T₁可靠，那么更新切换模式状态值为帧间、跟踪器状态值为T₁、模板策略状态值为P₁，表示当前帧结束，下一帧仍然采用T₁跟踪，并基于最新帧模板，如果T₁不可靠，一方面会从记忆单元中删除当前模板及其权重，另一方面更新切换模式状态值为帧间、跟踪器状态值为T₁、模板策略状态值为P₀，表示当前帧结束，下一帧T₁将采用第一帧模板进行跟踪，以从不可靠状态中恢复；

如果PR₁可靠，PR₁将作为当前帧的跟踪结果，表示为FR₁；此时根据模板策略，需要判断当前帧是否仅使用第一帧模板恢复，并且成功，即在PR₁可靠的前提下ASS是否等于P₀；如果ASS＝P₀，则更新切换模式状态值为帧间、跟踪器状态值为T₀、模板策略状态值为P₂，表示T₁从不可靠状态恢复成功后，下一帧将采用T₀跟踪，以收集更多可靠的模板；如果ASS≠P₀，则更新切换模式状态值为帧间、跟踪器状态值为T₁、模板策略状态值为P₂，表示下一帧继续使用基于多模板的T₁跟踪。

2.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法，其特征在于，构建基于在线学习的目标跟踪器T₀的具体方法为：

在线跟踪前，采用VITAL跟踪算法并利用ILSVRC-VID数据集对T₀进行离线预训练；

在线跟踪时，利用第一帧对T₀进行参数初始化以适应当前任务，具体为在第一帧给定真实框周围采集5000个负样本、500个正样本，并对跟踪器迭代训练15轮；从第二帧开始，在上一帧预测目标框周围采集200个负样本、50个正样本，并对跟踪器训练1轮。

3.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法，其特征在于，构建在线可靠性评估模块ORE的具体方法为：

给定第t帧输入的图像，跟踪器T_i输出当前预测目标的置信度得分

对结果可靠性的评估方法

表示如下：

这里i＝0,1

其中，τ₁是跟踪结果的置信度阈值；跳跃函数sgn(·)用于将所有的

映射到{-1,0,1}；如果

返回1，则说明跟踪结果是可靠的；否则跟踪结果被判定为不可靠；对模板的可靠性进行评估，使用一个更严格的阈值τ₂以过滤掉不可靠的目标模板，评估方法

表示如下：

这里i＝0,1

其中，

是模板Z_l(l∈{0,k,N-1})相应的置信度得分；如果

返回1，说明模板是可靠的；

对跟踪器的可靠性进行评估，评估方法E_tra(T_i)表示如下：

这里i＝0,1

其中，failNum(T_i)表示在连续帧中跟踪失败的总次数，一旦跟踪结果是可靠的，其将会被重置为0；阈值τ₃是连续帧失败总次数的上限；如果E_tra(T_i)返回1，说明跟踪器是可靠的。

4.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法，其特征在于，构建动态模板更新模块DTU的具体方法为：

设置一个模板记忆单元Z＝{Z₀,Z₁,...,Z_N-1}，其容量为N，并且根据第一帧给定真实框得到的第一个模板Z₀进行初始化；

对于后续帧，设置模板写入和模板删除操作动态地更新模板记忆单元；当模板写入操作被执行，可靠的模板以及相应的权重将以队列的形式加入记忆单元；当模板删除操作被执行，除了第一帧模板外，记忆单元中的其他模板都将被删除；

设置模板统计操作，当记忆单元中的模板总数达到上限，下一帧使用T₁单独跟踪策略。

5.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法，其特征在于，构建自适应模板选择模块ATS的具体方法为：

标记第一帧模板为Z₀，最新帧模板为Z_N-1，中间帧模板为Z_k，k∈(0,N-1)，其中中间帧模板Z_k从记忆单元中根据权重自适应选择；

根据变量ASS定义不同的模板策略Temp，表示如下：

其中P₀表示仅使用第一帧模板，P₁表示仅使用最新帧模板，P₂表示同时使用第一帧、中间帧和最新帧，中间帧根据模板权重选择；P₀和P₁属于单模板策略，P₂属于多模板策略；

对于使用T₀和T₁联合跟踪的情况，进一步将ASS表示为：

其中Count(·)表示记忆单元中模板的总数量，其最大容量为N；

对于使用T₁单独跟踪的情况，进一步将ASS表示为：

并且Recovery＝1

其中Recovery用于标识当前帧使用第一帧模板进行重检测；若使用，则Recovery＝1，否则为0。

6.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法，其特征在于，构建基于离线学习的孪生跟踪器T₁的具体方法为：

对视频的第一帧图像，基于给定的真实框的中心点，裁剪出127*127大小的区域作为模板图像；对于视频的后续帧图像，基于上一帧预测的边界框的中心点，裁剪出255*255大小的区域作为搜索区域图像；

加载在ILSVRC-VID数据集上预训练好的参数模型；

将每一个模板Z_l(l∈{0,k,N-1})以及搜索图像X_t输入T₁，得到三组分类图

和三组回归图

分别表示为：

和

将得到的三组分类图和回归图采用按位相加的方式进行融合，得到预测目标结果。

7.一种基于高效模板更新与选择机制的双向目标跟踪系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-6任一项所述的方法步骤。

Images