CN111583300B - 一种基于富集目标形态变化更新模板的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于富集目标形态变化更新模板的目标跟踪方法，包括：构建目标跟踪的基础网络框架；采用基础网络框架中的映射函数及基于双线性插值的映射函数，输入第一帧目标模板及其与最近帧目标模板间的光流信息，获取最近帧目标映射模板；计算最近帧目标映射模板与第一帧目标模板的残差，获取目标从第一帧到最近帧的形态变化信息，对形态变化信息线性加权，获取目标最近形态变化的残差图，再按像素与第一帧目标模板相加，获取富集目标形变信息的当前帧目标模板；将当前帧目标模板输入特征提取网络，计算下一帧目标的位置偏移和尺寸大小，完成对下一帧目标跟踪。该方法逐帧地进行模板更新，有效应对跟踪过程中的快速变化、遮挡和目标形变等挑战性问题。

Description

一种基于富集目标形态变化更新模板的目标跟踪方法

技术领域

本发明涉及目标跟踪领域，尤其涉及深度孪生卷积神经网络框架下一种基于富集目标形态变化更新模板的目标跟踪方法。

背景技术

随着计算机视觉领域的发展和渗透，越来越多的人工智能及自动化技术进入人们的生活。目标跟踪作为计算机视觉中一个十分重要的研究方向，长久以来受到了很多国内外研究者的关注。目前，目标跟踪算法已广泛应用于自动驾驶、行人检测、人机交互及智慧城市等多个领域，具有广阔的发展前景。

虽然目标跟踪技术发展迅速，但由于应用场景的多变性和复杂性，目标跟踪中仍然具有很多挑战性难题，包括目标被遮挡、产生形变、目标快速运动以及目标在平面内、外旋转等。目前，面对这些问题，仍然缺少一个普适的目标跟踪算法。

目标跟踪算法由来已久，主要分为相关滤波类的在线方法和深度学习类的离线方法两类。相关滤波类算法主要基于在傅立叶域求解滤波器模板函数，跟踪过程中在线优化滤波器模板实现目标与滤波器的特征匹配，从而找到目标的位置，算法主要包括KCF^[1]、DSST^[2]、C-COT^[3]和ECO^[4]等；深度学习类算法主要基于卷积神经网络提取特征并进行特征匹配，通过大量数据离线训练使网络学习特征匹配函数，实现目标跟踪，算法主要包括SiameseFC^[5]、SiameseRPN^[6]、DASiamRPN^[7]、SiameseRPN++^[8]等。

由于在跟踪过程中目标存在形态变化，在深度孪生网络框架下的跟踪算法大多为离线跟踪，难以应对跟踪过程中目标被遮挡、快速形变等问题。因此，在跟踪过程中加入在线更新机制是有必要的。光流是物体在空间运动时每个像素点运动的瞬时速度，光流图包含了大量的物体运动变化信息，故可以利用光流信息计算目标形态变化，在线更新目标模板，提高目标跟踪算法对目标运动变化的适应能力。

发明内容

本发明提供了一种基于富集目标形态变化更新目标模板的目标跟踪方法，该目标跟踪方法逐帧地进行模板更新，可以有效应对跟踪过程中的快速变化、遮挡和目标形变等挑战性问题，详见下文描述：

一种基于富集目标形态变化更新模板的目标跟踪方法，所述方法包括以下步骤：

构建目标跟踪的基础网络框架；

采用所述基础网络框架中的映射函数及基于双线性插值的映射函数，输入第一帧目标模板及其与最近帧目标模板间的光流信息，获取最近帧目标映射模板；

计算最近帧目标映射模板与第一帧目标模板的残差，获取目标从第一帧到最近帧的形态变化信息，对形态变化信息线性加权，获取目标最近形态变化的残差图，再按像素与第一帧目标模板相加，获取富集目标形变信息的当前帧目标模板；

将当前帧目标模板输入特征提取网络，计算下一帧目标的位置偏移和尺寸大小，完成对下一帧目标的跟踪。

其中，所述基础网络框架为：

基于SiameseRPN++的基本跟踪框架，在输入端的目标模板分支引入基于FlowNet的光流提取及映射模块。

进一步地，所述当前帧目标模板为：

T_current＝T₀+T_motion

其中，T_motion表示目标最近帧的形态变化信息，T₀表示第一帧目标模板。

所述

其中，

T_i ^wrap分别表示第i-1帧，第i帧目标映射模板，λ、λ₁和λ₂为超参数。

所述

T_i ^wrap＝Wrap(T₀，flownetC(T₀，T_i))

其中，T_i表示第i帧目标模板，Wrap表示映射函数，flownetC(T₀，T_i)表示使用FlowNetC网络提取T₀和T_i之间的光流。

本发明提供的技术方案的有益效果是：

1、本发明以SiameseRPN++^[8]为基础跟踪框架，利用FlowNet^[9]网络中的FlowNetC^[10]网络提取光流，利用基于双线性插值的映射函数计算目标映射模板，生成包含目标形态变化信息的残差图像，可以获得目标从第一帧到当前帧较为准确的形态变化信息；

2、本发明通过对目标形态变化信息的线性叠加及与第一帧目标模板的线性叠加生成当前帧目标模板，将该模板输入特征提取网络，对目标及其形变进行特征编码，有效地提升了跟踪算法匹配和计算的准确性，增强跟踪算法的适应能力。在通用数据基准中，本发明提出的算法具有更好的客观评价结果和主观结果。

附图说明

图1为一种基于富集目标形态变化更新模板的目标跟踪方法的流程图；

图2为基于FlowNet^[9]的光流信息提取及映射网络框图；

图3为基于富集目标形态变化更新目标模板的跟踪算法框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提出了一种基于富集目标形态变化更新模板的目标跟踪方法，参见图1，该方法包括以下步骤：

101：构建目标跟踪算法的基础网络框架：即，首先构建基于SiameseRPN++^[8]的基本跟踪框架，然后在网络输入端的目标模板分支引入基于FlowNet^[9]的光流提取及映射模块，组成完整的基础网络框架。

其中，FlowNet^[9]包含三层光流提取网络的堆叠，本发明将其中一个模块，即FlowNetC^[10]作为光流提取的基本网络，在跟踪过程中提取第一帧目标模板和最近帧目标模板之间的光流信息，用以描述跟踪过程中目标的形态变化情况。

102：在跟踪过程中，本发明增加了目标模板的在线更新机制，主要利用目标模板帧之间的光流信息，生成最近帧目标映射模板。

该方法主要采用FlowNet^[9]框架中的映射函数及双线性插值函数，输入第一帧目标模板及其与最近帧目标模板间的光流信息，获取最近帧目标映射模板。

103：在获取最近帧目标映射模板后，首先计算最近帧目标映射模板与第一帧目标模板的残差，获取目标从第一帧到最近帧的形态变化信息，然后对形态变化信息线性加权，得到代表目标最近形态变化的残差图，再按像素与第一帧目标模板相加，得到富集目标形变信息的当前帧目标模板；

104：在测试阶段，首先对算法进行初始化，得到第一帧目标模板和后续帧的搜索区域，将目标模板和裁剪为固定大小的搜索区域同时输入特征提取网络进行特征匹配及计算，计算下一帧目标的位置偏移和尺寸大小，完成对下一帧目标的跟踪。

综上所述，本发明实施例通过步骤101至步骤104设计了一种基于富集目标形态变化更新模板的目标跟踪方法，在跟踪过程中增加了目标模板在线更新机制，有效提升了跟踪算法对复杂跟踪任务的适应能力。由于目标运动在时域和空域上具有连续性，且图像序列前后帧之间具有较强的相关性，因此利用前一帧或多帧的信息可以较为准确地描述目标的形态变化信息。本发明从提高单一目标模板适应能力的角度出发，利用相邻帧之间的连续性，富集目标模板之间的目标形态变化信息，指导当前帧目标模板更新，增强了目标跟踪算法在应对目标快速变化、被遮挡和目标形变等挑战性问题时的准确性和稳定性。

实施例2

下面对实施例1中的方案进行进一步地介绍，详见下文描述：

201：在基于深度孪生网络框架下的传统目标跟踪网络中，目标模板分支的输入通常较为单一，即始终为初始化后的第一帧目标模板，在视频后续帧的计算中，均使用该模板与下一帧裁剪出的搜索区域进行特征匹配及计算。在跟踪过程中，若出现目标快速变化、被遮挡及目标形变时，第一帧目标模板中的信息往往时效性差，且与当前帧目标的形态差异较大，这将导致跟踪结果产生偏移，甚至跟踪失败。因此，本发明在基础网络框架中增加了目标模板在线更新机制，采用一种富集目标形态变化的方法，充分发挥相邻帧之间的连续性和前一帧目标模板对当前帧目标位置的指导作用，在第一帧目标模板上富集目标的形态变化信息，从而使算法更好地适应跟踪过程中的遮挡、目标快速变化和形变等问题，提升目标跟踪的准确性。

目标跟踪的基本网络采用SiameseRPN++^[81，特征提取部分的网络采用ResNet50，通过将ResNet50的后三个block的卷积步长设置为1，使得特征输出的宽高一致，再将这三个block的输出分别输入三个串联的RPN(Region Proposal Network，区域候选网络)模块，并将RPN模块输出的结果线性加权，获取最终的目标跟踪结果。在跟踪过程中，本发明将FlowNet^[9]网络中的FlowNetC^[10]网络嵌入目标模板分支，提取目标模板之间的光流信息。如图2所示，该网络采用了并行的卷积层和反卷积层生成目标模板之间的光流信息，网络中前三层卷积层提取两目标模板帧的基本特征，将两特征输入特征匹配层，获取特征相关图，公式表示为：

其中，o表示以o为中心点，k为特征图大小，x₁、x₂表示特征图上的位置，C表示特征相关图。经过特征比较层，目标模板之间的特征比较结果将被合并，并经过卷积编码特征比较结果，同时调整特征深度和大小。解码部分采用了反卷积层结构，同时将卷积特征输入来补偿padding层带来的细节损失，得到更高质量的光流图。若F是通道数为C的反卷积层输入的特征图，即f₁，f₂...f_C。每一通道f_c是C个子特征图k_n和卷积核g_c，n卷积结果的线性和。用公式表示为：

∑_N(k_n*g_c，n)＝F_C

其中，*表示二维卷积操作，F_C表示通道数为C的特征图。经过反卷积层上采样，补偿图像在卷积过程中丢失的局部细节信息，可以有效地提升网络输出的光流图对目标模板映射的指导作用。在映射部分，采用FlowNet^[9]中的Resample2d模块，按照光流信息对目标模板像素点的数值进行修改，经过双线性插值函数输出与第一帧目标模板和最近帧目标模板大小一致的最近帧目标映射模板。

202：在跟踪过程中，首先初始化跟踪算法，确定第一帧目标模板和下一帧的搜索区域，经过SiamRPN++^[8]基础网络框架计算第二帧目标模板和下一帧的搜索区域，将第一帧目标模板和第二帧目标模板输入光流提取及映射网络模块，网络输出为第二帧目标映射模板，公式如下：

T₁ ^wrap＝Wrap(T₀，flownetC(T₀，T₁))

其中，T₀表示第一帧目标模板，T₁表示第二帧目标模板，T₁ ^wrap表示第二帧目标映射模板，Wrap表示映射函数，flownetC(T₀，T₁)表示使用FlowNetC^[10]网络提取T₀和T₁之间的光流。以此类推，第i帧目标映射模板可表示为：

T_i ^wrap＝Wrap(T₀，flownetC(T₀，T_i))

其中，T₀表示第一帧目标模板，T_i表示第二帧目标模板，T_i ^wrap表示第i帧目标映射模板，Wrap表示映射函数，flownetC(T₀，T_i)表示使用FlowNetC^[10]网络提取T₀和T_i之间的光流。

203：由于目标跟踪中视频前后帧之间具有较强的相关性，本发明利用目标最近帧的运动变化情况指导当前帧目标模板的更新。由于仅使用前一帧信息有时会导致形态变化信息较少，进而影响跟踪算法的稳定性，本发明在网络中构建了目标形态变化信息存储机制，存储最近帧及上一帧使用的目标形态变化信息。在更新模板阶段，首先通过光流提取及映射网络生成第i帧目标映射模板后，逐像素计算该目标映射模板和第一帧目标模板的残差；再读取上一帧使用的目标形态变化信息并与当前帧形变信息叠加。最终生成目标最近帧形态变化信息的公式如下：

其中，T_motion表示目标最近帧的形态变化信息，T₀表示第一帧目标模板，

T_i ^wrap分别表示第i-1帧，第i帧目标映射模板，λ、λ₁和λ₂为超参数，本发明中，λ＝λ₁＝0.05，λ₂＝0.02。

最后，将目标最近两帧的形态变化信息与第一帧目标模板以一定权重按像素相加，得到当前帧目标模板，公式如下：

T_current＝T₀+T_motion

其中，T_current表示当前帧目标模板，T_motion表示目标最近帧的形态变化信息，T₀表示第一帧目标模板。将当前帧目标模板输入特征提取网络，计算下一帧目标的位置偏移和尺寸大小，完成对下一帧目标的跟踪。整个算法的表达式如下：

(x，y，Δs)_i+1＝S(T_current，R_i+1)

其中，T_current表示当前帧目标模板，R_i+1表示下一帧的搜索区域，S表示所述跟踪算法，(x，y，Δs)_i+1表示下一帧中的目标位置及尺寸变化大小。

实施例3

下面结合具体的实验数据对实施例1和2中的方案进行效果评估，详见下文描述：

301：数据组成

测试集由VOT2016数据库中的所有视频序列(共60个)构成。

302：评估准则

本发明主要采用三种评价指标对目标跟踪算法性能进行评估：

Accuracy(准确率)是一种衡量跟踪算法跟踪准确性的指标。通过计算视频序列中每一帧的预测目标回归框和真实目标回归框之间的IoU(重叠率，Intersection overUnion)，

其中，

表示真实目标回归框，

表示预测目标回归框。为了保证准确性会多次重复测量每一帧的准确率，将所有结果取平均作为最后跟踪算法的准确率。Accuracy值越大，表明跟踪结果准确性越好。

Robustness(鲁棒性)是一种衡量跟踪算法稳定性的指标，计算跟踪过程中跟踪算法跟丢目标的帧总数。Robustness值越大，表明跟踪算法越不稳定。

EAO(平均重叠期望，Expect Average Overlap rate)综合了算法的准确性和鲁棒性，是综合评价跟踪算法性能的一项重要指标。EAO计算过程如下：将所有序列按照长度分类，将待测的跟踪器在长度为N_s的序列上测试，从第一帧到最后一帧，没有跟踪失败后重新初始化的机制，得到每一帧的准确率(Accuracy)φ_i，之后对每一帧取平均，得到该序列上的准确率

将所有长度为N_s的序列全部测评一遍并求平均，得到跟踪器在长度为N_s序列上的EAO值

其他长度的序列也按照同样的方法计算EAO。对不同N_s值对应的

再次求平均，在序列长度范围为[N_lo，N_hi]上得到一个定值：

303：对比算法

实验中将本发明与七种方法进行比较，其中2种相关滤波类算法，5种深度学习类算法。

2种相关滤波类算法包括：1)C-COT^[3]；2)ECO^[4]。该类算法跟踪速度较快，但准确性与深度学习类算法相比较低。

4种深度学习类算法包括：1)SiameseFC^[5]；2)SiameseRPN^[6]；3)DaSiamRPN^[7]；4)SiameseRPN++^[8]。该类算法平衡了跟踪的速度和精度，不仅满足实时跟踪的要求，而且具有良好的准确性和稳定性。

表1本方法与其他方法分别在VOT2016数据库上的评价结果(最好的评价结果用加粗字体表示)。由表1中可以看出，在大部分深度学习类方法和本发明所提出的方法得到的评价结果中，Accuracy要高于相关滤波类跟踪算法；Robustness略高于相关滤波类算法；EAO指标明显高于相关滤波类算法。相较于这六种对比算法，本方法在VOT2016数据库中，在三个客观评价指标上都取得了更高的结果，这从客观方面证明了本方法的有效性。

表1

参考义献

[1]Henriques J F，Caseiro R，Martins P，et al.High-Speed Tracking withKernelized Correlation Filters[J]//IEEE Transactions on Pattern Analysis andMachine Intelligence，2015，37(3)：583-96.

[2]Danelljan M，Hager G，Khan F S，et al.Accurate scale estimation forrobust visual tracking[C]//Proceedings British Machine Visision Conference，Sept.1-2，2014.

[3]Danelljan M，Robinson A，Khan F S，et al.Beyond Correlation Filters：Learning Continuous Convolution Operators for Visual Tracking[C]//Proceedingsof the 2016 European Conference on Computer Vision，Oct.8-16，2016.Amsterdam，the Netherlands.2016，472-488.

[4]Danelljan M，Gavves G，Khan F S，et al.Eco：Efficient convolutionoperators for tracking[C]//2017IEEE Conference on Computer Vision and PatternRecognition，Jul.21-26，2017，Honolulu，HI，USA：IEEE，2017，79：6931-6939.

[5]Bertinetto L，Valmadre J，Henriques J F，et al.Fully-convolutionalSiamese networks for object tracking[C]//2016 European Conference on ComputerVision Workshop，Oct.8-10，2016，Amsterdam，The Netherlands，2016，9914：850-865.

[6]LI B，YAN J，WU W，et al.High Performance Visual Tracking withSiamese Region ProposalNetwork[C]；2018 IEEE/CVF Conference on Computer Visionand Pattern Recognition，Salt Lake City，UT，2018，pp.8971-8980.

[7]Zhu Z，Wang Q，Li B，et al.Distractor-aware Siamese NetworksforVisual Object Tracking[J].2018.

[8]LI B，WU W，WANG Q，et al.SiamRPN++：Evolution ofSiamese VisualTracking With Very Deep Networks[C]；2019 IEEE/CVF Conference on ComputerVision and Pattern Recognition，Long Beach，CA，USA，2019，pp.4277-4286

[9]Ilg E，MayerN，Saikia T，et al.FlowNet 2.0：Evolution of Optical FlowEstimation with Deep Networks[C]，2017 IEEE Conference on Computer Vision andPattern Recognition，Honolulu，HI，2017，pp.1647-1655.

[10]Fischer P，Dosovitskiy A，Ilg E，et al.FlowNet：Learning Optical Flowwith Convolutional Networks[C]；2015 IEEE International Conference on ComputerVision，Santiago，2015，pp.2758-2766.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于富集目标形态变化更新模板的目标跟踪方法，其特征在于，所述方法包括以下步骤：

构建目标跟踪的基础网络框架；

采用所述基础网络框架中的映射函数及基于双线性插值的映射函数，输入第一帧目标模板及其与最近帧目标模板间的光流信息，获取最近帧目标映射模板；

计算最近帧目标映射模板与第一帧目标模板的残差，获取目标从第一帧到最近帧的形态变化信息，对形态变化信息线性加权，获取目标最近形态变化的残差图，再按像素与第一帧目标模板相加，获取富集目标形变信息的当前帧目标模板；

将当前帧目标模板输入特征提取网络，计算下一帧目标的位置偏移和尺寸大小，完成对下一帧目标的跟踪；

所述当前帧目标模板为：

T_current＝T₀+T_motion

其中，T_motion表示目标最近帧的形态变化信息，T₀表示第一帧目标模板；

所述

其中，

分别表示第i-1帧，第i帧目标映射模板，λ、λ₁和λ₂为超参数；

所述

其中，T_i表示第i帧目标模板，Wrap表示映射函数，flownetC(T₀,T_i)表示使用FlowNetC网络提取T₀和T_i之间的光流。

2.根据权利要求1所述的一种基于富集目标形态变化更新模板的目标跟踪方法，其特征在于，所述基础网络框架为：

基于SiameseRPN++的基本跟踪框架，在输入端的目标模板分支引入基于FlowNet的光流提取及映射模块。

Images