CN112686326B - 一种智能排序候选框的目标跟踪方法及系统 - Google Patents

Abstract

本发明涉及一种智能排序候选框的目标跟踪方法及系统，其方法包括：步骤S1：处理输入图片对，生成候选框，得到正负样本，用于训练孪生RPN网络，得到正负样本的分类得分；步骤S2：计算正负样本的权重系数；步骤S3：将加权后的正负样本用于训练孪生RPN网络，得到正负样本的加权分类得分；步骤S4：构建排序网络，生成正样本的排序得分；步骤S5：结合样本的加权分类得分和正样本的排序得分，得到加权融合得分图，挑选候选框，实现目标跟踪。本发明通过计算样本的权重系数，使得在训练孪生RPN网络过程更加关注重要的样本；同时，排序网络输出每个正样本的排序得分，结合排序得分和加权分类得分，可以选择更加准确的目候选框，以提升目标跟踪的精度。

Description

一种智能排序候选框的目标跟踪方法及系统

技术领域

本发明属于模式识别、计算机视觉领域，特别涉及了一种智能排序候选框的目标跟踪方法及系统。

背景技术

随着计算机视觉的日益发展，视觉跟踪已经广泛应用于许多计算机视觉任务，例如视频监控，人机交互和无人车感知系统。然而，目标跟踪仍然存在诸多挑战。这主要由两个原因引起的。第一，广义上的目标跟踪中，跟踪的目标是类别是不确定的，且目标形状也是任意的。第二，跟踪器只能得到第一帧的目标信息(包括位置、图像外观)，后续帧中，目标会发生各种各样的形变，且可能会遭遇遮挡等外部干扰，此时跟踪器很有可能会丢失目标。

以上的部分难题可被相关滤波跟踪方法[1]部分解决，相关滤波跟踪算法在跟踪领域取得了很大的关注。然而随着研究的深入和更多困难的目标跟踪数据集的出现，传统的相关滤波算法精度达到了瓶颈。这主要是由于传统相关滤波算法利用金字塔匹配预测目标尺寸，一旦目标出现较大程度上的形变，传统的相关滤波就不能很好地预测出目标的形状，出现了预测误差，误差在经过几帧十几帧积累后，跟踪器预测的目标位置已经产生很大的偏差，进而引起跟踪失败。

另外一方面，随着卷积神经网络的日益发展和大规模的高质量目标跟踪数据集的提出，一种基于孪生网络的目标跟踪算法[2]引起了极大的关注。该方法主要是将目标跟踪任务视作相似度匹配问题，第一帧目标图像作为模板，在后续帧中，每个候选框(通常是矩形框)对应的图像区域与模板图片进行相似度匹配，相似度最高候选框被认定为当前帧的跟踪目标。大量的后续工作被提出，用于提高跟踪精度。在这些工作中，值得一提的是SiamRPN跟踪算法[3]，它借鉴了目标检测领域的region proposal network(RPN),构建两个分支，即分类分支和回归分支，分类分支判断一个候选框(又叫做锚点)的分类得分，即这个候选框选中的区域属于目标的概率。另外一个分支为回归分支，用于调整候选框，使得调整后的候选框对应的矩形框可以更准确地接近真实目标形状。由于回归分支的存在，SiamRPN可以准确地预测目标尺寸，而不需要借助金字塔匹配算法。总结来说，SiamRPN通过离线网络训练建立了一个鲁棒的目标外观模型，从原理上具备了预测目标尺寸的能力。

由于SiamRPN提供了一个很有前景的跟踪框架，它的后续工作也有很多。比如SiamRPN++[4],它在SiamRPN基础上，使用了更深的骨干网络提取特征；C-RPN[5]使用了级联的RPN模块，可以过滤置信度低的候选框。但是绝大数的SiamRPN后续方法，在跟踪过程中，都会遵循SiamRPN的跟踪规则，即选择分类得分最高的候选框，然后利用回归分支调整候选框。然而，最终选择的候选框不一定与真实目标有最大的IoU(相交比)。

综上所述，基于SiamRPN的目标跟踪算法，仅仅考虑原始候选框的分类得分，而没有考虑调整后的候选框位置信息。

[1]J.F.Henriques,R.Caseiro,P.Martins,and J.Batista,"High-speedtracking with kernelized correlation filters,"IEEE Transactions on PatternAnalysis and Machine Intelligence,vol.37,no.3,pp.583-596,2015.

[2]L.Bertinetto,J.Valmadre,J.F.Henriques,A.Vedaldi,and P.H.Torr,“Fully-convolutional siamese networks for object tracking,”in Proceedings ofthe European Conference on Computer Vision,2016,pp.850–865.

[3]B.Li,J.Yan,W.Wu,Z.Zhu,and X.Hu,“High performance visual trackingwith siamese region proposal network,”in Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition,2018,pp.8971–8980.

[4]B.Li,W.Wu,Q.Wang,F.Zhang,J.Xing,and J.Yan,“Siamrpn++:Evolution ofsiamese visual tracking with very deep networks,”in Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2019,pp.4282–4291.

[5]H.Fan and H.Ling,“Siamese cascaded region proposal networks forreal-time visual tracking,”in Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition,2019,pp.7952–7961.

[6]Y.Wu,J.Lim,M.-H.Yang,Object tracking benchmark,IEEE Transactionson Pattern Analysis and Machine Intelligence,vol.37,no.9,pp.1834–1848,2015.

[7]P.Liang,E.Blasch,and H.Ling,“Encoding color information for visualtracking:Algorithms and benchmark,”IEEE Transactions on Image Processing,vol.24,no.12,pp.5630–5644,2015.

[8]H.Kiani Galoogahi,A.Fagg,C.Huang,D.Ramanan,and S.Lucey,“Need forspeed:A benchmark for higher frame rate object tracking,”in Proceedings ofthe IEEE International Conference on Computer Vision,2017,pp.1125–1134.

发明内容

为了解决上述技术问题，本发明提供一种智能排序候选框的目标跟踪方法及系统。

本发明技术解决方案为：一种智能排序候选框的目标跟踪方法，包括：

步骤S1：处理输入图片对，生成候选框，进而生成正负样本，用于后续训练孪生RPN网络，RPN网络负责输出正负样本的分类得分；

步骤S2：计算所述正负样本的权重系数；

步骤S3：根据权重系数，将加权后的正负样本用于训练孪生RPN网络；

步骤S4：构建排序网络，生成所述正样本的排序得分；

步骤S5：在线跟踪阶段，根据训练好的孪生RPN网络和排序网络，生成对应的候选框分类得分和排序得分，加权融合两种得分图，根据加权融合得分图，挑选候选框，进而实现目标跟踪。

其中步骤S1～S4为离线训练阶段，旨在训练出孪生RPN网络和排序网络；步骤S5用于在线跟踪。

本发明与现有技术相比，具有以下优点：

1、本发明在基于孪生RPN网络上，即SiamRPN网络，通过计算样本的权重系数，使得在训练过程更加关注重要的样本，即重要的样本会被优先地分类正确。

2、本发明公开了排序网络，输出每个候选框的排序得分。在跟踪过程中，将排序得分和分类得分结合在一起，可以选择更加准确的目候选框，以提升目标跟踪的精度。

3、本发明的跟踪算法耗时少。本发明在NVIDIA GTX 1080Ti GPU平台上，平均运行速度达到100+fps(每秒能处理100帧以上数据)，完全能满足实时跟踪的要求。

附图说明

图1为本发明实施例中一种智能排序候选框的目标跟踪方法的流程图；

图2为本发明实施例中一种智能排序候选框的目标跟踪方法中步骤S1：处理输入图片对，生成候选框，进而生成正负样本的流程图；

图3为本发明实施例中孪生RPN网络和排序网络的结构示意图；

图4本发明实施例中一种智能排序候选框的目标跟踪方法中步骤S2：计算正负样本的权重系数的流程图；

图5本发明实施例中一种智能排序候选框的目标跟踪方法中步骤S4：通过排序网络，得到正样本的排序得分的流程图；

图6本发明实施例中一种智能排序候选框的目标跟踪系统的结构框图。

具体实施方式

本发明提供了一种智能排序候选框的目标跟踪方法。

为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。

实施例一

如图1所示，本发明实施例提供的一种智能排序候选框的目标跟踪方法，包括下述步骤：

步骤S1：处理输入图片对，生成候选框，进而生成正负样本，用于训练孪生RPN网络，RPN网络输出正负样本的分类得分；

步骤S2：计算正负样本的权重系数；

步骤S3：根据权重系数，将加权后的正负样本用于训练孪生RPN网络，得到正负样本的加权分类得分；

步骤S4：构建排序网络，生成正样本的排序得分；

步骤S5：结合样本的加权分类得分和正样本的排序得分，得到加权融合得分图，根据加权融合得分图，挑选候选框，实现目标跟踪。

其中，步骤S1～S4为离线训练阶段，旨在训练孪生RPN网络和排序网络；步骤S5用于在线跟踪。

由于传统的SiamRPN目标跟踪算法,在训练网络时候，需要大量的正负样本。生成规则如下：候选框是预先定义的固定尺寸的矩形框，即候选框。一般来说，这些候选框分散在搜索图像上，那些与真实目标矩形框重叠区域大于一定阈值的候选框组成正样本。同理，与目标重叠区域小于一定阈值的候选框组成负样本。在传统的SiamRPN跟踪算法中，每个正负样本被同等对待，用来训练分类器。但是，在本发明实施例中，通过给正负样本赋予权重的方式，使得那些覆盖目标框程度越多的正样本，会得到更多的关注。同样地，那些容易被错分为正类的负样本(即，困难的负样本)，也会获得更多的关注。由此，分类器会优先保证这些权重高的样本被分类正确。

另外一方面，在跟踪阶段，本发明有别于传统的SiamRPN，不仅仅考虑候选框的分类得分，还通过一个排序网络(Ranking Network)为候选框输出排序得分(代表候选框预测的矩形框与真实目标框的IoU)，然后综合考虑候选框的分类得分和排序得分，挑选一个更可靠的候选框作为跟踪目标。

本发明实施例通过计算样本的权重，使得在训练过程更加关注重要的样本，即重要的样本会被优先地分类正确，并且将排序得分和权重分类得分结合在一起，可以选择更加准确的目候选框，以提升目标跟踪的精度。

如图2所示，在一个实施例中，步骤S1：处理输入的图片对，生成候选框，进而生成正负样本，用于训练孪生RPN网络，RPN网络输出正负样本的分类得分，包括：

步骤S11：处理输入图片对，生成候选框，进而生成正负样本；

本步骤中，图片对包括z和X，其中，所述图片对z和X，取自视频序列中不同的两帧，两者都包含跟踪目标，z为模板图像，X是搜索图像。本步骤中，图片对包括z和X，其中，所述图片对z和X，取自视频序列中不同的两帧，两者都包含跟踪目标，z为模板图像，X是搜索图像。孪生RPN网络的作用就是借助模板图像z,寻找X上跟踪目标。在X上分布了许多候选框，每个候选框是预先定义的固定尺寸的矩形框。如果X上的候选框中的区域与真实目标框的IoU大于预设的阈值τ_pos,即被选为正样本；同理，X上的候选框选中的区域与真实目标框的IoU小于预设的阈值τ_neg,被选为负样本。弃用其余的介于τ_pos和τ_neg的候选框，不用于训练。这样，就可以得到样本集A，其中正样本集记作A_pos，负样本集记作A_neg。

步骤S12：按照下述公式(1)计算损失函数，用于训练孪生RPN网络：

如图3所示，孪生RPN网络会为样本集A上的每个候选框i输出两个值，一个为分类得分c_i，一个为回归偏差o_i；上述公式(1)中，N_cls是样本集A的样本总数，N_reg是用于训练回归的样本总数，注意，只有正样本才会参与回归优化；c_i ^*为候选框i的标签，代表着候选框i是属于正样本或者是负样本；o_i ^*是候选框i与跟踪目标矩形框的真实偏差；L_cls是分类损失项，为交叉熵损失函数；L_reg为回归损失项，为Smooth L1损失函数。

在步骤S1中，由于所有正负样本权重都是1，因此在优化L_rpn损失函数中，每个训练样本起的作用是一样的。事实上，那些覆盖目标区域多，即IoU大的正样本和不易分类的困难负样本，应当得到更多的关注。因此，本发明根据正负样本的重要性，为其增加权重系数。

如图4所示，在一个实施例中，上述步骤S2：计算正负样本的权重系数，包括：

步骤S21：按照下述公式(2)，计算正样本的权重系数：

w_i＝1+v_i ^iou-τ_pos (2)

其中，w_i为正样本的权重系数；正样本i与X图片上的跟踪目标框的IoU，记作v_i ^iou；

步骤S22：按照下述公式(3)，计算负样本的权重系数：

w_i＝1+c_i[pos] (3)

其中，c_i[pos]为所述负样本被错误分类为正样本的概率值。

理想情况下，负样本i被错误分类为正样本的概率值c_i[pos]应该为0。但实际中，一些困难的负样本，容易被误判为正样本，即其c_i[pos]值较大。因此，在本发明中，困难的负样本，即c_i[pos]值越高的样本，将会得到更高的权重。在后续的分类过程中，会优先满足这些权重高的样本，以使其得到更符合标签的结果。

因此，根据正负样本的权重系数，重新构建新损失函数如下述步骤。

在一个实施例中，上述步骤S3：根据权重系数，将加权后的正负样本用于训练孪生RPN网络，得到正负样本的加权分类得分；

基于步骤S2的权重系数w_i，构建如下述公式(4)所示的新损失函数L_rpn′，重新训练孪生RPN网络，RPN网络负责输出每个正负样本的加权分类得分：

公式(4)中的各个符号的定义与公式(1)相同，这里不再赘述。

根据新损失函数L_rpn′，即可学习出新的孪生RPN网络，那些重要的正负样本的分类结果相应地也会更加准确。

本发明在基于孪生RPN网络上，即SiamRPN网络，通过增加计算样本的权重系数，使得在训练过程更加关注重要的样本，即重要的样本会被优先地分类正确。

如图5所示，在一个实施例中，上述步骤S4：构建排序网络，生成正样本的排序得分，包括：

步骤S41：定义排序规则，如下述公式(5)所示：

因为，只有正样本所对应的候选框才可能是跟踪目标，所以对于排序网络，只对所有正样本计算其排序得分，因此，i,j∈A_pos；其中，r_i和r_j是样本i和样本j的排序得分；α是控制系数，用来控制排序得分差；当样本i预测的目标框比样本j预测的目标框IoU更小时，则对应的排序得分r_i也会比r_j小。

步骤S42：定义排序损失函数，如下述公式(6):

其中，N_rank是所有的正样本中i,j∈A_pos满足排序规则(5)的总样本数，max()为取最大值函数。

步骤S43：根据下述公式(7)对新损失函数L_rpn′和排序损失函数L_rank求和，通过优化公式(7)，即可联合学习出孪生RPN网络和排序网络，前者输出样本的加权分类得分，后者输出正样本的排序得分。

L_total＝L_rank+L_rpn′ (7)

在一个实施例中，上述步骤S5：结合样本的加权分类得分和正样本的排序得分，得到加权融合得分图，挑选候选框，实现目标跟踪，包括：

在线跟踪时，由于第一帧目标位置是已知的，因此可以利用第一帧图片生成模板图z,后续待跟踪视频帧组成搜索图片X，跟踪的目的就是在X上寻找跟踪目标的位置。由于事先无法获知X上是否存在跟踪目标以及跟踪目标的位置，因此X上分散的候选框没有正负样本之分，每个候选框都有可能成为跟踪目标。通过孪生RPN网络得到所有候选框的加权分类得分，排序网络输出所有候选框的排序得分，结合两种得分，得到加权融合得分图，进而实现目标跟踪；其中，加权融合得分图，如下述公式(8)所示：

{s_i}＝β{r_i}+(1-β){c_i[pos]} (8)

其中，{r_i}为所有候选框的排序得分图；{c_i[pos]}为所有候选框的分类得分图；β为平衡参数，可根据实际情况调整，经过大量实验发现，β不要超过0.4，在0.1和0.2之间效果较佳。{s_i}为所述加权融合得分图，其最大值对应的所述候选框，即为跟踪目标。

步骤S1-S4展示了如何离线训练孪生RPN网络和排序网络，步骤S5为目标跟踪过程。由于第一帧目标位置是已知的，因此可以利用第一帧图片生成模板图片z,后续帧图片成为搜索图片X，这样在每一帧的跟踪中，我们得到一对图片对，跟踪的目的就是在X上寻找跟踪目标的位置。由于事先不知道X中跟踪目标的位置，因此X上分散的候选框没有正负样本之分，每个候选框都有可能成为跟踪目标。通过上述孪生RPN网络和排序网络分别为所有候选框生成对应的分类得分和排序的分，得到加权融合得分图，挑选排名高的候选框，可实现目标跟踪。

为了更好地验证本发明提供的智能排序候选框的目标跟踪方法的效果，本发明实施例选择OTB2015[6]、TC128[7]和NF30[8]目标跟踪公开数据集。在表1中，列出了本发明与传统SiamRPN目标跟踪的结果对比。采用两个指标来衡量结果，第一为DP score(％),第二为AUC score(％),DP score指的是预测的目标中心坐标与真实目标中心坐标的距离，距离越小，精度越高；AUC score代表了目标跟踪预测矩形框与真实目标的平均重叠程度，平均重叠程度越高，AUC score也就越大，意味着预测的矩形框越接近真实目标。从表格1可知，本发明公开的方法，在三个数据集上，相比较于传统SiamRPN而言，在两项指标中，均取得1％-5％的精度提升。

本发明实施例公开了排序网络，输出每个候选框的排序得分。在跟踪过程中，将排序得分和分类得分结合在一起，可以选择更加准确的目候选框，以提升目标跟踪的精度。

同时，本发明实施例提供的智能排序候选框的目标跟踪方法，计算耗时少，在NVIDIA GTX 1080Ti GPU平台上，平均运行速度达到100+fps(每秒能处理100帧以上数据)，完全能满足实时跟踪的要求。

表1：本发明和传统SiamRPN跟踪结果

实施例二

如图6所示，本发明实施例提供了一种智能排序候选框的目标跟踪系统，包括下述模块：

图片训练模块51，处理输入的图片对，生成候选框，进而生成正负样本，用于训练孪生RPN网络，RPN网络输出正负样本的分类得分；

计算权重模块52，用于计算正负样本的权重系数；

计算加权分类得分模块53，根据权重系数，将加权后的正负样本用于训练孪生RPN网络；

计算排序得分模块54，用于构建排序网络，计算得到所述正负样本的排序得分；

融合模块55，结合所述样本的加权分类得分和所述正样本的排序得分，得到加权融合得分图，挑选候选框，实现目标跟踪。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (6)

1.一种智能排序候选框的目标跟踪方法，其特征在于，包括：

步骤S1：处理输入的图片对，生成候选框，进而生成正负样本，用于训练孪生RPN网络，RPN网络输出所述正负样本的分类得分；

步骤S2：计算所述正负样本的权重系数；

步骤S3：根据所述权重系数，将加权后的所述正负样本用于训练所述孪生RPN网络，得到所述正负样本的加权分类得分；

步骤S4：构建排序网络，生成所述正样本的排序得分，具体包括：

步骤S41：定义排序规则，如下述公式(1)所示：

其中，i,j∈A_pos，A_pos为正样本集；r_i和r_j是正样本的所述排序得分；α是控制系数，用来控制所述排序的分差；

步骤S42：定义排序损失函数，如下述公式(2):

其中，N_rank是所有的正样本i,j∈A_pos中满足所述排序规则的总样本数；max()表示取最大值操作；

步骤S43：根据下述公式(3)对所述新损失函数L_rpn′和排序损失函数L_rank求和，通过优化公式(3)，可学习得出孪生RPN网络和排序网络，

L_total＝L_rank+L_rpn′ (3)

步骤S5：结合所述样本的加权分类得分和所述正样本的排序得分，得到加权融合得分图，挑选候选框，实现目标跟踪，具体包括：

通过所述孪生RPN网络得到所有正负样本的加权分类得分，排序网络输出所有所述正样本的排序得分，结合两种得分，得到加权融合得分图，进而实现目标跟踪；其中，加权融合得分图，如下述公式(4)所示：

{s_i}＝β{r_i}+(1-β){c_i[pos]} (4)

其中，{r_i}为所述候选框的排序得分图；{c_i[pos]}为所述候选框的分类得分图；β为平衡参数；{s_i}为所述加权融合得分图，其最大值对应的所述候选框，即为跟踪目标。

2.根据权利要求1所述的智能排序候选框的目标跟踪方法，其特征在于，所述步骤S1：处理输入图片对，生成候选框，进而生成正负样本，用于训练孪生RPN网络，RPN网络输出所述正负样本的分类得分，包括：

步骤S11：处理输入图片对，生成候选框，进而生成正负样本；

步骤S12：按照下述公式(5)，用于训练所述孪生RPN网络：

其中，步骤S11生成的正负样本集记作A，N_cls是样本集A的总数，N_reg是用于训练回归的样本总数；c_i是分类得分，c_i ^*为搜索图像中候选框i的标签，表示候选框i是正样本或者负样本；o_i是回归偏差，o_i ^*是候选框i与搜索图像X上跟踪目标矩形框的真实偏差；L_cls是分类损失项；L_reg为回归损失项。

3.根据权利要求2所述的智能排序候选框的目标跟踪方法，其特征在于，所述步骤S11：处理输入图片对，生成候选框，进而生成正负样本；其中，所述图片对z和X，取自视频序列中不同的两帧，两者都包含跟踪目标，z为模板图像，X是搜索图像；

在所述X上定义多个候选框，计算所述X的候选框中的区域与跟踪目标框重叠相交比IoU，如果IoU大于预设阈值τ_pos，则该候选框为正样本，如果IoU小于预设的阈值τ_neg，则该候选框为负样本。

4.根据权利要求3所述的智能排序候选框的目标跟踪方法，其特征在于，所述步骤S2：计算所述正负样本的权重系数，包括：

步骤S21：按照下述公式(6)，计算所述正样本的权重系数：

w_i＝1+v_i ^iou-τ_pos (6)

其中，w_i为正样本i的权重系数；正样本i与X图片上的跟踪目标框的IoU，记作v_i ^iou；

步骤S22：按照如下公式(7)，计算所述负样本i的权重系数：

w_i＝1+c_i[pos] (7)

其中，c_i[pos]为所述负样本i被错误分类为正样本的概率值,w_i负样本i的权重系数

5.根据权利要求4所述的智能排序候选框的目标跟踪方法，其特征在于，所述步骤S3：根据所述权重系数，将加权后的正负样本用于训练所述孪生RPN网络，得到所述正负样本的加权分类得分，包括：

基于所述权重系数w_i，构建如下述公式(8)所示的新损失函数，所述孪生RPN网络输出正负样本的加权分类得分：

6.一种智能排序候选框的目标跟踪系统，其特征在于，包括下述模块：

图片训练模块，处理输入的图片对，生成候选框，进而生成正负样本，用于训练孪生RPN网络，RPN网络输出所述正负样本的分类得分；

计算权重模块，用于计算所述正负样本的权重系数；

计算加权分类得分模块，根据权重系数，将加权后的正负样本用于训练孪生RPN网络；

计算排序得分模块，用于构建排序网络，计算得到所述正样本的排序得分，具体包括：

步骤S41：定义排序规则，如下述公式(9)所示：

其中，i,j∈A_pos，r_i和r_j是正样本的所述排序得分；α是控制系数，用来控制所述排序的分差；

步骤S42：定义排序损失函数，如下述公式(10):

其中，N_rank是所有的正样本i,j∈A_pos中满足所述排序规则的总样本数，A_pos为正样本集记；max()表示取最大值操作；

步骤S43：根据下述公式(11)对所述新损失函数L_rpn′和排序损失函数L_rank求和，通过优化公式(11)，可学习得出孪生RPN网络和排序网络，

L_total＝L_rank+L_rpn′ (11)

融合模块，结合所述样本的加权分类得分和所述正样本的排序得分，得到加权融合得分图，挑选候选框，实现目标跟踪，具体包括：

通过所述孪生RPN网络得到所有正负样本的加权分类得分，排序网络输出所有所述正样本的排序得分，结合两种得分，得到加权融合得分图，进而实现目标跟踪；其中，加权融合得分图，如下述公式(12)所示：

{s_i}＝β{r_i}+(1-β){c_i[pos]} (12)

其中，{r_i}为所述候选框的排序得分图；{c_i[pos]}为所述候选框的分类得分图；β为平衡参数；{s_i}为所述加权融合得分图，其最大值对应的所述候选框，即为跟踪目标。

Images