CN109598684A - 结合孪生网络的相关滤波跟踪方法 - Google Patents

Abstract

本发明公开了一种结合孪生网络的相关滤波跟踪方法，包括：1)给定初始帧中目标的位置和大小，并用N倍于目标大小的图像训练得到标准相关滤波器；2)基于前一帧中目标的中心位置提取搜索区域，利用相关滤波器检测得到响应图，将响应图中符合条件的局部最大值对应的位置作为候选目标；3)若候选目标的数量大于1，用孪生网络对所有的候选目标进行验证并通过投票选出票数最高的一个作为最终目标输出。若候选目标只有1个，则直接输出；4)用孪生网络对目标图像进行验证，分数低则不对相关滤波器进行更新，反之进行更新；5)构建孪生网络的模板库，并进行在线更新。所述方法有效克服了标准滤波跟踪器存在的搜索范围小以及手工特征表达能力不足的问题。

Description

结合孪生网络的相关滤波跟踪方法

技术领域

本发明涉及通用视觉目标跟踪技术领域，具体涉及一种结合孪生网络的相关滤波跟踪方法。

背景技术

通用的视觉目标跟踪是计算机视觉中一个非常基础且重要的研究领域，并且在机器人、视频监控、人机交互到自动驾驶等方面都有被应用。目标跟踪主要解决的问题是，给定目标在视频中的初始位置，如何准确且快速地估计目标在接下来的视频帧中的位置。通用的视频场景中经常会发生目标被遮挡，背景中有和目标相似的物体，目标快速运动和目标外观的剧烈变化(光照变化、目标旋转、变形)等情况，所以实现鲁棒、准确和快速的目标跟踪仍然是一项非常具有挑战性的工作。

近年来，相关滤波方法在目标跟踪领域表现出非常出色的综合性能，不仅可以实现超高速的算法运行效率，而且还有不错的准确率。举例来说，可以认为是创始的相关滤波跟踪方法MOSSE的跟踪速度可以达到700帧每秒以上。然而，这些标准相关滤波跟踪方法存在内在的缺陷，使得在一些较为复杂的场景如遮挡、目标快速运动和背景干扰的情况，这些方法常会出现跟踪漂移或者失败。这很大程度上限制了相关滤波跟踪方法的性能。尽管最近的研究在减轻边缘效应(LMCF、SRDCF)，响应图自适应(SAMF_AT)，学习连续的滤波器(CCOT)等方面对标准相关滤波器进行了改进，使得其准确率得到很大程度上的提升，但是却以跟踪速度的大幅衰减作为代价，例如CCOT的运行速度小于1帧每秒。

标准滤波跟踪方法总的来说会经过三个步骤：1)初始化滤波器训练。在初始帧中会给出目标位置和大小，然后以目标为中心选取尺寸是目标大小N倍的图像进行特征提取得到特征图，另外设计一个高斯分布形状的标签，最后滤波器由求解特征图与标签作为输入的岭回归问题训练得出；2)目标检测。基于上一帧目标中心的位置获取同样是目标大小N倍的搜索区域，并进行特征提取得到特征图。然后用训练得到的滤波器与此搜索区域的特征图做相关运算得到响应图，把图中的最大峰值对应的位置作为目标的跟踪结果；3)滤波器更新。利用检测到的目标跟踪位置选取目标大小N倍的图像，然后依据1)中步骤训练新的滤波器，并与上一帧的滤波器做滑动平均得到最新的滤波器。此类方法在求解岭回归问题的时候，根据帕塞瓦尔定理将问题转到傅里叶域进行求解分析，极大加速了问题求解过程，保证了相关滤波方法的高效运行效率。

然而，标准的相关滤波方法存在几点不足。第一，模型更新策略过于简单直接。由于目标跟踪的场景复杂多变，在目标被严重遮挡或者移出视野外的时候，跟踪的结果必然不会包含目标在内，此时若进行滤波器更新，则会使得滤波器被污染。第二，边缘效应。若要使得岭回归能快速求解，前提是需要对N倍目标大小的训练图像进行循环偏移采样来当做正负训练样本。偏移量小的作为正样本，而偏移量大的作为负样本。很明显，这里的正样本除了包含目标外，还会包含一部分背景，且N越大，包含的背景越多。所以当N太大的时候，正样本中的背景信息多于目标，这时候学习出来的滤波器与背景更加相关而不是目标，所以N太大的时候标准的滤波跟踪方法是无法工作的。在进行检测的时候，N也决定了搜索区域的大小，所以说标准滤波跟踪方法的搜索区域无法太大。第三，手工特征表达能力弱。虽然在滤波跟踪框架下，手工特征如HOG已经能应付大部分的场景，但是在一些与目标相似的背景物体出现在搜索区域的时候，滤波器则会错把背景当做目标进行跟踪。

发明内容

本发明的目的是针对上述现有技术的不足，提供了一种结合孪生网络的相关滤波跟踪方法，所述方法可以在克服标准相关滤波方法部分内在缺陷的情况下，获得很好的性能提升并保持高效的算法运行效率。

本发明的目的可以通过如下技术方案实现：

一种结合孪生网络的相关滤波跟踪方法，所述方法包括以下步骤：

第1步，设t代表视频帧数，当t＝1时，获取第一帧视频图像，记录下给定的目标位置和大小，并将目标图像加入到模板库中，此时模板库中目标数量为1；

第2步，若t＝1或当平均验证分数s大于指定阈值T1，进入第3步；反之跳过第3步，并令最新的滤波器H_t＝H_t-1，其中H_t-1表示之前的滤波器；

第3步，滤波器更新：基于第t帧目标位置的中心获取N倍于目标大小的图像，并对其进行特征提取得到特征图f_t，对f_t进行傅里叶变换得到F_t，并对高斯形状的标签y进行傅里叶变换得到Y；根据闭式解公式计算得到滤波器H；若t＝1，输出滤波器H作为H_t用于下一帧目标检测；若t>1，将之前的滤波器H_t-1与H进行滑动平均更新得到最新的滤波器H_t；

第4步，目标检测：获取第t+1帧图像，并基于第t帧目标位置的中心获取N倍于目标大小的图像，并对其进行特征提取和傅里叶变换得到F_t+1；将F_t+1与H_t进行相关运算并进行反傅里叶变换得到响应图r_t+1，并找出响应图中的各个局部最大值及其对应的位置坐标，计算所有的局部最大值与全局最大值的比值，将比值大于指定阈值T2的局部最大值对应的位置作为候选目标的位置，若候选目标多于1个，选取候选目标位置对应的图像输入到预训练好的孪生网络中进行验证；由于孪生网络的模板库有多个模板，验证过后每个模板都将得到不同候选目标的验证分数值，最后每个模板对得分最高的候选目标进行投票，票数最多的作为最终的目标进行输出；若候选目标只有1个，则直接输出；

第5步，模板库更新：令t＝t+1，基于第t帧目标位置的中心获取目标大小的图像x，基于当前模板库，将其输入到孪生网络进行验证，得到多个验证分数值，最后计算得到平均验证分数s，若s大于等于指定阈值T3：当模板库没满时，将x加入到模板库中；当达到模板库大小上限M后，将x与模板库中验证分数最高的模板融合；若s小于T3，则不更新模板库；

第6步，判断第t帧图像是否为视频最后一帧，若是则结束跟踪，否则跳到第2步继续运行。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明提供的结合孪生网络的相关滤波跟踪方法，提出了一个自适应的模型更新策略，可以有效避免滤波器在跟踪过程中出现错误更新的问题。

2、本发明提供的结合孪生网络的相关滤波跟踪方法，依据相关滤波方法检测阶段的响应图选出潜在的候选目标，并用孪生网络进行进一步验证；这个做法可以对相关滤波方法的结果进行修正，避免在复杂背景下出现跟踪失败，有效克服了边缘效应和手工特征表达能力不足的问题。

3、本发明提供的结合孪生网络的相关滤波跟踪方法，利用在线模板库增强孪生网络在跟踪过程中对目标的分辨力，可以更加正确地对目标进行验证评价。

附图说明

图1为本发明实施例中产生候选目标图像，以及模板库利用孪生网络对候选目标进行验证和投票的步骤示意图。

图2是本发明跟踪方法第5步中在线构造的模板库示例，其中图2(a)为本发明实施例在视频第一帧收集到的模板，不与新加入的模板融合，所以只有一个图；图2(b)、2(c)和2(d)分别表示模板库中收集到的其他模板，多幅图像表示进行了模板融合。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

本实施例提供了一种结合孪生网络的相关滤波跟踪方法，所述方法包括以下步骤：

第1步，设t代表视频帧数，当t＝1时，获取第一帧视频图像，记录下给定的目标位置和大小，并将目标图像加入到模板库中，此时模板库中目标数量为1；

第2步，若t＝1或当平均验证分数s大于指定阈值T1，进入第3步；反之跳过第3步，并令最新的滤波器H_t＝H_t-1，其中H_t-1表示之前的滤波器；

第3步，滤波器更新：基于第t帧目标位置的中心获取N倍于目标大小的图像，并对其进行特征提取得到特征图f_t，对f_t进行傅里叶变换得到F_t，并对高斯形状的标签y进行傅里叶变换得到Y；根据闭式解公式计算得到滤波器H；若t＝1，输出滤波器H作为H_t用于下一帧目标检测；若t>1，将之前的滤波器H_t-1与H进行滑动平均更新得到最新的滤波器H_t；

第4步，目标检测：获取第t+1帧图像，并基于第t帧目标位置的中心获取N倍于目标大小的图像，并对其进行特征提取和傅里叶变换得到F_t+1；将F_t+1与H_t进行相关运算并进行反傅里叶变换得到响应图r_t+1，并找出响应图中的各个局部最大值及其对应的位置坐标，计算所有的局部最大值与全局最大值的比值，将比值大于指定阈值T2的局部最大值对应的位置作为候选目标的位置，若候选目标多于1个，选取候选目标位置对应的图像输入到预训练好的孪生网络中进行验证；由于孪生网络的模板库有多个模板，验证过后每个模板都将得到不同候选目标的验证分数值，最后每个模板对得分最高的候选目标进行投票，票数最多的作为最终的目标进行输出；若候选目标只有1个，则直接输出；

第5步，模板库更新：令t＝t+1，基于第t帧目标位置的中心获取目标大小的图像x，基于当前模板库，将其输入到孪生网络进行验证，得到多个验证分数值，最后计算得到平均验证分数s，若s大于等于指定阈值T3：当模板库没满时，将x加入到模板库中；当达到模板库大小上限M后，将x与模板库中验证分数最高的模板融合；若s小于T3，则不更新模板库；

第6步，判断第t帧图像是否为视频最后一帧，若是则结束跟踪，否则跳到第2步继续运行。

进一步地，在第3步中，对图像进行特征提取包括以下步骤：

首先，将N倍于目标大小的RGB图像进行HOG梯度特征计算，提取到的特征图宽高均为原图的1/4，并拥有32个图像通道；剔除掉一个梯度值全为0的冗余通道，得到31个通道的特征图；

其次，将RGB图像转换成灰度图，并调整图像大小与HOG特征图相同，得到1个通道的灰度特征图；

最后，将HOG特征图和灰度特征图在通道方向进行叠加，得到32维的特征图，每个通道的特征图表示为f^l,l＝{1,2,...32}。

进一步地，在第3步中，求解滤波器H的过程包括以下步骤：

首先，标准相关滤波跟踪方法中岭回归的公式如下：

其中_y是高斯形状的训练样本标签，h和f分别表示滤波器和特征图，上标l表示通道序号，d是总的通道数量，λ是正则化系数，ε则表示需要最小化的标量值；

再在傅里叶域中求解岭回归问题，求解得到滤波器H的闭式解如下：

其中大写字母表示小写字母对应的变量的傅里叶变换，如Y是标签_y的傅里叶变换，字母上方横线表示复共轭运算，λ是正则化系数，上标l和k均表示通道序号，d是总的通道数量。

进一步地，在第3步中，滑动平均更新的具体步骤如下：

首先，对滤波器H的闭式求解公式进行简化表示，得到：

其中代表公式中的分子部分，代表公式中分母部分的一项，λ是正则化系数，上标l表示通道序号，d是总的通道数量；

然后分别对滤波器的分子A和分母中的B进行更新，公式如下：

其中代表滤波器H求解公式中的分子部分，代表滤波器H求解公式中分母部分的一项，大写字母表示小写字母对应的变量的傅里叶变换，如Y是标签_y的傅里叶变换，字母上方横线表示复共轭运算，_η表示学习率，上标l表示通道序号，d是总的通道数量，t表示视频帧序号。

进一步地，在第4步中，得到响应图并得到局部最大值位置的步骤如下：

首先，响应图r_t+1的计算公式如下：

其中表示反傅里叶变换，代表滤波器H求解公式中的分子部分，代表滤波器H求解公式中分母部分的一项，大写字母表示小写字母对应的变量的傅里叶变换，如F是特征图f的傅里叶变换，字母上方横线表示复共轭运算，λ是正则化系数，上标l表示通道序号，d是总的通道数量，t表示视频帧序号；

然后用matlab自带的imregionlmax()函数即能够找到响应图中局部最大值及其对应的位置坐标。

特别地，在第4步中，产生候选目标图像，以及模板库利用孪生网络对候选目标进行验证和投票的步骤如图1所示。

进一步地，在第5步中，将x与模板进行融合的公式如下：

z_i＝(1-α)×z_i+α×x

其中z表示模板，x表示跟踪结果，α表示学习率，下标i表示当前模板库的模板数量。

特别地，在第5步中，在线构建的模板库示例如图2所示。其中图2(a)表示在视频第一帧收集到的模板，由于这是唯一的能够完全确定是目标的模板，在本实施例中不将它与其他新收集的模板进行融合，所以图2(a)展示为只有1个图。图2(b)，2(c)和2(d)分别表示模板库中收集到的其他模板，多幅图像表示收集在一起的模板都进行了融合。

特别地，全部6个步骤中涉及的超参数在本实施例中的设置如表1所示。

表1

接下来对本实施例提出的结合孪生网络的相关滤波跟踪方法进行验证。我们在权威的公开数据集OTB-13和OTB-15上进行实验来证明本实施例提出的跟踪方法的有效性。OTB-13包含50个而OTB-15包含100个视频序列，OTB-15在OTB-13的基础上增加了另外50个更具有挑战性的视频。因此在本实施例中，大多数实验都是围绕OTB-15展开，以获得更加全面和可靠的实验结果。对于评价方法，One-Pass-Evaluation(OPE)准则被用来评测我们的方法，具体来说，就是跟踪器从视频第一帧开始，一次性跑完整个视频序列，最后输出视频每一帧中目标的位置。另外，成功率曲线和精度曲线用于评价跟踪器性能。我们用DistancePrecision rate(DP)，mean Overlap Precision(OP)和成功率曲线中的Area Under Curve(AUC)来对不同的跟踪器进行性能排名。其中：

1)成功率曲线：计算跟踪结果的外接矩形框与真实值的重合度，统计在不同的重合度阈值下，能够成功跟踪的帧数占视频序列总帧数的比例。

2)精度曲线：计算跟踪结果的位置与真实值的位置误差(以像素为单位)，统计在不同的误差阈值下，能够成功跟踪的帧数占视频序列总帧数的比例。

3)DP：在精度曲线中，误差阈值等于0.5时对应的曲线中的精度值。

4)mean OP：在成功率曲线中，重合度阈值等于0.5时对应的曲线中的成功率值。

5)AUC：在成功率曲线中，曲线下的面积值。

我们把本实施例提出的结合孪生网络的相关滤波跟踪方法取名为CFS_fDSST，并与业界领先的目标跟踪方法进行比较。这里把用于比较的跟踪方法分成两类：1)基于手工特征的跟踪算法，包括CSR-DCF,Staple,SAMF_AT,SRDCF,SAMF,KCF,MEEM,DLSSVM和Struck；和2)基于深度特征的跟踪算法，包括SiamFC、AFCN、CFNet、SINT、CF2、HDT和CNN-SVM。为了公平起见，全部进行比较的跟踪算法的结果均由它们公开的代码在本文硬件平台上运行得出，或者直接引用跟踪算法原文展示的结果。与手工特征跟踪方法的比较：

表2给出了在OTB-13和OTB-15上的mean OP分数。可以看到，CFS_fDSST在两个数据集上都打败了相比较的所有算法。另外，本实施例还用AUC和DP分数来对算法进行排序。如表3所示，本文提出的CFS_fDSST在OTB-15和OTB-13上分别取得了61.3％和63.8％的AUC分数，相应地在表4中取得了81.7％个84.9％的DP分数。与mean OP的结果类似，CFS_fDSST同样比其他相比较的算法取得了更好的效果。

表2

表3

表4

与深度特征跟踪方法的比较：我们进一步将CFS_fDSST与深度特征跟踪算法在OTB-15和OTB-13上进行了比较，并用AUC分数进行了排序。如表5所示，CFS_fDSST在OTB-15上表现最好而在OTB-13上排第二。SINT在OTB-13上取得了65.5％的AUC分数，排第一。但是，在具有更多挑战性视频的OTB-15上，CFS_fDSST取得了比SINT更好的结果。

表5

该目标跟踪方法不仅可以有效克服标准滤波跟踪器存在的搜索范围小以及手工特征表达能力不足的问题，而且能够对滤波器进行自适应更新，避免由于错误更新导致跟踪漂移或者失败。多个权威数据集上的实验结果表明，该方法在大幅提升了标准滤波跟踪算法性能的同时，还能实现快速的运行效率。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (6)

1.一种结合孪生网络的相关滤波跟踪方法，其特征在于，所述方法包括以下步骤：

第1步，设t代表视频帧数，当t＝1时，获取第一帧视频图像，记录下给定的目标位置和大小，并将目标图像加入到模板库中，此时模板库中目标数量为1；

第2步，若t＝1或当平均验证分数s大于指定阈值T1，进入第3步；反之跳过第3步，并令最新的滤波器H_t＝H_t-1，其中H_t-1表示之前的滤波器；

第3步，滤波器更新：基于第t帧目标位置的中心获取N倍于目标大小的图像，并对其进行特征提取得到特征图f_t，对f_t进行傅里叶变换得到F_t，并对高斯形状的标签y进行傅里叶变换得到Y；根据闭式解公式计算得到滤波器H；若t＝1，输出滤波器H作为H_t用于下一帧目标检测；若t>1，将之前的滤波器H_t-1与H进行滑动平均更新得到最新的滤波器H_t；

第4步，目标检测：获取第t+1帧图像，并基于第t帧目标位置的中心获取N倍于目标大小的图像，并对其进行特征提取和傅里叶变换得到F_t+1；将F_t+1与H_t进行相关运算并进行反傅里叶变换得到响应图r_t+1，并找出响应图中的各个局部最大值及其对应的位置坐标，计算所有的局部最大值与全局最大值的比值，将比值大于指定阈值T2的局部最大值对应的位置作为候选目标的位置，若候选目标多于1个，选取候选目标位置对应的图像输入到预训练好的孪生网络中进行验证；由于孪生网络的模板库有多个模板，验证过后每个模板都将得到不同候选目标的验证分数值，最后每个模板对得分最高的候选目标进行投票，票数最多的作为最终的目标进行输出；若候选目标只有1个，则直接输出；

第5步，模板库更新：令t＝t+1，基于第t帧目标位置的中心获取目标大小的图像x，基于当前模板库，将其输入到孪生网络进行验证，得到多个验证分数值，最后计算得到平均验证分数s，若s大于等于指定阈值T3：当模板库没满时，将x加入到模板库中；当达到模板库大小上限M后，将x与模板库中验证分数最高的模板融合；若s小于T3，则不更新模板库；

第6步，判断第t帧图像是否为视频最后一帧，若是则结束跟踪，否则跳到第2步继续运行。

2.根据权利要求1所述的一种结合孪生网络的相关滤波跟踪方法，其特征在于，在第3步中，对图像进行特征提取包括以下步骤：

首先，将N倍于目标大小的RGB图像进行HOG梯度特征计算，提取到的特征图宽高均为原图的1/4，并拥有32个图像通道；剔除掉一个梯度值全为0的冗余通道，得到31个通道的特征图；

其次，将RGB图像转换成灰度图，并调整图像大小与HOG特征图相同，得到1个通道的灰度特征图；

最后，将HOG特征图和灰度特征图在通道方向进行叠加，得到32维的特征图，每个通道的特征图表示为f^l,l＝{1,2,...32}。

3.根据权利要求1所述的一种结合孪生网络的相关滤波跟踪方法，其特征在于，在第3步中，求解滤波器H的过程包括以下步骤：

首先，标准相关滤波跟踪方法中岭回归的公式如下：

其中y是高斯形状的训练样本标签，h和f分别表示滤波器和特征图，上标l表示通道序号，d是总的通道数量，λ是正则化系数，ε则表示需要最小化的标量值；

再在傅里叶域中求解岭回归问题，求解得到滤波器H的闭式解如下：

其中大写字母表示小写字母对应的变量的傅里叶变换，如Y是标签y的傅里叶变换，字母上方横线表示复共轭运算，λ是正则化系数，上标l和k均表示通道序号，d是总的通道数量。

4.根据权利要求3所述的一种结合孪生网络的相关滤波跟踪方法，其特征在于，在第3步中，滑动平均更新的具体步骤如下：

首先，对滤波器H的闭式求解公式进行简化表示，得到：

其中代表公式中的分子部分，代表公式中分母部分的一项，λ是正则化系数，上标l表示通道序号，d是总的通道数量；

然后分别对滤波器的分子A和分母中的B进行更新，公式如下：

其中代表滤波器H求解公式中的分子部分，代表滤波器H求解公式中分母部分的一项，大写字母表示小写字母对应的变量的傅里叶变换，如Y是标签y的傅里叶变换，字母上方横线表示复共轭运算，η表示学习率，上标l表示通道序号，d是总的通道数量，t表示视频帧序号。

5.根据权利要求1所述的一种结合孪生网络的相关滤波跟踪方法，其特征在于，在第4步中，得到响应图并得到局部最大值位置的步骤如下：

首先，响应图r_t+1的计算公式如下：

其中表示反傅里叶变换，代表滤波器H求解公式中的分子部分，代表滤波器H求解公式中分母部分的一项，大写字母表示小写字母对应的变量的傅里叶变换，如F是特征图f的傅里叶变换，字母上方横线表示复共轭运算，λ是正则化系数，上标l表示通道序号，d是总的通道数量，t表示视频帧序号；

然后用matlab自带的imregionlmax()函数即能够找到响应图中局部最大值及其对应的位置坐标。

6.根据权利要求1所述的一种结合孪生网络的相关滤波跟踪方法，其特征在于：在第5步中，将x与模板进行融合的公式如下：

z_i＝(1-α)×z_i+α×x

其中z表示模板，x表示跟踪结果，α表示学习率，下标i表示当前模板库的模板数量。