CN113298851B - 一种基于多尺度多特征的目标图像跟踪方法 - Google Patents

Abstract

本发明公开了一种基于多尺度多特征的目标图像跟踪方法，该方法将目标跟踪任务分解为位置估计和尺度估计两部分，其中，在位置估计中，将每一帧图像的颜色特征和深度特征相结合，获得融合特征，利用上述融合特征，可以估计出准确的尺度，从而进行视觉跟踪，提高目标跟踪的有效性和鲁棒性，适用于处理具有较大外观变化和尺度变化的实际应用场景的目标跟踪。

Description

一种基于多尺度多特征的目标图像跟踪方法

技术领域

本发明公开涉及计算机视觉识别的技术领域，尤其涉及基于多尺度多特征的目标图像跟踪方法。

背景技术

视觉跟踪是计算机视觉识别的一个重要研究领域，是监控、交通、服务业等多种应用的关键因素。视觉跟踪在这里定义为一项任务，它允许系统从第一帧中未知目标的边界框开始，在视频序列的后续帧中对目标进行定位。近年来，大量目标跟踪算法被相继提出且取得了较好的性能，但由于光照变化、目标形变、背景复杂、快速运动、严重遮挡和尺度变化等因素，为通用的跟踪器设计带来了挑战。

最新的研究表明，信号处理和机器学习技术在处理视觉跟踪任务时可以取得较好的性能。目前已经提出了大量相关的方法，其中，基于相关滤波的方法因其在鲁棒性和高速性方面的显著优势而得到了广泛的应用。此外，受深度神经网络(CNNs)优势的启发，基于深度特征的目标跟踪方法也越来越受到欢迎。与最先进的目标跟踪方法相比，它们的优势是显著的。特别的是CFNet，该网络将深度学习与相关滤波相融合，从而弥补了深度学习解释性差的不足，已成为实际目标跟踪领域的首选方法。

然而，上述结合在实际研究中也暴露出一些问题。第一、如果跟踪器获得更多的语义信息，它必须使用更深层次的深度特征，从而降低了速度。第二、采用深度特征后，随着数据多样性的增加，会出现“过拟合”现象，从而削弱了跟踪性能。第三、尺度变化是每个跟踪器都必须处理的问题。但在跟踪过程中，如果目标的大小发生变化，将导致跟踪器的性能变差。

因此，如何研发一种新型的目标图像跟踪方法，以解决上述问题，成为人们亟待解决的问题。

发明内容

鉴于此，本发明提供了一种基于多尺度多特征的目标图像跟踪方法，以解决以往的跟踪方法存在跟踪效果差的问题。

本发明提供的技术方案，具体为，一种基于多尺度多特征的目标图像跟踪方法，该跟踪方法包括如下步骤：

S1：初始化位置模型和比例模型；

S2：基于当前帧图像进行位置信息更新；

S3：基于更新的位置信息进行尺寸估计；

S4：基于更新的位置信息和尺寸估计，进行位置模型中滤波器和比例模型中滤波器的更新；

S5：采用更新后的位置模型和比例模型进行下一帧图像中目标图像的识别跟踪；

S6：重复步骤S2-S5，直至视频跟踪序列结束；

其中，步骤S2中，基于当前帧图像进行位置信息更新，具体为：

S201：提取当前帧图像的颜色特征，由所述颜色特征和相应滤波器运算获得颜色映射特征图；

S202：提取当前帧图像的深度特征，由所述深度特征和相应滤波器运算获得深度映射特征图；

S203：将所述颜色映射特征图和所述深度映射特征图进行融合，获得融合特征图；

S204：基于所述融合特征图进行目标位置的估计，获得位置信息更新。

优选，步骤S201中，提取当前帧图像的颜色特征，由所述颜色特征和相应滤波器运算获得颜色映射特征图，具体为：

提取当前帧图像的颜色特征；

采用成分分析方法将所述颜色特征维度由11维降低至2维；

由降维后的颜色特征和相应滤波器运算获得颜色映射特征图。

进一步优选，步骤S204中，基于所述融合特征图进行目标位置的估计，具体为：

利用如下公式，获得目标位置的估计，

f(x)＝γ₁f_cl(x)+γ₂f_cnn(x)；

其中，f_cl(x)表示颜色特征响应图，f_cnn(x)表示深度特征响应图，γ₁表示颜色特征响应图的加权值，γ₂表示深度特征响应图的加权值。

进一步优选，加权值γ_i的计算公式如下：

其中，k_i表示相关滤波器的期望响应值和实际响应值之间的差异，i表示颜色特征和深度特征。

进一步优选，k_i的计算公式，具体为：

其中，f_i(x)表示响应映射，i表示颜色特征和深度特征，表示移位算子，Δ表示将相关滤波器的峰值转换到响应映射的中心。

进一步优选，步骤S3中，基于更新的位置信息进行尺寸估计，具体为：

利用如下公式进行尺寸估计，

其中，S_t+1表示下一帧图像的预测尺度，p₀表示最新估计对象的中心，C(p₀)为相应的置信度得分。

进一步优选，所述位置模型中滤波器和所述比例模型中滤波器均具体如下：

A_i＝ηY_i⊙F_i ^*F+(1-η)A_i-1；

B_i＝ηF_i⊙F_i ^*F+(1-η)B_i-1；

其中，*为复共轭，η为经验参数，i为第i个训练样本，Y为输出y的离散傅里叶变换，y值表示为期望的相关输出，F为输入图像。

进一步优选，η＝0.025。

本发明提供的基于多尺度多特征的目标图像跟踪方法，将目标跟踪任务分解为位置估计和尺度估计两部分，其中，在位置估计中，将每一帧图像的颜色特征和深度特征相结合，获得融合特征，利用上述融合特征，可以估计出准确的尺度，从而进行视觉跟踪，提高目标跟踪的有效性和鲁棒性，适用于处理具有较大外观变化和尺度变化的实际应用场景的目标跟踪。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开实施例提供的一种基于多尺度多特征的目标图像跟踪方法的流程示意图；

图2为本发明本发明公开实施例提供的一种基于多尺度多特征的目标图像跟踪方法中步骤S1的流程示意图；

图3为本发明本发明公开实施例提供的一种基于多尺度多特征的目标图像跟踪方法中步骤S2的流程示意图；

图4为本发明本发明公开实施例提供的一种基于多尺度多特征的目标图像跟踪方法中步骤S201的流程示意图；

图5为本发明提供的跟踪算法与跟踪器HCF的比较图，其中示例帧分别来自OTB序列中的摩托车滚动、滑冰和螺栓；

图6为本发明提供的跟踪方法与目前九种主流的目标跟踪算法在基准数据集中的视频重叠成功图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的方法的例子。

为了解决以往的跟踪方法存在跟踪效果差的问题，本实施方案提供了一种基于多尺度多特征的目标图像跟踪方法，参见图1，该跟踪方法包括如下步骤：

S1：初始化位置模型和比例模型；

S2：基于当前帧图像进行位置信息更新；

S3：基于更新的位置信息进行尺寸估计；

S4：基于更新的位置信息和尺寸估计，进行位置模型中滤波器和比例模型中滤波器的更新；

S5：采用更新后的位置模型和比例模型进行下一帧图像中目标图像的识别跟踪；

S6：重复步骤S2-S5，直至视频跟踪序列结束。

下面基于上述的跟踪步骤，针对每个步骤均进行进一步的详细解释和说明。

其中，步骤S1中初始化位置模型和比例模型，参见图2，具体采用如下方式：

S101：输入前一帧的目标位置P_i-1和尺度S_i-1，位置模型以及比例模型；

S102：估计目标位置P_i和尺度S_i，更新位置模型和比例模型。

S103：重复执行步骤S101和步骤S102，直到满足设定的迭代次数为止。

步骤S2中，基于当前帧图像进行位置信息更新，参见图3，具体为：

S201：提取当前帧图像的颜色特征，由颜色特征和相应滤波器运算获得颜色映射特征图；

S202：提取当前帧图像的深度特征，由深度特征和相应滤波器运算获得深度映射特征图；

S203：将颜色映射特征图和深度映射特征图进行融合，获得融合特征图；

S204：基于融合特征图进行目标位置的估计，获得位置信息更新。

该步骤将获得的颜色特征与深度学习模型提取的深度特征相融合，获得融合特征图，并将获得的融合特征图用于目标位置的估计，以适应复杂的外观变化。假设在时间t时，感兴趣的目标定位在当前帧内，通过学习了一个双通道位置滤波器，来获得新对象的最优位置。在此，位置得分函数是颜色特征和卷积特征得分的线性组合，定义为：

f(x)＝γ₁f_cl(x)+γ₂f_cnn(x) (1)

其中，f_cl(x)表示颜色特征响应图，f_cnn(x)表示深度特征响应图，γ₁表示颜色特征响应图的加权值，γ₂表示深度特征响应图的加权值。相关滤波器响应值是判别器输出的置信水平，可以表示滤波器的可靠性。当跟踪越可靠时，其峰值越大。

f_i(x)表示响应映射，i表示颜色特征和深度特征，表示移位算子，Δ表示将相关滤波器的峰值转换到响应映射的中心，加权值γ_i的计算过程如下：

其中，k_i表示相关滤波器的期望响应值和实际响应值之间的差异。

颜色特征，实际上是一种颜色命名方式，它与RGB和HSV属于同一类别。基于颜色特征(颜色名称)的算法非常简单有效。颜色特征一共包含11个通道，分别为：颜色属性中的黑色，蓝色，棕色，灰色，绿色，橙色，粉红色，紫色，红色，白色和黄色。在跟踪算法中，将RGB空间图像映射到颜色空间(颜色命名)。一个11维的颜色表示集合为：

CN＝(p₁,p₂,...,p₁₀,p₁₁) (4)

其中，CN是11维颜色特征，p_i表示第i个颜色概率。对于每一个11维的颜色特征子空间，均执行傅里叶变换操作和内核映射操作。之后，对投影的11维颜色名称自适应加权。然而，提出的模型具有较高的计算复杂度，为了降低计算代价，本实施方案采用主成分分析方法来降低特征维度，并将其降到2维。最终，将获得的低维特征来替代原始的11位特征，极大地提升了目标跟踪的效率。

因此，对于步骤S201中，提取当前帧图像的颜色特征，由颜色特征和相应滤波器运算获得颜色映射特征图，参见图4，具体为：

S2011：提取当前帧图像的颜色特征；

S2012：采用成分分析方法将颜色特征维度由11维降低至2维；

S2013：由降维后的颜色特征和相应滤波器运算获得颜色映射特征图。

尺度估计试图选择一个适当的尺度来分析每个特征，从而进行视觉跟踪。对于跟踪过程中的新帧，首先使用位置相关滤波器来确定下一帧中的目标位置。然后，利用尺度相关滤波器对不同尺度的候选块进行搜索，构造当前尺度下的目标空间滤波器特征金字塔，以找到最佳的匹配尺度。在新的帧中，首先，使用二维相关滤波器来确定目标的新候选位置。然后，利用一维尺度相关滤波器获得以该点为中心点的不同尺度下的候选图像块，找到最佳匹配尺度。

步骤S3中，基于更新的位置信息进行尺寸估计，具体为：

利用如下公式进行尺寸估计，

其中，S_t+1表示下一帧图像的预测尺度，p₀表示最新估计对象的中心，C(p₀)为相应的置信度得分。因此，该跟踪算法能够解决尺度变化问题。特别地，比例滤波器和位置滤波器在视觉跟踪中独立工作，使跟踪算法更加高效。

关于滤波器的模型推到具体如下：

假设相关滤波器是从大小为M×N的第一帧图像块X开始训练的，其中，M和N表示图像的宽度和高度。为了更好地描述相关过程，我们将和/>分别表示为输入图像和滤波器，其中/>是离散傅里叶变换操作，用快速傅里叶变换方法进行计算。根据卷积算法，将y值表示为期望的相关输出，得到如下相关滤波公式：

其中，公式(6)中*为复共轭，Y为输出y的离散傅里叶变换。

根据公式(6)，可以得到一个滤波器。但需要考虑目标外观变化等外部因素的影响。在此，本算法采用n幅图像来提高滤波性能，提升的相关滤波可以通过最小化如下频域获得：

其中，式中⊙为逐元素乘法，i为训练样本。

对于公式(7)的优化求解，我们利用最小化实际输出响应和期望输出响应之间的平方和误差来解决。在得到最小值后，需要对公式(2)进行求导，并令其结果为零：

其中，n为训练图像的个数。

给定一个来自于样本f的图像块X，其大小为M×N。通过最小化如下代价函数进行参数估计：

其中，λ是影响正则化项的控制参数(正则化参数λ≥0，在这里设置λ＝0.01)。

将等式(9)转化为另一种表示，即在第i个训练样本中表示，A_i和B_i对其进行更新如下：

A_i＝ηY_i⊙F_i ^*F+(1-η)A_i-1； (11)

B_i＝ηF_i⊙F_i ^*F+(1-η)B_i-1； (12)

其中，*为复共轭，η为经验参数，i为第i个训练样本，Y为输出y的离散傅里叶变换，y值表示为期望的相关输出，F为输入图像，优选，η＝0.025。

本实施方案将目标跟踪任务分解为位置估计和尺度估计两部分。首先，提取每一帧图像的颜色特征和深度特征，得到响应映射特征图。然后，利用该特征图中的最大得分来预测可靠的目标位置信息。最后，根据公式(5)和获得最优位置估计，实现目标的尺度估计，对于新一帧中的目标，我们采用相关滤波来进行位置和尺度的有效估计。

由于本实施方案提供的跟踪方法能够很好地将颜色属性和卷积特征相结合，独立地学习并定位感兴趣的目标。此外，利用上述融合特征，可以估计出准确的尺度，从而进行视觉跟踪。与其它主流的目标跟踪算法相比，提出的跟踪算法更适用于处理具有较大外观变化和尺度变化的实际应用场景。

下面结合具体的实施例对本发明进行跟进一步的解释说明。

本实施例是在Intel Kabylake 4核2.8GHz CPU，8G RAM上进行，采用的编程软件为Matlab-R2017a。实验参数设置如下：目标区域大小为60*60像素，局部图像区域大小为15*15像素，正则化参数λ＝0.01，经验值η＝0.025，γ₁＝0.3和γ₂＝0.7。在实验中，我们使用公开的OTB-50和OTB-100基准数据集用于算法性能评价。

具体实施过程如下：

步骤1、输入前一帧的目标位置P_i-1和尺度S_i-1；位置模型和比例模型。

步骤2、估计目标位置P_i和尺度S_i，更新位置模型和比例模型。

步骤3、重复执行步骤1和步骤2，直到满足设定的迭代次数为止。

位置更新：

步骤4、提取卷积特征，利用相关滤波器计算相应映射。

步骤5、提取颜色特征，利用相关滤波器计算响应图。

步骤6、通过自适应加权上述两种特征，获得特征融合图。

步骤7、利用公式(1)，将T_s设置为最大化的目标位置y_scale。

尺度估计：

步骤8、从新目标位置中心提取不同尺度样本Z。

步骤9、利用Z和尺度模型计算不同尺度参数得分。

步骤10、设置T_s，并利用公式(5)获得最大化的目标尺度y_scale。

模型更新：

步骤11、更新公式(10)中的位置相关滤波器。

步骤12、更新公式(10)中的尺度相关滤波器。

步骤13、执行上述操作直到视频跟踪序列结束。

具体的实验过程如下：

定性比较：目标的特征提取是目标跟踪算法中最为关键的环节。算法的质量与所选特征是分不开的。在视觉跟踪中，特征分为两大类：手工设计特征和深度特征。在我们的工作中，通过结合深度特征和颜色特征来学习目标跟踪器。此外，还采用尺度滤波器来解决目标多尺度问题。图5展示了目前主流的目标跟踪算法HCF(Hierarchical ConvolutionalFeatures)和本实施例提出的跟踪算法在摩托车滚动、滑冰和Bolt的三个视频序列中跟踪效果，其中我们的跟踪算法和HCF分别表示为A框和B框。摩托车、滑冰和Bolt的视频序列对大的外观变化、快速运动、运动模糊、平面内旋转等都具有挑战性。在前几帧中，两个跟踪算法都可以正确地对目标进行跟踪。然而，在后面的帧中，HCF不能很好地处理这种情况。例如，当高速旋转出现时，HCF跟丢了目标。经过上述对比，可以看出，将颜色属性和卷积特征与尺度滤波相结合，可以使跟踪器获得更准确的跟踪效果。

定量比较：在OTB基准数据集上评估提出的算法的有效性。图6显示了本实施例提供的跟踪方法与目前九种主流的目标跟踪算法在基准数据集中的视频重叠成功图。首先，由于MIL和CT都是使用人工设计的haar型特征，使得MIL、CT和DFT跟踪算法的性能弱于其他的跟踪算法。与MIL、CT和DFT相比，CSK采用循迹检测的循环结构，获得较好的跟踪性能，但由于它仅使用了单一的特征，导致其缺乏鲁棒性。相比而言，TLD将重新检测和故障恢复考虑到模型中，使其性能优于CSK。与采用原始像素特征进行目标跟踪不同，DSST和CN使用了HOG特征和颜色特征进行目标跟踪，使得它们的跟踪性能超越了TLD和Struck。因此，提取目标的丰富特征可以使目标跟踪更具竞争力。与传统人工设计特征相比，深度特征更加优势，为此，HCF采用深度特征进行目标跟踪，使得HCF获得更好的性能。为了进一步增强目标跟踪的鲁棒性，本算法融合了丰富的人工设计特征和深度特征，并将其用于多尺度的目标跟踪问题中，获得较优的目标跟踪效果。

为了进一步证明提出算法的有效性，本实验将提出的跟踪算法与目前主流的7种跟踪算法(TLD、CT、DFT、MOSSE、CSK、MIL和DSST)在视频序列(包括David、Boy和Car4)上进行比较。对于David序列，该序列具有较大的外观变化、运动模糊、旋转和遮挡等挑战性问题。在视频训练的前几帧中，全部跟踪算法都能够正确地跟踪到目标。然而，在后面的帧中，一些跟踪算法不能很好地处理这种情况。例如，当出现出平面旋转时，TLD跟丢了目标，而当跟踪失败后，TLD可以重新检测目标。与我们的跟踪算法相比，TLD在目标快速运动和旋转时性能较差。虽然MOSSE和CSK跟踪算法在初始几帧上表现良好，但仍然出现了跟丢了目标的情况。在最后一帧中，除了我们的跟踪方法之外，几乎所有的跟踪算法都跟丢了目标或者仅跟踪到目标的一部分。对于602帧的男孩序列，该序列具有位置变化大以及快速运动等挑战问题。在序列的第一帧中，全部跟踪算法都能正确地跟踪目标。在第一帧之后，一些跟踪算法无法准确地跟踪目标，例如CT，MIL和DSST。通过观察实验结果发现，仅有我们的算法可以很好地跟踪到序列中的目标。因此，提出的跟踪算法能够很好地处理尺度变化、运动模糊和快速运动的情况。对于具有尺度变化和光照变化显著的Car4序列上的帧结果。在这个序列中，当大尺度和强光照变化的帧出现时，大部分的跟踪算法都会出现跟踪漂移或跟踪失败的情况，如：CT，DFT和MIL。然而，仅有DSST和我们提出的算法可以准确地估计目标位置。

由上述分析可得，与现有的目标跟踪算法相比，本发明提出的基于多特征多尺度的目标跟踪算法，对光照变化、目标形变、背景复杂、快速运动和尺度变化等情况更具鲁棒性和有效性。因此，本发明通过充分地挖掘目标的多特征信息来提升目标跟踪的有效性，为目标跟踪系统的设计提供了核心的技术支撑。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述的内容，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (6)

1.一种基于多尺度多特征的目标图像跟踪方法，所述跟踪方法包括如下步骤：

S1：初始化位置模型和比例模型；

S2：基于当前帧图像进行位置信息更新；

S3：基于更新的位置信息进行尺寸估计；

S4：基于更新的位置信息和尺寸估计，进行位置模型中滤波器和比例模型中滤波器的更新；

S5：采用更新后的位置模型和比例模型进行下一帧图像中目标图像的识别跟踪；

S6：重复步骤S2-S5，直至视频跟踪序列结束；

其特征在于，步骤S2中，基于当前帧图像进行位置信息更新，具体为：

S201：提取当前帧图像的颜色特征，由所述颜色特征和相应滤波器运算获得颜色映射特征图；

S202：提取当前帧图像的深度特征，由所述深度特征和相应滤波器运算获得深度映射特征图；

S203：将所述颜色映射特征图和所述深度映射特征图进行融合，获得融合特征图；

S204：基于所述融合特征图进行目标位置的估计，获得位置信息更新；

其中，基于所述融合特征图进行目标位置的估计，具体为：

利用如下公式，获得目标位置的估计，

f(x)＝γ₁f_cl(x)+γ₂f_cnn(x)；

其中，f_cl(x)表示颜色特征响应图，f_cnn(x)表示深度特征响应图，γ₁表示颜色特征响应图的加权值，γ₂表示深度特征响应图的加权值；

步骤S3中，基于更新的位置信息进行尺寸估计，具体为：

利用如下公式进行尺寸估计，

其中，S_t+1表示下一帧图像的预测尺度，p₀表示最新估计对象的中心，C(p₀)为相应的置信度得分。

2.根据权利要求1所述基于多尺度多特征的目标图像跟踪方法，其特征在于，步骤S201中，提取当前帧图像的颜色特征，由所述颜色特征和相应滤波器运算获得颜色映射特征图，具体为：

提取当前帧图像的颜色特征；

采用主成分分析方法将所述颜色特征维度由11维降低至2维；

由降维后的颜色特征和相应滤波器运算获得颜色映射特征图。

3.根据权利要求1所述基于多尺度多特征的目标图像跟踪方法，其特征在于，加权值γ_i的计算公式如下：

其中，k_i表示相关滤波器的期望响应值和实际响应值之间的差异，i表示颜色特征和深度特征。

4.根据权利要求3所述基于多尺度多特征的目标图像跟踪方法，其特征在于，k_i的计算公式，具体为：

其中，f_i(x)表示响应映射，i表示颜色特征和深度特征，表示移位算子，Δ表示将相关滤波器的峰值转换到响应映射的中心。

5.根据权利要求1所述基于多尺度多特征的目标图像跟踪方法，其特征在于，所述位置模型中滤波器和所述比例模型中滤波器均具体如下：

A_i＝ηY_i☉F_i ^*F+(1-η)A_i-1；

B_i＝ηF_i☉F_i ^*F+(1-η)B_i-1；

其中，*为复共轭，η为经验参数，i为第i个训练样本，Y为输出y的离散傅里叶变换，y值表示为期望的相关输出，F为输入图像。

6.根据权利要求5所述基于多尺度多特征的目标图像跟踪方法，其特征在于，η＝0.025。