CN113222060A - 一种基于卷积特征和手工特征整合的视觉跟踪方法 - Google Patents

Abstract

本发明公开了一种基于卷积特征和手工特征整合的视觉跟踪方法，其方法为通过VGG19提取目标图像的深度特征，并采用conv3‑4图层、conv4‑4图层和conv5‑4图层分别作为目标图像的三层卷积特征；获取HOG特征、CN特征和灰度特征，并融合成一层手工特征；获取三层卷积特征的傅里叶变换结果、一层手工特征的傅里叶变换结果，基于相关滤波算法计算得到目标图像的目标估计位置，完成视觉跟踪；通过间隔参数选取当前视觉图像中的部分图像帧，将选取的部分图像帧作为新的目标图像，开始更新视觉跟踪。本发明提升了视觉跟踪的精确度和成功率，提升了跟踪器的运行速度。

Description

一种基于卷积特征和手工特征整合的视觉跟踪方法

技术领域

本发明涉及计算机图形与目标图像处理领域，一种基于卷积特征和手工特征整合的视觉跟踪方法。

背景技术

随着计算机视觉技术的飞速发展，基于视频的目标跟踪算法已经成为国内外研究机构和大学的研究热点。目标跟踪技术通常基于视频中的目标和背景信息来构建鲁棒的模型，以预测视频中目标的形状、大小、位置、轨迹和其他运动状态，从而可以进行行为预测、行为理解和分析。视觉跟踪的当前应用领域非常广泛，包括视频监视、无人驾驶飞行器、军事精确制导、智能交通和人机交互等许多领域，具有重要的研究价值。

自MOSSE算法出现以来，相关过滤器方法在视觉跟踪领域的发展越来越快，本方法也是一种基于相关滤波的跟踪方法。与本方法相关的跟踪算法之一SAMF算法是2014年提出的，该方法集成了HOG、颜色以及灰度特征，旨在解决内核相关滤波跟踪器中算法大小固定的问题，以进一步提高整体跟踪性能，其不足之处在于只是整合了三个手工特征，没有做算法的改进，这使得该方法的精确度不够高。BACF提出了一种基于背景的CF，该CF基于手工制作的特征(HOG)，可以有效地模拟对象的前景和背景随时间的变化，并且作者证明了他们的方法具有很高的速度，该方法具有良好的跟踪效果，但在成功率上的表现不佳。传统的手动特征无法准确地表示目标，因此CNN逐渐开始用于视觉跟踪的特征提取中，HCF算法是CNN在相关过滤跟踪算法中应用的经典示例，该方法使用CNN中的不同层特征来表示目标，并在每层中分配不同的权重，其主要存在的问题是运行速度太慢。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于卷积特征和手工特征整合的视觉跟踪方法解决了视觉跟踪精确度低、成功率低和速率低的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于卷积特征和手工特征整合的视觉跟踪方法，其包括以下步骤：

S1、通过VGG19提取目标图像的深度特征，并采用conv3-4图层、conv4-4图层和conv5-4图层分别作为目标图像的三层卷积特征；

S2、通过计算目标图像局部区域的梯度方向的直方图，得到HOG特征；通过映射方法将目标图像的RGB空间转换为11维颜色名称空间，得到CN特征；提取目标图像的灰度特征；

S3、将HOG特征、CN特征和灰度特征融合成一层手工特征；

S4、获取当前三层卷积特征的傅里叶变换结果和一层手工特征的傅里叶变换结果；

S5、基于相关滤波模板的算法，通过当前三层卷积特征的傅里叶变换结果和一层手工特征的傅里叶变换结果得到目标图像的目标估计位置，完成视觉跟踪；

S6、判断是否继续进行视觉跟踪，若是则进入步骤S7；否则结束；

S7、获取当前视觉图像并设置间隔参数，通过间隔参数选取当前视觉图像中的部分图像帧，将选取的部分图像帧作为新的目标图像，通过新的目标图像信息计算得到新的三层卷积特征的傅里叶变换结果和一层手工特征的傅里叶变换结果，返回步骤S5。

进一步地，步骤S4的具体方法为：

根据公式：

得到当前三层卷积特征相关滤波模板的傅里叶变换结果H_d和一层手工特征相关滤波模板的傅里叶变换结果H_M；其中，Y为高斯标签的傅里叶变换结果，⊙为基本积，X^d为第d层卷积特征，Xⁱ为第i层卷积特征，λ为正则化系数，X_M为手工特征，

为共轭运算。

进一步地，步骤S5的具体方法为：

根据公式：

得到整个特征的最大响应值r_max，将整个特征的最大响应值的坐标作为目标在目标图像的估计位置，即得到目标估计位置；其中，r_d为卷积特征的响应值，F^-1为傅里叶逆变换，Zⁱ为第i层卷积特征的当前目标图像patch，r_M为手工特征的响应值，Z为手工特征的当前目标图像patch；argmax(·)为求参数的函数，γ为手工特征的权值，w_d为卷积特征的权值，H_d为当前三层卷积特征相关滤波模板的傅里叶变换结果，H_M为当前一层手工特征相关滤波模板的傅里叶变换结果。

进一步地，步骤S4中通过新的目标图像信息计算得到新的三层卷积特征的傅里叶变换结果和一层手工特征的傅里叶变换结果的具体方法为：

根据公式：

得到新的目标图像的三层卷积特征相关滤波模板的傅里叶变换结果

和一层手工特征相关滤波模板的傅里叶变换结果

其中，N为间隔参数，A和B均为中间参数，λ为正则化系数，η为学习率，t为当前帧的索引，且t＝{1,1+N,1+2N,…}，Y为高斯标签的傅里叶变换结果，⊙为基本积，

为t时刻的第i层卷积特征，X_t为t时刻的手工特征，

为共轭运算，T为每一帧的索引，且每N帧中N个相关滤波模板的傅里叶变换结果

和

的值分别相等。

进一步地，间隔参数N的值为5。

本发明的有益效果为：采取整合卷积特征和手工特征的方式提升了视觉跟踪的精确度和成功率，在HCF的基础上提升了跟踪器的运行速度，采用设置间隔参数的方式，每N帧进行一次模型更新，在一定程度上避免了模型漂移，同时还保证了运行速度和跟踪准确度。

附图说明

图1为本发明的方法流程图；

图2为本发明的整合效果图；

图3为本发明的成功率对比图；

图4为本发明的精确率对比图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，该基于卷积特征和手工特征整合的视觉跟踪方法包括以下步骤：

S1、通过VGG19提取目标图像的深度特征，并采用conv3-4图层、conv4-4图层和conv5-4图层分别作为目标图像的三层卷积特征；

S2、通过计算目标图像局部区域的梯度方向的直方图，得到HOG特征；通过映射方法将目标图像的RGB空间转换为11维颜色名称空间，得到CN特征；提取目标图像的灰度特征；

S3、将HOG特征、CN特征和灰度特征融合成一层手工特征；

S4、获取当前三层卷积特征的傅里叶变换结果和一层手工特征的傅里叶变换结果；

S5、基于相关滤波模板的算法，通过当前三层卷积特征的傅里叶变换结果和一层手工特征的傅里叶变换结果得到目标图像的目标估计位置，完成视觉跟踪；

S6、判断是否继续进行视觉跟踪，若是则进入步骤S7；否则结束；

S7、获取当前视觉图像并设置间隔参数，通过间隔参数选取当前视觉图像中的部分图像帧，将选取的部分图像帧作为新的目标图像，通过新的目标图像信息计算得到新的三层卷积特征的傅里叶变换结果和一层手工特征的傅里叶变换结果，返回步骤S5。

步骤S4的具体方法为：

根据公式：

得到当前三层卷积特征相关滤波模板的傅里叶变换结果H_d和一层手工特征相关滤波模板的傅里叶变换结果H_M；其中，Y为高斯标签的傅里叶变换结果，⊙为基本积，X^d为第d层卷积特征，Xⁱ为第i层卷积特征，λ为正则化系数，X_M为手工特征，

为共轭运算。

步骤S5的具体方法为：

根据公式：

得到整个特征的最大响应值r_max，将整个特征的最大响应值的坐标作为目标在目标图像的估计位置，即得到目标估计位置；其中，r_d为卷积特征的响应值，F^-1为傅里叶逆变换，Zⁱ为第i层卷积特征的当前目标图像patch，r_M为手工特征的响应值，Z为手工特征的当前目标图像patch；argmax(·)为求参数的函数，γ为手工特征的权值，w_d为卷积特征的权值。

步骤S4中通过新的目标图像信息计算得到新的三层卷积特征的傅里叶变换结果和一层手工特征的傅里叶变换结果的具体方法为：

根据公式：

得到新的目标图像的三层卷积特征相关滤波模板的傅里叶变换结果

和一层手工特征相关滤波模板的傅里叶变换结果

其中，N为间隔参数，A为当前帧的相关滤波模板的傅里叶变换结果

和

的分子值，B为当前帧的相关滤波模板的傅里叶变换结果

和

的分母值的一部分，λ为正则化系数，η为学习率，t为当前帧的索引，且t＝{1,1+N,1+2N,…}，Y为高斯标签的傅里叶变换结果，⊙为基本积，X_t ⁱ为t时刻的第i层卷积特征，X_t为t时刻的手工特征，

为共轭运算，T为每一帧的索引，且每N帧中N个相关滤波模板的傅里叶变换结果

和

的值分别相等。

在本发明的一个实施例中，其整合结果为：

如图2所示，Convolutional features框表示分别从卷积网络的conv3-4层、conv4-4层和conv5-4层中提取到的卷积特征图，图片上简称为conv3、conv4和conv5，该框内不同图片表示输入的图像在不同卷积层中的表达形式。其中，conv3为第3卷积层，conv4为第4卷积层，conv5为第5卷积层；Input为输入层；HOG为方向梯度直方图特征；CN为颜色特征；Grayscale为灰度特征；Integrated为整合；Convolutional features为卷积特征；Manual features为手工特征；Allocate weights为分配权重；Weight为权重；Addition为相加；Interval parameter为间隔参数；Frame为帧率；Estimated position为预估位置；Model update strategy为模型更新策略。

Manual features框表示手工特征，包括HOG、CN以及灰度特征，框中从上到下的图分别表示HOG特征图、CN特征图以及灰度特征图；将三个手工特征图加起来即可得到整合的图像，也就是框中的Integrated图。

在Convolutional features上分配权重w_d，其中w_d包含三个元素，这里取值w_d＝{1,0.5,0.25}，不同权值对应不同卷积层。在Manual features上分配权重γ，这里取值γ＝0.25。再将分别加权之后所得的两个结果相加，作为图像跟踪帧。

Model update strategy框表示模型更新策略，为了提高跟踪实时性，我们设置了间隔参数N，表示模型将每N帧更新一次，这里N取值为5，若当前帧为第1帧，则第2帧、第3帧、第4帧和第5帧的傅里叶变换结果

和

的值分别与第1帧的傅里叶变换结果

和

相等。最终将该方法运用于目标跟踪中得到目标的预估位置。

如图3和图4所示，本发明所用的数据集是OTB2013，跟踪器名称为RHCF。图3的精度阈值设置为20像素，图4的成功率阈值设置为0.5。由图3可知，本发明提出的RHCF在成功率上的表现高于HCF，低于BACF，由图4可知，本发明提出的RHCF在精确度上高于BACF。其中，BACF为背景感知相关滤波算法，RHCF为改进的卷积特征相关滤波算法，即本发明的算法，RHCF_LHC为在RHCF上少了手工特征的算法，HCF为卷积特征相关滤波算法，LCT为长期跟踪算法，LMCF为具有循环特征图的大余量对象跟踪算法，RHCF_LM为在RHCF上少了模型更新策略的算法，ARCF为学习荒谬抑制的相关滤波算法，STAPLE为实时跟踪的补充学习算法，SAMF为具有特征整合的自适应尺度核相关滤波跟踪算法，DSST为采用判别相关滤波器的算法，KCF为核相关滤波算法，CN为自适应颜色属性视觉跟踪算法；Success plots of OPE为OPE模式下的成功率图；Success rate为成功率；Overlap threshold为重叠阈值；Precisionplots of OPE为OPE模式下的精确度图；Precision为精确度；Location error threshold为位置错误阈值。

本发明采取整合卷积特征和手工特征的方式提升了视觉跟踪的精确度和成功率，在HCF的基础上提升了跟踪器的运行速度，采用设置间隔参数的方式，每N帧进行一次模型更新，在一定程度上避免了模型漂移，同时还保证了运行速度和跟踪准确度。

Claims (5)

1.一种基于卷积特征和手工特征整合的视觉跟踪方法，其特征在于，包括以下步骤：

S1、通过VGG19提取目标图像的深度特征，并采用conv3-4图层、conv4-4图层和conv5-4图层分别作为目标图像的三层卷积特征；

S2、通过计算目标图像局部区域的梯度方向的直方图，得到HOG特征；通过映射方法将目标图像的RGB空间转换为11维颜色名称空间，得到CN特征；提取目标图像的灰度特征；

S3、将HOG特征、CN特征和灰度特征融合成一层手工特征；

S4、获取当前三层卷积特征的傅里叶变换结果和一层手工特征的傅里叶变换结果；

S5、基于相关滤波模板的算法，通过当前三层卷积特征的傅里叶变换结果和一层手工特征的傅里叶变换结果得到目标图像的目标估计位置，完成视觉跟踪；

S6、判断是否继续进行视觉跟踪，若是则进入步骤S7；否则结束；

S7、获取当前视觉图像并设置间隔参数，通过间隔参数选取当前视觉图像中的部分图像帧，将选取的部分图像帧作为新的目标图像，通过新的目标图像信息计算得到新的三层卷积特征的傅里叶变换结果和一层手工特征的傅里叶变换结果，返回步骤S5。

2.根据权利要求1所述的基于卷积特征和手工特征整合的视觉跟踪方法，其特征在于，步骤S4的具体方法为：

根据公式：

得到当前三层卷积特征相关滤波模板的傅里叶变换结果H_d和一层手工特征相关滤波模板的傅里叶变换结果H_M；其中，Y为高斯标签的傅里叶变换结果，⊙为基本积，X^d为第d层卷积特征，Xⁱ为第i层卷积特征，λ为正则化系数，X_M为手工特征，

为共轭运算。

3.根据权利要求1所述的基于卷积特征和手工特征整合的视觉跟踪方法，其特征在于，步骤S5的具体方法为：

根据公式：

得到整个特征的最大响应值r_max，将整个特征的最大响应值的坐标作为目标在目标图像的估计位置，即得到目标估计位置；其中，r_d为卷积特征的响应值，F^-1为傅里叶逆变换，Zⁱ为第i层卷积特征的当前目标图像patch，r_M为手工特征的响应值，Z为手工特征的当前目标图像patch；argmax(·)为求参数的函数，γ为手工特征的权值，w_d为卷积特征的权值，H_d为当前三层卷积特征相关滤波模板的傅里叶变换结果，H_M为当前一层手工特征相关滤波模板的傅里叶变换结果。

4.根据权利要求1所述的基于卷积特征和手工特征整合的视觉跟踪方法，其特征在于，步骤S4中通过新的目标图像信息计算得到新的三层卷积特征的傅里叶变换结果和一层手工特征的傅里叶变换结果的具体方法为：

根据公式：

得到新的目标图像的三层卷积特征相关滤波模板的傅里叶变换结果

和一层手工特征相关滤波模板的傅里叶变换结果

其中，N为间隔参数，A和B均为中间参数，λ为正则化系数，η为学习率，t为当前帧的索引，且t＝{1,1+N,1+2N,…}，Y为高斯标签的傅里叶变换结果，⊙为基本积，

为t时刻的第i层卷积特征，X_t为t时刻的手工特征，

为共轭运算，T为每一帧的索引，且每N帧中N个相关滤波模板的傅里叶变换结果

和

的值分别相等。

5.根据权利要求4所述的基于卷积特征和手工特征整合的视觉跟踪方法，其特征在于，间隔参数N的值为5。

Images