CN109741366A - 一种融合多层卷积特征的相关滤波目标跟踪方法 - Google Patents

Abstract

本发明涉及一种融合多层卷积特征的相关滤波目标跟踪方法，属于目标跟踪领域。为了提高跟踪的成功率，针对相关滤波跟踪中传统特征对目标表达不足的问题，本发明提出一种多层卷积特征的融合策略。从目标及附近背景通过预训练好的VGG网络提取多层卷积特征并降低特征维度，在对应层训练相应滤波器得到各层响应，将各层响应归一化后通过固定权重融合。同时提取目标的HOG特征对目标的尺度进行预测。本发明在复杂环境下的精度高于其他算法，提高了相关滤波跟踪的实用性。

Description

一种融合多层卷积特征的相关滤波目标跟踪方法

技术领域

本发明涉及一种融合多层卷积特征的相关滤波目标跟踪方法，属于目标跟踪领域。

背景技术

目标跟踪是计算机视觉的重要研究课题，广泛应用于人机交互，行为识别等领域。近年来相关滤波发展迅速，自误差最小平方和滤波(MOSSE)算法提出以来，相关滤波算法层出不穷。其中经典算法如MOSSE、DSST、KCF等有着速度快，效果好的特点。但由于诸如形变、光照、尺度变化、遮挡、快速运动等情形存在，相关滤波跟踪算法面临挑战。在相关滤波算法中，特征是决定跟踪效果的重要因素之一。传统手工特征如梯度方向直方图特征(Histogram of Oriented Gradient，HOG)、颜色特征(Color Name，CN)，这些特征难以捕捉目标的语义信息，对形变、旋转等复杂外观变化没有良好的鲁棒性，容易造成模型漂移导致跟踪失败。

发明内容

本发明旨在传统相关滤波跟踪框架内使用多层卷积特征以克服传统手工特征对目标表达能力不足造成模型漂移导致跟踪失败的缺点。本发明通过预训练好的VGG网络提取多层卷积特征，针对卷积特征分辨率不一、冗余繁多的缺点，本方法筛选出用于跟踪的特征，并在每个卷积层上对目标位置进行估计。根据卷积神经网络语义从多到少、分辨率由粗到细的特点将每个卷积层的结果进行线性加权融合。同时提取目标多个尺度的HOG特征构建滤波器，选择目标的最佳尺度。

为解决上述技术问题，本发明采用的技术方案是：一种融合多层卷积特征的相关滤波目标跟踪方法，包括如下步骤：

步骤(1)、提取特征：在下一帧按当前帧的目标位置和尺度提取目标样本，通过预训练好的VGG网络提取目标样本的多层卷积特征并降维；

步骤(2)、计算并融合多层响应：将提取到的特征通过训练好的滤波器得到每层的目标响应，将每层的响应归一化后，以固定权重融合得到最终响应；

步骤(3)、位置估计：通过步骤(2)融合后的最终响应中的峰值位置得到下一帧目标的位置估计；

步骤(4)、尺度估计：在下一帧的估计位置提取多个尺度下目标样本并提取 HOG特征，并通过尺度滤波器得到尺度响应，通过尺度响应的峰值位置得到下一帧目标的尺度估计；

步骤(5)、滤波器更新：在下一帧以估计后的目标位置和尺度提取目标的位置和尺度样本，通过VGG网络提取多层卷积特征以及计算目标多尺度HOG特征，通过线性插值方式更新当前滤波器。

具体地，所述步骤(1)的具体步骤如下：

根据目标外形提取周围包含背景的样本，将提取到的目标样本双线性插值到224x224大小输入VGG网络，并提取第三、四、五池化层的激活值作为目标的多层卷积特征，将提取到的卷积特统一双线性征插值到目标样本大小，并统计每个通道的方差大小，每层按方差大小取前30通道作为降维后的卷积特征，方差统计方式为：

其中σ²表示该通道卷积特征的方差，F_m,n表示该通道卷积特征中的特征值， F_ave表示该通道特征的平均值，m、n表示样本的长、宽。

具体地，所述步骤(2)的具体步骤如下：

在每个卷积层构造一个最佳的位置相关滤波器，该方法通过最小化(2)式的损失函数ε进行训练：

其中h表示训练的滤波器，d表示维数，f表示提取的d维卷积特征，*表示循环相关，g表示理想二维高斯输出，l表示通道数，l∈{1……d}；λ为正则化系数，损失函数ε的前半部分表示实际响应和理想响应之间的误差，后半部分为防止滤波器过拟合而添加的正则化项，因为傅里叶变换能够大大提高卷积运算的速度，所以滤波器的求解均在频域进行，由于傅里叶变换中存在边缘效应，将样本特征乘以余弦窗口以减轻边缘效应，(2)式滤波器h的解为：

其中k表示求和过程中的通道数，F^k表示频域特征F^l第k通道中的特征， ^k表示F^k对应的共轭复数,H、G、F均表示h、g、f经过离散傅里叶变换后的频域描述，表示G、F对应的共轭复数；

按照下列线性插值方法更新滤波器：

其中B_t表示当前帧-t帧中更新后的位置滤波器的分子和分母，B_t-1表示上一帧-t-1帧中位置滤波器的分子和分母，G_t、分别表示当前帧-t帧中对应的频域理想二维高斯输出和频域多维卷积特征，表示G_t对应的共轭复数， k表示求和过程中的通道数，表示当前帧-t帧中对应的多维频域特征第k通道中的特征，表示对应的共轭复数，η表示滤波器更新的学习率；

在下一帧-t+1帧中按当前帧中的位置和尺度提取目标样本的多层卷积特征，在频域与滤波器进行卷积操作并通过离散傅里叶反变换得到每层的时域响应：

其中表示傅里叶反变换，i表示卷积层，i∈{3,4,5}，t、t+1分别表示当前帧和下一帧，B_it分别表示当前帧-t帧中第i卷积层中训练的位置滤波器的分子和分母，表示在下一帧-t+1帧中提取的目标样本第i层卷积特征，y_i(t+1)表示下一帧中第i卷积层的时域响应，之后将每层卷积特征得到的空间响应y_i(t+1)的值归一化到[0,1]区间；

最后将多层响应通过固定权重融合：

其中α_i表示每层对应的融合权重，i表示卷积层(i∈{3,4,5})，y’_i(t+1)表示下一帧-t+1帧中第i层对应的归一后的时域响应，将3，4，5层时域响应按固定权重α_i融合得到y_t+1，y_t+1即为下一帧-t+1帧中融合后的最终响应。

本发明的有益效果是：本发明较好克服了传统手工特征表达能力弱的缺点，性能优于使用手工特征的传统相关滤波跟踪算法。在目标发生遮挡，模糊等复杂情况下本发明能够准确跟踪目标。

附图说明

图1是本发明的流程图；

图2是本发明的在OTB50上精准度的实验结果图；

图3是本发明的在OTB50上成功率的实验结果图；

图4是本发明的在OTB100中8个视频序列中的截图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的说明。

实施例1，如图1-4所示，一种融合多层卷积特征的相关滤波目标跟踪方法，包括如下步骤：

步骤(1)、提取特征：

根据目标外形提取周围包含背景的样本(如果目标高与宽之比大于1.8，则取目标大小长1.88倍，宽2.8倍提取样本；上述除外，如果目标与画面之比大于 5％，则取目标长与宽2.2倍提取样本；若上述均不包括，则长宽均取目标2.8倍提取目标样本。)。将提取到的样本插值到224x224大小输入VGG网络，并提取第三、四、五池化层激活值作为目标的多层卷积特征。将提取到的卷积特征插值到目标样本大小，并统计每个通道的方差大小。每层按方差大小取前30通道作为降维后的卷积特征。方差统计方式为：

其中σ²表示该通道卷积特征的方差，F_m,n表示该通道卷积特征中的特征值，F_ave表示该通道特征的平均值，m、n表示样本的长、宽。

步骤(2)、计算并融合多层响应：

在每个卷积层构造一个最佳的位置相关滤波器，该方法通过最小化(2)式的损失函数ε进行训练：

其中h表示训练的滤波器，d表示维数，f表示提取的d维卷积特征，*表示循环相关，g表示理想二维高斯输出，l表示通道数，l∈{1……d}；λ为正则化系数。损失函数的前半部分表示实际响应和理想响应之间的误差，后半部分为防止滤波器过拟合而添加的正则化项。因为傅里叶变换能够大大提高卷积运算的速度，所以滤波器的求解均在频域进行。由于傅里叶变换中存在边缘效应，通常将样本特征乘以余弦窗口以减轻边缘效应。(1)式滤波器的解为：

其中k表示求和过程中的通道数，F^k表示频域特征F^l第k通道中的特征， 表示F^k对应的共轭复数，H、G、F均表示h、g、f经过离散傅里叶变换后的频域描述，表示G、F对应的共轭复数。

为了降低计算量，本方法按照下列线性插值方法更新滤波器：

其中B_t表示当前帧(t帧)中更新后的位置滤波器的分子和分母， B_t-1表示上一帧(t-1帧)中位置滤波器的分子和分母，G_t、分别表示当前帧(t 帧)中对应的频域理想二维高斯输出和频域多维卷积特征，表示G_t对应的共轭复数，k表示求和过程中的通道数，表示当前帧(t帧)中对应的多维频域特征第k通道中的特征，表示对应的共轭复数，η表示滤波器更新的学习率。

在下一帧(t+1帧)中按当前帧中的位置和尺度提取目标样本的多层卷积特征，在频域与滤波器进行卷积操作并通过离散傅里叶反变换得到每层的时域响应：

其中表示傅里叶反变换，i表示卷积层(i∈{3,4,5})，t、t+1分别表示当前帧和下一帧，B_it分别表示当前帧(t帧)中第i卷积层中训练的位置滤波器的分子和分母，表示在下一帧(t+1帧)中提取的目标样本第i层卷积特征， y_i(t+1)表示下一帧中第i卷积层的时域响应。之后将每层卷积特征得到的空间响应 y_i(t+1)的值归一化到[0,1]区间。

最后将多层响应通过固定权重融合：

其中α_i表示每层对应的融合权重，i表示卷积层(i∈{3,4,5})，y’_i(t+1)表示下一帧(t+1帧)中第i层对应的归一后的时域响应，将3，4，5层时域响应按固定权重α_i融合得到y_t+1，y_t+1即为下一帧(t+1帧)中融合后的最终响应。

步骤(3)、位置估计：

通过步骤(2)融合后的最终响应中的峰值位置得到当下一帧目标的位置估计；

步骤(4)、尺度估计：

在下一帧的估计位置提取多个尺度下目标样本并提取HOG特征，并通过尺度滤波器得到尺度响应。通过尺度响应的峰值位置得到下一帧目标的尺度估计。

步骤(5)、滤波器更新：

在下一帧以估计后的目标位置和尺度提取目标的位置和尺度样本，通过VGG 网络提取多层卷积特征以及计算目标多尺度HOG特征，通过线性插值方式更新当前位置和尺度滤波器。

为了验证本发明的有效性，选取公开测试集OTB-50和OTB100进行验证，包含光照变化、尺度变化、遮挡、形变、运动模糊、快速运动、旋转、超出视野和背景杂乱等大量属性。实验参数如下：第5,4,3层中卷积特征所占权重设置为α＝{1,0.5,0.3}，模型更新中学习率设定η＝0.0075，正则化参数设定λ＝10^-4，考虑每一层的特征按方差大小取前30通道。将本发明其他4种主流算法比较，包括使用传统手工特征的KCF，DSST，CN算法和使用卷积特征的HCFT算法。实验结果如图2、图3、图4所示：

图2、图3为本发明与其他4种主流目标跟踪算法在OTB-50上的结果。图2 为精准度图，主要指的是预测位置中心点与真实值中心位置间的欧式距离，横坐标表示阈值(单位：像素，图中为20像素)，纵坐标表示帧数所占百分比，越大表示性能越好。图3为成功率图，表示预测目标与真实目标的重叠率。横坐标表示阈值(百分比,图中为50％)，纵坐标表示帧数所占百分比，越大表示性能越好。可以看出本发明的性能最好。

图4(a)目标存在形变和相似目标，图4(b)中目标快速运动和运动模糊，图4(c) 中存在相似物体的干扰，图4(d)目标存在尺度变化，图4(e)目标发生遮挡和超出视野，图4(f)发生光照变化，图4(g)目标旋转和背景杂乱，图4(h)目标发生旋转且背景中存在光源干扰。实验表明，本发明对光照变化、尺度变化、遮挡、形变、运动模糊、快速运动、旋转、背景杂乱、超出视野等均有良好的鲁棒性。相比传统特征能够更准确和稳定地确定目标。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限定于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (3)

1.一种融合多层卷积特征的相关滤波目标跟踪方法，其特征在于：包括如下步骤：

步骤(1)、提取特征：在下一帧按当前帧的目标位置和尺度提取目标样本，通过预训练好的VGG网络提取目标样本的多层卷积特征并降维；

步骤(2)、计算并融合多层响应：将提取到的特征通过训练好的滤波器得到每层的目标响应，将每层的响应归一化后，以固定权重融合得到最终响应；

步骤(3)、位置估计：通过步骤(2)融合后的最终响应中的峰值位置得到下一帧目标的位置估计；

步骤(4)、尺度估计：在下一帧的估计位置提取多个尺度下目标样本并提取HOG特征，并通过尺度滤波器得到尺度响应，通过尺度响应的峰值位置得到下一帧目标的尺度估计；

步骤(5)、滤波器更新：在下一帧以估计后的目标位置和尺度提取目标的位置和尺度样本，通过VGG网络提取多层卷积特征以及计算目标多尺度HOG特征，通过线性插值方式更新当前滤波器。

2.根据权利要求1所述的一种融合多层卷积特征的相关滤波目标跟踪方法，其特征在于：所述步骤(1)的具体步骤如下：

根据目标外形提取周围包含背景的样本，将提取到的目标样本双线性插值到224x224大小输入VGG网络，并提取第三、四、五池化层的激活值作为目标的多层卷积特征，将提取到的卷积特统一双线性征插值到目标样本大小，并统计每个通道的方差大小，每层按方差大小取前30通道作为降维后的卷积特征，方差统计方式为：

其中σ²表示该通道卷积特征的方差，F_m,n表示该通道卷积特征中的特征值，F_ave表示该通道特征的平均值，m、n表示样本的长、宽。

3.根据权利要求1所述的一种融合多层卷积特征的相关滤波目标跟踪方法，其特征在于：所述步骤(2)的具体步骤如下：

在每个卷积层构造一个最佳的位置相关滤波器，该方法通过最小化(2)式的损失函数ε进行训练：

其中h表示训练的滤波器，d表示维数，f表示提取的d维卷积特征，*表示循环相关，g表示理想二维高斯输出，l表示通道数，l∈{1……d}；λ为正则化系数，损失函数ε的前半部分表示实际响应和理想响应之间的误差，后半部分为防止滤波器过拟合而添加的正则化项，因为傅里叶变换能够大大提高卷积运算的速度，所以滤波器的求解均在频域进行，由于傅里叶变换中存在边缘效应，将样本特征乘以余弦窗口以减轻边缘效应，(2)式滤波器h的解为：

其中k表示求和过程中的通道数，F^k表示频域特征F^l第k通道中的特征， ^k表示F^k对应的共轭复数,H、G、F均表示h、g、f经过离散傅里叶变换后的频域描述，表示G、F对应的共轭复数；

按照下列线性插值方法更新滤波器：

其中B_t表示当前帧-t帧中更新后的位置滤波器的分子和分母，B_t-1表示上一帧-t-1帧中位置滤波器的分子和分母，G_t、分别表示当前帧-t帧中对应的频域理想二维高斯输出和频域多维卷积特征，表示G_t对应的共轭复数，k表示求和过程中的通道数，表示当前帧-t帧中对应的多维频域特征第k通道中的特征，表示对应的共轭复数，η表示滤波器更新的学习率；

在下一帧-t+1帧中按当前帧中的位置和尺度提取目标样本的多层卷积特征，在频域与滤波器进行卷积操作并通过离散傅里叶反变换得到每层的时域响应：

其中表示傅里叶反变换，i表示卷积层，i∈{3,4,5}，t、t+1分别表示当前帧和下一帧，B_it分别表示当前帧-t帧中第i卷积层中训练的位置滤波器的分子和分母，表示在下一帧-t+1帧中提取的目标样本第i层卷积特征，y_i(t+1)表示下一帧中第i卷积层的时域响应，之后将每层卷积特征得到的空间响应y_i(t+1)的值归一化到[0,1]区间；

最后将多层响应通过固定权重融合：

其中α_i表示每层对应的融合权重，i表示卷积层(i∈{3,4,5})，y′_i(t+1)表示下一帧-t+1帧中第i层对应的归一后的时域响应，将3，4，5层时域响应按固定权重α_i融合得到y_t+1，y_t+1即为下一帧-t+1帧中融合后的最终响应。