CN105741316A - 基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法，将跟踪过程分成了目标定位和尺度选择两部分，第一部分目标定位，利用卷积神经网络和相关滤波进行目标的位置定位；第二部分尺度选择，利用一个尺度金字塔，通过尺度滤波对目标进行不同尺度的匹配选择。选用卷积神经网络里的多层特征作为目标的表示模型，从而能够鲁棒地描述目标的结构和语义信息；利用相关滤波的特性，不再需要在线训练分类器，从而极大加快了算法的运行速度；在尺度上采用了尺度金字塔的思想，对不同尺度的目标进行相关滤波匹配，选取最优尺度，对于目标的形变、遮挡、尺度变化具有很强的鲁棒性。

Description

基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法

技术领域

本发明属于图像处理领域，具体涉及一种基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法。

背景技术

目标跟踪算法，通常可以分为生成型和判别型两大类。生成型的跟踪算法通常需要对被跟踪目标生成一个外观模型，通过对外观模型的匹配，寻找到相似度最高的那个候选目标作为跟踪结果。而判别型的跟踪算法则是将跟踪看成一个二分分类问题，通过正负样本训练一个分类器，将目标和背景区分开来。

近年来，基于深度学习的图像处理和机器视觉方法得到了极大的重视，特别在语音图像分类和识别方面应用成果较多，但在目标跟踪方面才刚刚起步。文献“Hierarchicalconvolutionalfeaturesforvisualtracking,2015InternationalConferenceonComputerVision”公开了一种基于深度卷积神经网络(ConvolutionalNeuralNetwork,CNN)的视觉目标跟踪方法，其利用CNN训练得到的图像特征具有丰富的语义信息，对于遮挡、形变、光照等跟踪难题具有很强的鲁棒性，取得了较好的跟踪效果。然而，现存的基于深度学习的跟踪方法一般都是在目标周围提取正负样本，通过CNN得到这些正负样本的特征，利用这些特征在线训练一个分类器，从而进行目标跟踪。

发明内容

要解决的技术问题

本发明解决了现有技术中的以下两个问题：1)现有技术只利用CNN中的最后一层结果来表示目标，但跟踪任务不仅需要目标的语义信息，还需要空间结构信息，才能准确地定位目标；2)现有技术在线训练一个分类器需要大量的正负样本，这对于目标跟踪而言非常耗时。

技术方案

针对目前基于深度学习的跟踪方法的弊端，本发明在进行目标跟踪时采用以下相应的解决措施来进行目标定位：1)采用CNN中的多层而不仅仅是最后一层的输出结果来构建目标的表示模型，从而保留了目标的空间结构信息；2)在每一层结果上学习自适应的相关滤波，从而避免了提取大量样本的过程。

本发明将跟踪过程分成了目标定位和尺度选择两部分，第一部分目标定位，利用卷积神经网络和相关滤波进行目标的位置定位；第二部分尺度选择，利用一个尺度金字塔，通过尺度滤波对目标进行不同尺度的匹配选择。

一种基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法，其特征在于步骤如下：

步骤1：读取第一帧图像数据以及目标块在第一帧图像中的位置信息[x,y,w,h]，其中x,y表示目标中心的横纵坐标，w,h表示目标的宽和高；

步骤2：以(x,y)为中心提取搜索区域R，利用卷积神经网络CNN提取搜索区域R的卷积特征图，通过双边插值的方法对特征图进行上采样到搜索区域R得到卷积特征图所述的R的宽和高分别为M,N，所述的大小为M×N×D，D为通道数，l为CNN中的层数；

步骤3：采用分层的方式构建目标模型对于每一层的目标模型，其构建方法如下：

其中，d∈{1,....,D}；变量上面的一横代表复数的共轭；大写变量名为相应的小写变量名在频域的表示；(m,n)∈{0,1,...,M-1}×{0,1,...,N-1}，σ_target为核的宽度；⊙代表元素相乘运算；λ为调整参数；

步骤4：以当前帧中目标位置为中心提取不同尺度的目标块，计算每个目标块的HOG特征得到尺度特征z_scale，利用这些不同尺度的HOG特征构建尺度模型W_scale，其构建方法如下：

其中，S为尺度个数；变量上面一横代表复数的共轭；大写变量名为相应的小写变量名在频域的表示；s∈{1,2,...,S}，σ_scale为核的宽度；⊙代表元素相乘运算；λ为调整参数；

步骤5：读取下一帧图像，以前一帧目标位置为中心，提取大小为R*scale的尺度缩放后的搜索区域，其中，R为上述大小为M×N的区域，scale为尺度因素；利用CNN提取尺度缩放后的搜索区域的卷积特征图，并且通过双边插值的方法对卷积特征图进行上采样到尺度缩放后的搜索区域R的大小得到卷积特征图利用目标模型计算目标置信图对于每一层l，其目标置信图计算方法如下：

其中，F^-1为傅里叶逆变换；

步骤6：利用步骤5得到的置信图集逐层递进的定位目标位置(x,y)：

$(x,y)=\underset{x,y}{\mathrm{argmax}}\left\{f_{t\arg et}^{l-1}\right(x,y)+{\mathrm{\γf}}_{t\arg et}^l(x,y\left)\right\}---\left(4\right)$

其中，γ为每层的权重参数；

步骤7：以步骤6得到的目标位置(x,y)为中心提取不同尺度的目标块，计算每个目标块的HOG特征得到尺度特征z_scale，利用尺度模板W_scale，计算尺度置信图通过如下公式选择最优尺度因素：

$scale=\underset{s}{\mathrm{argmax}}\left(f_{scale}\right)---\left(5\right)$

步骤8：利用步骤7得到的尺度因素scale，再次提取大小为R*scale的尺度缩放后的搜索区域，利用CNN提取卷积特征图，并且通过双边插值的方法对特征图进行上采样到搜索区域R的大小得到卷积特征图以搜索区域R*scale的大小为基准、(x,y)为中心提取不同尺度的目标块，并且计算每个目标块的HOG特征得到尺度特征z_scale，更新目标模型和尺度模型W_scale：

$W_{t\arg et}^d=\frac{A_{t\arg et}^d}{B_{t\arg et}^d+\mathrm{\λ}}---\left(6c\right)$

$W_{scale}=\frac{A_{scale}}{B_{scale}+\mathrm{\λ}}---\left(7c\right)$

其中，A_target，B_target分别为公式1的分子分母；A_scale，B_scale分别为公式2的分子分母；η为学习速率；

步骤9：判断是否处理完所有图像的所有帧，若没有，则转到步骤5继续；若处理完，则结束。

M＝2w,N＝2h。

有益效果

本发明提出的一种基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法，选用卷积神经网络里的多层特征作为目标的表示模型，从而能够鲁棒地描述目标的结构和语义信息；利用相关滤波的特性，不再需要在线训练分类器，从而极大加快了算法的运行速度；在尺度上采用了尺度金字塔的思想，对不同尺度的目标进行相关滤波匹配，选取最优尺度，对于目标的形变、遮挡、尺度变化具有很强的鲁棒性。

附图说明

图1本发明的流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

步骤一：读取第一帧图像数据以及目标块在第一帧图像中的位置信息[x,y,w,h]，其中x,y表示目标中心的横纵坐标，w,h表示目标的宽和高。

步骤二：在当前帧图像目标确定的基础上，提取以(x,y)为中心的搜索区域R，利用CNN提取卷积特征图，并且通过双边插值的方法对特征图进行上采样到搜索区域R的大小得到卷积特征图其中R大小为M×N，M,N分别为宽和高，M＝2w,N＝2h，大小为M×N×D，D为通道数，l为CNN中的层数，其值为{37,28,19，}本发明具体采用VGGNet-19作为CNN模型。

步骤三：对于步骤二中得到的卷积特征图采用分层的方式构建目标模型对于每一层的目标模型，其构建方法如下：

其中，d∈{1,....,D}；变量上面的一横代表复数的共轭；λ为调整参数，其优化值为0.0001；(m,n)∈{0,1,...,M-1}×{0,1,...,N-1}，σ_target为核的宽度，⊙代表元素相乘运算；大写变量名为相应的小写变量名在频域的表示。

步骤四：以当前帧中目标位置为中心提取不同尺度的目标块，尺度范围为[0.7,1.4]，并且计算每个目标块的HOG特征得到尺度特征z_scale，利用这些不同尺度的HOG特征构建尺度模型W_scale，其构建方法如下：

其中，S为尺度个数，其优化值为33；变量上面一横代表复数的共轭；s∈{1,2,...,S}，σ_scale为核的宽度，其优化值为1.4361；⊙代表元素相乘运算；大写变量名为相应的小写变量名在频域的表示。

步骤五：读取下一帧图像，以前一帧目标位置为中心，提取大小为R*scale的尺度缩放后的搜索区域，其中，R为上述大小为M×N的区域，scale为尺度因素，其初始值为1；得到尺度缩放后的搜索区域后，利用CNN提取卷积特征图，并且通过双边插值的方法对特征图进行上采样到搜索区域R的大小得到卷积特征图利用目标模型计算置信图对于每一层l，其置信图计算方法如下：

其中，F^-1为傅里叶逆变换，其余变量同上所述。

步骤六：利用步骤五得到的置信图集逐层递进的定位目标位置(x,y)：

$(x,y)=\underset{x,y}{\mathrm{argmax}}\left\{f_{t\arg et}^{l-1}\right(x,y)+{\mathrm{\γf}}_{t\arg et}^l(x,y\left)\right\}---\left(4\right)$

其中，γ为每层的权重参数，其优化值为{1,0.5,0.02}，与上述l相对应。

步骤七：利用步骤六中估计得到的目标位置(x,y)为中心，选取不同尺度的目标块，计算每个目标块的HOG特征得到尺度特征z_scale，利用尺度模型W_scale，计算置信图通过如下公式选择最优尺度因素：

$scale=\underset{s}{\mathrm{argmax}}\left(f_{scale}\right)---\left(5\right)$

步骤八：利用步骤七得到的尺度因素scale，再次提取大小为R*scale的尺度缩放后的搜索区域，利用CNN提取卷积特征图，并且通过双边插值的方法对特征图进行上采样到搜索区域R的大小得到卷积特征图以搜索区域R*scale的大小为基准、(x,y)为中心提取不同尺度的目标块，并且计算每个目标块的HOG特征得到尺度特征z_scale，更新目标模型和尺度模型W_scale：

$W_{t\arg et}^d=\frac{A_{t\arg et}^d}{B_{t\arg et}^d+\mathrm{\λ}}---\left(6c\right)$

$W_{scale}=\frac{A_{scale}}{B_{scale}+\mathrm{\λ}}---\left(7c\right)$

其中，A_target，B_target分别为公式(1)的分子分母；A_scale，B_scale分别为公式(2)的分子分母；η为学习速率，其优化值为0.01。

步骤十：判断是否处理完所有图像序列的所有帧，若没有，则转到步骤五继续；若处理完，则算法结束。

Claims (2)

1.一种基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法，其特征在于步骤如下：

步骤1：读取第一帧图像数据以及目标块在第一帧图像中的位置信息[x,y,w,h]，其中x,y表示目标中心的横纵坐标，w,h表示目标的宽和高；

步骤2：以(x,y)为中心提取搜索区域R，利用卷积神经网络CNN提取搜索区域R的卷积特征图，通过双边插值的方法对特征图进行上采样到搜索区域R得到卷积特征图所述的R的宽和高分别为M,N，所述的大小为M×N×D，D为通道数，l为CNN中的层数；

步骤3：采用分层的方式构建目标模型对于每一层的目标模型，其构建方法如下：

其中，d∈{1,....,D}；变量上面的一横代表复数的共轭；大写变量名为相应的小写变量名在频域的表示；(m,n)∈{0,1,...,M-1}×{0,1,...,N-1}，σ_target为核的宽度；⊙代表元素相乘运算；λ为调整参数；

步骤4：以当前帧中目标位置为中心提取不同尺度的目标块，计算每个目标块的HOG特征得到尺度特征z_scale，利用这些不同尺度的HOG特征构建尺度模型W_scale，其构建方法如下：

其中，S为尺度个数；变量上面一横代表复数的共轭；大写变量名为相应的小写变量名在频域的表示；s∈{1,2,...,S}，σ_scale为核的宽度；⊙代表元素相乘运算；λ为调整参数；

步骤5：读取下一帧图像，以前一帧目标位置为中心，提取大小为R*scale的尺度缩放后的搜索区域，其中，R为上述大小为M×N的区域，scale为尺度因素；利用CNN提取尺度缩放后的搜索区域的卷积特征图，并且通过双边插值的方法对卷积特征图进行上采样到尺度缩放后的搜索区域R的大小得到卷积特征图利用目标模型计算目标置信图对于每一层l，其目标置信图计算方法如下：

其中，F^-1为傅里叶逆变换；

步骤6：利用步骤5得到的置信图集逐层递进的定位目标位置(x,y)：

$(x,y)=\underset{x,y}{\arg max}\left\{f_{t\arg et}^{l-1}\right(x,y)+{\mathrm{\γf}}_{t\arg et}^l(x,y\left)\right\}---\left(4\right)$

其中，γ为每层的权重参数；

步骤7：以步骤6得到的目标位置(x,y)为中心提取不同尺度的目标块，计算每个目标块的HOG特征得到尺度特征z_scale，利用尺度模板W_scale，计算尺度置信图通过如下公式选择最优尺度因素：

$scale=\underset{s}{\arg max}\left(f_{scale}\right)---\left(5\right)$

步骤8：利用步骤7得到的尺度因素scale，再次提取大小为R*scale的尺度缩放后的搜索区域，利用CNN提取卷积特征图，并且通过双边插值的方法对特征图进行上采样到搜索区域R的大小得到卷积特征图以搜索区域R*scale的大小为基准、(x,y)为中心提取不同尺度的目标块，并且计算每个目标块的HOG特征得到尺度特征z_scale，更新目标模型和尺度模型W_scale：

$W_{t\arg et}^d=\frac{A_{t\arg et}^d}{B_{t\arg et}^d+\mathrm{\λ}}---\left(6c\right)$

$W_{scale}=\frac{A_{scale}}{B_{scale}+\mathrm{\λ}}---\left(7c\right)$

其中，A_target，B_target分别为公式1的分子分母；A_scale，B_scale分别为公式2的分子分母；η为学习速率；

步骤9：判断是否处理完所有图像的所有帧，若没有，则转到步骤5继续；若处理完，则结束。

2.根据权利要求1所述基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法，其特征在于：M＝2w,N＝2h。