CN109034193A - 多特征融合与尺度自适应核相关滤波跟踪方法 - Google Patents

Abstract

本发明涉及一种多特征融合与尺度自适应核相关滤波跟踪方法，获取目标的初始信息；获取目标区域的融合梯度直方图FHOG特征和降维后的颜色属性CN特征；通过线性融合的方式，把获取的31维FHOG特征、降维后的2维CN特征加上1维的灰度特征，融合后总共34特征作为最终的特征图谱；在得到融合特征图谱的基础上，利用核相关滤波器预测目标的平移位置；在预测平移位置后，通过添加尺度滤波器来预测目标的尺度变化；在预测目标平移位置和尺度变化后，通过线性插值方法来更新两个滤波模板，进行跟踪，直到最后一帧。通过这种特征融合与尺度滤波器结合的方式，该方法在目标跟踪过程的外观变形、尺度变化、光照变化、背景相似干扰等情况下有很好的鲁棒性。

Description

多特征融合与尺度自适应核相关滤波跟踪方法

技术领域

本发明涉及一种目标跟踪技术，特别涉及一种多特征融合与尺度自适应核相关滤波跟踪方法。

背景技术

目标跟踪被广泛运用到视频监控、智能交通系统和人机交互等领域。但是现有的目标跟踪方法还存在着诸多问题和难点，外观变形、光照变化、快速运动、运动模糊、背景相似干扰等都对跟踪造成较大影响，目前还没有一种跟踪模型能够既好又快地解决这些问题。目前主要跟踪模型可分为两大类：生成模型和判别模型。生成模型是对初始目标区域建模，在下一帧寻找与模型最相似的区域即预测区域。判别模型的重心是区分目标的背景和前景，提取目标特征并训练分类器，利用训练好的分类器寻找下一帧中的最优目标区域，与生成模型的最大区别是在训练和识别中区分了背景和前景信息。

经对现有的文献检索发现近几年相关滤波(correlation filter，CF)在目标跟踪领域取得很大的进展，它属于判别模型。利用复频域计算的快速性，极大提高了目标跟踪的速度。后来一些基于相关滤波改进算法的提出在一定程度上解决了目标跟踪过程中的特征不完善和尺度变化的问题。目前没有文献资料将FHOG特征和CN特征进行线性融合，利用相关滤波器求得目标的平移位置，并在此基础上添加尺度滤波器预测目标的尺度变化。

发明内容

本发明是针对视觉目标跟踪中外观变形、光照变化、快速运动、运动模糊、背景相似干扰的问题，提出了一种多特征融合与尺度自适应核相关滤波跟踪方法，利用在传统核相关滤波器的基础上融合FHOG特征和CN特征，极大丰富了目标的特征图谱，可以较精确的预测目标平移位置的变化，在预测到目标平移位置的基础上通过添加33个尺度的尺度滤波器来预测目标的尺度变化。

本发明的技术方案为：一种多特征融合与尺度自适应核相关滤波跟踪方法，其特征在于，具体包括如下步骤：

1)获取目标的初始信息，包括目标的位置信息和尺度信息；

2)获取目标区域的融合梯度直方图FHOG特征和降维后的颜色属性CN特征，通过Matlab相应工具包获取，最终获取得到的是31维的FHOG特征，通过Matlab工具包获取11维的CN特征，利用主成分分析法获取降维后的CN特征；

3)通过线性融合的方式，把步骤2)获取的31维FHOG特征、降维后的2维CN特征加上1维的灰度特征，融合后总共34特征作为最终的特征图谱；

4)在步骤3)得到融合特征图谱的基础上，利用核相关滤波器预测目标的平移位置；

5)在步骤4)预测平移位置后，通过添加尺度滤波器来预测目标的尺度变化；

6)在预测目标平移位置和尺度变化后，通过线性插值方法来更新两个滤波模板，进行跟踪，直到最后一帧。

所述步骤2)中利用主成分分析法获取降维后的CN特征具体步骤如下：

通过最小化损失函数的方法获得合适的维度降低映射，该损失函数的形式如下：

上式α₁，α₂，...，α_p为常系数项，p为当前图像帧数，为数据项，由当前形式的重建误差组成，其组成形式如下：

上式，M，N代表图像的大小，为当前帧的特征表现形式，B_p是由标准正交向量组成的D₁×D₂维投影矩阵，D₁、D₂分别代表当前帧特征维数和降维后的维数；为第j帧的平滑项，定义如下：

上式为第j帧投影矩阵B_j的第k个基向量，为对应的特征值，可知损失函数只有在时才能最小化，其中I为单位矩阵；

B_p由矩阵的特征值分解得到的前D₂个最大特征值对应特征向量组成，C_p为的协方差矩阵，Λ_j为D₁×D₂维的对角矩阵，其值由组成；上式推导求解得到了一个所需的投影矩阵B_p，通过线性映射得到新的D₂维特征图，即降维后的CN特征。

所述步骤5)具体步骤如下：

建立尺度跟踪模型认为是找到一个最优的相关滤波器h，h由每个特征维度对应的相关滤波器h^l组成，l∈{1，...，d}，d代表目标的特征维数；定义如下损失函数：

上式f^l代表第l个维度的特征图，g为二维高斯期望输出，λ_s为尺度过程正则化系数；通过最小化损失函数就可以得到最优相关滤波器h：

上式大写字母代表其对应小写字母对应的复频域，G代表复频域的期望输出，用一维高斯形状输出表示，F^l代表目标复频域第l维度的特征图，F^K代表目标复频域第k维度的特征图，*为复共轭运算符；得到关滤波器H后，我们的尺度预测输出其中z^l和F^l都是目标复频域第l维度的特征图，区别是z^l是当前帧目标复频域第l维度的特征图，F^l是上一帧目标复频域第l维度的特征图；设共有S个特征尺度，当前帧目标尺度为P×R，每一个特征尺度n为y_s最大值所在的索引，尺度变换后的图像块J_n大小为aⁿP×aⁿR，a代表尺度因子。

本发明的有益效果在于：本发明多特征融合与尺度自适应核相关滤波跟踪方法，极大丰富目标的特征图谱，可以较全面反应目标的特征从而极大提高目标的跟踪精度；通过添加尺度滤波器，采用尺度滤波器与平移滤波器单独训练、局部优化的方式可以精确估计目标的尺度变化，同时滤波器的移植性也很好。通过这种特征融合与尺度滤波器结合的方式，该方法在目标跟踪过程的外观变形、尺度变化、光照变化、背景相似干扰等情况下有很好的鲁棒性。

附图说明

图1为本发明多特征融合与尺度自适应核相关滤波跟踪方法流程示意图。

具体实施方式

如图1所示多特征融合与尺度自适应核相关滤波跟踪方法流程示意图，方法包括如下步骤：

第一步：获取目标的初始信息，包括目标的位置信息和尺度信息。本方法是在标准数据集上(benchmark dataset)验证本方法的有效性，所以目标的初始信息在标准数据集上都有标注，通过读取标注的文本文件，我们就可以获取每一帧目标的初始位置信息。

第二步：获取目标区域的FHOG特征(融合梯度直方图特征)和降维后的CN特征(颜色属性特征)。FHOG特征的获取方式可通过Matlab相应工具包获取，最终获取得到的是31维的FHOG特征，通过Matlab工具包可以获取11维的CN特征，包括黑、蓝、棕、灰、绿、橙、粉、紫、白、红和黄共11种属性。为了减少计算量达到颜色自适应的目的，利用主成分分析法获取降维后的CN特征，通过最小化损失函数的方法获得合适的维度降低映射，该损失函数的形式如下：

上式α₁，α₂，...，α_p为常系数项，p为当前图像帧数，为数据项，由当前形式的重建误差组成，其组成形式如下：

上式，M，N代表图像的大小，为当前帧的特征表现形式，B_p是由标准正交向量组成的D₁×D₂维投影矩阵，D₁，D₂分别代表当前帧特征维数和降维后的维数。为第j帧的平滑项，定义如下：

上式为第j帧投影矩阵Bj的第k个基向量，为对应的特征值。可知损失函数只有在时才能最小化，其中I为单位矩阵。

B_p由矩阵的特征值分解(EVD)得到的前D2个最大特征值对应特征向量组成，C_p为的协方差矩阵，Λ_j为D₁×D₂维的对角矩阵，其值由组成。上式推导求解得到了一个所需的投影矩阵B_p(通过对R_p进行特征值分解，有几个特征值就代表R_p有多少特征向量，B_p就是由这些特征向量组成的矩阵，B_p是可以按照实际需求选取合适数量的特征向量组成这个B_p矩阵，本发明选取了两个特征矩阵组成B_p)，通过线性映射可以得到新的D₂维特征图，即降维后的CN特征。

第三步：通过线性融合的方式，把第二步获取的31维FHOG特征和降维后的CN特征进行融合。本发明最终提取了2维的CN特征，加上1维的灰度特征，融合后总共34特征作为最终的特征图谱。

第四步：在第三步得到融合特征图谱基础上，利用核相关滤波器预测目标的平移位置。

假设一共有n个训练样本X＝[x₁，x₂，…，x_n]，期望输出y＝[y₁，y₂，…，y_n]，本文采用岭回归的方法找到响应函数f(z)＝w^Tz，核相关滤波器是通过求解样本输出f(x_i)和期望输出y_i的最小均方误差和：

上式λ_t为平移过程正则化常系数(用来防止过拟合，赋值为0.001)。上式中权重w的封闭解为：

w＝(X₁ ^TX₁+λ_tI)^-1X₁ ^Ty.

式中上标T表示转置操作。因为需要在傅里叶空间复数求解上述问题，把上式改写成：

w＝(X₁ ^HX₁+λ_tI)^-1X₁ ^Hy.

X₁ ^H为X₁的Hermitian变换，即X₁ ^H＝(X₁ ^*)^T，X₁ ^*为X₁的复共轭。这里引入循环移位矩阵概念，即训练样本X₁是基样本循环移位组成，X₁的基样本即x₁，由此来确定权重w。

为了区分表示后面都用b代替基样本，利用循环移位矩阵的性质解得：

上标^代表对应字母的傅里叶变化，*⊙表示点乘运算，上式是在线性可分情况下求解(线性情况值得是线性可分的情况，非线性指的是非线性可分的情况)。

在非线性情况时，定义核函数κ将输入样本特征图谱映射到高维空间权值w可以用的线性组合表示，其b_i表示特征图谱b的第i维特征。对于预测下一目标此时响应函数f(z)＝w^Tz在高维空间的表达形式为其中常规核函数κ的表达形式为<，>为点乘运算符，这里运用最终可以求出：

∧运算符代表傅里叶变换，*代表复共轭运算，在这里等价于κ(b，z)，⊙运算符代表点乘，这里z代表预测当前帧的基样本特征图谱。最终对进行傅里叶逆变换得到f(z)并找出f(z)最大值所在的位置(x，y)即为目标预测的位置。

第五步：在第四步预测平移位置后通过添加尺度滤波器来预测目标的尺度变化。建立尺度跟踪模型可认为是找到一个最优的相关滤波器h，h由每个特征维度对应的相关滤波器h^l组成，l∈{1，...，d}，d代表目标的特征维数。定义如下损失函数：

上式f^l代表第l个维度的特征图，g为二维高斯期望输出，λ_s为尺度过程正则化系数(用来防止过拟合，赋值为0.001)。通过最小化损失函数我们就可以得到最优相关滤波器h：

上式大写字母代表其对应小写字母对应的复频域，G代表复频域的期望输出，本文用一维高斯形状输出表示，F^l代表目标复频域第l维度的特征图，F^K代表目标复频域第k维度的特征图，*为复共轭运算符。得到关滤波器H后，我们的尺度预测输出其中z^l和F^l都是目标复频域第l维度的特征图，区别是z^l是当前帧目标复频域第l维度的特征图，F^l是上一帧目标复频域第l维度的特征图。设共有S个特征尺度，当前帧目标尺度为P×R，每一个特征尺度n为y_s最大值所在的索引，尺度变换后的图像块J_n大小为aⁿP×aⁿR，a代表尺度因子。

第六步：在预测目标平移位置和尺度变化后(即第四部完成后)，通过线性插值方法来更新两个滤波模板，进行跟踪，直到最后一帧：

在获取目标平移位置后采用线性插值方法更新滤波模板来减少跟踪过程中的计算量：

b_t＝(1-η_t)b_t+η_tb_t-1

β_t＝(1-η_t)β_t+η_tβ_t-1

b、β与第四步的对应，下标t代表帧数即第t帧，η_t为平移过程的模型(这里的模型理解为b、β)更新速率是一个常数，本为η_t＝0.1。

在预测目标尺度变化(即第五步完成后)后采用线性插值方法更新滤波模板来减少跟踪过程中的计算量：

代表第t帧的二维高斯输出的共轭傅里叶变化，F_r ^k为第t帧的第k维特征图谱，代表F_t ^k的共轭傅里叶变化，η_s为尺度变化过程的模型(这里的模型理解为)更新速率是一个常数，本文选取η_s＝0.1。B_t分别是下式中的分子和分母部分：

Claims (3)

1.一种多特征融合与尺度自适应核相关滤波跟踪方法，其特征在于，具体包括如下步骤：

1)获取目标的初始信息，包括目标的位置信息和尺度信息；

2)获取目标区域的融合梯度直方图FHOG特征和降维后的颜色属性CN特征，通过Matlab相应工具包获取，最终获取得到的是31维的FHOG特征，通过Matlab工具包获取11维的CN特征，利用主成分分析法获取降维后的CN特征；

3)通过线性融合的方式，把步骤2)获取的31维FHOG特征、降维后的2维CN特征加上1维的灰度特征，融合后总共34特征作为最终的特征图谱；

4)在步骤3)得到融合特征图谱的基础上，利用核相关滤波器预测目标的平移位置；

5)在步骤4)预测平移位置后，通过添加尺度滤波器来预测目标的尺度变化；

6)在预测目标平移位置和尺度变化后，通过线性插值方法来更新两个滤波模板，进行跟踪，直到最后一帧。

2.根据权利要求1所述多特征融合与尺度自适应核相关滤波跟踪方法，其特征在于，所述步骤2)中利用主成分分析法获取降维后的CN特征具体步骤如下：通过最小化损失函数的方法获得合适的维度降低映射，该损失函数的形式如下：

上式α₁，α₂，...，α_p为常系数项，p为当前图像帧数，为数据项，由当前形式的重建误差组成，其组成形式如下：

上式，M，N代表图像的大小，为当前帧的特征表现形式，B_p是由标准正交向量组成的D₁×D₂维投影矩阵，D₁、D₂分别代表当前帧特征维数和降维后的维数；为第j帧的平滑项，定义如下：

上式为第j帧投影矩阵B_j的第k个基向量，为对应的特征值，可知损失函数只有在时才能最小化，其中I为单位矩阵；

B_p由矩阵的特征值分解得到的前D₂个最大特征值对应特征向量组成，C_p为的协方差矩阵，Λ_j为D₁×D₂维的对角矩阵，其值由组成；上式推导求解得到了一个所需的投影矩阵B_p，通过线性映射得到新的D₂维特征图，即降维后的CN特征。

3.根据权利要求1所述多特征融合与尺度自适应核相关滤波跟踪方法，其特征在于，所述步骤5)具体步骤如下：

建立尺度跟踪模型认为是找到一个最优的相关滤波器h，h由每个特征维度对应的相关滤波器h^l组成，l∈{1，...，d}，d代表目标的特征维数；定义如下损失函数：

上式f^l代表第l个维度的特征图，g为二维高斯期望输出，λ_s为尺度过程正则化系数；通过最小化损失函数就可以得到最优相关滤波器h：

上式大写字母代表其对应小写字母对应的复频域，G代表复频域的期望输出，用一维高斯形状输出表示，F^l代表目标复频域第l维度的特征图，F^K代表目标复频域第k维度的特征图，*为复共轭运算符；得到关滤波器H后，我们的尺度预测输出其中z^l和F^l都是目标复频域第l维度的特征图，区别是z^l是当前帧目标复频域第l维度的特征图，F^l是上一帧目标复频域第l维度的特征图；设共有S个特征尺度，当前帧目标尺度为P×R，每一个特征尺度n为y_s最大值所在的索引，尺度变换后的图像块J_n大小为aⁿP×aⁿR，a代表尺度因子。