CN104751493A - 基于梯度纹理特征的稀疏跟踪方法 - Google Patents

Abstract

本发明通过联合使用梯度纹理特征和目标的仿射变换参数构建目标的外观模型，提出一种稀疏跟踪方法，包括如下步骤：构建初始字典，抽取候选粒子，构建梯度纹理特征，抽取字典模板的梯度纹理特征，抽取候选样本的梯度纹理特征，用字典中的所有模板线性表示候选样本，求解稀疏系数，构建重构误差。梯度纹理特征能很好地解决因旋转、尺度以及光照变化等问题引起的目标外观变化。仿射变换能够有效处理由于尺度变换或者视角变换带来的挑战。采用增量子空间学习的方法对模板进行更新，有效抑制跟踪漂移并能处理目标遮挡等问题。本发明提出的基于梯度纹理特征的稀疏跟踪方法，在复杂场景下能保持目标跟踪的稳定性，提高跟踪器的精度。

Description

基于梯度纹理特征的稀疏跟踪方法

技术领域

本发明属于图像处理和计算机视觉领域，涉及一种基于梯度纹理特征的跟踪方法。可应用于人机交互和视频监控等领域。

背景技术

目标跟踪在计算机视觉领域占有极其重要的地位，例如自动监控、视频检索以及人机交互等。目前针对目标跟踪这一问题，许多研究者在理论上和应用上取得了一些成果。

Mei等人(Xue Mei,Ling Haibin.Robust visual tracking using l1minimization[C].ComputerVision,2009IEEE 12th International Conference on.IEEE,2009:1436-1443.)率先将稀疏表示引入到跟踪问题并且取得了比较好的效果，该算法联合目标模板和遮挡模板构成字典，然后用字典中所有模板的线性组合来表示候选样本，通过L1最小化求解稀疏系数，最终将跟踪问题转化为寻找具有最小重构误差的候选样本问题。有研究者们基于该方法进行改进，东南大学提出的专利申请“一种基于自适应粒子滤波和稀疏表示的目标跟踪算法”(专利申请号：201310357510.X，公开号：CN 103440645 A)公开了一种基于自适应粒子滤波和稀疏表示的目标跟踪算法，对环境光照变化以及遮挡等情况具有很强的鲁棒性。此发明和大多数稀疏跟踪方法一样，是基于灰度信息的特征描述目标，但灰度特征一般无法处理目标的旋转、姿态变化等问题。针对此问题，本发明提出一种采用新特征的稀疏跟踪方法。

目标特征的选取对一个高性能的跟踪器具有非常重要的作用。大部分跟踪器都是基于目标的灰度、形状以及边缘等特征。Martin等人提出将colorname特征用于目标跟踪，并达到了很好的效果。在这些特征中，纹理是描述目标外观的一种重要特征，同时也是一个强大的视觉线索，可以用于描述和识别物体表面。提取纹理特征能够用简化的方式准确地描述大量的数据，并提高后期处理的总体质量。到目前为止，研究者提出了很多鲁棒的纹理特征，可以很好地解决图像的旋转、尺度以及光照变化等问题。

一般地，图像基本特征的提取主要是基于两个数学概念：微分几何和尺度空间理论。微分几何方法假设图像的特征可以从局部各向异性变化的像素强度中获得。最近，微分特征提取方法吸引了更多的关注。其中，高斯导数滤波器就是一个鲁棒的微分方法。

Sochen等人从几何分析的角度入手，利用嵌入映射来重新定义图像，并将极小化曲面的概念引入到图像处理领域。可将二维图像平面映射到三维空间，也即保持图像的二维坐标不变，用x轴和y轴表示，图像的灰度值则映射到z轴。由此提出将曲线的曲率以及曲面的平均曲率等图像的局部特性运用到图像降噪中，能够很好地去除噪声。然而图像的很多重要特征，例如边缘、角点特征等容易受到曲率流或者局部曲率流的影响，从而导致部分曲线边缘在曲率流的作用下变得模糊。而高斯曲率是主曲率的乘积，它能够很好地保持不能被曲率流或平均曲率流保护的结构特征。因此基于高斯曲率的模型具有非常好的保纹理特性。Hanbay等人提出利用高斯曲率和平均曲率代替HOG中传统的梯度计算方式，并运用到纹理分类中取得了很好的效果(Hanbay K,Alpaslan N,Talu M F,et al.Continuous rotation invariant features forgradient-based texture classification[J].Computer Vision and Image Understanding,2015,132:87-101.)。基于以上思想，本发明提出采用基于平均曲率和高斯曲率的梯度纹理特征描述目标外观，并将其与稀疏表示相结合，实现感兴趣目标的跟踪。

发明内容

为了跟踪器在目标发生遮挡，面内外旋转，尺度变化，运动模糊，光照变化等复杂情况下，依然可以准确地跟踪目标，本发明通过在粒子滤波框架下，联合使用梯度纹理特征和目标仿射参数构建目标的外观模型，提出了一种简单且鲁棒的稀疏跟踪方法。

为了解决由目标的光照变化、姿态变化和遮挡等外观变化引起的跟踪漂移，本发明提出了一种基于梯度纹理特征的稀疏跟踪方法，在复杂场景下能保持目标跟踪的稳定性，提高跟踪器的精度。

本发明的技术方案为：

一种基于梯度纹理特征的稀疏跟踪方法，包括如下步骤：

(1)步骤一：构建初始字典。通过简单跟踪器跟踪前n帧视频序列，将得到的跟踪结果用于构造字典模板T＝[T₁,T₂,…,T_n]，其中T_i(i＝1,…,n)表示第i个模板，n表示模板数目。

(2)步骤二：抽取候选粒子。在目标跟踪过程中，相邻帧之间目标移动很小，对新的一帧图像，在上一帧跟踪目标位置周围进行高斯采样，选取目标的运动仿射参数作为目标的状态变量，表示为其中x_t,y_t,θ_t,s_t,λ_t,分别表示目标在第t帧x,y坐标、旋转角度、尺度变化、宽高比、倾斜度。

(3)步骤三：构建梯度纹理特征。高斯函数用公式表示为：图像I的一阶和二阶偏导数用以下方式定义：

$\left\{\begin{array}{c}{I}_x=I*G_x\\ I_y=I*G_y\\ I_{\mathrm{xx}}=I*G_{\mathrm{xx}}\\ I_{\mathrm{xy}}=I*G_{\mathrm{xy}}\\ I_{\mathrm{yy}}=I*G_{\mathrm{yy}}\end{array}\right.---\left(1\right)$

其中*表示卷积，G_x和G_y分别表示G关于x和y的一阶偏导数，G_xx,G_xy和G_yy分别表示G关于x和y的二阶偏导数。

图像曲面I的平均曲率H和高斯曲率K可以用以下公式计算得：

$H=\frac{I_{\mathrm{xx}}(1+I_y^2)+I_{\mathrm{yy}}(1+I_x^2)+2I_x{I}_y{I}_{\mathrm{xy}}}{{(1+I_x^2+I_y^2)}^{\frac{3}{2}}}---\left(2\right)$

$K=\frac{I_{\mathrm{xx}}{I}_{\mathrm{yy}}-I_{\mathrm{xy}}^2}{{(1+I_x^2+I_y^2)}^2}---\left(3\right)$

由平均曲率和高斯曲率构成的梯度纹理特征F如下所示：

$F=\sqrt{H^2+K^2}---\left(4\right)$

(4)步骤四：抽取字典模板的梯度纹理特征。对于每个模板，抽取其梯度纹理特征并向量化为特征向量，重新构建字典为D＝[d₁,d₂,…,d_n]∈R^d×n，其中d_i(i＝1,…,n)表示第i模板向量化后的特征向量，d是每个模板的向量维数。

(5)步骤五：抽取候选样本的梯度纹理特征。候选样本采用与字典模板相同的特征，提取它们的梯度纹理特征，用F＝[f₁,f₂,…,f_N]∈R^d×N描述N个候选样本，f_i(i＝1,…,N)表示第i个候选样本的特征向量，d是每个模板的向量维数。

(6)步骤六：用字典中的所有模板线性表示候选样本，则可将字典模板用以下方式线性表示：

f_i＝Dα_i+ε＝α_i1d₁+α_i2d₂+…+α_ind_n+ε_i,i＝1,…,N        (5)

式中，D＝[d₁,d₂,…,d_n]是由前n帧图像中目标观测向量矩阵的特征向量构成的字典，ε_i表示残差项，α_i＝[α_i1,α_i2,…,α_in]∈Rⁿ是第i个候选样本的稀疏系数。

(7)步骤七：求解稀疏系数。通过L1范数最小化求解：

$\min {\left|\right|f_i-D{\mathrm{\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_1---\left(6\right)$

其中，λ为正则化参数，控制系数α_i的稀疏度。

(8)步骤八：构建重构误差。利用字典模板与候选样本进行候选样本的误差重构，重构误差计算如下：

${\mathrm{re}}_i={\left|\right|f_i-D{\mathrm{\α}}_i\left|\right|}_2^2,i=1,...,N---\left(7\right)$

(9)构建似然函数。主要思想是利用重构误差来构建似然函数：候选粒子对应的稀疏表示的重构误差越小，则它的稀疏表示越可靠，稀疏系数也越可靠，因此，这样的候选粒子被赋予更大的权重，即似然概率越大。利用最大似然估计，当前时刻的跟踪结果则为具有最大似然概率的粒子，即

(10)模板更新。在动态场景用固定模板进行跟踪很容易失败，因为没有考虑到由于光照和姿态变化等因素引起的外观变化。然而，如果过于频繁地对模板进行更新，跟踪器很可能被错误的跟踪结果影响，随着错误的累计使得跟踪器偏离真正的目标。本发明采用增量子空间学习的方法来适应目标模板的外观变化，从而减少了遮挡等因素对目标模板的影响。

(11)评价准则。本发明采用四种评价准则评估跟踪器的性能：中心位置误差(CenterLocation Error，CLE)、重叠率(Overlap Rate，OR)、精度图(precision plots)和成功率图(successplots)。中心位置误差是计算估计目标的中心位置和真实位置之间的平均欧氏距离。重叠率是计算跟踪结果目标框与真实结果目标框的重叠率。在精度图中，精度是基于一系列阈值绘制的，通过在像素灰度值为20时的精度值来进行跟踪器性能排序。成功率图描述了基于一系列阈值的重叠精度(overlap precision OP)。OP定义为超出重叠率阈值t的帧数百分比，t∈[0,1]，并利用曲线下的面积(area under the curve AUC)来进行跟踪器性能排序。

有益效果：

本发明通过联合使用梯度纹理特征和目标的仿射变换参数构建目标的外观模型，提出了一种简单但鲁棒的稀疏跟踪方法。梯度纹理特征具有旋转不变性，能很好地解决因旋转、尺度以及光照变化等问题引起的目标外观变化。仿射变换的使用，能够有效处理由于尺度变换或者视角变换带来的挑战。在粒子滤波框架下，提取目标模板和候选粒子的梯度纹理特征，用字典模板对每个候选粒子进行稀疏表示，求解稀疏系数并实现重构，将具有最小重构误差的粒子作为跟踪结果。同时采用增量子空间学习的方法对模板进行更新，有效抑制跟踪漂移并能处理目标遮挡等问题。本发明提出的基于梯度纹理特征的稀疏跟踪方法，在目标发生遮挡，面内外旋转，尺度变化，光照变化等复杂情况下，依然可以准确地跟踪目标。

附图说明

图1为本发明提供的稀疏跟踪方法的系统流程图；

图2为本发明抽取候选粒子的示意图；

图3为图像梯度纹理特征的构建过程；

图4为本发明与其他4种跟踪器的中心位置误差图；

图5为本发明与其他4种跟踪器的重叠率图；

图6为本发明与其他9种跟踪器的精度图；

图7为本发明与其他9种跟踪器的成功率图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施方式，进一步阐明本发明。本发明提供的基于梯度纹理特征的稀疏跟踪方法，如图1所示，具体包括以下操作步骤：

(1)步骤一：构建初始字典。首先构建字典模板库，通过简单跟踪器跟踪视频序列前12帧(包含第一帧)，将跟踪得到的跟踪结果用于构造字典模板T＝[T₁,T₂,…,T₁₂]，其中T_i(i＝1,…,12)表示第i个模板。将字典模板的尺寸归一化为32×32。

(2)步骤二：抽取候选粒子。在新的一帧图像到来时，需要抽取候选粒子。设每帧抽取600个粒子，每帧抽取的粒子数量可以根据情况进行调整。如图2所示，在上一帧跟踪目标位置周围进行高斯采样，选取目标的运动仿射参数作为目标的状态变量，表示为其中x_t,y_t,θ_t,s_t,λ_t,分别表示目标在第t帧x,y坐标、旋转角度、尺度变化、宽高比、倾斜度。S_t中的每个参数都服从独立高斯分布，表示为p(S_t|S_t-1)＝N(S_t；S_t-1,Σ)，其中Σ是一个对角协方差矩阵，对角元素是运动仿射参数的方差对抽取的候选粒子尺寸归一化为32×32。

(3)步骤三：构建梯度纹理特征。按照图3的步骤构建图像的梯度纹理特征。高斯函数用公式表示为：图像I的一阶和二阶偏导数用以下方式定义：

$\left\{\begin{array}{c}{I}_x=I*G_x\\ I_y=I*G_y\\ I_{\mathrm{xx}}=I*G_{\mathrm{xx}}\\ I_{\mathrm{xy}}=I*G_{\mathrm{xy}}\\ I_{\mathrm{yy}}=I*G_{\mathrm{yy}}\end{array}\right.---\left(8\right)$

其中*表示卷积，G_x和G_y分别表示G关于x和y的一阶偏导数，G_xx,G_xy和G_yy分别表示G关于x和y的二阶偏导数。

图像曲面I的平均曲率H和高斯曲率K可以用以下公式计算得：

$H=\frac{I_{\mathrm{xx}}(1+I_y^2)+I_{\mathrm{yy}}(1+I_x^2)+2I_x{I}_y{I}_{\mathrm{xy}}}{{(1+I_x^2+I_y^2)}^{\frac{3}{2}}}---\left(9\right)$

$K=\frac{I_{\mathrm{xx}}{I}_{\mathrm{yy}}-I_{\mathrm{xy}}^2}{{(1+I_x^2+I_y^2)}^2}---\left(10\right)$

由平均曲率和高斯曲率构成的梯度纹理特征F如下所示：

$F=\sqrt{H^2+K^2}---\left(11\right)$

(4)步骤四：抽取字典模板的梯度纹理特征。对于每个模板，抽取其梯度纹理特征并向量化为特征向量，重新构建字典为D＝[d₁,d₂,…,d₁₂]∈R^d×12，其中d_i(i＝1,…,12)表示第i模板向量化后的特征向量，d是每个模板的向量维数，本例中d＝1024。

(5)步骤五：抽取候选样本的梯度纹理特征。候选样本采用与字典模板相同的特征，提取它们的梯度纹理特征，用F＝[f₁,f₂,…,f_N]∈R^d×N描述N个候选样本，f_i(i＝1,…,N)表示第i个候选样本的特征向量，d是每个模板的向量维数。本例中候选样本数目设为N＝600，向量维数设为d＝1024。

(6)步骤六：用字典中的所有模板线性表示候选样本，则可将字典模板用以下方式线性表示：

f_i＝Dα_i+ε＝α_i1d₁+α_i2d₂+…+α_i12d₁₂+ε_i,i＝1,…,600       (12)

式中，D＝[d₁,d₂,…,d₁₂]是由前12帧图像中目标观测向量矩阵的特征向量构成的字典，ε_i表示残差项，α_i＝[α_i1,α_i2,…,α_i12]∈R¹²是第i个候选样本的稀疏系数。

(7)步骤七：求解稀疏系数。通过L1范数最小化求解：

$\min {\left|\right|f_i-D{\mathrm{\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_1---\left(13\right)$

其中，λ为正则化参数，控制系数α_i的稀疏度。

(8)步骤八：构建重构误差。利用字典模板与候选样本进行候选样本的误差重构，重构误差计算如下：

${\mathrm{re}}_i={\left|\right|f_i-D{\mathrm{\α}}_i\left|\right|}_2^2,i=1,...,N---\left(14\right)$

(9)构建似然函数。主要思想是利用重构误差来构建似然函数：候选粒子对应的稀疏表示的重构误差越小，则它的稀疏表示越可靠，稀疏系数也越可靠，因此，这样的候选粒子被赋予更大的权重，即似然概率越大。利用最大似然估计，当前时刻的跟踪结果则为具有最大似然概率的粒子，即

(10)模板更新。跟踪过程中，采取每5帧对字典模板更新一次，通过稀疏表示和增量子空间学习来实现对字典模板的更新。

(11)评价准则。本发明采用四种评价准则评估跟踪器的性能：中心位置误差(CenterLocation Error，CLE)、重叠率(Overlap Rate，OR)精度图(precision plots)和成功率图(successplots)。中心位置误差是计算估计目标的中心位置和真实位置之间的平均欧氏距离。重叠率是计算跟踪结果目标框与真实结果目标框的重叠率。本发明采用空间鲁棒性评估(spatialrobustness evaluation,SRE)的精度图和成功率图分析。SRE将跟踪器从第一帧开始运行，但目标位置初始值发生了变化，其中包括：4个方向的中心点偏移、4个方向的角点偏移以及4种目标框大小的变化。在精度图中，横坐标表示位置误差阈值(Location error threshold)，单位是像素，纵坐标表示精度(Precision)。位置误差是通过计算算法跟踪结果与目标真实值之间的目标中心位置的欧式距离。当测得的位置误差小于阈值时，则认为跟踪结果是准确的。本发明用误差阈值为像素灰度值20时对应的精度来估测不同的跟踪器，精确度越高说明跟踪器性能越好。在成功率图中，横坐标表示重叠阈值(Overlap threshold)，纵坐标表示成功率(Successrate)，重叠率是通过计算跟踪结果目标框与真实结果目标框的重叠率获得的。当重叠率大于阈值时，跟踪结果视为准确。在本发明中，曲线下面积(AUC)用于评估不同的跟踪器，AUC越大的跟踪器性能越好。

通过上述四种评价方式，选取30个视频序列验证本实施例提供的目标跟踪方法，这些视频序列含有不同的挑战因素，包括：光照变化(IV)、尺寸变化(SV)、遮挡(OCC)、变形(DEF)、快速运动(FM)、运动模糊(MB)、面内旋转(IPR)、超出范围(OV)、面外旋转(OPR)、背景混乱(BC)和低分辨率(LR)。同时，将本发明设计的跟踪器与现有的9种跟踪方式进行了比较，包括Frag、IVT、MIL、VTD、TLD、MTT、ASLA、SCM以及LSK。图4展示了对于视频序列deer，本发明提出的方法和其他4种跟踪器的中心位置误差结果图。图5展示对于视频序列carScale，本发明提出的方法和其他4种跟踪器的重叠率对比结果图。图6和图7分别为本发明和其他9种跟踪器的精度图和成功率图。

由此可见，本发明提供的目标跟踪方法，与已有的算法相比，算法精度有了明显的提高，跟踪结果更为稳定。

Claims (6)

1.一种基于梯度纹理特征的稀疏跟踪方法，其特征在于：包括如下步骤：

(1)步骤一：构建初始字典，通过简单跟踪器跟踪前n帧视频序列，将得到的跟踪结果用于构造字典模板T＝[T₁,T₂,...,T_n]，其中T_i(i＝1,...,n)表示第i个模板，n表示模板数目；

(2)步骤二：抽取候选粒子，在目标跟踪过程中，相邻帧之间目标移动很小，对新的一帧图像，在上一帧跟踪目标位置周围进行高斯采样，选取目标的运动仿射参数作为目标的状态变量，表示为其中x_t,y_t,θ_t,s_t,λ_t,分别表示目标在第t帧x,y坐标、旋转角度、尺度变化、宽高比、倾斜度；

(3)步骤三：构建梯度纹理特征，高斯函数用公式表示为：图像I的一阶和二阶偏导数用以下方式定义：

$\left\{\begin{array}{c}{I}_x=I*G_x\\ I_y=I*G_y\\ {\mathrm{II}}_{\mathrm{xx}}=I*G_{\mathrm{xx}}\\ I_{\mathrm{xy}}=I*G_{\mathrm{xy}}\\ I_{\mathrm{yy}}=I*G_{\mathrm{yy}}\end{array}\right.$

其中*表示卷积，G_x和G_y分别表示G关于x和y的一阶偏导数，G_xx,G_xy和G_yy分别表示G关于x和y的二阶偏导数，

图像曲面I的平均曲率H和高斯曲率K用以下公式计算得：

$H=\frac{I_{\mathrm{xx}}(1+I_y^2)+I_{\mathrm{yy}}(1+I_x^2)+{2I}_x{I}_y{I}_{\mathrm{xy}}}{{(1+I_x^2+I_y^2)}^{\frac{3}{2}}}$

$K=\frac{I_{\mathrm{xx}}{I}_{\mathrm{yy}}-I_{\mathrm{xy}}^2}{{(1+I_x^2+I_y^2)}^2}$

由平均曲率和高斯曲率构成的梯度纹理特征F如下所示：

$F=\sqrt{H^2+K^2}$

(4)步骤四：抽取字典模板的梯度纹理特征，对于每个模板，抽取其梯度纹理特征并向量化为特征向量，重新构建字典为D＝[d₁,d₂,...,d_n]∈R^d×n，其中d_i(i＝1,...,n)表示第i模板向量化后的特征向量，d是每个模板的向量维数；

(5)步骤五：抽取候选样本的梯度纹理特征，候选样本采用与字典模板相同的特征，提取它们的梯度纹理特征，用F＝[f₁,f₂,...,f_N]∈R^d×N描述N个候选样本，f_i(i＝1,...,N)表示第i个候选样本的特征向量，d是每个模板的向量维数；

(6)步骤六：用字典中的所有模板线性表示候选样本，将字典模板用以下方式线性表示：

f_i＝Dα_i+ε＝α_i1d₁+α_i2d₂+…+α_ind_n+ε_i,i＝1,...,N

式中，D＝[d₁,d₂,...,d_n]是由前n帧图像中目标观测向量矩阵的特征向量构成的字典，ε_i表示残差项，α_i＝[α_i1,α_i2,…,α_in]∈Rⁿ是第i个候选样本的稀疏系数；

(7)步骤七：求解稀疏系数。通过L1范数最小化求解：

$\min {\left|\right|f_i-{\mathrm{D\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_1$

其中，λ为正则化参数，控制系数α_i的稀疏度；

(8)步骤八：构建重构误差。利用字典模板与候选样本进行候选样本的误差重构，重构误差计算如下：

${\mathrm{re}}_i={\left|\right|f_i-{\mathrm{D\α}}_i\left|\right|}_2^2,i=1,...,N.$

2.根据权利要求1所述的基于梯度纹理特征的稀疏跟踪方法，其特征在于：利用重构误差来构建似然函数：候选粒子对应的稀疏表示的重构误差越小，则它的稀疏表示越可靠，稀疏系数也越可靠；利用最大似然估计，当前时刻的跟踪结果则为具有最大似然概率的粒子，即 $y_t^{*}=y_t^{i^{*}},i^{*}=\underset{i}{\arg \max }p\left(y_t\right|S_t^i).$

3.根据权利要求1所述的基于梯度纹理特征的稀疏跟踪方法，其特征在于：采用增量子空间学习的方法来适应目标模板的外观变化，从而减少对目标模板的影响。

4.根据权利要求3所述的基于梯度纹理特征的稀疏跟踪方法，其特征在于：在跟踪过程中，采取每5帧对字典模板更新一次，通过稀疏表示和增量子空间学习来实现对字典模板的更新。

5.根据权利要求1所述的基于梯度纹理特征的稀疏跟踪方法，其特征在于：采用四种评价准则评估跟踪器的性能：中心位置误差(Center Location Error，CLE)、重叠率(Overlap Rate，OR)、精度图(precision plots)和成功率图(success plots)。

6.根据权利要求5所述的基于梯度纹理特征的稀疏跟踪方法，其特征在于：采用空间鲁棒性评估(spatial robustness evaluation,SRE)的精度图和成功率图分析。