CN102881012A - 针对目标尺度变化的视觉目标跟踪方法 - Google Patents

Abstract

本发明涉及的是一种计算机视觉领域中的视觉目标跟踪方法。具体地说，涉及的是针对目标尺度变化的视觉目标跟踪方法。1）在几何粒子滤波框架内，在Aff(2)空间中定义目标的仿射变换，建立目标仿射变换的一阶自回归运动模型。2）对目标的观测模型采用模板的向量化特征用候选区域的向量化特征线性近似表出，系数受非负性约束。所得到的优化问题就是非负最小二乘问题。表出的系数反映候选者与目标模板的相似性，因此可用于定义候选目标的观测似然度。最后跟踪结果利用在Aff(2)空间上定义的样本均值来计算得到。本发明可以对目标在存在尺度或旋转变化时进行较好的跟踪。

Description

针对目标尺度变化的视觉目标跟踪方法

技术领域

本发明涉及的是一种计算机视觉领域中的视觉目标跟踪方法。具体地说，涉及的是针对目标尺度变化的视觉目标跟踪方法。

背景技术

视频目标跟踪是对图像序列中视觉目标的位置进行估计，它一直是计算视觉中的热点课题。常常需要借助目标本身具有的边缘、颜色及纹理等特征来对目标进行识别并跟踪。除了对目标位置的确定外，尺度大小的估计也非常重要。它们间的关系就如蛋和鸡的关系。目标尺度估计过大或过小影响目标定位的精度，反过来，位置的估计偏差也影响尺度估计。

视觉目标跟踪方法大致分为两类，确定性方法和统计性方法。Meanshift跟踪器[D.Comaniciu，V.Ramesh，and P.Meer.Real-time tracking of non-rigid objectsusing mean shift.CVPR，pp.142-149，2000.]是确定性方法的代表，它通过巴氏系数的一阶近似求取每次迭代的可变步长，即mean shift向量。它通过Pazen核窗口估计函数使得离散的直方图描述连续化。这个窗宽应该为目标当前大小但实际上该目标尺度大小未知。优点是计算简单，有效。不足是：1)该算法本身没有窗口自适应的机制，需要借助外部的方法获得目标尺度。如文[D.Comaniciu，V.Ramesh，and P.Meer.Real-time tracking of non-rigid objects using mean shift.CVPR，pp.142-149，2000.]采用±10%窗口选取巴氏系数最大的那个。2)容易陷入目标的局部最小点，3)不能从目标丢失后恢复。

粒子滤波[K.Nummiaroa，E.Koller-Meierb，and L.V.Gool.An AdaptiveColor-Based Particle Filter[J].Image and Vision Computing，vol.21，pp.99-110，2003.][P.Pérez，C.Hue，J.Vermaak and M.Gangnet，Color-Based ProbabilisticTracking，ECCV.pp.661-675，2002.]为统计方法的代表，它通过维持多个假设目标来获得更多的鲁棒性，如实现目标跟丢后的恢复问题。它可以通过设计不同的采样策略来设计目标的搜索区域。它是利用一组带权重的粒子来近似目标位置及尺度的后验密度，可以处理非线性非高斯问题。它通过对目标位置及尺度变化进行采样得到多个粒子候选者，然后设计观测算法决定每个粒子候选者的似然度，从而根据MMSN或MAP准则估计目标的位置及尺度。这些文献利用颜色直方图特征为全局特征，而颜色直方图对目标旋转变化具有不变性。但因没有保留空间信息，对尺度变化不敏感。

目标模板保存空间及颜色信息，它反映目标的空间信息，这有助于目标尺度大小估计。模板匹配的代价函数通常选取误差的平方和或归一化的互相关系数。但利用穷举法搜索无疑是耗时的，特征是对大的图像来说。因为除了位置搜索，尺度变化的搜索范围也很大。对目标更复杂的仿射运动就不现实了。[S.Baker andI.Matthews，Lucas-Kanade 20 Yea rs On：A Unifying Framework，IJCV，vol.56(3)，pp.221-255，2004.]对误差的平方和这样的优化函数，以上一帧跟踪结果为初始值，通过梯度下降法迭代计算得到当前的位置，此为经典的Kanade-Lucas-Tomasi算法。当运动假定为平移运动时，就是一般的光流法。但对复杂的仿射运动，即存在尺度及旋转变化时，该算法就力不从心了。

文[R.Liu，Z.Jing，H.Pan，A novel algorithm based on nonnegative least-squareestimation for visual object tracking，Optical Engineering，51(3)，pp.037201-1-037201-7，2012.]发现基于误差平方和的模板匹配可以从另外一个角度来解释。即模板可以用所用候选粒子对应区域的向量化信息线性表出，系数添加非负约束，也就是模板用这些候选者来线性拟合。所设计的优化目标函数为非负约束最小二乘问题，它对噪声具有一定的抑制作用。该估计系数可直接用来反映对应粒子的权重，无需引入观测参数。该文对目标的复杂运动如尺度变化、旋转运动等没有考虑到位。

而粒子滤波通过对目标的尺度及旋转空间进行采样，得到多个候选目标，然后根据设计的观测似然函数，得到最优的结果。基于粒子滤波的目标仿射运动跟踪的常用方法是利用局部坐标集合以向量形式表示仿射变换，并确保传统粒子滤波方法在向量空间上的表述。然而，我们都知道仿射变换集合不是向量空间，而是一个具有Lie群结构的curved空间。选择一个局部坐标集合及利用已有向量空间方法多半(more often than not)得到的结果依赖于局部坐标选取。更主要的是，这样一个基于局部坐标方法的性能很大程度上依赖于内在空间的几何有没适当考虑到。

文[R.Liu，Z.Jing，H.Pan，A novel algorithm based on nonnegative least-squareestimation for visual object tracking，Optical Engineering，51(3)，pp.037201-1-037201-7，2012.]是基于向量空间的粒子滤波进行的，对复杂运动考虑不足。文[J.Kwon and F.C.Park，Visual tracking via particle filtering on the affine group，International Journal of Robotics Research，vol.29，pp.198-217，2010]视2-D仿射运动的跟踪问题为Aff(2)空间上的滤波问题，Aff(2)空间上的滤波问题称为几何粒子滤波。在Aff(2)上的状态方程在几何上有非常好的定义。视觉跟踪问题是通过Aff(2)空间上的粒子滤波实现的。

发明内容

本发明的目的是针对现有技术的不足，提出的针对尺度变化的基于几何粒子滤波的视觉目标跟踪方法，主要创新点是模板基于候选粒子集的非负最小二乘估计在几何粒子滤波框架下的应用。它可以很好地对目标的尺度及旋转变化进行跟踪。本发明通过以下步骤来实现的：

第一步：在初始帧，手动或通过检测方法得到目标子图像及初始状态。该子图像经过分辨率调整后，以列的方式堆成一个向量，记为t∈R^d，作为模板。初始状态即仿射变换矩阵，为 $X_0=\left[\begin{array}{cc}{G}_0& e_0\\ 0& 1\end{array}\right]\∈\mathrm{Aff}\left(2\right),$ 其中G₀为2×2的可逆实矩阵，e₀∈R²为平移向量。置N个粒子

第二步：粒子传播或预测。在第k帧，对上一帧粒子集

根据一阶自回归运动方程 $X_k=X_{k-1}\·\exp (A_{k-1}+d{W}_k\sqrt{\mathrm{\Δt}}),$ $A_{k-1}=a\log \left(X_{k-1}^{-1}{X}_{k-1}\right)$ 得到N个新粒子

第三步：粒子权重估计：对每个粒子对应区域提取特征，即向量化的灰度或RGB特征，记为

模板t用候选特征

线性近似表出， $t\≈a_1{f}_k^1+...a_N{f}_k^N=F_{k}a.$

利用非负最小二乘方法求解。每个粒子对应的权重为

第四步：重采样。对

重采样得到

第五步：目标状态估计。 ${\hat{X}}_k=\left[\begin{array}{cc}{\hat{G}}_k& {\hat{e}}_k\\ 0& 1\end{array}\right],$ 其中

${\hat{G}}_k=G_{k,\max }\·\exp \left({\hat{U}}_k\right),$ ${\hat{U}}_k=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\log \left(G_{k,\max }{G}_k^l\right),$ ${\hat{e}}_k=\frac{1}{N}\underset{l=1}{\overset{N}{\mathrm{\Σ}}}{e}_k$

这里G_k，max为重采样前权重最大的粒子对应的GL(2)部分。

优选地，在第一步中，通过人工或自动方法得到目标模板及仿射变换的初始粒子集合

优选地，在第二步中，所述的在Aff(2)上的一阶自回归运动模型，即预测模型，以此对上一帧粒子集进行传播。

优选地，在第三步中，所述的粒子权重估计。这个和观测模型的设计密切相关。本发明是利用目标模板特征在候选特征张成的空间上的非负投影系数来估计粒子权重，即

优选地，在第四步中，通过重采样去除权重小的粒子，复制权重大的粒子。

优选地，在第五步中，采用最小平方误差估计目标状态，即样本的均值就为目标的状态，所述均值是在Aff(2)上的均值而非传统意义上的均值。

本发明提出了能够适应目标尺度和旋转变化的跟踪方法。模板利用候选者区域信息线性拟合表出，系数受非负约束。模板特征保存有空间和像素信息，能够反映尺度旋转变化。采用的非负最小二乘方法对噪声具有抑制作用。采用的搜索框架为几何粒子滤波。目标的仿射变化是在二维仿射群上实现的。二维仿射群可以反映目标内在的几何变化，具有非常好的几何意义。本发明可用于民用及军用目标跟踪识别系统中。

附图说明

图1-3和图4-6为本发明针对不同图像序列的跟踪结果实例图及误差图，

其中：

图1为图像序列Race1的跟踪结果部分实例图：帧10,60，120,180,240,300（从上到下和左到右）；

图2为图像序列redteam的跟踪结果部分实例图：帧100,200，400，600，800，999（从上到下和左到右）；

图3为图像序列cube的跟踪结果部分实例图：帧10,55，100,145,200,270（从上到下和左到右）；

图4分别为不同方法对图像序列Race1的Precision、Recall和F-Score误差；

图5分别为不同方法对图像序列redteam的Precision、Recall和F-Score误差；

图6分别为不同方法对图像序列cube的Precision、Recall和F-Score误差。

具体实施方式：

下面结合附图对本发明的实施例做详细说明：本实施例在本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例的目的是测试目标存在尺度或旋转变化时的方法的跟踪能力。所采取的途径是在几何粒子滤波框架内，在Aff(2)空间中定义目标的仿射变换，并建立目标仿射变换的运动模型（优选地为一阶自回归运动模型）。对目标的观测模型采用模板的向量化特征用候选区域的向量化特征非负线性表出，系数受非负性约束。所得到的优化问题就是非负最小二乘问题。表出的系数反映候选者与目标模板的相似性，因此可用于定义候选目标的观测似然度。最后跟踪结果利用在Aff(2)空间上的定义的样本均值来计算得到。下面给出具体的方法实施例。

采用Matlab语言实现本发明提供的方法并在实际的视频序列上做测试。在初始帧，目标区域手动选取，目标窗口调整为12×15大小的子图像，然后按照列堆成一个向量，该向量为模板。对所有的候选目标也做类似的工作得到对应的特征向量。视频帧速为15fps或30fps。所采用的比较方法是经典的Kanade-Lucas-Tomasi方法(K-L-T跟踪器)[S.Baker and I.Matthews，Lucas-Kanade 20Years On：A UnifyingFramework，IJCV，vol.56(3)，pp.221-255，2004.]，其代码可从http://www.mathworks.com/matlabcentral/fileexchange/24677-lucas-kanade-afine-template-tracking下载。在跟踪实例图中，红色和蓝色的线框分别代表本发明的方法和K-L-T跟踪器。在误差图中，红色和蓝色的实线条分别代表本发明的方法和K-L-T跟踪器。

第一个视频序列Race1来自于[F.Porikli，O.Tuzel.Covariance Tracking usingModel Update Based on Lie Algebra.CVPR，pp.728-735，2006.]，如图1所示。一辆装载有有摄像机的赛车一会靠近所跟踪的赛车，一会远离该赛车，使得所跟踪赛车尾部存在明显的尺度变化。K-L-T跟踪器对目标仿射运动的倾斜角的估计失败，使得跟踪窗口近似变为一直线。本发明的方法能够很好的估计目标位置，特别是尺度变化。

第二个视频序列redteam可从http://vision.cse.psu.edu/data/vividEval/datasets/datasets.html下载得到，如图2所示。由于摄像机的放大和缩小使得所跟踪的地面车辆存在尺度变化。K-L-T跟踪器能大致捕获目标的中心位置，却对尺度估计跟踪存在偏差。

第三个视频序列cube来自于文[J.Kwon and F.C.Park，Visual tracking viaparticle filtering on the affine group，International Jou rnal of Robotics Research，vol.29，pp.198-217，2010]。在图3中，魔方存在更复杂的仿射运动。本发明方法能很好估计目标的尺度、旋转角和倾斜角。而K-L-T跟踪器不能精确估计目标尺度变化，原因是该方法是基于梯度下降搜索方法，它要求相邻帧间的尺度和角度变化都非常小。本文方法能很好地跟踪该魔方的各种变化。

对目标仿射运动估计来说，本发明利用目标真实区域和跟踪到的目标区域间的三个指标precision，recall，f-score值来衡量方法性能。Precision和recall值计算如下：

$\mathrm{precision}=\frac{\left\{\mathrm{true\; area}\right\}\∩\left\{\mathrm{tracked\; area}\right\}}{\left\{\mathrm{tracked\; area}\right\}}$

$\mathrm{recall}=\frac{\left\{\mathrm{true\; area}\right\}\∩\left\{\mathrm{tracked\; area}\right\}}{\left\{\mathrm{true\; area}\right\}}$

这两个指标给出这些方法如何成功地跟踪完整目标区域的定量度量。关于precision和recall的概要可以用它们的调和平均值描述，称之为f-score。

$F=\frac{2\×\mathrm{precision}\×\mathrm{recall}}{\mathrm{precision}+\mathrm{recall}}$

理想的跟踪结果，要求precision，recall，f-score这三个值接近1。图4-6表明所提方法在跟踪期间能够具有很好的跟踪精度。

Claims (6)

1.一种针对目标尺度变化的视觉目标跟踪方法，其特征在于：包括步骤如下：

第一步：在初始帧，手动或通过检测方法得到目标子图像及初始状态；该子图像经过分辨率调整后，以列的方式堆成一个向量，记为t∈R^d，作为模板；其中，初始状态即仿射变换矩阵，为 $X_0=\left[\begin{array}{cc}{G}_0& e_0\\ 0& 1\end{array}\right]\∈\mathrm{Aff}\left(2\right),$ 其中G₀为2×2的可逆实矩阵，e₀∈R²为平移向量；置N个粒子

第二步：粒子传播或预测，具体为：在第k帧，对上一帧粒子集根据在Aff(2)上的具有一阶自回归的运动方程

$A_{k-1}=a\log \left(X_{k-1}^{-1}{X}_{k-1}\right)$ 得到N个新粒子

第三步：粒子权重估计，具体为：对每个粒子对应区域提取特征，即向量化的灰度或RGB特征，记为

模板t用候选特征

线性近似表出，

利用非负最小二乘方法求解；每个粒子对应的权重为

第四步：重采样，具体为：对

重采样得到

第五步：目标状态估计，具体为： ${\hat{X}}_k=\left[\begin{array}{cc}{\hat{G}}_k& {\hat{e}}_k\\ 0& 1\end{array}\right],$ 其中

${\hat{G}}_k=G_{k,\max }\·\exp \left({\hat{U}}_k\right),$ ${\hat{U}}_k=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\log \left(G_{k,\max }{G}_k^l\right),$ ${\hat{e}}_k=\frac{1}{N}\underset{l=1}{\overset{N}{\mathrm{\Σ}}}{e}_k$

这里G_k，max为重采样前权重最大的粒子对应的GL(2)部分。

2.根据权利要求1所述的针对目标尺度变化的视觉目标跟踪方法，其特征是，在第一步中，通过人工或自动方法得到目标模板及仿射变换的初始粒子集合

3.根据权利要求1所述的针对目标尺度变化的视觉目标跟踪方法，其特征是，在第二步中，所述的在Aff(2)上的一阶自回归运动模型，即预测模型，以此对上一帧粒子集进行传播。

4.根据权利要求1所述的针对目标尺度变化的视觉目标跟踪方法，其特征是，在第三步中，利用目标模板特征在候选特征张成的空间上的非负投影系数来估计粒子权重，即

5.根据权利要求1所述的针对目标尺度变化的视觉目标跟踪方法，其特征是，在第四步中，通过重采样去除权重小的粒子，复制权重大的粒子。

6.根据权利要求1所述的针对目标尺度变化的视觉目标跟踪方法，其特征是，在第五步中，采用最小平方误差估计目标状态，即样本的均值就为目标的状态，所述均值是在Aff(2)上的均值。

Images