CN103714556A - 一种基于金字塔表观模型的运动目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于金字塔表观模型的运动目标跟踪方法，包括：给出待跟踪目标物体在初始帧里面的状态和观测；采用金字塔分割和增量主成分分析的方法对跟踪目标进行金字塔表观建模；在金字塔表观模型中融入跟踪目标的纹理信息；在金字塔表观模型中融入跟踪目标的形状信息；将跟踪目标在当前帧的状态加上随机扰动作为下一帧的粒子，将所得粒子的观测与目标在当前帧的观测分别进行金字塔表观建模并进行比较，选定最为相似的粒子对应的观测作为被跟踪的目标在下一帧的状态；对选定观测的金字塔表观模型从低层至高层逐层计算所有分块的重构误差，并与设定的阈值进行比较，对重构误差小于阈值的分块进行表观更新。

Description

一种基于金字塔表观模型的运动目标跟踪方法

技术领域

本发明涉及计算机视觉领域，特别涉及可视化跟踪(Visual tracking)中的表观建模技术。

背景技术

基于移动摄像机的运动目标跟踪是近年来计算机视觉领域里的前沿研究方向之一，也是该领域中的难点之一。该任务最大的挑战与难点在于如何对目标进行有效地表达，而目标表达大多数是通过对目标表观进行建模来实现的。因此，如何构建一个好的表观模型对目标跟踪起着至关重要的作用。特别是在时序数据流中，目标的表观是随着时间而变化的，同时还可能受到各种因素的干扰。此外，还要满足实际应用的低计算复杂度的要求。这样就给我们提出一个严峻的挑战，那就是如何构建一个低复杂度的、鲁棒的、并且自适应的表观模型，这对目标的运动跟踪是非常重要的。

近年来，利用增量PCA算法对跟踪目标进行子空间学习成为了目标表观建模最有效的方法。该方法可以通过对子空间特征基和均值的在线更新，捕捉目标随时间的变化，达到目标表观在线更新的目的。

发明内容

为了解决现有技术的问题，本发明的目的在于提出一种有效的表观建模方法，以满足移动摄像机的复杂场景下(剧烈运动、光照变化，噪声，部分遮挡，形变等)鲁棒的运动目标跟踪。

为了实现上述目的，本发明提出了一种基于金字塔表观模型的运动目标跟踪方法，包括步骤如下：

步骤1：给出待跟踪目标物体在初始帧里面的状态和观测；

步骤2：采用金字塔分割和增量主成分分析的方法对跟踪目标进行金字塔表观建模；

步骤3：在金字塔表观模型中融入跟踪目标的纹理信息；

步骤4：在金字塔表观模型中融入跟踪目标的形状信息；

步骤5：将跟踪目标在当前帧的状态加上随机扰动作为下一帧的粒子，将所得粒子的观测与目标在当前帧的观测分别进行金字塔表观建模并进行比较，选定最为相似的粒子对应的观测作为被跟踪的目标在下一帧的状态；

步骤6：对选定观测的金字塔表观模型从低层至高层逐层计算所有分块的重构误差，并与设定的阈值进行比较，对重构误差小于阈值的分块进行表观更新。

本发明的有益效果：

1)本发明在增量子空间学习的基础上，引入多尺度分析的思想，对目标进行三层空间金字塔分割，利用目标的空间结构信息建立更加有效的表观模型，不仅保证了有效的目标跟踪，也为后续的特征融合以及选择性表观更新提供了基础。

2)本发明充分利用了金字塔结构，在像素特征的基础上，进一步融合了类Haar特征和PHOG特征，加入了目标的纹理信息和形状信息，对目标进行更加有效地描述，使跟踪结果更加鲁棒。

3)基于本发明中提出的金字塔表观分割的方法，提出了一种新的选择性的表观模型更新方法，该方法能够更加准确有效地捕捉目标的表观变化，保证鲁棒的目标跟踪。

附图说明

图1是本发明提出的基于金字塔表观模型的运动目标跟踪方法流程图；

图2是本发明实施例中金字塔表观分割示意图；

图3是本发明中金字塔表观模型中定义的类Haar特征示意图；

图4是本发明中金字塔表观模型某一层中的某个类Haar特征；

图5是本发明中金字塔表观模型中的PHOG特征示意图；

图6是本发明中采用金字塔表观模型和选择性表观更新的跟踪方法(pyd)与未采用金字塔表观模型的跟踪方法(ivt)在目标姿势变化以及遭受严重遮挡情况下的实验结果图；

图7是上述两种跟踪方法在该视频上的量化对比结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明提出了一种基于金字塔表观模型的运动目标跟踪方法。该方法具体运行的硬件和编程语言并没有限制，用任何语言编写都可以完成，为此其他工作模式不再赘述。优选地，可以采用一台具有3.2G赫兹中央处理器和4G字节内存的计算机并用Matlab语言编制完成基于金字塔表观模型的运动目标跟踪的工作程序，实现本发明提出的上述方法。

图1示出了本发明提出的基于金字塔表观模型的运动目标跟踪方法流程图。如图1所示，该方法包括：

步骤1、给出待跟踪目标物体在初始帧里面的状态和观测；

步骤2、对目标进行金字塔表观建模：采用金字塔分割和增量主成分分析的方法对跟踪目标进行表观建模；

步骤3、在金字塔表观模型中融入跟踪目标的纹理信息：利用表观的金字塔结构，构造类Haar特征来描述目标的纹理信息；

步骤4、在金字塔表观模型中融入跟踪目标的形状信息：利用表观的金字塔结构，融入PHOG特征来描述目标的形状信息；

步骤5、目标跟踪：由每个物体在当前帧的状态加上随机扰动作为下一帧的粒子，并在下一帧里面得到目标的观测值，将这些粒子的观测与目标在当前帧的观测分别进行金字塔表观建模并进行比较，选择最为相似的粒子对应的观测作为被跟踪的目标在下一帧的状态；

步骤6、选择性表观更新：对金字塔表观模型从低层至高层逐层计算所有分块的重构误差，并与设定的阈值进行比较，对重构误差小于阈值的分块进行表观更新，重构误差大于阈值的分块意味着被噪声干扰，则不进行表观更新，保持表观不变。

下面详细介绍本发明公开的上述基于金字塔表观模型的运动目标跟踪方法中各个步骤的具体实现细节。

步骤1中给出待跟踪目标物体在初始帧里面的状态和观测，具体包括：

假定目标在连续两帧图像之间的运动是仿射运动，这样两帧之间的目标仿射运动参数就可以用来表征目标的状态。本发明中采用X^t＝(x^t，y^t，φ^t，s^t，α^t，β^t)这六个参数来表示目标在t时刻的状态，其中，x^t和y^t表示目标相对于上一时刻的状态在二维平面上的平移位置信息，φ^t表示目标的旋转角度，s^t表示目标的尺度变化，α^t表示目标的长宽比的变化，β^t表示长宽之间的角度变化。在初始帧里面，给出一个紧致的包围框框住待跟踪的目标物体，根据目标物体的位置、宽度、高度、倾斜角度等，得到目标的初始状态X¹＝(x¹，y¹，φ¹，s¹，α¹，β¹)。提取包围框内的图像信息，作为目标物体在初始帧中的观测Y₁。该图像信息可以是经常使用的像素灰度值信息，也可以是本发明引入的类Haar特征和PHOG特征。得到目标物体在初始帧中的状态和观测之后，在初始状态X¹上面加上一组服从高斯分布的随机扰动，作为在下一帧里面的一组粒子，并提取出这些粒子在下一帧图像里面对应的观测，运用模板匹配的方法得到初始m帧的粗略跟踪结果，即运用模板匹配的方法得到与上一帧目标的观测最相似的粒子作为当前帧的粗略跟踪结果。

步骤2中对目标进行金字塔表观建模，具体是采用金字塔分割和增量主成分分析的方法对跟踪目标进行表观建模：

通过初始化，已经得到了被跟踪的目标物体在初始m帧里面的状态，本发明优选实施例中将这m帧图像里的目标物体图像区域用插值的方法规整到32×32的模板{I₁，I₂，…，I_i，…，I_m}，每个模板I为32×32的像素灰度值矩阵，以便于对大小相同的模板进行多层金字塔分割。

图2示出了本发明实施例中金字塔表观分割示意图。如图2所示，本实施例中，以三层金字塔分割为例说明。第l＝0层为跟踪目标物体本身；第l＝1层为将目标物体分成2×2＝4个大小相等的子块，由于目标物体图像区域被规整到32×32的大小，因此每个子块的大小为16×16；第l＝2层为将l＝1层中的每块再分为2×2＝4个大小相等的子块，即一共为4×4＝16个子块，每个子块的大小为8×8。金字塔表观模型也可以根据需要分成多层，本发明优选实施例中进行的是三层金字塔分割。

金字塔分割之后，再利用高斯核函数对金字塔每层中的每个子块给予不同的权重，层与层之间处于较高层级的子块具有较大的权重，同一层中靠近中间部分的子块具有较大的权重。

最后，再利用主成分分析(PCA)算法，对金字塔每层每个分块学习一个低维的子空间表观。假设金字塔分割后一共有n个分块，以第j个分块为例，PCA算法通过对目标初始所有m帧图像里第j个分块{I₁ ^j，I₂ ^j，…，I_m ^j}进行学习，求出它们的平均图像

同时求出协方差矩阵

然后用协方差矩阵的特征向量U^j作为低维子空间的基向量。或者，也可以通过对图像矩阵

进行奇异值分解

来得到子空间的基向量U^j，其中U^j和V_j都是正交矩阵。这样就可以对金字塔的n个分块各学到一个分别以U¹，U²，…，U^j，…，Uⁿ为基向量的子空间表观，通过这些基向量U¹，U²，…，U^j，…，Uⁿ可以分别重构出金字塔的每个分块，即所建立的金字塔表观模型为分别以U¹，U²，…，U^j，…，Uⁿ为基向量的子空间。

由于跟踪目标的表观很可能因为一些内在因素或外在因素而发生剧烈变化，如以人脸为例：头的转动或表情变化等。因此，在线更新表观模型来反映这些表观变化对一个鲁棒的跟踪器来说是非常重要的。随着跟踪程序的运行，每一帧新来的图像都会有新的观测被确定为跟踪结果。当这些新的观测加入时，利用增量PCA算法，通过在线更新子空间的特征基和均值，更新目标表观。

步骤3中在金字塔表观模型中融入跟踪目标的纹理信息，具体为利用表观的金字塔结构，构造类Haar特征来描述目标的纹理信息：

在本发明优选实施例中的金字塔表观模型中，除了基于跟踪目标的原始像素灰度值特征，用PCA算法建立以U¹，U²，…，Uⁿ为基的子空间表观，描述目标的亮度信息；还利用金字塔特有的结构构造了一种类Haar特征，用同样的方法建立另一组以U¹ _Haar，U² _Haar，…，Uⁿ _Haar为基的子空间表观，来描述目标的纹理信息，更加全面地刻画目标。

类Haar特征是由Haar小波变换得到的，它通过一幅图像内相邻区域的灰度差，也就是亮度关系来描述目标，反应了图像的局部纹理特征。利用快速计算矩形特征的积分图像，可以快速地计算类Haar特征。

由所述金字塔表观模型知，跟踪目标已经经过层层分割，每一层的每个分块中都包含四个大小相等的子块，这些子块就自然地形成了相邻图像区域，可以用它们各自像素值之和之间的差分来构造类Haar特征。

图3示出了本发明中金字塔表观模型中定义的类Haar特征示意图。本发明对金字塔每一层的每个图像分块，定义六种类Haar特征。如图3所示，所述六种类Haar特征分别是：横向两个相邻子块像素值和之差，如图3(a)和(b)所示；纵向两个相邻子块像素值和之差，如图3(c)和(d)所示；对角线两个子块像素值和之差，如图3(e)和(f)所示，总共六种类Haar特征。

利用以上构造的金字塔表观模型中每个分块的六种类Haar特征，可以逐层构造整个跟踪目标的类Haar特征。

图4示出了本发明中金字塔表观模型某一层中的某个类Haar特征。如图4所示，图4(a)为金字塔第l＝1层的第一种类Haar特征，(b)为金字塔第l＝1层的第五种类Haar特征，(c)为金字塔第l＝2层的第一种类Haar特征。金字塔第l＝0层的类Haar特征数目为6，第l＝1层的类Haar特征数目为6×4¹，第l＝n层的类Haar特征数目为6×4ⁿ。按金字塔层级由高到低，每层中子块顺序从左至右、从上至下，每个子块中六种特征按定义的先后顺序，将所有的类Haar特征组成特征向量，表示如下：

${\mathrm{Feature}}_{\mathrm{Haar}}=(h_{l_0}^1,h_{l_0}^2,h_{l_0}^3,h_{l_0}^4,h_{l_0}^5,h_{l_0}^6;h_{l_1}^1,h_{l_1}^2,h_{l_1}^3,...,h_{l_1}^{6\×4^1},$

$h_{l_2}^1,h_{l_2}^2,h_{l_2}^3,...,h_{l_2}^{6\×4^2};h_{l_3}^1,h_{l_3}^2,h_{l_3}^3,...,h_{l_3}^{6\×4^3})$

此类Haar特征向量在基于金字塔表观模型的目标跟踪中作为像素值特征的补充，反映了跟踪目标的纹理特征，更充分地利用了目标的表观信息，使跟踪结果更加有效。

所述子空间基向量U¹ _Haar，U² _Haar，…，Uⁿ _Haar使用与步骤2同样的方法进行计算，只不过计算使用的图像特征I为类Haar特征组成的特征向量。

步骤4中在金字塔表观模型中融入跟踪目标的形状信息，具体为利用表观的金字塔结构，融入PHOG特征来描述目标的形状信息：

在本发明优选实施例中的金字塔表观模型中，除了使用像素灰度值特征和类Haar特征描述跟踪目标的亮度信息和纹理信息，还可以很自然地利用表观模型的金字塔结构，加入金字塔梯度方向直方图(PHOG)特征，用PCA算法建立一组以U¹ _PHOG，U² _PHOG，…，Uⁿ _PHOG为基的子空间表观，来描述跟踪目标的形状信息。

金字塔梯度方向直方图(PHOG)是利用空间金字塔的方法来统计梯度方向直方图(HOG)特征。HOG本身反映了图像的形状信息、边缘信息，在利用空间金字塔统计的时候，本发明中又得到了形状信息的空间分布，从而使描述目标的特征更加丰富和精确。PHOG将一幅图像表示为既包含局部形状信息，又包含形状空间分布的一个直方图。局部形状信息是通过计算局部图像区域的梯度，统计梯度方向分布得到的；而空间信息是通过将图像不断分块，也就是在不同的分辨率下统计图像梯度方向分布。

具体地说，首先对目标图像分层分块地建立金字塔表观，然后分层次地在每个分块上计算图像梯度，通过统计梯度方向建立HOG特征直方图，最后将这些直方图首尾链接起来组成PHOG特征的向量，使用与像素灰度特征和类Haar特征相同的方法建立一组以U¹ _PHOG，U² _PHOG，…，Uⁿ _PHOG为基的子空间表观。

图5示出了本发明中金字塔表观模型中的PHOG特征示意图。如图5所示，(a)为输入图像，即待跟踪的目标；(b)为输入图像PHOG直方图，由金字塔l＝0，1，2三层的直方图向量(f)，(g)，(h)首尾链接而成；(c)为金字塔l＝0层的边缘图像；(d)为金字塔l＝1层的边缘图像；(e)为金字塔l＝2层的边缘图像；(f)为l＝0层的梯度方向直方图；(g)为l＝1层的梯度方向直方图；(h)为l＝2层的梯度方向直方图。对于空间金字塔的第l层，沿着图像的每一维有2^l个分割，那么该层就可以被分为4^l个块。如果l＝0层可以用K维的HOG特征来表示的话，即K维向量，那么l＝1层就可以表示为4×K维向量，第l层可以表示为4^l×K维向量，整个图像的PHOG描述子的维数为K×∑4^l。

所述子空间基向量U¹ _Haar，U² _Haar，…，Uⁿ _Haar使用与步骤2同样的方法进行计算，只不过计算使用的图像特征I为PHOG特征向量。

在本发明提出的基于金字塔表观模型的目标跟踪方法中，使用了包含形状信息的PHOG特征，与像素灰度值特征、类Haar特征融合，使目标跟踪更加鲁棒，效果更加精确。

步骤5中目标跟踪，具体为由每个物体在当前帧的状态加上随机扰动作为下一帧的粒子，并在下一帧里面得到目标的观测值，将这些粒子的观测与目标在当前帧的观测分别进行金字塔表观建模并进行比较，选择最为相似的粒子对应的观测作为被跟踪的目标在下一帧的状态。

目标跟踪就是在下一帧寻找与当前帧最佳的匹配，之前已经对跟踪目标建立了金字塔表观模型。在当前帧的状态上面加上一组服从高斯分布的随机扰动，作为在下一帧里面的K个粒子。找出这些粒子在下一帧图像里面对应的观测值，进行金字塔表观建模，并提取每个分块的像素灰度值特征、类Haar特征和PHOG特征来描述运动目标的亮度信息、纹理信息和形状信息，分别用F₁，F₂，F₃表示。对于任一粒子，假设金字塔分割后一共有n个分块，则第j个分块在第i种特征下与目标物体的重构误差re_ij为：

${\mathrm{re}}_{\mathrm{ij}}={\left|\right|(F_i-\stackrel{\‾}{F_i})-U_i^j{U}_i^{\mathrm{jT}}(F_i-\stackrel{\‾}{F_i})\left|\right|}^2$

其中，

为已经学到的第i种特征下第j个分块的子空间表观的基向量。这样，该粒子的第j个分块在第i种特征下与目标物体的相似度s_ij为：

s_ij∝exp(-re_ij)

则该粒子与目标物体的相似度为三种特征F₁，F₂，F₃下的相似度之和，其中每种特征的相似度为金字塔所有n个分块的相似度之积。最终，每个粒子与目标物体的相似度为：

$s\∝\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Π}}}{s}_{\mathrm{ij}}\∝\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Π}}}\exp (-{\mathrm{re}}_{\mathrm{ij}})$

假定目标在连续两帧图像之间的运动是仿射运动，这样两帧之间的目标仿射运动参数就可以用来表征目标的状态X^t＝(x^t，y^tφ^t，s^t，α^t，β^t)。其中，x^t，y^t，φ^t，s^t，α^t，β^t分别表示位置、旋转角、尺度、纵横比和倾斜方向。对于所有K个粒子对应的观测值

使用粒子滤波器来找出最相似的粒子作为目标在下一帧的状态，即通过贝叶斯推导计算目标状态的后验概率p(X^t|Y_t)：

$p\left(X^t\right|Y_t)\∝p\left(Y_t^k\right|X^t)\∫p\left(X^t\right|X^{t-1})p\left(X^{t-1}\right|Y_{t-1}){\mathrm{dX}}^{t-1}$

其中，p(X^t-1|Y_t-1)为t-1时刻的目标状态的后验概率，在t-1时刻已经求得，在这里为已知。

表示在给定目标状态X^t的情况下第k个粒子的观测值

发生的概率，它与前面求得的粒子与物体的相似度s成正比。p(X^t|X^t-1)表示目标状态动态转移概率模型，即从目标状态X^t-1到X^t的转移概率，在实验中，目标状态动态转移概率模型被假定为高斯模型，即：

p(X^t|X^t-1)＝N(X^t；X^t-1，∑)

其中，N(X^t；X^t-1，∑)为一个以X^t-1为均值，∑为协方差矩阵的高斯函数。t-1时刻的目标状态X^t-1为该高斯模型的均值；∑表示一个对角协方差矩阵，其六个对角元素分别为目标状态六个参数的方差

这样，通过粒子滤波器贝叶斯推导的最大后验估计(MAP)，寻找后验概率最大的粒子，即最相似的粒子作为目标在下一帧的状态。

步骤6中选择性表观更新，具体为对金字塔表观模型从低层至高层逐层计算所有分块的重构误差，并与设定的阈值进行比较，对重构误差小于阈值的分块使用增量PCA算法进行表观更新，重构误差大于阈值的分块意味着被噪声干扰，则不进行表观更新，保持表观不变。

表观更新对于跟踪来讲有着很重要的意义，因为在线地学习目标表观的变化，能够为跟踪提供实时的最新的目标，对目标跟踪中的光照变化，姿态变化，遮挡等干扰具有鲁棒的效果。对于光照变化，姿态变化等，都是一种全局的变化，这时需要对表观进行全局的更新。但对于遮挡这种情况，一般是局部遮挡到严重遮挡，这时候如果对表观进行全局更新的话，则会从被遮挡的地方引进很大的噪声，这样，在目标从遮挡中出来时，这些引进的噪声很容易导致丢失目标。所以，对于诸如遮挡等局部变化下的表观更新，就不能采取全局更新的策略。这时就可以利用金字塔表观模型，对每个分块进行选择性的局部更新。具体的，对金字塔从低层至高层逐层计算各个分块的观测值对当前表观的重构误差，对重构误差小于设定阈值的分块进行表观更新，对重构误差大于设定阈值的分块则不进行表观更新，同时，对高层级中包含这些子块的分块也不进行表观更新。

这样就可以对金字塔从低层至高层对各个分块进行选择性地表观更新，既能保证对由于光照，姿态变化等引起的目标的表观变化进行学习，同时还能避免对由于遮挡引起的目标表观变化进行错误的学习。

图6示出了本发明中采用金字塔表观模型和选择性表观更新的跟踪方法(pyd)与未采用金字塔表观模型的跟踪方法(ivt)在目标姿势变化以及遭受严重遮挡情况下的实验结果图。如图6所示，第二行为pyd的跟踪结果，与第一行ivt的跟踪结果相比，效果要好很多。

图7示出了上述两种跟踪方法在该视频上的量化对比结果。如图7所示，横轴为视频的帧数，纵轴为跟踪误差，采用金字塔表观模型的跟踪方法(pyd)的跟踪误差明显小于未采用金字塔表观模型的跟踪方法(ivt)。尤其在550帧至700帧跟踪目标遭受严重遮挡时，pyd的跟踪误差远远小于ivt。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于金字塔表观模型的运动目标跟踪方法，其包括以下步骤：

步骤1：给出待跟踪目标物体在初始帧里面的状态和观测；

步骤2：采用金字塔分割和增量主成分分析的方法对跟踪目标进行金字塔表观建模；

步骤3：在金字塔表观模型中融入跟踪目标的纹理信息；

步骤4：在金字塔表观模型中融入跟踪目标的形状信息；

步骤5：将跟踪目标在当前帧的状态加上随机扰动作为下一帧的粒子，将所得粒子的观测与目标在当前帧的观测分别进行金字塔表观建模并进行比较，选定最为相似的粒子对应的观测作为被跟踪的目标在下一帧的状态；

步骤6：对选定观测的金字塔表观模型从低层至高层逐层计算所有分块的重构误差，并与设定的阈值进行比较，对重构误差小于阈值的分块进行表观更新。

2.按照权利要求1所述的运动目标跟踪方法，其特征在于，步骤1具体包括：

步骤11：将跟踪目标在初始帧中的位置信息、旋转角度、尺度、长宽比、长宽之间的角度作为初始状态，将跟踪目标的图像信息作为物体的观测；

步骤12：运用模板匹配的方法得到接下来m帧的粗略跟踪结果，作为初始m帧的状态，m为大于1的自然数。

3.按照权利要求1所述的运动目标跟踪方法，其特征在于，步骤2中对目标进行金字塔表观建模，包括步骤如下：

步骤21：对初始m帧中的跟踪目标图像进行三层金字塔分割；

步骤22：利用高斯核函数对金字塔每一层中的每个子块分配不同的权重；

步骤23：利用主成分分析算法，对金字塔每层每个分块学习一个低维的子空间表观，并用增量主成分分析算法在线更新所述子空间的特征基和均值，进而在线更新跟踪目标的表观模型。

4.按照权利要求3所述的运动目标跟踪方法，其特征在于，步骤23中所述子空间表观的基向量如下获得：

步骤231：根据所述初始m帧中跟踪目标的图像的每个分块求出其对应的图像平均值；

步骤232：根据所述图像平均值求出每个分块对应的协方差矩阵；

步骤233：将所述协方差矩阵的特征向量作为一个低维子空间的基向量。

5.按照权利要求1所述的运动目标跟踪方法，其特征在于，步骤3中在金字塔表观模型中融入跟踪目标的纹理信息，包括步骤如下：

步骤31：利用跟踪目标的金字塔表观模型，对每个分块按顺序构造六种类Haar特征；

步骤32：按金字塔层级由高到低，每层中分块顺序从左至右、从上至下，每个分块中六种特征按定义的先后顺序，将所有的类Haar特征组成特征向量；

步骤33：利用所述类Haar特征组成特征向量进行学习得到一组类Haar特征对应的低维子空间的基向量。

6.按照权利要求5所述的运动目标跟踪方法，其特征在于，所述六种类Haar特征分别是：横向两个相邻分块像素值和之差，纵向两个相邻分块像素值和之差，对角线两个分块像素值和之差。

7.按照权利要求1所述的运动目标跟踪方法，其特征在于，步骤4中在金字塔表观模型中融入跟踪目标的形状信息，包括步骤如下：

步骤41：利用跟踪目标的金字塔表观，分层分块地在每块图像上统计HOG特征直方图；

步骤42：将每个分块的HOG特征直方图按金字塔层级由高到低，每层中子块从左至右、从上至下的顺序连接起来，组成PHOG特征向量；

步骤43：利用所述PHOG特征向量进行学习得到一组PHOG特征对应的低维子空间的基向量。

8.按照权利要求1所述的运动目标跟踪方法，其特征在于，步骤5包括步骤如下：

步骤51：将每个跟踪目标在当前帧的状态上加上随机扰动，作为该物体在下一帧里面的粒子；

步骤52：将这些粒子的观测与跟踪目标在当前帧的观测分别进行金字塔表观建模并进行比较，选择最为相似的粒子对应的观测作为被跟踪的目标在下一帧的状态。

9.按照权利要求8所述的运动目标跟踪方法，其特征在于，步骤52中与跟踪目标在当前帧的观测最为相似的粒子为如下所示后验概率最大的粒子：

$p\left(X^t\right|Y_t)\∝p\left(Y_t^k\right|X^t)\∫p\left(X^t\right|X^{t-1})p\left(X^{t-1}\right|Y_{t-1}){\mathrm{dX}}^{t-1}$

其中，p(X^t-1|Y_t-1)为t-1帧的目标状态的后验概率，

表示在给定第t帧跟踪目标状态X^t的情况下第k个粒子的观测值

发生的概率，其与粒子的观测和跟踪目标在t-1帧的观测相似度s成正比；p(X^t|X^t-1)表示跟踪目标状态的转移概率，从目标状态X^t-1到X^t的转移概率，如下计算：

p(X^t|X^t-1)＝N(X^t；X^t-1，∑)

其中，N(X^t；X^t-1，∑)为一个以X_t-1为均值，∑为协方差矩阵的高斯函数；t-1帧的目标状态X^t-1为该高斯模型的均值；∑表示一个对角协方差矩阵，其六个对角元素分别为目标状态平移位置信息、旋转角度、尺度变化、长宽比变化、长宽之间的角度变化的方差

10.按照权利要求9所述的运动目标跟踪方法，其特征在于，所述粒子的观测和跟踪目标在t-1帧的观测相似度s如下计算：

$s\∝\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Π}}}{s}_{\mathrm{ij}}\∝\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Π}}}\exp (-{\mathrm{re}}_{\mathrm{ij}})$

其中，i为像素灰度值特征、类Haar特征和PHOG特征三种特征之一，n为所有分块数目，s_ij是粒子的第j个分块在第i种特征下与跟踪目标的相似度，re_ij是粒子的第j个分块在第i种特征下与跟踪目标的重构误差，如下计算：

${\mathrm{re}}_{\mathrm{ij}}={\left|\right|(F_i-\stackrel{\‾}{F_i})-U_i^j{U}_i^{\mathrm{jT}}(F_i-\stackrel{\‾}{F_i})\left|\right|}^2$

其中，

为已经学到的第i种特征下第j个分块的子空间表观的基向量，F_i为每个分块的第i种特征，

为每个分块的第i种特征的均值。

Images