CN102750522B - 一种目标跟踪的方法 - Google Patents

Abstract

本发明提供了一种目标跟踪的方法，首先检测初始跟踪区域；然后，初始化系统状态，建立带有高斯噪声的系统递推状态模型并建立系统状态模型；从视频中读入新帧，并灰度化、向量化；采样形成t时刻的粒子状态xt，使用主成分分析法，从t时刻的粒子状态中提取特征，并计算特征距离以及粒子组中每个粒子的权值；根据每个粒子的权值计算这组粒子的权值均方误差，根据均方误差大小决定是否重采样，如果不进行重采样，则选择最优粒子输出，在视频中显示出最优跟踪结果。通过本发明的方法，避免了过度重采样导致的粒子退化和粒子贫化，提高了跟踪精度和鲁棒性。适于应用在视频或序列图像中的目标跟踪、多障碍物的目标跟踪和复杂背景下的人脸跟踪中。

Description

一种目标跟踪的方法

技术领域

本发明涉及图像领域，更具体的说，涉及目标跟踪领域。

背景技术

复杂背景下的目标跟踪技术是计算机视觉领域的核心研究课题之一，它包含了计算机图形学、目标识别、人工智能以及自动控制等多方面技术。目前的多种跟踪算法，如光流法、卡尔曼滤波方法等，均无法满足跟踪精度要求，而粒子滤波方法在解决非线性，非高斯问题上要优于其它跟踪方法。但是，基本的粒子滤波算法需要不断的重采样，最终导致粒子退化和样本贫化，难以达到目标跟踪要求；并且，基本的粒子滤波算法无法实现对复杂背景下的目标跟踪。为了更有效的使粒子滤波算法应用到目标跟踪领域，有必要将传统的粒子滤波算法进行优化和改进，以适应复杂系统中的目标跟踪。

粒子滤波器主要由J.M.Hammersley提出的序贯重要性采样方法(Hammersley J.M.Monte Carlo Methods.New York：Methuen′s Monographs，1964)和Gordon提出的重采样方法(Gordon N.J，Salmond D.J.Smith A.M.Novel approach to nonlinear，non-gaussian Bayesian stateestimation，In JEEE Proceedings on Radar and Sjgnal Processing，1993，140：107-113)发展而来，其主要思想是通过寻找一组在状态空间传播的粒子，用已有状态空间的粒子的概率分布来估计最新状态的粒子分布，进而用最新粒子分布近似最新状态，并保证该状态的估计误差最小。粒子滤波器的估计精度与粒子数目成正比。粒子的数目越多，粒子的概率密度函数越接近状态的概率密度函数。

粒子滤波方法自1964年被提出以来，在学术界得到了深入研究和广泛应用，研究者提出了很多改进算法。1998年，Liu提出了序贯重要采样粒子滤波器(Liu J.S，Chen R.Sequential Monte-Carlo Methods for DynamicSystems.Journal of the American Statistical Association，1998，93(443)；1032-1044)，引入了残差重采样方法，提供了一个解决在线的蒙特卡罗动态系统的计算框架。1999年，Carpenter提出了分层重要性采样算法。该算法对重采样算法进行改进，将无序的随机数变成有序，并把粒子限定在不同的区间内，保证了粒子的多样性，改善了粒子退化现象。2008年，Sang提出了一种自适应的粒子滤波器(Sang H.P，Young-Joong Kim，Hoo-Cheol Lee，et al.Improved Adaptive Particle Filter Using AdjustedVariance and Gradient Data.Proceedings of IEEE InternationalConference on Multisensor Fusion and Integration for IntelligentSystems，seoul，Korea，2008.8(20-22)：650-655)，旨在动态调整系统状态中的粒子数目。当目标跟踪比较准确的时候，适当的减少粒子；当跟踪误差较大的时候，使用较多的粒子。这种滤波器虽然有较好的跟踪精度，但实现起来非常复杂，并且自适应门限难以控制。还有很多学者致力于粒子滤波算法优化方面的研究，但都无法避免粒子退化和粒子贫化现象，对复杂背景下的目标跟踪精度不高，应用范围有限。

粒子滤波方法在国内的研究开始稍晚，但由于对实时复杂背景下的目标跟踪的迫切要求，也吸引了众多研究人员使用粒子滤波方法从事目标跟踪方法的研究。2006年，邹国辉等提出了基于优化组合重采样的粒子滤波算法(邹国辉，敬忠良.基于优化组合重采样的粒子滤波算法.上海交通大学学报，2006，50(7)：1135-1139)。该算法通过选取粒子和被抛弃粒子的适当线性组合而产生新的粒子，增加了粒子多样性，从而克服了粒子的贫化，提高了粒子滤波算法的精度。2011年，李宏伟等提出了一种基于差分演化的粒子滤波算法(李宏伟，王俊，王海涛.一种基于差分演化的粒子滤波算法.电子与信息学报，2011，33(7)：1639-1643)。该算法将重要性采样得到的粒子当作差分演化的样本，用粒子的权重作为样本的适应度函数，对粒子做差分变异、交叉、选择等迭代优化，最后得到最优粒子点集。同年，钱翔等(钱翔，李新华，刘波等.改进的粒子滤波器目标跟踪方法.计算机工程与设计.2011，32(1)277-280)提出一种新的目标模型的改进方法，该方法将目标的颜色特征和不变矩特征相融合，粒子权重由两种特征的欧式距离加权生成，提高了跟踪的准确度。2012年，左军毅等提出一种自适应不完全重采样粒子滤波器(左军毅，张怡哲，梁彦.自适应不完全重采样粒子滤波器.自动化学报.2012，38(4)：647-650)，以分步的方式对部分粒子进行了重采样，以递推的方式计算表征粒子退化程度的度量函数，重采样后的粒子由新粒子和未参与重采样的粒子组成，减缓了粒子的退化，使粒子集具备了良好的多样性。

综合国内外研究现状，基于粒子滤波的目标跟踪还有许多不足之处，主要体现在这些成果都不能很好的解决复杂背景下的目标跟踪，跟踪精度和鲁棒性不能满足要求。实用的目标跟踪大多是在复杂环境下的，而目前的粒子滤波方法对复杂环境的处理没有良好的方法，当前的主要研究还停留在优化系统状态和优化重采样方法上。

发明内容

针对上述问题，本发明的研究重点在于用基于主成分分析的粒子滤波实现精确目标跟踪。

本发明提出了一种目标跟踪的方法，包括以下步骤：

步骤1：基于颜色、形状信息检测初始跟踪区域；

步骤2：初始化系统状态，建立带有高斯噪声的系统递推状态模型并建立系统状态模型，以状态方程表示为x_t+1＝f(x_t)+Gnoise，其中其中f(x_t)为状态转移函数，Gnoise表示带有自由度的高斯噪声，x_t、x_t+1分别表示t、t+1时刻的粒子状态；

步骤3：从视频中读入新帧，并将新帧灰度化、向量化；

步骤4：从分布x_t～p(x_t|x_t-1)中采样，形成t时刻的粒子状态x_t；

步骤5：使用主成分分析法，从t时刻的粒子状态中提取特征，并计算样本到特征空间的距离DFFS和样本在特征空间内部的距离DIFS，然后依公式：计算粒子组中每个粒子的权值，并根据公式(i＝1，2，....N)对这组粒子权值进行标准化，其中N为粒子数；

步骤6：根据每个粒子的权值计算这组粒子的权值均方误差，根据均方误差大小决定是否重采样：如果重采样，将粒子按权值从大到小依次排序，选取半数大权值粒子分散，舍弃另外半数小权值粒子，形成一组新的粒子，之后返回步骤5；如果不进行重采样，则选择最优粒子输出，在视频中显示出最优跟踪结果，并根据x_t+1＝f(x_t)+Gnoise计算下一时刻的每个粒子的状态；

步骤7：判断是否有新帧，若有新帧，更新t＝t+1并转步骤3；否则保存结果视频后结束。

进一步，步骤5中所述主成分分析法具体包括：

(5.1)图像向量化：特征空间具有k幅图像，每幅图像共有m个像素，将k幅图像进行灰度化处理，使第i幅图像的第1个像素的值x_ij在0到255之间，其中i＝1，2...k，j＝1，2...m，每一幅图像为一个样本，以行序优先为原则生成该图像的灰度值组成的列向量，将k幅图像所对应的k个样本值排列成k×m的矩阵形式的样本空间

$\left\{\begin{array}{ccccc}{x}_{11}& x_{21}& x_{31}& ......& x_{k1}\\ x_{12}& x_{22}& x_{32}& ......& x_{k2}\\ x_{13}& x_{23}& x_{33}& ......& x_{k3}\\ .& .& .& & .\\ .& .& .& & .\\ x_{1m}& x_{2m}& x_{3m}& ......& x_{\mathrm{km}}\end{array}\right\};$

(5.2)计算上述矩阵的特征协方差矩阵；

(5.3)求特征值，并据此对前n个较大特征值对应的对特征向量组成向量组，并正交归一化得到向量组U^T＝[u₁，u₂.....u_n]，其中u_n称为主成分分量。

进一步，当所述目标为人脸时，步骤1中所述的检测初始跟踪区域具体包括：

(1.1)使用YC_bC_r色彩空间作为检测空间，根据从聚类中得到的人脸的肤色的色彩门限135≤C_r≤172且90≤C_b≤127，在视频中寻找被跟踪目标出现的第一帧，并将初始跟踪区域的长宽分别设置为8像素和20像素，忽略长宽分别小于8像素和20像素的目标，当视频的某一帧出现满足要求的区域时，表示被跟踪目标出现；如果当前帧没有出现被跟踪目标，则继续提取下一帧；

(1.2)修正初始跟踪区域，采用长宽比为8∶20的矩形对(1.1)中得到的区域进行扩展，按照上述门限对此矩形不断的复制和平移，平移后的矩形之间可能存在包含和重叠的关系，当一个矩形完全包围另一个矩形时，抛弃内部的矩形；当两个矩形的边界接触或两个矩形出现重叠时，用这两个矩形的公共外接矩形来代替这两个矩形，用此方法对输入的每一帧进行处理，直到发现目标人脸并界定初始跟踪区域。

进一步，步骤5中所述计算样本到特征空间的距离DFFS和样本在特征空间内部的距离DIFS具体为， ${\mathrm{DIFS}=U}^T(X-\stackrel{\‾}{x}),$ $\mathrm{DFFS}=\sqrt{{(X-\stackrel{\‾}{x})}^2-{\mathrm{DIFS}}^2},$ 其中X表示目标样本，计算上述样本空间的每一行的均值得到特征均值向量 $\stackrel{\‾}{x}={\left[{\stackrel{\‾}{x}}_j\right]}^T={[{\stackrel{\‾}{x}}_1,{\stackrel{\‾}{x}}_2......{\stackrel{\‾}{x}}_m]}^T,$ 第j行的均值 ${\stackrel{\‾}{x}}_j=\frac{1}{k}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}.$

进一步，所述粒子状态的信息包括目标矩形区域中心点位置、区域的宽高信息以及目标区域的底边与水平方向的夹角。

通过本发明提出的方案，避免了过度重采样导致的粒子退化和粒子贫化，提高了跟踪精度和鲁棒性。适于应用在视频或序列图像中的目标跟踪、多障碍物的目标跟踪和复杂背景下的人脸跟踪中。

附图说明

图1为主成分分析算法流程图。

图2为样本X到样本空间的投影示意图。

图3为本发明的基于主成分分析粒子滤波方法的流程图。

图4为本发明的目标跟踪方法的流程图。

图5为无障碍物时的目标跟踪结果图。

图6为单个障碍物时的目标跟踪结果图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

以下以人脸目标检测为例进行说明，本发明的方法也可以适用于其它目标检测中，只要针对该目标事先建立相应的样本空间。

首先说明本发明主要涉及以下6个重要环节。

1、使用加权平均法对图像进行灰度化处理、图像一维化

视频又称图像序列，对视频的处理可以分解成对图像序列的处理。本发明首先使用加权平均法对图像进行灰度化处理，然后以行为主序，再对灰度图像进行一维化处理。

(1)加权平均法的图像灰度化处理

现实生活中，人眼对绿色的敏感度最高，对蓝色的敏感度最低，将R、G、B三个分量赋予不同的权值得到较合理的灰度图像，例如，一种出加权平均公式可以如下：

f(i，j)＝0.30R(i，j）+0.59G(i，j)+0.11B(i，j)

其中R、G、B代表三个颜色分量，(i，j)，代表该点在图像中的位置，f(i，j)代表(i，j)位置的灰度值。

(2)一维化

获取图像的灰度后，得到的图像数据是二维矩阵形式：

$\left\{\begin{array}{ccccc}{x}_{11}& x_{21}& x_{31}& ......& x_{k1}\\ x_{12}& x_{22}& x_{32}& ......& x_{k2}\\ x_{13}& x_{23}& x_{33}& ......& x_{k3}\\ .& .& .& & .\\ .& .& .& & .\\ x_{1m}& x_{2m}& x_{3m}& ......& x_{\mathrm{km}}\end{array}\right\}$

其中k表示图像水平方向上的像素点的个数，也就是矩阵列数；m表示垂直方向上的像素点的个数，也就是矩阵行数；x(i，j)表示横坐标为i、纵坐标为j的像素点的灰度值。将此矩阵以行为主序，转化成一维向量的形式如下：

x₁＝[x₁₁，x₂₁，x₃₁......x_k1，x₁₂，x₂₂，......x_k2，......，x_km]

2、建立带有自由度的高斯状态方程和初始化粒子状态

粒子滤波方法是一种基于递推贝叶斯后验概率理论的序贯蒙特卡罗方法，该方法的实质是使用一系列随机抽取的粒子带来代替状态的后验概率分布，然后不断从该分布中抽样的过程。其中贝叶斯后验概率理论用于建立递推模型，通过该模型可以不断的用当前时刻的分布来估计下一时刻的分布。

首先，定义贝叶斯递推模型如下：

系统状态方程：x_k＝f_k-1(x_k-1，m_k)

观测状态方程：y_k＝h_k-1(y_k，n_k)

其中，x_k是k时刻的系统状态，即粒子的分布状态，m_k是k时刻的系统噪声，y_k是k时刻的观测状态，n_k是k时刻的观测状态噪声。贝叶斯递推的目的就是通过前k个时刻的观测量和前k-1个时刻的系统状态，来估计第k时刻的系统状态。下面给出递推估计的模型：

预测方程：p(x_n|y₁，y₂......y_n-1)＝∫p(x_n|x_n-1)p(x_n|y₁，y₂......y_n-1)dx_n-1

更新方程： $p\left(x_n\right|y_1,y_2.....y_n)=\frac{p\left(y_n\right|x_n)p\left(x_{n-1}\right|y_1,y_2.....y_{n-1})}{p\left(y_n\right|y_1{,y}_2.....y_{n-1})}$

其中，预测方程是通过前n-1个时刻的观测值估计当前系统状态的先验概率；更新方程是当第n个观测值到来时，估计当前系统状态的后验概率。

其次，建立粒子模型。本发明使用的粒子模型包括目标矩形区域中心点的位置(x，y）和区域的宽高(w，h），为了增加跟踪的鲁棒性，在粒子状态信息中加入角度信息，角度值θ是目标区域的底边与水平方向的夹角，初始角度为零度。由此得出第i个粒子的状态Stateⁱ为：

Stateⁱ＝(xⁱ，yⁱ，wⁱ，hⁱ，θⁱ)

最后，建立系统状态。为增加状态的灵活性和鲁棒性，在建立系统状态时增加一个带有自由度的高斯噪声Gnoise做为状态噪声。高斯噪声是一类噪声概率密度函数满足标准正态分布的噪声。带有高斯噪声的状态方程为：

x_k+1＝f(x_k)+Gnoise

其中，f(x_k)为状态转移函数，是一个动态变化的函数；x_k为第k个状态，假设状态x_k共有N个粒子，则：

x_k＝(State¹，State²，.....State^N)

即x_k＝{Stateⁱ}，其中i＝1，2，....N。

3、利用主成分分析法建立人脸特征空间

在基于主成分分析法的粒子滤波方法中，粒子的权值计算是通过计算样本到特征空间的距离来计算的。在计算这个距离前，首先要形成基于人脸的特征空间，计算这个特征空间所使用的方法是主成分分析法。

主成分分析法通过构造一组新的变量集来降低原始数据集的维数，这组新的变量集需包含原始数据集的主要信息，以达到代替原始数据集的目的，从而降低对原数据集的处理难度。主成分分析法是为了提取样本库的特征，用简化的数据来代表全部样本，本发明主要实现针对人脸特征的人脸跟踪，，结合图1说明具体的主成分分析过程：

(1)图像向量化。假设特征空间中一共有k幅图像，每幅图像共有m个像素(行序优先)。首先将k幅图像进行灰度化处理，使第i幅图像的第j个像素的值x_ij在0到255之间。

令每一幅图像为一个样本，样本的值为该图像灰度值组成的列向量，则第一个样本的值为：x₁＝[x₁₁，x₁₂，x₁₃.....x_1m]^T，依此类推，将k幅图像所对应的k个样本值排列成k×m的矩阵：

这样就组成了k幅图像的样本空间。

(2)计算向量组的特征协方差矩阵

首先求特征平均值，即计算上述矩阵每一行的均值。特征均值为一维列向量，第j行的均值为：其中j＝1，2...m。则特征均值向量为：

$\stackrel{\‾}{x}={\left[{\stackrel{\‾}{x}}_j\right]}^T={[{\stackrel{\‾}{x}}_1,{\stackrel{\‾}{x}}_2......{\stackrel{\‾}{x}}_m]}^T$

其中j＝1，2...m。

特征均值一般用部分均值来估计整体均值，即取L(0＜L≤m)幅图像计算均值来代替m幅图像的均值，使计算简化。

进一步，求协方差矩阵，即为了去掉各个向量之间的相关性，求出一组相互独立的基来表征特征空间。协方差矩阵在概率论中定义为：S＝E{(x-E(x)(x-E(x))^T}。为了计算简便，此处通过均值来近似计算协方差矩阵，下面给出计算公式：

$S=E\left\{(x-E\left(x\right){(x-E\left(x\right))}^T\right\}\≈\frac{1}{k}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\left[(x_j-{\stackrel{\‾}{x}}_j){(x_j-{\stackrel{\‾}{x}}_j)}^T\right]$

(3)求特征值，并据此对前n个较大特征值对应的对特征向量排序，正交归一化得到主成分分量

协方差矩阵是一个实对称阵，可以进行对角化，然后对对角化后的矩阵进行特征值、特征向量的计算。较大的特征值表示携带的特征较多，其对应的特征向量也是组成特征空间的重要分量。按照特征值的顺序，对对应特征向量进行排序所得到的向量组，就是按照重要性排列的特征空间的一组正交基底。假设取前n个较大特征值λ＝[λ₁，λ₂......λ_n｝，设这n个特征值λ对应的特征向量组成的向量组为U。特征向量的正交归一化计算方法如下：

$u_i=\frac{(x_i-\stackrel{\‾}{x})}{\sqrt{\left|{\mathrm{\λ}}_i\right|}},i=\mathrm{1,2}......n.$

则归一化后的向量组U^T＝[u₁，u₂.....u_n]，其中u_i称为主成分分量。

4、使用DIFS和DFFS参数计算特征距离和权重相似度

权重计算首先要计算两个距离：样本到特征空间的距离(Distance FromFeature Space，DFFS)和样本在特征空间内部的距离(Distance In FeatureSpace，DIFS)。

假设输入的目标样本为X，则根据向量投影定义，X在特征空间内的投影y为：U^T为正交归一化之后的特征向量组。假设输入的样本为X，X在特征空间内投影的示意图如图2所示。

根据定义，DIFS就是样本在空间内部投影的距离，即：

$\mathrm{DIFS}=y=U^T(X-\stackrel{\‾}{x})$

样本X到特征空间的线段距离为(实际上是完成上述正交归一化后就可以写成则样本到特征空间的欧氏距离为：

$\mathrm{DFFS}=\sqrt{{(X-\stackrel{\‾}{x})}^2-y^2}=\sqrt{{(X-\stackrel{\‾}{x})}^2-{\mathrm{DIFS}}^2}$

根据公式计算每个粒子的权值。

5、基于YC_bC_r色彩空间的人脸粗检测

给定跟踪视频后，首先要确定初始跟踪区域。人脸检测的目的是确定输入图像中所有人脸，当图像中有多幅人脸时，需要进一步手动选取所要跟踪的目标人脸，本发明使用肤色检测法来粗略估计人脸位置，将人脸的位置作为初始跟踪区域。色彩空间的选择直接影响肤色检测效果，本发明使用YC_bC_r色彩空间作为检测空间，是由于YC_bC_r色彩空间有与人类视觉感知过程相类似的构成原理，YC_bC_r色彩空间将亮度和色度分离，便于进行聚类计算和表示。

从特征库中选取不同年龄、不同人种、不同光照和不同性别的人脸图像中提取肤色像素点，并将这些像素点从RGB色彩空间转换到YC_bC_r色彩空间，转化公式如下：

$\left[\begin{array}{c}Y\\ C_b\\ C_r\end{array}\right]=\left[\begin{array}{ccc}0.2989& 0.5866& 0.1145\\ -0.1688& -0.3312& -0.5000\\ 0.5000& -0.4183& -0.0817\end{array}\right]\·\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

转化后将这些像素点在C_b-C_r空间上形成聚类，从聚类中发现人脸的肤色在135≤C_r≤172，90≤C0≤127的范围内。由此可以对初始跟踪区域进行界定：

(1)在视频中寻找被跟踪目标出现的第一帧，确定粗略跟踪区域。根据聚类得到的色彩门限，将初始跟踪区域的长宽分别设置为8像素和20像素，忽略长宽分别小于8像素和20像素的目标。当视频的某一帧出现满足要求的区域时，表示被跟踪目标出现；如果当前帧没有出现被跟踪目标，则继续提取下一帧。

(2)修正初始跟踪区域。粗略得到的初始区域的长宽分别为8像素和20像素，这个区域一般不能完全包含人脸信息，所以需要对此区域进行扩展。采用长宽比为8∶20的矩形，按照阈值对此矩形不断的复制和平移，平移后的矩形之间可能存在包含和重叠的关系，当一个矩形完全包围另一个矩形时，抛弃内部的矩形；当两个矩形的边界接触或两个矩形出现重叠时，用这两个矩形的公共外接矩形来代替这两个矩形。用此方法对输入的每一帧进行处理，直到发现目标人脸并界定初始跟踪区域。

6、基于主成分分析粒子滤波方法的目标跟踪

本发明提出基于主成分分析的粒子滤波方法，逐帧对输入的视频进行处理，以达到目标跟踪的要求。图3示出了基于主成分分析粒子滤波算法流程，具体的实现步骤如下：

(1)初始化系统状态：当时刻t＝0时，选取跟踪区域后按均匀分布抽取一组粒子作为初始粒子状态x0；

(2)采样：从递推分布x_t～p(x_t|x_t-1)中抽样，形成t时刻的粒子状态；

(3)特征提取、权值计算并标准化：

(3.1)特征提取：使用主成分分析法，从t时刻的粒子状态中提取特征；

(3.2)权值计算：计算(3.1)中提取的特征到特征空间的距离(DFFS)和到特征空间内部的距离(DIFS)，并根据公式计算t时刻每个粒子的权值；

(3.3)根据公式(i=1，2，....N，且)对权值进行标准化；

(4)根据每个粒子的权值计算这组粒子的权值均方误差，根据均方误差大小决定是否重采样：如果重采样，则可以采取分散这组粒子中权值较大的粒子形成一组新的粒子，或者也可以将粒子按权值从大到小依次排序，选取半数大权值粒子分散，舍弃另外半数小权值粒子，形成一组新的粒子，然后返回步骤(3)；若不进行重采样，则从这组粒子中选择权值最大的粒子作为结果输出，并根据x_t+1＝f(x_t)+Gnoise计算下一时刻每个粒子的状态；

(5)判断是否有新状态，如果有，则进行如下操作：首先更新f＝f+1，然后返回步骤(2)；如果没有新状态，程序结束。

使用主成分分析法进行特征提取，为跟踪奠定了基础，降低了目标识别的复杂度。

以上介绍了本发明的方法中较为重要的6个技术。接下来结合基于对上述6个方面的技术的说明，说明本发明提出的目标跟踪方法。

图4示出了本发明目标跟踪方法的具体流程。以人脸跟踪为例，首先，选取人脸特征库，使用主成分分析法提取人脸库的特征，计算特征值和特征向量；其次，在跟踪过程中使用带有跟踪目标的视频作为输入，不断的读取新帧；再次，输入系统状态方程的高斯噪声自由度并设置状态参数矩阵；最后，使用主成分分析粒子滤波方法对目标进行跟踪，显示跟踪过程，并保存视频跟踪结果。结合图4说明具体流程

步骤1：基于颜色，形状信息检测初始跟踪区域。

步骤2：初始化系统状态，建立带有高斯噪声的系统递推状态模型并建立系统状态模型。

步骤3：从视频中读入新帧，并将新帧灰度化，向量化。

步骤4：从分布x_t～p(x_t|x_t-1)中采样，形成t时刻的粒子状态；

步骤5：使用主成分分析法，从t时刻的粒子状态中提取特征，并根据DFFS和DIFS参数计算特征距离，根据特征距离，依公式：计算粒子组中每个粒子的权值，并根据公式(i＝1，2，....，其中N为粒子数)对这组粒子权值进行标准化。

步骤6：根据每个粒子的权值计算这组粒子的权值均方误差，根据均方误差大小决定是否重采样：如果重采样，将粒子按权值从大到小依次排序，选取半数大权值粒子分散，舍弃另外半数小权值粒子，形成一组新的粒子，然后返回步骤5；如果不进行重采样，则选择最优粒子输出，在视频中显示出最优跟踪结果，并根据x_t+1＝f(x_t)+Gnoise计算下一时刻的每个粒子的状态。

步骤7：判断是否有新帧：若有新帧，更新t=t+1并转步骤3；否则保存结果视频后结束。

可以根据机器配置的不同，修改粒子的数目，粒子的数目越多，对机器配置要求越高，跟踪精度也越高。跟踪结果直接以视频形式播放，还可以选择把跟踪结果视频保存到指定的文件夹下。跟踪到最后一帧时，跟踪主程序自动退出，返回到视频选择阶段。针对不同的目标跟踪，需要提取不同目标的特征。

为了验证本发明在多障碍下的目标跟踪精确性，根据障碍物宽度、间距和数量的不同，设计了多组实验视频。视频中的运动目标都是半径为50像素的圆，从左向右做匀速直线运动，运动过程中背景颜色和亮度保持不变。视频中的障碍物由矩形线条代替，障碍物宽度从1.5像素到10像素不等，障碍物间距分别取半径的1、1.5和2倍，障碍物个数为1至7个.进行遮挡测试时，圆形运动目标移动到障碍物的后面，模拟目标被遮挡的情形.算法选取的初始状态矩阵为5维单位矩阵，每轮计算均使用100个粒子。

从图5中可以看出，对半径为50像素的圆形进行跟踪时，从目标在左侧出现开始，一直做匀速直线运动，直到最右侧目标消失，跟踪精度一直很高.图中的线框可看作粒子。图5中，图(a)、(b)、(c)、(d)分别对应初始状态、第15帧、第25帧以及第50帧的情形。

对有障碍物情况下的目标跟踪结果如图6所示.图6中使用的视频共100帧，其中竖线代表障碍物，不运动；圆形代表运动物体，从左向右匀速直线运动。图6中，图(a)、(b)、(c)、(d)分别对应初始状态、第30帧、第40帧以及第80帧的情形。

多个障碍物遮挡的情况下，跟踪精度随障碍物数目的增加而降低，却会随障碍物间距的增加而增加，表1给出了本发明与Helmut Grabmer提出的AdaBoost跟踪方法(Helmut Grabner，Horst Bischof.On-line Boostingand Vision.Proceedings of the 2006 JEEE Computer SocietyConference on Computer Vision and Pattern Recognition(CVPR’06)，2006)的精度对比。其中，Dis列代表障碍物之间的距离，单位为像素。序数词列代表目标经过第几个障碍物的跟踪精度，下面的表格中前一列精度为AdaBoost算法精度，后一列精度为本发明跟踪精度；AVG列代表跟踪的平均精度。

表1：多障碍物跟踪精度对比

上述数据对比表明，在多障碍物遮挡的情况下，本发明跟踪精度高于AdaBoost算法.当障碍物间距超过被跟踪目标的大小的2倍时，本发明的跟踪精度随障碍物距离增加而增加，而不会随着障碍物的增多而迅速降低，AdaBoost跟踪精度提高不明显；本发明在障碍物数目增多时，跟踪精度下降不明显，而AdaBoost方法则明显下降，跟踪精度受障碍物距离影响较大、

基于主成分分析法的粒子滤波器能够处理复杂背景下的目标跟踪问题，也能良好的处理多个障碍物遮挡的目标跟踪。对比实验结果表明了用基于主成分分析的粒子滤波器算法进行目标跟踪的有效性，并进一步验证了本发明的精确性和鲁棒性。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改，等同替换，改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种目标跟踪的方法，包括以下步骤：

步骤1：基于颜色、形状信息检测初始跟踪区域；

步骤2：初始化系统状态，建立带有高斯噪声的系统递推状态模型并建立系统状态模型，以状态方程表示为x_t+1＝f(x_t)+Gnoise，其中f(x_t)为状态转移函数，Gnoise表示带有自由度的高斯噪声，x_t、x_t+1分别表示t、t+1时刻的粒子状态，第i个粒子状态Stateⁱ为：Stateⁱ＝(xⁱ，yⁱ，wⁱ，hⁱ，θⁱ)，其中xⁱ，yⁱ表示目标矩形区域中心点的位置和wⁱ，hⁱ表示区域的宽高，角度值θⁱ是目标区域的底边与水平方向的夹角；

步骤3：从视频中读入新帧，并将新帧灰度化、向量化；

步骤4：从分布x_t～p(x_t|x_t-1)中采样，形成t时刻的粒子状态x_t；

步骤5：使用主成分分析法，从t时刻的粒子状态中提取特征，并计算样本到特征空间的距离DFFS和样本在特征空间内部的距离DIFS， 其中X表示目标样本，U^T为正交归一化之后的特征向量组，计算上述样本空间的每一行的均值得到特征均值向量 $\stackrel{\‾}{x}={\left[{\stackrel{\‾}{x}}_j\right]}^T={[{\stackrel{\‾}{x}}_1,{\stackrel{\‾}{x}}_2.....{.\stackrel{\‾}{x}}_m]}^T,$ 第j行的均值 ${\stackrel{\‾}{x}}_j=\frac{1}{k}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{x}_{\mathrm{ij}},$ 然后依公式：计算粒子组中每个粒子的权值并根据公式其中，i＝1，2，....N，对这组粒子权值进行标准化，其中N为粒子数；

步骤6：根据每个粒子的权值计算这组粒子的权值均方误差，根据均方误差大小决定是否重采样：如果重采样，将粒子按权值从大到小依次排序，选取半数大权值粒子分散，舍弃另外半数小权值粒子，形成一组新的粒子，之后返回步骤5；如果不进行重采样，则选择最优粒子输出，在视频中显示出最优跟踪结果，并根据x_t+1＝f(x_t)+Gnoise计算下一时刻的每个粒子的状态；

步骤7：判断是否有新帧，若有新帧，更新t＝t+1并转步骤3；否则保存结果视频后结束；

其中，当所述目标为人脸时，步骤1中所述的检测初始跟踪区域具体包括：

(1.1)使用YC_bC_r色彩空间作为检测空间，根据从聚类中得到的人脸的肤色的色彩门限135≤C_r≤172且90≤C_b≤127，在视频中寻找被跟踪目标出现的第一帧，并将初始跟踪区域的长宽分别设置为8像素和20像素，忽略长宽分别小于8像素和20像素的目标，当视频的某一帧出现满足要求的区域时，表示被跟踪目标出现；如果当前帧没有出现被跟踪目标，则继续提取下一帧；

(1.2)修正初始跟踪区域，采用长宽比为8∶20的矩形对(1.1)中得到的区域进行扩展，按照上述门限对此矩形不断的复制和平移，平移后的矩形之间可能存在包含和重叠的关系，当一个矩形完全包围另一个矩形时，抛弃内部的矩形；当两个矩形的边界接触或两个矩形出现重叠时，用这两个矩形的公共外接矩形来代替这两个矩形，用此方法对输入的每一帧进行处理，直到发现目标人脸并界定初始跟踪区域。

2.根据权利要求1所述的方法，其特征在于：步骤5中所述主成分分析法具体包括：

(5.1)图像向量化：特征空间具有k幅图像，每幅图像共有m个像素，将k幅图像进行灰度化处理，使第i幅图像的第j个像素的值x_ij在0到255之间，其中i＝1，2...k，j＝1，2...m，每一幅图像为一个样本，以行序优先为原则生成该图像的灰度值组成的列向量，将k幅图像所对应的k个样本值排列成k×m的矩阵形式的样本空间

$\left\{\begin{array}{ccccc}{x}_{11}& x_{21}& x_{31}& ......& x_{k1}\\ x_{12}& x_{22}& x_{32}& ......& x_{k2}\\ x_{13}& x_{23}& x_{33}& ......& x_{k3}\\ .& .& .& & .\\ .& .& .& & .\\ x_{1m}& x_{2m}& x_{3m}& ......& x_{\mathrm{km}}\end{array}\right\};$

(5.2)计算上述矩阵的特征协方差矩阵；

(5.3)求特征值，并据此对前n个较大特征值对应的对特征向量组成向量组，并正交归一化得到向量组U^T＝[u₁，u₂......u_n]，其中u_n称为主成分分量。

3.根据权利要求1所述的方法，所述粒子状态的信息包括目标矩形区域中心点位置、区域的宽高信息以及目标区域的底边与水平方向的夹角。