CN102005056A - 基于鲁棒pca子空间的目标跟踪方法 - Google Patents

Abstract

一种计算机视觉技术领域的基于鲁棒PCA子空间的目标跟踪方法。包括：首先是使用子空间方法求出预测位置；通过利用第一帧的图像，把目标对象提取出来，建立一个子空间；生成粒子，提取其图像，向量化，然后投影到子空间中，利用PCA求出投影系数，如果图像发生遮挡或图像模糊时，采用遮挡处理策略；然后根据重建误差来求得每个粒子的权值；最后根据采样的方法来求出最后的目标对象的预测位置。本发明能有效的使用于跟踪各类目标，如人脸，人体和汽车等对象，并且能很好的解决遮挡问题和视频模糊，分辨率低等问题。

Description

基于鲁棒PCA子空间的目标跟踪方法

技术领域

本发明涉及的是一种计算机视觉技术领域的目标跟踪方法，特别是一种基于鲁棒主成分分析(PCA)子空间的目标跟踪方法。

背景技术

目标跟踪的应用范围已经越来越广，不但在日常生活中被广泛应用，如家用相机、视频摄像头、游戏等；而且在安全监控设备中也被广泛应用，特别是在机场、大型商场、停车场等地方，目标跟踪有着非常重要的作用。此外，从科研应用来说，目标跟踪方法还是其他一些应用，如人脸姿态估计，表情分析等的重要基础。目标跟踪方法的优劣已经是制约此类应用的一大瓶颈。

通常而言，目际跟踪有很多种分类方法。如果依靠跟踪的目标个数而言，可以分为单目标跟踪和多目标跟踪。按照跟踪视频的图像特点，可以分成基于灰度图像的跟踪和基于彩色图像的跟踪。另外，还可以根据所采用的跟踪搜索方法分成确定性的跟踪和随机性的跟踪方法。一般而言，目标跟踪可以分成三个主要组成部分，分别是相似度规则，搜索方法和模板更新策略。对于相似度规则，主要核心的内容是提取图像特征。而接照特征来言，又可以细分成局部特征和全局特征。局部特征如D.Lowe提出的尺度不变特征变换(Scale-invariant feature transform，SIFT)，按照检测子和描述子的方法来表述图像。但是此类特征目前计算比较耗时，没有一个好的框架来做特征匹配，所以相对用得比较少。对于全局特征，又可以细分成基于图像抽象表示的，如直方图，纹理和轮廓等特征和基于形态的图像特征。前者虽然计算简单，但由于特征本身丢弃了很多的空间和颜色信息，使得分辨力不够。后者在计算和分辨力之间做了一个权衡，使得在效率和精度方面都能有很好的效果。本专利将会基于形态特征的一种常用表现形式——子空间方法来做目标跟踪。

目标跟踪的第二部分是搜索方法，主要有确定性和随机性两种。确定性方法很容易陷入局部极小点，而且无法跳出。而且确定性的方法往往是基于迭代计算，计算量比较大。

目标跟踪的最后一部分是模板更新策略。为了很好的对目标对象的形态变化建模，实时的更新模板的内容是非常必要的。这里，主要有两个极端可以考虑。首先是不更新模板对象的内容，固定第一帧的内容为模板不变，这样如果目标对象发生变化，方法很容易更丢。另一个极端就是利用每帧计算出来的目标对象来更新模板，彻底放弃之前帧的模板，这样也会产生一种名叫“drift”的问题。

发明内容

本发明的目的是克服现有目标跟踪方法对遮挡情况的不足，提出了一种基于鲁棒PCA子空间的目标跟踪方法。本发明基于鲁棒PCA(Robust PCA)的子空间方法和在此基础上提出的遮挡处理策略，能有效地应用于跟踪各类目标，如人脸，人体和汽车等对象，并且能很好的解决遮挡问题和视频模糊，分辨率低等问题。

本发明通过以下技术方案实现：

本发明包括以下步骤：

首先是使用子空间方法求出预测位置；

通过利用第一帧的图像，把目标对象提取出来，建立一个子空间。对于后续帧，使用粒子滤波器的方法，依据上一帧目标对象的位置，加入高斯噪声，生成粒子。

对于每一个粒子，提取其图像，向量化，然后投影到子空间中，利用PCA求出投影系数。如果图像发生遮挡或图像模糊时，采用遮挡处理策略。即把每一帧与一个状态相关联，对于不同的状态，采用不同的处理策略。

然后根据重建误差来求得每个粒子的权值；重建误差越小权值越大。

最后根据采样的方法来求出最后的目标对象的预测位置。

所述的采样的方法，是指：在图像中利用启发式的规则，选择一部分像素点来计算投影系数的大小，进而根据投影系数的大小来求粒子权值。由于PCA使用整幅图像来求投影系数，这样如果图像发生遮挡或图像模糊时，求出来的投影系数往往会被污染，进而影响跟踪的精度。本发明在这个过程中可以避免选择那部分被遮挡的像素点，所以能很好的处理遮挡问题。

Robust PCA(Robust Principal Component Analysis，鲁棒主成分分析)方法提出遮挡处理策略，在遮挡发生时，能准确的判定遮挡，同时避免遮挡情况对更新模板造成影响。此外，在完全遮挡时，改变了粒子参数的设置，对跟踪的精度和效果也会有很大的提升。

基于增量PCA(Incremental PCA)的模板更新策略。很好的利用了Robust PCA的结果，使得更新速度和扩展性有了很大的提高。

本发明跟踪目标对象在某一视频序列中的位置的方法基于Robust PCA方法，通过使用增量PCA的更新方法来更新目标对象模板能够有效地跟踪视频目标，对其运动位置做出估计。该发明通过基于鲁棒PCA的子空间方法，能很好的解决遮挡问题和视频模糊，分辨率低等问题。大量的试验结果证明了该发明的理论正确性和实际有效性。

附图说明

图1为本发明示意图。

图2为本发明使用、部分遮挡态和完全遮挡态三种策略示意图。

图3为实施例中对跟踪对象应用更新策略所取得的跟踪结果示意图。

具体实施方式

以下对本发明的实施例作详细说明：以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

本实施例详细的实施方式和过程如下：

首先假设，当前帧为第t帧，得到的子空间为U，在当前需要预测的图像中利用粒子滤波器选择一些候选区域，设为x¹，x²，......，x^N，其中N为总的粒子个数。对于每个粒子x(假设x_i为其第i个像素点的值)，可以求出重建误差

$E=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{u}_j)}^2$

其中a_ij＝u_j ^Tx_i

传统的PCA方法使用整幅图像来求投影系数，系数a_i＝U^Tx_i。但是如果图像发生遮挡或图像模糊时，求出来的投影系数往往会被污染，进而影响跟踪的精度。利用Robust PCA的方法，在图像中利用启发式的规则，选择一部分像素点来计算投影系数的大小，进而根据投影系数的大小来求粒子权值。在x中选取一部分点，设为

i＝1，2，...q，则重建误差为：

$E\left(r\right)=\underset{i=1}{\overset{q}{\mathrm{\Σ}}}{(x_{r_i}-\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{a}_{j,r_i}\left(x\right)u_{j,r_i})}^2$

其中 $a_{j,r_i}\left(x\right)={u_{j,r_i}}^T{x}_{r_i}$

根据重建误差，就能求每个粒子的权值，进而求出预测位置。如图1所示。

在更新阶段，虽然有遮挡时，本实施例能准确的预测其位置，但是如果用带有遮挡的帧更新模板，本实施例模板就很可能被污染，进而影响后续帧的处理。为解决这个问题，本实施例采用遮挡处理策略。即把每一帧与一个状态相关联，对于不同的状态，采用不同的处理策略。本实施例主要使用三种策略，分别是正常态，部分遮挡态和完全遮挡态。如图2所示。其中Normal是正常态，POcclusion是部分遮挡态，FOcclusion是完全遮挡态。

在这些状态中，一共有五种转换规则，转换的条件分别是

T1：γ_t＞θ₁   T2：γ_t＞kθ₁   T3：γ_t＞kθ₁

T4：γ_t≤kθ₁  T5：δ_t＜θ₂

其中：θ₁，θ₂为决定当前帧是否有遮挡的阈值，k(k＞1)为系数。γ_t为基于健壮系数(a_t)计算出来的重建误差，而δ_t是这些重建误差的和。

$\begin{array}{cc}{\mathrm{\&delta;}}_t=\underset{t-{\mathrm{\&theta;}}_3<j\&le;t}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}^{t-j}{\mathrm{\&gamma;}}_j& {\mathrm{\&gamma;}}_t={\left|\right|x_t-U_t{a}_t\left|\right|}_2\end{array}$

其中θ₃是计算中使用的帧数，α为遗忘因子(在本实施例的实验中，α＝0.9)。

也就是说，如上的转换是根据Robust PCA 的计算结果来进行的。三种状态分别有其对应的物理意义。对于正常态(Normal)，本实施例假设没有遮挡或其他情况发生，本实施例将使用更新方法来更新模板，而对于部分遮挡态(POcclusion)，也就是目标对象的重建误差大于一定的值，此时将取消对模板的更新，理由是当前预测对象中可能有被污染的点。在完全遮挡态(FOcclusion)时，本实施例不但取消更新模板，还增加粒子个数和高斯噪声的方差，以确保目标对象重新出现时能跟踪到其位置。

如图3所示，为本实施例中对跟踪对象应用该更新策略所取得的跟踪结果。通过有效的处理各种遮挡情况，该方法取得了良好的效果。

最后，本实施例的更新方法是用于判定是否需要更新模板，而对于模板怎么样更新并未说明。以前的基于子空间的更新方法主要是基于Riemannian奇异值分解(Riemannian SVD，R-SVD)的方法。本实施例将引入一种新的策略，主要的想法是基于增量PCA(Incremental PCA)的方法。相比R-SVD，它有如下几个优点：

计算时间，R-SVD对于多帧同时更新有一定优势，但是，对于本实施例的遮挡处理而言，需要每帧都更新，以此而言，Incremental PCA效果更好。

扩展性，后者可以在其框架中加入很多因素，如增加对点权值的引入等等。

与本实施例兼容性，后者也主要使用的是投影系数，所以针对Robust PCA方法更合适。

Claims (7)

1.一种基于鲁棒PCA子空间的目标跟踪方法，其特征在于，包括以下步骤：

首先是使用子空间方法求出预测位置；

通过利用第一帧的图像，把目标对象提取出来，建立一个子空间；

对于后续帧，使用粒子滤波器的方法，依据上一帧目标对象的位置，加入高斯噪声，生成粒子；对于每一个粒子，提取其图像，向量化，然后投影到子空间中，利用PCA求出投影系数，如果图像发生遮挡或图像模糊时，采用遮挡处理策略；

然后根据重建误差来求得每个粒子的权值；

最后根据采样的方法来求出最后的目标对象的预测位置。

2.根据权利要求1所述的基于鲁棒PCA子空间的目标跟踪方法，其特征是，所述的采样的方法，是指：在图像中利用肩发式的规则，选择一部分像素点来计算投影系数的大小，进而根据投影系数的大小来求粒子权值。

3.根据权利要求1所述的基于鲁棒PCA子空间的目标跟踪方法，其特征是，所述的遮挡处理策略，即把每一帧与一个状态相关联，对于不同的状态，采用不同的处理策略。

4.根据权利要求3所述的基于鲁棒PCA子空间的目标跟踪方法，其特征是，所述的遮挡处理策略，在遮挡发生时，能判定遮挡，同时避免遮挡情况对更新模板造成影响，此外，在完全遮挡时，改变了粒子参数的设置，对跟踪的精度和效果也会有很大的提升。

5.根据权利要求1或者4所述的基于鲁棒PCA子空间的目标跟踪方法，其特征是，所述的采用遮挡处理策略，使用三种策略，分别是正常态，部分遮挡态和完全遮挡态，在这些状态中，一共有五种转换规则，转换的条件分别是

T1：γ_t＞θ₁    T2：γ_t＞kθ₁     T3：γ_t＞kθ₁

T4：γ_t≤kθ₁   T5：δ_t＜θ₂

其中：θ₁，θ₂为决定当前帧是否有遮挡的阈值，k且k＞1，k为系数，γ_t为基于健壮系数a_t计算出来的重建误差，而δ_t是这些重建误差的和，

$\begin{array}{cc}{\mathrm{\&delta;}}_t=\underset{t-{\mathrm{\&theta;}}_3<j\&le;t}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}^{t-j}{\mathrm{\&gamma;}}_j& {\mathrm{\&gamma;}}_t={\left|\right|x_t-U_t{a}_t\left|\right|}_2\end{array}$

其中：θ₃是计算中使用的帧数，α为遗意因子。

6.根据权利要求1所述的基于鲁棒PCA子空间的目标跟踪方法，其特征是，所述的重建误差为E，首先假设，当前帧为第t帧，得到的子空间为U，在当前需要预测的图像中利用粒子滤波器选择一些候选区域，设为x¹，x²，......，x^N，其中N为总的粒子个数；对于每个粒子x，假设x_i为其第i个像素点的值，求出重建误差：

$E=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{(x_i-\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{a}_{\mathrm{ij}}{u}_j)}^2,$ 其中：a_ij＝u_j ^Tx_i。

7.根据权利要求6所述的基于鲁棒PCA子空间的目标跟踪方法，其特征是，所述的重建误差为E，如果图像发生遮挡或图像模糊时，求出来的投影系数往往会被污染，进而影响跟踪的精度，利用Robust PCA的方法，在图像中利用启发式的规则，选择一部分像素点来计算投影系数的大小，进而根据投影系数的大小来求粒子权值，在x中选取一部分点，设为

i＝1，2，...q，则重建误差为：

其中：

根据重建误差，就能求每个粒子的权值，进而求出预测位置。

Images