CN104240268A - 一种基于流形学习与稀疏表示的行人跟踪方法 - Google Patents

Abstract

本发明涉及一种基于流形学习与稀疏表示的行人跟踪方法，通过流形学习的方式，将高维的行人目标数据表示成低维的本质特征，获得目标形变的不变性；通过稀疏表示的方式，将目标与遮挡自动分离，并通过目标模板的在线更新，消除了部分遮挡的影响；采用粒子滤波的方式，对行人运动的非线性有了良好的适应能力，增强了目标跟踪的稳定性。

Description

一种基于流形学习与稀疏表示的行人跟踪方法

技术领域

本发明属于智能交通技术领域，具体涉及一种基于流形学习与稀疏表示的行人跟踪方法。

背景技术

行人跟踪是计算机视觉中的一个重要课题，而且有着现实的应用场合.例如智能视频监控，智能交通系统、人机交互等.目前主要的跟踪算法大致可以分为3类：1)基于图像区域的目标跟踪，2)基于前景检测的目标跟踪，3)基于分类器的目标跟踪。基于图像区域的目标跟踪是指对被跟踪的目标区域提取一些特征例如颜色直方图，或单纯的灰度信息，然后在后续帧中通过模板匹配或均值漂移等方法找到与初始模板最相似的目标位置。

现有技术中存在如下技术问题：上述方法对于目标的描述过于简单、容易受目标自身形状的改变，或相似背景干扰等因素的影响。基于前景检测的跟踪算法，首先需要进行背景建模以分割前景，然后利用被跟踪目标的颜色信息或者运动信息进行跟踪.使用背景建模来检测出运动区域，然后使用粒子滤波等方法，找出最大似然的行人位置。但背景建模只能应用在摄像头固定的场合，所以该方法不具有通用性。并且目前的前景分割方法容易受光线变化、阴影等因素的影响，鲁棒性不强。更重要的是，以上两类方法的都没有建立目标的区分模型，难以应用于现实条件下的行人跟踪。基于分类的目标跟踪方法试图建立区分模型来克服传统跟踪方法存在的自适应性不足问题，该方法可以较好地自适应背景变化，其缺陷是可能会发生“漂移”。在线更新分类器是一个自学习的过程，当前的分类器对输入的样本进行类别标记，然后直接用来更新自身，如果出现错误的标记，分类器便会累积错误，最终造成跟踪“漂移”。

智能交通中的行人跟踪发生在动动环境中，面临着一些更加特殊的问题：1)行人的外观在运动过程中处于连续变化中，同时极易受到车辆与街道附属物的遮挡；2)车载运动平台中的行人跟踪应该更加稳定，目标的丢失可能会造成更加严重的后果；3)考虑到移动嵌入式平台的有限计算能力，追踪算法应该是高效与实时的；为解决上述问题,本发明在粒子滤波的框架下，通过流行学习和稀疏表示设计了一种行人外观表示模型，有效地克服了行人外观形变与部分遮挡的影响，实现了一种高效的行人跟踪方法。

发明内容

本发明目的在于提供一种高效的行人跟踪方法。

具体技术方案如下：

一种基于流形学习与稀疏表示的行人跟踪方法，具体实施步骤如下：

1)对采集到的视频帧进行彩色到灰度的转换，并缩小到32×32的统一尺寸；

2)在当前帧手动选定要跟踪的行人目标，若车载系统包含行人检测部分，可由行人检测器自动选定跟踪目标x_t，并记录目标的各项参数

x_t＝{x_t，y_t，q_t，s_t，a_t，j_t}

x_t,y_t表示x，y方向的偏移，θ_t表示旋转角度，s_t表示尺度，α_t表示宽高比，φ_t表示斜度；

3)在粒子滤波的框架下，行人跟踪可以求解最大后验概率估计来实现，

${\hat{x}}_t=\arg \max p\left(y_t\right|x_t)p\left(x_t\right|x_{t-1})$

x_t-1，x_t表示目标在t-1,t帧的状态，y_t表示t帧的目标样本，p(y_t|x_t)称为系统的观测模型，p(x_t|x_t-1)称为系统的运动模型；

4)用目标的6个参数表示状态信息，则运动模型可以采用高斯分布建模，p(x_t|x_t-1)＝N(x_t,x_t-1,ψ)，ψ为t-1,t帧的状态的联合相关矩；

5)随机生成n个粒子，在t帧构成围绕t-1帧原目标的n个候选样本，表示为i＝1,2,…n；

6)采用流形学习中的正交局部保持映射计算每个的目标矩阵E，计算过程分为以下步骤：

步骤一，将原目标样本轻微移变构成目标样本集，计算候选样本与目标样本集的距离加权矩阵W，其每个元素为

$w_{\mathrm{ij}}=\exp (-\frac{l_{\mathrm{ij}}^2}{t})$

l_ij为第i个候选样本与第j个目标样本的欧式距离，t为常量；

步骤二，采用主成分分解方法计算每个的PCA映射矩阵E_PCA；

步骤三，计算权值矩阵W的对角阵D，得到拉普拉斯矩阵L＝D-W，则正交局部保持映射的映射矩阵为E_OLPP＝[e₁,e₂,…,e_k]，若用Y表示输入数据矩阵，e₁是矩阵(YDY^T)^-1YLY^T的最小奇异值，e_k是矩阵M^k

的最小奇异值，A^k-1＝[e₁,…,e_k-1]，B^k-1＝(A^k-1)^T(YDY^T)^-1A^k-1。

步骤三，将PCA映射矩阵E_PCA与正交局部保持映射矩阵E_OLPP相乘构成目标矩阵E。

7)观测模型可以表示成以下稀疏表示问题的求解

$\underset{Z,V}{\min }\frac{1}{2}{\left|\right|y^i-{\mathrm{Ez}}^i\left|\right|}^2+/{\left|\right|v^i\left|\right|}_1$

其中vⁱ表示误差矩阵，通过迭代优化方法可以求解zⁱ，vⁱ,则观测模型为p(y_t|x_t)＝exp(-||yⁱ-Ezⁱ||²)；

8)对目标矩阵E在连续跟踪过程中进行在线更新，用误差矩阵vⁱ的L1范数除以矩阵的元素数定义目标遮挡率OC，当OC<tr1时，表示遮挡较少，则直接更新目标矩阵E；当tr1<OC<tr2时,表示部分遮挡，则只更新目标矩阵E中未遮挡部分；当OC>tr2时，表示遮挡较多，则不更新当前目标模板；

9)将各候选样本的运动模型和观测模型代入最后验估计表达式，取最大值所对应的样本为下一帧中的目标位置。

进一步的，5)中n一般取300-600。

与目前现有技术相比，本发明具有如下优点：

1.通过流形学习的方式，可以将高维的行人目标数据表示成低维的本质特征，这样可以获得目标形变的不变性；

2.通过稀疏表示的方式，将目标与遮挡自动分离，并通过目标模板的在线更新，消除了部分遮挡的影响；

3.采用粒子滤波的方式，对行人运动的非线性有了良好的适应能力，增强了目标跟踪的稳定性。

附图说明

图1：本发明的系统流程图；

具体实施方式

下面根据附图对本发明进行详细描述，其为本发明多种实施方式中的一种优选实施例。

图1给出了本发明所述的一种基于流形学习与稀疏表示的行人跟踪方法的流程图，其主要步骤如下：

1.视频预处理：利用车载摄像机或其他图像采集设备获取车辆前部视频，并将视频由彩色转换为灰度，为了提高处理速度，将解析度缩小到32×32的统一尺寸；

2.选定跟踪对象：在当前帧手动选定要跟踪的行人目标，若车载系统包含行人检测部分，可由行人检测器自动选定跟踪对象x_t，对象一般用长方形框包含的数据存在；

3.获取当前帧的参数：用仿射变换的6项参数表示目标

x_t＝{x_t,y_t,q_t,s_t,a_t,j_t}

x_t,y_t表示x，y方向的偏移，θ_t表示旋转角度，s_t表示尺度，α_t表示宽高比，φ_t表示斜度；

4.运动模型建模：在粒子滤波的框架下，p(y_t|x_t)称为系统的观测模型，p(x_t|x_t-1)称为系统的运动模型，运动模型可以采用高斯分布建模，p(x_t|x_t-1)＝N(x_t,x_t-1,ψ)，x_t-1，x_t表示目标在t-1,t帧的状态，ψ为t-1,t帧的状态的联合相关矩；

5.构建候选样本集：随机生成n个粒子(n一般取300-600)，在t帧构成围绕t-1帧原目标的n个候选样本，表示为i＝1,2,…n；

6.构建目标样本集：将原目标样本在上下左右轻微移变2-3像素构成m个目标样本，表示为i＝1,2,…m；

7.计算PCA映射矩阵：采用主成分分解方法将每个表示成

计算PCA映射矩阵E_PCA＝U(V^T)^-1；

8.计算OLPP映射矩阵:计算候选样本与目标样本集的距离加权矩阵W，其每个元素为

$w_{\mathrm{ij}}=\exp (-\frac{l_{\mathrm{ij}}^2}{t})$

l_ij为第i个候选样本与第j个目标样本的欧式距离，t为常量.

计算权值矩阵W的对角阵D，得到拉普拉斯矩阵L＝D-W，则正交局部保持映射的映射矩阵为E_OLPP＝[e₁,e₂,…,e_k]，若用Y表示输入数据矩阵，e₁是矩阵(YDY^T)^-1YLY^T的最小奇异值，e_k是矩阵M^k

的最小奇异值，A^k-1＝[e₁,…,e_k-1]，B^k-1＝(A^k-1)^T(YDY^T)^-1A^k-1。

9.生成目标模板：将PCA映射矩阵E_PCA与正交局部保持映射矩阵E_OLPP相乘构成目标矩阵E，E＝E_PCAE_OLPP。

10.计算稀疏表示：求解以下稀疏表示问题

$\underset{Z,V}{\min }\frac{1}{2}{\left|\right|y^i-{\mathrm{Ez}}^i\left|\right|}^2+/{\left|\right|v^i\left|\right|}_1$

其中vⁱ表示误差矩阵，zⁱ表示稀疏表示，通过迭代优化方法可以求解zⁱ，vⁱ；

11.观测模型建模：观测模型为p(y_t|x_t)＝exp(-||yⁱ-Ezⁱ||²)，x_t表示目标在t帧的状态，y_t表示t帧的候选样本集中的样本；

12.在线更新目标模板：对目标矩阵E在连续跟踪过程中进行在线更新，用误差矩阵vⁱ的L1范数除以矩阵的元素数定义目标遮挡率OC，当OC<tr1时，表示遮挡较少，则直接更新目标矩阵E；当tr1<OC<tr2时,表示部分遮挡，则只更新目标矩阵E中未遮挡部分；当OC>tr2时，表示遮挡较多，则不更新当前目标模板,应用中tr1可以设为0.2,tr2可以设为0.6；

上面结合附图对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。

Claims (2)

1.一种基于流形学习与稀疏表示的行人跟踪方法，其特征在于，具体实施步骤如下：

1)对采集到的视频帧进行彩色到灰度的转换，并缩小到32×32的统一尺寸；

2)在当前帧手动选定要跟踪的行人目标，若车载系统包含行人检测部分，可由行人检测器自动选定跟踪目标x_t，并记录目标的各项参数

x_t＝{x_t,y_t,q_t,s_t,a_t,j_t}

x_t,y_t表示x，y方向的偏移，θ_t表示旋转角度，s_t表示尺度，α_t表示宽高比，φ_t表示斜度；

3)在粒子滤波的框架下，行人跟踪可以求解最大后验概率估计来实现，

${\hat{x}}_t=\arg \max p\left(y_t\right|x_t)p\left(x_t\right|x_{t-1})$

x_t-1，x_t表示目标在t-1,t帧的状态，y_t表示t帧的目标样本，p(y_t|x_t)称为系统的观测模型，p(x_t|x_t-1)称为系统的运动模型；

4)用目标的6个参数表示状态信息，则运动模型可以采用高斯分布建模，p(x_t|x_t-1)＝N(x_t,x_t-1,ψ)，ψ为t-1,t帧的状态的联合相关矩；

5)随机生成n个粒子，在t帧构成围绕t-1帧原目标的n个候选样本，表示为i＝1,2,…n；

6)采用流形学习中的正交局部保持映射计算每个的目标矩阵E，计算过程分为以下步骤：

步骤一，将原目标样本轻微移变构成目标样本集，计算候选样本与目标样本集的距离加权矩阵W，其每个元素为

$w_{\mathrm{ij}}=\exp (-\frac{l_{\mathrm{ij}}^2}{t})$

l_ij为第i个候选样本与第j个目标样本的欧式距离，t为常量；

步骤二，采用主成分分解方法计算每个的PCA映射矩阵E_PCA；

步骤三，计算权值矩阵W的对角阵D，得到拉普拉斯矩阵L＝D-W，则正交局部保持映射的映射矩阵为E_OLPP＝[e₁,e₂,…,e_k]，若用Y表示输入数据矩阵，e₁是矩阵(YDY^T)^-1YLY^T的最小奇异值，e_k是矩阵M^k

的最小奇异值，A^k-1＝[e₁,…,e_k-1]，B^k-1＝(A^k-1)^T(YDY^T)^-1A^k-1。

步骤三，将PCA映射矩阵E_PCA与正交局部保持映射矩阵E_OLPP相乘构成目标矩阵E。

7)观测模型可以表示成以下稀疏表示问题的求解

$\underset{Z,V}{\min }\frac{1}{2}{\left|\right|y^i-{\mathrm{Ez}}^i\left|\right|}^2+/{\left|\right|v^i\left|\right|}_1$

其中vⁱ表示误差矩阵，通过迭代优化方法可以求解zⁱ，vⁱ,则观测模型为p(y_t|x_t)＝exp(-||yⁱ-Ezⁱ||²)；

8)对目标矩阵E在连续跟踪过程中进行在线更新，用误差矩阵vⁱ的L1范数除以矩阵的元素数定义目标遮挡率OC，当OC<tr1时，表示遮挡较少，则直接更新目标矩阵E；当tr1<OC<tr2时,表示部分遮挡，则只更新目标矩阵E中未遮挡部分；当OC>tr2时，表示遮挡较多，则不更新当前目标模板；

9)将各候选样本的运动模型和观测模型代入最后验估计表达式，取最大值所对应的样本为下一帧中的目标位置。

2.如权利要求1所述的基于流形学习与稀疏表示的行人跟踪方法，其特征在于5)中n一般取300-600。