CN105469431A - 基于稀疏子空间的追踪方法 - Google Patents

Abstract

本发明公开了一种基于稀疏子空间的追踪方法，首先利用随机投影矩阵以及RPCA的方法对初始的若干帧图像进行学习并得到图像的低秩矩阵，从中提取出被跟踪目标所在的稀疏子空间，利用此方法得到的稀疏子空间特征具有复杂度低，鲁棒性高的特点。本发明相比传统的基于目标颜色、目标纹理或者目标模板的粒子滤波方法，基于本文的目标特征的算法具有所需的粒子数较少，实时性高、稳定性强的特点。

Description

基于稀疏子空间的追踪方法

技术领域

本发明涉及模式识别技术领域，具体涉及一种基于稀疏子空间的追踪方法。

背景技术

目标跟踪主要解决移动信号，以及随时间变化的物体定位与背景估计等课题，其广泛应用于视频监控，人机交互等领域。尽管近年来较为成功的跟踪算法发展起来并得到广泛的应用，该领域还是存在诸多挑战性的问题有待解决，诸如：目标对光流变化的敏感性较弱；目标与背景在外观上较高的相似性对追踪效果的弱化；当目标发生形态改变时，以及当目标在遭遇严重遮挡的情形下，跟踪算法鲁棒性较低；只能适应较低程度的遮挡。因此，提取目标在运动过程中相对于以上各种变化的稳定特征对于目标的检测与跟踪具有至关重要的作用。比较常见的特征有目标区域内的像素强度、颜色、纹理等，虽然这些目标特征能在一定程度上作为重要的跟踪元素，但由于缺乏鲁棒性，基于这些特征的跟踪算法并不能适应目标在运动中遭遇的各种严重的变化。

近几年有相当一部分关于目标跟踪与检测方面研究是以SIFT特征作为主要的提取因素，但SIFT存在以下几方面的缺点：由于需要构建图像金字塔，计算量通常会比较大；SIFT特征本质上是一种局部性特征，当被跟踪目标遭遇严重遮挡时，程序会因为缺少鲁棒性的特征而跟丢目标；当目标外观发生变化时，原有的SIFT会出现丢失。

基于子空间学习思想基础上的目标跟踪方法在最近的几年里成为研究的热点，比较有代表性的算法是利用低维主成分构成的子空间表示目标，并根据目标的变化不断的学习与更新子空间。但是，该方法主要有两点不足：通过矩阵的奇异值分解求得主成分分析的方法运算量大；在有遮挡的情况下，该方法不能稳定的跟踪目标。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于稀疏子空间的追踪方法，在一定程度上解决了传统目标跟踪算法对于目标的非刚性变化，目标的遮挡以及目标的快速移动等具有挑战性的目标跟踪难题，并且通过改进目标子空间的提取方法，提高了跟踪速度，保证了实时性。

本发明通过以下技术方案来实现上述目的：

一种基于稀疏子空间的追踪方法，包括以下步骤：

A1：目标的稀疏子空间的提取，对图像序列中的目标X_k＝[I₁,I₂,...I_k]压缩采样得到X_ck＝[I_c1,I_c2,...I_ck]，利用鲁棒主成分分析RPCA从X_ck中得到低秩矩阵B_k，从B_k提取稀疏子空间：

M_p＝span{φ₁,φ₂,...φ_p}；

A2：在U₀＝M_p中初始化粒子，粒子数N_p人工设定，每个粒子的权重为1/N_p。

A3：根据动态模型对粒子进行采样，即以U_t-1为中心，以概率分布P(s_t|s_t-1)＝N(s_t；s_t-1,Ψ_t-1)，其中s_t＝(x_t,y_t,θ_t,p_t,α_t)，

A4：输入经过压缩采样的下一时刻的目标y_t，通过外观模型 $P\left(y_t\right|s_t)=\exp (-||y_t-{\mathrm{Uz}}^{*}|{|}_2^2)$ 计算出经过步骤A2采样后的粒子权重 ${\mathrm{\ω}}_t^{\left(i\right)}=p\left(y_t\right|s_t^{\left(i\right)}),$ 式中，U取值为U_t-1；

A5：在具有最大权重的粒子处生成跟踪窗，则得到t时刻目标所在具体位置；

A6：利用公式判断稀疏子空间U_t-1是否需要更新；

A7：重新初始化粒子，并回到步骤A2中进入下一帧目标的跟踪。

进一步地，从B_k提取稀疏子空间的算法包括以下步骤：

输入：B_k

输出：B_k的稀疏子空间U₀＝M_p

B1：求解最大主成分φ₁：

初始化φ₁ ⁽⁰⁾，使得

通过下式迭代求解出φ₁ ⁽¹⁾,φ₁ ⁽²⁾,...直到收敛：

${\mathrm{\φ}}_1^{\left(i\right)}=\underset{\mathrm{\α}}{\mathrm{argmax}}{\left(B_k^T{B}_k{\mathrm{\φ}}_1^{(i-1)}\right)}^T\mathrm{\α},\left|\right|\mathrm{\α}|{|}_{\mathrm{\λ}}\≤1;$

B2：随机选出M_p-1＝span{φ₁,φ₂,...φ_p-1}

令Φ_p-1＝(φ₁,φ₂...φ_p-1)，则a在M_p-1的正交补空间下的投影为 $a_{\⊥}=(1-{\mathrm{\Φ}}_{p-1}^T{\mathrm{\Φ}}_{p-1})a;$

B3：将a_⊥代入公式(2)，并结合公式(3)可求解出φ_p，其中(2)式为

φ_p＝a_⊥+t₁φ₁+t₂φ₂+...+t_p-1φ_p-1，

(3)式为 $t^{*}=\underset{t}{\mathrm{argmax}}\left(\right|\left|B_k^T{B}_k{\mathrm{\φ}}_p\right|{|}_{\mathrm{\λ}}-L\left(t\right)),$

(3)式中这里φ_p·φ_i表示φ_p与φ_i的内积；

$\left|\right|\&CenterDot;|{|}_{\mathrm{\&lambda;}}={\&lsqb;(1-\mathrm{\&lambda;})\left|\right|\&CenterDot;|{|}_2^2+\mathrm{\&lambda;}||\&CenterDot;|{|}_1^2\&rsqb;}^{\frac{1}{2}},(0\&le;\mathrm{\&lambda;}<1)$

B4：返回步骤B2并求出其它高阶主成分；

通过步骤B1至B4求得的M_p即为U₀。

进一步地，X_k＝[I₁,I₂,...I_k]表示从第1帧到第k帧跟踪窗所构成的图像序列,X_ck＝[I_c1,I_c2,...I_ck]表示随机投影矩阵对X_k压缩处理后得到的图像序列。

进一步地，得到低秩矩阵B_k的具体公式为：

$\underset{B_k,E_k}{\min }\left|\right|B_k|{|}_{*}+|\left|E_k\right|{|}_1$

s.t.X_ck＝B_k+E_k

其中||B_k||_*为核范数，即B_k奇异值的和。

进一步地，M_p＝span{φ₁,φ₂,...φ_p}表示B_k中的前p个主成分φ₁,φ₂,...φ_p张成的稀疏子空间。

进一步地，N(s_t；s_t-1,Ψ_t-1)表示s_t服从均值为s_t-1，方差为Ψ_t-1的高斯分布。

进一步地，y_t表示t时刻经过压缩后的跟踪窗。

本发明的有益效果在于：

本发明首先利用随机投影矩阵以及RPCA的方法对初始的若干帧图像进行学习并得到图像的低秩矩阵，从中提取出被跟踪目标所在的稀疏子空间，利用此方法得到的稀疏子空间特征具有复杂度低，鲁棒性高的特点，因此相比传统的基于目标颜色、目标纹理或者目标模板的粒子滤波方法，基于本文的目标特征的算法具有所需的粒子数较少，实时性高、稳定性强的特点。

附图说明

图1是本发明中实施例1的跟踪曲线效果图；

图2是本发明中实施例2的跟踪曲线效果图；

图3是本发明中实施例3的跟踪曲线效果图。

具体实施方式

下面结合附图对本发明作进一步说明：

本发明包括以下步骤：

A1：目标的稀疏子空间的提取，对图像序列中的目标X_k＝[I₁,I₂,...I_k]压缩采样得到X_ck＝[I_c1,I_c2,...I_ck]，利用鲁棒主成分分析RPCA从X_ck中得到低秩矩阵B_k，从B_k提取稀疏子空间：

M_p＝span{φ₁,φ₂,...φ_p}；

A2：在U₀＝M_p中初始化粒子，粒子数N_p人工设定，每个粒子的权重为1/N_p。

A3：根据动态模型对粒子进行采样，即以U_t-1为中心，以概率分布P(s_t|s_t-1)＝N(s_t；s_t-1,Ψ_t-1)，其中s_t＝(x_t,y_t,θ_t,p_t,α_t)，

A4：输入经过压缩采样的下一时刻的目标y_t，通过外观模型计算出经过步骤A2采样后的粒子权重式中，U取值为U_t-1；

A5：在具有最大权重的粒子处生成跟踪窗，则得到t时刻目标所在具体位置；

A6：利用公式判断稀疏子空间U_t-1是否需要更新；

A7：重新初始化粒子，并回到步骤A2中进入下一帧目标的跟踪。

上述内容中从B_k提取稀疏子空间的算法包括以下步骤：

输入：B_k

输出：B_k的稀疏子空间U₀＝M_p

B1：求解最大主成分φ₁：

初始化φ₁ ⁽⁰⁾，使得

通过下式迭代求解出φ₁ ⁽¹⁾,φ₁ ⁽²⁾,...直到收敛：

${\mathrm{\&phi;}}_1^{\left(i\right)}=\underset{\mathrm{\&alpha;}}{\mathrm{argmax}}{\left(B_k^T{B}_k{\mathrm{\&phi;}}_1^{(i-1)}\right)}^T\mathrm{\&alpha;},\left|\right|\mathrm{\&alpha;}|{|}_{\mathrm{\&lambda;}}\&le;1;$

B2：随机选出M_p-1＝span{φ₁,φ₂,...φ_p-1}

令Φ_p-1＝(φ₁,φ₂...φ_p-1)，则a在M_p-1的正交补空间下的投影为 $a_{\&perp;}=(1-{\mathrm{\&Phi;}}_{p-1}^T{\mathrm{\&Phi;}}_{p-1})a;$

B3：将a_⊥代入公式(2)，并结合公式(3)可求解出φ_p，其中(2)式为

φ_p＝a_⊥+t₁φ₁+t₂φ₂+...+t_p-1φ_p-1，

(3)式为 $t^{*}=\underset{t}{\mathrm{argmax}}\left(\right|\left|B_k^T{B}_k{\mathrm{\&phi;}}_p\right|{|}_{\mathrm{\&lambda;}}-L\left(t\right)),$

(3)式中这里φ_p·φ_i表示φ_p与φ_i的内积；

$\left|\right|\&CenterDot;|{|}_{\mathrm{\&lambda;}}={\&lsqb;(1-\mathrm{\&lambda;})\left|\right|\&CenterDot;|{|}_2^2+\mathrm{\&lambda;}||\&CenterDot;|{|}_1^2\&rsqb;}^{\frac{1}{2}},(0\&le;\mathrm{\&lambda;}<1)$

B4：返回步骤B2并求出其它高阶主成分；

通过步骤B1至B4求得的M_p即为U₀。

上述内容中，各个字符公式所代表的含义及部分字符的公式推敲过程如下：

X_k＝[I₁,I₂,...I_k]表示从第1帧到第k帧跟踪窗所构成的图像序列；

X_ck＝[I_c1,I_c2,...I_ck]表示随机投影矩阵对X_k压缩处理后得到的图像序列；

得到低秩矩阵B_k的具体公式为：

$\underset{B_k,E_k}{\min }\left|\right|B_k|{|}_{*}+|\left|E_k\right|{|}_1$

s.t.X_ck＝B_k+E_k

其中||B_k||_*为核范数，即B_k奇异值的和；

M_p＝span{φ₁,φ₂,...φ_p}表示B_k中的前p个主成分φ₁,φ₂,...φ_p张成的稀疏子空间；

N(s_t；s_t-1,Ψ_t-1)表示s_t服从均值为s_t-1，方差为Ψ_t-1的高斯分布。

y_t表示t时刻经过压缩后的跟踪窗。

本发明首次提出利用压缩感知理论中的随机投影工具以及RPCA(鲁棒PCA)提取被跟踪目标所在的稀疏子空间，作为跟踪过程中的稳定特征。实验证明，本发明的特征提取算法具有较强的鲁棒性，同时保证了较高的实时性。

除了对被跟踪目标建立具有鲁棒性的表示模型，目标跟踪另外一个重要环节是如何对追踪过程建立合适的动态模型。本发明利用粒子滤波方法对跟踪过程进行建模，通过找出包含最大后验概率粒子的邻近图像块，得到下一时刻目标所在的位置。由于目标在移动的过程中其外观会发生改变，诸如遮挡、形变以及目标视角的变化等，因此对目标子空间的更新也是跟踪过程中的重要步骤。本专利利用前一时刻目标所在的子空间与当前时刻目标的距离范数度量二者之间的相似度，根据相似度对子空间进行更新。

本发明的实施例采用笔记本摄像头，运行系统为Matlab2013，Windows7，硬件配置为2.53GHz，视频图像为AVI格式，本文将其转变成像素大小为320×240的jpg格式文件。为了说明其优良性能，我们将本发明的跟踪效果与IVT算法、Frag-basedTracker算法以及L1T算法相比较。

实施例1：

第1组测试视频源自网上某网址中的GirlTracking，我们选取了#310、#352、#384、#472共4帧图像测试了本发明(第1排)、IVT算法(第2排)、L1T算法(第3排)这三种算法对于目标外观发生变化时的鲁棒性：在#310帧中目标开始发生变化，此时IVT算法的跟踪窗开始发生漂移，L1T算法的跟踪窗已完全脱离目标，而本发明的跟踪窗依然能牢牢的锁定目标。在之后的若干帧中，IVT与L1T的跟踪窗已在目标以外的区域随意漂移，不能重新捕捉到目标。

实施例2：

第2组测试视频源自某网址中的Singer1Tracking，主要是考察跟踪算法对于尺度变化以及光照变化的免疫程度，我们选取了#50、#117、#217、#314帧对比了本发明(第1排)、IVT算法(第2排)、Frag-basedTracker算法(第3排)。从图3看出，在#117帧中由于光流的变化，Frag-basedTracker跟踪窗出现了严重的漂移；在#217中光照恢复后，虽然跟踪窗有所回归，但由于尺度与外观的变化，跟踪效果已经很不理想。相比较而言，本发明与IVT算法对于光照以及尺度变化的敏感性则要低得多。

实施例3：

第3组测试视频源自某网址中的DeerTracking，该视频主要考察跟踪算法对于目标在快速移动的情形下的稳定性。我们选取了#6、#20、#31、#55帧对比了本发明(第1排)、IVT算法(第2排)、L1T算法(第3排)。明显可以看出：由于目标快速且大幅度的跳跃，在#6帧时L1T跟踪窗就已出现了较严重的漂移，并且未能成功的回归到目标。尽管在#24帧之前，IVT跟踪窗都能稳定的覆盖被跟踪目标，但是到了#26帧时，跟踪窗随着目标快速的运动开始脱离目标，到#46帧时偏移程度达到最大。从几个有代表性的图像帧可以看出，本发明的跟踪窗都能牢牢的锁定被跟踪目标，因此相比较而言，本发明对于快速移动的目标的鲁棒性强于IVT算法与L1T算法。

实验参数与结果分析

由于IVT算法、L1T算法以及本发明都是利用粒子滤波思想建立跟踪模型，为了能较公平地比较三种算法的性能，我们将初始状态的粒子数设为相同的值，同时为了保证实时性，对于运动以及变化较快的目标，粒子数初始值较为稀少。例如：对于第1组测试视频，我们将粒子数设定为N_p＝480左右；第2组测试视频中目标本身并没有发生太大的改变，因此将粒子数设为N_p＝400左右；而在第3组测试视频中，由于目标呈现出跳跃式的刚性变化，粒子退化的现象较为严重，因此我们将粒子数设为N_p＝440左右。此外，为了进一步提高跟踪的实时性，本算法将目标动态模型中的跟踪窗旋转角度设为θ_t＝0；由于在第3组视频中，尺度变化不明显，因此我们将跟踪窗的尺度参数设为常数1。

利用Matlab2013中的坐标图绘制功能，图1、图2和图3分别展示了以上三组测试视频的跟踪效果图。其中，图1与图3的实线为本发明的跟踪窗中心与目标中心的误差曲线，点线为IVT算法的跟踪误差曲线，虚线为L1T算法的跟踪误差曲线；图2中的实线为本发明误差曲线，点线为IVT算法误差曲线，虚线为Frag-basedTracker算法误差曲线。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围内。

Claims (7)

1.一种基于稀疏子空间的追踪方法，其特征在于，包括以下步骤：

A1：目标的稀疏子空间的提取，对图像序列中的目标X_k＝[I₁,I₂,...I_k]压缩采样得到X_ck＝[I_c1,I_c2,...I_ck]，利用鲁棒主成分分析RPCA从X_ck中得到低秩矩阵B_k，从B_k提取稀疏子空间：

M_p＝span{φ₁,φ₂,...φ_p}；

A2：在U₀＝M_p中初始化粒子，粒子数N_p人工设定，每个粒子的权重为1/N_p。

A3：根据动态模型对粒子进行采样，即以U_t-1为中心，以概率分布P(s_t|s_t-1)＝N(s_t；s_t-1,Ψ_t-1)，其中s_t＝(x_t,y_t,θ_t,p_t,α_t)，

A4：输入经过压缩采样的下一时刻的目标y_t，通过外观模型计算出经过步骤A2采样后的粒子权重式中，U取值为U_t-1；

A5：在具有最大权重的粒子处生成跟踪窗，则得到t时刻目标所在具体位置；

A6：利用公式判断稀疏子空间U_t-1是否需要更新；

A7：重新初始化粒子，并回到步骤A2中进入下一帧目标的跟踪。

2.根据权利要求1所述的基于稀疏子空间的追踪方法，其特征在于，从B_k提取稀疏子空间的算法包括以下步骤：

输入：B_k

输出：B_k的稀疏子空间U₀＝M_p

B1：求解最大主成分φ₁：

初始化φ₁ ⁽⁰⁾，使得

通过下式迭代求解出φ₁ ⁽¹⁾,φ₁ ⁽²⁾,...直到收敛：

${\mathrm{\&phi;}}_1^{\left(i\right)}=\underset{\mathrm{\&alpha;}}{\arg max}{\left(B_k^T{B}_k{\mathrm{\&phi;}}_1^{\left(i-1\right)}\right)}^T\mathrm{\&alpha;},\left|\right|\mathrm{\&alpha;}|{|}_{\mathrm{\&lambda;}}\&le;1;$

B2：随机选出M_p-1＝span{φ₁,φ₂,...φ_p-1}

令Φ_p-1＝(φ₁,φ₂...φ_p-1)，则a在M_p-1的正交补空间下的投影为 $a_{\&perp;}=(1-{\mathrm{\&Phi;}}_{p-1}^T{\mathrm{\&Phi;}}_{p-1})a;$

B3：将a_⊥代入公式(2)，并结合公式(3)可求解出φ_p，其中(2)式为

φ_p＝a_⊥+t₁φ₁+t₂φ₂+...+t_p-1φ_p-1，

(3)式为 $t^{*}=\underset{t}{\arg max}\left(\right|\left|B_k^T{B}_k{\mathrm{\&phi;}}_p\right|{|}_{\mathrm{\&lambda;}}-L\left(t\right)),$

(3)式中这里φ_p·φ_i表示φ_p与φ_i的内积；

$\left|\right|\&CenterDot;|{|}_{\mathrm{\&lambda;}}={\&lsqb;(1-\mathrm{\&lambda;})\left|\right|\&CenterDot;|{|}_2^2+\mathrm{\&lambda;}||\&CenterDot;|{|}_1^2\&rsqb;}^{\frac{1}{2}},(0\&le;\mathrm{\&lambda;}<1)$

B4：返回步骤B2并求出其它高阶主成分；

通过步骤B1至B4求得的M_p即为U₀。

3.根据权利要求1所述的基于稀疏子空间的追踪方法，其特征在于:X_k＝[I₁,I₂,...I_k]表示从第1帧到第k帧跟踪窗所构成的图像序列,X_ck＝[I_c1,I_c2,...I_ck]表示随机投影矩阵对X_k压缩处理后得到的图像序列。

4.根据权利要求1所述的基于稀疏子空间的追踪方法，其特征在于，得到低秩矩阵B_k的具体公式为：

$\underset{B_k,E_k}{\min }\left|\right|B_k|{|}_{*}+|\left|E_k\right|{|}_1$

s.t.X_ck＝B_k+E_k

其中||B_k||_*为核范数，即B_k奇异值的和。

5.根据权利要求1所述的基于稀疏子空间的追踪方法，其特征在于：M_p＝span{φ₁,φ₂,...φ_p}表示B_k中的前p个主成分φ₁,φ₂,...φ_p张成的稀疏子空间。

6.根据权利要求1所述的基于稀疏子空间的追踪方法，其特征在于：N(s_t；s_t-1,Ψ_t-1)表示s_t服从均值为s_t-1，方差为Ψ_t-1的高斯分布。

7.根据权利要求1所述的基于稀疏子空间的追踪方法，其特征在于：y_t表示t时刻经过压缩后的跟踪窗。