CN104899896A - 一种基于子空间特征的多任务学习目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于子空间特征的多任务学习目标跟踪方法，充分利用子空间和稀疏重建在目标外观建模方面的优势，将l₁算法引入到子空间中，借助多任务学习(MTT)的方法来挖掘各个粒子之间的相互关系。构造字典时不再采用图像模板，而是利用PCA的特征子空间构成，并加入琐碎模板以重建噪声。将每一个粒子稀疏表达系数的求解看作是MTT中的一个单任务学习问题，通过施加常用的混合范数l_2,1来联合求解所有粒子的稀疏表示系数，并借助Accelerated Proximal Gradient(APG)方法来进行多任务稀疏表示的求解。相较于l₁跟踪的方法，MTT方法通过挖掘粒子之间的相关性来提高跟踪效果和降低跟踪的计算复杂度。

Description

一种基于子空间特征的多任务学习目标跟踪方法

技术领域

本发明属于计算机数据图像处理技术，具体涉及一种基于子空间特征的多任务学习目标跟踪方法。

背景技术

目标跟踪算法有着广阔的应用场景。在智能视频监控、智能交通、机器人视觉、视频索引等领域都起着重要的作用。此外，目标跟踪在人工智能、内容检索、精确制导、人机交互、医疗诊断等领域都得到了广泛的研究和运用。

尽管目标跟踪算法的研究已经进行了很多年，但此领域仍然存在着许多困难和挑战。目标跟踪仍是计算机视觉领域中的热点问题之一。目前，仍然没有一个良好的算法能够较好地全面处理目标跟踪领域的问题。

近年来,基于各种子空间的外观模型得到了学者们的广泛研究。一种是基于增量PCA子空间的目标跟踪算法，另一种是基于稀疏表示的目标跟踪算法，即l₁最小化跟踪。基于增量PCA子空间的目标跟踪算法，通过在线更新可以有效的解决目标较大外观变化和长时间跟踪导致的漂移问题，然而对部分遮挡却很敏感。稀疏表示方法将目标在一个字典上进行稀疏线性表示，这个字典可以实时在线更新，以反映目标的外观变化。这种表示方法已经被实验证明对于目标的部分遮挡比较有效，会提升目标跟踪的效果。然而，稀疏表示方法在每一帧图像上会进行大量的l₁优化，这导致计算量比较大。同时，在粒子滤波的框架下，计算量会随着粒子数目的增多而线性增加。最近，一些学者提出来的一些加速l₁优化求解的方法被应用到目标跟踪中，但这类方法都是假设各个粒子之间的稀疏表示过程是相互独立的，忽略粒子之间的关系容易导致目标的漂移，尤其是当目标在外观有显著变化时。此外这些算法主要采用图像模板作为字典，从而使得超完备字典的维数很高，计算量大，而且图像原始灰度特征容易受光照以及相似背景等影响。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于子空间特征的多任务学习目标跟踪方法。

技术方案

一种基于子空间特征的多任务学习目标跟踪方法，其特征在于步骤如下：

步骤1：读取第一帧图像数据以及目标块在第一帧图像中的参数[x,y,w,h]，在目标周围根据高斯分布随机产生m个粒子点，并记录其坐标(x_i,y_i)，i＝1,2,L,m；每个粒子代表了一个目标样本；

其中：x,y表示目标中心的横纵坐标，w,h表示目标的宽和高；

步骤2：采用仿射变换将每个目标样本区域规划到一个M×N的标准图像块z∈R^M×N；

步骤3：对每个目标样本使用增量PCA算法，提取每个目标样本的视觉特征表示向量u_i；

步骤4：将所有目标样本对应的列向量u_i组合到一起为D＝[u₁,u₂,L,u_m]，引入琐碎模板I_d∈R^d×d实现重构噪声和遮挡，构成一个大小为d×(m+d)维的字典V＝[D I_d]；其中：I_d为单位矩阵；

步骤5：读取下一帧图像，在上一帧图像的目标块周围随机选取n个粒子点，记录粒子点坐标(x_k,y_k)k＝1,2,L,n；每个粒子点代表了一个候选目标，每个粒子点按步骤2的特征表示方法得到一个列向量y_i；

步骤6：将所有待选目标粒子对应的向量组合在一起得到矩阵Y＝[y₁,y₂,...,y_n]，利用字典表示为：

$Y=\left[\begin{array}{cc}{D}_t& I_d\end{array}\right]\left[\begin{array}{c}Z\\ E\end{array}\right]\⇒Y=\mathrm{BC}$

根据 $\underset{C}{\min }{\left|\right|Y-\mathrm{BC}\left|\right|}_F^2+\mathrm{\λ}{\left|\right|C\left|\right|}_{\mathrm{2,1}},$ 求解得到系数 $C=\left[\begin{array}{c}Z\\ E\end{array}\right];$

其中：λ是联合稀疏正则项和可靠重建项之间的平衡系数；||C_i||₂是C_i的l₂范数，C_i是矩阵C的第i行；

步骤7：对步骤5产生的n个候选目标，计算每个候选目标的重构误差以其中重构误差最小的粒子[x,y,w,h]作为目标跟踪的结果；

判断是否处理完所有图像序列的所有帧，若没有，则转到步骤4继续；若处理完，则跟踪结束。

有益效果

本发明提出的一种基于子空间特征的多任务学习目标跟踪方法，充分利用子空间和稀疏重建在目标外观建模方面的优势，将l₁算法引入到子空间中，借助多任务学习(MTT)的方法来挖掘各个粒子之间的相互关系。构造字典时不再采用图像模板，而是利用PCA的特征子空间构成，并加入琐碎模板以重建噪声。将每一个粒子稀疏表达系数的求解看作是MTT中的一个单任务学习问题，通过施加常用的混合范数l_2,1来联合求解所有粒子的稀疏表示系数，并借助Accelerated Proximal Gradient(APG)方法来进行多任务稀疏表示的求解。相较于l₁跟踪的方法，MTT方法通过挖掘粒子之间的相关性来提高跟踪效果和降低跟踪的计算复杂度。

本发明在子空间的基础上，在特征子空间上构造字典，计算量大大减小，引入琐碎模板解决了遮挡问题，同时能够更加有效地表示目标，克服了光照变化、尺度变化等问题。在稀疏表示框架下，引入多任务学习方法，充分挖掘粒子之间的相互关系，实现了红外目标的快速鲁棒跟踪。

附图说明

图1本发明方法的流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明在第一帧目标确定的基础上，首先采用PCA子空间特征表示方法进行目标表示，并引入琐碎模板构造用于稀疏表示的字典。其次，对粒子滤波方法产生的候选目标，进行联合稀疏表示，求解得到表示系数。最后，选取其中重构误差最小的候选目标作为跟踪结果。具体如下步骤如下，流程可参考附图。

1)读取第一帧图像数据以及目标块在第一帧图像中的参数[x,y,w,h]，在目标周围根据高斯分布随机选取m个粒子点(m取600)，并记录其坐标(x_i,y_i)i＝1,2,L,m，每个粒子代表了一个目标样本，其中x,y表示目标中心的横纵坐标，w,h表示目标的宽和高。

2)对前10帧序列图像，使用粒子滤波跟踪算法，使用跟踪到的目标外观模型初始化子空间。

3)对所有的候选粒子点进行仿射变换将目标区域规划到一个M×N(32×32)的标准图像块z∈R^M×N。

4)对步骤3)产生的每个目标样本z∈R^M×N，使用增量PCA算法，提取其视觉特征表示向量u_i(主分量个数取16)。

5)将所有粒子对应的列向量u_i组合到一起即D＝[u₁,u₂,L,u_m]，为重构噪声和遮挡引入琐碎模板I_d∈R^d×d(I_d为单位矩阵)，构成了一个大小为d×(m+d)维的目标特征模板(字典)V＝[D I_d]。

6)读取下一帧图像，在上一帧图像目标周围随机产生n个粒子点，记录其坐标(x_k,y_k)，k＝1,2,L,n。每个粒子点代表了一个候选目标，每个粒子点按步骤3的特征表示方法可以得到一个列向量y_i。

7)将所有待选目标粒子对应的向量组合在一起得到矩阵Y＝[y₁,y₂,...,y_n]，利用目标特征模板(字典)进行表示，即：

$Y=\left[\begin{array}{cc}{D}_t& I_d\end{array}\right]\left[\begin{array}{c}Z\\ E\end{array}\right]\⇒Y=\mathrm{BC}$

这里，我们寻求表示系数C的稀疏性，即根据此目标函数，求解得到系数 $C=\left[\begin{array}{c}Z\\ E\end{array}\right].$ 其中λ是联合稀疏正则项和可靠重建项之间的平衡系数。同时，我们定义这里||C_i||₂是C_i的l₂范数，C_i是矩阵C的第i行。

使用Accelarated Proximal Gradient(APG)方法求解上式，上式中的||C||_2,1就是非平滑的约束项。APG方法是在更新当前的系数矩阵C^(k)和一个聚合矩阵V^(k)中迭代进行，当解或目标函数的变化比设定好的阈值低时就停止迭代，认为此时已经收敛。

8)对于粒子滤波产生的n个候选目标求候选目标的重构误差选择其中重构误差最小的粒子[x,y,w,h]作为目标跟踪的结果。

判断是否处理完所有图像序列的所有帧。若没有，则转到步骤5继续；若处理完，则算法结束。

本发明利用目标图像的灰度特征信息作为目标模板构造字典，通过对每个候选目标计算l₁范数最小化进行稀疏求解，计算其重构误差得到每个粒子的概率，从而实现目标跟踪。考虑到这种方法字典的维数过高，且对每个粒子求解l₁最小化的过程相当耗时，无法满足算法的实时性，以及灰度特征易受噪声、光照变化和相似物体干扰等影响的问题，本发明利用PCA子空间特征构造字典，不但很好的保持了原始图像特征，还具备更好的表示能力，同时借用多任务学习思想，充分挖掘粒子间的相关性，降低了跟踪过程的计算复杂度并提高了跟踪效果。

Claims (1)

1.一种基于子空间特征的多任务学习目标跟踪方法，其特征在于步骤如下：

步骤1：读取第一帧图像数据以及目标块在第一帧图像中的参数[x,y,w,h]，在目标周围根据高斯分布随机产生m个粒子点，并记录其坐标(x_i,y_i)，i＝1,2,L,m；每个粒子代表了一个目标样本；

其中：x,y表示目标中心的横纵坐标，w,h表示目标的宽和高；

步骤2：采用仿射变换将每个目标样本区域规划到一个M×N的标准图像块z∈R^M×N；

步骤3：对每个目标样本使用增量PCA算法，提取每个目标样本的视觉特征表示向量u_i；

步骤4：将所有目标样本对应的列向量u_i组合到一起为D＝[u₁,u₂,L,u_m]，引入琐碎模板I_d∈R^d×d实现重构噪声和遮挡，构成一个大小为d×(m+d)维的字典V＝[D I_d]；其中：I_d为单位矩阵；

步骤5：读取下一帧图像，在上一帧图像的目标块周围随机选取n个粒子点，记录粒子点坐标(x_k,y_k)k＝1,2,L,n；每个粒子点代表了一个候选目标，每个粒子点按步骤2的特征表示方法得到一个列向量y_i；

步骤6：将所有待选目标粒子对应的向量组合在一起得到矩阵Y＝[y₁,y₂,...,y_n]，利用字典表示为：

$Y=\left[\begin{array}{cc}{D}_t& I_d\end{array}\right]\left[\begin{array}{c}Z\\ E\end{array}\right]\⇒Y=\mathrm{BC}$

根据 $\underset{C}{\min }{\left|\right|Y-\mathrm{BC}\left|\right|}_F^2+\mathrm{\λ}{\left|\right|C\left|\right|}_{\mathrm{2,1}},$ 求解得到系数 $C=\left[\begin{array}{c}Z\\ E\end{array}\right];$

其中：λ是联合稀疏正则项和可靠重建项之间的平衡系数；||C_i||₂是C_i的l₂范数，C_i是矩阵C的第i行；

步骤7：对步骤5产生的n个候选目标，计算每个候选目标的重构误差以其中重构误差最小的粒子[x,y,w,h]作为目标跟踪的结果；

判断是否处理完所有图像序列的所有帧，若没有，则转到步骤4继续；若处理完，则跟踪结束。