CN106097381A - 一种基于流形判别非负矩阵分解的目标跟踪方法 - Google Patents

Abstract

一种基于流形判别非负矩阵分解的目标跟踪方法，包括：S1获取当前帧正负样本，S2获取正负样本特征和样本矩阵X_l；S3读取下一帧，获取候选样本矩阵X_u；S4合并X_l和X_u为数据矩阵X，将X分解为非负矩阵乘积，再经学习得到分类器；S5通过分类器计算每个候选样本的响应值，选取最大响应作为跟踪目标；S6判断是否最后一帧，若是，进入S7输出每一帧目标的状态，若否，跳至S1。本发明通过非负矩阵分解来获得更高层图像特征，能更好描述局部特性，排除遮挡和背景干扰；使用半监督流形正则方法，结合标记和无标记样本训练含空间结构信息的分类器，可保留更多判别信息，有效应对光照和目标形变；通过在线训练更新特征提取模型，快速定位视频中的指定目标。

Description

一种基于流形判别非负矩阵分解的目标跟踪方法

技术领域

本发明涉及一种基于流形判别非负矩阵分解的目标跟踪方法，属于计算机视觉、模式识别以及视频监控技术领域。

背景技术

目标跟踪旨在从视频中定位、识别场景中的指定目标，并估计其运动轨迹。计算机视觉的许多高层任务，如场景理解、事件检测、行为识别等，都很大程度上依赖于目标跟踪的结果。在计算机视觉和模式识别领域的国际顶级学术刊物和会议上，目标跟踪都占据了不低的篇幅和比重。作为一个融合了计算机视觉、图像处理、模式识别、机器学习、统计分析和随机过程等多学科交叉的前沿性研究方向，目标跟踪在视频监控、人机交互、视觉导航、运动分析、视频检索等系统等领域中具有很重要的实际应用价值。近年来出现的目标跟踪方法，大致可以分为生成式和判别式两类。生成式的跟踪方法通常为需要跟踪目标生成一个表观模型，通过模型匹配，寻找当前帧中与被跟踪目标最相似的候选目标作为跟踪结果，其中的关键问题是，如何衡量目标之间相似程度，以确保跟踪结果的正确性。而判别式的方法则采用了不同的思路，它将跟踪看成一个二分类问题，把目标作为正样本，背景信息作为负样本，通过训练一个分类器来区分目标和背景，其中的关键是训练一个鲁棒的分类器，减少错分的发生。

目前已有的生成式跟踪方法，通常使用低层视觉特征(如颜色、边缘、纹理等)描述目标的表观信息，并根据表观特征在特征空间中的空间分布构建有判别力的表观模型。然而在实际跟踪任务中，由于存在目标被遮挡、目标变形和快速位移以及光照变化等干扰，仅仅依靠表观特征的空间分布很容易使得被跟踪目标与背景或遮挡物混淆，限制了表观模型在实际中起的作用。常见的一些判别式方法也仅仅是考虑标记样本，由于标记样本的数目往往很少，很难获得有效的判别信息。因此，考虑半监督的判别式跟踪方法，充分利用标记信息的同时，综合考虑无标记样本的特性和空间结构信息，提高分类器的判别能力势在必行。

近年来，非负矩阵分解作为一种有效的图像表示方法，已经被广泛应用于图像分类和人脸识别领域。它将图像低层特征进行非负分解，将得到的系数矩阵作为新的中层特征，由于非负中层特征能够更好地表示图像的局部信息，语义比仅仅考虑低层视觉特征要丰富的多。

(1)在Signal Processing 2013年第93卷第6号第1608页至1623页，题目为：“On-line learning parts-based representation via incremental orthogonalprojective non-negative matrix factorization”文章中，Wang等人首次将非负矩阵分解应用于跟踪领域，提出了基于正交非负矩阵分解的生成式跟踪方法。但是该方法仅仅把分解获得的基向量作为目标模板，而没有利用目标的标记信息，使得跟踪方法的准确度不高。

(2)在IEEE Transactions on Circuits and Systems for Video Technology2014年第24卷第3号第374至383页，题目为：“Visual tracking via online nonnegativematrix factorization”的文章中，Wu等人提出了基于一般非负矩阵分解的判别式跟踪方法，取得了较好的跟踪性能。然而，该方法虽然利用了标记信息，但是没有考虑数量巨大的无标记样本，并且只使用单一流形正则来拟合样本的几何特性，不能很好的表示样本的空间结构信息。

针对上述已有方法的不足，本发明一种基于流形判别非负矩阵分解的目标跟踪方法提出基于半监督流形判别的非负矩阵分解跟踪方法，在利用样本标记信息的同时，考虑无标记样本共同提供的空间结构信息，使得跟踪方法对于目标变形和遮挡等干扰更加鲁棒。

发明内容

本发明的目的要解决现有目标跟踪方法采用的表观模型或者训练的分类器判别能力不足，不能有效处理复杂场景中遮挡、目标变形和位移、光照变化为主的问题、从而导致目标容易丢失和跟踪失败，提出了一种基于流形判别非负矩阵分解的目标跟踪方法。

一种基于流形判别非负矩阵分解的目标跟踪方法，包括如下步骤：

S1:在当前帧，按照粒子滤波框架在目标位置附近分别提取正样本和负样本，且每个样本都包含一组仿射参数；

所述的正样本为n_p个，所述的负样本为n_n个；且每个样本可以为n_p个正样本中的一个，或者为n_n个负样本中的一个；

S2:根据S1输出的每个样本包含的仿射参数获取对应该样本的图像块并提取此图像块的图像特征，生成样本矩阵；

其中，生成样本矩阵记为X_l，其中l＝n_p+n_n；

S3:读取下一帧，在前一帧目标位置附近提取候选样本，获取对应的候选样本矩阵；

其中，所述的候选样本为u个，候选样本矩阵记为X_u；

其中，S1中的当前帧、S3中的前一帧及下一帧均指某监控视频流图像帧，所述的监控视频图像帧来自于场景中监控摄像机采集的在线视频流；

S4:合并S2输出的样本矩阵和S3输出的候选样本矩阵为数据矩阵，将此数据矩阵分解为两个低秩的非负矩阵的乘积，同时考虑样本的标记信息和几何特性，引入判别约束和流形约束，最终学习得到一个贝叶斯分类器；

其中，S4中的数据矩阵记为X，两个低秩的非负矩阵记为U和V，其乘积记为X＝UV；

S5:通过S4输出的贝叶斯分类器计算S3中每个候选样本的响应值，选取响应值最大的候选样本作为当前帧的跟踪目标；

S6、判断当前帧数是否是最后一帧，并进行相应操作，具体为：

S6.1如果当前帧数是最后一帧，表明跟踪结束，跳至S7；

S6.2如果当前帧数不是最后一帧，表明还需要继续跟踪，跳至S1，继续下一帧图像的目标跟踪；

S7、输出每一帧目标的状态；

至此，从S1到S7完成了一种基于流形判别非负矩阵分解的目标跟踪方法。

有益效果

本发明一种基于流形判别非负矩阵分解的目标跟踪方法，用于快速定位视频中的指定目标，与已有目标跟踪方法相比，具有如下有益效果：

1、本发明通过非负矩阵分解来获得更高层的图像特征，相比于目标的表观特征能够更好地描述局部特性，有利于排除遮挡和相似背景的干扰；

2、本发明使用半监督的流形正则方法，结合标记样本和候选无标记样本共同训练带有空间结构信息的分类器，能够保留更多的判别信息，有效应对光照变化和目标形变；

3、本发明通过在线训练更新特征提取模型，在保持跟踪性能的同时保证了跟踪的实时性，即可以用于实时跟踪监控视频中的指定监控目标。

附图说明

图1是本发明一种基于流形判别非负矩阵分解的目标跟踪方法的目标跟踪方法流程图；

图2是本发明一种基于流形判别非负矩阵分解的目标跟踪方法及实施例具体实施非负矩阵分解的跟踪示意图。

具体实施方式

一种基于流形判别非负矩阵分解的目标跟踪方法，通过对低层图像特征进行非负矩阵分解来获得能更好表达目标局部特性的中层特征，综合考虑目标的空间结构，在线训练分类器利用标记样本的判别信息来实现候选位置与实际目标的精确匹配；其流程图如图1所示。

由图1可以看出：S1获取当前帧正负样本，S2获取正负样本特征和样本矩阵X_l；S3读取下一帧，获取候选样本矩阵X_u；S4中合并X_l和X_u为数据矩阵X，并将此X分解为非负矩阵U和V，再经学习得到分类器；S5通过分类器计算每个候选样本的响应值，选取最大响应作为跟踪目标；S6判断是否最后一帧，若是，进入S7输出每一帧目标的状态，若否，跳至S1。

以下通过具体实施例详细描述本发明的实施方式，实施例不作为对本发明的保护范围的限制。

实施例1

本发明具体实施时的目标跟踪方法，包含如下步骤：

步骤一 获取正样本和负样本；

其中，正样本和正样本均通过上一帧目标位置附近获取；在本实例中，选取正样本5个和负样本200个；

与此同时，按照粒子滤波框架，每个粒子由6个仿射参数构成，分别表示目标纵轴方向方向x的位移、横轴方向y的位移、旋转角度、尺度变化比例、纵横比和倾斜度，通过此6个仿射参数的随机变化，就能获得和目标位置相近的其他图像区域的位置参数；对于上述放射参数，正样本的x方向的位移和y方向的位移设定为5：即在目标位置为中心边长为10的区域内随机采样；负样本x方向的位移和y方向的位移设定为7.5，即在边长为15的区域内随机采样；随机采样的示意图如图2中的上一帧中的实线框和虚线框所示：具体的，实线方框内获取的为正样本，虚线方框中获取的为负样本。

步骤二 提取样本特征；

通过仿射参数变换，将步骤一选取的对应区域图像转化为宽高为32×32大小的矩阵，然后对每一个样本提取图像特征并转化为列向量；通常使用的图像特征有灰度、HOG、LAB为主的特征；在本实例中，我们使用了三种特征的组合，其中，灰度特征向量是32×32＝1024维，采用的优化HOG特征向量是6×6×31＝1116维，LAB特征向量是32×32×3＝3072维，针对跟踪视频原始图像的不同，分别采取灰度及HOG和LAB及HOG的组合；得到样本矩阵和对应的样本标记其中∈表示属于，表示实数空间，表示d×205维的实数空间，表示205维实数空间，d表示最终特征的维度，205表示总的有标记样本个数，含正样本200个和负样本5个；

步骤三 获取候选样本，生成候选样本矩阵；

读取当前帧，参照上一帧的目标位置，同样采用粒子滤波框架获取候选样本；对应图2中的第二行图像实线方框内获取的为候选样本；具体在在本实例中，选取300个无标记的候选样本，在边长为10的范围内随机采样；按照S2步骤中的特征提取方法，提取图像特征后获得的候选样本矩阵为

步骤四 学习半监督分类器；

数据矩阵为所有的数据组成的矩阵，其中505表示全部样本的个数，包括有标记样本205个，无标记样本300个；根据非负矩阵分解的理论，我们可以将数据矩阵X分解为两个低秩的非负矩阵的乘积，在本实例中，选择分解的维度为30，即，X＝UV，其中，其中表示正实数空间，如图2所示；

此时，求解U矩阵和V矩阵就转化为以下优化问题：

${\min }_{U,V}\left|\right|X-UV|{|}_F^2$

s.t. U≥0 V≥0

其中，min表示最小化(minimize的英文缩写)，s.t.表示受制于(subject to的英文缩写)，||·||_F表示矩阵的Frobenius范数，即矩阵元素绝对值的平方和再开平方；矩阵U可以看做一个字典，V可以看做数据矩阵相对于字典的系数，也可以作为字典的一种新的表示。在本发明中，我们把V作为一种新的中层特征来训练分类器。如图2所示，字典U直观上可以看作是原始图像局部特征的具体刻画。

考虑样本的标记信息和空间结构信息，引入流形判别约束，即在原优化问题的基础上增加约束：

$\underset{U,V,w,\mathrm{\α}}{min}\left|\right|X-UV|{|}_F^2+\mathrm{\σ}\left(\right||Y-{\mathrm{JV}}^{T}w|{|}^2+\mathrm{\λ}\left|\right|w\left|{|}^2\right)+\∈tr\left(f^{T}Lf\right)$

s.t. U≥0 V≥0

$\begin{array}{cc}s.t.& {\mathrm{\Σ}}_{k=1}^p{\mathrm{\α}}_k=1,{\mathrm{\α}}_k>0,\∀k=1,...,p\end{array}$

第二项和第三项分别是分类器的判别误差和流形正则约束，其中y₁，...，y_l表示l个样本的标记，[...]^T表示中括号中的矩阵或者向量的转置，f＝[f(v₁)，...，f(v_n)]^T＝V^Tw，f表示分类器函数，向量v_i是矩阵V的第i列，w为分类器的最佳分界面；其前l个对角元素为1，diag表示对角化操作算子，即将其后的向量转化成一个对角矩阵，表示n×n维的实数空间；矩阵是p个预定的图所形成的Laplacian矩阵的线性组合，衡量了样本之间的相似程度，包含了目标的结构信息，其中Σ表示求和符号，在这里求多个矩阵的和，α_k表示第k个预定的Laplacian矩阵的L^(k)的权重。对其中每一项，L^(k)＝D^(k)-A^(k)，A^(k)是样本的亲近矩阵，D^(k)是一个对角矩阵，其每个对角元素其中Σ表示求和符号，在这里求多个数的和。

通过对上述分步迭代求解，可以得到分类器的最佳分界面w和Laplacian矩阵的最优组合参数α_k。通过联合优化，一方面提高了运算效率，另一方面也避免陷入局部最优值。

步骤五 选取最优候选目标；

学习得到分类器以后，候选样本中响应值最大的目标就可以认为是当前帧的目标。在本发明中，我们在考虑分类器的分类结果的基础上综合考虑了图像非负矩阵分解的重构误差，进一步提高了准确度。如图2所示，直观上，最优候选样本对应的特征向量与模板矩阵U的乘积可以得到当前帧的目标图像，在本发明中，我们只计算得到候选样本的响应值，直接把最优候选样本的位置代入下一步计算。

步骤六 判断是否结束；

跟踪流程的最后是判断跟踪是否结束，在本发明中，正负样本的获取放在流程第一步进行，避免跟踪流程已经结束依旧在最后一帧获取正负样本的额外步骤。

综上所述，给定一个在线视频流，本发明通过对每一帧图像依次运行步骤一到步骤六，完成了一种基于流形判别非负矩阵分解的目标跟踪方法。

通过发明主体及实施例的细节描述，解决了现有目标跟踪方法不能有效处理复杂场景中遮挡、目标变形和位移、光照变化等问题的不足，获得了较为鲁棒的跟踪结果。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明。应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、局部改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于流形判别非负矩阵分解的目标跟踪方法，其特征在于：

包括如下步骤：

S1:在当前帧，按照粒子滤波框架在目标位置附近分别提取正样本和负样本，且每个样本都包含一组仿射参数；

S2:根据S1输出的每个样本包含的仿射参数获取对应该样本的图像块并提取此图像块的图像特征，生成样本矩阵；

S3:读取下一帧，在前一帧目标位置附近提取候选样本，获取对应的候选样本矩阵；

S4:合并S2输出的样本矩阵和S3输出的候选样本矩阵为数据矩阵，将此数据矩阵分解为两个低秩的非负矩阵的乘积，同时考虑样本的标记信息和几何特性，引入判别约束和流形约束，最终学习得到一个贝叶斯分类器；

S5:通过S4输出的贝叶斯分类器计算S3中每个候选样本的响应值，选取响应值最大的候选样本作为当前帧的跟踪目标；

S6、判断当前帧数是否是最后一帧，并进行相应操作；

S7、输出每一帧目标的状态；

至此，从S1到S7完成了一种基于流形判别非负矩阵分解的目标跟踪方法。

2.如权利要求1所述的一种基于流形判别非负矩阵分解的目标跟踪方法，其特征还在于：

S1中所述的正样本为n_p个，所述的负样本为n_n个；且每个样本可以为n_p个正样本中的一个，或者为n_n个负样本中的一个。

3.如权利要求1所述的一种基于流形判别非负矩阵分解的目标跟踪方法，其特征还在于：

S2中生成样本矩阵表示为：X_l，其中l＝n_p+n_n。

4.如权利要求1所述的一种基于流形判别非负矩阵分解的目标跟踪方法，其特征还在于：

其中，S3所述的候选样本为u个，候选样本矩阵记为X_u。

5.如权利要求1所述的一种基于流形判别非负矩阵分解的目标跟踪方法，其特征还在于：

其中，S1中的当前帧、S3中的前一帧及下一帧均指某监控视频流图像帧，所述的监控视频图像帧来自于场景中监控摄像机采集的在线视频流。

6.如权利要求1所述的一种基于流形判别非负矩阵分解的目标跟踪方法，其特征还在于：

其中，S4中的数据矩阵记为X，两个低秩的非负矩阵记为U和V，其乘积记为X＝UV。

7.如权利要求1所述的一种基于流形判别非负矩阵分解的目标跟踪方法，其特征还在于：

S6中判断当前帧数是否是最后一帧，并进行的相应操作，具体为：

S6.1如果当前帧数是最后一帧，表明跟踪结束，跳至S7；

S6.2如果当前帧数不是最后一帧，表明还需要继续跟踪，跳至S1，继续下一帧图像的目标跟踪。