CN110111338A - 一种基于超像素时空显著性分割的视觉跟踪方法 - Google Patents

Abstract

本发明实施例公开了一种基于超像素时空显著性分割的视觉跟踪方法，所述方法包括以下步骤：结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征；将基于图模型的显著性检测算法应用到基于超像素的目标追踪上；基于迭代阈值分割算法完成前景超像素和背景超像素的分离，通过对相关系数矩阵进行聚类，精准切割目标；使用切割样本去训练SVM分类器，将训练好的分类器用于后续帧的目标前景识别中。实施本发明实施例，使用超像素可以大大减少复杂图像处理的计算时间，并且与高级和低级特征相比更具有灵活性。

Description

一种基于超像素时空显著性分割的视觉跟踪方法

技术领域

本发明涉及计算机视觉处理技术领域，尤其涉及一种基于超像素时空显著性分割的视觉跟踪方法。

背景技术

在追踪过程中，目标将会发生各种复杂的变形，例如行为变化、角度变化、尺度变化和遮挡。为了构建一个有效的目标外观模型，基于切割的追踪算法使用像素级的颜色和纹理特征或者是利用外部切割算法构建目标外观。虽然像素级特征在跟踪过程中能够保持更多的一致性，但是仅仅对目标的语义结构进行建模是不够的。近年来，跟踪检测方法利用目标纹理特征或其他高级特征，建立分类器来区分目标和背景。但是，这些算法通常依赖于包围框来表示目标，这样做经常会容易损失目标的细节和产生目标漂移问题。为了决解上述问题，有人提出许多基于部件的追踪算法，这些追踪器假设目标的各组成部分间有很强的结构，并通过最小化模型转换的误差来定位目标，但是在目标发生大的姿态变化、平面外运动和非刚性变形的情况下，这些算法通常是无效的。

近年来，超像素已被用于表示区域级感兴趣对象的基础性应用上，如对象分割、对象识别、人体姿态估计和显著性检测。在超级像素中，具有相似的颜色、纹理或梯度的像素作为一个整体，这是构成目标的视觉特征的局部结构。但采用非超像素导致图像处理比较复杂，计算时间长，导致灵活性差，如何使用超像素来实现相应的图像处理，从而达到相应的解决方法，现有技术也未给出明确的解决方案。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于超像素时空显著性分割的视觉跟踪方法，使用超像素可以大大减少复杂图像处理的计算时间，并且与高级和低级特征相比更具有灵活性。

本发明提供了一种基于超像素时空显著性分割的视觉跟踪方法，所述方法包括以下步骤：

结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征；

将基于图模型的显著性检测算法应用到基于超像素的目标追踪上；

基于迭代阈值分割算法完成前景和背景超像素的分离，通过对相关系数矩阵进行聚类，精准切割目标；

使用切割样本去训练SVM分类器，将训练好的分类器用于后续帧的目标前景识别中。

所述结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征包括：

通过SLIC算法计算超像素，用一串超像素S＝(s₁,...,s_n)来描述目标，n代表超像素的个数，其中：每一个超像素由一组参数集表式S_i＝(x_i,y_i,f_i,θ_i,δ_i,l_i)，其中，x_i和y_i是S_i的笛卡尔坐标，f_i表示S_i的特征描述符，θ_i表明S_i是否位于图像边界，δ_i表示S_i是前景还是背景超像素，l_i是S_i的一个标签；

追踪目标的每一个超像素的特征描述符f_i表式为f_i＝{L,a,b,ps,pv,score}，f_i是由两部分组成：Lab颜色直方图和稀疏光流特征，其中：Lab颜色模型可以表示人类所能看到的所有颜色，在特征描述符f_i的表达式中，L表示光线亮度，a代表红色和绿色之间的差值，b表示蓝色和黄色之间的差值；ps是坐标点(x,y)的一个N×2坐标阵列，其对应于超像素中像素的新位置；pv是一个N×1的逻辑矩阵，这个矩阵表示每一个像素点是否达到可靠跟踪；score表示M×1矩阵，表示每个像素的先前位置周围的邻域与新位置之间的相似程度，其中N是超像素的个数。

所述结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征还包括：

对某一帧t的每一个超像素使用光流KLT算法查找每一个像素的运动，这个运动具有两帧间像素强度差平方和的最小位移。

所述将基于图模型的显著性检测算法应用到基于超像素的目标追踪上包括：

在基于图模型的显著性检测算法中，将超像素看作图节点，将相邻超像素间的距离看作图边界的权重；

依据基于图像的流形排序算法来计算单帧中每个超像素的显著性。

所述基于迭代阈值分割算法完成前景和背景超像素的分离，通过对相关系数矩阵进行聚类，精准切割目标包括：

采用迭代分离方法，通过聚类超像素之间的相关性来分离前景和背景，这里设定一个求相关系数的一般公式，如下所示：

其中C_ov(a_k,b_k)表示向量a_k和b_k之间的相关系数，C_ov∈(0，1)；

使用相似性准则来定义聚类方法，通过目标前景F＝{p_i}^d×M的特征集和当前帧P＝{p_i}^d×N的特征集计算出相关矩阵C_ov＝[c_ij]^M×N，其中d是特征的维数；矩阵的最大值和最小值分别为C_max和C_min，阈值α和β表示独立设置阈值，并定义为：

其中，其中α和β是控制前景和背景分离的阈值，η是实验参数，值设置为25；

得到矩阵C_ov的每一列的最大值，该最大值由向量组成，如果C_m(i)>α，则矩阵C_ov的i列与前景的相关性很高，所对应的P(i)是前景；若C_m(i)≤β，则矩阵C_ov的i列与前景的相关性很低，所对应的P(i)是背景；

对于未分出类别的超像素，计算超像素和集合F之间的相似度，得到相关矩阵C_ov，然后根据公式(7)得到新的阈值α和β，迭代上述阈值比较的过程，直到所有超像素都被分类完成或达到一定数目的迭代次数后，才结束处理过程，这里最大迭代次数设置为25。

所述使用切割样本去训练SVM分类器，将训练好的分类器用于后续帧的目标前景识别中包括：

当到达一个新帧时，在先前目标定位位置周围设置出一个搜索区域，并计算出光流，对超像素进行切割和完成显著性检测；

使用SVM分类器对搜索范围的超像素进行分类，通过结合应用于前景和背景分割的迭代分割算法，计算出每一个超像素的置信图；

在计算出的先前目标定位位置上，使用多尺度包围框围绕目标定位位置，基于多尺度滑动窗口的大小比值反映出先前帧得到的跟踪结果之间的比例值。

超像素i的置信值得计算公式如下所示：

con f(i)＝(cl(i)∪w(i))·S(i) (9)

其中，Cl(i)和w(i)分别表示分类结果和迭代切割的结果，S(i)是超像素i的显著性值。

所述在计算出的目标位置上，使用多尺度包围框围绕目标位置，基于多尺度滑动窗口的大小比值反映出先前帧得到的跟踪结果之间的比例值包括：

在第t帧的搜索框中，计算每个框中超像素的置信度的和，将具有最大置信度和的边框作为最佳跟踪结果，公式如下所示：

其中，k表示第k个搜索框，表示第K个搜索框的前景超像素个数，ρ_k是尺度系数，用来度量包围框与前一帧跟踪结果之间的相似度的大小。

在本发明实施例中，使用超像素可以大大减少复杂图像处理的计算时间，并且与高级和低级特征相比更具有灵活性。本发明实施例所提供的超像素视觉跟踪方法，给出了一种基于前景和背景时空显著性分割的有效解决方案。通过结合颜色直方特征和稀疏光流对目标外观进行建模，这两个特征都是从超像素块中提取的时空特征向量。由于目标框内除了跟踪目标外还包含有少量的背景信息，为了更加精确地表示目标，通过图模型和流形排序来检测超像素显著性，并计算超像素与初始目标外观的颜色相关度获得超像素的重要性。通过引入了一种迭代切割算法，这个算法设定目标前景与背景的超像素是没有交叉的，并通过对超像素之间的相关系数矩阵进行聚类，自动分割出前景区域，从而准确地分割出目标成分。整体来说，通过结合超像素在空域的颜色直方图和在时域的稀疏光流，进而对目标外观进行建模，这个模型可以表示目标的颜色、尺度和运动特征。将基于图模型的显著性检测算法应用到基于超像素的目标追踪上，这种做法有助于在当前帧搜索范围内找到目标的大致位置。采用迭代阈值分割算法完成前景和背景超像素的分离，这种算法通过对相关系数矩阵进行聚类，从而精准切割目标。接着用这些切割样本去训练SVM分类器，将训练好的分类器用于后续帧的目标前景识别中。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的基于超像素时空显著性分割的视觉跟踪方法流程图；

图2是本发明实施例中的视觉跟踪方法演进图；

图3示出了本发明实施例中从粗糙到精细的分割阐述目标外观显著性产生的状态过程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提出了一种的超像素视觉跟踪算法，并给出了一种基于前景和背景时空显著性分割的有效解决方案。通过结合颜色直方特征和稀疏光流对目标外观进行建模，这两个特征都是从超像素块中提取的时空特征向量。由于目标框内除了跟踪目标外还包含有少量的背景信息，为了更加精确地表示目标，我们通过图模型和流形排序来检测超像素显著性，并计算超像素与初始目标外观的颜色相关度获得超像素的重要性。我们还引入了一种迭代切割算法，这个算法假设目标前景与背景的超像素是没有交叉的，并通过对超像素之间的相关系数矩阵进行聚类，自动分割出前景区域，从而准确地分割出目标成分。

首先，结合超像素在空域的颜色直方图和在时域的稀疏光流，进而对目标外观进行建模，这个模型可以表示目标的颜色、尺度和运动特征；其次，将基于图模型的显著性检测算法应用到基于超像素的目标追踪上，这种做法有助于在当前帧搜索范围内找到目标的大致位置，再者，基于迭代阈值分割算法完成前景和背景超像素的分离，这种算法通过对相关系数矩阵进行聚类，从而精准切割目标；最后，使用切割样本去训练SVM分类器，将训练好的分类器用于后续帧的目标前景识别中。

本发明实施例所提供的基于超像素时空显著性分割的视觉跟踪方法，是基于时空超像素特征实现前景与背景显著性切割。在开始追踪前，在视频最初的前四帧对目标前景先进行标注，设定S_f和S_b两组超像素，其中，S_f代表目标前景，S_b代表背景。图1示出了本发明实施例中的基于超像素时空显著性分割的视觉跟踪方法流程图，首先在视频的前四帧对目标区域进行超像素分割，同时提取时域和空域上的特征。接着将目标前景和背景作为样本训练最初的SVM分类器。在后续帧中，计算搜索框中每一个超像素的显著性，并通过空间结构的限制微调每一个超像素的显著性。在目标定位阶段，使用迭代切割方法切割前景与背景，并结合SVM分类器制定出前景目标的置信图，通过图2所示的方法演进图，目标外观建模不仅采用Lab颜色直方图特征，而且也采用了稀疏光流特征，同时保持了目标内部的时域和空域结构。在基于显著超像素的跟踪中，通过迭代分割方法成功分割出前景超像素，并利用SVM分类器预测出目标的运动模型，从而定位出潜在中心，并进一步通过聚类估计目标状态。

具体步骤实现过程如下：

S101、结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征；

步骤S101为一个外观模型初始化过程，其在第一帧给定的初始目标具有颜色、梯度、纹理等空间特征。目标的颜色分布在整个视频序列中相对稳定，目标在时域中的运动在时间轴上是非线性和平滑的，并且提供粗粒度的线索，例如目标的轮廓边界或运动方向。鉴于以上所讨论的情况，本发明实施例使用Lab颜色直方图作为静态特征而稀疏光流作为动态特征，并将这两个特征当作目标超像素块的外观特征。

具体实施过程中，通过超像素分割算法(simple linear iterative cluster，SLIC)计算超像素，用一串超像素S＝(s₁,...,s_n)来描述目标，n代表超像素的个数。每一个超像素由一组参数集表式S_i＝(x_i,y_i,f_i,θ_i,δ_i,l_i),其中，x_i和y_i是S_i的笛卡尔坐标，f_i表示S_i的特征描述符，θ_i表明S_i是否位于图像边界(θ_i＝1表示在图像边界)，δ_i表示S_i是前景还是背景超像素(δ_i＝1表明是前景)，l_i是S_i的一个标签，这里将一直调整δ_i参数并更新超像素的参数集。

追踪目标的每一个超像素的特征描述符f_i表式为f_i＝{L,a,b,ps,pv,score}，f_i是由两部分组成：Lab颜色直方图和稀疏光流特征。Lab颜色模型可以表示人类所能看到的所有颜色。在特征描述符f_i的表达式中，L表示光线亮度，a代表红色和绿色之间的差值，b表示蓝色和黄色之间的差值。同时，在某一帧t的每一个超像素来说，使用光流KLT算法查找每一个像素的运动，这个运动具有两帧间像素强度差平方和的最小位移。另外，ps是坐标点(x,y)的一个N×2坐标阵列，其对应于超像素中像素的新位置。pv是一个N×1的逻辑矩阵，这个矩阵表示每一个像素点是否达到可靠跟踪。score表示M×1矩阵(值在0和1之间)，它表示每个像素的先前位置周围的邻域与新位置之间的相似程度，其中N是超像素的个数。

本发明实施例中需要得到视频前四帧中目标的简单追踪结果定位框，进而可以初始化一串用于描述目标的超像素集。这里将目标的特征集定义为F＝f_i ^M，把这些数据集作为分类器的训练样本，同时也看作是相关系数矩阵计算的参考样本。

Kanade-Lucas-Tomasi方法，即KLT光流法，在实时计算速度上，用它来得到的，是很多点的轨迹，并且还有一些发生了漂移的点，所以，得到跟踪点之后要进行一些后期的处理，说到Kanade-Lucas-Tomasi方法，首先要追溯到Kanade-Lucas两人在上世纪80年代发表的paper：An Iterative Image Registration Technique with an Application toStereo Vision，这里讲的是一种图像点定位的方法，即图像的局部匹配，将图像匹配问题，从传统的滑动窗口搜索方法变为一个求解偏移量d的过程，在求解d的过程中，哪些情况下可以保证一定能够得到d的解，这些情况的点有什么特点。

S102、将基于图模型的显著性检测算法应用到基于超像素的目标追踪上；

具体实施过程中，用图结构实现显著性超像素检测，在基于图模型的显著性检测算法中，将超像素看作图节点，将相邻超像素间的距离(例如集合决距离或者颜色距离)看作图边界的权重。接着依据基于图像的流形排序算法来计算单帧中每个超像素的显著性。

具体实施过程中，将图像表示为G＝(V,E)，其中图顶点V对应于超像素，并且被分成两个子集：一部分顶点定义为未知点，其他顶点根据其与未知点的相关性进行排序。对于给定的超像素集其中n表示超像素的个数，m表示特征的维数。这里设定排序函数是f:SP→R^m，它用于为每一个超像素分配相应的排序值，即重要性程度，f是排序函数，先指定一个种子点，计算其他点与该种子点的重要性程度，即排序。

设定每一个种子点x_i(超像素点)对应一个排序函数值f_i，那么可以把f看作是一个向量，其中f＝[f₁,...,f_n]^T。边界E是通过关联矩阵W＝[w_ij]^n×n进行加权。在图G中，矩阵的度数定义为D＝diag{d₁₁,...,d_nn}，其中d_ii＝Σ_jw_ij，w是图模型中的每条边的权重矩阵，度定义为与每个顶点相连接的边上权重之和，由于顶点、相邻顶点和顶点之间共享边的结构关系，关联矩阵W被看作是一个稀疏矩阵，通过求解以下优化公式来计算未知f^*的最优排序值：

其中，参数μ控制平滑性约束和拟合约束的平衡。用Y＝[y₁,...,y_n]^T表示指示向量，其中，当sp_i是未知点时，y_i＝1，否则y_i＝0，将上述公式(1)的导数设为零，得到的排序函数为：

每一条边的权重由相关顶点的相似度决定，考虑到相同颜色的超像素比不同颜色的超像素具有更高的相关性，以及相邻的超像素代表目标的空间几何相关性。在空间上具有相同颜色和相同连通区域的超像素将具有更一致的排序拟合目标外观，并且更均匀地突出整个目标。通过最大化目标前景中超像素之间的颜色距离和几何距离的得分来学习边界权重，定义c_i和c_j的差值为相关顶点间的CIELab颜色距离，p_i和p_j的差值为相关顶点间的欧几里得距离，由下列公式计算w_ij的值：

其中λ是平衡系数，本实施例中设置为0.5，σ1＝σ2＝10。

在跟踪过程中，在第一帧确定目标，并且目标中心是最重要的前景位置。因此，目标周围的空间关系信息是显著性检测的重要线索。通过在构造图上对顶点进行排序，使用带有背景和未知中心位置的排序，将显著性检测过程分为两阶段实现。

在第一阶段，利用边界先验构造了四个显著性映射，然后将其集成为最终映射。首先以图像最上层边界为例，该边界的超像素是本发明实施例中要求解的，其他的超像素暂时是未标记的数据。根据等式(3)计算出的排序分数，图像上某个超像素i与顶层边界相关的显著性的计算公式为其中是归一化后的排序分数，其值在[0，1]之间。同理，可以分别计算出顶点i与底部边界、左边界和有边界的显著性，分别表示为S₂，S_b(i)，S_l(i)，S_r(i)因此顶点i的总的显著性为：

S₁(i)＝S_t(i)×S_b(i)×S_l(i)×S_r(i) （4）

由于一些背景超像素可能未被充分抑制，影响显著性图的表示结果，因此通过将其与查询前景的排序，进一步修改显著性图。对S₁(i)采用自适应阈值切割方法，接着选择前景显著超像素作为新的查询点。通过等式(3)计算出新排序向量并将其值归一化为[0，1]之间，因此，顶点i的第一阶段显著性变为：

该步骤通过基于图模型的超像素显著性检测算法可以得到足够的线索来识别出感兴趣目标。图3示出了本发明实施例中从粗糙到精细的分割阐述目标外观显著性产生的状态过程图，其中：(a)原图，(b)超像素，(c)光学流，(d)显著性图像。

S103、基于迭代阈值分割算法完成前景超像素和背景超像素的分离，通过对相关系数矩阵进行聚类，精准切割目标；

在利用图模型和流排序得到每个超像素块的显著性值后，需要进一步对这些超像素进行划分，分割出是属于前景和背景。本实施例中采用迭代分离方法，通过聚类超像素之间的相关性来分离前景和背景，这里设定一个求相关系数的一般公式，如下所示：

其中C_ov(a_k,b_k)表示向量a_k和b_k之间的相关系数，C_ov∈(0，1)。C_ov越接近1，相关性越强，相反，越接近0，则相关性越弱。然后，使用相似性准则来定义下面的聚类方法。通过目标前景F＝{p_i}^d×M的特征集和当前帧P＝{p_i}^d×N的特征集计算出相关矩阵C_ov＝[c_ij]^M×N，F是初始目标外观超像素的特征集合，P是当前帧超像素的特征集合，M和N分别表示是超像素的个数，其中d是特征的维数。矩阵的最大值和最小值分别为C_max和C_min，阈值α和β表示独立设置阈值，并定义为：

其中，其中α和β是控制前景和背景分离的阈值，η是实验参数，其值在本实施例中设置为25。

接着，得到矩阵C_ov的每一列的最大值，该最大值由向量组成，如果C_m(i)>α，则矩阵C_ov的i列与前景的相关性很高，这就意味着其对应的P(i)是前景。若C_m(i)≤β，则矩阵C_ov的i列与前景的相关性很低，意味着对应的P(i)可能是背景。对于未分出类别的超像素，计算其和集合F之间的相似度，得到新的相关矩阵C_ov，然后根据公式(7)得到新的阈值α和β，迭代上述阈值比较的过程，直到所有超像素都被分类完成或达到一定数目的迭代次数后，才结束处理过程。在本实施例中，将最大迭代次数设置为25。

在视频的前四帧中，由目标超像素的特征形成目标外观集合F，它不仅用于计算后续帧中超像素的相关矩阵，同时将其用于训练SVM分类器，这里的SVM(Support VectorMachine)指的是支持向量机，是常见的一种判别方法，该分类器可用于对后续帧的前景和前景进行分类。与图像背景相比过程中，发现目标在短时间内表现出与平稳信号相似的特征，这就表明目标的出现是短期平稳的。但在整个视频序列中，视频中的目标和背景都是典型的非平稳信号，它们的分布参数或分布规律会随时间改变而发生变化。因此，在整个跟踪过程中，需要不断地重新训练SVM分类器CL。

S104、使用切割样本去训练SVM分类器，将训练好的分类器用于后续帧的目标前景识别中。

当到达一个新帧时，在先前目标定位位置周围设置出一个搜索区域，并计算出光流，对超像素进行切割和完成显著性检测。为了能够定位出在当前帧中目标的可能位置，使用SVM分类器对搜索范围的超像素进行分类，接着，通过结合应用于前景和背景分割的迭代分割算法，计算出每一个超像素的置信图，超像素i的置信值得计算公式如下所示：

con f(i)＝(cl(i)∪w(i))·S(i) (9)

其中，Cl(i)和w(i)分别表示分类结果和迭代切割的结果，S(i)是超像素i的显著性值。此外，在先前目标定位位置上，使用多尺度包围框围绕先前目标定位位置，并且这些多尺度滑动窗口的大小比值反映的就是先前帧得到的跟踪结果之间的比例值。在第t帧的搜索框中，计算每个框中超像素的置信度的和，将具有最大置信度和的边框作为最佳跟踪结果，公式如下所示：

其中，k表示第k个搜索框，表示第K个搜索框的前景超像素个数，ρ_k是尺度系数，用来度量包围框与前一帧跟踪结果之间的相似度的大小。

综上，本发明实施例基于超像素时空显著性的目标追踪算法，其中通过中级超像素块对目标外观进行切割，在对目标外观进行建模时，结合像素级的颜色直方图和稀疏光流信息，并将其作为超像素的特征。同时，本文通过图模型和流排序对图像进行显著性检测，进而得到每个超像素定位追踪目标的重要性。为了能够精准切割目标各成分，通过迭代切割的方法分离出目标前景超像素和背景超像素，并使用前景特征训练SVM分类器。在追踪过程中，通过计算多尺度框中当前超像素和目标的相关系数矩阵，得到每个超像素块的置信度图。

在本发明实施例中，使用超像素可以大大减少复杂图像处理的计算时间，并且与高级和低级特征相比更具有灵活性。本发明实施例所提供的超像素视觉跟踪方法，给出了一种基于前景和背景时空显著性分割的有效解决方案。通过结合颜色直方特征和稀疏光流对目标外观进行建模，这两个特征都是从超像素块中提取的时空特征向量。由于目标框内除了跟踪目标外还包含有少量的背景信息，为了更加精确地表示目标，通过图模型和流形排序来检测超像素显著性，并计算超像素与初始目标外观的颜色相关度获得超像素的重要性。通过引入了一种迭代切割算法，这个算法设定目标前景与背景的超像素是没有交叉的，并通过对超像素之间的相关系数矩阵进行聚类，自动分割出前景区域，从而准确地分割出目标成分。整体来说，通过结合超像素在空域的颜色直方图和在时域的稀疏光流，进而对目标外观进行建模，这个模型可以表示目标的颜色、尺度和运动特征。将基于图模型的显著性检测算法应用到基于超像素的目标追踪上，这种做法有助于在当前帧搜索范围内找到目标的大致位置。采用迭代阈值分割算法完成前景和背景超像素的分离，这种算法通过对相关系数矩阵进行聚类，从而精准切割目标。接着用这些切割样本去训练SVM分类器，将训练好的分类器用于后续帧的目标前景识别中。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的基于超像素时空显著性分割的视觉跟踪方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于超像素时空显著性分割的视觉跟踪方法，其特征在于，所述方法包括以下步骤：

结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征；

将基于图模型的显著性检测算法应用到基于超像素的目标追踪上；

基于迭代阈值分割算法完成前景超像素和背景超像素的分离，通过对相关系数矩阵进行聚类，精准切割目标；

使用切割样本去训练SVM分类器，将训练好的分类器用于后续帧的目标前景识别中。

2.如权利要求1所述的基于超像素时空显著性分割的视觉跟踪方法，其特征在于，所述结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征包括：

通过SLIC算法计算超像素，用一串超像素S＝(s₁，...，s_n)来描述目标，n代表超像素的个数，其中：每一个超像素由一组参数集表式S_i＝(x_i，y_i，f_i，θ_i，δ_i，l_i)，其中，x_i和y_i是S_i的笛卡尔坐标，f_i表示S_i的特征描述符，θ_i表明S_i是否位于图像边界，δ_i表示S_i是前景还是背景超像素，l_i是S_i的一个标签；

追踪目标的每一个超像素的特征描述符f_i表式为f_i＝{L，a，b，ps，pv，score}，f_i是由两部分组成：Lab颜色直方图和稀疏光流特征，其中：Lab颜色模型可以表示人类所能看到的所有颜色，在特征描述符f_i的表达式中，L表示光线亮度，a代表红色和绿色之间的差值，b表示蓝色和黄色之间的差值；ps是坐标点(x，y)的一个N×2坐标阵列，其对应于超像素中像素的中心位置；pv是一个N×1的逻辑矩阵，这个矩阵表示每一个像素点是否达到可靠跟踪；score表示M×1矩阵，表示每个像素的先前位置周围的邻域与新位置之间的相似程度，其中N是超像素的个数。

3.如权利要求2所述的基于超像素时空显著性分割的视觉跟踪方法，其特征在于，所述结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征，还包括：

对某一帧t的每一个超像素使用光流KLT算法查找每一个像素的运动，这个运动具有两帧间像素强度差平方和的最小位移。

4.如权利要求3所述的基于超像素时空显著性分割的视觉跟踪方法，其特征在于，所述将基于图模型的显著性检测算法应用到基于超像素的目标追踪上包括：

在基于图模型的显著性检测算法中，将超像素看作图节点，将相邻超像素间的距离看作图边界的权重；

依据基于图像的流形排序算法来计算单帧中每个超像素的显著性。

5.如权利要求4所述的基于超像素时空显著性分割的视觉跟踪方法，其特征在于，所述基于迭代阈值分割算法完成前景超像素和背景超像素的分离，通过对相关系数矩阵进行聚类，精准切割目标包括：

采用迭代分离方法，通过聚类超像素之间的相关性来分离前景和背景，这里设定一个求相关系数的一般公式，如下所示：

其中C_ov(a_k，b_k)表示向量a_k和b_k之间的相关系数，C_ov∈(0，1)；

使用相似性准则来定义聚类方法，通过目标前景F＝{p_i}^d×M的特征集和当前帧P＝{p_i}^d×N的特征集计算出相关矩阵C_ov＝[c_ij]^M×N，其中d是特征的维数；矩阵的最大值和最小值分别为C_max和C_min，阈值α和β表示独立设置阈值，并定义为：

其中，其中α和β是控制前景和背景分离的阈值，η是实验参数，值设置为25；

得到矩阵C_ov的每一列的最大值，该最大值由向量组成，如果C_m(i)＞α，则矩阵C_ov的i列与前景的相关性很高，所对应的P(i)是前景；若C_m(i)≤β，则矩阵C_ov的i列与前景的相关性很低，所对应的P(i)是背景；

对于未分出类别的超像素，计算这些超像素和集合F之间的相似度，得到相关矩阵C_ov，然后根据公式(7)得到新的阈值α和β，迭代上述阈值比较的过程，直到所有超像素都被分类完成或达到一定数目的迭代次数后，才结束处理过程，这里最大迭代次数设置为25。

6.如权利要求1至5任一项所述的基于超像素时空显著性分割的视觉跟踪方法，其特征在于，所述使用切割样本去训练SVM分类器，将训练好的分类器用于后续帧的目标前景识别中包括：

当到达一个新帧时，在先前目标定位位置周围设置出一个搜索区域，并计算出光流，对超像素进行切割和完成显著性检测；

使用SVM分类器对搜索范围的超像素进行分类，通过结合应用于前景和背景分割的迭代分割算法，计算出每一个超像素的置信图；

在计算出的先前目标定位位置上，使用多尺度包围框围绕目标定位位置，基于多尺度滑动窗口的大小比值反映出先前帧得到的跟踪结果之间的比例值。

7.如权利要求6所述的基于超像素时空显著性分割的视觉跟踪方法，其特征在于，超像素i的置信值得计算公式如下所示：

con f(i)＝(cl(i)∪w(i))·S(i) (9)

其中，Cl(i)和w(i)分别表示分类结果和迭代切割的结果，S(i)是超像素i的显著性值。

8.如权利要求6所述的基于超像素时空显著性分割的视觉跟踪方法，其特征在于，所述在计算出的目标位置上，使用多尺度包围框围绕目标位置，基于多尺度滑动窗口的大小比值反映出先前帧得到的跟踪结果之间的比例值包括：

在第t帧的搜索框中，计算每个框中超像素的置信度的和，将具有最大置信度和的边框作为最佳跟踪结果，公式如下所示：

其中，k表示第k个搜索框，表示第K个搜索框的前景超像素个数，ρ_k是尺度系数，用来度量包围框与前一帧跟踪结果之间的相似度的大小。