CN107689053B - 一种基于标签传播和排序约束的目标跟踪方法 - Google Patents

Abstract

本发明实施例公开了一种基于标签传播和排序约束的目标跟踪方法，包括：在给定的视频序列中，选取正样本和负样本以及候选样本，构建出一个图结构；建立基于图结构的损失函数，并分别引入基于平滑假设的损失项、基于判别的损失项和基于排序的损失项形成新的损失函数；将新的损失函数进行优化，并利用新的损失函数的最优解对所选的候选样本进行状态估计，确定所选的候选样本所属的类别和排列次序，并将对正样本和负样本进行更新。本发明实施例，在半监督学习的框架下，克服因目标表观变化和环境变化对跟踪效果的影响，并有效地提高目标跟踪的鲁棒性。

Description

一种基于标签传播和排序约束的目标跟踪方法

技术领域

本发明涉及计算机视觉跟踪技术领域，尤其涉及一种基于标签传播和排序约束的目标跟踪方法。

背景技术

根据目标跟踪与检测关系的不同，可以大致地把目标跟踪方法分为两类：生成式方法和判别式方法。其中，生成式方法是采用一定的跟踪策略，估计下一帧中跟踪目标的状态，目的是从众多候选目标中寻找最优的候选目标，而判别式方法是将视觉目标跟踪视为一个二分类问题，通过学习分类器，在当前帧中搜索与背景区分最大的前景区域。然而，上述目标跟踪方法均主要涉及两个关键性问题：表观模型和跟踪框架。表观模型就是如何对目标物体进行有效的表达，并进行实时的更新。因此，如何构建一个好的表观模型对目标跟踪起着非常重要的作用。

在生成式方法中构建的表观模型，要么忽略了对跟踪问题有用的背景信息,影响了目标跟踪的鲁棒性，如Wang等人提出的空间颜色混合高斯(Spatial-color Mixture ofGaussian,简称SMOG)表观模型及一种基于SMOG的相似性度量方法等等；要么不能有效地区分目标和背景图像块，并且会引入大量的噪声，如一种基于矢量图像灰度特征的子空间学习表观模型、Hu等人提出的一种对数欧式分块的表观模型等等。

在判别式方法中构建的表观模型，要么在某些噪音较大的分类或回归问题上会存在过拟现象，如一种基于光流场法的支持向量机分类器被构建用于目标(或者非目标)的分类等；要么建立在目标和背景是线性可分和高斯分布的假设上，可能会导致目标出现漂移问题，如Grabner等人基于Boosting方法提出的一种在线的Adaboost特征选择算法。

为了克服上述两种方法存在的问题，研究人员通常会基于图结构的半监督学习做出局部平滑的假设。也就是说，一个有标签的样本点的周围的一些样本可能有相同的标签，这导致了在一个局部范围内标签光滑地变化。例如，Belkin等人描述了一种被称作流形正则化的几何框架，用于学习来自有标签的和无标签的样例。在这个框架下，通过在目标损失函数中增加一项能反映有标签和无标签样本的不一致性的量，将正则化的最小二乘和正则化的SVM拓展成Laplacian正则化最小二乘和Laplacian正则化的SVM。

因此，为了解决Laplacian RLS或者SVM问题，有效地使用无标签的数据成为一种重要的技术手段。基于此，Bai等人对排序支持向量机的目标函数增加了一个能够反映数据间的平滑度的项并将它应用到视觉跟踪中；Grabner等人结合了预先给出的分类器的决策和处于半监督环境下的在线分类器，使跟踪器可以适应目标的表观变化；Tang等人将来自不同特征类型的预测值进行融合，进而产生了一个置信度图，然后利用这个置信度图产生新的样本。通过用这些样本更新在线的SVM模型，从而获得了更多的关于目标和背景的信息。此外，Zeis等人将半监督学习和多示例学习结合起来形成了一种半监督多示例学习的方法，这种方法固然比单独用这两种方法效果要好，但是仍然不能处理大的非刚性形变的问题。

发明内容

本发明实施例的目的在于提供一种基于标签传播和排序约束的目标跟踪方法，在半监督学习的框架下，克服因目标表观变化和环境变化对跟踪效果的影响，并有效地提高目标跟踪的鲁棒性。

为了解决上述技术问题，本发明实施例提供了一种基于标签传播和排序约束的目标跟踪方法，所述方法包括：

S1、在给定的视频序列中，选取一定量的起始帧进行标注，得到每一起始帧对应标注出的正样本和负样本，并根据所选的起始帧进行数学状态估计产生候选样本，且进一步将每一起始帧对应标注出的正样本和负样本作为标签样本以及将所选的候选样本作为无标签样本，构建出一个图结构；

S2、建立基于所述图结构的损失函数，并在所述建立的损失函数中分别引入来自标签传播框架下的基于平滑假设的损失项、基于判别的损失项和基于排序的损失项，形成新的损失函数；

S3、将所述新的损失函数进行优化，并利用所述新的损失函数的最优解对所选的候选样本进行状态估计，确定所选的候选样本所属的类别和排列次序，并将所述确定的候选样本对所述每一起始帧对应标注出的正样本和负样本进行更新。

其中，所述步骤S1具体包括：

在给定的视频序列中，选取前5-10副图像帧分别作为起始帧并标定为正样本，且进一步在每一正样本周围采用一定面积的矩形框进行框定，得到由每一矩形框中所框定的负样本；

根据所选的起始帧进行数学状态估计，采用中心化的高斯分布在下一帧中产生候选样本，并将所述标定的正样本及其对应框定的负样本作为标签样本，将所述候选样本作为无标签样本；

采用k近邻法和径向基核函数为所述标签样本和所述无标签样本构建一个图结构；其中，所述图结构中的每一个节点对应为一个样本。

其中，所述步骤S2具体包括：

引入基于平滑假设的损失项，具体函数式定义为：

其中，f：R^c→R，c是特征空间的维数；x_i和x_j分别是来自正样本集和负样本集；

引入基于判别的损失项，具体函数式定义为：

其中，y_i是样本x_i的标签，其取值为y_i∈{-1,1}(i＝1,Λ,n_l)；y_i＝1意味着x_i是正样本；y_i＝-1意味着x_i是负样本；

引入基于排序的损失项，具体函数式定义为：

其中，

它是一个逐对排序损失项，并取值为正；

将上述(a)，(b)和(c)三个损失函数组合到一起，形成新的损失函数为：

其中，λ,β是权值参数。

其中，所述步骤S3具体包括：

对所述新的损失函数进行优化，计算出最优解，并将所述计算出的最优解作为分类器；

用所述分类器对所选的候选样本进行状态估计，确定所选的候选样本所属的类别和排列次序；

将所述确定的候选样本对所述每一起始帧对应标注出的正样本和负样本进行更新。

实施本发明实施例，具有如下有益效果：

1)本发明在半监督学习的框架下，基于图的跟踪器能够利用有标签样本的类别信息和无标签样本的结构信息预先查看将要被分类的候选目标样本，从而学习到一些诸如有标签样本和无标签样本之间关系的先验信息。在学习这类知识后会减少跟踪器的分类错误，能够减轻目标跟踪过程中的漂移问题；

2)本发明在基于图的损失函数中引入平滑约束和判别式约束，使得正样本和负样本可以保持最大的间隔，从而确保跟踪器能够准确地区分开目标和背景；

3)本发明在基于图的损失函数中增加一个基于排序的损失项，确保了在正负样本集内的样本之间有合适的排列次序，从而有效地提高了目标跟踪的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提供的基于标签传播和排序约束的目标跟踪方法的流程图；

图2为本发明实施例提供的基于标签传播和排序约束的目标跟踪方法的应用场景图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例中，提出的一种基于标签传播和排序约束的目标跟踪方法，所述方法包括：

步骤S1、在给定的视频序列中，选取一定量的起始帧进行标注，得到每一起始帧对应标注出的正样本和负样本，并根据所选的起始帧进行数学状态估计产生候选样本，且进一步将每一起始帧对应标注出的正样本和负样本作为标签样本以及将所选的候选样本作为无标签样本，构建出一个图结构；

具体过程为，步骤S11、在给定的视频序列中，选取前5-10副图像帧分别作为起始帧并标定为正样本，且进一步在每一正样本周围采用一定面积的矩形框进行框定，得到由每一矩形框中所框定的负样本；

步骤S12、根据所选的起始帧进行数学状态估计，采用中心化的高斯分布在下一帧中产生候选样本，并将所述标定的正样本及其对应框定的负样本作为标签样本，将所述候选样本作为无标签样本；

步骤S13、采用k近邻法和径向基核函数为所述标签样本和所述无标签样本构建一个图结构；其中，所述图结构中的每一个节点对应为一个样本。

首先，在步骤S11的前5-10副图像帧中，对目标物体的位置进行标定作为正样本，但由于在前几帧中正样本数目较少，则需要通过对标定位置进行稍微地随机扰动以增加正的样本数目，用

表示在有标签样本集中的正样本个数，即

为正样本；另外，将目标物体(某一正样本)用一个矩形框选定，设该矩形框的高度为h，宽度为w，则根据“左边-0.5*w,右边+0.5*w；上边-0.5*h,下边+0.5*h”(特别地，若越过图像边界，则以边界为范围)的原则产生

个负样本数目。

表示在有标签样本集中的负样本个数，即

为负样本，且

其次，设定总样本个数为n，将样本分为有标签的和无标签的。在上一步骤中所获取的正负样本就充当有标签的样本，其构成的集合记作：

n_l表示有标签样本的数量；根据当前帧的目标的最新状态估计，采用中心化的高斯分布在下一帧中产生候选目标(200个)，其充当无标签的样本，构成的集合记作：

n_u表示无标签样本的数量，则有n＝n_l+n_u。标签用y_i来表示，y_i∈{-1,1}(i＝1,Λ,n_l)。y_i＝1意味着x_i是目标(正样本)；y_i＝-1意味着x_i是背景(负样本)

最后，采用k-NN(k-近邻法)和rbf kernel(径向基核函数)为所有样本数据构建一个图，图的节点就是一个样本数据点(包括有标签和无标签的样本数据)。k近邻法是指选择前k个离候选目标(无标签)样本最近的有标签的样本，用它们的类别投票来决定新样本所属的类别(对于二分类问题，k取值应为奇数以避免出现两类投票相等的情况)。也就是说，在这k个有标签的样本中，假如有k₁个正样本，k₂个负样本(k₁+k₂＝k)，且不妨设k₁＞k₂，则根据k-NN判别准则知，该候选目标样本就属于正样本。采用rbf kernel是为了描述两个样本数据点之间的相似度和它们之间距离(一般采用欧式距离)的关系，即若两个数据点间距离很小，则可以判断出这两个样本的相似度很大，从而可能属于同一类。上述的方法用数学语言描述为：用G表示一个图结构,即G＝(V,E,W)。V是一系列和数据点相对应的顶点，

是数据点间的连接边，W∈R^|V|×|V|是相似度矩阵，并且它的每个元素w_ij表示样本数据对之间的相似度或权值。给定任意的两个节点x_i和x_j(从所有样本中任意选取)，那么它们之间的相似度w_ij定义为：

N_i表示顶点x_i的k最近邻。

步骤S2、建立基于所述图结构的损失函数，并在所述建立的损失函数中分别引入来自标签传播框架下的基于平滑假设的损失项、基于判别的损失项和基于排序的损失项，形成新的损失函数；

具体过程为，首先，为了保证在一个顶点周围的一定范围内的样本和它具有同样的标签，并且能保证正类样本之间的紧密度，我们引入了基于平滑假设的损失项，其具体的函数式为：

其中，f：R^c→R，c是特征空间的维数。从这个函数式中我们可以看出，如果数据对的权值非常大时，则说明这两个顶点的相似度很大，因此就会使得f(x_i)-f(x_j)的差值就很小。这恰好与平滑假设的含义相吻合。

其次，为了使得正样本集和负样本集之间保持最大的间隔，我们需要引入基于判别的损失项。判别约束是指对所有有标签的样本能加以判别并分类。其原理是：有标签的点的估计应该和它们原始的标签很接近，并且在候选目标样本集中有正样本倾向的应该倾向拥有正样本的标签，有负样本倾向的应该倾向拥有负样本的标签。因此，正样本(真正的正类样本和有正类倾向的样本)和负样本(真正的负类样本和有负类倾向的样本)之间的间隔才可能是最大的。根据这个原理，基于判别的损失项的具体函数式定义为：

其中，y_i是样本x_i的标签，其取值为y_i∈{-1,1}(i＝1,Λ,n_l)。y_i＝1意味着x_i是目标(正样本)；y_i＝-1意味着x_i是背景(负样本)。

再者，视觉跟踪问题可以看做是一个基于查询的搜索问题。在上一帧中已获得的目标状态相当于查询，在下一帧中所有候选目标就是要被检索的文件，即在所有候选样本中搜索和真实目标最相似的样本。为了保持在视觉跟踪过程中候选目标有一个恰当的排列次序，我们引入了一个基于排序的损失项：当与目标更为相似的正样本的次序低于负样本的次序时，就会使损失增大，即给予跟踪器以惩罚。此外，除了能保持每一个正负样本对之间有合适的排列次序外，它还可以引导跟踪器在正(负)样本集内部有一个正确的排列次序。基于排序的损失项的具体函数式为：

其中，

它是一个逐对排序损失项，并且取值为正。x_i和x_j分别是来自正样本集和负样本集，如果跟踪器将两个样本排序为f(x_i)＜f(x_j)(正确的排序应是正样本的排序比负样本要靠前，因为正样本和目标更加相似)，而τ_ij＞0，则(c)式符号为正，导致排序损失增加，从而会给予跟踪器以惩罚。

最后，将上述(a)，(b)和(c)三个损失函数组合到一起，形成新的损失函数为：

其中λ,β是权值参数。在实验过程中，这两个参数分别设置为1.6和0.1。y_i是样本x_i的标签，其取值为-1或1，具体含义同(b)式下面的文字解释。(d)式的解可通过下面的优化问题获得：

步骤S3、将所述新的损失函数进行优化，并利用所述新的损失函数的最优解对所选的候选样本进行状态估计，确定所选的候选样本所属的类别和排列次序，并将所述确定的候选样本对所述每一起始帧对应标注出的正样本和负样本进行更新。

具体过程为，对所述新的损失函数进行优化，计算出最优解，并将所述计算出的最优解作为分类器；用所述分类器对所选的候选样本进行状态估计，确定所选的候选样本所属的类别和排列次序；将所述确定的候选样本对所述每一起始帧对应标注出的正样本和负样本进行更新。

在步骤S3中，可以理解为对上述问题(e)进行优化，估计出下一帧(相对于起始帧来说)中目标的状态s₂，并根据目标的当前估计s²，更新正、负样本集，为后续帧中的目标状态估计s₃做样本准备，如此循环，便可得到一系列候选目标的状态估计。

首先，优化问题(e)是一个无约束的优化问题，可以将其先转化成矩阵形式，然后利用梯度法进行求解。具体如下：

其中，f(X)＝[f(x₁),f(x₂),Λ,f(x_n)]^T，L∈Rⁿ×Rⁿ(n＝n_l+n_u)是一个图形拉普拉斯算子，它被定义为L＝D-W,D是一个对角矩阵，对角元素为

分别定义为：

i₁∈R^n×1，i₂∈R^n×1，分别定义为：

利用梯度法求得这个优化问题的封闭解为

其次，我们使用四个参数表示目标的状态，s＝(x,y,h,w)，它们分别表示目标的2维特征，高度和宽度。在计算出f后，目标的当前估计

和下面的特征向量

是对应的：

为了获得f的具体解，设置y为所有样本的先验标签。设置无标签的样本的y＝0，同时，相应的正样本标签是y＝1，负样本标签是y＝-1。

最后，我们保留了一个有固定大小的缓冲区来保存有标签和无标签的数据。在获得了每一帧目标的估计后，这个缓冲区就会随之更新。我们将目标的当前估计和排序靠前的几个顶点作为正样本来更新模型；同时，目标的当前估计中处于一个半径在

和

之间的样本充当负样本。为保证这个缓冲区的大小固定，需要丢掉一些距当前帧很远的样本。因此，这个图结构也被更新。另外，考虑到一个正样本和真实的目标(目标的最新估计)，由于这个正样本随着时间的进行不会精确地代表真实的目标，因此需要通过修正它到真实目标的距离来以忘记它的正性。

这里T是一个常数，控制着遗忘程序，

是在起始帧时样本和真实目标之间的距离，

是在当前帧下，样本和真实目标之间的距离。根据这个距离的定义可知，对于一个给定的正样本，它到真实目标的距离随着时间的进行也会增加，这就与实际情况是一致的。在这一步骤中，实现了对正负样本、图结构，以及样本到真实样本之间距离的更新。

如图2所示，为本发明实施例中的基于标签传播和排序约束的目标跟踪方法的应用场景图。图2中，中间下方的带箭头的红色实线表示从有标签样本到无标签的候选目标(带有红色边框)的吸引，通过标签传播，在图中的与目标更加相似的无标签样本要比其他样本排序更高；左下方的带箭头的虚线说明了与箭头处的顶点相比，在箭尾的顶点和目标更加相似；最右边是输出的候选目标的排列次序，向下的箭头说明候选目标是按照降序排列。

实施本发明实施例，具有如下有益效果：

1)本发明在半监督学习的框架下，基于图的跟踪器能够利用有标签样本的类别信息和无标签样本的结构信息预先查看将要被分类的候选目标样本，从而学习到一些诸如有标签样本和无标签样本之间关系的先验信息。在学习这类知识后会减少跟踪器的分类错误，能够减轻目标跟踪过程中的漂移问题；

2)本发明在基于图的损失函数中引入平滑约束和判别式约束，使得正样本和负样本可以保持最大的间隔，从而确保跟踪器能够准确地区分开目标和背景；

3)本发明在基于图的损失函数中增加一个基于排序的损失项，确保了在正负样本集内的样本之间有合适的排列次序，从而有效地提高了目标跟踪的鲁棒性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于标签传播和排序约束的目标跟踪方法，其特征在于，所述方法包括：

S1、在给定的视频序列中，选取一定量的起始帧进行标注，得到每一起始帧对应标注出的正样本和负样本，并根据所选的起始帧进行数学状态估计产生候选样本，且进一步将每一起始帧对应标注出的正样本和负样本作为标签样本以及将所选的候选样本作为无标签样本，构建出一个图结构；

S2、建立基于所述图结构的损失函数，并在所述建立的损失函数中分别引入来自标签传播框架下的基于平滑假设的损失项、基于判别的损失项和基于排序的损失项，形成新的损失函数；

S3、将所述新的损失函数进行优化，并利用所述新的损失函数的最优解对所选的候选样本进行状态估计，确定所选的候选样本所属的类别和排列次序，并将所述确定的候选样本对所述每一起始帧对应标注出的正样本和负样本进行更新；

所述步骤S1具体包括：

在给定的视频序列中，选取前5-10副图像帧分别作为起始帧并标定为正样本，且进一步在每一正样本周围采用一定面积的矩形框进行框定，得到由每一矩形框中所框定的负样本；

根据所选的起始帧进行数学状态估计，采用中心化的高斯分布在下一帧中产生候选样本，并将所述标定的正样本及其对应框定的负样本作为标签样本，将所述候选样本作为无标签样本；

采用k近邻法和径向基核函数为所述标签样本和所述无标签样本构建一个图结构；其中，所述图结构中的每一个节点对应为一个样本；

所述步骤S2具体包括：

引入基于平滑假设的损失项，具体函数式定义为：

其中，f：R^c→R，c是特征空间的维数；x_i和x_j分别是来自正样本集和负样本集；

引入基于判别的损失项，具体函数式定义为：

其中，y_i是样本x_i的标签，其取值为y_i∈{-1,1}(i＝1,L,n_l)；y_i＝1意味着x_i是正样本；y_i＝-1意味着x_i是负样本；

引入基于排序的损失项，具体函数式定义为：

其中，

它是一个逐对排序损失项，并取值为正；

将上述(a)，(b)和(c)三个损失函数组合到一起，形成新的损失函数为：

其中，λ,β是权值参数；

所述步骤S3具体包括：

对所述新的损失函数进行优化，计算出最优解，并将所述计算出的最优解作为分类器；

用所述分类器对所选的候选样本进行状态估计，确定所选的候选样本所属的类别和排列次序；

将所述确定的候选样本对所述每一起始帧对应标注出的正样本和负样本进行更新。

Images