CN106023155A - 基于水平集的在线目标轮廓跟踪方法 - Google Patents

Abstract

本发明公开了一种基于水平集的在线目标轮廓跟踪方法，先在第一帧目标图像中手动标定初始轮廓，设置水平集轮廓跟踪标志，根据初始目标轮廓来初始化判别式分类器、水平集函数和目标检测器；根据水平集轮廓跟踪标志是否有效来决定是否进行基于判别式表观模型的水平集轮廓跟踪；采用目标检测器进行目标检测；根据轮廓结果和目标结果判断得到目标轮廓跟踪结果，更新初始目标轮廓；然后根据目标轮廓跟踪结果对判别式分类器、水平集函数和目标检测器进行更新，再对下一帧图像进行目标轮廓跟踪。本发明采用基于判别式表观模型的水平集轮廓跟踪和目标检测联合进行目标轮廓跟踪，从而实现高精度、持续性的目标轮廓跟踪。

Description

基于水平集的在线目标轮廓跟踪方法

技术领域

本发明属于图像目标跟踪技术领域，更为具体地讲，涉及一种基于水平集的在线目标轮廓跟踪方法。

背景技术

视频跟踪现在已经广泛应用于各种不同的场合和领域，在很多方面已经给人们的日常生活和社会发展带来了不可估量的影响。而其中轮廓跟踪起到了十分重要的作用。比如医学上，多细胞进行轮廓跟踪，研究细胞分裂变化方面做出重要贡献。对于细胞生命再生演变，进行长时间的分析跟踪，对其轮廓精度的要求是十分重要的，这也对以后人类文明起到十分重要的作用；再比如，通过对人体行为的跟踪，进行行为分析，之后也会应用到多个方面。

在跟踪实际过程中会有各种各样的移动的物体，物体有时候会从录像视野出现，有时候又会消失，目标丢失或者跟踪丢失的问题并不是很直接地就能够得到处理。要实现长期跟踪，有很多的问题需要解决。首先，最关键的问题就是目标物体的重新检测，即当目标消失于录像视野后，再重新出现的时候，能否对丢失的目标进行检测。而且，有时候目标发生了变化，比如说外观形变等，以致与最开始的目标外在特征不相关，在这种情况下，会让问题变得更加复杂和严峻。基于检测的算法可以在每一幅视频帧中独立地估计出目标。如果目标从录像视野中消失，检测器并不会发生漂移也不会像跟踪失败那样的问题。然而，这种单纯的基于检测的算法需要事先的离线的训练过程，因此这种方法不能够应用于对未知物体的检测跟踪。

针对上述问题，业内提出了一种TLD(Tracking-Learing-Detection)跟踪方法，将跟踪、学习、检测同时应用于目标跟踪过程中，相互促进，实现鲁棒性较高的长期跟踪。目前TLD主要实现的是基于矩形框匹配的跟踪，而目标轮廓更能反映目标的本质，若将TLD思想应用与目标轮廓跟踪中，从而实现目标轮廓的长时间跟踪有十分重要的意义。在目标轮廓跟踪中，目前主要方法是采用基于活动轮廓模型的轮廓跟踪方法。它是一个关于动态的二维闭合曲线的模型，它在模型内力和外力的共同作用下向目标边界运动，从而达到提取目标边界的目的，其中内力的作用是使轮廓线规则和光滑，而外力的作用则是驱动轮廓线向目标边界运动。通常，内力与外力是通过求解一个关于模型轮廓线的能量泛函而获得的。一般主动轮廓模型包含两种方式，一种是参数化主动轮廓模型，如snakes模型；另一种是几何主动轮廓模型，如水平集(levelset)模型。而几何主动轮廓比起参数化主动轮廓有以下优点：1)能处理拓扑变换；2)不需要精确的初始化；3)有稳定的数值近似方法。

水平集方法利用一个更高一维的水平集函数的等值曲线来隐含地表示所要研究的闭合曲线，通过不断更新这个水平集函数从而实现演化该闭合曲线的目的。国内外学者对水平集提出了很多改进方法，方法不同主要是能量函数的选取不同。能量函数的构造方式主要分为产生式和判别式，基于判别式的水平集在复杂背景和干扰条件下有更好的鲁棒性。用判别式的方式产生的置信图可用于目标轮廓跟踪且具有很好的效果。目前获得轮廓置信图的分类器都采用离线学习，分类器不进行实时在线更新，并且要实现针对特定的目标进行训练，导致分类器的推广能力不足，无法适应其他目标类型。基于离线学习的跟踪方法还有另外一个问题就是它需要事先准备大量的训练数据，才能保证该分类器正常工作。所以，要实现在线跟踪未知目标，分类器需要采用在线学习的策略。同时，在线主动轮廓跟踪很容易受到噪音干扰发生漂移的情况，一旦跟丢，就会导致跟踪失败，无法持续跟踪。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于水平集的在线目标轮廓跟踪方法，结合了判别式表观模型的水平集轮廓跟踪和目标检测，从而实现高精度、持续性的目标轮廓跟踪。

为实现上述发明目的，本发明基于水平集的在线目标轮廓跟踪方法包括以下步骤：

S1：在视频图像的第一帧目标图像中，手动标定初始目标轮廓C_int，设置水平集轮廓跟踪标志A＝1；根据初始目标轮廓C_int来初始化判别式分类器和水平集函数，根据初始目标轮廓C_int的外接矩形来初始化目标检测器；

S2：如果水平集轮廓跟踪标志A＝1，进入步骤S3，否则进入步骤S4；

S3：对视频图像中的第t帧待跟踪图像进行基于判别式表观模型的水平集轮廓跟踪，具体方法为：对于视频图像中的待跟踪的第t帧图像，首先提取每个像素点的特征向量，采用判别式分类器进行分类，如果分类结果为正，则认为当前像素点包含在目标区域内，则将其置信图对应的像素点标记为1，反之标记为-1，从而得到置信图I_conf；根据置信图I_conf进行水平集进化，得到目标图像的轮廓结果C_t；进入步骤S4；

S4：对视频图像中的第t帧待跟踪图像采用目标检测器进行检测，得到检测结果D_t；

S5：分别计算轮廓结果C_t和检测结果D_t的可靠度P_c、P_d，如果轮廓结果C_t或检测结果D_t不存在，则可靠度P_c为0；如果P_c＞T_P，T_P表示预设的可靠度阈值，则判定轮廓结果C_t可靠，否则轮廓结果C_t不可靠；如果P_d＞T_P，则判定检测结果D_t可靠，否则检测结果D_t不可靠；

S6：只要轮廓结果C_t是可靠的，则将C_t作为最终轮廓跟踪结果并令初始目标轮廓C_int＝C_t，水平集轮廓跟踪标志A＝1；当轮廓结果不可靠而检测结果可靠时，不存在最终轮廓跟踪结果令初始目标轮廓C_int＝D_t，水平集轮廓跟踪标志A＝1；当轮廓结果和检测结果均不可靠时，不存在最终轮廓跟踪结果令水平集轮廓跟踪标志A＝0；

S7：当轮廓结果C_t和检测结果D_t都可靠时，对判别式分类器进行更新，更新方法为：求取跟踪结果与检测结果D_t的交集，其中的像素点作为正样本，之外的像素点作为负样本；将正样本和负样本加入判别式分类器的动态样本，在保存动态样本的同时为每个样本记录对应轮廓结果C_t的可信度作为权值，如果动态样本数量超过样本池上限，则在更新的时候保留权值大的正负样本，淘汰权值小的正负样本；采用新的样本池重新训练判别式分类器；

如果初始目标轮廓C_int被更新，则采用当前的初始目标轮廓C_int重新初始化水平集函数；

当轮廓结果C_t和检测结果D_t都可靠时，对轮廓结果C_t的最大外接矩形与检测结果D_t进行平均得到平均矩形框b^avg，根据平均矩形框b^avg获得第t帧图像中的目标区域图像，采用该目标区域图像对目标检测器进行重新训练；

更新完毕后返回步骤S2对下一帧图像进行目标轮廓跟踪。

本发明基于水平集的在线目标轮廓跟踪方法，先在第一帧目标图像中手动标定初始轮廓，设置水平集轮廓跟踪标志，根据初始目标轮廓来初始化判别式分类器、水平集函数和目标检测器；根据水平集轮廓跟踪标志是否有效来决定是否进行基于判别式表观模型的水平集轮廓跟踪；采用目标检测器进行目标检测；根据轮廓结果和目标结果判断得到目标轮廓跟踪结果，更新初始目标轮廓；然后根据目标轮廓跟踪结果对判别式分类器、水平集函数和目标检测器进行更新，再对下一帧图像进行目标轮廓跟踪。

本发明采用基于判别式表观模型的水平集轮廓跟踪和目标检测联合进行目标轮廓跟踪结果判定和初始目标轮廓更新，以及判别式分类器、水平集函数和目标检测器的在线更新，从而实现高精度的目标轮廓跟踪，并且能在目标丢失后恢复跟踪，无需重新训练，即实现了对目标的持续性跟踪。

附图说明

图1是本发明基于水平集的在线目标轮廓跟踪方法的具体实施方式流程图；

图2是初始化示意图；

图3是本发明和两种对比方法对toy序列的目标轮廓跟踪对比；

图4是本发明和两种对比方法对toy序列的跟踪精度对比；

图5是本发明和两种对比方法对highway序列的目标轮廓跟踪对比；

图6是本发明和两种对比方法对highway序列的跟踪精度对比；

图7是本发明和两种对比方法对stapler序列的目标轮廓跟踪对比；

图8是本发明和两种对比方法对stapler序列的跟踪精度对比；

图9是本发明和两种对比方法对nemo序列的目标轮廓跟踪对比；

图10是本发明和两种对比方法对nemo序列的跟踪精度对比；

图11是本发明和两种对比方法对lemming序列的目标轮廓跟踪对比；

图12是本发明和两种对比方法对lemming序列的跟踪精度对比。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明基于水平集的在线目标轮廓跟踪方法的具体实施方式流程图。如图1所示，本发明基于水平集的在线目标轮廓跟踪方法包括以上步骤：

S101：在线初始化：

本发明中采用了基于判别式表观模型的水平集轮廓跟踪与目标检测器，因此在线初始化的内容包括判别式分类器的初始化、水平集函数的初始化和分类器的初始化。并且由于本发明中需要应对目标消失的情况，在目标消失阶段不者水平集轮廓跟踪，因此需要设置一个水平集轮廓跟踪标志A。图2是初始化示意图。如图2所示，在线初始化具体方法为：在视频图像的第一帧目标图像中，手动标定初始目标轮廓C_int，设置水平集轮廓跟踪标志A＝1。根据初始目标轮廓C_int来初始化判别式分类器和水平集函数，根据初始目标轮廓C_int的外接矩形来初始化目标检测器。下面分别对各个初始化过程进行详细描述。

●判别式分类器初始化：

判别式分类器用于产生引导初始轮廓向目标边沿进化的目标附近区域的置信图。因此，将初始目标轮廓C_int内的像素点作为正样本，记为集合初始目标轮廓C_int外的像素点作为负样本，记为集合提取每个像素点的特征向量与对应的样本类别标签(一般以1表示正样本、-1表示负样本)，将像素点的特征向量作为输入，对应的标签作为输出，对判别式分类器进行训练。

本实施例中，像素点的特征向量采用HSI(HueSaturationIntensity，色调、饱和度、亮度)特征和LBP(LocalBinaryPattern，局部二值模式)特征构成的4维向量，判别式分类器采用SVM(SupportVectorMachine，支撑向量机)分类器。对于SVM分类器，其核函数的选择很重要，本实施例中选择径向基(RBF)核为SVM分类器的核函数。

●水平集函数初始化

水平集方法是利用一个更高一维的水平集函数的等值曲线来隐含地表示闭合曲线的方法。设图像区域Ω∈R²，(x,y)为区域内的像素点，在任意时刻t，令水平集函数为运动界面C(t)是的零等值面，可以用下式表达：

水平集函数是像素点到界面C(t)＝0的符号距离，即：

其中R_in(t)和R_out(t)分别代表轮廓C(t)的内部区域和外部区域，d(x,y,C(t))是从像素点(x,y)到轮廓C(t)的最短欧氏距离。通过这样的定义，要找到轮廓只需要找到levelsets函数值为0对应的点即可。

根据以上描述可知，在进行水平集初始化时，将初始目标轮廓C_int内区域的水平集置为-1，将轮廓外区域的水平集置为1，得到初始水平集。

●目标检测器初始化

目标检测器的目的是对视频图像中的目标进行检测。在实际应用中，可以根据视频图像的特点来确定目标检测器的具体实现方式。现有技术中的目标检测器主要是采用基于局部的图像特征域者扫描窗口方法来实现目标检测，而基于特征的算法需要事先获得目标的几何特征，不适合在线跟踪未知目标。因此本发明采用基于扫描窗口的目标检测器，利用初始目标轮廓C_int的外接矩形提取正负样本，对目标检测器进行初始化。

本实施例中所采用的目标检测器由多级分类器级联构成，包括方差分类器、集合分类器和最近邻分类器。由于方差分类器的分类标准为预设的方差阈值，无需进行初始化训练，而集合分类器和最近邻分类器需要通过正负样本来进行初始化训练。

集合分类器和最近邻分类器的负样本的获取方法为：在第一帧目标图像中获取所有扫描窗口，选择与初始目标轮廓C_int的外接矩形距离小于预设阈值的扫描窗口，计算每个扫描窗口与初始目标轮廓C_int的外接矩形的重叠度，将扫描窗口按照重叠度从大到小进行排序，选择重叠度最大的扫描窗口作为最优矩形框b_best，其后K₁个扫描窗口作为较好矩形框b_good，K₁的大小可以根据实际情况设置，其余作为不好矩形框b_bad，将最优矩形框b_best进行尺寸归一化作为为最近邻分类器的正样本，将A个较好矩形框进行几何变换得到若干个仿射矩形框，并进行加噪处理，作为集合分类器的正样本。本实施例中，几何变换采用偏移、比例缩放和平面旋转，所叠加噪声为方差为5的标准高斯噪声。

集合分类器和最近邻分类器的负样本的获取方法为：在初始目标轮廓C_int的外接矩形之外的扫描窗口中，采用方差分类器筛选方差大于方差阈值的矩形框，作为集合分类器的负样本。随机选取K₂个不好矩形框b_bad，K₂的大小可以根据实际情况设置，尺寸归一化后作为最近邻分类器的负样本。

根据以上方法取得正、负样本后，对本实施例目标检测器的集合分类器和最近邻分类器进行初始化训练。

S102：对于视频图像中的待跟踪的第t帧图像，判断是否水平集轮廓跟踪标志A＝1，如果是，进入步骤S103，否则直接进入步骤S104。

S103：基于判别式表观模型的水平集轮廓跟踪：

对于待跟踪的第t帧图像，首先提取每个像素点的特征向量，采用判别式分类器进行分类，如果分类结果为正，则认为当前像素点包含在目标区域内，则将其置信图对应的像素点标记为1，反之标记为-1，从而得到置信图I_conf。将置信图I_conf代入水平集方法的轮廓进化方程，将初始目标轮廓C_int作为初始值进行轮廓进化，得到第t帧图像中目标的轮廓结果C_t。然后进入步骤S104。

基于主动轮廓的跟踪实际上是一个不断迭代的过程，初始轮廓在某些能量场的作用下进化到所要跟踪的物体的边缘处。根据文献“Regioncompetition:unifyingsnakes,regiongrowing,energy/bayes/MDLformultiband imagesegmentation”，本实施例中采用的水平集能量函数如下：

$E={\mathrm{\Σ}}_{\mathrm{\Ω}\∈{\mathrm{\Ω}}_{obj,}{\mathrm{\Ω}}_{bck}}{\∫}_{\mathrm{\Ω}}logp\left(v\right(x\left)\right|\mathrm{\Ω})dx+\mathrm{\λ}{\∫}_{C}ds$

其中，v(x)是像素点x的值，Ω_obj、Ω_bck分别表示前景区域和背景区域，第一项是当前轮廓的概率，第二项是平滑项，λ是平滑因子，C是轮廓。文献中得出，函数演化公式为：

${\mathrm{\φ}}_t={\mathrm{\φ}}_{t-1}+\mathrm{\Δ}t\left(logp\right(v\left(x\right)|\mathrm{\Ω})+\mathrm{\λ}k)|\▿{\mathrm{\φ}}_{t-1}|$

其中，Δt是控制速度的参数，k是轮廓的曲率，是前一时刻水平集的梯度，直接将置信图I_conf代入到上式即可得到水平集进化方程为：

${\mathrm{\φ}}_t={\mathrm{\φ}}_{t-1}+\mathrm{\Δ}t(I_{conf}+\mathrm{\λ}k)|\▿{\mathrm{\φ}}_{t-1}|$

这样，当前帧的初始轮廓C_int进化成轮廓结果C_t。

S104：目标检测：

对于视频图像中的第t帧待跟踪图像采用目标检测器进行检测，得到检测结果D_t。

本实施例中的目标检测器是由差分分类器、集合分类器和最近邻分类器组成的级联分类器。目标检测器是基于扫描窗口的。对于一个240×320的图像，假设缩放比例的步长系数为1.2，水平步长系数为宽度的10％，垂直步长系数为高度的10％，最小的矩形框大小为20个像素，这样就得到大约50000个矩形扫描窗口。只有顺利通过前一个模块的扫描窗口才能进入下一个模块。具体过程如下：

1)差分分类器：计算每个扫描窗口的积分图并用高斯模糊去噪，利用积分图计算方差，把方差小于阈值的扫描窗口排除，保留方差大于阈值的扫描窗口；

2)集合分类器：集合分类器中包含若干个分类器，扫描窗口通过每个分类器会得到一个二值编码。因此通过差分分类器的每个扫描窗口经集合分类器可以得到由多个二值编码构成的特征值，再计算该特征值对应的后验概率累加值，保留后验概率累加值大于50％的扫描窗口，如果保留的扫描窗口数大于100个，则只取后验概率大的前100个；

3)最近邻分类器：将扫描窗口进行尺寸归一化，归一化至正负样本相同大小，计算归一化后扫描窗口到正负样本之间的距离d⁺、d^-，最后计算当前扫描窗口包含目标的相似度S＝d^-/(d⁺+d^-)。这样每一个扫描窗口都被赋予一个表示该窗口包含目标的相似度的S值。如果相似度S＞T_nn，则认为当前窗口含有目标，保留该扫描窗口，否则排除该扫描窗口。根据经验值设置相似度阈值T_nn＝0.6。根据实验观察，相似度阈值T_nn取0.5到0.7之间，效果较好。

4)分层聚类：根据重合度将最近邻分类器得到的扫描窗口分为不同子集，将子集内扫描窗口进行平均得到平均检测框，其可信度为子集内可信度最大的扫描窗口的可信度。从所有平均检测框中选择可信度最高的作为检测器的最终检测结果D_t。

S105：可靠性判定：

由于本发明中得到两个目标结果：轮廓结果C_t和检测结果D_t，为了得到较为准确的跟踪结果，需要分别计算轮廓结果C_t和检测结果D_t的可靠度P_c、P_d，如果轮廓结果C_t或检测结果D_t不存在，则对应可靠度为0。在现有技术中已经存在多种目标结果可靠度的算法，可以根据需要来进行选择，目前较为常用的是采用重叠度作为可靠度。

在视频图像的目标跟踪中，目标在连续两帧图像中的形状及位置不会发生太大变化，因此本实施例提出通过计算重叠度和质心偏移度来评估轮廓结果或检测结果的可靠度。

A_in表示需要计算可靠度的目标结果，则重叠度A_score的计算如下式所示：

$A_{score}=\frac{area(C_{\mathrm{int}}\∩A_{in})}{area(C_{\mathrm{int}}\∪A_{in})}$

由上式可见，本发明中采用的重叠度是指轮廓结果或者检测结果与当前帧图像的初始轮廓C_int的重合程度。

计算目标结果A_in的质心M₁与初始目标轮廓C_int的质心M₂的距离M_dis，质心偏移度M_score的计算公式为：

$M_{score}=\frac{L-M_{dis}}{L}$

其中，L表示视频图像对角线的长度。

由质心偏移度M_score的计算公式可知，M_dis越小，质心偏移度就越小，M_score越大。

将重叠度A_score和质心偏移度M_score进行加权求和，得到目标结果的可靠度P，可靠度P的计算公式为：

P＝αA_score+(1-α)M_score

其中，α表示权重系数，根据实际需要设置，其取值范围为0＜α≤1。

当可靠度P大于可靠度阈值T_P时，则认为当前跟踪或检测结果是可靠的。

S106：得到目标跟踪结果：

本发明中，基于判别式表观模型的水平集轮廓跟踪和目标检测器同时运行，分别得到一个轮廓结果C_t和检测结果D_t，本发明需要将二者统一于轮廓跟踪过程。由于轮廓结果C_t和检测结果D_t存在可靠或不可靠两种可能，组合起来有四种情况，提取最终目标跟踪结果C和设置下一帧的初始目标轮廓C_int在这四种情况下也对应不同的处理方式。表1是目标跟踪结果和初始目标轮廓的不同处理方式。

表1

其中，C⁺表示轮廓结果C_t可靠，C^-表示轮廓结果C_t不可靠；D⁺表示检测结果D_t可靠，D^-表示检测结果D_t不可靠。

如表1所示，只要轮廓结果C_t是可靠的，则将C_t作为最终轮廓跟踪结果并令初始目标轮廓C_int＝C_t，水平集轮廓跟踪标志A＝1；当轮廓结果不可靠而检测结果可靠时，不存在最终轮廓跟踪结果检测器的结果D_t用于作为下一帧的初始轮廓，即令初始目标轮廓C_int＝D_t，水平集轮廓跟踪标志A＝1；当轮廓结果和检测结果均不可靠时，不存在最终轮廓跟踪结果令水平集轮廓跟踪标志A＝0。

S107：在线更新：

与初始化一样，本发明中的在线更新也包括三个部分的更新。

●判别式分类器更新

当轮廓结果C_t和检测结果D_t都可靠时，求取跟踪结果与检测结果D_t的交集，其中的像素点作为正样本，即负样本取为并集外的像素点，即其中Ω为第t帧图像。判别式分类器的样本池包括两部分，一部分是第一帧图像中手动标定的初始目标轮廓所获得的初始样本，即集合和另一部分是在线更新的动态样本。在样本更新时只对动态样本进行更新，在保存动态样本的同时为每个样本记录对应轮廓结果C_t的可信度作为权值，如果动态样本数量超过样本池上限，则在更新的时候保留权值大的正负样本，淘汰权值小的正负样本。采用初始样本和更新后的动态样本构成的新的样本池重新训练判别式分类器。

●水平集函数更新

如果初始目标轮廓C_int被更新，则采用当前的初始目标轮廓C_int重新初始化水平集函数。

●目标检测器更新

当轮廓结果C_t和检测结果D_t都可靠时，对轮廓结果C_t的最大外接矩形与检测结果D_t进行平均得到平均矩形框b^avg，根据平均矩形框b^avg获得第t帧图像中的目标区域图像，采用该目标区域图像对目标检测器进行重新训练。

目标检测器性能通过在线更新，其识别性能得到提高。一般来说，不同的目标检测器其更新方式也有所不同，本实施例中的目标检测器由差分分类器、集合分类器和最近邻分类器组成的级联分类器，其更新方法为：先将目标区域图像归一化，计算归一化后图像块的方差和相似度(相似度由最近邻分类器获得)，如果方差或/和相似度不满足阈值要求，则不采用该目标区域图像对目标检测器进行更新，否则对目标检测器进行更新，其更新训练的过程通过用P-N约束来识别出与正样本相似度高的负样本(即易误分为正样本的负样本)以及与负样本相似度高的正样本(即易误分为负样本的正样本)。P-N约束的具体方法可以参考文献“Z.Kalal,J.Matas,and K.Mikolajczyk,“P-N Learning:Bootstrapping BinaryClassifiers by Structural Constraints,”Conference on Computer Vision andPattern Recognition,2010”。

三个部分更新完毕后返回步骤S102对下一帧图像进行目标轮廓跟踪，直到视频结束或收到结束跟踪指令。如果更新条件不满足，三个部分都不进行更新，则直接返回步骤S102。

实施例

为了说明本发明的技术效果，采用本发明对实际的视频图像进行实验验证，所采用的对比方法包括基于判别式表观模型的水平集(levelset)方法和广泛流行的GVF+Snake主动轮廓模型，用跟踪精度来衡量它们的跟踪性能。定义跟踪精度Tscore为：

$Tscore=\frac{area\left(C_{grd}{\∩\hat{C}}_t\right)}{area\left(C_{grd}{\∪\hat{C}}_t\right)}$

其中，为当前第t帧图像的跟踪结果，C_grd为基准(真实)轮廓。

采用本发明和两种对比方法分别对五个视频序列进行目标轮廓跟踪。五个视频序列包括：toy序列，跟踪目标为红色玩偶；highway序列，跟踪目标为红色汽车；stapler序列，跟踪目标为订书机；nemo序列，跟踪目标为游动的鱼；lemming序列，跟踪目标为悬空运动的玩偶。

图3是本发明和两种对比方法对toy序列的目标轮廓跟踪对比。图4是本发明和两种对比方法对toy序列的跟踪精度对比。如图3和图4所示，在这种背景单一、目标简单的情况下，本发明和两种对比方法的效果差别不是很大。在第331帧，出现运动模糊的情况，本发明的方法明显比另外两种方法鲁棒性更好。

图5是本发明和两种对比方法对highway序列的目标轮廓跟踪对比。图6是本发明和两种对比方法对highway序列的跟踪精度对比。如图5和图6所示，由于highway序列视频中目标尺度越来越小，原始的基于判别式的level方法在第43帧丢失目标，GVF方法在第48帧丢失，而本发明的方法未丢失目标，表明了本发明方法在目标尺度变小的场景能获得更佳的跟踪效果。

图7是本发明和两种对比方法对stapler序列的目标轮廓跟踪对比。图8是本发明和两种对比方法对stapler序列的跟踪精度对比。如图7和图8所示，在stapler序列中，当订书机与颜色相近的背景相遇时，本发明的方法受背景干扰的程度比另外两种对比方法受干扰的程度低很多。说明本发明方法通过选取合适特征及在线更新模型，使得该方法对背景颜色干扰具有更高的鲁棒性。

图9是本发明和两种对比方法对nemo序列的目标轮廓跟踪对比。图10是本发明和两种对比方法对nemo序列的跟踪精度对比。如图9和图10所示，在nemo序列中，鱼的白色条纹与白色部分背景有些相似，同时，鱼在游动过程中，发生很大的形状变化。由于SVM分类器与检测器都具有在线学习的能力，在跟踪过程中不断学习，使本发明方法对目标形状变更有鲁棒性。在第430帧左右，由于发生了局部遮挡情况，三种方法都不能很好地表述目标形状轮廓。

图11是本发明和两种对比方法对lemming序列的目标轮廓跟踪对比。图12是本发明和两种对比方法对lemming序列的跟踪精度对比。如图11和图12所示，在lemming序列中，序列的背景比较复杂，但目标颜色和背景颜色差别大，GVF+Snake方法不如本发明方法和原始的基于表观模型的level set方法。在第460帧附近，目标出现局部遮挡至逐渐消失，在第480帧附近目标又逐渐出现，本发明通过检测器重新恢复了跟踪，而其他两种方法都跟踪失败。说明本发明方法能在目标消失后又重新出现时恢复跟踪，实现了长期的目标轮廓跟踪。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种基于水平集的在线目标轮廓跟踪方法，其特征在于，包括以下步骤：

S1：在视频图像的第一帧目标图像中，手动标定初始目标轮廓C_int，设置水平集轮廓跟踪标志A＝1；根据初始目标轮廓C_int来初始化判别式分类器和水平集函数，根据初始目标轮廓C_int的外接矩形来初始化目标检测器；

S2：如果水平集轮廓跟踪标志A＝1，进入步骤S3，否则进入步骤S4；

S3：对视频图像中的第t帧待跟踪图像进行基于判别式表观模型的水平集轮廓跟踪，具体方法为：对于视频图像中的待跟踪的第t帧图像，首先提取每个像素点的特征向量，采用判别式分类器进行分类，如果分类结果为正，则认为当前像素点包含在目标区域内，则将其置信图对应的像素点标记为1，反之标记为-1，从而得到置信图I_conf；根据置信图I_conf进行水平集进化，得到目标图像的轮廓结果C_t；进入步骤S4；

S4：对于视频图像中的第t帧待跟踪图像采用目标检测器进行检测，得到检测结果D_t；

S5：分别计算轮廓结果C_t和检测结果D_t的可靠度P_c、P_d，如果轮廓结果C_t或检测结果D_t不存在，则对应可靠度为0；如果P_c＞T_P，T_P表示预设的可靠度阈值，则判定轮廓结果C_t可靠，否则轮廓结果C_t不可靠；如果P_d＞T_P，则判定检测结果D_t可靠，否则检测结果D_t不可靠；

S6：只要轮廓结果C_t是可靠的，则将C_t作为最终轮廓跟踪结果并令初始目标轮廓C_int＝C_t，水平集轮廓跟踪标志A＝1；当轮廓结果不可靠而检测结果可靠时，不存在最终轮廓跟踪结果令初始目标轮廓C_int＝D_t，水平集轮廓跟踪标志A＝1；当轮廓结果和检测结果均不可靠时，不存在最终轮廓跟踪结果令水平集轮廓跟踪标志A＝0；

S7：当轮廓结果C_t和检测结果D_t都可靠时，对判别式分类器进行更新，更新方法为：求取跟踪结果与检测结果D_t的交集，其中的像素点作为正样本，之外的像素点作为负样本；将正样本和负样本加入判别式分类器的动态样本，在保存动态样本的同时为每个样本记录对应轮廓结果C_t的可信度作为权值，如果动态样本数量超过样本池上限，则在更新的时候保留权值大的正负样本，淘汰权值小的正负样本；采用新的样本池重新训练判别式分类器；

如果初始目标轮廓C_int被更新，则采用当前的初始目标轮廓C_int重新初始化水平集函数；

当轮廓结果C_t和检测结果D_t都可靠时，对轮廓结果C_t的最大外接矩形与检测结果D_t进行平均得到平均矩形框b^avg，根据平均矩形框b^avg获得第t帧图像中的目标区域图像，采用该目标区域图像对目标检测器进行重新训练；

更新完毕后返回步骤S2对下一帧图像进行目标轮廓跟踪。

2.根据权利要求1所述的在线目标轮廓跟踪方法，其特征在于，所述判别式分类器采用SVM分类器。

3.根据权利要求1所述的在线目标轮廓跟踪方法，其特征在于，所述目标检测器是由差分分类器、集合分类器和最近邻分类器组成的级联分类器。

4.根据权利要求1所述的在线目标轮廓跟踪方法，其特征在于，所述步骤S5中可靠度的计算方法为：

计算轮廓结果或检测结果的重叠度A_score，计算公式为：

$A_{score}=\frac{area(C_{\mathrm{int}}\∩A_{in})}{area(C_{\mathrm{int}}\∪A_{in})}$

其中，A_in表示需要计算可靠度的目标结果；

计算质心偏移度M_score，计算公式为：

$M_{score}=\frac{L-M_{dis}}{L}$

其中，M_dis表示目标结果A_in的质心与初始目标轮廓C_int的质心的距离，l表示视频图像对角线的长度；

可靠度P的计算公式为：

P＝αA_score+(1-α)M_score

其中，α表示权重系数。