CN103218827A

CN103218827A - 基于形状传递联合分割和图匹配校正的轮廓跟踪方法

Info

Publication number: CN103218827A
Application number: CN2013100934897A
Authority: CN
Inventors: 熊红凯; 朱青祥
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2013-03-21
Filing date: 2013-03-21
Publication date: 2013-07-24
Anticipated expiration: 2033-03-21
Also published as: CN103218827B

Abstract

本发明涉及一种基于形状传递联合分割和图匹配校正的轮廓跟踪方法，该方法在形状传递联合分割部分，将形状预测图与原始图像视频帧相结合，借助位置坐标的重定位，提出新的图模型构造方法，并构建新的能量优化函数对图模型进行联合分割。图匹配校正部分，对当前图像的分割结果与前一帧图像的分割结果进行图匹配，当图匹配的结果不能满足该限制条件时，调整形状传递联合分割中能量函数的权重参数，校正分割结果的不准确。本发明可以有效提高视频中目标物体轮廓跟踪的准确率。

Description

基于形状传递联合分割和图匹配校正的轮廓跟踪方法

技术领域

本发明涉及一种数字图像处理领域的视频目标轮廓跟踪方法，具体是一种基于形状传递联合分割和图匹配校正的轮廓跟踪方法。

背景技术

在计算机视觉领域，视觉跟踪是一个非常重要且具有挑战性的问题。基于轮廓的跟踪不仅仅能够在视频中定位到目标物体的位置，同时还要将目标物体从背景中分割出来。轮廓跟踪算法的目的在于对特定的目标物体在时间上进行连续的分割，用轮廓或者边界更为准确的描述那些随着时间形状有所改变的非刚性物体，同时确保目标物体的轮廓在时间上能保持一致性。

经过对现有技术的文献检索发现，J.Malcolm，Y.Rathi与A.Tannenbaum,在2007年的《IEEE International Conference on Computer Vision》会议上发表的“Multi-object tracking through clutter using graph cuts”一文中提出了一种利用图分割的方法，对集群中的多目标进行轮廓跟踪。其中引入了一个距离惩罚项和一个位置预测，每一个目标物体的速度都用一个自回归模型来进行建模，从而提供了每一个目标物体在下一个时刻的预测位置。由于这种距离位置的预测被考虑进去了，所以这种连续的分割有了一种空间上的限制，从而使得每一个目标物体在时间上也能保证一定的一致性。为了考虑运动的变化，作者还对每一个目标物体计算了一个参数因子，用来表示目标物体实际位置与预测为止之间的误差，从而来权重预测所占的权重。L.Ma，J.Liu与J.Wang在2010年的《IEEE Int.Conf.Acoustics,Speech,and Signal Processing》会议上发表的“An improved silhouettetracking approach integrating particle filter with graph cuts”一文中提出了一种结合能粒子滤波和3D图分割模型的轮廓跟踪方法。这种方法可以在目标物体具有大尺度变化以及遮挡的情况下进行目标物体的轮廓跟踪。分割模块提供了目标物体的形状信息，为基于直方图信息的粒子滤波模块提供了空间的信息补偿。但是上述两种方法对于遮挡情形或者物体形状尺度发生巨大变化时，由于分割目标物体时仅仅基于图分割的方法，最终会导致分割跟踪结果的不准确。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于形状传递联合分割和图匹配校正的轮廓跟踪方法，可以有效提高视频中目标物体轮廓跟踪的准确率，并可作为一种通用的视频跟踪方法。

本发明是通过以下技术方案实现的：

一种基于形状传递联合分割和图匹配校正的轮廓跟踪方法，包括两部分：

形状传递联合分割：将形状预测图与原始图像视频帧相结合，借助位置坐标的重定位，提出新的图模型构造方法，并构建新的能量优化函数对图模型进行联合分割；

图匹配校正：对当前图像的分割结果与前一帧图像的分割结果进行图匹配，当图匹配的结果不能满足该限制条件时，调整形状传递联合分割中的权重参数，校正分割结果的不准确。

进一步的，上述方法具体包括如下步骤：

步骤一，对输入视频流的前两帧进行待跟踪目标物体的人工标定，明确需要跟踪的目标物体的位置和形状，在之后的轮廓跟踪过程中，就不需要其他任何的人工干预；

步骤二，输入下一帧视频图像，如果视频结束则终止；否则初始化设定图分割能量函数中权重参数λ_C的值，使得λ_C＝2；

步骤三，将前两帧图像的分割结果作为输入，分别计算得到坐标重定位和形状预测图；

步骤四，借助坐标重定位数值，结合当前的视频图像帧与形状预测图得到形状传递的图模型；

步骤五，根据构建的能量函数，进行能量最小化优化，对步骤四中得到的图模型进行联合分割；

步骤六，对当前图像的分割结果与前一帧图像的分割结果进行图匹配，如果当前图像分割结果的图匹配能量函数值满足相应的限制条件，则转到步骤二，继续下一帧图像的轮廓跟踪；否则增加权重参数λ_C的值，转到步骤五，重新进行图模型联合分割。

优选地，所述的形状预测图，具体的生成方法为：将前两帧图像的分割结果作为输入，重复进行膨胀腐蚀操作，从而得到形状预测图。

优选地，所述的图模型，具体的构建方法为：借助坐标重定位数值决定形状预测图与原始图像之间相结合的位置坐标，顶点集合包括原始图像帧中的像素节点和形状预测图中的像素节点，边集合包含原始图像帧中属于邻域像素节点之间的边，形状预测图中属于邻域像素节点之间的边以及连结原始图像帧中的像素顶点与形状预测图中的像素顶点的边。

优选地，所述的能量函数，具体的构建方法为：能量交叉项将形状预测图与原始图像连结，形状预测图中的任意一个像素都应该与它在原始图像中的对应的像素以及它的一个邻域范围内的像素保持相同的分割分类，如果违反了这个限制条件，就需要付出惩罚代价。

优选地，所述的调整形状传递联合分割中的权重参数，具体为：当前图像分割结果的图匹配能量函数值如果大于前一帧图像分割结果的图匹配能量函数值的若干倍，比如1.5倍，则增大形状传递联合分割中的权重参数λ_c值。

与现有技术相比，本发明具有如下的有益效果：

本发明上述技术方案在形状传递联合分割部分，改进了图模型的构造方法。本发明将形状预测图与原始图像视频帧相结合，并借助位置坐标的重定位，提出了新的图模型构造方法，充分利用了目标物体的形状先验信息，通过提高代价函数，避免那些与目标物体先验形状不一致的、远离预测位置的像素，从而提升了目标物体的分割准确度。在图匹配校正部分，为了保证分割的正确性，通过图匹配能量函数的最优化，本发明不仅可以评价目标物体分割结果的局部相似度，还有全局结构相似度，进而可以对分割结果进行补偿，应对遮挡情况的发生。因此结合形状传递的联合分割以及图匹配校正的跟踪方法，可以有效加强对视频目标的分割与跟踪鲁棒性，提高视频中目标物体轮廓跟踪的准确率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明方法的轮廓跟踪流程图；

图2是本发明方法中形状传递联合分割的流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，一种基于形状传递联合分割和图匹配校正的轮廓跟踪方法，包括基于形状传递联合分割部分和图匹配校正部分。

如图2所示，形状传递联合分割部分主要包括了三个步骤，分别是坐标重定位和形状预测图的生成、图模型的构建以及能量函数的构建与优化。完成了这三个步骤就相当于完成了一次形状传递联合分割。

第一，形状传递联合分割部分包括形状预测图与坐标重定位的生成，图模型的构建以及能量函数的构建与优化。

（1）形状预测图和坐标重定位的生成都是基于对先前图像帧的分割结果。将在图像帧Ω^t-1和Ω^t-2得到的分割结果分别表示为C^t-1(x)和C^t-2(x)。分割结果C^t-1(x)和C^t-2(x)的像素中心，在原来图像帧Ω^t-1和Ω^t-2中的位置分别标记为m^t-1和m^t-2。t表示时刻，Ω^t-1和Ω^t-2分别表示t-1时刻和t-2时刻的图像帧。

图像帧Ω^t的形状预测图S^t(x)的生成：将前两帧图像的分割结果C^t-1(x)和C^t-2(x)作为输入，对目标物体的分割结果重复的进行腐蚀操作，并不断对剩余的区域设置成一个较小的值。与此同时，对原来的分割结果进行膨胀操作，并对膨胀而得到的新区域设置一个较大的值。经过形态滤波之后，那些接近于目标对象中心区域的像素都具有较小的值，而那些远离目标对象中心的像素则都具有较大的值。

（2）坐标重定位的生成：坐标重定位的值就是基于m^t-1和m^t-2，假设目标物体遵循运动动力学方程，并且在一个极短的时间片段内，具有相同的运动速度，极短的时间片段可以看做是相邻的两个图像帧之间。因此得到的形状预测图在当前图像帧Ω^t中所对应的位置，也被称作为坐标重定位，应在位于m^t＝2m^t-1-m^t-2。

（3）图模型的构建：将形状预测图和原始的图像帧这两个部分结合起来，就得到了改进的图模型。其中坐标重定位决定了形状预测图与原始图像之间应该在什么位置进行结合。对于无向图G＝{V,E}的定义，其中包括一系列的顶点V，以及一系列的边E。在本发明改进的图模型中，顶点集合V一共包括两部分：第一个子集是原始图像帧中的像素节点，将其标记为V_P；第二个子集是形状预测图中的像素节点，将其记为V_Q。边集合E则包含了三个部分：第一个子集是原始图像帧中属于邻域像素节点之间的所有边信息，标记为E_P；与之相应的，第二个子集是形状预测图中，所有属于邻域像素节点之间的所有边信息，标记为E_Q；还有第三部分，是连结原始图像帧中的像素顶点与形状预测图中的像素顶点的边。

（4）能量函数的构建：能量函数的第一项是原始图像帧的数据项ε_D，它测量了所有在原始图像中的像素属于前景和背景的概率；能量函数的第二项是原始图像帧的正则项ε_R，主要是用来惩罚两个相邻的像素点，他们都属于原始图像帧却被标号为不同的种类；第三项能量项是基于形状预测图的像素灰度ε_SD，如果位于目标对象中心位置附近的像素点被分割为背景时会受到一个很大的惩罚，反之如果远离目标对象中心的像素点被分割为前景时也会受到一个很大的惩罚；第四项是用来限制形状预测图的分割结果的平滑性ε_SR，如果在形状预测图中相邻的两个像素点被分割为两个不同的分类时，那么一个惩罚函数基于他们坐标重定位像素的灰度值差就会生效，从而惩罚这种情况的发生；最后一个能量项是交叉项ε_C，也是构造的能量函数中最重要的一项。交叉项将形状预测图与原始图像连接了起来。当前帧的目标对象分割结果应该在某种程度上与该目标对象在前几帧的分割结果具有一定的一致性。所以，形状预测图中的任意一个像素都应该与它在原始图像中的对应的像素以及它的一个邻域范围内的像素保持相同的分割分类，如果违反了这个限制条件，就需要付出一定的惩罚代价。最终的能量函数如公式所示，其中λ_C是权重参数，用来调整交叉项的作用。

E(f)＝ε_D(f)+ε_R(f)+ε_SD(f)+ε_SR(f)+λ_Cε_C(f)

第二，图匹配校正部分：在这一部分，对当前图像的分割结果与前一帧图像的分割结果进行图匹配，分别在当前图像中目标物体的分割轮廓以及前一帧中目标物体的分割轮廓上均匀的选取点，分别作为特征点集P和Q，并对特征点集构建局部特征描述子。然后按照能量函数对特征点集P和Q进行图匹配。其中图匹配能量函数的模型包括三个部分，分别是局部匹配代价λ_localE^local(M)，结构匹配代价λ_strucE^struc(M)以及未匹配惩罚代价E^penal(M)。

E(M)＝λ_localE^local(M)+λ_strucE^struc(M)+E^penal(M)

为了校正分割结果的不准确性，本发明对图匹配能量函数的最优值做了一定的限制条件，即当前图像分割结果的图匹配能量函数值必须小于前一帧图像分割结果的图匹配能量函数值的倍数。

E^t(M)＜W·E^t-1(M)

其中W是一个常数，一般设定为1.5，用来限制图匹配能量函数的允许范围。当图匹配的结果不能满足该限制条件时，则增大形状传递联合分割部分中的λ_c值，增大形状信息对目标分割结果的影响，然后对分割得到的结果再次进行图匹配验证，直到满足限制条件，或者达到最大迭代次数的限制。

实施效果

依据上述步骤，采用发明内容中的步骤进行实施，实验用视频序列来源于PETS2010官方数据库中的pedestrian.avi（768x576），截取了其中的58帧视频。比较了采用本发明所述的基于形状传递联合分割和图匹配校正的轮廓跟踪方法与Malcolm等人在“Multi-object tracking through clutter using graph cuts”论文中的方法，以及Lili Ma等人在“An improved silhouette tracking approach integratingparticle filter with graph cuts”论文中的方法。

其结果为：分别采用这三种方法，本发明得到的目标物体轮廓分割位置与目标物体实际标定位置之间的平均距离误差分别是5.03像素，27.86像素和16.28像素。实验表明，本发明提出的基于形状传递联合分割和图匹配校正的轮廓跟踪方法在视频中目标物体的轮廓跟踪中具有更好的效果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1.一种基于形状传递联合分割和图匹配校正的轮廓跟踪方法，其特征在于：

形状传递联合分割：将形状预测图与原始图像视频帧相结合，借助位置坐标的重定位，构造新的图模型，并构建新的能量优化函数对图模型进行联合分割;

2.根据权利要求1所述的基于形状传递联合分割和图匹配校正的轮廓跟踪方法，其特征是，具体包括如下步骤：

步骤一，对输入视频流的前两帧进行待跟踪目标物体的人工标定，明确需要跟踪的目标物体的位置和形状，在之后的轮廓跟踪过程中，不需要其他任何的人工干预；

3.根据权利要求1或2所述的基于形状传递联合分割和图匹配校正的轮廓跟踪方法，其特征是，所述的形状预测图，具体的生成方法为：将前两帧图像的分割结果作为输入，重复进行膨胀腐蚀操作，从而得到形状预测图。

4.根据权利要求1或2所述的基于形状传递联合分割和图匹配校正的轮廓跟踪方法，其特征是，所述的图模型，具体的构建方法为：借助坐标重定位数值决定形状预测图与原始图像之间相结合的位置坐标，顶点集合包括原始图像帧中的像素节点和形状预测图中的像素节点，边集合包含原始图像帧中属于邻域像素节点之间的边，形状预测图中属于邻域像素节点之间的边以及连结原始图像帧中的像素顶点与形状预测图中的像素顶点的边。

5.根据权利要求1或2所述的基于形状传递联合分割和图匹配校正的轮廓跟踪方法，其特征是，所述的能量函数，其公式如下：

E(f)＝ε_D(f)+ε_R(f)+ε_SD(f)+ε_SR(f)+λ_Cε_C(f)

其中：能量函数的第一项是原始图像帧的数据项ε_D，它测量了所有在原始图像中的像素属于前景和背景的概率；能量函数的第二项是原始图像帧的正则项ε_R，主要是用来惩罚两个相邻的像素点，它们都属于原始图像帧却被标号为不同的种类；第三项能量项是基于形状预测图的像素灰度ε_SD，如果位于目标对象中心位置附近的像素点被分割为背景时会受到一个很大的惩罚，反之如果远离目标对象中心的像素点被分割为前景时也会受到一个很大的惩罚；第四项是用来限制形状预测图的分割结果的平滑性ε_SR，如果在形状预测图中相邻的两个像素点被分割为两个不同的分类时，那么一个惩罚函数基于他们坐标重定位像素的灰度值差就会生效，从而惩罚这种情况的发生；最后一个能量项是交叉项ε_C，也是构造的能量函数中最重要的一项，交叉项将形状预测图与原始图像连接了起来。

6.根据权利要求5所述的基于形状传递联合分割和图匹配校正的轮廓跟踪方法，其特征是，所述的能量函数，具体的构建方法为：能量交叉项将形状预测图与原始图像连结，形状预测图中的任意一个像素都应该与它在原始图像中的对应的像素以及它的一个邻域范围内的像素保持相同的分割分类，如果违反了这个限制条件，就需要付出惩罚代价。

7.根据权利要求2所述的基于形状传递联合分割和图匹配校正的轮廓跟踪方法，其特征是，所述步骤六，具体方法为：对当前图像的分割结果与前一帧图像的分割结果进行图匹配，分别在当前图像中目标物体的分割轮廓以及前一帧中目标物体的分割轮廓上均匀的选取点，分别作为特征点集P和Q，并对特征点集构建局部特征描述子，然后按照能量函数对特征点集P和Q进行图匹配，其中图匹配能量函数的模型包括三个部分，分别是局部匹配代价λ_localE^local(M)，结构匹配代价λ_strucE^struc(M)以及未匹配惩罚代价E^penal(M)；

E(M)＝λ_localE^local(M)+λ_strucE^struc(M)+E^penal(M)。

8.根据权利要求7所述的基于形状传递联合分割和图匹配校正的轮廓跟踪方法，其特征是，所述步骤六，当前图像分割结果的图匹配能量函数值必须小于前一帧图像分割结果的图匹配能量函数值的倍数，即：

E^t(M)＜W·E^t-1(M)

其中W是一个常数，用来限制图匹配能量函数的允许范围，当图匹配的结果不能满足该限制条件时，则增大形状传递联合分割部分中的λ_c值，增大形状信息对目标分割结果的影响，然后对分割得到的结果再次进行图匹配验证，直到满足限制条件，或者达到最大迭代次数的限制。

9.根据权利要求8所述的基于形状传递联合分割和图匹配校正的轮廓跟踪方法，其特征是，所述W设定为1.5，用来限制图匹配能量函数的允许范围。