CN106295509B - 一种面向非均匀退化视频中对象的结构化跟踪方法 - Google Patents

Abstract

一种面向非均匀退化视频中对象的结构化跟踪方法，在非均匀退化的目标视频中，利用自相关产生的方向图和Tenengrad提取的每个目标部分的退化程度结合在我们的基于超像素结构化模型，一个目标的一个未分配的干涉图是用来跟踪目标，图的节点是超像素中心点，边缘是超像素间的连线。本发明方法跟踪效果跟好，特别是在退化的视频目标跟踪中可以有效避免因为严重模糊导致的跟踪失败问题。

Description

一种面向非均匀退化视频中对象的结构化跟踪方法

技术领域

本发明属于计算机视觉技术领域，尤其是涉及到模糊对象的跟踪方法。

背景技术

一般的追踪算法将目标表示为一个包围盒模板，其中不包含结构信息。Lim模型中的在线增量空间可以鲁棒地代表目标。

一些其他的跟踪器使用支持向量机或者改善不同目标和背景的分类器模型的效果。同样，对结构信息的忽略导致了结构变形和闭塞的糟糕性能。目标模型作为一种词典结构的稀疏表示，对于历史部分的表面特征并不敏感。历史部分对结构的改变也不敏感。分布模型在目标识别与检测中得到广泛应用。也有一部分的追踪领域在模型基础上发展形成。

最近，Han et al发现了一种可替换的稀疏表示的外观模型公式。通过从目标周围找到子图像特征集的稀疏表示来达到追踪目的。追踪结果和拥有与追踪目标最相似的系数分布的部分密切相关。该方法在闭塞的实验案例中比较成功。但是，这种方法是否可以在经历较大的光照和姿态变化下高效地追踪目标还不明确。

另外，Yang et al发现应用数据挖掘技术来辅助和结合他们的目标，形成星型拓扑图模型来鲁棒性地进行视觉追踪。然而，我们的分割是用来收集部分候选目标，因此，对于这里的超像素而言，粗分割而不是像素级分割已经足够有效了。

发明内容

为了克服现有的模糊对象的跟踪方法在跟踪严重非均匀退化目标时的准确率较低的不足，本发明提供一种在跟踪严重非均匀退化目标时的准确率较高的面向非均匀退化视频中对象的结构化跟踪方法，本发明对图像进行超像素分割并计算每个超像素的模糊信息，并对目标区域进行结构化建模。根据建立的目标结构化模型及目标区域的模糊信息，通过建立合适的能量函数可以成功地提升算法在跟踪严重非均匀退化目标时的准确率。

本发明解决其技术问题所采用的技术方案是：

一种面向非均匀退化视频中对象的结构化跟踪方法，包括如下步骤：

1)退化评价

给每一个超像素方向矢量来描述运动退化，单一超像素的方向评估是通过一个局部自相关函数而获得，并且该模糊度由Tenengrad函数计算得到的，然后，构建定向矢量来表示一个超像素的运动，以这种方式来生成图像的方向的地图，过程如下：

1.1)方向评价

通过局部自相关函数来计算位置(x,y)的值：

f(x,y)＝∑_(xi,yi)∈p[I(xi,yi)-I(xi+Δx,yi+Δy)]² (1)

其中I(x_i,y_i)为图像中3*3矩阵的中心位置的梯度值，Δx和Δy表示在x和y方向上的移位；

该公式近似的表示为：

其中

通过计算出的矩阵M，得到了矩阵M的两个特征值。较小的特征值表示像素的方向，将每个像素的这些值转化到指定的方向空间[0,180)，因此，每个值表示在一条线上的相反方向；

然后，将运动方向I_m归一化，通过同等地划分然后将在数量上最多的作为背景的方向，得到图像模糊方向U_p；

1.2)模糊度评估

Tenengrad评价函数为

其中，s_x(i，j)和s_y(i，j)分别是图像f(i，j)与在水平方向和垂直方向与Sobel算子的卷积结果；M和N分别是图像的高和宽；

将图像通过Tenengrad评价得到的值除以所有结果中的最大值F_p来表示图像退化程度，被看作是

其中，F_ten是Tenengrad评价得到的值，max(F)是所有结果中的最大值。

通过这样的方式，Tenengrad评价得到的结果被归一化为区间(0,1]之间的值，退化程度估计的结果决定方向向量的长度；

2)构建结构模型，过程如下：

首先，将追踪窗口中的图像通过SLIC划分成一些小的部分，通过颜色信息来追踪目标；

给定一组超像素集{T_p}，收集候选目标部分{T_i}^p然后重建候选图像G(V,E)，通过建立一个配对的马尔科夫随机场来从背景中分离候选的前景部，同时使用目标颜色直方图和判别支持向量机分类器来计算单点势能，马尔科夫随机场能量被优化为：

其中B＝{bp|bp∈{0,1},p∈S}是超像素集{T_p}的标签，bp是Tp的指示器，当Tp属于前景时bp＝1，其他情况bp＝0，Dp(bp)是一个与超像素Tp结合的单点势能，Vp，q(bp，bq)一对结合超像素Tp和Tq的潜能。S是在跟踪窗口中的超像素集，N是共享边界的超像素集对；

单点势能：：

Dp(bp)是一个可生成的颜色直方图潜能和一个判别支持向量机分类器潜能的加权组合，α＝0.1，是一个用于平衡两个潜能影响的常量，生成的潜能形式为：

其中，H_f和H_b分别是目标和背景的归一化的RGB颜色直方图，Ci是像素I的RGB值，N_p在超像素T_p中的像素数量，P(C_i|H)是在直方图H中的C_i的概率。判别潜能是一个在线支持向量机分类器的分类评分，这个分类器是通过从目标和背景超像素中提取的RGB颜色特征训练得到的；

其中，y(f_p)＝w·Φ(f_p)+b是一种支持向量机判断，f_p是T_p的颜色信息，当把T_p分类为前景时，λ是一个用于增强支持向量机分类器比重的常量，Vp，q(bp,bq)用于捕获两个相邻超像素的不连续性。

平滑项：

V_p,q(b_p,b_q)＝exp｛-D(f_p,f_q)｝-βδ(d_p,d_q), (11)

其中，D(f_p,f_q)是颜色特征间的X²距离，d_p是退化特征向量。δ(d_p,d_q)是退化特征距离，β是一个用于平衡退化向量距离影响的常量。

本发明的有益效果主要表现在：采用模糊评价方法得出了基于超像素块的退化程度信息，并以向量来表示，通过对超像素块的块间结构信息进行建图，得到了目标的结构化的量化信息，大大减少了跟踪时的数据量。最后通过对退化程度信息的利用，提高了算法对退化视频内目标的跟踪准确率。

附图说明

图1是面向非均匀退化视频中对象的结构化跟踪方法的一些追踪结果，其中，白框是结果，黑框是标注值。

图2是面向非均匀退化视频中对象的结构化跟踪方法的流程图。

图3是退化评价的方向示意图。

图4是不同超像素的退化向量距离示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种面向非均匀退化视频中对象的结构化跟踪方法，包括如下步骤：

本发明所采用的技术方案为引进了一种结构退化模型，通过对目标的退化估计来解决追踪问题。具体的跟踪方法如下：

针对剧烈运动的目标有良好的跟踪效果(如图1)，算法的流程图在图2中给出(如图2)。

1)退化评价

给每一个超像素方向矢量来描述运动退化，单一超像素的方向评估是通过一个局部自相关函数而获得，并且该模糊度由Tenengrad函数计算得到的，然后，构建定向矢量来表示一个超像素的运动，以这种方式来生成图像的方向的地图，过程如下：

1.2)方向评价

通过局部自相关函数来计算位置(x,y)的值：

f(x,y)＝∑_(xi,yi)∈P[I(xi,yi)-I(xi+Δx,yi+Δy)]² (3)

其中I(x_i,y_i)为图像中3*3矩阵的中心位置的梯度值，Δx和Δy表示在x和y方向上的移位；

该公式近似的表示为：

其中

通过计算出的矩阵M，得到了矩阵M的两个特征值。较小的特征值表示像素的方向，将每个像素的这些值转化到指定的方向空间[0,180)，因此，每个值表示在一条线上的相反方向；

然后，将运动方向I_m归一化，通过同等地划分然后将在数量上最多的作为背景的方向，得到图像模糊方向U_p；

1.3)模糊度评估

Tenengrad评价函数为

其中，s_x(i，j)和s_y(i，j)分别是图像f(i，j)与在水平方向和垂直方向与Sobel算子的卷积结果；M和N分别是图像的高和宽；

将图像通过Tenengrad评价得到的值除以所有结果中的最大值F_p来表示图像退化程度，被看作是

其中，F_ten是Tenengrad评价得到的值，max(F)是所有结果中的最大值。

通过这样的方式，Tenengrad评价得到的结果被归一化为区间(0,1]之间的值，退化程度估计的结果决定方向向量的长度(如图3)；

2)构建结构模型，过程如下：

首先，将追踪窗口中的图像通过SLIC划分成一些小的部分，通过颜色信息来追踪目标；

给定一组超像素集{T_p}，收集候选目标部分{T_i}^p然后重建候选图像G(V,E)，通过建立一个配对的马尔科夫随机场来从背景中分离候选的前景部，同时使用目标颜色直方图和判别支持向量机分类器来计算单点势能，马尔科夫随机场能量被优化为：

其中B＝{bp|bp∈{0,1},p∈S}是超像素集{T_p}的标签，bp是Tp的指示器，当Tp属于前景时bp＝1，其他情况bp＝0，Dp(bp)是一个与超像素Tp结合的单点势能，Vp，q(bp，bq)一对结合超像素Tp和Tq的潜能。S是在跟踪窗口中的超像素集，N是共享边界的超像素集对；

单点势能：：

Dp(bp)是一个可生成的颜色直方图潜能和一个判别支持向量机分类器潜能的加权组合，α＝0.1，是一个用于平衡两个潜能影响的常量，生成的潜能形式为：

其中，H_f和H_b分别是目标和背景的归一化的RGB颜色直方图，Ci是像素I的RGB值，N_p在超像素T_p中的像素数量，P(C_i|H)是在直方图H中的C_i的概率。判别潜能是一个在线支持向量机分类器的分类评分，这个分类器是通过从目标和背景超像素中提取的RGB颜色特征训练得到的；

其中，y(f_p)＝w·Φ(f_p)+b是一种支持向量机判断，f_p是T_p的颜色信息，当把T_p分类为前景时，λ是一个用于增强支持向量机分类器比重的常量，Vp，q(bp,bq)用于捕获两个相邻超像素的不连续性。

平滑项：

V_p,q(b_p,b_q)＝exp｛-D(f_p,f_q)｝-βδ(d_p,d_q), (11)

其中，D(f_p,f_q)是颜色特征间的X²距离，d_p是退化特征向量。δ(d_p,d_q)是退化特征距离(如图4)，β是一个用于平衡退化向量距离影响的常量。

本实施例采用模糊评价方法得出了基于超像素块的退化程度信息，并以向量来表示，通过对超像素块的块间结构信息进行建图，得到了目标的结构化的量化信息，大大减少了跟踪时的数据量。最后通过对退化程度信息的利用，提高了算法对退化视频内目标的跟踪准确率。

Claims (1)

1.一种面向非均匀退化视频中对象的结构化跟踪方法，其特征在于：包括如下步骤：

1)退化评价

给每一个超像素方向矢量来描述运动退化，单一超像素的方向评估是通过一个局部自相关函数而获得，并且模糊度由Tenengrad函数计算得到的，然后，构建定向矢量来表示一个超像素的运动，以这种方式来生成图像的方向的地图，过程如下：

1.1)方向评价

通过局部自相关函数来计算位置(x,y)的值：

f(x，y)＝∑_{(xi，yi)∈P}[I(xi，yi)-I(xi+Δx，yi+Δy)]² (1)

其中I(x_i,y_i)为图像中3*3矩阵的中心位置的梯度值，Δx和Δy表示在x和y方向上的移位；

该公式近似的表示为：

其中

通过计算出的矩阵M，得到了矩阵M的两个特征值，较小的特征值表示像素的方向，将每个像素的这些值转化到指定的方向空间[0,180)，因此，每个值表示在一条线上的相反方向；

然后，将运动方向I_m归一化，通过同等地划分然后将在数量上最多的作为背景的方向，得到图像模糊方向；

1.2)模糊度评估

Tenengrad评价函数为

其中，s_x(i，j)和s_y(i，j)分别是图像f(i，j)与在水平方向和垂直方向与Sobel算子的卷积结果；M和N分别是图像的高和宽；

将图像通过Tenengrad评价得到的值除以所有结果中的最大值来表示图像退化程度，被看作是

其中，F_ten是Tenengrad评价得到的值，max(F)是所有结果中的最大值；

通过这样的方式，Tenengrad评价得到的结果被归一化为区间(0,1]之间的值，退化程度估计的结果决定方向向量的长度；

2)构建结构模型，过程如下：

首先，将追踪窗口中的图像通过SLIC划分成一些小的部分，通过颜色信息来追踪目标；

给定一组超像素集{T_p}，收集候选目标部分{T_i}^p然后重建候选图像G(V,E)，通过建立一个配对的马尔科夫随机场来从背景中分离候选的前景部，同时使用目标颜色直方图和判别支持向量机分类器来计算单点势能，马尔科夫随机场能量被优化为：

其中B＝{bp|bp∈{0,1},p∈S}是超像素集{T_p}的标签，bp是Tp的指示器，当Tp属于前景时bp＝1，其他情况bp＝0，Dp(bp)是一个与超像素Tp结合的单点势能，Vp，q(bp，bq)一对结合超像素Tp和Tq的潜能，S是在跟踪窗口中的超像素集，N是共享边界的超像素集对；

单点势能：

Dp(bp)是一个可生成的颜色直方图潜能和一个判别支持向量机分类器潜能的加权组合，α＝0.1，是一个用于平衡两个潜能影响的常量，生成的潜能形式为：

其中，H_f和H_b分别是目标和背景的归一化的RGB颜色直方图，Ci是像素I的RGB值，N_p在超像素T_p中的像素数量，P(C_i|H)是在直方图H中的C_i的概率，判别潜能是一个在线支持向量机分类器的分类评分，这个分类器是通过从目标和背景超像素中提取的RGB颜色特征训练得到的；

其中，是一种支持向量机判断，f_p是T_p的颜色信息，当把T_p分类为前景时，λ是一个用于增强支持向量机分类器比重的常量，Vp，q(bp,bq)用于捕获两个相邻超像素的不连续性；

平滑项：

V_p，q(b_p，b_q)＝exp{-D(f_p，f_q)}-βδ(d_p，d_q)， (11)

其中，D(f_p，f_q)是颜色特征间的X²距离，d_p是退化特征向量，δ(d_p,d_q)是退化特征距离，β是一个用于平衡退化向量距离影响的常量。