CN106157330B - 一种基于目标联合外观模型的视觉跟踪方法 - Google Patents

Abstract

本发明公开了一种基于目标联合外观模型的视觉跟踪方法，包括如下步骤：构建目标局部外观表示模型，基于超像素中层特征，根据颜色、亮度及纹理对目标进行合理有效的局部区域划分；根据显著性计算超像素重要性图，估计每个粒子在局部外观下的置信度；对目标整体外观进行粒子采样，获取目标整体外观下的判别似然估计值；利用概率滤波，从目标的稀疏整体外观角度获取稀疏似然估计图；对目标局部外观下的置信度和目标整体外观下的稀疏似然估计图进行线性加权，得到目标状态的最优估计，确定最佳目标跟踪位置。通过本发明实施例兼顾了目标的底层特征信息和中层特征信息，能够实现更准确的目标跟踪，并有效减轻了目标的漂移现象。

Description

一种基于目标联合外观模型的视觉跟踪方法

技术领域

本发明涉及信息技术领域，具体涉及一种基于目标联合外观模型的视觉跟踪方法。

背景技术

目标跟踪是计算机视觉研究领域中重要的基础问题之一，在监控、运动估计、人机交互等方面具有非常广泛的应用。近年来出现的许多跟踪算法在一定的场景下能够较好的跟踪目标物体，如粒子滤波、Boosting算法、L1跟踪算法等。但是，由于视频是一个复杂场景下的时序图像序列，复杂场景包括了光照变化、遮挡、动作变形、背景杂乱、目标尺度变化等，因此，构建一个自适应的目标表达模型以便得到鲁棒的跟踪算法，是目前跟踪领域的研究热点，也是难点问题。

在近年来的跟踪算法中，一部分通过建立目标外观模型把跟踪问题公式化为最佳模板匹配或最大似然区域估计问题，这些方法称为基于生成模型的跟踪算法，如何构建一个准确的外观模型以适应目标外观变化是这类算法的核心。还有一部分认为跟踪是一个二值分类问题，把跟踪看作是将前景目标从背景中分离出来，这一类方法采用了许多分类器算法，称为基于判别模型的跟踪算法。如朴素贝叶斯分类器，基于boosting的分类器，支持向量机，P-N学习分类器等等。分类器算法的准确性在训练样例很大的情况下性能较佳，因此通常采用在线更新以获取更多的训练样例。

在跟踪过程中以在线更新的方式获得鲁棒的目标外观表示，是当前跟踪方法常用的处理，如果在更新时引入了不正确的目标外观，那么就会造成误差积累，难以得到适应目标变化的外观模型，从根本上造成目标跟踪漂移的现象。

发明内容

本发明提供了一种基于目标联合外观模型的视觉跟踪方法，该方法兼顾了目标的底层特征信息和中层特征信息，能够实现更准确的目标跟踪，并有效减轻了目标的漂移现象。

本发明提供了一种基于目标联合外观模型的时间跟踪方法，包括：

构建目标局部外观表示模型，基于超像素中层特征，根据颜色、亮度及纹理对目标进行合理有效的局部区域划分；

根据显著性计算超像素重要性图，估计每个粒子在局部外观下的置信度；

对目标整体外观进行粒子采样，获取目标整体外观下的判别似然估计值；

利用级联概率滤波，从目标的稀疏整体外观角度，基于判别似然估计值获取稀疏似然估计图；

对目标局部外观下的置信度和目标整体外观下的稀疏似然估计图进行线性加权，得到目标状态的最优估计，确定最佳目标跟踪位置。

所述基于超像素中层特征，根据颜色、亮度及纹理对目标进行合理有效的局部区域划分包括：

采用融合颜色和空间位置的简单线性迭代聚类方法SLIC算法，将测试视频图像帧分割为一系列保持颜色、空间信息以及边界特性的超像素区域。

所述根据显著性计算超像素重要性图包括：

基于色彩直方图和全局对比度的图像视觉显著性计算方法对目标搜索区域计算每个像素的显著性值，并对超像素进行重要性划分。

所述估计每个粒子在局部外观下的置信度包括：

提取每个超像素的颜色直方图作为特征向量，得到目标超像素集合和背景超像素集合；

采用巴氏距离计算目标超像素集合和背景超像素集合相似性度；

采用超像素的巴氏距离之和来估计粒子在局部外观下的置信度。

在本发明中，目标外观表示的角度出发，构建了基于显著性度量的超像素局部目标外观，然后将目标的局部外观与整体外观进行联合优化，在跟踪过程中，通过计算粒子在这两种外观表示下的联合权重，确定最佳目标跟踪位置。该方法兼顾了目标的底层特征信息和中层特征信息，能够实现更准确的目标跟踪，并有效减轻了目标的漂移现象。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的基于目标联合外观模型的时间跟踪的方法流程图；

图2是本发明实施例中的基于目标联合外观模型的时间跟踪的方法原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

相应的，图1示出了本发明实施例中的基于目标联合外观模型的时间跟踪的方法流程图，其步骤包括如下：

S101、构建目标局部外观表示模型，基于超像素中层特征，根据颜色、亮度及纹理对目标进行合理有效的局部区域划分；

为了构建目标的局部外观表示模型，本文利用超像素这种中层特征，根据颜色、亮度及纹理对目标进行合理有效的局部区域划分，然后利用一种显著性检测方法来协助确定每个超像素与感兴趣目标之间的重要程度。

具体实施过程中，采用融合颜色和空间位置的简单线性迭代聚类方法SLIC算法，将测试视频图像帧分割为一系列保持颜色、空间信息以及边界特性的超像素区域。

图像的超像素单元是指具有相似颜色、亮度或纹理特征的像素构成的图像块，包含了图像视觉特征的结构信息。由于同一个超像素块的像素在某种特征度量下具有相似的视觉特征，超像素可以作为一个整体来对待，统一对其进行计算、分割、分类等操作，能显著降低计算时间，提高算法性能。因此，相比底层的像素单元，超像素更接近人们理解图像时候的基本感知单元，更容易理解和分析。

在构建目标的局部外观表示模型时，本文采用超像素将目标分割为局部块，并加入了显著度用于确定每个超像素与目标之间的重要程度。考虑到超像素分割方法的紧凑度和效率，本文采用Achanta等人提出的融合颜色和空间位置的简单线性迭代聚类方法(SLIC)算法，将测试视频图像帧分割为一系列保持颜色、空间信息以及边界特性的超像素区域。SLIC超像素分割方法把每个像素点定义为五元组p_i＝[l_i；a_i；b_i；x_i；y_i]^T，前三个维度是像素在CIELAB颜色空间的坐标，后两个维度是像素点在图像中的位置。然后，分别计算每个像素点与超像素中心(聚类中心)的颜色距离和欧氏距离，将它们的线性组合作为综合相似度，在种子之间距离的2倍范围内对图像进行逐步聚类SLIC算法主要包含两个步骤：

(1)初始化种子点

假设图像有N个像素点，分割为k个超像素，则每个超像素的大小为N/k，每个超像素中心(种子点)的距离近似为

为了避免种子点处在图像的边缘位置，以种子点为中心设置3×3的窗口，并将种子点移动到梯度值最小的位置。

(2)计算相似度

在每个种子点的2E×2E的范围内进行计算，以降低每个像素点与所有种子点进行计算所带来的巨大计算量。综合相似度S是像素点在CIELAB颜色空间的距离与二维欧氏距离的线性加权：

其中

为第i个像素点与第j个聚类中心的颜色空间距离，

为它们的空间位置距离，m为平衡系数，D_i为综合相似性的度量值，D_i值越大表示相似性越高。每个像素被分配给与之相似性最高的(最近的)聚类中心，并用该聚类中心的标签覆盖。为了得到稳定的聚类结果，还需要用当前聚类像素的平均位置作为新的聚类中心，重复以上计算相似度的过程，直到所有的像素聚类都收敛为止。

由于SLIC方法在估计相似性时仅计算了离聚类中心2E范围内的那些像素，而不考虑较远处的像素点，这不仅降低了计算时间，还使超像素大小比较规则，更加紧凑，每个超像素都能保持图像边界。

为了构建目标的局部外观模型，在本实施例中利用上述SLIC算法对视频的第一帧图像进行超像素分割，令

表示超像素集合，其中超像素的分割个数m＝300，分割后的每一个像素都对应着一个超像素标号。得到视频第一帧的超像素分布之后，对于给定的跟踪目标和背景，如何对这些超像素进行合理有效的区域划分是一个关键问题，需要用一种重要度图来协助确定每个超像素的重要程度。本文采用一种基于全局对比度的视觉显著度检测方法，每一个像素的显著性值反映了该像素与跟踪目标之间的重要程度。

S102、根据显著性计算超像素重要性图，估计每个粒子在局部外观下的置信度；

具体实施过程中，基于色彩直方图和全局对比度的图像视觉显著性计算方法对目标搜索区域计算每个像素的显著性值，并对超像素进行重要性划分。

在本实施例中采用了图像超像素分割和显著度检测技术来构建局部外观模型，其中，显著度用于协助确定每个超像素与目标之间的重要程度，对这些超像素进行有效的分类划分。采用已有的基于色彩直方图和全局对比度的图像视觉显著性计算方法(RC方法)。

在跟踪测试视频的第t帧(t＝1…n)，通过SLIC方法对目标搜索区域进行超像素分割，超像素个数m＝300，每个超像素包含了若干像素。由此，每一个像素i都对应着一个超像素编号，

N是搜索区域的像素总数。接下来，根据显著度检测方法，对目标搜索区域计算每个像素的显著性值，并对超像素进行重要性划分，确定哪些超像素与目标前景具有更重要的关系，哪些属于背景。令第t帧目标搜索区域的显著性值为

先对每个像素的显著度进行二值化处理：

其中τ是一个阈值参数。

第t帧中，目标搜索区域的每一个像素可以用一个四元组来表示，pt(i)＝[x^t(i)；y^t(i)；l^t(i)；s^t(i)]，其中x^t(i)；y^t(i)表示像素的位置，l^t(i)表示该像素所属的超像素标号，s^t(i)∈{0；1}表示该像素对应的二值化的显著性值。对标号为k的超像素，包含了具有某种特征相似性的若干像素，这些像素可以根据其显著性值分为两个集合，一个是显著性值为1的像素集合，另一个是显著性值为0的像素集合，由此得到两个集合：

显然，对标号为k的超像素，

越大表示该超像素属于目标的可能性越大，重要程度越高。我们用归一化方法度量超像素的置信因子：

上式得到的超像素置信因子f^t(k)就是超像素的重要性值，该值反应了超像素与目标之间的重要程度，f^t(k)越大，表明该超像素属于目标区域的可能性越大。由此得到目标搜索区域所有超像素的分类标注集合

其中，sc^t(j)是根据下面公式得到的超像素属于目标或背景的类别标注:

具体实施过程中，估计每个粒子在局部外观下的置信度包括：提取每个超像素的颜色直方图作为特征向量，得到目标超像素集合和背景超像素集合；采用巴氏距离计算目标超像素集合和背景超像素集合相似性度；采用超像素的巴氏距离之和来估计粒子在局部外观下的置信度。

为了在连续的图像序列中定位出目标物体，我们需要根据一定的特征来度量目标在图像序列中的相似性，进而获得目标的观测值。颜色特征是图像中重要的底层特征之一，颜色直方图对于目标的遮挡、旋转以及尺度变化都具有比较好的鲁棒性，因此，在本节里，我们提取每个超像素的颜色直方图作为特征向量。由于RGB颜色空间各个分量有比较高的相关性，不符合人们对于颜色相似性的主观判断，因此常用HSI颜色空间的直方图，它的三个分量分别是色彩(Hue)、饱和度(Saturation)和明度(Intensity)，各个分量相关性比较小，其中H分量更符合人眼感知特性。

颜色直方图是指将图像的颜色特征空间划分为n个小的区间(bin)，统计特征值落在各个区间(bin)上的个数，这些统计数值反映了图像特征在特定空间上的概率分布，这个过程称为颜色量化。对于一副RGB彩色图像，需要预先建立从RGB空间到HSI空间之间的转换，具体转换公式如下：

其中，

在HSI颜色模型中，三个分量相对独立，对视觉效果会产生不同的贡献。对这三个分量进行非等间隔量化，分别把色度、饱和度、亮度分为8、3、3个空间，三个分量合成为一个一维特征向量后，颜色空间就被量化为72种颜色，G＝[0…71]，这是一种非均匀量化的过程。假设一个超像素的长半轴为w，短半轴为h，像素点总数有n个，则第u个区间上的直方图为h(u)可以按下面公式进行计算：

其中，bin(·)把像素点x的颜色特征映射到直方图对应的区间，δ(·)是狄拉克函数。C是归一化常量。k(·)是非负的单调不下降函数，用于控制每个像素对颜色直方图的贡献。如果k(x)＝1，表示超像素内的所有像素点都平等的统计。

在视频的第一帧，得到了目标搜索区域的超像素及其分类标注，这些超像素就分为两个集合：目标超像素集合SP_T和背景超像素集合SP_B。本实施过程中对这两个超像素集合提取颜色直方图特征，这些特征向量就分别代表了目标和背景的颜色分布统计规律。为了更准确的表示图像的颜色分布情况，设定公式(11)中的k(x)函数为一个单调下降函数，这是因为距离目标中心越近的超像素，表示目标的准确性就越大，其对直方图的贡献也应该越大。由此，k(x_i)的公式定义为：

其中，ct是超像素块m的中心位置，

把上式代入公式(11)，就可以计算出第一帧的颜色直方图，

和

分别表示目标与背景的超像素直方图特征。

具体实施过程中用一个标准特征池存放目标的外观表示，该特征池会在跟踪过程中不断更新，用于维护目标产生的外观变化，但最多只有两个元素，一个是

另一个是最新的目标状态特征

在跟踪过程中，先对当前帧(第t帧)的目标搜索区域进行超像素分割，提取每个超像素的颜色直方图

然后计算这些直方图特征与标准特征池里颜色直方图的相似度。由于直方图是一种离散化的概率密度函数，本文采用Bhattacharyya距离作为测量两个概率密度分布距离的方法，也称巴氏距离。假设两个直方图分别为h₁和h₂，具体定义如下：

其中

是巴氏系数。巴氏系数越大，表示两个直方图的巴氏距离越小，相似性越大。由于在跟踪过程中，标准特征池目标直方图特征个数会增加，只计算超像素与两个标准特征的相似性，一个是初始目标标准特征，另一个是最新加入的标准特征，这么做一方面能够获得目标在初始状态与变化状态之间的平衡，另一方面也能够避免不必要的相似性度量的计算量。

S103、对目标整体外观进行粒子采样，获取目标整体外观下的判别似然估计值；

S104、利用级联概率滤波，从目标的稀疏整体外观角度，基于判别似然估计值获取稀疏似然估计图；

S105、对目标局部外观下的置信度和目标整体外观下的稀疏似然估计图进行线性加权，得到目标状态的最优估计，确定最佳目标跟踪位置。

在实施过程中，对目标的整体和局部外观分别计算粒子权重，并利用加权线性组合来确定最佳候选粒子。在局部目标外观表示下，每个粒子都包含了若干个超像素。如果粒子所包含的超像素大多都是目标部分，那么它们的巴氏距离之和必然很小，反之亦然。因此，我们用这些超像素的巴氏距离之和来估计粒子在局部外观下的置信度：

其中，i是粒子下标，i∈[1；p]，k是第i个粒子包含的超像素个数，C_h是归一化常数，该常量使得

在整体目标外观模型下，根据稀疏分解的处理步骤，粒子的权重定义为粒子的稀疏观测似然值，计算公式如下：

其中p_i(z^var|x)是方差滤波结果，

表示第i个粒子稀疏系数与初始目标在基向量空间中的距离，

是第i个粒子的重构误差，η是控制重构误差惩罚的系数。对于第t帧的所有采样粒子，其最终的置信度由局部外观模型和整体外观模型下置信度的线性组合来表示，定义如下：

其中，α和β分别是控制权重系数。

本实施例从目标局部外观和目标整体外观的联合优化角度出发，得到粒子的局部置信度估计和整体稀疏观测估计这两种度量结果，并利用其加权线性组合来确定最佳候选粒子。图2是本发明实施例中的基于目标联合外观模型的时间跟踪的方法原理图。该方法主要分成三部分，第一部分，构建目标的局部外观表示，根据显著性计算超像素重要性图，估计每个粒子在局部外观下的置信度；第二部分，利用级联概率滤波，从目标的稀疏整体外观角度，估粒子的判别观测似然值；第三部分，对粒子估计的两个结果线性加权，得到目标状态的最优估计。这种方法将目标局部线索和目标整体特征联合起来，对后续帧的目标位置进行度量和匹配，能够得到更准确的目标跟踪，实现目标尺度自适应，有效减轻目标漂移现象。

综上，目标外观表示的角度出发，构建了基于显著性度量的超像素局部目标外观，然后将目标的局部外观与整体外观进行联合优化，在跟踪过程中，通过计算粒子在这两种外观表示下的联合权重，确定最佳目标跟踪位置。该方法兼顾了目标的底层特征信息和中层特征信息，能够实现更准确的目标跟踪，并有效减轻了目标的漂移现象。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

以上对本发明实施例所提供的基于目标联合外观模型的视觉跟踪的方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于目标联合外观模型的视觉跟踪方法，其特征在于，包括如下步骤：

构建目标局部外观表示模型，基于超像素中层特征，根据颜色、亮度及纹理对目标进行合理有效的局部区域划分；

根据显著性计算超像素重要性图，估计每个粒子在局部外观下的置信度；

对目标整体外观进行粒子采样，获取目标整体外观下的判别似然估计值；

利用级联概率滤波，从目标的稀疏整体外观角度，基于判别似然估计值获取稀疏似然估计图；

对目标局部外观下的置信度和目标整体外观下的稀疏似然估计图进行线性加权，得到目标状态的最优估计，确定最佳目标跟踪位置；

所述对目标局部外观下的置信度和目标整体外观下的稀疏似然估计图进行线性加权，得到目标状态的最优估计，包括：

对目标的整体和局部外观分别计算粒子权重，并利用加权线性组合来确定最佳候选粒子；

在局部目标外观表示下，每个粒子都包含了若干个超像素；

利用超像素的巴氏距离之和来估计粒子在局部外观下的置信度；

在目标整体外观模型下，根据稀疏分解的处理步骤，粒子的权重定义为粒子的稀疏观测似然值；

最终的置信度由局部外观模型和整体外观模型下置信度的线性组合来表示；

利用超像素的巴氏距离之和来估计粒子在局部外观下的置信度的计算公式如下：

其中，i是粒子下标，i∈[1；p]，k是第i个粒子包含的超像素个数，C_h是归一化常数，该归一化常数使得

表示目标的超像素直方图特征；

表示最新的目标状态特征；

在目标整体外观模型下，根据稀疏分解的处理步骤，粒子的权重定义为粒子的稀疏观测似然值的计算公式如下：

其中，p_i(z^var|x)是方差滤波结果；

表示第i个粒子稀疏系数与初始目标在基向量空间中的距离；

是第i个粒子的重构误差；η是控制重构误差惩罚的系数；

最终的置信度由局部外观模型和整体外观模型下置信度的线性组合来表示的线性加权公式如下：

其中，α和β分别是控制权重系数。

2.如权利要求1所述的基于目标联合外观模型的视觉跟踪方法，其特征在于，所述基于超像素中层特征，根据颜色、亮度及纹理对目标进行合理有效的局部区域划分包括：

采用融合颜色和空间位置的简单线性迭代聚类方法SLIC算法，将测试视频图像帧分割为一系列保持颜色、空间信息以及边界特性的超像素区域。

3.如权利要求2所述的基于目标联合外观模型的视觉跟踪方法，其特征在于，所述根据显著性计算超像素重要性图包括：

基于色彩直方图和全局对比度的图像视觉显著性计算方法对目标搜索区域计算每个像素的显著性值，并对超像素进行重要性划分。

4.如权利要求3所述的基于目标联合外观模型的视觉跟踪方法，其特征在于，所述估计每个粒子在局部外观下的置信度包括：

提取每个超像素的颜色直方图作为特征向量，得到目标超像素集合和背景超像素集合；

采用巴氏距离计算目标超像素集合和背景超像素集合相似性度；

采用超像素的巴氏距离之和来估计粒子在局部外观下的置信度。

Images