CN108932729A - 一种最小障碍距离加权跟踪方法 - Google Patents

Abstract

本发明公开了一种最小障碍距离加权跟踪方法，在搜索窗口内进行采样产生一组候选样本；将当前帧的边界框分为不重叠的图像块并扩大为扩展边界框，提取每个图像块的特征；以边框图像作为种子节点，计算其他节点与种子节点的最小障碍距离，然后得到距离转换图；将最小障碍距离作为权重加于对应的图像块特征上，得到空间有序的加权图像块特征描述子，带有图像特征的组合权重被合并到结构化支持向量机中以执行跟踪。本发明结合图像颜色直方图特征和方向梯度直方图特征计算得到基于背景种子节点集合的距离转换图，根据图像图像块与背景节点的最小障碍距离，解决了遮挡和形变的问题，同时能够减少漂移，增强跟踪的稳定性和鲁棒性。

Description

一种最小障碍距离加权跟踪方法

技术领域

本发明涉及一种计算机视觉技术，尤其涉及的是一种最小障碍距离加权跟踪方法。

背景技术

智能视频监控系统的广泛普及，推动着计算机视觉理论研究的不断深入，而目标跟踪是计算机视觉领域中视频分析的一个重要问题，在监控、人机交互与医学成像中有着广泛的应用。一个典型的目标跟踪场景就是，在视频序列的第一帧给出待跟踪目标的位置和大小，用跟踪器在接下来的连续帧中跟踪该目标。尽管近年来很多跟踪算法的出现促进了目标跟踪的发展，但是跟踪过程中面临的很多因素，如光照变化、遮挡和快速变形等都没有得到很好解决。因此，目标跟踪仍是一个具有挑战性的任务，研发一个更加有效而鲁棒的跟踪算法具有重大意义。

基于检测的跟踪方法把目标跟踪看作二分类问题，这类跟踪方法通过训练未标记的样本来区分目标和背景从而学习一个分类器，分类器通常使用滑动窗口方法搜索来自前一帧评估周围的局部区域中最大分类分数来估计目标位置。如果训练样本被分配到错误的标签，则分类器可能被污染，错误的标签将会降低测试性能。结构化输出支持向量机采用结构化数据来减少更新分类器过程中产生的标签错误，但是该类方法使用简单的低级特征，在处理比例变化和遮挡方面效率较低。使用了颜色直方图和方向梯度直方图特征的跟踪器(SOWP:Spatially Ordered and Weighted Patch Descriptor for Visual Tracking，基于空间有序和加权图像块描述子的视觉跟踪)，将空间有序的加权图像块描述子结合到结构化输出跟踪框架中，使用权重来调节每个图像块描述子，一定程度上抑制了边界框中的背景信息。但是它定义的是八邻域的静态结构图，边权是基于低级特征距离计算的，对处理跟踪序列中存在的严重遮挡、快速变形和光照变化等问题表现较差。

现有技术不足在于：传统的目标跟踪方法，一般使用欧式距离计算两个区域的相似性。当一个目标区域和一个背景区域外观相似的情况下，他们的特征往往没有很大的差异，通过欧式距离计算它们的相似性，会导致错误的结果，比如把目标当成背景或者把背景看作目标。用于构建静态结构图的边的权重基于低级特征距离计算，采用欧式距离不能准确区分目标与背景。

发明内容

本发明所要解决的技术问题在于：目标和背景外观相似的情况下很难区分它们，提供了一种最小障碍距离加权跟踪方法。

本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

(1)输入视频序列的某一帧，设置一个搜索窗口，在搜索窗口内进行采样产生一组候选样本；

(2)将当前帧的边界框分为不重叠的图像块并扩大为扩展边界框，提取每个图像块的特征；

(3)以边框图像作为种子节点，计算其他节点与种子节点的最小障碍距离，然后得到距离转换图；

(4)将最小障碍距离作为权重加于对应的图像块特征上，得到空间有序的加权图像块特征描述子，带有图像特征的组合权重被合并到结构化支持向量机中以执行跟踪。

所述步骤(1)中，先输入视频序列的某一帧，在当前帧中设置一个搜索窗口，搜索窗口用前一帧跟踪结果目标边界框对应位置的中心为中心，半径为对初始边界框的面积求平方根，并在搜索窗口内进行采样产生一组候选样本。

所述半径为半径，其中w为初始边界框的宽，h为初始边界框的高。

所述步骤(2)包括以下步骤：

(21)根据边界框的大小计算像素点的总数，根据像素点的个数指定每个图像块的宽和高，

(22)以当前边界框的坐标分别减去图像块的宽和高，作为扩展边界框的坐标，以边界框的宽和高分别加上图像块宽和高的N倍作为扩展边界框的宽和高，将边界框扩展为扩展边界框；

(23)将边界框分成大小均等的图像块并使用RGB颜色直方图和方向梯度直方图特征的组合进行特征提取，按通道提取每个图像块的特征(每个特征维度相加)，得到当前边界框的特征图，即包含每个图像块特征的矩阵；

(24)对每一个样本，提取图像块的方向梯度直方图和RGB颜色直方图特征，根据每个图像块的特征值用障碍距离来计算它们到边框图像块的相似性。

所述步骤(21)中，按一个边界框的宽除以一个倍数所得到的最大整数作为每个图像块的宽，同理按一个边界框的高除以同样的倍数所得到的最大整数作为每个图像块的高。

所述步骤(3)包括以下步骤：

(31)在获取当前边界框的特征图之后，利用该图构建无向图，根据包含N*N个图像块的扩展边界框建立图G＝<V,E>，N为自然数，V表示图中所有图像块节点，E表示图像块节点之间的边；

(32)选取背景节点，提取图像四周的边界图像块为种子节点集合，分别选取图像上、下、左、右四边位置在扩展边界框以内和边界框以外的图像块组成种子节点集合；

对于图G＝<V,E>，任意两个图像块之间的边权定义为：

其中，π(0)表示种子节点，π(k)表示边界框中第k个节点，G(π(i))表示图G上连接种子节点到i节点的路径；路径π＝<π(0),π(1),...,π(k)>代表一个从π(0)到π(k)的序列，这个序列包含任意一个路径<π(i),π(i-1)>，π(i)与π(i-1)是相邻节点且<π(i),π(i-1)>∈E；

(33)图G在初始化状态下，种子节点的最小障碍距离被设置为0，其余节点的最小障碍距离为∞，H和L分别被设置为初始的图G；边界图像块被设置为背景种子节点，用目标到背景的距离表示目标的权重，到背景节点的最小障碍距离值越大，说明当前图像块与种子节点的相似性越小，它是目标的概率越大，反之说明是背景的概率越大；

(34)利用光栅扫描的方法迭代计算每个图像块到背景种子节点的最小障碍距离，利用最小障碍距离生成距离转换图，距离转换的代价函数表示为：

D(x)＝min{D(x),β_G(π_x∪b)}

其中，π_x代表连接x节点到种子节点的路径，b代表x的邻接节点，π_x∪b表示连接x节点到种子节点且经过b节点的路径，D(x)表示连接x节点到种子节点的一些路径的最小障碍距离路径成本,x的每个相邻节点b用于迭代地最小化x处的路径成本；

(35)距离转换图通过光栅扫描的方法迭代计算直至收敛，距离转换图迭代过程表示为：

β_G(π_b)＝max{H(b),G(x)}-min{L(b),G(x)}

其中，H和L是两个辅助图，H(b)表示路径π_b上的最高值，L(b)表示路径π_b上的最低值，H和L被用来跟踪每个节点在当前路径上的最高值和最低值；

(36)如果β_G(π_b)＜D(x)，就将D(x)更新为D(x)＝β_G(π_x∪b)，同时，更新H(x)为H(x)＝max{H(b),G(x)}，更新L(x)为L(x)＝min{L(b),G(x)}；

(37)正光栅扫描中，通过不断重复步骤(34)～(36)来更新每个节点x到种子节点的最小障碍距离D(x)，反之亦然，直至收敛并得到最终的距离转换图D。

所述步骤(4)包括以下步骤：

(41)距离转换图中每个节点的最小障碍距离作为当前节点的权重，被附加到对应节点特征上，构建加权图像块特征描述子，用公式表示为：

其中，D_t(i)表示第t帧边界框中第i个图像块的权重，f_i ^T表示第i个图像块的特征向量，表示第t帧边界框r的加权特征描述子；

(42)将加权特征描述子合并到传统的跟踪算法Struck SVM中，第一帧的加权特征描述子学习到的分类器与前一帧的跟踪结果被用于当前帧的跟踪；

(43)通过最大化分类器得分来估计当前帧中的目标边界框，通过以下公式最大化分类器得分：

其中，w₀表示第一帧的决策平面的法向量，w表示前一帧的决策平面的法向量，γ是一个平衡参数，表示第一帧与前一帧在评估当前帧目标边界框过程中各占比重的大小。

本发明相比现有技术具有以下优点：本发明利用扩展边界框的最外层节点(背景节点)作为先验知识，结合图像颜色直方图特征和方向梯度直方图特征计算得到基于背景种子节点集合的距离转换图，因为背景节点是确定的，根据图像图像块与背景节点的最小障碍距离，可以将前景目标很好的突显出来并抑制背景噪声。实验证明了本发明很好地解决了遮挡和形变的问题，同时能够减少漂移，增强跟踪的稳定性和鲁棒性。

附图说明

图1是本发明的流程示意图；

图2是本发明的最小障碍距离的光栅扫描过程图；

图3是本发明的图像块的分割图、距离转换图和跟踪结果图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例包括以下步骤：

(1)输入视频序列的某一帧，设置一个搜索窗口，在搜索窗口内进行采样产生一组候选样本；

可以先输入视频序列的某一帧，首先在当前帧中设置一个搜索窗口，搜索窗口以前一帧跟踪结果目标边界框对应位置的中心为中心，以为半径，其中w为初始边界框的宽，h为初始边界框的高，并在搜索窗口内进行采样产生一组候选样本。

(2)把当前帧的边界框分成不重叠的图像块并扩展为扩展边界框，提取每个图像块的特征；

(21)根据边界框的大小计算像素点的总数，继而根据像素点的个数指定每个图像块的宽和高，按一个边界框的宽除以8所得到的最大整数作为每个图像块的宽，同理按一个边界框的高除以8所得到的最大整数作为每个图像块的高；

(22)以当前边界框的x、y坐标分别减去图像块的宽和高作为扩展边界框的坐标，以边界框的宽和高分别加上图像块宽和高的2倍作为扩展边界框的宽和高，将边界框扩展为扩展边界框；

(23)将边界框分成大小均等的图像块并使用RGB颜色直方图和方向梯度直方图特征的组合进行特征提取，按通道提取每个图像块的特征(每个特征维度相加)，得到当前边界框的特征图，即包含每个图像块特征的矩阵；

对每一个样本，提取图像块的方向梯度直方图(HOG)和RGB颜色直方图特征，根据每个图像块的特征值用障碍距离来计算它们到边框图像块的相似性；

本实施例利用RGB颜色直方图和方向梯度直方图特征的组合进行特征提取，能够很好的描述目标的外观和结构信息，使跟踪器在处理外观变化方面较为灵活。

(3)以边框图像块作为种子节点，计算其他节点与种子节点的最小障碍距离，得到距离转换图；

(31)在获取当前边界框的特征图之后，利用该图构建无向图，根据包含10*10个图像块的扩展边界框建立图G＝<V,E>，V表示图中所有图像块节点，E表示图像块节点之间的边；

(32)选取背景节点，提取图像四周的边界图像块为种子节点集合，分别选取图像上、下、左、右四边位置在扩展边界框以内和边界框以外的图像块组成种子节点集合；

对于这样一个图G＝<V,E>，任意两个图像块之间的边权定义为：

其中，π(0)表示种子节点，π(k)表示边界框中第k个节点，G(π(i))表示图G上连接种子节点到i节点的路径；路径π＝<π(0),π(1),...,π(k)>代表一个从π(0)到π(k)的序列，这个序列包含任意一个路径<π(i),π(i-1)>(π(i)与π(i-1)是相邻节点且<π(i),π(i-1)>∈E)；

(33)图G在初始化状态下，种子节点的最小障碍距离被设置为0，其余节点的最小障碍距离为∞，H和L分别被设置为初始的图G；根据“背景线索”，边界的图像区域大部分是背景区域，一般被看作背景，所以边界图像块被设置为背景种子节点，用目标到背景的距离表示目标的权重，来更好的凸显目标，到背景节点的最小障碍距离值越大，说明当前图像块与种子节点的相似性越小，它是目标的概率越大，反之说明是背景的概率越大；

(34)利用光栅扫描的方法迭代计算每个图像块到背景种子节点的最小障碍距离，利用最小障碍距离生成距离转换图，距离转换的代价函数表示为：

D(x)＝min{D(x),β_G(π_x∪b)}

其中，π_x代表连接x节点到种子节点的路径，b代表x的邻接节点，π_x∪b表示连接x节点到种子节点且经过b节点的路径，例如：一条路径连接了b节点到种子节点，将边<x,b>附加到这条路径上构成一条新的边就记为π_x∪b；D(x)表示连接x节点到种子节点的一些路径的最小障碍距离路径成本,x的每个相邻节点b用于迭代地最小化x处的路径成本；

(35)在具体实施时，距离转换图通过光栅扫描的方法迭代计算直至收敛，距离转换图迭代过程可以表示为：

β_G(π_b)＝max{H(b),G(x)}-min{L(b),G(x)}

其中，H和L是两个辅助图，H(b)表示路径π_b上的最高值，L(b)表示路径π_b上的最低值，H和L被用来跟踪每个节点在当前路径上的最高值和最低值；

(36)如果β_G(π_b)＜D(x)，就将D(x)更新为D(x)＝β_G(π_x∪b)，同时，更新H(x)为H(x)＝max{H(b),G(x)}，更新L(x)为L(x)＝min{L(b),G(x)}；

(37)正光栅扫描中，通过不断重复步骤(34)至(36)来更新每个节点x到种子节点的最小障碍距离D(x)，反之亦然，直至收敛并得到最终的距离转换图D。

如图2所示，本实施例中最小障碍距离的光栅扫描过程图，图G是4邻域的，所以在正光栅扫描和逆光栅扫描的交替过程中，每次计算x节点的两个邻接节点，例如：正光栅扫描过程中节点b表示x节点的上邻居节点和左邻居节点，逆光栅扫描过程中节点b表示x节点的下邻居节点和右邻居节点。图中灰色图像块表示x节点，正光栅扫描过程计算的邻居节点如左上角黑色图像块所示，逆光栅扫描过程所计算的邻居节点如右下角黑色图像块所示。

(4)将权重加于对应的图像块特征上得到空间有序的加权图像块特征描述子，带有图像块特征的组合权重被合并到结构化支持向量机(SVM)中以执行跟踪。

(41)距离转换图中每个节点的最小障碍距离作为当前节点的权重，被附加到对应节点特征上，构建加权图像块特征描述子，用公式表示为：

其中，D_t(i)表示第t帧边界框中第i个图像块的权重，f_i ^T表示第i个图像块的特征向量，表示第t帧边界框r的加权特征描述子；

本实施例利用第t帧中边界框r的目标对象描述子表示结构化的样本，更好地捕获图像块之间的内在关系，通过对特征加权来优化特征表示，一定程度上保证目标边界框的置信分数高于其周围的边界框，抑制背景的影响；

(42)将加权特征描述子合并到传统的跟踪算法Struck SVM中，第一帧的加权特征描述子学习到的分类器与前一帧的跟踪结果被用于当前帧的跟踪；

(43)通过最大化分类器得分来估计当前帧中的目标边界框，通过以下公式最大化分类器得分：

其中，w₀表示第一帧的决策平面的法向量，w表示前一帧的决策平面的法向量，γ是一个平衡参数，表示第一帧与前一帧在评估当前帧目标边界框过程中各占比重的大小；

本实施例中，参数γ被设置为0.385，表明当前帧的跟踪很大程度上依赖于前一帧的跟踪结果，同时第一帧的模型也很重要，当目标出现遮挡或快速形变等问题时，第一帧的信息提供了较准确的模型，防止跟踪器漂移。

如图3所示，图3a为图像块的分割图，图3b为距离转换图，图3c为跟踪结果图，如图所示，利用最小障碍距离计算出的距离转换图，清楚的展示了每个图像块的权重，边界图像块属于背景区域，中间属于目标区域，将权重附加到对应节点特征上，能更好的表示目标并抑制背景。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种最小障碍距离加权跟踪方法，其特征在于，包括以下步骤：

(1)输入视频序列的某一帧，设置一个搜索窗口，在搜索窗口内进行采样产生一组候选样本；

(2)将当前帧的边界框分为不重叠的图像块并扩大为扩展边界框，提取每个图像块的特征；

(3)以边框图像作为种子节点，计算其他节点与种子节点的最小障碍距离，然后得到距离转换图；

(4)将最小障碍距离作为权重加于对应的图像块特征上，得到空间有序的加权图像块特征描述子，带有图像特征的组合权重被合并到结构化支持向量机中以执行跟踪。

2.根据权利要求1所述的一种最小障碍距离加权跟踪方法，其特征在于，所述步骤(1)中，先输入视频序列的某一帧，在当前帧中设置一个搜索窗口，搜索窗口用前一帧跟踪结果目标边界框对应位置的中心为中心，半径为对初始边界框的面积求平方根，并在搜索窗口内进行采样产生一组候选样本。

3.根据权利要求2所述的一种最小障碍距离加权跟踪方法，其特征在于，所述半径为半径，其中w为初始边界框的宽，h为初始边界框的高。

4.根据权利要求1所述的一种最小障碍距离加权跟踪方法，其特征在于，所述步骤(2)包括以下步骤：

(21)根据边界框的大小计算像素点的总数，根据像素点的个数指定每个图像块的宽和高；

(22)以当前边界框的坐标分别减去图像块的宽和高，作为扩展边界框的坐标，以边界框的宽和高分别加上图像块宽和高的N倍作为扩展边界框的宽和高，将边界框扩展为扩展边界框；

(23)将边界框分成大小均等的图像块并使用RGB颜色直方图和方向梯度直方图特征的组合进行特征提取，按通道提取每个图像块的特征(每个特征维度相加)，得到当前边界框的特征图，即包含每个图像块特征的矩阵；

(24)对每一个样本，提取图像块的方向梯度直方图和RGB颜色直方图特征，根据每个图像块的特征值用障碍距离来计算它们到边框图像块的相似性。

5.根据权利要求4所述的一种最小障碍距离加权跟踪方法，其特征在于，所述步骤(21)中，按一个边界框的宽除以一个倍数所得到的最大整数作为每个图像块的宽，同理按一个边界框的高除以同样的倍数所得到的最大整数作为每个图像块的高。

6.根据权利要求1所述的一种最小障碍距离加权跟踪方法，其特征在于，所述步骤(3)包括以下步骤：

(31)在获取当前边界框的特征图之后，利用该图构建无向图，根据包含N*N个图像块的扩展边界框建立图G＝<V,E>，N为自然数，V表示图中所有图像块节点，E表示图像块节点之间的边；

(32)选取背景节点，提取图像四周的边界图像块为种子节点集合，分别选取图像上、下、左、右四边位置在扩展边界框以内和边界框以外的图像块组成种子节点集合；

对于图G＝<V,E>，任意两个图像块之间的边权定义为：

其中，π(0)表示种子节点，π(k)表示边界框中第k个节点，G(π(i))表示图G上连接种子节点到i节点的路径；路径π＝<π(0),π(1),...,π(k)>代表一个从π(0)到π(k)的序列，这个序列包含任意一个路径<π(i),π(i-1)>，π(i)与π(i-1)是相邻节点且<π(i),π(i-1)>∈E；

(33)图G在初始化状态下，种子节点的最小障碍距离被设置为0，其余节点的最小障碍距离为∞，H和L分别被设置为初始的图G；边界图像块被设置为背景种子节点，用目标到背景的距离表示目标的权重，到背景节点的最小障碍距离值越大，说明当前图像块与种子节点的相似性越小，它是目标的概率越大，反之说明是背景的概率越大；

(34)利用光栅扫描的方法迭代计算每个图像块到背景种子节点的最小障碍距离，利用最小障碍距离生成距离转换图，距离转换的代价函数表示为：

D(x)＝min{D(x),β_G(π_x∪b)}

其中，π_x代表连接x节点到种子节点的路径，b代表x的邻接节点，π_x∪b表示连接x节点到种子节点且经过b节点的路径，D(x)表示连接x节点到种子节点的一些路径的最小障碍距离路径成本,x的每个相邻节点b用于迭代地最小化x处的路径成本；

(35)距离转换图通过光栅扫描的方法迭代计算直至收敛，距离转换图迭代过程表示为：

β_G(π_b)＝max{H(b),G(x)}-min{L(b),G(x)}

其中，H和L是两个辅助图，H(b)表示路径π_b上的最高值，L(b)表示路径π_b上的最低值，H和L被用来跟踪每个节点在当前路径上的最高值和最低值；

(36)如果β_G(π_b)＜D(x)，就将D(x)更新为D(x)＝β_G(π_x∪b)，同时，更新H(x)为H(x)＝max{H(b),G(x)}，更新L(x)为L(x)＝min{L(b),G(x)}；

(37)正光栅扫描中，通过不断重复步骤(34)～(36)来更新每个节点x到种子节点的最小障碍距离D(x)，反之，正光栅扫描执行同样的操作，直至收敛并得到最终的距离转换图D。

7.根据权利要求1所述的一种最小障碍距离加权跟踪方法，其特征在于，所述步骤(4)包括以下步骤：

(41)距离转换图中每个节点的最小障碍距离作为当前节点的权重，被附加到对应节点特征上，构建加权图像块特征描述子，用公式表示为：

其中，D_t(i)表示第t帧边界框中第i个图像块的权重，f_i ^T表示第i个图像块的特征向量，表示第t帧边界框r的加权特征描述子；

(42)将加权特征描述子合并到传统的跟踪算法Struck SVM中，第一帧的加权特征描述子学习到的分类器与前一帧的跟踪结果被用于当前帧的跟踪；

(43)通过最大化分类器得分来估计当前帧中的目标边界框，通过以下公式最大化分类器得分：

其中，w₀表示第一帧的决策平面的法向量，w表示前一帧的决策平面的法向量，γ是一个平衡参数，表示第一帧与前一帧在评估当前帧目标边界框过程中各占比重的大小。