CN103902982B - 一种基于软分配BoF的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于软分配BoF的目标跟踪方法。本发明通过将各个patch的每一种局部特征分配到对应codebook中的多个codeword，并计算其权重得到跟踪目标和候选目标的BoF表示。然后通过BoF表示的相似度比较，选择与跟踪目标最相似的候选目标。区别于现有目标跟踪方法，本发明采用了软分配策略，提高了BoF表示的健壮性和区分度，提升了跟踪方法的精确度，减少了跟踪失败的场景，从而获得更佳的跟踪结果；其次本发明在构建codebook时，不仅在跟踪目标范围区进行patch采样，还在跟踪目标背景区进行patch采样，使codebook兼具描述性和区分性；最后本发明采用了自适应大小的圆形patch，通过在候选目标之间共享patch的权重向量，有效地节约了计算资源。

Description

一种基于软分配BoF的目标跟踪方法

技术领域

本发明涉及一种视觉目标跟踪的方法，特别涉及采用BoF表示的目标跟踪方法。

背景技术

视觉目标跟踪应用于在视频序列中解析对象的目标状态。它不仅引起了研究的关注，并且在不同应用中起到了关键作用。当前的目标跟踪技术在可控条件下，可以获得很好的跟踪结果，但在复杂条件下（如：局部遮挡、光照变化、相近背景色等），其结果的精确性和健壮性仍存在问题。

目标跟踪中最基本的问题之一是：采用哪种类型的视觉表示方法来描述跟踪目标的时空特征。一个好的视觉表示法既应具有良好的健壮性，以适应跟踪目标在不同复杂条件下任意的外观变化；又要具备良好的区分度，能在几个外观特征相近的候选跟踪目标中，精确找出实际跟踪目标，并确定其位置。根据特征类型之间的差异，目标跟踪的视觉表现法可以大致分为两类：全局特征和局部特征。全局特征抽取跟踪目标的整体视觉特征，如颜色、形状、质地等。这类方法计算开销小，且在可控条件下能提供良好的跟踪结果。但在某些复杂条件下，其性能不佳。而局部特征更注重于跟踪目标的局部信息，其结果是跟踪目标的局部特征集。由于局部信息很容易在复杂条件下保持一致，并且不同的局部信息间互不影响，因此局部特征法在复杂条件下具有极大的优势。然而相对于全局特征，局部特征需要更大的计算开销。

近年来出现的BoF（Bag of Features）表示法通过展现局部特征集，提供了一种简单有力的视觉表现法。由于其简洁性、健壮性，BoF被广泛用于包含目标跟踪在内的许多应用。其基本思路是：

1.将提取的局部特征（如，采用SIFT特征点提取方式等）进行聚类，并为每个聚类分配一个codeword，从而形成一个包含多个codeword的codebook。使得任意局部特征均能够根据其相似性，分配到codebook中的一个codeword。

2.在视频序列的当前帧中，对跟踪目标进行patch取样，并从每个patch中抽取局部特征，并将这些局部特征分配到预定义的codeword中。通过累积codeword的出现次数，完成 跟踪目标的局部特征量化。

3.在视频序列的下一帧中，通过随机抽样等方法生成多个候选目标，并采用步骤2中的方法，分别对每个候选目标进行特征量化。并根据量化结果，在候选目标中选择一个与跟踪目标之间最相似的，作为这一帧的跟踪结果。

在这种基于硬分配的BoF表示法中，每一个局部特征仅被分配到一个与它最相似的codeword。这种硬分配策略可能会产生量化误差，从而导致跟踪结果的不精确，乃至失败。其原因有多种：首先，由于局部特征的抽取范围有限，可能导致codeword之间的差异很小，从而可能将两个非常相似的特征分配到不同的codeword；其次，在选取候选目标时，如果候选目标非常相似（如，拥有相似的纹理和颜色等），简单的硬分配策略便无法区分它们之间的差异；最后，从噪声中抽取的局部特征无论与最近的codeword多么不相似，也会被硬性分配，从而影响跟踪结果。

为了解决以上问题，加权硬分配的改进策略使用到最近codeword的权重来代替出现次数，以量化局部特征。这种加权硬分配策略虽然能更加精确的描述局部特征和codeword之间的关系，但是由于每个局部特征仍然只分配到一个codeword，两个相似的局部特征如果被分配到不同的codeword中，其距离仍然会被放大。另一方面，两个不甚相似的局部特征如果被分配到了同一codeword，且权重相似，便无法对它们进行区分。

综上所述，无论是传统的借助codeword出现次数表示结果的硬分配BoF策略，还是改进后的借助权重表示结果的硬分配BoF策略，在健壮性与较少奇异性两方面均有待提高。

发明内容

本发明所要解决的问题是BoF表示下的目标跟踪方法采用硬分配策略会导致量化误差，从而造成目标跟踪的不精确甚至失败。

为解决上述问题，本发明采用的方案如下：

根据本发明的一种基于软分配BoF的目标跟踪方法，包括以下步骤：

S1：以参照帧中的跟踪目标为输入为每一种局部特征构建codebook；

S2：根据codebook和对参照帧中的跟踪目标进行patch局部特征的采样构建BoF表示，得到参照帧中跟踪目标的BoF表示；

S3：根据codebook和对待跟踪帧中的各候选目标进行patch局部特征的采样构建BoF表示， 得到待跟踪帧中各候选目标的BoF表示；

S4：通过对比待跟踪帧中各候选目标的BoF表示和参照帧中跟踪目标的BoF表示之间的相似度，选取最相似的候选目标作为跟踪结果；

其中，所述步骤S1包括以下步骤：

S11：在参照帧内对跟踪目标进行patch采样，并提取各patch的各种局部特征；

S12：采用聚类算法对各patch的每一种局部特征进行聚类；使用codeword表示所得的聚类中心；每一种局部特征得到的多个codeword组成该局部特征的codebook；

其特征在于，

所述步骤S2和S3中所述构建BoF表示包括以下步骤：

B1：对输入目标进行patch采样，并提取输入目标的各patch的各种局部特征；

B2：将输入目标的各patch的每一种局部特征分配到多个codeword；

B3：计算输入目标的各patch的每一种局部特征与各codeword的权重得到权重向量

B4：累加输入目标中包含的各patch权重向量得到输入目标在每一个局部特征上的加权和直方图并生成直方图向量作为输入目标的BoF表示。

其中，所述输入目标为参照帧中的跟踪目标或待跟踪帧中的候选目标；

所述为输入目标的第i个patch的第k个局部特征；

所述c_k,j为第k个局部特征对应codebook中的第i个codeword；

所述权重为局部特征与cordwordc_k,j的相似系数；

所述权重向量为局部特征的N_C维权重向量，其中N_C为codebook中codeword的数量；所述加权和直方图为输入目标T^t在第k个局部特征上的加权和直方图，T^t表示输入目标；其中N_P是输入目标中包含patch的数量。

所述加权和直方图向量为输入目标的N_f维加权和直方图向量，其中N_f为局部特征的数量。

进一步，根据本发明的基于软分配BoF的目标跟踪方法，所述步骤B3计算输入目标的 各patch的每一种局部特征与各codeword的权重中，采用如下公式计算：

上述公式中，表示第i个patch的第k个局部特征；c_k,j表示第k个局部特征所对应的codebook中的第j个codeword，σ为常量，为特征与codewordc_k,j之间的距离；假如局部特征未被分配到codewordc_k,j，则

进一步，根据本发明的基于软分配BoF的目标跟踪方法，所述步骤S11包括：

S111：获取参照帧内跟踪目标的形状数据；

S112：在参照帧内跟踪目标范围区和跟踪目标背景区进行patch采样，并提取各patch的各

种局部特征；跟踪目标范围区和跟踪目标背景区采样的patch数量均为N_P；

所述的形状数据包括：中心坐标、宽、高、旋转角度；所述的跟踪目标背景区为根据跟踪目标的形状数据确定的圆形范围但不包括跟踪目标范围区内的区域；跟踪目标位于该圆形范围内且位于该圆形范围的中心；所述的圆形范围的半径R^t为：

上述公式中，为参照帧内跟踪目标的宽，为参照帧内跟踪目标的高，λ_w为宽度方向上的缩放系数，λ_h高度方向的缩放系数，δ_x为中心横向偏移参数，δ_y为中心纵向偏移参数。

进一步，根据本发明的基于软分配BoF的目标跟踪方法，所述的patch形状为圆形；圆形patch的半径r^t为：

上述公式中，为跟踪结果的宽度的估算值，为跟踪结果的高度的估算值，π为圆周率，N_P为采样的patch数量。

进一步，根据本发明的基于软分配BoF的目标跟踪方法，所述步骤S3包括：

S31：根据参照帧内的跟踪目标确定待跟踪帧内的候选目标区域；

S32：在待跟踪帧内的候选目标区域内进行patch采样，并提取各patch的各种局部特征，patch采样数为

S33：根据所述步骤B2和B3计算各patch在每种局部特征下的权重向量

S34：在待跟踪帧内的候选目标区域随机设定候选目标；

S35：将步骤S32中待跟踪帧内的候选目标区域内的各patch分配至候选目标；

S36：修正候选目标内的patch数量至N_P；

其中，所述候选目标区域是以参照帧内跟踪目标的中心为中心的圆形区域，其半径R^t为：

所述步骤S32中patch采样数根据如下公式确定：

上述各公式中，N_P为每个候选目标采样的patch数，R^t为候选目标区域圆形范围的半径，r^t为采样的圆形patch的半径，为参照帧内跟踪目标的宽，为参照帧内跟踪目标的高，λ_w为宽度方向上的缩放系数，λ_h高度方向的缩放系数，δ_x为中心横向偏移参数，δ_y为中心纵向偏移参数。

根据本发明的一种机器可读介质，该可读介质上存储有指令集，当该指令集被执行时，使得该机器可执行本发明的基于软分配BoF的目标跟踪方法。

本发明的技术效果如下：

1.本发明中，在完成codebook的构建后，在计算跟踪目标和候选目标的BoF表示时，局部特征并不单一地被分配到某一codeword，而是分配到多个codeword中，并通过计算局部特征与codeword之间的距离确定其权重。通过累加各个patch的权重向量得到跟踪目标和候选目标的BoF表示。最终通过BoF表示相似度的比较确定待跟踪帧内的跟踪目标。这种局部特征的分配策略称为软分配策略。在本发明的软分配的策略下，显著提高了BoF表示的健壮性和区分度，提升了现有的目标跟踪方法的精确度，减少了跟踪失败的场景，从而获得更佳的跟踪结果。

2.本发明在构建codebook时，不仅在跟踪目标范围区进行patch采样，还在跟踪目标背景区进行patch采样，使codebook兼具描述性和区分性。

3.本发明采用了自适应大小的圆形patch，通过在候选目标之间共享patch的权重向量， 有效地节约了计算资源。

附图说明

图1是跟踪目标背景区和patch采样的示意图。

图2是候选目标和候选目标区域的示意图。

具体实施方式

下面结合说明书附图对本发明做进一步详细说明。

一、跟踪目标的初始化

本发明的输入是视频数据。最初的跟踪目标是通过手工方式标记：用矩形框在视频的前几帧中标记需要被跟踪的跟踪目标，从而获得跟踪目标的形状数据。跟踪目标的形状数据包括：中心坐标、宽度、高度等。本发明最终所要解决的问题是在后续帧中自动识别跟踪目标并加以标记。跟踪目标可能是人或其他运动物体等。

本发明所指的参照帧是指已经确定跟踪目标的视频帧。本发明所指的待跟踪帧是指需要确定跟踪目标的视频帧。由于视频数据是视频帧的序列，参照帧通常是待跟踪帧的前一帧，而待跟踪帧通常为参照帧的后一帧。为有效获取跟踪目标的特征数据，可能需要综合连续几帧内的跟踪目标，因此，这里的参照帧也可以指待跟踪帧的前几帧。由于视频数据是视频帧序列，在手工标记跟踪目标后，随着跟踪过程的进行，待跟踪帧内的跟踪目标被自动识别，识别得到的包含跟踪结果的视频帧将成为后续跟踪的参照帧。因此，随着跟踪过程的持续进行，参照帧将不断地变化，相应地，待跟踪帧也将不断地变化，直到跟踪结束或跟踪失败。

二、patch采样和局部特征的提取

patch采样和局部特征的提取由patch采样提取模块实现。patch采样提取模块用于在采样区域内进行patch采样，并提取各patch的各种局部特征。patch采样和局部特征的提取过程的输入是视频帧、采样区域以及patch的数量，输出为从各个patch提取的局部特征集合。其中，采样区域可以是跟踪目标范围区，跟踪目标背景区，还可以是待跟踪帧的候选目标区域。

本发明中，三个步骤需要进行patch采样和局部特征的提取，分别为：构建codebook步骤、构建参照帧中跟踪目标的BoF表示的步骤、构建待跟踪帧中各候选目标的BoF表示的步骤。这三个步骤分别是指发明内容中所述的步骤S1、S2和S3。三个步骤进行的patch采样和局部特征的提取的过程基本相同，它们的不同之处仅在于输入的参数数据不同。具体来说，是视频帧、采样区域以及patch的数量三个输入不同。

在步骤S1中进行patch采样和局部特征提取时，在现有技术下，往往仅对参照帧内的跟踪目标范围区进行patch采样和局部特征的提取。为提高区分度，本发明除了对参照帧内跟踪目标范围区进行patch采样和局部特征的提取之外，还对参照帧内跟踪目标背景区进行patch采样和局部特征的提取。如图1所示，矩形区为跟踪目标范围，虚线标记的圆形范围与跟踪目标范围外的区域构成跟踪目标背景区，圆形范围的中心为跟踪目标的中心，圆形范围的半径R^t可以根据如下公式确定：

上述公式中，为参照帧内跟踪目标的宽，为参照帧内跟踪目标的高，λ_w为宽度方向上的缩放系数，λ_h高度方向的缩放系数，δ_x为中心横向偏移参数，δ_y为中心纵向偏移参数。参数中，λ_w、λ_h、δ_x和δ_y均为预先设定的常数。

在步骤S1中进行patch采样和局部特征提取时，参照帧内跟踪目标范围内patch采样的数量和参照帧内跟踪目标背景区patch采样的数量均为N_P。N_P为预先设定的常数。

在步骤S2中进行patch采样和局部特征提取时，patch采样和局部特征的提取可以独立进行，也可以直接利用步骤S1中采样得到的patch局部特征数据。步骤S2中进行patch采样和局部特征提取的范围为参照帧内跟踪目标范围，采样的patch数量为N_P。

现有技术下的BoF目标跟踪方法中进行patch采样时，patch的形状往往为矩形。而本发明中则采用了圆形patch。采用圆形patch的好处是利用了圆形具有无方向性的特点，在计算候选目标的BoF表示时，圆形patch的权重向量可以在多个候选目标公共的区域共享，从而减少计算量。而现有技术下采用方形patch时，候选目标假如存在倾斜或旋转时，将无法共用，从而需要重新进行patch采样并提取局部特征。各候选目标共享patch的方法参见后续说明。

圆形patch的中心坐标在采样区域内随机产生。如图1所示，图1中的小圆为patch采样的区域。圆形patch的半径r^t可以根据下述公式确定：

上述公式中，为跟踪结果的宽度的估算值，为跟踪结果的高度的估算值，π为圆周率，N_P为采样的patch数量。各参数中N_P为预先设定的常数

跟踪结果的宽度和高度可以根据前N_R帧的信息，根据下述公式确定：

上述圆形patch半径r的计算公式在步骤S1、S2和S3中的patch采样和局部特征的提取时均适用。

patch采样后需要提取每个patch的局部特征。局部特征的提取方法包括：SIFT、SURF、Daisy等等。第i个patch的局部特征集合其中，N_f为patch的局部特征数。

三、构建codebook

本步骤为发明内容中的步骤S1。

本步骤的输入是参照帧内的跟踪目标。输出为codebook。每个局部特征对应一个codebook。codebook是codeword的集合。codeword用以表示对局部特征进行聚类得到的聚类中心。本步骤可分成两个子步骤：

S11：在参照帧内对跟踪目标进行patch采样，并提取各patch的各种局部特征；

S12：采用聚类算法对各patch的每一种局部特征进行聚类；使用codeword表示所得的聚类中心；每一种局部特征得到的多个codeword组成该局部特征的codebook；

有关步骤S11在前述的“patch采样和局部特征的提取”中已经详细描述，不再累述。

步骤S12的主要过程是聚类。聚类算法可以有很多种，比如基于层次、基于密度等等。本发明优先采用k-means聚类算法。对每一种局部特征进行k-means聚类算法进行聚类后得到N_C个聚类中心，这些聚类中心使用N_C个codeword加以表示。

四、构建BoF表示

本发明的步骤S2和S3都需要构建BoF表示，即需要对参照帧中跟踪目标构建BoF表示以及对待跟踪帧中各候选目标构建BoF表示。本步骤的输入为步骤S1中获得的codebook以及输入目标，输出为BoF表示。本发明所指的BoF表示是指输入目标在各个局部特征下对所包含patch的权重向量进行累加得到的加权和直方图。输入目标分两种情形：一种是参照帧中的跟踪目标，二是待跟踪帧中的各候选目标。主要的步骤包括：

B1：对输入目标进行patch采样，并提取输入目标的各patch的各种局部特征；

B2：将输入目标的各patch的每一种局部特征分配到多个codeword；

B3：计算输入目标的各patch的每一种局部特征与所分配的codeword的权重得 到权重向量

B4：累加输入目标中包含的各patch权重向量得到输入目标在每一个局部特征上的加权和直方图并生成直方图向量作为输入目标的BoF表示。

步骤B1是个公共处理过程，即由前述的patch采样提取模块实现的操作，输出为N_P个patch的N_f个局部特征。无论输入目标为参照帧中跟踪目标还是待跟踪帧中各候选目标，patch采样只在输入目标的范围内进行，即参照帧中跟踪目标范围内，或待跟踪帧中各候选目标范围，而且采样的patch数量均为N_P个，局部特征均为N_f个。

步骤B2是个局部特征分配过程。现有的BoF跟踪方法中，某一局部特征只分配到某一个codeword上。本发明中，一个局部特征分配到相应的分配到多个codeword上。

如分别使用SIFT、SURF和Daisy算法提取了3个局部特征（N_f=3），其对应的codebook中各有4个codeword（N_C=4），分别为(c_1,1,c_1,2,c_1,3,c_1,4)，(c_2,1,c_2,2,c_2,3,c_2,4)，(c_3,1,c_3,2,c_3,3,c_3,4)，(c_4,1,c_4,2,c_4,3,c_4,4)。以特定patch的第2个局部特征为例，在现有的BoF跟踪中，要么分配到c_2,1，要么分配到c_2,2，要么分配到c_2,3，要么分配到c_2,4。而本发明中将局部特征同时分配到2个最相似的codeword（N_A=2）。如该patch在第2个局部特征上会被同时分配到c_2,1和c_2,3。通过相同的方法，该patch在每个局部特征上，均可以被同时分配到对应codebook中的2个codeword。

需要说明的是，步骤B2的输入是codebook，输出为局部特征在各个codebook中所分配到的codeword。因此，并步骤B2不依赖于步骤B1，在构建codebook后即可进行。

步骤B3是计算局部特征与所分配codeword之间的权重，并生成权重向量的过程。

本发明中，每一个局部特征至所分配codeword的权重采用如下公式计算：

上述公式中，表示第i个patch的第k个局部特征；c_k,j表示第k个局部特征所对应的codebook中的第j个codeword，σ为常量，为局部特征与codewordc_k,j之间的向量距离；假如局部特征未被分配到codewordc_k,j，则需要说明的是，不同特征类别的codeword的常量σ为的取值可以各不相同。

继续前面的例子。以特定patch的第2个局部特征为例，该局部特征被分配到同时分配到c_2,1和c_2,3，其权重经计算分别为c_2,1(0.4)和c_2,3(0.2)。从而得到该patch在第2个局部特征下的权重向量为(0.4,0,0.2,0)。通过相同的方法，可以得到该patch在每个局部特征下的权重向量。

步骤B3的输入是步骤B1得到的各patch的各局部特征以及步骤B2得到的局部特征在各个codebook中所分配到的codeword，输出是各patch在每个局部特征下的权重向量。

步骤B4通过累加输入目标中所有patch在每个局部特特征下的权重向量得到输入目标的BoF表示。该步骤的输入是步骤B3得到的各patch的各局部特征下的权重向量以及输入目标所包含的的patch集合，输出是该输入目标的BoF表示。

首先使用下述公式计算加权和直方图：

继续前述的例子。如输入目标中包含3个patch（N_P=3），第1个patch的第2个局部特征的权重向量为(0.4,0,0.2,0)，第2个patch的第2个局部特征的权重向量为(0.2,0,0.6,0)，第3个patch的第2个局部特征的权重向量为(0,0.2,0,0.1)。通过累加这3个向量，可以得到该输入目标在第2个局部特征下的加权和直方图(0.6,0.2,0.8,0.1)。

然后，如一共有3个局部特征（N_f=3），除上述局部特征外，其他的2个局部特征，也可以通过相同的方法得到加权和直方图，如(0.4,1.2,0.5,0.8)和(0.2,0.6,0.1,0.9)。从而使用3个加权和直方图（N_f=3），作为该输入对象的BoF表示

构建BoF表示的过程由构建BoF表示的模块实现。

五、待跟踪帧内候选目标的确定

现有的BoF目标跟踪方法下，待跟踪帧内候选目标的确定非常简单。首先根据参照帧内的跟踪目标的形状数据确定一个较大的范围，然后在这个范围内通过随机生成的方法可获得一定数量的候选目标。如图2所示，虚线圆形框为根据参照帧内的跟踪目标确定的范围，虚线圆形框内的3个方框为随机生成的候选目标。根据这种方法，假设有N_T个候选目标，在对候选目标内各patch每一种局部特征进行分配，并计算的权重时，那么需要N_P×N_T 次特征抽取以及N_P×N_C×N_f×N_T次特征分配。这需要巨大的计算资源。为此本发明对上述候选目标确定的过程作了改进。如图2所示，3个候选目标有较大的区域重叠。因此，在采用圆形patch的前提下，可以考虑先确定patch，提取patch的局部特征，计算各patch在各个局部特征下的权重向量，然后根据各候选目标和patch之间的包含关系，就可以通过累加所包含patch的权重向量得到候选目标的BoF表示。这样，在各个候选目标的重叠区域内的各个patch的局部特征提取与权重向量的只需要计算一次，便可在生成候选目标的BoF表示的步骤中重复使用。该方法的具体过程如下。

首先，根据参照帧内的跟踪目标确定待跟踪帧内的候选目标区域。候选目标区域的计算方法前述与参照帧内的跟踪目标背景区的圆形范围相同。即候选目标区域为一圆形范围，该候选目标区域的中心为参照帧内跟踪目标的中心，该圆形范围的半径R^t的计算公式为：

上述公式中，为参照帧内跟踪目标的宽，为参照帧内跟踪目标的高，λ_w为宽度方向上的缩放系数，λ_h高度方向的缩放系数，δ_x为中心横向偏移参数，δ_y为中心纵向偏移参数。λ_w、λ_h、δ_x、δ_y均为预先设定的常数。

然后，在待跟踪帧内的候选目标区域内进patch采样，并提取各patch的各种局部特征。patch采样时，patch为圆形，patch的中心坐标在候选目标区域内随机产生，patch的半径r^t为：

上述公式中，为跟踪结果的宽度的估算值，为跟踪结果的高度的估算值，π为圆周率，N_P为采样的patch数量。N_P为预先设定的常数，待跟踪帧中每个候选目标采样的patch数和参照帧内跟踪目标的patch采样数相同，且均为N_P。

跟踪结果的宽度和高度可以根据前N_R帧的信息，根据下述公式确定：

待跟踪帧内的候选目标区域内patch采样的数量为。可根据如下公式确定：

上述公式中，R^t为候选目标区域圆形范围的半径，r^t为采样的圆形patch的半径。由上述公式确定的跟踪范围内的patch数量下，跟踪范围内的patch密度与前述参照帧内跟踪目 标范围内的patch密度相同。显而易见地，由于R^t>r^t，因此

得到待跟踪帧内的候选目标区域内个patch后，计算每个patch的N_f个局部特征下的权重向量。该计算由前述的构建BoF表示的模块实现。

然后在待跟踪帧内的候选目标区域内选取候选目标。选取的候选目标有很多，设为N_T个。各个候选目标的中心在候选目标区域内随机选定，其宽在的范围内随机选定，其高在的范围内随机，其旋转角度在±φ范围内随机选定。其中， 为参照帧内跟踪目标的宽，为参照帧内跟踪目标的高，λ_w为宽度方向上的缩放系数，λ_h高度方向的缩放系数，φ为旋转参数。λ_w、λ_h、φ为事先设定的常量。

再然后将前述的个patch分配到这N_T个候选目标内。分配时，假如patch的中心坐标位于候选目标范围内，则将该patch分配到该候选目标。由于，跟踪范围内的patch密度与前述参照帧内跟踪目标范围内的patch密度相同。因此每个候选目标分配到的patch数量总是在N_P个左右，可能多于N_P个，也可能少于N_P个。

由于候选目标分配到的patch数未必为N_P个，因此需要将候选目标内的patch数量至N_P。修正的方法很简单，假如多于N_P个，则该候选目标随机删除多余的patch；否则，在该候选目标的范围内随机生成新的patch加入到该候选目标，并计算这些新的patch的各局部特征下的权重向量。

然后使用步骤B4中的方法通过累加N_P个patch的N_f个局部特征的权重向量，就可以得到候选对象的BoF表示。

在本发明的这种改进的方法下，在计算候选目标的BoF表示时，只需要进行次特征抽取以及次特征分配。

六、候选目标与跟踪目标的匹配

本步骤即为前述的步骤S4。

经过前述步骤后得到参照帧内的跟踪目标的BoF表示以及待跟踪帧内各个候选目标的BoF表示。由此可以根据它们之间的对比确定最终的待跟踪帧上的跟踪结果。候选目标与跟踪目标的匹配由候选目标匹配模块实现。其输入为参照帧内跟踪目标的BoF表示与待跟踪帧上各个候选目标的BoF表示，输出为确定的待跟踪帧上的跟踪结果。

具体匹配方法如下：

计算参照帧内跟踪目标的BoF表示与待跟踪帧内第l个候选目标的BoF表示之间的距离， 该距离通过累加N_f个权重和直方图距离得到。并在N_T个候选目标中选择一个距离最小的，

作为待跟踪帧中的跟踪结果：

上述公式中，为参照帧内待跟踪目标BoF表示中的第k个加权和直方图，为跟踪帧内第l个候选目标BoF表示中的第k个加权和直方图。

本发明基于软分配BoF的目标跟踪方法的测试中，从CAVIAR数据集中选取6个视频序列：(a)ShopAssistant2cor、(b)ShopAssistant2front、(c)OneStopEnter1cor、(d)OneStopEnter1front、(e)ThreePastShop2cor、(f)WalkByShop1front，并将基于软分配BoF的目标跟踪方法（SABoF）与其他5种主流的跟踪方法（Frag、IVT、SCM、TLD、BoF）进行性能对比，得到表1和表2的结果。其中表1为中心错误率的对比数据，表2为覆盖率的对比数据。表1和表2中SABoF表示本发明的基于软分配BoF的目标跟踪方法。如表1和表2所示，在绝大多数情况下，基于软分配BoF的目标跟踪方法拥有更低的中心错误率、更高的覆盖率，其性能优于其他5种方法。

表1

表2

。

Claims (3)

1.一种基于软分配BoF的目标跟踪方法，其特征在于，包括以下步骤：

S1：以参照帧中的跟踪目标为输入为每一种局部特征构建codebook；

S2：根据codebook和对参照帧中的跟踪目标进行patch局部特征的采样构建BoF表示，得到参照帧中跟踪目标的BoF表示；

S3：根据codebook和对待跟踪帧中的各候选目标进行patch局部特征的采样构建BoF表示，得到待跟踪帧中各候选目标的BoF表示；

S4：通过对比待跟踪帧中各候选目标的BoF表示和参照帧中跟踪目标的BoF表示之间的相似度，选取最相似的候选目标作为跟踪结果；

其中，所述步骤S1包括以下步骤：

S11：在参照帧内对跟踪目标进行patch采样，并提取各patch的各种局部特征；

S12：采用聚类算法对各patch的每一种局部特征进行聚类；使用codeword表示所得的聚类中心；每一种局部特征得到的多个codeword组成该局部特征的codebook；

所述步骤S2和S3中所述构建BoF表示包括以下步骤：

B1：对输入目标进行patch采样，并提取输入目标的各patch的各种局部特征；

B2：将输入目标的各patch的每一种局部特征分配到多个codeword；

B3：计算输入目标的各patch的每一种局部特征与各codeword的权重得到权重向量

B4：累加输入目标中包含的各patch权重向量得到输入目标在每一个局部特征上的加权和直方图并生成直方图向量作为输入目标的BoF表示；

其中，所述输入目标为参照帧中的跟踪目标或待跟踪帧中的候选目标；

所述为输入目标的第i个patch的第k个局部特征；

所述c_k,j为第k个局部特征对应codebook中的第i个codeword；

所述权重为局部特征与cordwordc_k,j的相似系数；

所述权重向量为局部特征的N_C维权重向量，其中N_C为codebook中codeword的数量；所述加权和直方图为输入目标T^t在第k个局部特征上的加权和直方图，T^t表示输入目标；其中N_P是输入目标中包含patch的数量；

所述直方图向量为输入目标的N_f维加权和直方图向量，其中N_f为局部特征的数量；所述步骤S11包括：

S111：获取参照帧内跟踪目标的形状数据；

S112：在参照帧内跟踪目标范围区和跟踪目标背景区进行patch采样，并提取各patch的各种局部特征；跟踪目标范围区和跟踪目标背景区采样的patch数量均为N_P；

所述的形状数据包括：中心坐标、宽、高、旋转角度；所述的跟踪目标背景区为根据跟踪目标的形状数据确定的圆形范围但不包括跟踪目标范围区内的区域；跟踪目标位于该圆形范围内且位于该圆形范围的中心；所述的圆形范围的半径R^t为：

$R^t=max\{{\mathrm{\δ}}_x+\frac{{\mathrm{\λ}}_w{\hat{w}}^{t-1}}{2},{\mathrm{\δ}}_y+\frac{{\mathrm{\λ}}_h{\hat{h}}^{t-1}}{2}\}$

上述公式中，为参照帧内跟踪目标的宽，为参照帧内跟踪目标的高，λ_w为宽度上的缩放系数，λ_h为高度上的缩放系数，δ_x为中心横向偏移参数，δ_y为中心纵向偏移参数；所述的patch形状为圆形；圆形patch的半径r^t为：

$r^t=\sqrt{\frac{{\tilde{w}}^t{\tilde{h}}^t}{{\mathrm{\πN}}_P}};$

上述公式中，为跟踪结果宽度的估算值，为跟踪结果高度的估算值，π为圆周率，N_P为采样的patch数量。

2.如权利要求1所述的基于软分配BoF的目标跟踪方法，其特征在于，所述步骤B3计算输入目标的各patch的每一种局部特征与各codeword的权重中，采用如下公式计算：

上述公式中，σ为常量。

3.如权利要求1所述的基于软分配BoF的目标跟踪方法，其特征在于，所述步骤S3包括：

S31：根据参照帧内的跟踪目标确定待跟踪帧内的候选目标区域；

S32：在待跟踪帧内的候选目标区域内进行patch采样，并提取各patch的各种局部特征，patch采样数为

S33：根据所述步骤B2和B3计算各patch在每种局部特征下的权重向量

S34：在待跟踪帧内的候选目标区域随机设定候选目标；

S35：将步骤S32中待跟踪帧内的候选目标区域内的各patch分配至候选目标；

S36：修正候选目标内的patch数量至N_P；

其中，所述候选目标区域是以参照帧内跟踪目标的中心为中心的圆形区域，其半径R^t为：

$R^t=max\{{\mathrm{\δ}}_x+\frac{{\mathrm{\λ}}_w{\hat{w}}^{t-1}}{2},{\mathrm{\δ}}_y+\frac{{\mathrm{\λ}}_h{\hat{h}}^{t-1}}{2}\};$

所述步骤S32中patch采样数根据如下公式确定：

${\tilde{N}}_P={\left(\frac{R^t}{r^t}\right)}^2$

上述各公式中，N_P为每个候选目标采样的patch数，R^t为候选目标区域圆形范围的半径，r^t为采样的圆形patch的半径，为参照帧内跟踪目标的宽，为参照帧内跟踪目标的高，λ_w为宽度方向上的缩放系数，λ_h高度方向的缩放系数，δ_x为中心横向偏移参数，δ_y为中心纵向偏移参数。