CN108564598A - 一种改进的在线Boosting目标跟踪方法 - Google Patents

Abstract

本发明属于计算机视觉领域，公开了一种改进的在线Boosting目标跟踪方法，针对传统在线Boosting算法使用的Haar特征效率低的问题，本发明使用HOG特征，以提高算法的实时性；其次，针对传统Boosting算法跟踪易发生漂移的问题，借鉴TLD检测与跟踪结合的思想，本发明将离线训练的检测器整合到跟踪过程中，实现在线学习与离线学习的结合，以提高算法的鲁棒性；本发明通过使用新的特征和加入检测模块，提高了传统在线Boosting算法的实时性和鲁棒性。

Description

一种改进的在线Boosting目标跟踪方法

技术领域

本发明属于计算机视觉领域，尤其涉及一种改进的在线Boosting目标跟踪方法，以实现对运动目标的快速鲁棒性跟踪。

背景技术

运动目标跟踪是计算机视觉领域重要的研究方向之一，在机器人导航、虚拟现实、智能交通系统、视觉监控等领域具有重要的应用。Boosting是机器学习中的一个概念，由Valiant在1984年首次提出，他说明了什么是弱学习算法，什么是强学习算法，他认为“弱”的结果仅稍微高于随机假设，“强”的结果必须达到分类的要求，但他并没有提及怎样可以将弱的分类器转变为强的分类器；Schapire在1989年提出了完整的Boosting算法，说明了怎样将弱分类器提升为强分类器；Oza在2001年提出了在线Boosting算法，使得过去的离线学习方法也能训练成在线分类器；Grabner在2006年对在线Boosting做了进一步的改善，提出的在线Boosting算法具有特征选择的能力，使得在线实时目标跟踪成为可能，从而将在线学习引入到计算机视觉领域。

近几年，有许多基于在线Boosting算法的优化版本。针对传统在线Boosting算法在目标发生遮挡时，易出现跟踪漂移甚至是目标丢失的问题，提出一种结合分块的在线Boosting算法，使得被遮挡的区域只影响目标的局部区域特征，而非全局区域特征，该算法的主要问题是实时性较差，且目标模版没有更新机制，只适用目标被严重遮挡的情况；由于传统在线Boosting算法只是简单的采用固定尺寸的扫描窗口进行目标搜索，并且目标框的大小固定，当目标的尺寸变小后，原始目标周围的一部分背景特征就会被当做目标特征更新到强分类器中，最终会导致跟踪发生不可逆的漂移，同样当目标尺寸变大时，不完整的目标特征也会导致跟踪的失败。针对这个问题提出了基于粒子滤波的在线Boosting算法，将在线Boosting算法的目标分类置信度和粒子滤波的观测模型结合起来进行跟踪。该算法在目标快速或者均速运动时跟踪效果很好，但当目标发生遮挡时，跟踪易发生漂移，而且此算法采用随机生成弱分类器池，因此会产生大量分类能力很弱或者冗余的特征，影响分类性能。

发明内容

针对上述问题，本发明的目的在于提供一种改进的在线Boosting目标跟踪方法，解决传统在线Boosting算法在目标外观发生变化或目标快速运动时的跟踪漂移问题，以提高算法的实时性和鲁棒性。

为达到上述目的，本发明采用如下技术方案予以实现。

一种改进的在线Boosting目标跟踪方法，所述方法包括如下步骤：

步骤1，获取视频图像中的第一帧图像，标定所述第一帧图像的目标区域，以所述目标区域为中心，将所述目标区域扩大得到搜索区域，搜索区域大小是目标区域大小的四倍，并将所述目标区域作为正样本，将所述搜索区域的四个边角区域分别作为四个负样本；其中，所述目标区域的大小与每个边角区域的大小相同；将所述正样本和四个负样本作为训练样本，根据所述训练样本得到跟踪模块的强分类器；

步骤2，在所述视频图像中选取包含跟踪目标的Y个矩形块作为正样本，并获取不包含跟踪目标的Y个背景矩形块作为负样本，采用Adaboost算法得到离线检测模块的级联强分类器；

步骤3，将所述第一帧图像按照所述目标区域大小进行分块，计算每个矩形块与目标区域的空间重叠度，将每个矩形块与目标区域的空间重叠度按照从大到小的顺序排序，选取前X个矩形块作为在线检测模块的正样本，选取后X个矩形块作为在线检测模块的负样本；

步骤4，获取需要跟踪的当前帧图像，确定当前帧图像的初始搜索区域，当前帧图像的初始搜索区域以上一帧图像的目标区域为中心，且当前帧图像的初始搜索区域为上一帧图像的目标区域的四倍；对当前帧图像的初始搜索区域按照上一帧图像的目标区域大小进行分块，得到多个大小相同的待搜索子块；

步骤5，根据所述跟踪模块的强分类器对每个待搜索子块进行评估，得到每个待搜索子块的第一置信值，组成第一置信矩阵；确定所述第一置信矩阵中最大值对应的待搜索子块为跟踪模块输出的目标块；

步骤6，根据所述离线检测模块的级联强分类器对每个待搜索子块进行评估，得到每个待搜索子块的第二置信值；确定大于第一预设阈值的所有第二置信值对应的待搜索子块为离线检测模块输出的目标块；

步骤7，计算离线检测模块输出的每个目标块与在线检测模块中的所有样本的相对相似度，确定大于第二预设阈值的所有相对相似度对应的离线检测模块输出的目标块为在线检测模块输出的目标块；

步骤8，根据所述跟踪模块输出的目标块，以及所述在线检测模块输出的目标块，确定当前帧图像的目标区域；

步骤9，确定当前帧图像的搜索区域，当前帧图像的搜索区域以当前帧图像的目标区域为中心，且当前帧图像的搜索区域是当前帧图像的目标区域的四倍；将当前帧图像的目标区域作为正样本，将当前帧图像搜索区域的四个边角区域分别作为四个负样本，对强分类器进行更新；

步骤10，将所述当前帧图像的搜索区域按照当前帧图像的目标区域大小进行分块，计算每个矩形块与当前帧图像的目标区域的空间重叠度，将每个矩形块与当前帧图像的目标区域的空间重叠度按照从大到小的顺序排序，选取前X个矩形块添加到在线检测模块的正样本中，选取后X个矩形块添加到在线检测模块的负样本中；

步骤11，重复步骤4至步骤10，直到遍历完视频图像的每一帧图像，得到目标跟踪结果。

本发明技术方案的特点和进一步的改进为：

(1)步骤3中，每个矩形块与目标区域的空间重叠度的计算过程为：获取每个矩形块与目标区域的交集面积，获取每个矩形块与目标区域的并集面积，则每个矩形块与目标区域的空间重叠度为所述交集面积与所述并集面积的比值；

步骤3中，选取后X个矩形块作为在线检测模块的负样本，具体为选取空间重叠度小于0.2的后X个矩形块作为在线检测模块的负样本。

(2)步骤4中，对当前帧图像的初始搜索区域按照上一帧图像的目标区域大小进行分块，得到多个大小相同的待搜索子块，具体包括：分块步长包括行步长和列步长，行步长大小为：floor((1-T)×W+0.5)，列步长大小为：floor((1-T)×H+0.5)；floor(·)表示向下求整，T表示相邻两个待搜索子块之间的重合因子，w表示第一帧图像的目标区域的宽度，H表示第一帧图像的目标区域的高度。

(3)步骤5中第一置信矩阵的得到过程为：

根据强分类器对每个待搜索子块进行评估，得到每个待搜索子块的第一置信值组成第一置信矩阵，x表示任一待搜索子块。

(4)步骤7具体包括：

记在线检测模块的正样本和负样本组成的集合为Q，对于离线检测模块输出的任意一个目标块p，定义目标块p与在线检测模块中的所有样本的相对相似度R^s(p，Q)为：

其中，R⁺(p，Q)为目标块p与在线检测模块中的所有正样本的相对相似度，R^-(p，Q)为目标块p与在线检测模块中的所有负样本的相对相似度，且：

其中，为在线检测模块中的所有正样本中的任意一个正样本，为在线检测模块中的所有负样本中的任意一个负样本，表示目标块p与任意一个正样本的互相关系数，表示目标块p与任意一个负样本的互相关系数。

(5)步骤8具体包括：

(8a)若跟踪模块跟踪到目标块，且所述在线检测模块也检测到多个目标块，则将在线检测模块检测到的多个目标块进行聚类得到多个聚类后的矩形块；

(8b)分别计算所述多个聚类后的矩形块与所述跟踪模块跟踪到的目标块的空间重叠度，以及根据所述跟踪模块的强分类器对所述多个聚类后的矩形块进行评估，分别得到所述多个聚类后的矩形块的置信值；

(8c)选取聚类后的矩形块与所述跟踪模块跟踪到的目标块的空间重叠度大于预设的第一空间重叠度阈值，且聚类后的矩形块的置信值大于跟踪模块跟踪到的目标块的置信值的矩形块；

(8d)若子步骤(8c)中得到的矩形块只有一个，则将该矩形块作为当前帧图像的目标区域；

若子步骤(8c)中得到的矩形块有多个，则选取其中与所述跟踪模块跟踪到的目标块的空间重叠度大于预设的第二空间重叠度阈值的矩形块，将空间重叠度大于预设的第二空间重叠度阈值的矩形块聚类得到最终的目标矩形块，作为当前帧图像的目标区域。

(6)将在线检测模块检测到的多个目标块进行聚类得到多个聚类后的矩形块，具体为：

若在线检测模块检测到的多个目标块中的任意两个矩形块的空间重叠度大于1/2，则将所述任意两个矩形块合并为一类，否则将两个矩形块分为两类。

(7)步骤8还包括：

(8e)若跟踪模块没有跟踪到目标块，且所述在线检测模块检测到多个目标块，则将在线检测模块检测到的多个目标块进行聚类得到聚类后的矩形块；

若所述聚类后的矩形块只有一个，则将该矩形块作为当前帧图像的目标区域；

(8f)若所述聚类后的矩形块有多个，则分别计算多个聚类后的矩形块与上一帧图像的目标区域的空间重叠度，选取与上一帧图像的目标区域的空间重叠度大于预设的第三空间重叠度阈值的矩形块；

若子步骤(8f)得到的矩形块只有一个，则将该矩形块作为当前帧图像的目标区域；若子步骤(8f)得到的矩形块有多个，则选取其中与所述跟踪模块跟踪到的目标块的空间重叠度大于预设的第二空间重叠度阈值的矩形块，将空间重叠度大于预设的第二空间重叠度阈值的矩形块聚类得到最终的目标矩形块，作为当前帧图像的目标区域。

(8)步骤8还包括：

若跟踪模块跟踪到目标块，且所述在线检测模块没有检测到目标块，则将所述跟踪模块跟踪到的目标块作为当前帧图像的目标区域。

本发明技术方案针对传统在线Boosting算法使用的Haar特征效率低的问题，本发明使用HOG特征，以提高算法的实时性；其次，针对传统Boosting算法跟踪易发生漂移的问题，借鉴TLD检测与跟踪结合的思想，本发明将离线训练的检测器整合到跟踪过程中，实现在线学习与离线学习的结合，以提高算法的鲁棒性；本发明通过使用新的特征和加入检测模块，提高了传统在线Boosting算法的实时性和鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的离线训练基于HOG特征的Adaboost检测器的流程图；

图2为本发明实施例提供的根据跟踪模块的跟踪结果和检测模块的检测结果确定目标区域的过程示意图；

图3为本发明技术方案与传统在线Boosting算法的目标跟踪效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了使本发明的目的、技术方案和优点更加清晰，下面结合具体的实施步骤，对本发明做进一步的说明。为了方便描述本发明的内容，首先对一些概念进行说明。

1、HOG特征：即梯度方向直方图特征，是一种在计算机视觉和图像处理中用来进行物体检测和跟踪的特征描述子。HOG特征通过计算和统计图片帧局部区域的梯度方向直方图来构成特征。其特征提取的过程如下：

(1)灰度化输入图片帧；

(2)采用Gamma校正法对输入图片帧进行归一化。目的是降低图片帧局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰(其中Gamma校正公式：I′(x，y)＝I(x，y)^gamma其中gamma取1/2，表示对图片帧I取指数值gamma)；

(3)计算图片帧中每个像素点的梯度(包括大小和方向)，主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。将图片帧分别和梯度算子[-1，0，1]和[1，0，-1]进行卷积，得到该图片帧在水平方向和垂直方向的梯度，通过这两个梯度获得图片帧中每一个像素点的梯度大小和梯度方向；

(4)将图片帧划分成若干个cell。一幅图片帧可以分为若干个block，每个block是由若干个cell构成，最终以cell为单位进行梯度直方图的统计。每个像素点的梯度方向角范围为0°～180°，如果一个像素的梯度方向大于180°，那么它最后的梯度方向角为θ-180°，将最后计算得出的梯度方向划分为9个bin，将cell中的每个像素点的梯度方向按照划分的角度范围映射到直方图中，最后每个cell获得一个9维的特征向量；

(5)将每4个cell组成一个block，一个block内所有cell的特征向量串联起来便得到该block的HOG特征向量。

(6)将图片帧内的所有block的HOG特征向量串联起来就可以得到该图片帧的HOG特征向量了。这个就是最终的可供分类使用的特征向量。

2、弱分类器(h^weak)：弱分类器仅比随机猜测好一点(对于一个二分类问题，错误率必须小于50％)，其对应一个HOG特征并通过定义的学习算法获得。HOG特征是一个36维的特征向量，因此无法直接将一个HOG特征作为一个弱分类器。本发明中每个HOG特征有4个cell，每个cell对应9个bin，每个bin都是一维特征向量，即为一个“特征”，也就是一个弱分类器，这样每个cell中就会有9个弱分类器。HOG弱分类器的构造公式如下：

x代表输入图像；对于第k个cell，Hist_k，i(x)表示在该cell中直方图第i个bin的值；θ_i表示对应于第i个特征的决策阈值；p_i＝±1决定不等式的方向；对于每个特征Hist_k，i(x)，训练一个弱分类器h_k，i的过程就是找到阈值参数θ_i的过程。

3、选择器(h^sel)：选择器是从弱分类器集合中选择分类错误率最小的弱分类器(m⁺＝arg min_mε_m，其中ε_m为每个弱分类的累积错误率： 为第m个弱分类器的累积分类正确样本权值，为第m个弱分类器的累积分类错误样本权值)。

4、强分类器(h^strong)：是由N个选择器按照一定的投票权重线性组合形成的，即(其中的值可以被理解为这个强分类器的置信程度)。

5、在线模型

在线模型是表示到目前为止已经得到的表示目标和背景的数据结构，它是正负样本矩形块的集合其中，表示第一个加入到在线模型中的目标矩形块，表示最后加入到在线模型中的目标矩形块。表示第一个加入到在线模型中的背景矩形块，表示最后加入到在线模型中的背景矩形块，m和n分别表示模型中正负样本矩形块的个数。

模型中正负样本矩形块的选择，是通过计算当前帧搜索区域中的矩形块与跟踪到的目标矩形块的空间重叠度来确定的。空间重叠度最大的10个矩形块将被作为正样本加入模型，空间重叠度最小的10个矩形块被作为负样本加入模型。

6、最近邻检测器

最近邻检测器是在线检测模块的主要构成部分，它将计算离线检测模块检测到的矩形块和在线模型的相对相似度，然后与给定的阈值相比较。如果离线检测模块检测到的一个矩形块与在线模型中的矩形块的相对相似度大于给定阈值，即R^s(p，Q)＞θ_N，就认为该矩形块通过了最近邻检测器，是检测模块最终检测到的目标矩形块。其中，给定任意一个矩形块p和在线模型Q，我们定义其相对相似度为：

其中，R⁺(p，Q)为正样本最近邻相似度，R-(p，Q)为负样本最近邻相似度

其中，NCC为归一化相关系数，两个矩形块p₁，p₂的互相关系数定义为：

其中，μ₁，μ₂和σ₁，σ₂分别为矩形块p₁和p₂的均值和方差，n₁为矩形块中像素点的总个数，p₁(x)表示矩形块中第x个像素点处的像素灰度值。

本发明技术方案主要包括跟踪模块、检测模块、综合模块以及在线学习更新模块。跟踪模块使用的跟踪算法是基于HOG特征的在线Boosting算法。检测模块包括离线检测模块和在线检测模块，离线检测模块使用的是离线训练的基于HOG特征的Adaboost检测器，在线检测模块包括在线模型和最近邻分类器。

下边结合具体的实现步骤对各个模块进行说明：

一、初始化阶段

(1)跟踪模块初始化

主要是利用第一帧图片训练强分类器，训练过程如下：

获取视频图像中的第一帧图像，标定所述第一帧图像的目标区域，以所述目标区域为中心，将所述目标区域扩大得到搜索区域，搜索区域大小是目标区域大小的四倍，并将所述目标区域作为正样本，将所述搜索区域的四个边角区域分别作为四个负样本；其中，所述目标区域的大小与每个边角区域的大小相同；将所述正样本和四个负样本作为训练样本，根据所述训练样本得到强分类器。具体过程如下：

(1a)记训练样本集合S＝{(x_i，y_i)|x_i∈X，y_i∈Y，i＝1，2，…5}，X表示由一个正样本和四个负样本组成的训练样本空间，x_i表示训练样本空间中的第i个训练样本，Y表示样本类别标签，且Y＝{-1，1}，y_i表示训练样本空间中的第i个训练样本的样本类别标签；样本类别标签为1表示该训练样本为正样本，样本类别标签为-1表示该训练样本为负样本；

设置M个弱分类器，其构造公式在上文中给出。记其中第m个弱分类器为m＝1，...，M；M表示弱分类器的总个数；

i的初值为1，m的初值为1；设置样本重要性权重λ＝1；

(1b)获取第i个训练样本，对第m个弱分类器的参数进行更新：

当第m个弱分类器对第i个训练样本的分类结果正确时，令参数的值累加样本重要性权重λ的值，作为第m个弱分类器新的参数否则，令参数的值累加样本重要性权重λ的值，作为第m个弱分类器新的参数

其中，表示第m个弱分类器的累积分类正确样本权值，表示第m个弱分类器的累积分类错误样本权值；

(1c)令i的值加1，重复执行子步骤(1b)，直到i的值大于5；得到第m个弱分类器的最终参数

(1d)令i的值置为1，m的值加1，重复执行子步骤(1b)至(1c)，直到m的值大于M，得到M个弱分类器的最终参数；

(1e)计算第m个弱分类器的累积错误率令m分别取1，...，M，分别得到M个弱分类器的累积错误率；

(1f)获取累积错误率最小的一个弱分类器作为第n个选择器n的初值为1，n＝1，...，N；N表示选择器的总个数；

令i的值置为1；

(1g)获取第i个训练样本，采用第n个选择器对样本重要性权重λ的值进行更新：

当第n个选择器对第i个训练样本的分类结果正确时，令样本重要性权重λ的值乘以1/(2×(1-ε_n))，作为新的样本重要性权重λ，否则，令样本重要性权重λ的值乘以1/(2×ε_n)，作为新的样本重要性权重λ；其中，ε_n表示第n个选择器对应的弱分类器的累积错误率；

(1h)令i的值加1，重复执行子步骤(1g)，直到i的值大于5；得到最终的新的样本重要性权重λ的值；

(1i)将i的值置为1，m的值置为1，且令n的值加1，采用最终的新的样本重要性权重λ，重复执行子步骤(1b)至子步骤(1h)，直n的值大于N，得到N个选择器；

(1j)计算第n个选择器对应的投票权重令n的值依次取1，...，N，分别得到N个选择器对应的投票权重；ln(·)表示对数函数；

(1k)将N个选择器按照对应的投票权重进行线性组合，得到强分类器其中，sign()表示符号函数。

(2)检测模块中的离线检测模块初始化

离线检测模块是基于HOG特征的Adaboost检测器。其训练过程包括正负样本的准备、HOG特征提取、弱分类器的构造，最后利用Adaboost算法就可以得到强分类器和级联强分类器，训练流程图如附图1。HOG特征提取和弱分类器的构造在上文中已给出，下面就如何利用Adaboost算法得到强分类器和级联强分类器进行详细的介绍。

正负样本的准备：在测试任意一个视频序列之前，从序列中选择一部分包含要跟踪目标的图片帧作为正样本，然后拍摄一些与测试视频背景相似但不包含要跟踪的目标的图片作为负样本。

Adaboost算法运用了集成学习的思想，针对同一个训练集训练出不同的弱分类器，然后把这些弱分类器按照一定的投票权重组合起来，构成一个最终的强分类器，该强分类器由m₃个弱分类器组成。具体训练过程如下：

(2a)给定弱学习算法和训练样本集S₃＝{(x₁，y₁)，...，(x_m′，y_m′)，(x_m′+1，y_m′+1)，...，(x_n，y_n)}，其中，x_i代表一个图片帧样本，当1≤i≤m′时，y_i＝1，代表这个样本为正样本，即含要跟踪目标的样本，当m′＜i≤n时，y_i＝-1，代表这个样本为负样本，即不含要跟踪目标的样本，m′和n-m′分别为正负样本的总个数；

(2b)初始化各个样本的重要性权重：

(2c)令t的初始值为1，将样本重要性权重进行归一化：

(2d)对于第k个特征，训练一个弱分类器并计算该弱分类器在训练样本集S₃中的分类错误率：

其中，k＝1…n₂，n₂为图片帧中HOG特征的总维数；

(2e)选择所有的弱分类器中有最小分类错误率的弱分类器

ε_t＝minε_k

并根据选出的弱分类器对所有的样本重要性权重进行更新：

(2f)令t加1，若t≤m₃，重复步骤(4)～(5)，得到包含若干个弱分类器的集合；

(2g)将弱分类器集合中的弱分类器按照相应的投票权重组合，得到一个强分类器：

(2h)利用不包含要跟踪目标的样本验证上述强分类器是否满足误检率的要求，若没有达到，就重复步骤(2d)～(2g)，否则就剔除被正判的不含跟踪目标的样本并补充，然后再判断强分类器的个数是否达到设置的个数，若没有达到就重复步骤(2a)～(2g)，否则就将多个强分类器级联成一个多层的分类器。

(3)检测模块中的在线检测模块的初始化

(3a)将第一帧图片的搜索区域进行分块，分成与目标块同等大小的若干块；

(3b)计算每个矩形块与被跟踪目标矩形块的空间重叠度(这里的空间重叠度用的是两个矩形块的交集与并集的比值，下文同)，找到空间重叠度最大的矩形块，标记为Z；

(3c)选取和矩形块Z空间重叠度最大的10个矩形块视为可能的目标矩形块，标记为正样本，将空间重叠度小于0.2的矩形块视为可能的背景矩形块，从中选择空间重叠度最小的10个矩形块标记为负样本；

将产生的正负样本加入到在线模型中的矩形块集合中。

二、跟踪阶段

利用基于HOG特征的在线Boosting算法，并结合基于HOG特征的AdaBoost检测器进行组合跟踪，弥补传统在线Boosting算法在目标遮挡和目标快速运动时的不足。

(1)跟踪模块

对于跟踪器，首先对当前跟踪的某一帧图像求积分图像，然后对图片帧的搜索区域分块，分成与第一帧手工标定的目标矩形块同等大小的若干块。步长按下式计算：

行步长：floor((1-T)*W+0.5)

列步长：floor((1-T)*H+0.5)

其中T为块与块之间的重合因子，本算法为0.99，W和H分别为目标块的宽和高(每一个矩形块类成员变量记录矩形的左下角顶点二维坐标、中心点二维坐标、高度、宽度)。

当新的一帧到达时，对于跟踪器，利用训练好的强分类器对每一个块进行评估，得到每一块的置信值，最后得到置信矩阵。在置信矩阵中寻找置信值最大的块即为跟踪模块输出的目标块。

(2)检测模块

(2a)将分好块的当前帧图片中的每个矩形块输入到离线训练的检测器中，输出所有可能含有目标的矩形块；(基于HOG特征的AdaBoost检测器对于每个输入的矩形块都会返回一个置信值，当置信值大于一定阈值的时候就认为是含有目标的矩形块。)

(2b)将输出的可能含有目标的矩形块输入到第二个检测器，即在线检测器，最近邻分类器会计算每个矩形块与在线模型中的矩形块的相对相似度R^s；

(2c)将相似度大于最近邻分类器阈值θ的矩形块保存到检测器的输出结果中。

(3)综合模块

参照图2，为本发明实施例提供的根据跟踪模块的跟踪结果和检测模块的检测结果，确定目标区域的具体过程示意图：

(3a)跟踪模块如果跟踪成功并且检测器也检测成功，检测器检测出多个可能含有目标的矩形块，就将检测器检测到的矩形块进行聚类(聚类过程：首先，检测到的矩形块中任意两个矩形块的空间重叠度如果大于50％则合并为一类，如果小50％则分为其他类；然后，将属于同一类的各个矩形块合并为一个聚类后的矩形块)，将聚类后的矩形块和跟踪器跟踪到的矩形块进行空间重叠度和置信值的比较，找出那些与跟踪器跟踪到的矩形块的空间重叠度很大且置信值比跟踪器跟踪到的矩形块的置信值大的矩形块，如果这样的矩形块只有一个，那么就用这个矩形块去更新跟踪器，并作为最终的跟踪结果，如果这样的矩形块不止一个，那么就在这些矩形块中找出与跟踪器跟踪到的矩形块空间重叠度大于一定阈值η的所有矩形块，如果有这样的矩形块，那么就用这些矩形块和跟踪器跟踪到的矩形块共同确定最终的目标块；

(3b)跟踪模块如果跟踪失败即没有目标块的输出，但是检测模块检测成功即检测到一些矩形块中含有跟踪目标，将检测器检测到的矩形块进行聚类，如果聚类后的矩形块只有一个，那么就用聚类后的矩形块作为最终的目标块；如果聚类后的矩形块不止一个，那么就在聚类后的矩形块中找出与上一帧中的目标块的空间重叠度大于一定阈值的所有矩形块，如果有这样的矩形块，那么就用这些矩形块来确定出最终的目标块，如果没有，那么检测失败，导致最终的跟踪失败；

(3c)如果检测器没有输出，而跟踪器跟踪到了目标块，就把跟踪到的目标块作为最终的目标块；

(3d)如果跟踪器和检测器都没有目标块输出，那么跟踪失败。

(4)在线学习更新模块

跟踪模块更新：为了适应目标对象外观可能性的变化，利用当前帧更新跟踪器。将目标区域作为正样本，将定义的搜索区域(目标区域扩大2倍)的四个边角块作为负样本，按照强分类器的训练过程更新强分类器。

检测模块更新(每一帧跟踪到目标矩形块后，都要用当前帧图片进行检测模块的更新)：主要是通过更新在线模型和最近邻分类器来修正检测器

(4a)计算当前帧搜索区域的每个块和跟踪到的目标块的空间重叠度；

(4b)从中选择空间重叠度最大的10个矩形块作为正样本和空间重叠度小于0.2的矩形块作为负样本；

(4c)利用新产生的正负样本更新在线模型和最近邻分类器(将产生的正负样本加入到在线模型中的矩形块集合中。)

本发明技术方案在MATLAB 2014a中实现，部分参数设置如下：选择器的个数N＝50，弱分类器的个数M＝100，块与块之间的重合因子T＝0.99，最近邻分类器阈值θ＝0.5，阈值η＝0.9。两种方法(本发明方法和传统在线Boosting算法，实线框是本发明方法的跟踪效果，带有黑色实点的虚线框为传统在线Boosting算法的跟踪效果)在第一帧均初始化为相同的目标框，跟踪效果如图3所示。第一个视频序列跟踪百米赛跑中的一个参赛者(多个相似目标，目标快速运动)，本发明方法能正确的跟踪目标，但在26帧以后，传统在线Boosting算法跟踪发生偏移，目标丢失；第二个视频序列跟踪一个均速晨跑的女性(目标做均速运动，有相似目标，且部分序列被全部遮挡)，可以看出本发明方法明显比传统在线Boosting算法效果好，特别是39帧以后，跟踪目标短暂的被全部遮挡后，传统在线Boosting算法就发生跟踪漂移了；第三个序列跟踪一个在马路上快速行驶的汽车(目标模糊，目标快速运动，且部分序列被全部遮挡)，本发明方法也能进行鲁棒性的跟踪，从而验证了本发明的可行性。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种改进的在线Boosting目标跟踪方法，其特征在于，所述方法包括如下步骤：

步骤1，获取视频图像中的第一帧图像，标定所述第一帧图像的目标区域，以所述目标区域为中心，将所述目标区域扩大得到搜索区域，搜索区域大小是目标区域大小的四倍，并将所述目标区域作为正样本，将所述搜索区域的四个边角区域分别作为四个负样本；其中，所述目标区域的大小与每个边角区域的大小相同；将所述正样本和四个负样本作为训练样本，根据所述训练样本得到跟踪模块的强分类器；

步骤2，在所述视频图像中选取包含跟踪目标的Y个矩形块分别作为正样本，并选取不包含跟踪目标的Y个背景矩形块分别作为负样本，采用Adaboost算法得到离线检测模块的级联强分类器；

步骤3，将所述第一帧图像按照所述目标区域大小进行分块，计算每个矩形块与目标区域的空间重叠度，将每个矩形块与目标区域的空间重叠度按照从大到小的顺序排序，选取前X个矩形块作为在线检测模块的正样本，选取后X个矩形块作为在线检测模块的负样本；

步骤4，获取需要跟踪的当前帧图像，确定当前帧图像的初始搜索区域，当前帧图像的初始搜索区域以上一帧图像的目标区域为中心，且当前帧图像的初始搜索区域为上一帧图像的目标区域的四倍；对当前帧图像的初始搜索区域按照上一帧图像的目标区域大小进行分块，得到多个大小相同的待搜索子块；

步骤5，根据所述跟踪模块的强分类器对每个待搜索子块进行评估，得到每个待搜索子块的第一置信值，组成第一置信矩阵；确定所述第一置信矩阵中最大值对应的待搜索子块为跟踪模块输出的目标块；

步骤6，根据所述离线检测模块的级联强分类器对每个待搜索子块进行评估，得到每个待搜索子块的第二置信值；确定大于第一预设阈值的所有第二置信值对应的待搜索子块为离线检测模块输出的目标块；

步骤7，计算离线检测模块输出的每个目标块与在线检测模块中的所有样本的相对相似度，确定大于第二预设阈值的所有相对相似度对应的离线检测模块输出的目标块为在线检测模块输出的目标块；

步骤8，根据所述跟踪模块输出的目标块，以及所述在线检测模块输出的目标块，确定当前帧图像的目标区域；

步骤9，确定当前帧图像的搜索区域，当前帧图像的搜索区域以当前帧图像的目标区域为中心，且当前帧图像的搜索区域是当前帧图像的目标区域的四倍；将当前帧图像的目标区域作为正样本，将当前帧图像搜索区域的四个边角区域分别作为四个负样本，对强分类器进行更新；

步骤10，将所述当前帧图像的搜索区域按照当前帧图像的目标区域大小进行分块，计算每个矩形块与当前帧图像的目标区域的空间重叠度，将每个矩形块与当前帧图像的目标区域的空间重叠度按照从大到小的顺序排序，选取前X个矩形块添加到在线检测模块的正样本中，选取后X个矩形块添加到在线检测模块的负样本中；

步骤11，重复步骤4至步骤10，直到遍历完视频图像的每一帧图像，得到目标跟踪结果。

2.根据权利要求1所述的一种改进的在线Boosting目标跟踪方法，其特征在于，步骤3中，每个矩形块与目标区域的空间重叠度的计算过程为：获取每个矩形块与目标区域的交集面积，获取每个矩形块与目标区域的并集面积，则每个矩形块与目标区域的空间重叠度为所述交集面积与所述并集面积的比值；

步骤3中，选取后X个矩形块作为在线检测模块的负样本，具体为选取空间重叠度小于0.2的后X个矩形块作为在线检测模块的负样本。

3.根据权利要求1所述的一种改进的在线Boosting目标跟踪方法，其特征在于，步骤4中，对当前帧图像的初始搜索区域按照上一帧图像的目标区域大小进行分块，得到多个大小相同的待搜索子块，具体包括：分块步长包括行步长和列步长，行步长大小为：

floor((1-T)×W+0.5)，列步长大小为：floor((1-T)×H+0.5)；floor(·)表示向下求整，T表示相邻两个待搜索子块之间的重合因子，W表示第一帧图像的目标区域的宽度，H表示第一帧图像的目标区域的高度。

4.根据权利要求1所述的一种改进的在线Boosting目标跟踪方法，其特征在于，步骤5中第一置信矩阵的得到过程为：

根据强分类器对每个待搜索子块进行评估，得到每个待搜索子块的第一置信值组成第一置信矩阵，x表示任一待搜索子块，所述强分类器为将N个选择器按照对应的投票权重进行线性组合得到的，N表示选择器的总个数，α_n表示第n个选择器对应的投票权重，表示第n个选择器。

5.根据权利要求1所述的一种改进的在线Boosting目标跟踪方法，其特征在于，步骤7具体包括：

记在线检测模块的正样本和负样本组成的集合为Q，对于离线检测模块输出的任意一个目标块p，定义目标块p与在线检测模块中的所有样本的相对相似度R^s(p,Q)为：

其中，R⁺(p,Q)为目标块p与在线检测模块中的所有正样本的相对相似度，R^-(p,Q)为目标块p与在线检测模块中的所有负样本的相对相似度，且：

其中，为在线检测模块中的所有正样本中的任意一个正样本，为在线检测模块中的所有负样本中的任意一个负样本，表示目标块p与任意一个正样本的互相关系数，表示目标块p与任意一个负样本的互相关系数。

6.根据权利要求1所述的一种改进的在线Boosting目标跟踪方法，其特征在于，步骤8具体包括：

(8a)若跟踪模块跟踪到目标块，且所述在线检测模块也检测到多个目标块，则将在线检测模块检测到的多个目标块进行聚类得到多个聚类后的矩形块；

(8b)分别计算所述多个聚类后的矩形块与所述跟踪模块跟踪到的目标块的空间重叠度，以及根据所述跟踪模块的强分类器对所述多个聚类后的矩形块进行评估，分别得到所述多个聚类后的矩形块的置信值；

(8c)选取聚类后的矩形块与所述跟踪模块跟踪到的目标块的空间重叠度大于预设的第一空间重叠度阈值，且聚类后的矩形块的置信值大于跟踪模块跟踪到的目标块的置信值的矩形块；

(8d)若子步骤(8c)中得到的矩形块只有一个，则将该矩形块作为当前帧图像的目标区域；

若子步骤(8c)中得到的矩形块有多个，则选取其中与所述跟踪模块跟踪到的目标块的空间重叠度大于预设的第二空间重叠度阈值的矩形块，将空间重叠度大于预设的第二空间重叠度阈值的矩形块聚类得到最终的目标矩形块，作为当前帧图像的目标区域。

7.根据权利要求6所述的一种改进的在线Boosting目标跟踪方法，其特征在于，将在线检测模块检测到的多个目标块进行聚类得到多个聚类后的矩形块，具体为：

若在线检测模块检测到的多个目标块中的任意两个矩形块的空间重叠度大于1/2，则将所述任意两个矩形块合并为一类；否则将两个矩形块分为两类。

8.根据权利要求1所述的一种改进的在线Boosting目标跟踪方法，其特征在于，步骤8还包括：

(8e)若跟踪模块没有跟踪到目标块，且所述在线检测模块检测到多个目标块，则将在线检测模块检测到的多个目标块进行聚类得到聚类后的矩形块；

若所述聚类后的矩形块只有一个，则将该矩形块作为当前帧图像的目标区域；

(8f)若所述聚类后的矩形块有多个，则分别计算多个聚类后的矩形块与上一帧图像的目标区域的空间重叠度，选取与上一帧图像的目标区域的空间重叠度大于预设的第三空间重叠度阈值的矩形块；

若子步骤(8f)得到的矩形块只有一个，则将该矩形块作为当前帧图像的目标区域；若子步骤(8f)得到的矩形块有多个，则选取其中与所述跟踪模块跟踪到的目标块的空间重叠度大于预设的第二空间重叠度阈值的矩形块，将空间重叠度大于预设的第二空间重叠度阈值的矩形块聚类得到最终的目标矩形块，作为当前帧图像的目标区域。

9.根据权利要求1所述的一种改进的在线Boosting目标跟踪方法，其特征在于，步骤8还包括：

若跟踪模块跟踪到目标块，且所述在线检测模块没有检测到目标块，则将所述跟踪模块跟踪到的目标块作为当前帧图像的目标区域。