CN103617433A - 基于简化直推式学习法的在线目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于简化直推式学习法的在线目标跟踪方法，用于解决现有在线目标跟踪方法应用受局限的技术问题。技术方案是使用一个矩形框表示目标，并在目标周围提取训练样本，提取样本的HOG特征作为目标表示，得到初始的目标检测器。在下一帧图像中，生成候选目标样本并提取HOG特征。分类器在每一帧图像上单独训练。给定一个分类器的最大空间尺度，如果分类器的大小没有超过最大空间尺度，则直接将当前训练结果加入到分类器集合中，然后将训练好的当前结果加入到分类器集合中。本发明通过图像的空间结构约束，生成准确的训练样本标签，提高了分类器的性能。此外，在每帧图像上单独训练分类器，与背景技术相比较，应用范围更广。

Description

基于简化直推式学习法的在线目标跟踪方法

技术领域

本发明涉及一种在线目标跟踪方法，特别是涉及一种基于简化直推式学习法的在线目标跟踪方法。

背景技术

目标跟踪是计算机视觉中非常重要的研究方向，其应用领域包括视频监控，人机交互，车辆自主导航等。然而，在实际应用中，有时事先不知道需要跟踪的目标类型，缺少目标的先验信息，并且目标外观及运动模式变化过程不可预测，因此很难实现精确的目标跟踪。

在缺少先验信息的情况下，基于先检测后跟踪的半监督学习方法，是最流行的目标跟踪方法之一，并且取得了很好的效果。Grabner等人提出了在线Boosting与特征选择的目标跟踪方法，可以有效的避免跟踪过程中的漂移现象，但不能适应目标外观的较大变化。MIL方法在一幅图像目标周围邻近区域，将多个样本认定为正样本，使用多个正样本进行分类器训练，提高了目标检测的成功率。但是在分类器的更新过程，很难得到准确的训练样本，分类器的性能在跟踪过程中不断下降。

为了得到更准确的训练样本，实现长时跟踪。Kalal等人提出了P-N学习的在线目标跟踪方法。该方法利用空间约束，将距离目标较近的样本认定为正样本，远离目标的区域认定为负样本；此外，该方法认为目标在相邻两帧的位置变化是连续的，使用光流计算的运动信息抑制负样本。Steven等将self-paced学习方法应用到目标跟踪过程中，根据关键帧学习分类器，可以处理长时间的目标遮挡，出视场等情况。

近年，结构化SVM在目标跟踪中有着越来越多的应用，Hare等通过给训练样本分配不同的权值，提出的Struck算法得到了更精确的目标位置。Zhang等利用图像中的结构约束与目标之间的关联约束，实现了多目标跟踪算法。

此外，无标签的样本对于分类器的学习有非常重要的作用，基于直接式SVM的机器学习方法，利用无标签的数据，得到了更为精确的分类器训练结果。

发明内容

为了克服现有在线目标跟踪方法应用受局限的不足，本发明提供一种基于简化直推式学习法的在线目标跟踪方法。该方法使用一个矩形框表示目标，并在目标周围提取训练样本。距离目标较近的样本认定为正样本，较远的认定为负样本。提取样本的HOG特征，将其作为目标表示，然后利用LibSVM训练分类器，得到初始的目标检测器。在下一帧图像中，生成候选目标样本并提取HOG特征。利用利用已训练好的分类器评价各样本，并将局部最大值作为目标位置输出。分类器在每一帧图像上单独训练。若候选目标样本的评价结果为正样本，则将距离目标较近的样本认定为正样本，距离较远的作为负样本，重新训练分类器；若候选目标的评价结果为负样本，则跳过。给定一个分类器的最大空间尺度，如果分类器的大小没有超过最大空间尺度，则直接将当前训练结果加入到分类器集合中；否则删除最早训练的分类器结果，然后将训练好的当前结果加入到分类器集合中。本发明通过图像的空间结构约束，在目标跟踪过程中生成准确的训练样本标签，提高了分类器的性能。此外，在每帧图像上单独训练分类器，并且使用加权平均结果作为目标检测器。与背景技术相比较，本发明的结果在所测试的13组视频总体上优于现有的其他方法，应用范围更广。

本发明解决其技术问题所采用的技术方案是：一种基于简化直推式学习法的在线目标跟踪方法，其特点是包括以下步骤：

步骤一、在图像上选定一个矩形标识框，框内的区域为目标区域。若该样本区域与目标的重叠率大于给定阈值，刚认定为正样本，否则为负样本。重叠率的定义为：

$S=\frac{{\mathrm{\γ}}_t\∩{\mathrm{\γ}}_{\mathrm{\α}}}{{\mathrm{\γ}}_t\∪{\mathrm{\γ}}_{\mathrm{\α}}}$

其中，γ_t为目标区域所在的矩形框位置，γ_α为样本位置。如果s＞0.5,刚该样本为正样本，否则为负样本。再提取样本的HOG特征，利用该特征向量用来训练分类器。

步骤二、生成测试样本，检测目标所在位置。采用训练样本的平均值评价测试样本，定义如下：

${\stackrel{-}{\mathrm{\ω}}}_t=\frac{{\mathrm{\Σ}}_{\mathrm{\τ}}^t=1{\mathrm{\γ}}_{\mathrm{\τ}}\·{\stackrel{-}{w}}_{\mathrm{\τ}}}{{\mathrm{\Σ}}_{\mathrm{\τ}}^t=1{\mathrm{\γ}}_{\mathrm{\τ}}}$

其中，

为每帧图像单独训练出来的结果，t为分类器集合的大小，γ_τ为加权系数，γ_τ的值可由任意的关键帧选择策略给出。计算出每个样本的评价结果后，选择值最大的样本最终的目标样本输出。

步骤三、目标检测过程完成后，需要更新分类器适应目标当前的变化。若当前帧所有样本的评价结果最大值大于0，则认为检测成功，重新在该帧训练分类器，否则跳过。训练过程如步骤一。然后将训练结果加入到训练好的分类器集合中。若已经训练好的分类器结果集合大小于给定的最大空间尺度，则删除最早训练的结果。分类器更新完成后，转到步骤二，在下一帧图像上继续进行目标检测与跟踪。

本发明的有益效果是：该方法使用一个矩形框表示目标，并在目标周围提取训练样本。距离目标较近的样本认定为正样本，较远的认定为负样本。提取样本的HOG特征，将其作为目标表示，然后利用LibSVM训练分类器，得到初始的目标检测器。在下一帧图像中，生成候选目标样本并提取HOG特征。利用利用已训练好的分类器评价各样本，并将局部最大值作为目标位置输出。分类器在每一帧图像上单独训练。若候选目标样本的评价结果为正样本，则将距离目标较近的样本认定为正样本，距离较远的作为负样本，重新训练分类器；若候选目标的评价结果为负样本，则跳过。给定一个分类器的最大空间尺度，如果分类器的大小没有超过最大空间尺度，则直接将当前训练结果加入到分类器集合中；否则删除最早训练的分类器结果，然后将训练好的当前结果加入到分类器集合中。本发明通过图像的空间结构约束，在目标跟踪过程中生成准确的训练样本标签，提高了分类器的性能。此外，在每帧图像上单独训练分类器，并且使用加权平均结果作为目标检测器。与背景技术相比较，本发明的结果在所测试的13组视频总体上优于现有的其他方法，应用范围更广。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于简化直推式学习法的在线目标跟踪方法具体步骤如下：

1.目标初始化：在图像上选定一个矩形标识框，框内的区域为目标区域。在目标周围60像素半径区域选取训练样本。以5个方向，每个方向16个值生成训练样本（最多生成81个训练样本）。若该样本区域与目标的重叠率大于给定阈值，刚认定为正样本，否则为负样本。重叠率的定义为：

$S=\frac{{\mathrm{\γ}}_t\∩{\mathrm{\γ}}_{\mathrm{\α}}}{{\mathrm{\γ}}_t\∪{\mathrm{\γ}}_{\mathrm{\α}}}$

其中，γ_t为目标区域所在的矩形框位置，γ_α为样本位置。如果s＞0.5,刚该样本为正样本，否则为负样本。然后将提取样本归一化到大小为的图像块，再提取样本的HOG特征。其中HOG特征使用9个方向，块大小及步长均为8，生成一个324维的特征向量，利用该特征向量用来训练分类器。由于SVM的特征使用灵活性，以及SVM对于标签噪声较为鲁棒，使用LibSVM作为二值分类器进行训练。

2.目标预测：在半径为30个像素的范围内生成测试样本，检测目标所在位置。为了提高跟踪器的速度，使用自适应的步长采样方法生成测试样本。由于使用固定大小的矩形标识框检测目标，以0.1倍目标宽度为步长在水平方向采样，0.1倍目标高度为步长在竖直方向采样。并采用训练样本的平均值评价测试样本，定义如下：

${\stackrel{-}{\mathrm{\ω}}}_t=\frac{{\mathrm{\Σ}}_{\mathrm{\τ}}^t=1{\mathrm{\γ}}_{\mathrm{\τ}}\·{\stackrel{-}{w}}_{\mathrm{\τ}}}{{\mathrm{\Σ}}_{\mathrm{\τ}}^t=1{\mathrm{\γ}}_{\mathrm{\τ}}}$

其中，

为每帧图像单独训练出来的结果，t为分类器集合的大小，γ_τ为加权系数，γ_τ的值可由任意的关键帧选择策略给出。计算出每个样本的评价结果后，选择值最大的样本最终的目标样本输出。

3.分类器更新：目标检测过程完成后，需要更新分类器适应目标当前的变化。若当前帧所有样本的评价结果最大值大于0，则认为检测成功，重新在该帧训练分类器，否则跳过。训练过程如步骤1所示。然后将训练结果加入到训练好的分类器集合中。若已经训练好的分类器结果集合大小于给定的阈值200，则删除最早训练的结果。分类器更新完成后，转到步骤2，在下一帧图像上继续进行目标检测与跟踪。

Claims (1)

1.一种基于简化直推式学习法的在线目标跟踪方法，其特征在于包括以下步骤：

步骤一、在图像上选定一个矩形标识框，框内的区域为目标区域；若该样本区域与目标的重叠率大于给定阈值，刚认定为正样本，否则为负样本；重叠率的定义为：

$S=\frac{{\mathrm{\γ}}_t\∩{\mathrm{\γ}}_{\mathrm{\α}}}{{\mathrm{\γ}}_t\∪{\mathrm{\γ}}_{\mathrm{\α}}}$

其中，γ_t为目标区域所在的矩形框位置，γ_α为样本位置；如果s＞0.5，刚该样本为正样本，否则为负样本；再提取样本的HOG特征，利用该特征向量用来训练分类器；

步骤二、生成测试样本，检测目标所在位置；采用训练样本的平均值评价测试样本，定义如下：

${\stackrel{-}{\mathrm{\ω}}}_t=\frac{{\mathrm{\Σ}}_{\mathrm{\τ}}^t=1{\mathrm{\γ}}_{\mathrm{\τ}}\·{\stackrel{-}{w}}_{\mathrm{\τ}}}{{\mathrm{\Σ}}_{\mathrm{\τ}}^t=1{\mathrm{\γ}}_{\mathrm{\τ}}}$

其中，

为每帧图像单独训练出来的结果，t为分类器集合的大小，γ_τ为加权系数，γ_τ的值可由任意的关键帧选择策略给出；计算出每个样本的评价结果后，选择值最大的样本最终的目标样本输出；

步骤三、目标检测过程完成后，需要更新分类器适应目标当前的变化；若当前帧所有样本的评价结果最大值大于0，则认为检测成功，重新在该帧训练分类器，否则跳过；训练过程如步骤一；然后将训练结果加入到训练好的分类器集合中；若已经训练好的分类器结果集合大小于给定的最大空间尺度，则删除最早训练的结果；分类器更新完成后，转到步骤二，在下一帧图像上继续进行目标检测与跟踪。