CN109086648A - 一种融合目标检测和特征匹配的目标跟踪方法 - Google Patents

Abstract

本发明涉及一种融合目标检测和特征匹配的目标跟踪方法，该方法以卷积神经网络为基础进行目标跟踪，包括：目标检测步骤，获得已知类别的待跟踪目标，采用经训练的目标检测网络对当前视频帧进行检测，获得若干待定目标的边框位置；特征匹配步骤，采用经训练的特征匹配网络提取所述待定目标的局部特征描述符，基于局部特征描述符获得各待定目标与之前视频帧中待跟踪目标的相似性，以相似性最大的待定目标作为当前视频帧中待跟踪目标的位置。与现有技术相比，本发明具有精度高、处理速度快等优点。

Description

一种融合目标检测和特征匹配的目标跟踪方法

技术领域

本发明涉及一种目标跟踪方法，尤其是涉及一种融合目标检测和特征匹配的目标跟踪方法。

背景技术

视频目标跟踪在军事侦察、视觉导航、自动检测、人机交互以及交通监控等军事和民用方面都有极大的应用价值。如何处理跟踪目标的快速运动、尺度变化、形变、遮挡等问题，一直是一项具有挑战的任务。跟踪目标的特征描述和跟踪目标候选区域确定是目标跟踪的主要难点。为了构建跟踪目标的外观模型，现有的卷积神经网络跟踪算法大都需要实时更新滤波器参数，产生庞大的计算量，降低处理效率，而且在不同的实际跟踪环境往往性能变化大。

针对目标跟踪样本少的问题，Wang N采用非跟踪数据ImageNet样本离线训练网络，进行跟踪时，再进行在线参数更新。他们设计了一个含有七个卷积层和两个全连接层的深度卷积神经网络，但没有采用分类概率输出，而是使用了结构化的输出，通过一张响应图来指示目标潜在区域的可能性，其网络结构图如图1所示。该网络输入图像大小为100×100，输出50×50的响应图，响应图上的值越高，则目标在该处的可能性越大。其跟踪速度约为4-5帧/秒。

Wang L等人通过研究发现卷积神经网络的深层卷积层主要反映目标的语义特征，对目标的形状变化具有鲁棒性，善于分辨不同类别的物体，但其空间分辨率低，不能精确定位物体。相反，浅层的卷积层定位目标更加精确，把握细节的能力更强，但是包含的语义特征较少。因此他们将卷积神经网络不同卷积层信息结合，判断目标下一帧的位置，提高了目标跟踪的精度，其网络结构示意图如图2所示。在计算时，将Conv5-3的特征送到GNet获取跟踪目标类别信息，将Conv4-3的特征送到SNet使跟踪目标和背景以及其他相似的物体区分开，最后通过一个选择器来决定到底使用哪一个网络获取的特征。其跟踪速度约为3帧每秒。

视频目标跟踪不同于图像分类，某一类物体在一个视频序列中可能属于跟踪目标，但是在另一个视频序列中可能是背景。而且不同视频序列环境中光照、遮挡、物体运动模式等情况相差巨大，使得训练目标跟踪网络比较困难。Hyeonseob Nam等人为了让网络通过自学习提高对不同影响因素的鲁棒性，提出了MDNet，其结构示意图如图3所示。在训练网络时，不同的训练视频序列共享卷积层，但采用不同的全连接层参数，全连接层最终都输出一个二分类，用于区分该视频的前景和背景。跟踪时，只保留卷积层，而全连接层的参数需要随着跟踪图像实时更新。这样共享卷积层的方式使得网络学到的特征表达通用性好，而后端不同视频采用不同的网络又解决了不同训练序列分类目标不一致的问题，但其跟踪速度只有1帧/秒。

基于卷积神经网络的目标跟踪尽管取得了一些成果，但是应用仍然较少。由于需要根据跟踪目标逐帧更新部分网络参数，使得大部分算法处理速度只有1-3帧/秒(FPS,Frames Per Second)，当目标出现长时间遮挡等情况时，也难以准确跟踪。图4为一些基于卷积神经网络的跟踪方法跟踪失误的情况。总体而言，基于卷积神经网络的目标跟踪在网络结构、跟踪实时性、跟踪漂移、环境适应性等诸多方面仍有很大的探索空间。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种融合目标检测和特征匹配的目标跟踪方法。

本发明的目的可以通过以下技术方案来实现：

一种融合目标检测和特征匹配的目标跟踪方法，该方法以卷积神经网络为基础进行目标跟踪，包括：

目标检测步骤，获得已知类别的待跟踪目标，采用经训练的目标检测网络对当前视频帧进行检测，获得若干待定目标的边框位置；

特征匹配步骤，采用经训练的特征匹配网络提取所述待定目标的局部特征描述符，基于局部特征描述符获得各待定目标与之前视频帧中待跟踪目标的相似性，以相似性最大的待定目标作为当前视频帧中待跟踪目标的位置。

进一步地，所述目标检测网络采用Faster R-CNN结构。

进一步地，所述特征匹配网络包括若干最大值池化层、一全局平均池化层和一全连接层。

进一步地，所述目标检测网络和特征匹配网络训练前，对视频样本进行预处理，该预处理包括图像缩放、去均值处理和标记处理。

进一步地，所述标记处理所标记的信息包括目标边框位置、目标类别和物体编号；

所述目标检测网络的训练基于所述目标边框位置和目标类别进行，所述特征匹配网络的训练基于所述物体编号进行。

进一步地，所述特征匹配网络的训练采用Siamese网络结构实现。

进一步地，特征匹配步骤中，所述待定目标依据边框位置经裁剪并缩放至设定大小后作为特征匹配网络的输入。

进一步地，特征匹配步骤中，所述之前视频帧为当前视频帧的前100帧。

进一步地，特征匹配步骤中，使用欧式距离度量各待定目标与之前视频帧中待跟踪目标的相似性。

与现有技术相比，本发明具有以下有益效果：

1)本发明的目标跟踪方法以卷积神经网络为基础，结合了目标检测网络和特征匹配网络。该网络一旦训练完毕，就不需再进行参数更新，因此处理速度比传统的目标跟踪卷积神经网络更快。

2)本发明先进行目标检测，再进行特征匹配定位跟踪目标，目标检测将边框搜索范围从全图区域内缩小到数个已知类别的边框，迅速缩小搜索空间，减少后续的局部特征数量，加快目标跟踪速度。

3)本发明的目标检测过程在图像全局范围内寻找跟踪目标，在下一帧寻找候选区域时，可以忽略视频序列之间的时空关联性，即使发生长时间遮挡，也能够重新定位到跟踪目标。

4)由于采用目标检测获取边框，当跟踪目标发生形变、尺度变化等也可以自动调整到合适的边框大小。

5)本发明的特征匹配网络中，以全局平均池化(Global Average Pooling，GAP)代替全连接层，大大减少网络系数，降低了网络过拟合的风险，提升鲁棒性。大多数卷积神经网络采用连续几层全连接层来取得相应的输出维数，然而，仅仅3层全连接层就会引入大量系数(一般的卷积神经网络中，全连接层系数个数占整个网络的50％以上)，网络容易陷入过拟合，导致描述符泛化能力较差。本发明以全局平均池化来代替全连接层，对任意大小的末层特征映射都采用全局平均值池化，每一个特征映射通道对应一维特征描述符。全局平均池化直接对特征映射提取的空间特征信息进行总结，得到的特征描述符更加鲁棒。由于全局平均池化没有需要训练的参数，因此该网络的系数大大减少。采用全局平均池化结构，则描述符维数等于最后一层特征映射的通道数。为了优化特征描述符维度，本发明在最后一层特征映射后增加一层单独的全连接层作为线性组合，该层全连接层只含有加权系数，并没有偏置项，在保证描述符分辨能力的基础上，将描述符线性组合，可根据需求决定描述符维数，提高匹配效率。

6)因为跟踪目标可能出现被遮挡、形变等情况，若只与前1帧跟踪到的目标进行匹配，容易发生跟踪漂移，跟踪到另一目标上，但比较帧数太大，当物体发生突变时，又容易跟踪失败。本发明在进行特征匹配时，需要考虑到目标前100帧的状态，保证了跟踪的鲁棒性。

附图说明

图1为SO-DLT网络示意图；

图2为FCNT网络示意图；

图3为MDNet网络示意图；

图4为现有部分跟踪失误示例；

图5为本发明特征匹配网络的结构图；

图6为本发明的目标跟踪流程图；

图7为本发明目标跟踪的部分跟踪示例。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明提供一种融合目标检测和特征匹配的目标跟踪方法，该方法以卷积神经网络为基础进行目标跟踪，结合目标检测和特征匹配，可以快速、准确地定位视频中跟踪目标的位置。该方法包括：

目标检测步骤，获得已知类别的待跟踪目标，采用经训练的目标检测网络对当前视频帧进行检测，获得若干待定目标的边框位置；

特征匹配步骤，采用经训练的特征匹配网络提取所述待定目标的局部特征描述符，基于局部特征描述符获得各待定目标与之前视频帧中待跟踪目标的相似性，以相似性最大的待定目标作为当前视频帧中待跟踪目标的位置。相似性度量方法使用欧式距离。

目标检测网络采用Faster R-CNN结构。特征匹配网络包括若干最大值池化层、一全局平均池化层和一全连接层。在某些实施例中，特征匹配网络可采用如图5所示的网络结构。

卷积神经网络是一种监督学习的方法，首先需要进行训练，然后再使用。在某些实施例中，具体训练过程可以是：

(1)首先采集不同的视频样本，提取每一帧图像，对所有图像样本进行预处理，将输入图像进行等比例缩放，把短边缩放到600像素。若缩放后长边超过1000像素，则按照长边到1000像素等比例缩放。同时生成均值文件，对输入图像需要进行减去均值处理。对视频图像进行了标记，标记所有目标的边框位置、类别以及物体编号。边框位置和类别用于训练目标检测网络，物体编号用于训练特征匹配网络，不同的物体拥有不同的编号，而同一物体在不同的序列图像上拥有相同的编号。

(2)搭建目标跟踪卷积神经网络，由目标检测网络和特征匹配网络串联而成，如图6所示，目标检测采用Faster R-CNN结构，其主体模型为VGG-16；特征匹配网络结构如图5所示，以全局平均池化代替全连接层，大大减少网络系数，降低了网络过拟合的风险，提升鲁棒性。

(3)输入图像样本，进行模型训练。首先训练目标检测网络，目标检测网络训练完成后，记录目标检测网络检测出的各类别图像边框，以此为特征匹配网络的训练候选框。此外，选择检测的概率最高的2000个边框，与样本的真实标记计算交并比，交并比大于0.6的边框也作为候选框。

特征匹配网络的训练采用Siamese网络结构，在选择标记训练样本时，从同一视频序列图像的连续5帧中随机选择两帧。比较这两张图像中的候选框，若候选框包含的物体编号相同，则标记为正样本，否则标记为负样本。训练过程中，将Siamese网络两条支路同时设置成相同的共享参数的网络，将带有标记的两幅局部图像裁剪后分别送入两条支路，并计算两条支路输出的欧氏距离，然后采用对比损失函数计算输出误差，并将误差回传更新参数。

本发明中，经训练的目标跟踪卷积神经网络的使用过程如下：

(1)图6为本发明提出的目标跟踪使用流程图。使用时，首先在某一帧指定一个已知类别的跟踪目标，再由Faster R-CNN在下一帧检测该类别目标，获得若干个待定目标的边框位置。然后根据获得的边框裁剪下各个待定目标，并将裁剪得到的局部图像缩放到64×64大小，将缩放后的局部图像送入特征匹配网络，得到相应的局部特征描述符。

(2)因为跟踪目标可能出现被遮挡、形变等情况，若只与前1帧跟踪到的目标进行匹配，容易发生跟踪漂移，跟踪到另一目标上，但比较帧数太大，当物体发生突变时，又容易跟踪失败。为了保证跟踪的鲁棒性，建议取前100帧，即匹配时需要考虑到目标前100帧的状态。将各个特征描述符与前100帧检测到的跟踪目标进行相似性比较，取平均值，距离最小的描述符对应的边框即是跟踪目标在下一帧出现的位置。本发明一旦训练完毕，就不需再进行参数更新，因此处理速度得到提高。另外，本发明的目标检测过程在图像全局范围内寻找跟踪目标，在下一帧寻找候选区域时，可以忽略视频序列之间的时空关联性，即使发生长时间遮挡，也容易重新定位到跟踪目标。

采用上述目标跟踪框架跟踪速度可以达到9-10帧/秒，图7为部分跟踪示例，其中每一行为同一个视频序列。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种融合目标检测和特征匹配的目标跟踪方法，其特征在于，该方法以卷积神经网络为基础进行目标跟踪，包括：

目标检测步骤，获得已知类别的待跟踪目标，采用经训练的目标检测网络对当前视频帧进行检测，获得若干待定目标的边框位置；

特征匹配步骤，采用经训练的特征匹配网络提取所述待定目标的局部特征描述符，基于局部特征描述符获得各待定目标与之前视频帧中待跟踪目标的相似性，以相似性最大的待定目标作为当前视频帧中待跟踪目标的位置。

2.根据权利要求1所述的融合目标检测和特征匹配的目标跟踪方法，其特征在于，所述目标检测网络采用Faster R-CNN结构。

3.根据权利要求1所述的融合目标检测和特征匹配的目标跟踪方法，其特征在于，所述特征匹配网络包括若干最大值池化层、一全局平均池化层和一全连接层。

4.根据权利要求1所述的融合目标检测和特征匹配的目标跟踪方法，其特征在于，所述目标检测网络和特征匹配网络训练前，对视频样本进行预处理，该预处理包括图像缩放、去均值处理和标记处理。

5.根据权利要求4所述的融合目标检测和特征匹配的目标跟踪方法，其特征在于，所述标记处理所标记的信息包括目标边框位置、目标类别和物体编号；

所述目标检测网络的训练基于所述目标边框位置和目标类别进行，所述特征匹配网络的训练基于所述物体编号进行。

6.根据权利要求1所述的融合目标检测和特征匹配的目标跟踪方法，其特征在于，所述特征匹配网络的训练采用Siamese网络结构实现。

7.根据权利要求1所述的融合目标检测和特征匹配的目标跟踪方法，其特征在于，特征匹配步骤中，所述待定目标依据边框位置经裁剪并缩放至设定大小后作为特征匹配网络的输入。

8.根据权利要求1所述的融合目标检测和特征匹配的目标跟踪方法，其特征在于，特征匹配步骤中，所述之前视频帧为当前视频帧的前100帧。

9.根据权利要求1所述的融合目标检测和特征匹配的目标跟踪方法，其特征在于，特征匹配步骤中，使用欧式距离度量各待定目标与之前视频帧中待跟踪目标的相似性。