CN107452023A - 一种基于卷积神经网络在线学习的单目标跟踪方法和系统 - Google Patents

Abstract

本发明提供一种基于卷积神经网络在线学习的单目标跟踪方法和系统，包括：通用表达模型训练：利用跟踪数据集对目标检测领域的卷积神经网络深度模型进行迁移学习，得到适用于跟踪领域的通用卷积神经网络深度模型，能直接在后续的跟踪任务中使用；网络初始化：在跟踪任务开始时，对得到的所述适用于跟踪领域的通用卷积神经网络深度模型进行初始化；在线跟踪：采用在线跟踪的方法，对视频序列进行逐帧处理；模型更新：对模型进行在线更新，采用短期更新和长期更新结合的方法更新卷积神经网络参数。本发明将目标跟踪看成是目标检测与模型在线更新的结合，从而避免了额外的分类器的使用，将目标跟踪纳入一个统一的卷积神经网络之中。

Description

一种基于卷积神经网络在线学习的单目标跟踪方法和系统

技术领域

本发明涉及图像处理技术领域，具体地，涉及一种基于卷积神经网络在线学习的单目标跟踪方法和系统。

背景技术

单目标跟踪技术是指初试给定任意待跟踪目标，在视频序列中识别和定位给定目标的技术。单目标跟踪技术一直是计算机视觉领域的研究热点，其能广泛的应用在视频监控，无人驾驶和人机交互等多个领域，在节省大量人力物力的同时，带来巨大的经济效益。而由于实际跟踪环境的复杂性，精确有效的目标跟踪尤为重要。因此单目标跟踪具有重要的研究意义与应用价值。

在实际应用中，由于目标和背景会发生多种不同的变化，如目标遮挡、形变、模糊、尺度变化、光照变化以及背景杂乱等，单目标跟踪往往会遇到诸多难题。在单目标跟踪中，如何有效的提取目标特征及表达目标特征十分重要。以往的很多单目标跟踪算法，在目标特征提取和表达这一模块基本采用人工特征，如HoG特征及颜色特征等，这些人为定义的特征在特定情况下能够解决目标和背景变化产生的难题，但是不能很好的适应实际应用场景中的多种变化。由于计算机运算能力的大幅增强，近几年卷积神经网络技术得以在图像处理领域得到广泛应用，并取得了很好的成果。卷积神经网络通过大量学习，自动提取的深度特征避免了一些人工特征的局限性，表达能力更强。而如何将卷积神经网络利用到单目标跟踪领域，对目标进行精确有效的跟踪，是一大技术难点，也是本发明着重解决的问题。

经对现有的技术文献检索发现，Seunghoon Hong等人在论文“Online Trackingby Learning Discriminative Saliency Map with Convolutional Neural Network”(“基于卷积神经网络的显著性图谱学习的在线跟踪”)中提出一种利用卷积神经网络提取目标深度特征并利用SVM(支持向量机)进行分类学习的方法。该方法成功的将卷积神经网络应用到了单目标跟踪领域，但是由于其未能解决目标分类识别与目标跟踪之间的差别(其卷积神经网络是用于目标分类领域)，效果不是十分突出。Yuankai Qi等人在论文“Hedged Deep Tracking”(“层级化深度跟踪”)中提出一种利用卷积神经网络不同层输出的深度特征进行集成学习以提高跟踪的准确度的方法，但是该方法仍然没有很好的解决深度模型在目标分类识别与目标跟踪之间的转换问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于卷积神经网络的单目标跟踪方法和系统，能很好的解决深度模型在目标分类识别与目标跟踪之间的转换问题。

本发明的第一目的是提供一种基于卷积神经网络在线学习的单目标跟踪方法，包括如下步骤：

步骤一，通用表达模型训练：利用跟踪数据集对目标检测领域的卷积神经网络深度模型进行迁移学习，得到适用于跟踪领域的通用卷积神经网络深度模型，能直接在后续的跟踪任务中使用；

步骤二，网络初始化：在跟踪任务开始时，对步骤一得到的所述适用于跟踪领域的通用卷积神经网络深度模型进行初始化；

步骤三，在线跟踪：基于步骤二的所述适用于跟踪领域的通用卷积神经网络深度模型，采用在线跟踪的方法，对视频序列进行逐帧处理；

步骤四，模型更新：根据步骤三的跟踪结果，对所述适用于跟踪领域的通用卷积神经网络深度模型进行在线更新，采用短期更新和长期更新结合的方法更新卷积神经网络参数。

优选地，步骤一中，所述利用跟踪数据集对目标检测领域的卷积神经网络深度模型进行迁移学习，是指：采用迁移学习的方法，以在ImageNet上预训练的目标检测领域的卷积神经网络深度模型作为基础模型，利用跟踪数据集对该基础模型进行进一步的训练，使其表达空间更适用于跟踪任务。

优选地，所述适用于跟踪领域的通用卷积神经网络深度模型为一个二分类的网络结构，其含有3个卷积层以及3个全连接层；在卷积层中，卷积核的大小依次为7x7、5x5和3x3，每个卷积层之后都加入一个核为2x2的池化层对网络进行降维。前两个全连接层的维数均为512，并且对其使用dropout(随机缺失)以防止网络过拟合，最后一个全连接层充当二分类的分类器。

优选地，所述步骤二，具体为：在跟踪任务开始时，对于一个新的跟踪序列，为其随机初始化一个新的输出层，同时保持步骤一中训练得到卷积神经网络的所有卷积层参数不变；为了使卷积神经网络适用于这一跟踪序列，在最开始利用第一帧中的指定目标对卷积神经网络进行微调，即利用第一帧中的目标对网络进行训练。

更优选地，所述网络初始化，是指：以初始化跟踪目标为中心，利用高斯分布产生一系列的训练样本，将其中与目标交叠区域大于第一阈值的视为正样本，同时将与目标交叠区域小于第二阈值的视为负样本进行训练，将网络迭代L次，从而得到一个适用于初始化跟踪目标的通用卷积神经网络深度模型用于后续的跟踪，其中第一阈值大于第二阈值，L为自然数。

在一较优选实施方式中，所述第一阈值，取值为0.7。

在一较优选实施方式中，所述第二阈值，取值为0.5。

在一较优选实施方式中，所述L，取值为50。

优选地，所述步骤三，具体为：根据前一帧的跟踪结果，以前一帧跟踪结果为中心，利用高斯分布产生一系列候选目标区域，利用步骤二初始化后的适用于跟踪目标的卷积神经网络深度模型这些候选区域进行评估，其中分数最高的即为当前帧的跟踪目标。

优选地，所述步骤四，具体为：在跟踪过程中，所有跟踪得分大于设定阈值a的帧被视为成功帧，并被用来选取所述适用于跟踪领域的通用卷积神经网络深度模型更新的训练样本，利用最新的K个成功帧来对所述适用于跟踪领域的通用卷积神经网络深度模型进行短期更新，而利用最新的M个成功帧对所述适用于跟踪领域的通用卷积神经网络深度模型进行长期更新以保证模型的稳定性，其中K、M为自然数且M大于K。

在一较优选实施方式中，所述设定阈值，取值为0.5。

在一较优选实施方式中，所述K，取值为5。

在一较优选实施方式中，所述M，取值为60。

本发明的第二目的是提供一种基于卷积神经网络在线学习的单目标跟踪系统，包括：

通用表达模型训练模块，该模块利用跟踪数据集对目标检测领域的卷积神经网络深度模型进行迁移学习，得到适用于跟踪领域的通用卷积神经网络深度模型，并能直接在后续的跟踪任务中使用；

网络初始化模块，该模块在跟踪任务开始时，对所述通用表达模型训练模块得到的所述适用于跟踪领域的通用卷积神经网络深度模型进行初始化；

在线跟踪模块，该模块基于所述适用于跟踪领域的通用卷积神经网络深度模型，采用在线跟踪的方法，对视频序列进行逐帧处理；

模型更新模块，对所述适用于跟踪领域的通用卷积神经网络深度模型进行在线更新，采用短期更新和长期更新结合的方法更新卷积神经网络参数。

与现有技术相比，本发明具有如下的有益效果：

本发明通过利用大量跟踪数据进行训练，成功的将模型从目标检测领域(目标分类识别)迁移到目标跟踪领域；并简化目标跟踪系统，将目标跟踪看成是目标检测与模型在线更新的结合，从而避免了额外的分类器(如SVM)的使用，将目标跟踪纳入一个统一的卷积神经网络之中。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例方法的流程图；

图2为本发明一实施例中使用的网络结构图；

图3为本发明一实施例系统的结构框图；

图4a、图4b为OTB100数据集上本发明与其它方法的评价结果；

图5a、图5b为使用图2中不同网络结构在OTB100上评价结果的对比图；

图6为5种方法在OTB100部分序列上的跟踪结果图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例1

如图1所示，是本发明基于卷积神经网络在线学习的单目标跟踪方法的流程图，以下结合附图对本发明一优选实施例的实施过程和细节进行详细描述。

步骤一：通用表达模型训练

由于跟踪数据集的缺乏，很难直接用跟踪数据集训练得到通用的适用于目标跟踪的卷积神经网络模型。而本发明将单目标跟踪任务视为目标分类与模型在线更新的结合。故本发明使用典型的二分类网络进行目标的定位与识别，同时在跟踪过程中有选择的进行模型的更新，使得卷积神经网络能够很好地适应目标本身以及背景环境的变化。

这一步骤作为整个跟踪环节的准备阶段，其目的是训练出得到适用于跟踪领域的通用卷积神经网络深度模型。因前述原因，跟踪数据集的缺乏等不足以完成这一任务。故本发明采用迁移学习的方法。利用在ImageNet上预训练的用于目标检测的模型作为基础模型，利用跟踪数据集对模型进行进一步的训练，使其表达空间更适用于跟踪任务。同时由于不同跟踪数据集的区别，本发明采用一种序列化训练方法，也即对于任意一个跟踪序列，为其随机初始化一个特定的输出层，故在网络训练的过程中，保证了所有隐含层的共享，而网络的隐含层即为跟踪任务的通用模型。

本发明的预训练模型在VGG-M网络结构的基础上进行了一定的修改。图2为本发明中使用的网络结构，其中CNN-c3为本发明最终使用的网络结构即得到适用于跟踪领域的通用卷积神经网络深度模型，CNN-c2与CNN-c5为实验过程中的对比网络。CNN-c3为一个二分类的网络结构，其含有3个卷积层以及3个全连接层。在卷积层中，卷积核的大小一次为7x7、5x5和3x3，每个卷积层之后都加入一个核为2x2的池化层对网络进行降维。前两个全连接层的维数均为512，并且对其使用dropout(随机缺失)以防止网络过拟合。最后一个全连接层充当二分类的分类器。

步骤二：网络初始化

在跟踪任务开始时，对于一个新的跟踪序列，因为其独特性，故需要为其随机初始化一个新的输出层，同时保持步骤一中训练得到网络的所有卷积层参数不变。

为了使网络适用于这一跟踪序列，在最开始需要利用第一帧中的指定目标对网络进行微调，也即利用第一帧中的目标对网络进行训练。

本发明以初始化跟踪目标为中心，利用高斯分布产生一系列的训练样本，将其中与目标交叠区域大于0.7的视为正样本，同时将与目标交叠区域小于0.5的视为负样本进行训练，将网络迭代50次，从而得到一个适用于特定跟踪目标的深度模型用于后续的跟踪。

步骤三：在线跟踪

由于跟踪任务往往需要具有时效性，故本发明采用在线跟踪的方法，对视频序列进行逐帧处理。

根据前一帧的跟踪结果，本发明同样以前一帧跟踪结果为中心，利用高斯分布产生一系列候选目标区域。利用现有模型(此处指步骤二初始化的适用于特定目标的跟踪模型)对这些候选区域进行评估，其中分手最高的即为当前帧的跟踪目标。这一跟踪过程可表达为如下数学过程：

其中，x_i,i∈{1,...,N}是候选目标，F(·)表示网络计算，x_f表示最终的跟踪结果。

步骤四：模型更新

由于跟踪过程中，目标本身以及背景是在不断变化的，故为了模型的适应性和稳定性，本发明采用短期更新和长期更新结合的方法更新网络参数。

在跟踪过程中，所有跟踪得分大于一设定阈值a的帧被视为成功帧，并被用来选取模型更新的训练样本。为了模型的适应性，本发明利用最新的K个成功帧来对模型进行短期更新，而利用最新的M个成功帧对模型进行长期更新以保证模型的稳定性。

在优选实施例中，所述设定阈值a、K、M可以实际应用需要确定，比如设定阈值可以是0.5；所述K可以取5，所述M可以取60。当然，在其他实施例中，也可以选择其他数值。

实施例2

如图3所示，一种基于卷积神经网络在线学习的单目标跟踪系统，包括：

通用表达模型训练模块，该模块利用跟踪数据集对目标检测领域的卷积神经网络深度模型进行迁移学习，得到适用于跟踪领域的通用卷积神经网络深度模型，并能直接在后续的跟踪任务中使用；

网络初始化模块，该模块在跟踪任务开始时，对所述通用表达模型训练模块得到的所述适用于跟踪领域的通用卷积神经网络深度模型进行初始化；

在线跟踪模块，该模块基于所述适用于跟踪领域的通用卷积神经网络深度模型，采用在线跟踪的方法，对视频序列进行逐帧处理；

模型更新模块，对所述适用于跟踪领域的通用卷积神经网络深度模型进行在线更新，采用短期更新和长期更新结合的方法更新卷积神经网络参数。

本实施例上述系统中各个模块具体采用的技术与实施例方法中各步骤的技术对应，在此不再赘述。

下面通过实际实验结果对本发明上述方法和系统的性能进行展示。

图4a、4b中CNNfT为本发明方法，从可以看出在精度和成功率方面都要优于其它对比算法。

图5a、5b中CNNfT使用了CNN-c3网络结构，从图4可以看出CNN-c3网络最适用于本发明，同时本发明也采用该网络结果与其它算法进行对比。

从图6可以看出，本发明能处理多种复杂的跟踪情况，具有良好的跟踪性能。

综上所述，本发明方法将卷积神经网络应用到跟踪领域，并将跟踪问题视为目标分类与模型更新的结合，同时利用迁移学习得到适用于跟踪任务的模型，并利用长短期结合的方法更新模型，保证了模型的稳定性和适应性，并取得了很好的跟踪效果。

需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块予以实现，本领域技术人员可以参照所述方法的技术方案实现所述系统的各模块，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项模块可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，包括：

步骤一，通用表达模型训练：利用跟踪数据集对目标检测领域的卷积神经网络深度模型进行迁移学习，得到适用于跟踪领域的通用卷积神经网络深度模型，能直接在后续的跟踪任务中使用；

步骤二，网络初始化：在跟踪任务开始时，对步骤一得到的所述适用于跟踪领域的通用卷积神经网络深度模型进行初始化；

步骤三，在线跟踪：基于步骤二的所述适用于跟踪领域的通用卷积神经网络深度模型，采用在线跟踪的方法，对视频序列进行逐帧处理；

步骤四，模型更新：根据步骤三的跟踪结果，对所述适用于跟踪领域的通用卷积神经网络深度模型进行在线更新，采用短期更新和长期更新结合的方法更新卷积神经网络参数。

2.根据权利要求1所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，步骤一中，所述利用跟踪数据集对目标检测领域的卷积神经网络深度模型进行迁移学习，是指：采用迁移学习的方法，以在ImageNet上预训练的目标检测领域的卷积神经网络深度模型作为基础模型，利用跟踪数据集对该基础模型进行进一步的训练，使其表达空间更适用于跟踪任务。

3.根据权利要求1所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，步骤一中，所述适用于跟踪领域的通用卷积神经网络深度模型为一个二分类的网络结构，其含有3个卷积层以及3个全连接层；在卷积层中，卷积核的大小依次为7x7、5x5和3x3，每个卷积层之后都加入一个核为2x2的池化层对网络进行降维；前两个全连接层的维数均为512，并且对其使用随机缺失以防止网络过拟合，最后一个全连接层充当二分类的分类器。

4.根据权利要求1所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，所述步骤二，具体为：在跟踪任务开始时，对于一个新的跟踪序列，为其随机初始化一个新的输出层，同时保持步骤一中训练得到卷积神经网络的所有卷积层参数不变；为了使卷积神经网络适用于这一跟踪序列，在最开始利用第一帧中的指定目标对卷积神经网络进行微调，即利用第一帧中的目标对网络进行训练。

5.根据权利要求4所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，所述步骤二，所述网络初始化，是以初始化跟踪目标为中心，利用高斯分布产生一系列的训练样本，将其中与目标交叠区域大于第一阈值的视为正样本，同时将与目标交叠区域小于第二阈值的视为负样本进行训练，将网络迭代L次，从而得到一个适用于初始化跟踪目标的通用卷积神经网络深度模型用于后续的跟踪，其中第一阈值大于第二阈值，L为自然数。

6.根据权利要求5所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，所述网络初始化，具有以下任一个或任几个特征：

所述第一阈值，取值为0.7；

所述第二阈值，取值为0.5；

所述L，取值为50。

7.根据权利要求5所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，所述步骤三，具体为：根据前一帧的跟踪结果，以前一帧跟踪结果为中心，利用高斯分布产生一系列候选目标区域，利用步骤二初始化后的适用于跟踪目标的卷积神经网络深度模型对这些候选区域进行评估，其中分数最高的即为当前帧的跟踪目标。

8.根据权利要求1所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，所述步骤四，具体为：在跟踪过程中，所有跟踪得分大于设定阈值a的帧被视为成功帧，并被用来选取所述适用于跟踪领域的通用卷积神经网络深度模型更新的训练样本，利用最新的K个成功帧来对所述适用于跟踪领域的通用卷积神经网络深度模型进行短期更新，而利用最新的M个成功帧对所述适用于跟踪领域的通用卷积神经网络深度模型进行长期更新以保证模型的稳定性，其中K、M为自然数且M大于K。

9.根据权利要求8所述的基于卷积神经网络在线学习的单目标跟踪方法，其特征在于，所述模型更新，具有以下任一个或任几个特征：

所述设定阈值，取值为0.5；

所述K，取值为5；

所述M，取值为60。

10.一种基于上述权利要求1-9任一项所述方法的基于卷积神经网络的单目标跟踪系统，其特征在于包括：

通用表达模型训练模块，该模块利用跟踪数据集对目标检测领域的卷积神经网络深度模型进行迁移学习，得到适用于跟踪领域的通用卷积神经网络深度模型，并能直接在后续的跟踪任务中使用；

网络初始化模块，该模块在跟踪任务开始时，对所述通用表达模型训练模块得到的所述适用于跟踪领域的通用卷积神经网络深度模型进行初始化；

在线跟踪模块，该模块基于所述适用于跟踪领域的通用卷积神经网络深度模型，采用在线跟踪的方法，对视频序列进行逐帧处理；

模型更新模块，对所述适用于跟踪领域的通用卷积神经网络深度模型进行在线更新，采用短期更新和长期更新结合的方法更新卷积神经网络参数。