CN107292914A - 基于小型单支卷积神经网络的视觉目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于小型单支卷积神经网络的视觉目标跟踪方法，其主要技术特点是：搭建小型单支卷积神经网络；设计损失函数用于卷积神经网络的训练；对测试序列进行目标跟踪，当新视频帧到来时，根据损失函数的结果判断网络参数的更新与否；将卷积神经网络的输出结果送给二元分类器，预测出目标位置。本发明利用了深度卷积网络对目标物体强大的表示能力，构建小型单支卷积神经网络，提出新的损失函数和更新策略，增加了整体算法的跟踪精度，提高了跟踪结果的稳定性以及跟踪速率，获得了很好的目标跟踪结果。

Description

基于小型单支卷积神经网络的视觉目标跟踪方法

技术领域

本发明属于视觉目标跟踪技术领域，尤其是一种基于小型单支卷积神经网络的视觉目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域中非常重要的一个研究课题，并被广泛应用于军事和人们日常生活中的各个领域，如制导系统、人机交互、智能交通、视觉导航、图像压缩、视频监控以及视频分析等等。因此对目标跟踪算法的研究，具有重要的军事、商业价值。

目标跟踪是指对视频中的目标进行定位，获得目标的位置和大小等信息，为对目标做进一步的分析与理解提供帮助，如目标识别、目标分类以及基于视频内容的分析等等。随着更多高级视觉任务需求的不断增长，目标跟踪算法的研究成为计算机视觉领域的一个研究热点。同时因为计算机计算能力的大幅度提高、廉价高性能摄像头的广泛应用，也使得复杂但更精确和稳健的跟踪算法得以实现。

经过几十年的发展，目标跟踪在计算机视觉领域取得了十足的进步。尤其在当前深度学习大热的环境下，由于卷积神经网络里的深卷积层能够同时保留空间和结构信息，更有利于图像分类；浅卷积层提供更高的空间分辨率，对准确地目标定位至关重要，更适合于视觉跟踪，所以将深度学习应用到目标跟踪领域吸引了众多学者的研究。Ran Tao等人提出SINT(R.Tao,E.Gavves,and A. W.M.Smeulders,“Siamese instance search fortracking,”pp.1420–1429,2016.) 算法，作者构建了一个两支“双胞胎网络”，没有传统目标跟踪算法所需的目标区域的表示、目标模型的表示、目标的搜索机制、模型更新的机制，直接将当前帧的候选样本与第一帧通过学习到的匹配函数计算相似度，相似度最高的即为当前帧目标的位置；如果相似物体出现或者目标物体发生形变，只将当前帧与第一帧进行相似度计算则会发生失败。GOTURN算法(D.Held,S.Thrun,and S.Savarese,“Learning totrack at 100 fps with deep regression networks,”arXiv preprint arXiv:1604.01802,2016.)提出了离线训练网络进行目标跟踪的方法，而且在跟踪过程中不对网络参数进行微调更新，每次只输入两张图片——已预测出的前一帧目标的位置区和当前帧的搜索区域，通过这样的跟踪机制，此方法将跟踪速率提高到了100帧每秒，这是基于深度网络的目标跟踪方法很难达到的速率；但是没有模板更新会或多或少地影响跟踪精度。最值得注意地，MDNet 算法(H.Nam and B.Han,“Learning multi-domain convolutionalneural networks for visual tracking,”arXiv preprint arXiv:1510.07945,2015.)是目前跟踪精度最高的方法，它将每一个跟踪序列视为一个域，学习不同的浅网络层参数，共享深网络层参数，解决了相似物体在不同序列里是目标还是背景的问题，同时本方法采用的长-短时更新机制使得跟踪结果的精度得到大幅提升；但是这种更新机制特别耗时，无法做到实时跟踪。

虽然目标跟踪算法经过了几十年的发展，但是要实现长期稳健实时的跟踪算法还是受到很多的限制。目标跟踪技术还是存在很多的挑战，如形变、遮挡、光照变化、旋转等，难以达到稳定的跟踪效果。

发明内容

本发明的目地在于克服现有技术的不足，提出一种设计合理、精度高且稳定性强的基于小型单支卷积神经网络的视觉目标跟踪方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于小型单支卷积神经网络的视觉目标跟踪方法，包括以下步骤：

步骤1、搭建小型单支卷积神经网络；

步骤2、设计损失函数用于卷积神经网络的训练；

步骤3、对测试序列进行目标跟踪，当新视频帧到来时，根据损失函数的结果判断网络参数的更新与否；

步骤4、将卷积神经网络的输出结果送给二元分类器，预测出目标位置；新的一帧到来，返回步骤3。

所述步骤1搭建小型单支卷积神经网络为如下五层结构：

第一层为卷积层1，该层参数为：98@7*7，st.1，LRN，*3pool；

第二层为卷积层2，该层参数为：256@5*5，st.1,*2pool；

第三层为卷积层3，该层参数为：512@3*3，st.1；

第四层为全连接层4，该层参数为：512，Dropout；

第五层为全连接层5，该层参数为：512，Dropout；

每一层的激活函数均采用Rectified LinearUnit函数。

所述步骤2的损失函数如下：

其中，α定义为重叠率r(x)是区域x的面积，x_g是每一帧目标的真实位置，∩和∪分别表示交集和并集运算；x_n是当前帧输入到网络的样本块，y_n是相对应的样本标签，表示如下：

f(x_n)∈R是每个样本块通过网络之后输出的分数，则每一帧全部N个采样样本的损失函数值通过计算得到。

所述步骤3的实现方法包括以下步骤：

步骤3.1、计算当前帧的损失函数值：在跟踪过程中，当新视频帧到来时，在上一帧预测的目标位置处进行高斯分布的样本采样，此时重叠率 是上一帧预测得到的目标位置区域；

步骤3.2、判断损失函数值与更新阈值2E的大小；若损失函数结果大于所设阈值，则进行网络参数的更新；若损失函数结果小于所设阈值，则不更新网络参数；从而得到卷积神经网络的输出结果。

所述步骤4的具体方法为：将卷积神经网络的输出结果送给二元分类器，得到每个样本的分数f(x_n)，采用如下公式预测出当前帧目标的位置：

其中，x_n是当前第t帧采样得到的N个样本。

本发明的优点和积极效果是：

本发明利用深度卷积网络对目标物体强大的表示能力，提出新的卷积神经网络和更新策略，其通过搭建一个不同于以往的大型卷积神经网络或者“双胞胎网络”的小型单支卷积神经网络用于目标跟踪，训练此网络节省了大量时间；提出的新的损失函数，使得正负样本在训练以及跟踪过程中发挥最大的作用；同时，在跟踪过程中更新模板时，采用了一种“有必要才更新”的策略，进一步提高了跟踪速率。本发明利用了深度卷积网络对目标物体强大的表示能力，构建小型单支卷积神经网络，提出新的损失函数和更新策略，增加了整体算法的跟踪精度，提高了跟踪结果的稳定性以及跟踪速率，获得了很好的目标跟踪结果。

附图说明

图1是本发明提出的目标跟踪算法的流程图；

图2是本发明与其他不同算法在测试序列上获得的跟踪结果AUC曲线对比图；

图3是本发明与其他不同算法的跟踪结果对比图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

一种基于小型单支卷积神经网络的视觉目标跟踪方法，利用深度卷积网络对目标物体强大的表示能力，提出新的卷积神经网络和更新策略，使得目标跟踪结果更加准确，同时提高了目标跟踪速率。如图1所示，本发明包括以下步骤：

步骤1、搭建的小型单支卷积神经网络结构如下：

其中，层参数包括：“num@size*size”，“st.”，“LRN”和“*npool”，分别表示每个卷积层滤波器的数量和尺寸、卷积步长、局部相应规范化、池化步长。每一层的激活函数使用的是Rectified Linear Unit(ReLU)函数。

上述只有五层的卷积神经网络的小型单支卷积神经网络结构，可大大地缩短网络的训练时间。

步骤2、设计如下损失函数用于卷积神经网络的训练，并跟踪过程中判断是否更新网络参数：

其中，α定义为重叠率r(x)是区域x的面积，xg是每一帧目标的真实位置，∩和∪分别表示交集和并集运算；x_n是当前帧输入到网络的样本块，y_n是相对应的样本标签：

f(x_n)∈R是每个样本块通过网络之后输出的分数，则每一帧全部由高斯采样得到的N个采样样本的损失函数值通过计算得到。另外，系数4(α-0.5)²∈[0，1] 的设计度量了训练样本的重要性，比如，那些候选样本块中心非常远离或者接近目标中心的样本发挥比较关键的作用，而介于两者中间的样本则相对不是很重要。

由于l1损失使得误差具有稀疏解，l2损失使得误差尽可能小，处理物体形变非常有效，所以，这里l损失使用的是l1l2损失，对于物体形状的突变或者缓慢变化都十分有效。训练目标就是使损失函数值小于阈值ε。

训练的时候，我们进行高斯采样的样本数N为128，包括32个正样本，96 个负样本，样本框与真实目标框的整叠率大于0.7的标记为正样本，小于0.5的标记为负样本，卷积层的学习率为1e-5，全连接层的学习率是卷积层学习率的 10倍，迭代次数为300，ε值的大小设置为0.05。

步骤3、小型单支卷积神经网络训练完成，对测试序列进行目标跟踪，根据损失函数的结果判断网络参数的更新与否。具体方法为：

(1)、计算当前帧的损失函数值。跟踪过程中，来了一个新的视频帧，在上一帧预测的目标位置处进行高斯分布的样本采样，此时重叠率 是上一帧预测得到的目标位置区域。

(2)、判断损失函数值与更新阈值2E的大小。若损失函数结果大于所设阈值，则进行网络参数的更新；若损失函数结果小于所设阈值，则不更新网络参数。得到卷积神经网络的输出结果。

步骤4、将卷积神经网络的输出结果送给二元分类器，得到每个样本的分数 f(x_n)，随即便可预测出当前帧目标的位置：

x_n是当前第t帧高斯采样得到的全部N(＝128)个样本。

下面按照本发明的方法进行实验，以说明本发明的实验效果。

测试环境：MATLAB R2015b；使用MatConvNet工具包。

测试序列：所选序列和其对应标准跟踪位置图来自数据集OTB-100(Y.Wu, J.Lim,and M.H.Yang,“Object tracking bench-mark,”PAMI,vol.37,no.9,pp. 1834–1848,2015.)，其中，80个序列用于训练卷积神经网络。其余的20个序列用来进行测试，如下表所示：

测试指标：本发明使用了两种评价指标：中心位置误差(centerlocation error，CLE)和重叠面积比率(Pascal VOC Overlap Ratio，VOR)，分别对应于准确率曲线(theprecision plot)和成功率曲线(the success plot)。测试曲线如图2所示，曲线与坐标轴下面围成的面积越大，说明跟踪效果越好。其中CLE是中心位置误差，表示跟踪到的目标位置和真实的标注位置的中心位置像素距离。CLE忽略了目标大小的影响，作为补充考虑VOR准则，VOR定义为跟踪的目标区域和真实区域的交集和并集的比值。通常，以CLE＝20判断跟踪到的目标位置是否准确，即若跟踪结果的中心位置和目标的真实位置的距离小于20个像素，则认为对目标的位置估计准确；以VOR>0.5作为判断是否跟踪成功的依据。针对具体数据结果见下表：

	Ours	MDNet	C-COT	DeepSRDCF	HCF
						CLE	0.917	0.901	0.859	0.821	0.795
VOR	0.851	0.846	0.791	0.789	0.615

通过上表以及图2、图3可以看出，采用本发明进行目标跟踪相对于其他方法具有一定的优越性。在图2中，算法越靠上说明其鲁棒性越好，该图可以直观地看出每一个算法的综合能力。本发明所提出的算法相对于较有名的MDNet、 C-COT等算法在这些测试序列上都取得更好效果。图3中，所展示的测试序列包含了光照变化(“Basketball”,“Matrix”,“Shaking”)，尺度变换(“Couple”, “Freeman3”,“Girl2”,“MotorRolling”)，遮挡(“Basketball”,“Girl2”,“Shaking”)，目标形变(“Basketball”,“Bolt2”,“Couple”,“Girl2”)，运动模糊(“Girl2”,“Matrix”, “MotorRolling”)，背景杂乱(“Bolt2”,“MotorRolling”)，快速运动(“Couple”, “Matrix”,“MotorRolling”)等挑战。很明显地能够看出本方法在这些序列上都取得了较好的实验结果，说明本方法在面临这些目标跟踪挑战时具有很好的鲁棒性。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (5)

1.一种基于小型单支卷积神经网络的视觉目标跟踪方法，其特征在于包括以下步骤：

步骤1、搭建小型单支卷积神经网络；

步骤2、设计损失函数用于卷积神经网络的训练；

步骤3、对测试序列进行目标跟踪，当新视频帧到来时，根据损失函数的结果判断网络参数的更新与否；

步骤4、将卷积神经网络的输出结果送给二元分类器，预测出目标位置；新的一帧到来，返回步骤3。

2.根据权利要求1所述的基于小型单支卷积神经网络的视觉目标跟踪方法，其特征在于：所述步骤1搭建小型单支卷积神经网络为如下五层结构：

第一层为卷积层1，该层参数为：98@7*7，st.1，LRN，*3pool；

第二层为卷积层2，该层参数为：256@5*5，st.1,*2pool；

第三层为卷积层3，该层参数为：512@3*3，st.1；

第四层为全连接层4，该层参数为：512，Dropout；

第五层为全连接层5，该层参数为：512，Dropout；

每一层的激活函数均采用Rectified LinearUnit函数。

3.根据权利要求1所述的基于小型单支卷积神经网络的视觉目标跟踪方法，其特征在于：所述步骤2的损失函数如下：

其中，α定义为重叠率r(x)是区域x的面积，x_g是每一帧目标的真实位置，∩和∪分别表示交集和并集运算；x_n是当前帧输入到网络的样本块，y_n是相对应的样本标签，表示如下：

f(x_n)∈R是每个样本块通过网络之后输出的分数，则每一帧全部N个采样样本的损失函数值通过计算得到。

4.根据权利要求1所述的基于小型单支卷积神经网络的视觉目标跟踪方法，其特征在于：所述步骤3的实现方法包括以下步骤：

步骤3.1、计算当前帧的损失函数值：在跟踪过程中，当新视频帧到来时，在上一帧预测的目标位置处进行高斯分布的样本采样，此时重叠率 是上一帧预测得到的目标位置区域；

步骤3.2、判断损失函数值与更新阈值2E的大小；若损失函数结果大于所设阈值，则进行网络参数的更新；若损失函数结果小于所设阈值，则不更新网络参数；从而得到卷积神经网络的输出结果。

5.根据权利要求1所述的基于小型单支卷积神经网络的视觉目标跟踪方法，其特征在于：所述步骤4的具体方法为：将卷积神经网络的输出结果送给二元分类器，得到每个样本的分数f(x_n)，采用如下公式预测出当前帧目标的位置：

<mrow> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mi>t</mi> </msub> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>g</mi> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <msub> <mi>x</mi> <mi>n</mi> </msub> </munder> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> </mrow>

其中，x_n是当前第t帧采样得到的N个样本。