CN106846364A - 一种基于卷积神经网络的目标跟踪方法及装置 - Google Patents

Abstract

本发明提出一种基于卷积神经网络的目标跟踪方法及装置，方法包括：构建卷积神经网络，该卷积神经网络包括多个特征共享层和一个特定分类层；离线训练：对于不同的带有目标标注的视频序列，采用不同的特定分类层与特征共享层进行训练并更新网络的参数，该网络的参数包括特定分类层的参数以及特征共享层的参数，直到网络收敛或者达到预先设定的迭代次数；对卷积神经网络更新并使用卷积神经网络从视频帧中获取最优的区域设为跟踪区域。本发明不仅克服了人工特征的不足，而且改善了普通卷积神经网络在跟踪问题中的缺陷，提高目标跟踪算法的鲁棒性。

Description

一种基于卷积神经网络的目标跟踪方法及装置

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于卷积神经网络的目标跟踪方法及装置。

背景技术

交通事故的高发在当今社会造成了极大的人身和财产安全问题，这使得对于高级驾驶辅助系统(ADAS)的研究与应用越发火热，其中防碰撞系统占据着十分重要的地位，对于前方存在的危险目标(如汽车、非机动车、行人等)的准确跟踪是行车安全的保障。

目标跟踪是计算机视觉中的一个基本问题。目前的目标跟踪算法大多采用人工设计特征，对目标生成特征模型，在搜索范围内寻找最符合目标特征模型的区域，并更新模型，可转化为二分类问题或者寻找最优问题。但目前的跟踪算法存在的一个问题是，使用低层次的人工设计特征无法获取目标的高级语义信息，而且在不同的视频序列中，不同目标的纹理与移动模式均有不同，对于光照变化或者部分遮挡等情况的鲁棒性不高，因此限制了跟踪的性能。近年来，卷积神经网络(CNN)在图像分类问题上取得了巨大的成功，将卷积神经网络的分类性能运用到跟踪问题中，通过深度的卷积神经网络训练可以学习到目标物体所表现出的高层次语义特征，解决了人工设计特征的不足，但一般的卷积神经网络并不能很好的区分同一类物体中的不同个体，容易造成跟踪错误。

发明内容

为此，本发明提出一种基于卷积神经网络的目标跟踪方法及装置，该方法及装置适用于多种环境中的目标跟踪，不仅克服了人工特征的不足，而且改善了普通卷积神经网络在跟踪问题中的缺陷，提高目标跟踪算法的鲁棒性。

具体方案如下：

一种基于卷积神经网络的目标跟踪方法，包括：

S1，构建卷积神经网络，该卷积神经网络包括多个特征共享层和一个特定分类层；

S2，进行离线训练，对于不同的带有目标标注的视频序列，采用不同的特定分类层与特征共享层进行训练并更新网络的参数，该网络的参数包括特定分类层的参数以及特征共享层的参数，直到网络收敛或者达到预先设定的迭代次数；

S3，对卷积神经网络更新并使用卷积神经网络从视频帧中获取最优的区域设为跟踪区域，具体步骤包括：

S31，以当前目标位置作为输入，保持特征共享层的参数不变，使用新的特定分类层与特征共享层组成新的卷积神经网络；

S32，在当前目标位置周围区域随机选取多个区域作为正样本，另外的多个区域作为负样本，保持部分特征共享层的参数不变进行训练更新，调整部分特征共享层的参数以及新的特定分类层的参数；

S33，从视频帧中根据高斯分布随机生成多个跟踪候选区域；

S34，使用卷积神经网络对多个跟踪候选区域评分，从中获取最优候选区域；

S35，若最优候选区域的评分大于一阈值，则将该最优候选区域设为跟踪区域，对跟踪区域进行标注，否则跳转至步骤S32，直至满足最优候选区域的评分大于一阈值，则将该最优候选区域设为跟踪区域，对跟踪区域进行标注。

进一步的，所述的步骤S31还包括分别设定新的卷积神经网络的更新时间以及更新周期，设当前的时间为t，该更新时间包括短更新时间t_s以及长更新时间t_l，该更新周期包括短更新周期T_s以及长更新周期T_l，并在执行所述的步骤S34后，执行如下步骤：

S36，若最优候选区域的评分大于一阈值，则将该最优候选区域设为跟踪区域，并且当前时间t＝t+1，否则跳转至步骤S32，直至满足最优候选区域的评分大于一阈值，则将该最优候选区域设为跟踪区域，对跟踪区域进行标注；

S37，如果t_s＞T_S，则t_s＝1，t_l＝t_l+1，并跳转至步骤S32，如果t_l＞T_l，则t_s＝t_s+1，t_l＝1，并跳转至步骤S32，否则t_s＝t_s+1，t_l＝t_l+1，并跳转至步骤S33。

进一步的，所述的特征共享层包括卷积层和前两个全连接层，所述的特定分类层为作为卷积神经网络输出的第三个全连接。

进一步的，所述的步骤S32中在当前目标位置周围区域随机选取多个区域作为正样本，另外的多个区域作为负样本具体指的是：在视频序列中每一帧的标注目标矩形框周围区域，选取若干IoU≥0.8的区域作为正样本，选取若干IoU≤0.5的区域作为负样本。

一种基于卷积神经网络的目标跟踪装置，包括：

处理器以及存储器；

所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，使得所述目标跟踪装置执行上述的基于卷积神经网络的目标跟踪方法。

本发明有益效果：1.本发明在步骤S2中，对于不同的带有目标标注的视频序列，采用不同的特定分类层与之前的特征共享层组成网络进行训练，直到网络收敛或者达到预先设定的迭代次数，通过这个训练过程使得特征共享层能够学习到不同目标在不同环境中所表现出的语义共性，克服了人工特征的不足。

2.本发明在步骤S3中，使用一个新的分类层代替训练阶段的特定分类层，与特征共享层组成跟踪网络，并对这个网络进行微调，以适应具体的跟踪环境；在更新网络时保持卷积层的参数不变，只更新全连接层的参数，这样不仅能够提高计算效率，而且避免产生过拟合；在跟踪时采取短期与长期的网络更新机制，应对目标在视频序列中的变化；更新时提取目标周围IoU≤0.5的区域作为负样本，这意味着即使当前目标周围存在与目标同类的物体也被当作负样本进行训练，这样使得跟踪网络可以根据当前的视频环境自适应地学习与更新目标的语义信息，并且具有区分同类物体中不同目标的能力，克服一般卷积神经网络不能区分同类物体中不同个体的缺陷，提高跟踪算法的鲁棒性。

综上所述，本发明采用卷积神经网络进行目标跟踪，构建了一个简单有效的网络结构，其中包含特征共享层与特定分类层，训练网络来学习目标的高级语义特征，将网络的输出作为跟踪结果的置信度，弥补传统人工特征的不足，并在一定条件下更新微调网络参数，改善普通卷积神经网络在跟踪问题中的缺陷，提高目标跟踪的鲁棒性。

附图说明

图1为本发明一实施例的神经网络结构图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。现结合附图和具体实施方式对本发明进一步说明。

由于在不同环境中，如光照条件变化，运动造成的模糊或者尺度的变化等，目标的纹理特征仍然表现出一些共性，但不同目标间存在差异。因此本发明一实施例设计的卷积神经网络包含两个部分，分别为特征共享层与特定分类层，如图1所示。3个卷积层conv1，conv2，conv3和2个全连接层fc4，fc5组成特征共享层，fc6^K为特定分类层。

不同于深层的卷积神经网络，本发明设计的网络比典型的被运用于图像分类的网络(如AlexNet、VGG-Nets等)小得多，这样的网络有如下四点优势：首先，跟踪问题旨在区分目标和背景两个类别，这可以减小网络模型的复杂度。其次，深层的网络使得目标的空间信息变得稀疏，这样不利于目标的准确定位。再者，跟踪的目标往往是场景中的一小部分，这使得网络的输入较小，自然也可以减少网络的层数。最后，一个小的网络显然降低了计算量，提高了目标跟踪的时效性。

本发明一实施例的基于卷积神经网络的目标跟踪方法包括离线训练和在线更新与跟踪两个部分，主要步骤如下：

1.离线训练卷积神经网络。

1.1本发明构建了一个用于目标跟踪的卷积神经网络，如图1所示，该网络包含3个卷积层conv1，conv2，conv3和3个全连接层fc4，fc5，fc6^K，3个卷积层的卷积模板深度分别为96×25×25，256×5×5，256×3×3，fc4和fc5层的深度均为512，fc6^K的深度为2，作为网络的输出。3个卷积层和前2个全连接层作为特征共享层，对于不同分类目标的跟踪，网络的前5层不变，第6层是特定分类层，对于不同分类K选用对应的fc6^K。

1.2采用随机梯度下降法在具有标注的视频序列中训练卷积神经网络，在视频中每一帧的标注目标矩形框周围区域，选取若干IoU≥0.8的区域作为正样本，选取若干IoU≤0.5的区域作为负样本(IoU为所选区域与标注矩形框的交叠率)，将选取的正负样本作为一批进行训练。设置卷积层的学习率为0.0001，全连接层的学习率为0.001，冲量系数(momentum)0.9，权重衰减(weight decay)0.0005在第n次迭代，选取第n％K个类别的批样本(例如K＝1代表汽车，K＝2代表非机动车，K＝3代表行人)，对由fc6^(n％K)层和之前各层组成的网络进行训练并更新参数。通过该离线训练的步骤使得特征共享层能够学习到不同目标在不同环境中所表现出的语义共性，克服了人工特征的不足。

2.使用网络进行在线跟踪。

2.1根据当前目标位置POS_t作为输入，保持网络的前5层参数不变，采用一个随机初始化的fc6层与前5层组成网络。设置当前的时间为t，短更新时间t_s＝1，长更新时间t_l＝1，短更新周期T_s＝20，长更新周期T_l＝100。该步骤中采取短期与长期的网络更新机制，能很好地应对目标在视频序列中的变化。

2.2在当前目标位置POSt周围区域随机选取50个IoU≥0.8的区域作为正样本，200个IoU≤0.5的区域作为负样本，固定conv1，conv2，conv3层的参数不变，训练更新，微调fc4，fc5，fc6层参数。采用这样的更新策略不仅了提高计算效率，而且避免过拟合的产生，更新时提取目标周围IoU≤0.5的区域作为负样本，意味着即使当前目标周围存在与目标同类的物体也被当作负样本进行训练，这样使得跟踪网络可以根据当前的视频环境自适应地学习与更新目标的语义信息，并且具有区分同类物体中不同目标的能力，克服一般卷积神经网络不能区分同类物体中不同个体的缺陷，提高跟踪算法的鲁棒性。

2.3根据高斯分布随机生成N＝256个候选区域位置和尺度均值为(x_t-1,y_t-1,s_t-1)，方差为(0.09r²,0.09r²,0.25)，r为在前一帧中目标区域宽和高的平均值。每一个候选区域的尺度为

2.4利用卷积神经网络估计N个候选区域的得分选取最优候选框

2.5如果画出当前跟踪区域矩形框，t＝t+1，否则转到步骤(2.2)。

2.6如果t_s＞T_S，那么t_s＝1，t_l＝t_l+1，转到步骤(2.2)，如果t_l＞T_l，那么t_s＝t_s+1，t_l＝1，转到步骤(2.2)。否则t_s＝t_s+1，t_l＝t_l+1，跳转步骤(2.3)。

在另外的一个实施例中，还提出一种基于卷积神经网络的目标跟踪装置，包括：

处理器以及存储器；

所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，使得所述目标跟踪装置执行上述的实施例的基于卷积神经网络的目标跟踪方法。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (5)

1.一种基于卷积神经网络的目标跟踪方法，其特征在于，包括：

S1，构建卷积神经网络，该卷积神经网络包括多个特征共享层和一个特定分类层；

S2，进行离线训练，对于不同的带有目标标注的视频序列，采用不同的特定分类层与特征共享层进行训练并更新网络的参数，该网络的参数包括特定分类层的参数以及特征共享层的参数，直到网络收敛或者达到预先设定的迭代次数；

S3，对卷积神经网络更新并使用卷积神经网络从视频帧中获取最优的区域设为跟踪区域，具体步骤包括：

S31，以当前目标位置作为输入，保持特征共享层的参数不变，使用新的特定分类层与特征共享层组成新的卷积神经网络；

S32，在当前目标位置周围区域随机选取多个区域作为正样本，另外的多个区域作为负样本，保持部分特征共享层的参数不变进行训练更新，调整部分特征共享层的参数以及新的特定分类层的参数；

S33，从视频帧中根据高斯分布随机生成多个跟踪候选区域；

S34，使用卷积神经网络对多个跟踪候选区域评分，从中获取最优候选区域；

S35，若最优候选区域的评分大于一阈值，则将该最优候选区域设为跟踪区域，对跟踪区域进行标注，否则跳转至步骤S32，直至满足最优候选区域的评分大于一阈值，则将该最优候选区域设为跟踪区域，对跟踪区域进行标注。

2.根据权利要求1所述的基于卷积神经网络的目标跟踪方法，其特征在于，所述的步骤S31还包括分别设定新的卷积神经网络的更新时间以及更新周期，设当前的时间为t，该更新时间包括短更新时间t_s以及长更新时间t_l，该更新周期包括短更新周期T_s以及长更新周期T_l，并在执行所述的步骤S34后，执行如下步骤：

S36，若最优候选区域的评分大于一阈值，则将该最优候选区域设为跟踪区域，并且当前时间t＝t+1，否则跳转至步骤S32，直至满足最优候选区域的评分大于一阈值，则将该最优候选区域设为跟踪区域，对跟踪区域进行标注；

S37，如果t_s＞T_S，则t_s＝1，t_l＝t_l+1，并跳转至步骤S32，如果t_l＞T_l，则t_s＝t_s+1，t_l＝1，并跳转至步骤S32，否则t_s＝t_s+1，t_l＝t_l+1，并跳转至步骤S33。

3.根据权利要求1所述的基于卷积神经网络的目标跟踪方法，其特征在于，所述的特征共享层包括卷积层和前两个全连接层，所述的特定分类层为作为卷积神经网络输出的第三个全连接层。

4.根据权利要求1所述的基于卷积神经网络的目标跟踪方法，其特征在于，所述的步骤S32中在当前目标位置周围区域随机选取多个区域作为正样本，另外的多个区域作为负样本具体指的是：在视频序列中每一帧的标注目标矩形框周围区域，选取若干IoU≥0.8的区域作为正样本，选取若干IoU≤0.5的区域作为负样本。

5.一种基于卷积神经网络的目标跟踪装置，包括：

处理器以及存储器；

所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，使得所述目标跟踪装置执行上述权利要求1至4任意一项所述的基于卷积神经网络的目标跟踪方法。