CN107689052A - 基于多模型融合和结构化深度特征的视觉目标跟踪方法 - Google Patents

Abstract

本发明属于模式识别与计算机视觉技术领域，公开了一种基于多模型融合和结构化深度特征的视觉目标跟踪方法，采用了多层结构化的深度网络特征对跟踪目标的外观进行建模，深度网络提取的特征对运动模糊等干扰因素具有更强的鲁棒性；结构化特征中的低层特征不仅有助于区分强干扰目标，而且能够使位置估计更加精确；结构化特征中的高层特征有助于将跟踪目标和背景分离。本发明采用了将长时和短时模型融合进行视觉目标跟踪，短时模型有助于提高位置估计的精度；短时模型有助于抑制和跟踪目标相似的强干扰目标。本发明具有精度高和鲁棒性强的优点；可用于视频监控、道路交通情况分析和人机交互等应用。

Description

基于多模型融合和结构化深度特征的视觉目标跟踪方法

技术领域

本发明属于模式识别与计算机视觉技术领域，尤其涉及一种基于多模型融合和结构化深度特征的视觉目标跟踪方法。

背景技术

视觉目标跟踪是计算机视觉领域中最基础的问题之一。随着信息技术的发展，视频成为了重要信息载体。大量的视频数据衍生出对于自动化视频分析和处理的需求，而目标跟踪就是其中需要解决的关键技术之一。由于视觉目标跟踪的输入仅仅是视频中的图像，因此容易受到视频拍摄质量的影响。根据目前公开的几个测试数据库对视频的分类情况，影响视频质量和跟踪难度的主要有：光照变化、尺度变化、遮挡、运动模糊、复杂背景、旋转和低分辨率等因素。从目前的研究结果来看，依靠单个模型的跟踪算法虽然能够较好地处理上述某些因素的变化，但是无法同时应对全部因素变化的问题。因此，研究如何综合不同模型的优点是视觉目标跟踪必须解决的问题之一。目前，视觉目标跟踪的研究成果主要分为以下两类：第一类为基于生成模型的视觉目标跟踪方法，将跟踪问题建模为寻找与目标物体最相似的区域，使用的算法通常是子空间法或者模板法，在跟踪的过程中动态更新外观模型。多伦多大学的Ross等利用增量主成分分析学习一个低维度的子空间，并根据每一帧跟踪的结果，增量更新该子空间以适应目标最新的外观变化。美国英特尔公司的Mei等建立了一个包含数个模板的集合，然后将可能的目标区域投影到由这些模板张成的空间里，即使用这些模板对输入区域进行稀疏表示，最后选择投影误差最小的一个区域作为输出。韩国首尔大学的Kwon等将观测模型和运动模型分解为一系列基础的子模型，每个子模型负责建模目标的一种变化。通过马尔科夫链蒙特卡洛方法将这些子模型整合到一起，所有模型并行运行且相互之间进行信息交换，使最终的结果更加准确。第二类为基于判别性模型的视觉目标跟踪方法，把跟踪问题看作是一个将目标物体和背景区分开来的二分类问题，同时使用目标和背景的信息训练分类器。Kalal等将跟踪问题分解为跟踪、学习和检测三个部分。他们设计了一种全新的正负学习方法来估计检测器的误差并进行相应的调整，而检测器则在跟丢时矫正跟踪器。美国加州大学的Babenko等用多实例学习替代了传统的监督学习，将多个正样本作为一个整体，减轻了因单一正样本的不精确带来的漂移现象，同时也避免了多个正样本之间的冗余。英国牛津大学的Henriques等利用滑窗得到的样本之间的冗余性训练一个相关滤波器来分离跟踪目标和背景。相关滤波的操作和卷积类似，因此可以借助快速傅里叶变换提升速度。英国剑桥大学的Bertinetto等将相关滤波器和颜色模型相结合，使用梯度直方图作为训练相关滤波器的特征。该方法既弥补了相关滤波器对于旋转等变化的不足，又解决了颜色模型受运动模糊等变化影响较大的问题。以上两种方法中，基于生成模型的方法因为没有利用背景的信息，因此在存在复杂背景的情况下，难以将目标分离出来，很大概率会跟踪到不相关的物体或背景上；而基于判别性模型的方法虽然有较强的分离目标和背景的能力，却受到在线样本数量少的限制，容易出现过拟合。

综上所述，现有技术存在的问题是：基于单种特征的外观模型难以完全描述跟踪目标，不能准确将目标和背景区分开来，在进行一段时间的跟踪后很可能会跟丢目标。另外，由于在线更新模型可用的样本较少，目前主流的基于判别性模型的跟踪方法容易过拟合，导致对目标位置的估计精度降低。

发明内容

针对现有技术存在的问题，本发明提供了一种基于多模型融合和结构化深度特征的视觉目标跟踪方法。

本发明是这样实现的，一种基于多模型融合和结构化深度特征的视觉目标跟踪方法，所述基于多模型融合和结构化深度特征的视觉目标跟踪方法包括：

(1)构造理想相关滤波的结果作为后续训练的参考输出；

(2)根据第一帧标定的目标位置，在第一帧图像上裁剪出包含目标的图像块，对该图像块提取不同层的深度卷积神经网络特征；对参考输出和深度特征做快速傅里叶变换，计算每一层特征对应的精确滤波器并初始化长时和短时模型；

(3)跟踪过程中，根据目标在上一帧的位置提取结构化深度特征，分别用长时和短时模型对特征进行滤波，将滤波结果逐点相乘得到位置估计的置信图，选择置信图中值最大的点作为当前帧位置预测的结果；

(4)根据新的目标位置提取特征并计算精确滤波器，以加权平均的方式分别更新长时和短时模型。

进一步，所述基于多模型融合和结构化深度特征的视觉目标跟踪方法包括以下步骤：

第一步，构造理想的相关滤波输出作为后续训练的参考输出g，对g做快速傅里叶变换得到G；

第二步，根据第一帧标定的目标位置，在第一帧图像上裁剪出目标图像块，对图像块提取不同层的深度卷积神经网络特征作为结构化特征f_i,i＝1,2,...,n；

第三步，对于第i层特征f_i做快速傅里叶变换得到F_i，用G和F_i的点乘除以F_i自身的点乘，得到第i层特征对应的精确滤波器的傅里叶变换H_i；用H_i,i＝1,2,...,n同时作为长时和短时模型的初始值H^l和H^s；

第四步，对于第t帧图像，根据第t-1帧输出的目标位置，提取结构化的深度特征，并对特征做快速傅里叶变换得到Z_i,i＝1,2,...,n；用长时模型和特征Z_i进行点积，对乘积进行傅里叶反变换得到长时模型的滤波输出结果，将输出加权平均得到一张置信图；得到短时模型输出的置信图，将两张置信图的值逐点相乘，选择置信图上最大值点的位置作为本帧跟踪的结果；

第五步，根据目标新的位置，在当前帧上提取结构化深度特征；计算当前帧对应的精确滤波器，以加权的方式分别更新长时和短时模型。

进一步，所述第四步具体包括：

(1)对于第t帧，以第t-1帧目标的位置为中心，提取结构化深度特征；

(2)对提取的特征的每一层做快速傅里叶变换，分别用长时和短时模型对特征进行滤波，将滤波结果的零频率分量平移到中心并做快速傅里叶反变换得到时域的滤波结果；对长时和短时模型的多层滤波结果分别做加权，合并为单层的响应图；将长时和短时模型的置信图逐点相乘；

(3)找出合并后的置信图中值最大的点，用该点的横纵坐标分别减去目标的长和宽的一半，得到最终目标平移分量的估计；将平移分量的估计加到第t-1帧中目标的位置上，就得到了第t帧里目标的位置估计。

进一步，所述第五步具体包括：

步骤一，以预测的目标位置为中心，提取结构化深度特征；

步骤二，计算精确滤波器H；

步骤三，对于长时模型，设学习率为η，更新模型为H^l(t)＝(1-η)H^l(t-1)+ηH；

步骤四，对于短时模型，先将H添加到缓存的列表Q，若Q中滤波器的数量超过P，则移除加入时间最早的一个滤波器；对Q中的一个滤波器，对应的帧数为t-k，则赋予其一个系数(1-η)^k,k≠0；当k＝0时，赋予其η；用Q中的每一个滤波器乘以各自的系数并求和，得到更新后的短时模型。

本发明的另一目的在于提供一种应用所述基于多模型融合和结构化深度特征的视觉目标跟踪方法的视频监控系统。

本发明的另一目的在于提供一种应用所述基于多模型融合和结构化深度特征的视觉目标跟踪方法的道路交通情况分析控制系统。

本发明的另一目的在于提供一种应用所述基于多模型融合和结构化深度特征的视觉目标跟踪方法的人机交互控制系统。

本发明的优点及积极效果为：采用了多层结构化的深度网络特征对跟踪目标的外观进行建模，深度网络提取的特征对运动模糊等干扰因素具有更强的鲁棒性；结构化特征中的低层特征不仅有助于区分强干扰目标，而且能够使位置估计更加精确；结构化特征中的高层特征有助于将跟踪目标和背景分离。

本发明采用了将长时和短时模型融合进行视觉目标跟踪，短时模型有助于提高位置估计的精度；短时模型有助于抑制和跟踪目标相似的强干扰目标。

实验仿真结果表明：本发明与基于梯度直方图的KCF跟踪方法相比，跟踪的平均检测精度提高了17.4％。本发明与基于单个长时模型的HCF跟踪方法比，跟踪的平均检测精度提高了2.9％。

综上所述，本发明实现了对多种变化下的跟踪目标准确描述，通过多个模型的协作增强算法的鲁棒性，从而提高跟踪的准确度。

附图说明

图1是本发明实施例提供的基于多模型融合和结构化深度特征的视觉目标跟踪方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于多模型融合和结构化深度特征的视觉目标跟踪方法包括以下步骤：

S101：构造理想相关滤波的结果作为后续训练的参考输出；

S102：根据第一帧标定的目标位置，在第一帧图像上裁剪出包含目标的图像块，对该图像块提取不同层的深度卷积神经网络特征；对参考输出和深度特征做快速傅里叶变换，计算每一层特征对应的精确滤波器并初始化长时和短时模型；

S103：跟踪过程中，根据目标在上一帧的位置提取结构化深度特征，分别用长时和短时模型对特征进行滤波，将滤波结果逐点相乘得到位置估计的置信图，选择置信图中值最大的点作为当前帧位置预测的结果；

S104：根据新的目标位置提取特征并计算精确滤波器，以加权平均的方式分别更新长时和短时模型。

本发明实施例提供的基于多模型融合和结构化深度特征的视觉目标跟踪方法具体包括以下步骤：

步骤1，构造参考输出G。

以第一帧中标定的目标的中心位置为中心生成一个二维的高斯函数，取参考滤波输出的大小和标定的目标大小相同，参考输出G的每一点的值即为该高斯函数对应点的值。

步骤2，提取结构化深度特征。

以第一帧标定的目标的中心位置为中心，以跟踪目标尺寸两倍的大小为搜索范围，在第一帧图像上裁剪出图像块。将图像块输入深度神经网络，提取不同池化层前一层的输出作为特征，对每层特征使用余弦窗函数进行加权。将加权后的特征缩放到与参考输出G同样的大小。

步骤3，初始化长时和短时跟踪模型。

对提取的结构化特征的每一层f_i,i＝1,2,...,n，对其做快速傅里叶变换得到其在频域的表示F_i。以F_i和参考输出G为样本，计算精确滤波器：

其中λ为一个白噪声参数。将长时和短时模型的值都初始化为该精确滤波器，即H^l(1)＝H，H^s(1)＝H。初始化一个缓存滤波器的列表Q，将H^s(1)加入该列表Q。

步骤4，预测目标位置。

对于第t帧，以第t-1帧目标的位置为中心，用与步骤2相同的方式提取结构化深度特征；

对提取的特征的每一层做快速傅里叶变换，分别用长时和短时模型对特征进行滤波，将滤波结果的零频率分量平移到中心并做快速傅里叶反变换得到时域的滤波结果。对长时和短时模型的多层滤波结果分别做加权，合并为单层的响应图，即置信图。最后将长时和短时模型的置信图逐点相乘；

找出合并后的置信图中值最大的点，用该点的横纵坐标分别减去目标的长和宽的一半，得到最终目标平移分量的估计。将平移分量的估计加到第t-1帧中目标的位置上，得到第t帧里目标的位置估计。

步骤5，在线更新模型。

以步骤4预测的目标位置为中心，用与步骤2相同的方式提取结构化深度特征；

用与步骤3相同的方式计算精确滤波器H；

对于长时模型，设学习率为η，更新模型为H^l(t)＝(1-η)H^l(t-1)+ηH；

对于短时模型，先将H添加到缓存的列表Q，若Q中滤波器的数量超过P，则移除加入时间最早的一个滤波器。对Q中的一个滤波器，假设其对应的帧数为t-k，则赋予其一个系数(1-η)^k,k≠0；当k＝0时，赋予其η。最后，用Q中的每一个滤波器乘以各自的系数并求和，得到更新后的短时模型。

下面结合实验对本发明的应用效果作详细的描述。

1、实验条件

本发明的实验是在加州大学Wu等收集的视觉跟踪器基准测试集上进行的。该数据库包含100个自然场景下拍摄的视频，视频是以图片序列的形式提供的。每个序列的长度从70多张到3000多张不等，包含了光照变化、尺度变化、遮挡、运动模糊、复杂背景、旋转和低分辨率这些变化中的一种或多种。

实验中比较了基于梯度直方图和核化相关滤波器的KCF、基于多专家集合的MEEM以及基于深度特征和相关滤波器的HCF。比较的准则是平均检测精度和平均重叠精度。平均检测精度是指跟踪器预测的位置和实际位置之间距离小于20个像素占所有预测的比例，而平均重叠精度是指预测输出的目标边框与实际边框的交并比大于50％占所有预测的比例。

2、实验结果，如表1所示。

表1视觉目标跟踪结果比较(％)

	KCF	MEEM	HCF	本发明的方法
					平均检测精度	69.2	78.1	83.7	86.6
平均重叠精度	54.8	62.2	65.6	68.0

由表1可以看出，基于深度特征的方法HCF和本发明的方法要比不使用深度特征的方法好，这表明相比于梯度直方图等手工特征，深度网络提取的特征能更好地描述跟踪目标、鲁棒性更强。与使用单一长时模型的方法HCF相比，本发明引入和短时模型，能够更快地适应目标的变化，平均检测精度和平均重叠精度分别提高了2.9％和2.4％。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多模型融合和结构化深度特征的视觉目标跟踪方法，其特征在于，所述基于多模型融合和结构化深度特征的视觉目标跟踪方法包括：

(1)构造理想相关滤波的结果作为后续训练的参考输出；

(2)根据第一帧标定的目标位置，在第一帧图像上裁剪出包含目标的图像块，对该图像块提取不同层的深度卷积神经网络特征；对参考输出和深度特征做快速傅里叶变换，计算每一层特征对应的精确滤波器并初始化长时和短时模型；

(3)跟踪过程中，根据目标在上一帧的位置提取结构化深度特征，分别用长时和短时模型对特征进行滤波，将滤波结果逐点相乘得到位置估计的置信图，选择置信图中值最大的点作为当前帧位置预测的结果；

(4)根据新的目标位置提取特征并计算精确滤波器，以加权平均的方式分别更新长时和短时模型。

2.如权利要求1所述的基于多模型融合和结构化深度特征的视觉目标跟踪方法，其特征在于，所述基于多模型融合和结构化深度特征的视觉目标跟踪方法包括以下步骤：

第一步，构造理想的相关滤波输出作为后续训练的参考输出g，对g做快速傅里叶变换得到G；

第二步，根据第一帧标定的目标位置，在第一帧图像上裁剪出目标图像块，对图像块提取不同层的深度卷积神经网络特征作为结构化特征f_i,i＝1,2,...,n；

第三步，对于第i层特征f_i做快速傅里叶变换得到F_i，用G和F_i的点乘除以F_i自身的点乘，得到第i层特征对应的精确滤波器的傅里叶变换H_i；用H_i,i＝1,2,...,n同时作为长时和短时模型的初始值H^l和H^s；

第四步，对于第t帧图像，根据第t-1帧输出的目标位置，提取结构化的深度特征，并对特征做快速傅里叶变换得到Z_i,i＝1,2,...,n；用长时模型和特征Z_i进行点积，对乘积进行傅里叶反变换得到长时模型的滤波输出结果，将输出加权平均得到一张置信图；得到短时模型输出的置信图，将两张置信图的值逐点相乘，选择置信图上最大值点的位置作为本帧跟踪的结果；

第五步，根据目标新的位置，在当前帧上提取结构化深度特征；计算当前帧对应的精确滤波器，以加权的方式分别更新长时和短时模型。

3.如权利要求2所述的基于多模型融合和结构化深度特征的视觉目标跟踪方法，其特征在于，所述第四步具体包括：

(1)对于第t帧，以第t-1帧目标的位置为中心，提取结构化深度特征；

(2)对提取的特征的每一层做快速傅里叶变换，分别用长时和短时模型对特征进行滤波，将滤波结果的零频率分量平移到中心并做快速傅里叶反变换得到时域的滤波结果；对长时和短时模型的多层滤波结果分别做加权，合并为单层的响应图；将长时和短时模型的置信图逐点相乘；

(3)找出合并后的置信图中值最大的点，用该点的横纵坐标分别减去目标的长和宽的一半，得到最终目标平移分量的估计；将平移分量的估计加到第t-1帧中目标的位置上，就得到了第t帧里目标的位置估计。

4.如权利要求2所述的基于多模型融合和结构化深度特征的视觉目标跟踪方法，其特征在于，所述第五步具体包括：

步骤一，以预测的目标位置为中心，提取结构化深度特征；

步骤二，计算精确滤波器H；

步骤三，对于长时模型，设学习率为η，更新模型为H^l(t)＝(1-η)H^l(t-1)+ηH；

步骤四，对于短时模型，先将H添加到缓存的列表Q，若Q中滤波器的数量超过P，则移除加入时间最早的一个滤波器；对Q中的一个滤波器，对应的帧数为t-k，则赋予其一个系数(1-η)^k,k≠0；当k＝0时，赋予其η；用Q中的每一个滤波器乘以各自的系数并求和，得到更新后的短时模型。

5.一种应用权利要求1～4任意一项所述基于多模型融合和结构化深度特征的视觉目标跟踪方法的视频监控系统。

6.一种应用权利要求1～4任意一项所述基于多模型融合和结构化深度特征的视觉目标跟踪方法的道路交通情况分析控制系统。

7.一种应用权利要求1～4任意一项所述基于多模型融合和结构化深度特征的视觉目标跟踪方法的人机交互控制系统。