CN109410249B - 一种结合深度特征与手绘特征自适应的目标追踪方法 - Google Patents

Abstract

一种结合深度特征与手绘特征自适应的目标物体的追踪方法。该方法采用相关滤波追踪框架，并同时提取基于神经网络的深度特征和传统的手绘特征，并根据特征的置信值选择有效特征，为了克服目标追踪过程中所产生的目标大小变化，提出了在多尺度模型的自适应大小策略。同时使用CNNs特征和手绘特征两种不同类型的特征，利用相关滤波模型易用于多通道特征的特点，采用投票机制来选择最适合场景的特征，除此之外，引入多尺度的适配模型，来对目标追踪中所产生的尺寸变化进行调节，增强了算法的鲁棒性和准确度。

Description

一种结合深度特征与手绘特征自适应的目标追踪方法

技术领域

本发明涉及视频处理技术，特别是一种结合深度特征与手绘特征自适应的目标物体的追踪方法。该方法采用相关滤波追踪框架，并同时提取基于神经网络的深度特征和传统的手绘特征，并根据特征的置信值选择有效特征，为了克服目标追踪过程中所产生的目标大小变化，提出了在多尺度模型的自适应大小策略。

背景技术

目标追踪技术是计算机视觉领域的基础研究技术，广泛应用于智能交通，行人统计，自动驾驶等各个领域。目标追踪是对视频进行智能分析的关键一步，一般来说，目标追踪的基本过程是，先在第一帧中给定需要追踪目标的初始位置，再在后续连续的视频帧中预测出目标所在的位置。在对于目标追踪的研究中，主要的追踪模型总结为两种模型：生成模型和判别式模型。生成模型的主要技术通过在候选目标中选出相似度最大的那一个，而判别式主要思想就是通过训练来从背景中区分出前景目标来。

在一般的相关滤波追踪模式中，主要存在两大问题：1)特征不够强大，当目标发生遮挡、旋转、形变等具有挑战的变化时，所选择的特征无法很好的描述目标。2)无法克服尺度变化的影响，当目标接近摄像机是，目标的尺寸会由小变大，当目标远离摄像头时，目标的尺寸会由大变小，一般的相关滤波通常采用固定的目标大小进行追踪，对追踪的精度会产生较大的影响。

深度特征可以从已经在大规模数据集训练好的模型中提取，本发明采用的是在ImageNet 预训练好的VGG-19模型，并从中提取出CNNs特征。CNNs特征是由深度神经网络经过大规模训练自主学习的，深层的CNNs特征具有很强的表现力，可以描述高层次的语义信息。由于深度神经网络是通过自主学习来调节参数的，因此普遍存在着黑盒子现象，对于内部参数如何分布，学习到的特征是怎样的，很难解释清楚。不同于深度特征的可解释性差的特点，手绘特征已经成功应用于计算机视觉数十年，它是人类精心设计或总结的，具有很强的逻辑性和可解释性。本发明采用的是手绘特征具有代表性的两种特征，一种是基于计算和统计的 HOG特征，另一种是基于色彩信息的HSI特征。通过大量测试研究发现，CNNs特征和手绘特征在不同的场景中，表现的不同。基于相关滤波追踪模型分别对CNNs特征和手绘特征进行测试，发现CNNs在富有挑战场景，例如目标发上旋转，如图1所示，当目标形态发生较大变化时，目标发生反转，目标的形态已发生剧烈变化，一般的追踪算法往往会丢失目标，造成跟踪失败，对于不同手绘特征来说已经无法描述，而深度特征确能很好的描述二者同属于目标。而手绘特征在大多数普通场景表现的比深度特征好，在目标追踪场景下，大多数处于在普通场景下，只有少数帧出现具有挑战性的场景，将CNNs特征和手绘特征相互结合，可以适应更多的场景，提高整个追踪的精确度。

发明内容

本发明的目的是提供一种视频序列的目标追踪方法，同时使用CNNs特征和手绘特征两种不同类型的特征，利用相关滤波模型易用于多通道特征的特点，采用投票机制来选择最适合场景的特征，除此之外，引入多尺度的适配模型，来对目标追踪中所产生的尺寸变化进行调节，增强了算法的鲁棒性和准确度。

本发明的原理是：1)分别利用深度神经网络和手绘特征框架对图片提取深度特征和手绘特征；2)利用相关滤波作为追踪框架输出候选目标；3)在仿射空间进行候选目标的相似度比对；4)多尺度适配模型的采样。

在本发明中，通过上述途径解决以下两大问题：1)将深度CNN网路提取到的深度特征和传统的手绘特征相结合来进行追踪；2)采用多尺度模型来克服在追踪过程中尺度变化的问题。

本发明是基于判别式的相关滤波追踪模式，相关滤波是一种依据空间上下文信息，对于与目标相似度大的位置会产生较高的响应(correlation peak)，而背景信息则响应较低。

本发明提供的技术方案如下：

本发明提供两种目标外观模型，一个是基于CNNs特征的外观模型，另一种是基于手绘特征的外观模型。之后，将两种模型的候选目标投影到仿射空间上，在仿射空间上，利用贝叶斯模型去评估两种候选模型与模板的相似度，模板由初始帧提供，然后根据相似度的评分选取目标。除此之外，本发明还提供一个有效的框架尺寸自适应策略，利用相邻帧目标尺寸变化较小，有规律的特点，以渐进小比例尺寸变化进行采样，有效的适应了目标靠近或远离相机镜头式所带来的目标尺寸变化。本发明技术包含以下步骤：

1)追踪模型的建立：本发明的追踪模型是采用相关滤波追踪模型，相关滤波是由之前视频帧的信息训练出一个相关滤波器，然后将当前帧信息输入进行相关性计算，会得到一个新的相关性分布，在相关性分布中得分最高的点就是预测的目标位置。相关滤波的采样方式是循环移动密集采样，循环移动密集采样可以经过快速傅里叶变换，将矩阵的卷积

乘操作变为矩阵元素点乘。

2)目标外观模型的建立：分别利用CNNs特征和手绘特征建立外观模型A₁和A₂。A₁利用从已经训练好的VGG-19里面提取，分为浅层、中层、和深层深度特征，A₂则是由HOG 特征和HSI特征相结合。将特征带入相关滤波模型当中，建立特征提取模式。

3)投票模型的建立：基于A₁和A₂分别得到两个候选目标C₁和C₂，将新预测的候选目标投影到仿射空间，在仿射空间与第一帧提取的模板进行对比，一般情况下，第一帧初始化的目标清晰，无遮挡，噪音小等优点，在所有帧中最适合作为比对模板。而在仿射空间对候选目标进行归一化处理，使得候选目标对比不受目标大小角度的影响，然后用贝叶斯模型对比相似度，选取相似度高的作为最终目标。

4)多尺度模型：本发明的多尺度模型建立在手绘特征的基础上，因为手绘特征包含详尽的统计几何信息，比深度特征更能提供目标的大小信息，根据相关滤波的特性，对手绘特征适配不同大小的尺寸，这些尺寸都是根据前一帧的尺寸小比率的变化而来的，假设前一帧的尺寸为S，这样，可以得到尺寸池D，其中尺寸是按照一定规律是小范围变化的，有尺寸增加、尺寸不变、尺寸减少三种趋势。将将不同尺寸候选目标特征提取出来，输入到相关滤波模型中，会有不同的响应，响应峰值最高的就是较为合适的大小,然后在下一帧继续调节。

与现有的技术相比，本发明的有益效果是：

1、可以有效的既发挥出深度特征所提供的强大的语义特征表述，克服了许多追踪过程中具有挑战的场景，又能充分利用到手绘浅层特征所表述的位置和几何特征信息，使得追踪过程中对目标定位准确，相比与其它依靠单特征追踪算法，准确度又很大的提高。

2、有效的解决了传统相关滤波中，目标大小固定唯一的缺点，使得算法可以根据目标的远近，可以为目标适配上合适大小的框架，在长时间长序列的视频追踪中，目标的大小可能与初始帧相比，已经发生了很大的变化，一般的相关滤波算法会因为目标大小的不断变化，没及时调整更新，使得当前帧追踪目标框中出现多余的背景信息或者目标框中只有部分的目标信息，进而使得跟踪算法的学习模型受到污染，造成跟踪目标丢失，影响跟踪的精度和持久性，本发明的自适应的大小调整方案可以有效的避免这个问题，提高跟踪算法的精准度和持久性。

下面结合附图，通过具体实施例，对本发明作进一步说明。

附图说明

图1目标形态较大变化对比图；

图2本发明利用滤波密集采样的采样方式图样；

图3对手绘特征和CNN特征的提取方法；

图4流程概图。

附图中：

3.1表示视频序列；

3.2表示利用深度学习网络提取CNN特征；

3.3表示对手绘特征HOG的提取；

3.4表示特征HIS的提取。

具体实施方式

图1目标形态较大变化对比图，显示目标形态发生较大变化。

图2是本发明利用滤波密集采样的采样方式图样，如图2所示，本发明利用密集采样采集目标及其目标附近邻域的所有样本信息，有效的利用特征。

图3是对手绘特征和CNN特征的提取方法，如图3所示，视频序列3.1进入利用深度学习网络提取CNN特征3.2；同时，视频序列3.1进入对手绘特征HOG 3.3与特征HIS的提取3.4，然后将这两种特征相互融合用来代表手绘特征。

图4是本发明的流程概图，如图4所示，本发明的算法的整体流程如下：

(一)输入连续的视频流1，选取第一帧作为初始帧，确定初始帧后，在初始帧中选取需要追踪的目标，得到在图片中目标的中心点位置P₁及目标的大小S₁。

(二)将第一帧的目标作为投影到仿射空间的模板H2。

(三)分别从图片中抽取多通道的CNNs特征3和手绘特征4

(四)分别利用深度CNNs特征和手绘特征建立目标外观模型A₁和目标外观模型A₂；那么对于每一通道f,都有一个特征值转换为目标模型的处理过程，如公式(1)所示，其中p_x，y表示在位置(x,y)的特征值，E^f为不同通道建立的外观模型，A₁由三个不同层的深度CNNs的特征处通道处理后加权得到，A₂则是由HOG和HIS两个手绘特征处理后加权得到的。

(五)利用相关滤波追踪模型5分别根据外观模型A₁和A₂预测处候选目标C₁6和C₂7。如公式(2)所示，其中P^t为相关滤波响应，F为傅里叶操作，R^t为相关滤波器。

(六)候选目标C₁和C₂将分别被投影到仿射空间内与从第一帧提取的模板进行对比8，对比方式是通过贝叶斯做相似度评估，然后根据相似度评估结果选出与模板接近的候选目标，如公式(3)所示，

是计算相似性结果，

是从第一帧提取的模板，Z_1：n表示 n个候选目标。

(七)针对尺寸池D的每个尺寸样本在手绘特征空间得到相关响应根据相关响应的高低，得到相关响应最高的那个作为新的尺寸S_i9。公式如下，其中S为上一帧中评估的尺寸大小，d为尺寸变化幅度，一般设为0.05.

D(S，S×(1+d)，S×(1-d)，S×(1+2d)，S×(1-2d)) (4)

(八)利用公式(1)，对模型进行更新处理，其中λ为经验常数，

为前面t帧R值的平均数。更新完成后，根据视频序列重复(3)～(8)。

本发明的结合深度特征与手绘特征自适应的目标物体的追踪方法与现有技术相比，具有明显的优势，详见表1：本发明与现有技术实验结果对比表。

表1：本发明与现有技术实验结果对比表。

本发明与现有技术实验结果对比表1是在三个不同的数据集上对本发明进行测试，现有技术为9个国际知名会议期刊发表的追踪算法，其中表1中，“Ours”为本发明，方括号中的数字为现有技术中参考文献的编号，例如：HCT[1]为参考文献[1]Chao Ma,Jia-BinHuang, Xiaokang Yang,and MingHsuan Yang,“Hierarchical convolutional featuresfor visual tracking,”in Proceedings of the IEEE International Conference onComputer Vision,2015,pp.3074–3082所介绍的方法。

表1中，数据集I是本发明的自主收集的交通追踪数据，主要挑战在于被追踪目标大小的变化剧烈，收集数据的摄像头容易颠簸抖动等挑战。数据集II和数据集III分别是国际测试追踪算法权威标准数据集VOT2014 benchmarks和VOT2016 benchmarks，这三个数据集总共包含101个视频集。mean VOR(平均重合度)，mean OS(平均重合度成功率),medianCLE (平均中心点误差)和median FPS(平均帧率)分别为国际通用权威测试追踪算法的的测试方法详见[10][11][12]，黑色字体表示最优结果，实验结果显示，除了在median FPS上有待提高外，其它评估结果在对比的方法中均达到最优。

参考文献：

[1]Chao Ma,Jia-Bin Huang,Xiaokang Yang,and MingHsuan Yang,“Hierarchical convolutional features for visual tracking,”in Proceedings ofthe IEEE International Conference on Computer Vision,2015,pp.3074–3082。

[2]Martin Danelljan,Fahad Shahbaz Khan,Michael Felsberg,and Joost Vande Weijer, “Adaptive color attributes for real-time visual tracking,”inProceedings of the IEEE Conference on Computer Vision and PatternRecognition,2014,pp.1090–1097。

[3]Joao F Henriques,Rui Caseiro,Pedro Martins,and～Jorge Batista,“Exploiting the circulant structure of tracking-by-detection with kernels,”inEuropean conference on computer vision. Springer,2012,pp.702–715。

[4]Kaihua Zhang,Lei Zhang,and Ming-Hsuan Yang,“Fast compressivetracking,”IEEE transactions on pattern analysis and machine intelligence,vol.36,no.10,pp.2002–2015,2014。

[5]Joao F Henriques,Rui Caseiro,Pedro Martins,and～Jorge Batista,“High-speed tracking with kernelized correlation filters,”IEEE Transactionson Pattern Analysis and Machine Intelligence,vol.37,no.3,pp.583–596,2015。

[6]Kaihua Zhang,Lei Zhang,and Ming-Hsuan Yang,“Real-time objecttracking via online discriminative feature selection,”IEEE Transactions onImage Processing,vol.22,no.12,pp. 4664–4677,2013。

[7]Ting Liu,Gang Wang,and Qingxiong Yang,“Realtime part-based visualtracking via adaptive correlation filters,”in Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2015,pp.4902–4912。

[8]Yang Li and Jianke Zhu,“A scale adaptive kernel correlation filtertracker with feature integration,”in European Conference on ComputerVision.Springer,2014,pp.254–265。

[9]Kaihua Zhang,Lei Zhang,and Ming-Hsuan Yang,“Fast compressivetracking,”IEEE transactions on pattern analysis and machine intelligence,vol.36,no.10,pp.2002–2015,2014。

[10]Yi Wu,Jongwoo Lim,and Ming-Hsuan Yang,“Object trackingbenchmark,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.37,no.9,pp.1834–1848,2015。

[11]Matej Kristan,Ales Leonardis,Jiri Matas,MichaelFelsberg,RomanPflugfelder,Luka Cehovin,

and Gustav Hager,¨The Visual ObjectTracking VOT2016 Challenge Results,pp.777–823,Springer InternationalPublishing,Cham,2016。

[12]Matej Kristan,Roman Pflugfelder,Ales Leonardis,Jiri Matas,LukaCehovin,Georg Nebehay,Tomas Vojir,and Gustavo Fernandez,“The visual objecttracking vot2014 challenge results,”2014。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (5)

1.一种结合深度特征与手绘特征自适应的目标物体追踪方法，包含如下步骤：

1)追踪模型：该模型是采用相关滤波追踪模型，相关滤波是由之前视频帧的信息训练出一个相关滤波器，然后将当前帧信息输入进行相关性计算，会得到一个新的相关性分布，在相关性分布中得分最高的点就是预测的目标位置；

2)目标外观模型：分别利用CNNs特征和手绘特征建立外观模型A₁和A₂，A₁利用从已经训练好的VGG-19里面提取，分为浅层、中层、和深层深度特征，A₂则是由HOG特征和HSI特征相结合；

3)投票模型：基于A₁和A₂分别得到两个候选目标C₁和C₂，将新预测的候选目标投影到仿射空间，在仿射空间与第一帧提取的模板进行对比，以第一帧提取的模板作为比对模板，对比方式为计算贝叶斯相似度，相似度高则得票高；

4)多尺度模型：该多尺度模型建立在手绘特征的基础上，因为手绘特征包含详尽的统计几何信息，对手绘特征适配不同大小的尺寸，这些尺寸都是根据前一帧的尺寸小比率的变化而来的，假设前一帧的尺寸为S，得到尺寸池D。

2.根据权利要求1所述的一种结合深度特征与手绘特征自适应的目标物体追踪方法，其特征在于：

所述的相关滤波的采样方式是循环移动密集采样，循环移动密集采样可以经过快速傅里叶变换，将矩阵的卷积

乘操作变为矩阵元素点乘。

3.根据权利要求1所述的一种结合深度特征与手绘特征自适应的目标物体追踪方法，其特征在于：

步骤3)在仿射空间对候选目标进行归一化处理，使得候选目标对比不受目标大小角度的影响，然后用贝叶斯模型对比相似度，选取相似度高的作为最终目标。

4.根据权利要求1所述的一种结合深度特征与手绘特征自适应的目标物体追踪方法，其特征在于：

步骤4)是将不同尺寸候选目标特征提取出来，输入到相关滤波模型中，会有不同的响应，响应峰值最高的就是较为合适的大小,然后在下一帧继续调节。

5.根据权利要求1所述的一种结合深度特征与手绘特征自适应的目标物体追踪方法，其特征在于：

(一)输入连续的视频流，选取第一帧作为初始帧，确定初始帧后，在初始帧中选取需要追踪的目标，得到在图片中目标的中心点位置P₁及目标的大小S₁；

(二)将第一帧的目标作为投影到仿射空间的模板H；

(三)分别从图片中抽取多通道的CNNs特征和手绘特征；

(四)分别利用深度CNNs特征和手绘特征建立目标外观模型A₁和目标外观模型A₂；

(五)利用追踪模型-相关滤波模型分别根据外观模型A₁和A₂预测处候选目标C₁和C₂，如公式(2)所示，其中P^t为相关滤波响应，F为傅里叶操作，R^t为相关滤波器；

(六)在投票模型中，候选目标C₁和C₂将分别被投影到仿射空间内与从第一帧提取的模板进行对比，对比方式是通过贝叶斯做相似度评估，然后根据相似度评估结果选出与模板接近的候选目标，如公式(3)所示，

是计算相似性结果，

是从第一帧提取的模板，Z_1：n表示n个候选目标；

(七)在多尺度模型中，针对尺寸池D的每个尺寸样本在手绘特征空间得到相关响应根据相关响应的高低，得到相关响应最高的那个作为新的尺寸S_i，公式如下，其中S为上一帧中评估的尺寸大小，d为尺寸变化幅度，设为0.05；

D(S，S×(1+d)，S×(1-d)，S×(1+2d)，S×(1-2d)) (4)

(八)利用公式(5)，对模型进行更新处理，其中λ为经验常数，

为前面t帧R值的平均数；更新完成后，根据视频序列重复(三)～(八)；

Images