CN106887011B

CN106887011B - 一种基于cnn和cf的多模板目标跟踪方法

Info

Publication number: CN106887011B
Application number: CN201710042486.9A
Authority: CN
Inventors: 唐林波; 韩煜祺; 张增铄; 周士超; 赵保军
Original assignee: Beijing University of Technology
Current assignee: Xi'an Aisheng Information Technology Co ltd
Priority date: 2017-01-20
Filing date: 2017-01-20
Publication date: 2019-11-15
Anticipated expiration: 2037-01-20
Also published as: CN106887011A

Abstract

本发明公开了一种基于CNN和CF的多模板目标跟踪方法，本发明中提出利用若干固定的尺度值的方法，在求解卷积操作前先将模板归一化大小，然后在得到最大响应值之后反推出最合适的尺度；虽然在现有的DSST算法中，采用将三维空间最优尺度搜索分解为在二维空间搜寻最佳位置，在一维空间内搜索最优尺度的机制，但是迭代慢并且计算复杂度高；而针对实无人机平台运动随意，速度不定等特点，采用固定尺度值的方法，不仅满足跟踪算法需要，而且满足运算的实时性；特征提取阶段，将这两种特征进行分别提取，并训练出两组不同的滤波器，根据当前目标的外观和背景变化，设定不同权重，进行目标的外观表征。然后将通过不同特征得到的结果进行融合，得到跟踪结果。

Description

一种基于CNN和CF的多模板目标跟踪方法

技术领域

本发明属于计算机视觉技术领域，涉及一种基于CNN和CF的多模板目标跟踪方法。

背景技术

目标跟踪作为计算机视觉技术的重要组成部分，在车辆导航、人机交互、医学成像、视频监控等众多领域都有广阔的应用。目标跟踪的核心问题在于在给定视频第一帧中的目标位置，对之后每一帧进行目标定位。影响目标跟踪的因素主要有目标快速移动、光照变化、尺度变化、背景干扰及遮挡等因素。经过国内外学者的不断研究，目标跟踪的算法得到了迅速的发展。然而，随着无人机技术的不断发展，视频监控已经由传统的固定摄像头监控发展成基于无人机的动态监控形式，同时也在监控视频序列中引入了目标纵横比改变、外观模型视角变化等关键性问题。目前现有的跟踪算法在这些影响因素上表现不佳，无法完整地跟踪整个目标，从而严重地制约了目标跟踪技术在实际场景中的应用。

在当前目标跟踪的研究领域中，主要包括两种方法：一类是基于对于目标本身进行描述和刻画的生成式模型；另一类旨在将目标和背景分离开的判别式模型。生成式模型重点在于建立目标外观模型的表征，而判别式模型将跟踪问题转换为目标和背景的二分类问题。由于目标跟踪过程中时常受到背景杂波、光照变化以及遮挡等因素的影响。自从2004年被提出以来，基于判别式模型的跟踪方法受到了广泛的关注。相关滤波器是一种传统的信号处理方法，并在2010年被引入跟踪应用中。CSK算法通过建立循环移位的结构将目标进行稠密采样，以此增加正负样本的数目，以此解决目标跟踪之中训练样本不足的问题。除此之外，通过对于这些样本进行循环移位的处理，将对目标样本的计算转化到频率域中的求解，通过使用快速傅里叶变换的方法，大大地提高目标跟踪的效率。然而CSK方法采用的是单通道灰度值图像，在特征表征上不够鲁棒。针对以上问题，研究人员陆续提出利用多通道HOG特征的KCF算法和利用颜色矩阵特征的CN算法。除此之外，早期相关滤波器跟踪方法在卷积求解中使用的是固定大小的模板，使其没有尺度自适应的功能。相应地，有学者针对目标的尺度缩放变化、部分遮挡等问题提出了相应的解决方案。例如：DDST跟踪算法增加了一个尺度滤波器来适应目标的尺度变化；SAMF跟踪算法通过利用颜色空间和HOG特征增加特征表征的鲁棒性；STC算法通过设计目标的空间概率密度函数、以及利用背景的上下文信息等方法，提升了算法在遮挡情况下的跟踪性能。

尽管上述提及的跟踪算法在OTB上取得了不错的效果。然而，现有的绝大多数跟踪算法在实际场景中表现不尽人意。主要原因有三：(1)OTB测试集上的视频来源于固定视角的摄像头，而实际场景中无人机或其他平台拍摄的视频常伴随视角的变化。由于在发生视角变化时，目标外观模型变化很大，会引起目标漂移甚至丢失；(2)在OTB测试集中，由于摄像头相对固定，故而目标的运动轨迹相对规矩。然而由于无人机运动的随意性，造成目标相对较大和相对较快的尺度和速度变化，给传统的跟踪算法造成了难度；(3)在OTB数据库中提及的遮挡多为短时间遮挡或者部分遮挡，然而在实际场景中经常出现较长时间的遮挡情况，由于现有算法的更新机制和重检测机制都缺乏相应的应对，故而现有方法在长期遮挡的影响下表现不佳，不能重新检测到目标而导致跟踪任务失败。

针对目前跟踪算法不能有效解决视角变化的跟踪问题的现状，需要设计一种方法建立多个模板分别对应不同的角度，进行多角度和多个目标模板匹配的跟踪算法。

发明内容

有鉴于此，本发明提出了一种基于CNN(卷积神经网络)和CF(相关滤波器)的多模板目标跟踪方法。该方法是一种实时鲁棒的跟踪算法，在不同的跟踪场景中取得了不错的效果。

一种目标跟踪方法，具体步骤包括：

步骤一、首先通过开源的3D模型数据集TurboSquid获取目标的三维模型，通过对模型的三维旋转和放缩得到不同视角下的目标图片；然后通过卷积神经网络，离线训练得到不同视角下的目标图片与视角信息之间的对应关系；

步骤二、在目标跟踪过程中，对于当前帧图像t，首先在目标区域内提取特征信息，然后利用特征信息计算得到相关滤波器的参数；当得到下一帧图像t+1的信息后，首先在下一帧图像t+1中提取特征，然后与图像t的相关滤波器参数进行卷积运算，在卷积后的结果中找最大的响应值，该最大响应值对应的位置与卷积运算结果的中心点之间的矢量即为目标的运动矢量信息；目标的运动矢量信息与当前帧目标的位置叠加得到目标在下一帧图像t+1的位置；

步骤三、依次将当前帧图像t的目标大小乘以不同尺度值，得到对应的多个尺寸，根据每个尺寸，在步骤二中得到的目标在下一帧图像t+1的位置，对图像t+1分别进行切片，得到大小不同的图像片，再将这些图像片归一化成最初的目标大小；将归一化后的图像进行特征提取，再将该特征与步骤二中计算得到的相关滤波器进行卷积运算，将每一个尺度下的卷积结果中的最大响应值作为该尺度下的响应值；然后寻找不同尺度下的最大响应值，其对应的尺度作为当前目标的尺度大小；

步骤四、步骤二相关滤波器卷积后的结果中，以最大峰值的位置为中心，其附近的11×11的区域内响应值求平均值作为信号处理中的峰值响应值，将区域内其余部分的平均响应值看作旁瓣响应值，将当前峰值响应值与旁瓣响应值的比值作为PSR值；判断PSR值是否低于设定阈值：如果是，则说明需要重检，执行步骤五；如果否，则说明不需要重检，步骤二得到的位置信息和步骤三得到的尺度大小为本轮目标跟踪的结果，并作为当前帧结果，返回步骤二继续跟踪目标；

步骤五、在图像t+1之前的图像中寻找PSR值高于设定阈值时的跟踪的图像结果，将其作为数据输入到步骤一已经训练好的卷积神经网络中，得到目标此刻对应的视角信息；

步骤六、在步骤五得到目标的视角信息后，利用步骤一中的三维模型，经过视角旋转后还原得到当前时刻的目标图像；对还原后的目标图像重新进行特征提取，并训练特征对应的相关滤波器，然后利用此相关滤波器参数与图像t+1进行卷积运算，寻找响应的最大值作为目标位置；根据步骤三的方法，利用还原后的目标图像得到图像t+1的尺度大小，将本步骤得到的目标位置和尺度大小作为当前帧结果，返回步骤二继续跟踪目标，直到视频结束。

较佳的，所述特征为HOG特征和颜色特征串接成的特征Φ；所述相关滤波器参数通过该特征Φ训练得到，具体为：相关滤波器对应的优化方程为w为待求解的相关滤波器参数，y为目标函数，λ为控制优化方程复杂度的正则化参数；通过优化方程计算得到相关滤波器的参数w。

较佳的，所述提取的特征为HOG特征和颜色特征，其对应的优化方程为其中，i＝1,2；在i＝1和i＝2时，Φ_i分别表示HOG特征和颜色特征，w_i分别表示HOG特征和颜色特征对应的相关滤波器参数，w表示HOG特征和颜色特征串接后的特征；Ψ₁和Ψ₂分别表示随机采样样本的HOG特征和颜色特征；通过求解优化方程得到HOG特征和颜色特征对应的相关滤波器参数w₁和w₂，再将计算得到的两组相关滤波器参数串接组合为最后的相关滤波器参数。

较佳的，卷积神经网络输入的目标图片中还包括目标图片的切片图像。

较佳的，所述步骤三中，所述不同尺度包括11个固定大小的尺度值，范围为0.85到1.15，步长为0.03。

本发明具有如下有益效果：

1、本发明方法中沿用传统相关滤波器的检测-更新-再检测的机制。针对传统相关滤波器存在的问题进行了改进。相比于基本的相关滤波器跟踪算法，本发明中提出利用若干固定的尺度值的方法，在求解卷积操作前先将模板归一化大小，然后在得到最大响应值之后反推出最合适的尺度。虽然在现有的DSST算法中，采用将三维空间最优尺度搜索分解为在二维空间搜寻最佳位置，在一维空间内搜索最优尺度的机制。但是现有的DSST算法步长小、迭代慢并且计算复杂度高。然而针对实际问题中，无人机平台运动随意，速度不定等特点，采用固定尺度值的方法，不仅满足跟踪算法需要，而且满足运算的实时性。

2、在本发明的方法中，沿用现有方法使用了描述形状的梯度直方图(HOG)特征与描述颜色的颜色矩阵特征。但是，现有的方法中只是简单地将这两种特征进行堆叠，训练出一组滤波器，并没有利用当前跟踪的信息对以上两种特征进行利用。在本发明的特征提取阶段，将这两种特征进行分别提取，并训练出两组不同的滤波器，根据当前目标的外观模型和背景变化，设定不同权重，进行目标的外观表征。然后将通过不同特征得到的结果进行融合，得到跟踪结果。

3、由于大多数基于相关滤波器的跟踪算法都采用的是检测-更新-检测的机制进行跟踪，故而检测的结果好坏影响到下一帧学习的模板的好坏。传统的KCF以及SAMF等方法都采用的是每帧更新的方式。这种情况下，一旦某一帧目标遭遇遮挡或漂移，都导致后续学习模板错误，从而造成跟踪目标的失败。为解决以上问题，本发明中加入的判断机制，在得到跟踪结果之后，将判断当前时刻是否出现严重遮挡或者目标丢失的情况，以便开启进行重检测机制，有效避免由于更新模板的错误带来的跟踪失败的情况。

4、为了解决上述问题，有研究团队提出可以将每一帧的跟踪结果都保存下来，重新进行训练和学习，并以此得到一个可以包含全部信息的滤波器。然而，随着跟踪过程的进行，跟踪结果越来越多，要计算全部结果并训练学习出一个最优的滤波器势必运算量巨大，影响整个算法的实时性。除此之外，由于在实际的跟踪过程中，目标的外观模型和背景信息都会变化。故而使用全部信息学习到的模板很可能与当前目标的外观信息有较大的出入，反而影响跟踪应用的准确性。而在本发明中设计的方法在更新权值之前，先进行了视角的判断根据目标所处的环境进行更新和检测，更具针对性和效率。

附图说明

图1为本发明中的步骤一的流程图。

图2为本发明的方法流程图。

具体实施方式

在现有的跟踪技术方案当中，基于相关滤波器跟踪方法利用目标样本进行循环移位以及频域运算等处理，大大地提升了其跟踪效率。然而，由于这种方法逐帧更新目标模型，所以在目标外观发生较大改变时，目标模型更新不能准确刻画目标，所以其不适用于长时复杂的复杂场景。并且这种跟踪方法不包括重检测机制，所以当跟踪算法失败时不能自我纠正。在当前的重检测方法中包含利用特征点的重检测跟踪方法，但在目标外观特征变化较大的情况下，特征点急速减少，大大降低重检测的结果，甚至造成误检的后果。

本发明通过特殊设计主要解决以上问题。首先在利用3D模型目标(车辆、飞机、舰船)的不同视角的图像，并以此为输入数据训练一个CNN网络。在实际的跟踪过程中，可以通过目前跟踪得到的结果判断当前目标的视角信息(方位、俯仰、水平姿态)。在线跟踪的部分使用多模板的相关滤波方法，同时设置监测指标，以判断当前跟踪算法是否发生了遮挡、漂移等问题。在判定跟踪目标丢失后，找到历史检测跟踪结果，并输入到神经网络中，预测当前目标的视角信息。最后通过得到的视角信息，辅助目标重检测的过程，找到下一帧中目标的位置，继续作为新一帧正样本进行在线跟踪的过程。

如图2所示，包括如下步骤：

步骤一、如图1，通过训练卷积神经网络(CNN)得到不同视角下的输入图像与视角信息之间的一一对应关系。在本发明方法中，不同视角下的图像信息通过开源的3D模型数据集TurboSquid获取。该数据集提供了大量物体的三维模型，通过对模型的三维旋转和放缩便可以得到不同视角下的目标图片。其中图片对应的视角信息是指三维模型旋转的角度信息和目标缩放的尺度信息。将大量包含视角信息的目标图像作为训练样本，输入到卷积神经网络中进行训练，便可以得到目标图像与视角之间的一一对应关系。为了增加系统的稳定性，本发明还将不同视角下的目标图像进行切片，并且与其对应的视角信息作为输入数据对卷积神经网络进行训练。使得任意视角下的目标图像或者部分图像输入到神经网络中，都可以预测出该图像所对应的视角信息。

步骤二、步骤一属于线下的预训练，步骤一结束以后便开始步骤二的在线跟踪过程。在视频跟踪的定义中，目标初始的位置信息和尺度大小信息在视频的第一帧已经给定，后续的目标跟踪需要算法来实现。在后续的目标跟踪过程中，不仅要预测出目标的位置信息，还要预测目标的尺度大小信息。本发明方法中对位置信息的预测采用基于相关滤波器(CF)的方法。对于已知目标信息的当前帧，首先在目标区域内提取特征信息，然后利用特征信息计算得到相关滤波器的参数。其中，如果当前帧是第一帧，则目标位置为已知；如果当前帧为第一帧后的图像，则当前帧位置为上一轮的计算结果。当得到下一帧图像信息时，首先在下一帧图像中提取特征，然后与计算得到的相关滤波器的参数卷积，在卷积后的结果中找最大的响应值，最大响应值对应的位置便是目标移动的位置信息。

本步骤中的特征提取过程中，现有方法中的SAMF算法仅将HOG特征和颜色特征串接为一个特征，然后训练得到相关滤波器参数。其对应的优化方程为其中Φ为串接后的特征，w为待求解的滤波器参数，y为目标函数，λ为控制优化方程复杂度的正则化参数。通过优化方程便可以计算得到相关滤波器的参数w。在本发明中，利用特征之间的内在关系，分别将两种特征代入计算公式中进行协同训练，优化方程中增加相关滤波器之间的互相惩罚项。其对应的优化方程为方程中Φ_i在i＝1和i＝2 时分别表示HOG特征和颜色特征，w_i表示两种特征对应的滤波器参数，w表示两种特征串接后的特征。Ψ₁和Ψ₂分别表示随机采样样本的HOG特征和颜色特征。通过求解方程得到每一组特征对应的相关滤波器参数w₁和w₂，将计算得到的两组滤波器参数串接组合为整体的滤波器参数。这样的优化条件保证了相关滤波器会自动趋向于表现鲁棒的特征，使得相关滤波器能够更好地表征目标自身的外观模型。

步骤三、由于步骤二仅预测了目标的位置信息，所以本步骤用于预测目标的尺度大小信息。在现有的研究中，有研究人员提出将三维空间搜索最佳的问题变为首先在二维空间上搜索最优位置，然后再在一维空间上搜索最优尺度的方法。然而，在实际的操作过程和实际应用中，目标的尺度变化时其变化速度往往很快。现有的DSST方法采用尺度滤波器的方法适用于尺度变化小的跟踪，无法试用于快速跟踪尺度变化的目标。

在本发明中，采取设置11个固定大小的尺度值(0.85到1.15，步长0.03)的方法进行尺度变化的预测。依次将第t帧图像的目标大小乘以不同尺度值，得到对应的多个尺寸，根据每个尺寸，在步骤二中得到的目标在下一帧图像t+1的位置，对第t+1帧图像分别进行切片，得到大小不同的图像片，再将这些图像片归一化成最初的目标大小；将归一化后的图像进行特征提取，再将该特征与步骤二中计算得到的相关滤波器进行卷积运算，将每一个尺度下的卷积结果中的最大响应值作为该尺度下的响应值；然后寻找不同尺度下的最大响应值，其对应的尺度作为当前目标的尺度大小，自此便完成对于目标尺度变化的估计。

步骤四、步骤二和步骤三完成了目标跟踪中的位置预测和尺度预测。然而在跟踪过程中，不可避免会发生目标的遮挡或者移出视野等状况，此时需要对目标进行重新检测，纠正目标的位置和尺度大小。所以本步骤主要设计用于判断何时进行重检测。本发明中采用与传统信号处理相同的PSR指标对于跟踪过程进行监测。其中PSR指标是指步骤二相关滤波器卷积后的结果中，以最大峰值的位置为中心，其附近的11*11的区域内相应求平均值作为信号处理中的峰值响应值，将其余部分的平均响应看作旁瓣响应值，计算当前峰值响应值与旁瓣响应值的比值作为PSR值。当目标进行正常跟踪时，PSR值会一直保持很高的状态。但是当目标发生严重遮挡或漂移时，则PSR值急剧下降。本发明通过检测PSR值的下降信息便可以得到何时进行重新检测的时刻信息，即：判断PSR值是否低于设定阈值：如果是，则说明需要重检，执行步骤五；如果否，则说明不需要重检，步骤二得到的位置信息和步骤三得到的尺度大小为本轮目标跟踪结果，并作为当前帧结果，然后返回步骤二继续跟踪。

步骤五、在步骤四中得到了目标需要重新检测的时刻信息，本步骤主要描述如何进行重检测。在现有的技术方案中，重检测的方法主要有特征点匹配和弱分类器级联等方法。然而在例如基于无人机的长时跟踪场景中时，目标的外观模型可能变化很大。同时，由于无人机拍摄角度的不断改变，导致目标可能出现信息的增加和减少，使用传统的跟踪与重检测方法在没有先验信息的情况下，很难有效地对目标进行重检测。

在本发明中，利用步骤一训练得到的卷积神经网络，判断当前目标所处的视角信息。步骤四中通过观察PSR值来检测当前跟踪效果。当步骤四发出要重新检测的信息时，说明此时目标已经被严重遮挡或漂移。所以，在图像t+1之前的图像中寻找PSR值高于设定阈值时的跟踪的图像结果，将其作为数据输入到步骤一已经训练好的卷积神经网络中，得到目标此刻对应的视角信息；

步骤六、在步骤五得到目标的视角信息后，便可以利用训练的三维模型，经过视角旋转后，最大化还原当前时刻的目标图像。由于目标运动的连续性，所以在视角空间中，目标再次出现的视角与当前检测得到的视角有很大关联。对还原后的目标图像重新进行特征提取，并训练特征对应的相关滤波器，然后利用此相关滤波器参数与图像t+1进行卷积运算，寻找响应的最大值作为目标的位置；根据步骤二的方法，利用还原后的目标图像得到图像t+1的尺度大小，将本步骤得到的目标位置和尺度大小作为当前帧结果，然后返回步骤二继续跟踪，直到视频结束。

自此，便完成了基于CNN和CF的多视角的目标跟踪方法。

综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种目标跟踪方法，其特征在于，具体步骤包括：

步骤四、步骤二相关滤波器卷积后的结果中，以最大响应值的位置为中心，其附近的11×11的区域内响应值求平均值作为信号处理中的峰值响应值，将目标区域内其余部分的平均响应值看作旁瓣响应值，将当前峰值响应值与旁瓣响应值的比值作为PSR值；判断PSR值是否低于设定阈值：如果是，则说明需要重检，执行步骤五；如果否，则说明不需要重检，步骤二得到的位置信息和步骤三得到的尺度大小为本轮目标跟踪的结果，并作为当前帧结果，返回步骤二继续跟踪目标；

2.如权利要求1所述的一种目标跟踪方法，其特征在于，所述特征为HOG特征和颜色特征串接成的特征Φ；所述相关滤波器参数通过该特征Φ训练得到，具体为：相关滤波器对应的优化方程为w为待求解的相关滤波器参数，y为目标函数，λ为控制优化方程复杂度的正则化参数；通过优化方程计算得到相关滤波器的参数w。

3.如权利要求1所述的一种目标跟踪方法，其特征在于，所述提取的特征为HOG特征和颜色特征，其对应的优化方程为其中，i＝1,2；在i＝1和i＝2时，Φ_i分别表示HOG特征和颜色特征，w_i分别表示HOG特征和颜色特征对应的相关滤波器参数，w表示HOG特征和颜色特征串接后的特征；Ψ₁和Ψ₂分别表示随机采样样本的HOG特征和颜色特征；通过求解优化方程得到HOG特征和颜色特征对应的相关滤波器参数w₁和w₂，再将计算得到的两组相关滤波器参数串接组合为最后的相关滤波器参数。

4.如权利要求1所述的一种目标跟踪方法，其特征在于，所述步骤一中，卷积神经网络输入的目标图片中还包括目标图片的切片图像。

5.如权利要求1所述的一种目标跟踪方法，其特征在于，所述步骤三中，所述不同尺度包括11个固定大小的尺度值，范围为0.85到1.15，步长为0.03。