CN107767405A

CN107767405A - 一种融合卷积神经网络的核相关滤波目标跟踪方法

Info

Publication number: CN107767405A
Application number: CN201710910983.6A
Authority: CN
Inventors: 韩守东; 刘甜甜; 陈永志; 夏鑫鑫; 陈阳; 胡卓
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2017-09-29
Filing date: 2017-09-29
Publication date: 2018-03-06
Anticipated expiration: 2037-09-29
Also published as: CN107767405B

Abstract

本发明公开了一种融合卷积神经网络的核相关滤波目标跟踪方法，属于图像处理技术领域。首先，读取视频的第一帧，提取目标的特征，同时给定理想化输出，训练得到KCF模板；然后，读取下一帧图像，计算KCF算法的跟踪结果，得到KCF响应图和目标结果KCF_Box，并计算KCF算法的PSR值；接着判断PSR的值是否大于算法阈值，是则不需要进行GOTURN算法的计算，当前帧的跟踪结果取KCF算法的结果KCF_Box；否则进行GOTURN算法的计算，当前帧的跟踪结果取GOTURN算法的跟踪结果GOTURN_Box；最后，进行KCF算法的模板更新和GOTURN算法的网络输入更新。本发明以旁瓣比为桥梁，提出了一种KCF算法和GOTURN算法的融合方式，保证了目标跟踪结果的准确性。

Description

一种融合卷积神经网络的核相关滤波目标跟踪方法

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种融合卷积神经网络的核相关滤波目标跟踪方法。

背景技术

计算机视觉是计算机领域中的重要组成部分，是一门研究如何使计算机具有人类视觉功能的学科，其利用计算机模拟人类视觉，通过计算机技术对获取的外界物体图像进行处理、分析、理解。目标跟踪技术作为计算机视觉领域的一个重要研究内容，近年来获得国内外学者的广泛关注与研究。目标跟踪是一种利用视频传感器，通过分析和理解视频信息，实现对特定目标的定位和跟踪的综合技术。

目标跟踪技术融合了图像处理、数学和物理等知识，在军事国防、智能交通、人机交互等方面有着广泛的应用和发展前景。例如，军事领域中，用于弹道导弹防御、制导系统、空中交通管制等；在智能交通领域，用于车流量实时监测、交通事故检测、行人计数等；人机交互方面，用于手势识别、视频会议等。

目前比较主流的跟踪算法有两大类，一种是基于相关性滤波(CF)的跟踪算法；一种是基于卷积神经网络(CNN)的跟踪算法：

基于相关性滤波的跟踪算法将跟踪过程看成是一个模板匹配和岭回归的过程，这种方法通过将密集的候选样本进行傅里叶变换，将时域的卷积变换为频域的点乘，大大节省了运算量，因此这种算法往往可以获取较高的运行速度，但是这种方法对于模板出现遮挡、形变时，跟踪效果会变得不好；

基于卷积神经网络(CNN)的跟踪算法算法对于简单场景下的完整目标具有良好的跟踪能力，对尺度变化、形变等具有较强的鲁棒性，但是该算法对于过于复杂的场景效果不好。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种融合卷积神经网络的核相关滤波目标跟踪方法，其目的在于根据KCF目标跟踪算法和GOTURN目标跟踪算法跟踪效果的优劣，提出了一种将KCF跟踪算法算法和GOTURN跟踪算法算法有效融合的方式，由此将离线训练和在线更新结合起来，能弥补两者直接的劣势，同时又能发展各自的优势。

为实现上述目的，按照本发明的一个方面，提供了一种融合卷积神经网络的核相关滤波目标跟踪方法，所述方法包括：

(1)读取视频序列第一帧，提取目标的图像特征，同时给定理想化输出，根据核相关滤波目标跟踪算法训练得到KCF模板；

(2)读取下一帧图像，提取当前帧图像中潜在目标区域的图像特征，与KCF模板进行卷积，得到KCF响应图和跟踪目标KCF_Box；同时将当前帧图像输入到训练好的GOTURN网络中得到跟踪目标GOTURN_BOX；

(3)根据KCF响应图计算目标的旁瓣比PSR；

(4)若PSR大于算法阈值，则最终跟踪目标为KCF_Box；否则最终跟踪目标为为GOTURN_BOX；算法阈值取值范围为10～20，算法阈值优选15；

(5)若PSR大于第一更新阈值，则用KCF_Box更新GOTURN网络的输入；若PSR小于第二更新阈值，则用GOTURN_BOX更新KCF模板，同时更新GOTURN网络的输入；否则采用KCF_Box更新KCF模板，GOTURN_BOX更新GOTURN网络的输入；其中，第一更新阈值优选20，取值范围为20～25；第二更新阈值优选10，取值范围为5～10；

(6)重复步骤(2)～(6)，直到视频图像序列结束。

进一步地，所述步骤(1)具体中训练KCF模板具体为：

其中，^代表傅里叶形式；y为理想化输出的样本标签；k^xx表示第一帧中目标图像特征x的高斯函数内积；λ为正则化参数；

进一步地，所述步骤(2)中潜在目标区域的中心位置为上一帧目标的中心位置，潜在目标区域的大小是上一帧目标的两倍。

进一步地，所述步骤(2)中训练好的GOTURN网络采用了大规模已分类数据集利用卷积神经网络进行离线训练得到。

进一步地，所述步骤(2)具体为：

KCF响应图的傅里叶变换形式为：

其中，^代表傅里叶形式；z代表潜在目标区域；⊙表示矩阵的Hadamard积；为KCF模板；k^xz表示区域z的图像特征的高斯函数内积；经过傅里叶反变换，得到响应图f(z)，响应图f(z)中值最大的点所在位置作为跟踪目标KCF_Box。

进一步地，所述步骤(3)中旁瓣比PSR为：

其中，g_max为KCF响应图的峰值；μ_s1表示除去峰值像素周围11*11像素的所有其他像素的均值；σ_s1表示除去峰值像素周围11*11像素的所有其他像素的方差。

进一步地，所述步骤(5)中更新KCF模板具体为：

KCF模板在对偶空间的更新公式为：

其中，β表示更新权值，β优选取值为0.012，β的取值范围为0.01～0.015；

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：

(1)本发明方法以旁瓣比为桥梁，提出了一种KCF目标跟踪算法和GOTURN目标跟踪算法的融合方式，每帧的结果都为两者间的最优值，保证了当前帧目标跟踪结果的准确性；

(2)本发明方法还提出了KCF目标跟踪算法和GOTURN目标跟踪算法自适应的模板更新方式，用两者中较好的跟踪结果去更新另一个算法的模板与输入，最大程度的保证了KCF模板内包含的都是目标的有效信息，也保证了GOTURN算法的上一帧输入为正确的跟踪目标。

附图说明

图1是KCF目标跟踪算法流程；

图2是GOTURN目标跟踪算法的网络模型；

图3是本发明方法的跟踪方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

核相关滤波目标跟踪算法KCF(High-Speed Tracking withKernelizedCorrelation Filters)是一种基于在线学习模型的算法。其跟踪过程可以分为提取目标特征、模板训练、目标位置预测以及模板更新四个步骤。KCF采用的是岭回归模型，岭回归是一种线性回归模型，由于岭回归有一个简单的闭式解，所以其分类效果能与复杂模型如SVM相当。

如图1所示，KCF目标跟踪算法流程包括以下步骤：

1)读取视频序列第一帧，提取目标的特征，将目标特征进行FFT变换转到频域上；

2)根据高斯模型得出目标的理想化输出，初始化模板，将目标的频域特征与理想化输出进行卷积运算，得到KCF模板；

3)读取下一帧图像，提取以上一帧目标位置为中心的两倍目标大小区域的图像特征，同样进行FFT变换到频域；

4)将待检测区域的图像特征与KCF模板在频域上进行乘积运算，得到KCF算法响应图，选择响应图上响应值最大的点作为目标的新位置；

5)提取新的目标位置的图像特征，将其与理想化输出进行卷积运算，得到新的KCF模板，然后重复步骤(3)-(5)，直到视频图像序列结束。

GOTURN(Generic Object Tracking Using Regression Networks)算法就是一种利用卷积神经网络进行离线训练的目标跟踪算法，其利用现有大规模分类数据集预训练的CNN分类网络提取特征，再用观测模型进行分类获得跟踪结果。其跟踪过程是将当前帧图像和上一帧图像通过VGG-Net(Very Deep Convolutional Networks for Large-scaleImage Recognition)网络获得两帧图像的特征表达，再通过一个离线训练的决策网络，即可得到当前帧目标图像所在的位置。GOTURN算法对于简单场景下的完整目标具有良好的跟踪能力，对尺度变化、形变等具有较强的鲁棒性。

如图2所示，GOTURN目标跟踪算法的网络模型的构建包括以下步骤：

1)读取视频序列第一帧，根据目标框位置，截取目标区域，同时以目标位置为中心将目标区域扩大到原来的两倍；

2)读取下一帧图像，根据上一帧图像的目标位置裁剪当前帧图像得到搜索区域，同时将搜索区域扩大到原来的两倍；

3)将两帧图像的裁剪区域输入到两个相同的卷积网络中，分别得到两帧图像的卷积特征；

4)将两种不同的卷积特征输入到全连接层，最后全连接层回归出目标的新位置，分别是目标框的左上角坐标和右下角坐标；

5)根据新目标框位置裁剪出新的目标区域和下一帧的搜索区域，重复步骤(3)-(5)，直到视频图像序列结束。

如图3所示，本发明方法包括以下步骤：

(1)读取视频序列第一帧，提取目标的图像特征，同时给定理想化输出，训练得到KCF模板；

训练KCF模板具体为：

(2)读取下一帧图像，提取图像中潜在目标区域的图像特征，与KCF模板进行卷积，得到KCF响应图和跟踪目标KCF_Box；同时将当前帧图像输入到训练好的GOTURN网络中得到跟踪目标GOTURN_BOX；

所述潜在目标区域的中心位置为上一帧目标的中心位置，潜在目标区域的大小是上一帧目标的两倍；

KCF响应图的傅里叶变换形式为：

其中，^代表傅里叶形式；z代表潜在目标区域；⊙表示矩阵的Hadamard积；为KCF模板；k^xz表示区域z的图像特征的高斯函数内积；经过傅里叶反变换，得到响应图f(z)，响应图f(z)中值最大的点所在位置作为跟踪目标KCF_Box的中心点；

训练好的GOTURN网络采用了大规模已分类数据集利用卷积神经网络进行离线训练得到。

(3)根据KCF响应图计算目标的旁瓣比PSR；

所述旁瓣比PSR为：

(4)若PSR大于算法阈值，则跟踪目标为KCF_Box；否则跟踪结果为GOTURN算法的跟踪结果GOTURN_BOX；

通过实验得出结论，当PSR小于15时，可以认为目标发生了遮挡或者丢失，此时对目标跟踪可利用离线数据集所能提供的先验信息；因此，当PSR小于15时，此时的跟踪结果可采用GOTURN算法的跟踪结果；当PSR大于15时，此时KCF算法跟踪较好，当前帧的跟踪结果取KCF算法的结果，设定算法阈值为15，用公式表示如下：

(5)若PSR大于第一更新阈值，则用KCF_Box更新GOTURN网络的输入；若PSR小于第二更新阈值，则用GOTURN_BOX更新KCF模板，同时更新GOTURN网络的输入；否则采用KCF_Box更新KCF模板，GOTURN_BOX更新GOTURN网络的输入；

通过实验得出结论，当PSR大于20时，此时KCF算法跟踪良好，用KCF算法的结果更新GOTURN算法的网络输入；当PSR小于10时，此时KCF算法已经跟丢，用GOTURN算法的结果更新KCF算法的结果，对KCF算法的模板进行更新，同时进行GOTURN网络的更新；

设定第一更新阈值为20，设定第二更新阈值为10，利用如下公式对KCF算法的模板和GOTURN的网络输入进行更新；

所述步骤(5)中更新KCF模板具体为：

KCF模板在对偶空间的更新公式为：

其中，β表示更新权值；

(6)重复步骤(2)～(6)，直到视频图像序列结束。

以上内容本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种融合卷积神经网络的核相关滤波目标跟踪方法，其特征在于，所述方法包括：

(3)根据KCF响应图计算目标的旁瓣比PSR；

(4)若PSR大于算法阈值，则最终跟踪目标为KCF_Box；否则最终跟踪目标为为GOTURN_BOX；

(6)重复步骤(2)～(6)，直到视频图像序列结束。

2.根据权利要求1所述的一种融合卷积神经网络的核相关滤波目标跟踪方法，其特征在于，所述步骤(1)具体中训练KCF模板具体为：

其中，^代表傅里叶形式；y为理想化输出的样本标签；k^xx表示第一帧中目标图像特征x的高斯函数内积；λ为正则化参数。

3.根据权利要求1所述的一种融合卷积神经网络的核相关滤波目标跟踪方法，其特征在于，所述步骤(2)中潜在目标区域的中心位置为上一帧目标的中心位置，潜在目标区域的大小是上一帧目标的两倍。

4.根据权利要求1所述的一种融合卷积神经网络的核相关滤波目标跟踪方法，其特征在于，所述步骤(2)中训练好的GOTURN网络采用了大规模已分类数据集利用卷积神经网络进行离线训练得到。

5.根据权利要求1所述的一种融合卷积神经网络的核相关滤波目标跟踪方法，其特征在于，所述步骤(2)具体为：

KCF响应图的傅里叶变换形式为：

6.根据权利要求1所述的一种融合卷积神经网络的核相关滤波目标跟踪方法，其特征在于，所述步骤(3)中旁瓣比PSR为：

7.根据权利要求1、2或4所述的一种融合卷积神经网络的核相关滤波目标跟踪方法，其特征在于，所述步骤(5)中更新KCF模板具体为：

KCF模板在对偶空间的更新公式为：

其中，β表示更新权值；