CN107358623B

CN107358623B - 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法

Info

Publication number: CN107358623B
Application number: CN201710567682.8A
Authority: CN
Inventors: 杨文�; 尹雪珂; 余淮; 王金旺
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2017-07-12
Filing date: 2017-07-12
Publication date: 2020-01-07
Anticipated expiration: 2037-07-12
Also published as: CN107358623A

Abstract

本发明涉及一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法，包括滤波器训练，利用目标先验信息构建循环矩阵训练滤波器；显著性检测，将原始的正则化岭回归问题中l₂正则化约束化转为l_2、1约束，然后利用boolean map saliency(BMS)对候选区域提取显著性区域；目标位置预测，将含有显著性信息的样本进行相关滤波，滤波器响应图中最大值所对应的就是目标的位置，然后更新滤波器的参数；鲁棒性尺度估计，通过一个二维尺度滤波器得到目标在长和宽两个维度的尺度变化。本发明在相关滤波器的框架下引入显著性检测，并采用一种二维尺度滤波器得到目标的尺度变化，提高了跟踪的准确率和成功率。

Description

一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法

技术领域

本发明属于图像处理领域，特别涉及基于相关滤波的目标跟踪。

背景技术

目标跟踪作为计算机视觉领域的一个重要研究方向，指的是通过对摄像机等视觉传感器获取的一系列连续的视频图像进行分析，从中获取某一特定目标或者多个目标的位置、大小、运动状态等有用信息。一个基本的视觉跟踪，目的是在图像序列中，利用初始化标记的目标框来预测目标之后的轨迹。而在跟踪过程中，由于一些外界因素，例如光照变化、拍摄视角变化、目标遮挡等，因此当前跟踪中存在的主要挑战有：目标因自身运动或者外界因素导致的形变，运动中被其他物体遮挡，场景光照度的变化和目标运动产生的运动模糊等。相关滤波器已经广泛应用在目标检测、目标识别等诸多领域。由于相关操作可以在傅里叶域里面转变为元素级的相乘，计算效率很高，所以近年来基于相关滤波的跟踪方法在跟踪领域中越发活跃。以相关滤波器为基本框架的跟踪算法，使用循环矩阵实现密集采样。将样本进行循环移动构建循环数据矩阵，基于循环矩阵的性质，在频域里面使用离散傅利叶变化进行快速计算，这样大大提高计算效率。遮挡问题一直是跟踪中的难点问题，它的产生原因复杂多样，不具备先验信息，此外难以对遮挡本身进行鉴别。而当目标被遮挡后，循环移动和目标的实际移动没有一一对应，这样基于相关滤波的跟踪器就会发生漂移，跟踪性能降低。而显著性信息可以将目标提取出来，与背景分来。而目前还没有将两者结合起来进行目标跟踪的。此外，目前对于目标的尺度估计，都认为目标从三维空间映射到二维平面的图片上后，目标的长和宽产生相同的变化，两者同时变大或者变小。基于相关滤波器的目标尺度估计，目前也是构建一维滤波器，将目标的长和宽视为变化，采用同一变化因子。实际上，目标在发生尺度变化的同时，一般会伴随着形变。因此分别估计目标的长和宽的变化的还有必要的，但是目前还没有人基于相关滤波器来实现过。

发明内容

本发明的目的在于提供一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法方法，该方法能够更好地应对目标被遮挡情况和更准确地估计目标的尺度变化，以提高目标跟踪的整体性能。

本发明提供的基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法包括以下具体步骤：

一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法，其特征在于，包括以下步骤：

步骤1，位置滤波器训练，利用循环矩阵的性质，将滤波器的求解问题转化为正则化岭回归问题；通过先验信息得到目标在第一帧图像中的位置信息，将包括目标以及其周围一圈背景的区域(矩形区域)作为目标候选框，然后对该区域提取方向梯度直方图特征并作为滤波器的输入，利用目标的原始尺寸和候选区域的尺寸设计滤波器的输出，将原始的正则化岭回归问题中l₂正则化约束化转为l₂、₁约束(即l₂约束加上l₁约束)，通过滤波器的输入和输出训练滤波器，得到滤波器的参数，具体是：

根据第一帧图像中目标的位置以及尺度，确定目标的候选区域，即目标在下一帧中可能出现的区域；利用循环移动近似目标的实际位移，对候选区域进行特征提取，得到样本矩阵；设计尺度的候选值，构建尺度滤波器的输出；设计两个二维相关滤波器，分别用来预测目标的位置和尺度；样本的训练过程实际上是一个正则化最小二乘(Regularizedleast squares，RLS)问题，RLS分类器由在核定义的再生核希尔伯特空间上最小化一个线性正则化函数来实现；

步骤2，显著性检测，用boolean map saliency(BMS)对候选区域提取显著性区域，具体是：在一个长时间的跟踪中，为了防止模型过拟合，将RLS问题变为最小化l_2,1问题，ψ(w)＝||w²·||w||₁-γ||w||₁，其中γ是正则化约束，用来平衡经验误差和模型复杂度；当目标被遮挡时，利用显著性信息将目标与背景区分隔开，加强目标模型的判别性；显著性检测采用的是boolean map saliency(BMS)算法，该算法基于布尔映射理论，即一个观察者对场景的瞬间意识可以有布尔映射表示；BMS根据特征空间的先验分布和随机阈值，利用输入图像的特征图生成一系列布尔图；

步骤3，目标位置预测，对显著性区域提取方向梯度直方图特征，作为滤波器的输入，滤波器输出的响应图中最大值所对应的就是目标的位置；根据预测的目标位置，提取目标在下一帧可能出现的候选区域，对该区域提取方向梯度直方图特征作为滤波器的输入，作为再利用步骤1中设计的滤波器输出，通过正则化岭回归求解，得到一组参数；通过得到这组参数以及自回归，更新滤波器，得到滤波器的一组新的参数；为了不失去目标的细节，在将图像的显著性信息考虑进去的同时也保留目标原有信息，那么在样本训练的过程中，将显著性图叠加到原始样本中；就得到滤波器的响应矩阵，矩阵中最大值所对应的就是目标的位置；在根据该位置更新模型参数；

步骤4，鲁棒性尺度估计，在得到目标的位置之后，在根据预设的二维尺度值，在目标周围进行采样，得到一系列长宽不同变化的图像块；然后将这些图像块进行双线性插值，将图像块的大小变为和所设计的尺度模型一致，得到训练样本；接下来进行特征提取，得到图像块的方向梯度直方图特征之后，训练一个最小二乘分类器，这样获得一个二维尺度跟踪器，通过响应图得到目标的尺度变化；响应图中最大值对应目标的尺度。

在上述的一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法，所述步骤4中，采用一维尺度滤波器，是假设目标不发生较大的形变，目标的长和宽为相同的变化，但实际上一旦目标发生较大的形变时，目标的形变并非有规律，若仍采用一维滤波器，会降低尺度跟踪器的性能；因此采用二维滤波器，认为目标的长和宽并不是发生相同的变化，这样即使目标发生大的形变，仍能准确估算出目标的尺度。

本发明提供一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法，在目标发生遮挡、尺度变化的时候，跟踪的准确率和成功率都得到提升。

附图说明

图1为算法流程图。

图2为跟踪整体框架图。

图3a为Coke视频序列的算法准确率。

图3b为Coke视频序列的算法成功率。

图4a为boat2视频序列的算法准确率。

图4b为boat2视频序列的算法成功率。

图5a为boat5视频序列的算法准确率。

图5b为boat5视频序列的算法成功率。

图6a为boat7视频序列的算法准确率。

图6b为boat7视频序列的算法成功率。

具体实施方式

相关滤波器因其高效的计算效率，近年来被用于目标跟踪领域。但是利用循环移动来近似目标的实际移动，当目标被遮挡时，这两者并没有一一对应。再加上目标的外观发生变化，跟踪难度大大增加。因此，本发明引入显著性信息，加大了目标与背景的区别。此外，对于跟踪过程中的尺度估计，目标并非只发生大小变化，一般还会发生形变。只采用一维数据估计目标的尺度是不够的也是不准确的，因此本发明基于二维的相关滤波器从两个维度估计目标的尺度，提高准确率。所以，本发明提出一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法。具体流程图如

下面对基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法的原理以及相关定义加以说明。

1.滤波器训练

根据第一帧图像中目标的位置以及尺度，确定目标的候选区域，即目标在下一帧中可能出现的区域。利用循环移动近似目标的实际位移，对候选区域进行特征提取，得到样本矩阵。设计尺度的候选值，构建尺度滤波器的输出。设计两个二维相关滤波器，分别用来预测目标的位置和尺度。样本的训练过程实际上是一个正则化最小二乘(Regularizedleast squares，RLS)问题，RLS分类器由在核定义的再生核希尔伯特空间上最小化一个线性正则化函数来实现。对于给定的训练样本及其标签(x_i,y_i)，找到一个滤波器w，通过求解最小化结构风险函数的参数，使得如下的残差函数最小：

其中，λ为用来控制过拟合的正则化参数。为了便于分类器求解，使数据线性可分，引入核函数，把数据样本的特征空间映射到一个更高维的希尔伯特空间

α_i为变换系数。利用循环矩阵的性质可以得到频域上的解

其中，为滤波器输出的离散傅里叶变换，g的元素为g_i＝κ(x,x_i)，κ(x,x_i)为引入的核函数。

为g的离散傅里叶变换。

2.显著性检测

在一个长时间的跟踪(long-term tracking)问题中，为了防止模型过拟合，将这个RLS问题变为最小化l_2,1问题，ψ(w)＝||w||²·||w||₁-γ||w||₁，其中γ是正则化约束，用来平衡经验误差和模型复杂度。当目标被遮挡时，利用显著性信息将目标与背景区分隔开，加强目标模型的判别性。显著性检测采用的是boolean map saliency(BMS)算法，该算法基于布尔映射理论，即一个观察者对场景的瞬间意识可以有布尔映射表示。BMS根据特征空间的先验分布和随机阈值，利用输入图像的特征图生成一系列布尔图。

B_i＝THRESH(φ(I),θ),

φ～p_φ,θ～p_θ

其中，函数THRESH(.,θ)通过θ将图像二值化；φ(I)表示图像I的特征图，并归一化到0～255之间；p_φ与p_θ表示先验分布。

布尔图对视觉注意的影响可以由关注图A(B)来表示：

其中，I为输入图像，

为平均关注图，可用来做后续处理得到一个最终的显著性图S。

3.目标位置预测

将正则化约束更改之后，滤波器的变换系数的解为

为了不失去目标的细节，在将图像的显著性信息考虑进去的同时也保留目标原有信息，那么在样本训练的过程中，将显著性图叠加到原始样本中。就得到滤波器的响应矩阵，矩阵中最大值所对应的就是目标的位置。在根据该位置更新模型参数。

4.鲁棒性尺度估计

采用一维尺度滤波器，是假设目标不发生较大的形变，目标的长和宽为相同的变化，但实际上一旦目标发生较大的形变(如平面外的旋转)时，目标的形变并非有规律(长宽不发生相同变化)，若仍采用一维滤波器，会降低尺度跟踪器的性能。因此采用二维滤波器，认为目标的长和宽并不是发生相同的变化，这样即使目标发生大的形变，仍能准确估算出目标的尺度。具体步骤如下：

1)构建尺度候选值。在尺度预测过程中，对于当前图像中，目标的大小为P×R，尺度滤波器的大小为S×S，那个对于每一个

在目标的长和宽两个维度分别提取大小为

的图像块J_n×n。其中，a为滤波器参数因子。

2)设计二维尺度滤波器。尺度估计模块采用HOG特征，首先对图像进行特征提取，得到图像的d维特征的训练样本f^l，其中l∈{1,2,...,d}，每个特征维度分别对应着一个相关滤波器h^l，最小化损失函数：

其中，g为对应训练样本f所设计的滤波器输出；λ≥0为正则化参数，控制结构误差。求解得到滤波器为：

3)参数更新。在线解决一个d×d维的线性方程组的更新问题，需要付出大的计算量，为了获得一个具备鲁棒性的逼近，更新相关滤波器

的分子和分母B_t：

其中，η为学习率。

4)滤波器输出。

相关性响应图中最大值所对应的尺度变换就是目标当前的尺度大小。

与一维尺度相关滤波器估算目标的尺度变化相比，最大的不同在于，在进行目标候选区域提取特征时，分别对目标的长和宽进行尺度变化得到候选区域，这样准确估计目标的尺度变化但是增大了计算量。为了解决这一问题，采用主成分分析使用进行特征降维。

基于判别模型的跟踪算法，采用二分类的思想，将目标与背景分开。将目标的运动信息考虑进去，下一帧目标出现的位置肯定在以当前帧目标为中心的邻域内。这样如何选择搜索框的大小，就是必须要解决的问题。本发明采取自适应搜索窗策略，根据相邻两帧目标位置的偏移量来约束搜索框的大小。比较相邻两帧目标中心的偏移量自适应选择搜索窗口的大小。预先设置一个阈值，当偏移量大于该阈值时，加大搜索窗口。

实验结果

采用的实验数据来自视觉跟踪基准库benchmark和无人机跟踪视频库UAV123_10fps。

表1实验视频信息介绍

视频名称	帧数	挑战因素
			Coke	1-291	遮挡、旋转
boat2	1-267	尺度变化、形变
			boat5	1-169	视角变化、尺度变化
boat7	1-179	旋转、视角变化、尺度变化

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法，其特征在于，包括以下步骤：

步骤1，位置滤波器训练，利用循环矩阵的性质，将滤波器的求解问题转化为正则化岭回归问题；通过先验信息得到目标在第一帧图像中的位置信息，将包括目标以及其周围一圈背景的区域作为目标候选框，然后对该区域提取方向梯度直方图特征并作为滤波器的输入，利用目标的原始尺寸和候选区域的尺寸设计滤波器的输出，将原始的正则化岭回归问题中l₂正则化约束化转为l_2,1约束，通过滤波器的输入和输出训练滤波器，得到滤波器的参数，具体是：

根据第一帧图像中目标的位置以及尺度，确定目标的候选区域，即目标在下一帧中可能出现的区域；利用循环移动目标的实际位移，对候选区域进行特征提取，得到样本矩阵；设计尺度的候选值，构建尺度滤波器的输出；设计两个二维相关滤波器，分别用来预测目标的位置和尺度；样本的训练过程实际上是一个正则化最小二乘问题，RLS分类器由在核定义的再生核希尔伯特空间上最小化一个线性正则化函数来实现；

步骤2，显著性检测，用boolean map saliency(BMS)对候选区域提取显著性区域，具体是：在一个长时间的跟踪中，为了防止模型过拟合，将RLS问题变为最小化l_2,1问题，ψ(w)＝||w||²·||w||₁-γ||w||₁，其中γ是正则化约束,用来平衡经验误差和模型复杂度,w为滤波器；当目标被遮挡时，利用显著性信息将目标与背景区分隔开，加强目标模型的判别性；显著性检测采用的是boolean map saliency(BMS)算法，该算法基于布尔映射理论，即一个观察者对场景的瞬间意识用布尔映射表示；BMS根据特征空间的先验分布和随机阈值，利用输入图像的特征图生成一系列布尔图；

2.根据权利要求1所述的一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法，其特征在于，所述步骤4中，采用一维尺度滤波器，是假设目标不发生大的形变，目标的长和宽为相同的变化，但实际上一旦目标发生大的形变时，目标的形变并非有规律，若仍采用一维滤波器，会降低尺度跟踪器的性能；因此采用二维滤波器，认为目标的长和宽并不是发生相同的变化，这样即使目标发生大的形变，仍能准确估算出目标的尺度。