CN111161323A

CN111161323A - 一种基于相关滤波的复杂场景目标跟踪方法及系统

Info

Publication number: CN111161323A
Application number: CN201911419540.2A
Authority: CN
Inventors: 许廷发; 吴凡; 吴零越; 张语珊; 殷钰莹; 郭倩玉
Original assignee: Beijing Institute of Technology BIT; Chongqing Innovation Center of Beijing University of Technology
Current assignee: Beijing Institute of Technology BIT; Chongqing Innovation Center of Beijing University of Technology
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2020-05-15
Anticipated expiration: 2039-12-31
Also published as: CN111161323B

Abstract

本发明提供了一种基于相关滤波的复杂场景目标跟踪方法：步骤1、对带有目标标注框的第一帧视频图像，通过传统相关滤波训练方法得到滤波器；步骤2、读取下一帧图像，将当前帧图像的搜索区域与上一帧得到的滤波器进行卷积操作，得到响应图像，对响应图像计算最大值得到当前帧相关滤波跟踪结果；将当前帧相关滤波跟踪结果与基于颜色直方图的目标跟踪结果进行互补融合，得到当前帧跟踪结果；步骤3、通过评价标准对响应图像判断是否属于复杂场景决定当前帧的滤波器训练方式；步骤4、重复步骤2‑3，直到读取完视频序列的所有帧，目标跟踪结束。采用本方法避免了背景杂乱以及目标严重形变等复杂场景跟踪漂移的问题。

Description

一种基于相关滤波的复杂场景目标跟踪方法及系统

技术领域

本发明涉及计算机视觉目标跟踪领域，特别涉及一种基于相关滤波的复杂场景目标跟踪方法及系统。

背景技术

目标跟踪是计算机视觉领域中的一个基本问题，是目前的研究热点之一。其基本定义为，给定视频序列的初始帧以及目标的位置框，在接下来的视频序列中自动给出该目标的位置框。目标跟踪在很多实时视觉应用中扮演着重要角色，例如自动驾驶、智能监视系统、无人机监控、智能交通控制和人机交互等。由于其智能性和重要性而受到了广泛关注。

目标跟踪算法根据观测模型的不同可以大致分为生成式方法和判别式方法。生成式方法的典型代表为稀疏编码，判别式方法的典型代表为相关滤波。本发明选用了近年来逐渐占据主流地位的相关滤波方法。通过由目标图像训练的滤波器对图像进行滤波处理，在得到的响应图中寻找最大值位置，即图像中目标的位置。在此种情况下，目标跟踪的过程近似为对搜索区域图像进行相关滤波的过程，寻找目标也就是寻找滤波器响应图像的最大值位置。以最早关于相关滤波的算法MOSSE为例，其利用了输出结果的最小均方误差来训练滤波器。定义滤波器为H,一系列训练图像为F，卷积操作的期望输出为G，则第i帧的最小化问题公式为：

将训练得到的滤波器作用于搜索区域即可得到响应图像。响应值的大小反映了该处图像与初始化目标的相关性，选定响应值最大处作为目标位置。针对相关滤波中样本数量不足对分类器结果的影响，通常采用循环密集采样的方式，利用中心图像块循环移位增加样本。由于循环矩阵时域和频域的特殊性质，在训练滤波器过程中，复杂矩阵求逆转变为简单矩阵点除；在目标跟踪时，滤波器相关性操作变为频域内的点乘操作。此举大幅减少运算量，显著提高了跟踪速度。

尽管相关滤波具有实时性的优势，但当出现背景复杂、形变严重、光照变化及目标遮挡等情况时，容易发生跟踪漂移。因为相关滤波的关键是训练一个具有判别性的相关滤波器，用于区分前景和背景。而当背景杂乱或目标出现形变时，会严重影响滤波器的判别性，导致目标丢失。

发明内容

有鉴于此，本发明针对传统的相关滤波跟踪算法在背景杂乱以及目标严重形变等复杂场景跟踪漂移的问题，提出了一种基于相关滤波的应用于复杂场景的目标跟踪方法，添加动态约束项自适应地学习目标周围背景信息，达到抑制背景，突出目标的目的，同时结合了基于颜色直方图的跟踪结果，以达到和相关滤波结果互补，应对形变与复杂背景的目的。

本发明采用的技术方案如下：一种基于相关滤波的复杂场景目标跟踪方法，包括以下步骤：

步骤1、对带有目标标注框的第一帧视频图像，通过传统相关滤波训练方法得到滤波器；

步骤2、读取下一帧图像，将当前帧图像的搜索区域与上一帧得到的滤波器进行卷积操作，得到响应图像，对响应图像计算最大值得到当前帧相关滤波跟踪结果；将当前帧相关滤波跟踪结果与基于颜色直方图的目标跟踪结果进行互补融合，得到当前帧跟踪结果；

步骤3、通过评价标准对响应图像判断是否属于复杂场景，若不属于复杂场景则采用传统相关滤波训练方法训练当前帧的滤波器，若属于复杂场景则在传统相关滤波训练方法中整合背景信息训练当前帧的滤波器；

步骤4、重复步骤2-3，直到读取完视频序列的所有帧，目标跟踪结束。

进一步的，所述步骤3中评价标准为平均峰值相关能量APCE。

进一步的，所述步骤3中对相应图像是否属于复杂场景的具体判断方法为：计算响应图像的平均峰值相关能量APCE，若APCE低于历史平均值，则表示该图像属于复杂场景；反之，则表示该图像不属于复杂场景。

进一步的，所述步骤3中，整合背景信息训练当前帧的滤波器的具体方法为：在传统相关滤波方法中，添加目标周围的背景信息作为动态约束项进行学习，得到整合背景区域作为约束项的滤波器。

进一步的，所述背景区域为目标区域上下左右相邻的与目标框等大的图像区域或响应图像中具有次高响应峰值对应所在的位置区域。

进一步的，所述步骤4中，互补融合过程如下：

P(t)＝(1-γ)P_CF(t)+γP_CH(t)

其中，P_CF(t)为相关滤波跟踪结果，P_CH(t)为基于颜色直方图的跟踪结果，γ为互补权重，通过控制γ得到最优融合结果。

本发明还提供了一种基于相关滤波的复杂场景目标跟踪系统，包括：初始化模块、相关滤波跟踪模块、判断场景复杂度模块、自适应学习背景模块、自适应互补颜色直方图跟踪结果模块；

初始化模块，对第一帧图像进行滤波器初始化，得到初始的滤波器；

相关滤波跟踪模块，读取视频下一帧图像，并与上一帧训练的滤波器卷积得到响应图像及相关滤波跟踪结果；

判断场景复杂度模块，用于判断是否需要整合背景信息训练滤波器；通过对上一帧的响应图像进行判断，若响应图像峰值模糊或出现多个局部峰值，则需要整合背景信息进行训练滤波器，若响应图像具有一个明确的峰值，则不需整合背景信息，直接采用传统相关滤波方法训练滤波器；

自适应学习模块，用于根据判断场景复杂度模块判断，进行滤波器的训练；

自适应互补颜色直方图跟踪结果模块，自适应的融合通过颜色直方图进行跟踪的目标结果与相关滤波跟踪结果，输出最终目标跟踪结果。

进一步的，所述自适应学习模块训练整合背景信息的滤波器的具体过程为：在传统相关滤波方法的公式基础上，添加目标周围的背景信息作为动态约束项进行学习，得到整合背景区域作为约束项的滤波器。

与现有技术相比，采用上述技术方案的有益效果为：

1、利用相关滤波为基础进行目标跟踪，保证了跟踪速度，可作为实时跟踪的基础。

2、自适应的学习目标周围背景信息，将其整合为动态约束项加入训练模型中，使滤波器更具判别性，增加背景杂乱与复杂场景下跟踪的成功率与精确度。

3、自适应的互补了颜色直方图方法的跟踪结果，弥补了传统相关滤波对于形变以及光照变化的不敏感，提高了跟踪精度。

附图说明

图1是本发明的目标跟踪方法流程图。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明提供了一种基于相关滤波的复杂场景目标跟踪方法，其基本思想是：利用场景复杂度进行自适应的学习，在训练模型中整合目标周围的背景信息作为动态的约束项，防止跟踪漂移，同时结合基于颜色直方图的目标跟踪方法的结果，弥补形变给目标跟踪带来的影响，以此提高跟踪精度与准确度。如图1所示，具体步骤如下：

步骤2、读取下一帧图像，将当前帧图像的搜索区域与上一帧得到的滤波器进行卷积操作，得到响应图像，从而得到当前帧相关滤波跟踪结果；将当前帧相关滤波跟踪结果与基于颜色直方图的目标跟踪结果进行互补融合，得到当前帧跟踪结果；

对于步骤1，首先将带有标注框的第一帧图像经过传统相关滤波训练得到初始化滤波器。此时，认为所训练得到的滤波器是最为准确的，因为初始标注框的位置是已知的、准确的，此时我们所采用的目标训练样本就是我们需要跟踪的目标，是最为准确的样本。经过第一帧训练得到的滤波器将在下一帧进行卷积操作。

对于步骤2，当前帧图像的搜索区域与上一帧得到的滤波器进行卷积操作，得到响应图像，从而得到当前帧相关滤波跟踪结果，其中，响应图像中最大值的位置就是目标中心的位置，跟踪结果即为该目标中心位置的坐标和目标尺寸。相关滤波器对光照变化、尺度变化等情况具有很强的鲁棒性，但是，由于模型依赖于空间信息，因此滤波器对变形很敏感。同时，基于颜色直方图的跟踪器能够很好地处理形变，但当光照明显变化时，可能会导致跟踪器跟踪不准确。因此，本发明将这两种跟踪器结合起来，在保持相关滤波跟踪优点的同时，减轻了形变对跟踪结果的影响。为了进行融合，本发明提出了一个线性函数，从相关滤波跟踪结果P_CF(t)和基于颜色直方图的跟踪结果P_CH(t)经过互补权重γ控制得到最佳的线性组合，

P(t)＝(1-γ)P_CF(t)+γP_CH(t)

在滤波器进行相关滤波跟踪过程中，所使用的图像特征可以是手工特征或深度特征，若在相关滤波跟踪时所使用的特征为手工特征，则在结果层面进行融合，即对跟踪结果进行融合；若在相关滤波跟踪时所使用的特征为深度特征，则在响应图像层面进行融合，即对响应图像进行融合。

其中，基于颜色直方图的目标跟踪方法如下：

首先分别提取前景和背景区域，并分别计算它们的颜色直方图分布；然后计算候选区域的颜色直方图分布，并与前景和背景区域的颜色直方图进行比较，得到候选区域属于目标区域的概率；同时在每帧图像中更新前景和背景区域的颜色直方图，以适应场景的变化。在本实施例中，采取RGB颜色模型计算颜色直方图，每个颜色通道有32bins。

对于步骤3，通过本帧的响应图像得分来判断本帧场景复杂度，具体为：通过前一帧训练得到的滤波器与本帧图像的搜索区域进行卷积操作，得到响应图像；通过评价标准对响应图像进行判断，当响应图像显示出场景复杂时，就在本帧训练滤波器的过程中，整合目标周围的背景信息，加强滤波器的判别性。

在本发明中采用了平均峰值相关能量APCE(Average Peak-to-CorrelationEnergy) 作为评价标准。则APCE的定义如下：

其中，R_max，R_min与R_r,c分别表示响应图像中的最大值，最小值以及第r行、第c列的响应值大小。

由上式可知，APCE反映了响应图像的波动情况、峰值、复杂度，能够反映跟踪结果的可靠性。由于运动模糊、背景杂乱等复杂场景，响应图随机波动，并且在真实目标周围有多个峰值。而理想的响应图应该在真实的目标位置有一个明确的峰值，而在所有其他区域波动较小。因此，当响应图明显波动时，即响应图像峰值模糊或出现多个局部峰值，表示该响应图像属于复杂场景，训练滤波器的过程中需要整合背景信息进行学习；而响应图像在真实目标位置有一个明确的峰值，且在其他区域波动较小，则表示该响应图像不属于复杂场景。

为了消除偶然的一帧图像的误差，我们需要结合既往多帧图像的响应图像进行分析。如果当前帧响应图像的APCE低于其历史平均值时，我们就考虑在训练滤波器过程中整合背景信息进行学习实现对于背景的抑制；当APCE高于历史平均值时，则不需要整合背景信息。

在步骤3中对于需要整合背景信息进行训练滤波器的具体方法为：背景信息作为动态的约束项加入训练模型，从而得到整合背景信息的滤波器。

训练具体过程为：首先对图像中目标周围的背景信息进行采样，这些选定的背景图像块将被视为负样本。它们可以代表不同的背景和不同的干扰因素。换言之，我们希望学习的滤波器在目标区域具有高响应，而对于所选背景图像块具有最低响应。为了实现这一点，本发明将背景图像区域作为约束项添加进传统相关滤波公式中。

传统相关滤波公式中，需要从一系列训练样本

中学习得到多通道滤波器f。定义J{x}表示从训练样本中提取到的特征图像，则滤波器与特征图像卷积得到的相应分数可表示为：

S_f{x}＝f*J{x}

当结合背景信息进行学习时，目标函数可以表示为：

其中α_k表示赋给第k个训练样本x_k的权重，y_k为响应结果的期望输出；第二项中的ω:Ω→R，通过在ω中分配更高的权重来抑制位于目标区域之外的滤波器中的系数，反之亦然；第三项则为本发明中提到的有关背景区域的约束项，x_ki表示在目标训练样本x_k周围的第i个背景样本。通过帕塞瓦尔定理以及迭代法原理，本发明得到了目标函数的封闭解，即解决普通的

问题：

其中

以及W表示dMN×dMN的块对角矩阵。

由此，便可得到整合背景区域作为约束项的滤波器，实现对于背景信息的学习。

优选的，背景区域选取目标区域上下左右相邻的与目标框等大的图像区域，因为目标在这些区域出现的可能性较高，以此作为训练样本，可提高效用；同时也可以选用在响应图像中，除了目标位置的次高响应峰值对应的位置，因为这个位置出现的可能是相似目标，所以此举可以抑制相似目标的干扰。

本发明还提供了一种基于相关滤波的复杂场景目标跟踪系统，其特征在于，包括：初始化模块、相关滤波跟踪模块、判断场景复杂度模块、自适应学习背景模块、自适应互补颜色直方图跟踪结果模块；

判断场景复杂度模块，用于判断是否需要整合背景信息训练滤波器；通过对上一帧的响应图像进行判断，若响应图像峰值模糊或出现多个局部峰值，则需要整合背景信息训练滤波器，若响应图像具有一个明确的峰值，则不需整合背景信息，直接采用传统相关滤波方法训练滤波器；

自适应学习模块，用于根据判断场景复杂度模块判断，进行滤波器的训练；在传统相关滤波方法的公式基础上，添加目标周围的背景信息作为动态约束项进行学习，得到判别能力更强的滤波器，使得得到的滤波器在目标处能够取得较大响应值，而在背景处响应值很小甚至趋近于零；经过此滤波器与搜索区域卷积得到响应图像与跟踪结果。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。如果本领域技术人员，在不脱离本发明的精神所做的非实质性改变或改进，都应该属于本发明权利要求保护的范围。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims

1.一种基于相关滤波的复杂场景目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的复杂场景目标跟踪方法，其特征在于，所述步骤3中评价标准为平均峰值相关能量APCE。

3.根据权利要求2所述的复杂场景目标跟踪方法，其特征在于，所述步骤3中对相应图像是否属于复杂场景的具体判断方法为：计算响应图像的平均峰值相关能量APCE，若APCE低于历史平均值，则表示该图像属于复杂场景；反之，则表示该图像不属于复杂场景。

4.根据权利要求3所述的复杂场景目标跟踪方法，其特征在于，所述步骤3中，整合背景信息训练当前帧的滤波器的具体方法为：在传统相关滤波方法中，添加目标周围的背景信息作为动态约束项进行学习，得到整合背景区域作为约束项的滤波器。

5.根据权利要求4所述的复杂场景目标跟踪方法，其特征在于，所述背景区域为目标区域上下左右相邻的与目标框等大的图像区域或响应图像中具有次高响应峰值对应所在的位置区域。

6.根据权利要求1所述的复杂场景目标跟踪方法，其特征在于，所述步骤2中，互补融合过程如下：

P(t)＝(1-γ)P_CF(t)+γP_CH(t)

7.一种基于相关滤波的复杂场景目标跟踪系统，其特征在于，包括：初始化模块、相关滤波跟踪模块、判断场景复杂度模块、自适应学习背景模块、自适应互补颜色直方图跟踪结果模块；

8.根据权利要求7所述的复杂场景目标跟踪系统，其特征在于，所述自适应学习模块训练整合背景信息的滤波器的具体过程为：在传统相关滤波方法的公式基础上，添加目标周围的背景信息作为动态约束项进行学习，得到整合背景区域作为约束项的滤波器。