CN109727272B - 一种基于双分支时空正则化相关滤波器的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于双分支时空正则化相关滤波器的目标跟踪方法，用于基于视频中的图像帧进行追踪目标的追踪操作，所述方法包括步骤：S1、在包含外观分支网络和语义分支网络的孪生全卷积网络上添加由相关滤波器构成的相关滤波器层，实现相关滤波器与孪生全卷积网络相互之间的端对端训练学习；S2、结合所述外观分支网络和语义分支网络结合，以提升所述孪生全卷积网络在目标追踪过程中对包含追踪目标的图像帧的判别力；S3、采用时空正则化所述相关滤波器，并使用通过时空正则化的所述相关滤波器处理所述图像帧，实现对追踪目标的追踪；本发明能够有效提升跟踪精度和跟踪速度。

Description

一种基于双分支时空正则化相关滤波器的目标跟踪方法

技术领域

本发明属于计算机视觉领域，具体为一种基于双分支时空正则化相关滤波器的目标跟踪方法。

背景技术

视觉目标跟踪是计算机视觉中的一个重要研究方向，它有着广泛的应用，比如：视频监控，人机交互，无人驾驶等。视觉目标跟踪是计算机视觉领域中最基础也最具有挑战性的任务。一方面，因为目标跟踪缺乏目标的先验信息，只给定第一帧目标边界框，来定位后面视频序列里所有帧中的位置。当目标由于各种原因移动、变形或出现外观变化时，跟踪时区分目标与背景将是一道难题。另一方面，在动态背景下如光照变化、阴影、相互遮挡等，很难设计出实时和高性能的跟踪器来处理目标跟踪。

目前，视觉目标跟踪方法主要有两种：基于判别相关滤波器的目标跟踪方法和基于深度学习的目标跟踪方法。在训练样本的周期性假设下，通过快速傅立叶变换，可以在频域中高效地学习基于判别相关滤波器的目标跟踪方法。例如，最小输出和平方误差滤波器是最早基于判别相关滤波器的跟踪器，其跟踪速度可以达到每秒700帧。随着特征表示、非线性核、尺度估计、最大边缘分类器、空间正则化以及连续卷积的引入，基于判别相关滤波器的目标跟踪方法显著提高了系统的跟踪性能，然而计算成本也显著增加。大多数顶级追踪器包括空间正则化判别相关滤波器和连续卷积算子，已经逐渐失去它们的早期速度优势和实时能力。由于多图片训练中的空间正则化复杂性，使得目标跟踪的速度受到严重影响。

同时，随着近年来深度学习在目标跟踪中取得了显著的效果。例如，一些跟踪器将深度特征集成到传统的跟踪方法中，以充分利用卷积神经网络的特征表达能力，而另外一些跟踪器直接使用卷积神经网络作为分类器来实现端到端的训练。这些方法大多采用在线训练来提高跟踪性能。由于卷积神经网络的大量特征和深度神经网络的复杂性，导致了在线训练的计算量巨大。因此，大部分基于卷积神经网络的跟踪器运行速度远低于传统实时跟踪。

此外，现有技术中为了避免在线学习，实现高速跟踪，提出了两种基于卷积神经网络的实时跟踪器。一种是基于使用回归网络的通用目标跟踪的跟踪器，它将目标跟踪视为一个边框回归问题。另一种是基于孪生全卷积网络的跟踪器，它将目标跟踪看成是通过外观进行相似性学习的问题。然而，当跟踪对象具有明显外观变化时，孪生全卷积网络跟踪器的跟踪性能将变得很差。

发明内容

本发明目的是针对上述中现有技术高速追踪过程中深度神经网络跟踪效率和边界效应的问题，本发明结合深度神经网络和相关滤波器，提供一种基于双分支时空正则化相关滤波器的目标跟踪方法，具体技术方案如下：

一种基于双分支时空正则化相关滤波器的目标跟踪方法，用于基于视频中的图像帧进行追踪目标的追踪操作，所述方法包括步骤：

S1、在包含外观分支网络和语义分支网络的孪生全卷积网络上添加由相关滤波器构成的相关滤波器层，实现相关滤波器与孪生全卷积网络相互之间的端对端训练学习；

S2、所述外观分支网络和语义分支网络通过加权平均相结合，以提升所述孪生全卷积网络在目标追踪过程中对包含追踪目标的图像帧的判别力；

S3、采用时空正则化所述相关滤波器，并使用通过时空正则化的所述相关滤波器处理所述图像帧，实现对追踪目标的追踪。

进一步的，所述步骤S1包括：

S11、在每一帧图像中由相关滤波器层构成一线性模板，利用所述线性模板来区分图像帧与图像帧之间的平移，并采用快速傅里叶变换对每一所述图像帧进行再次训练；

S12、将所述相关滤波器层中具有闭合解的所述相关滤波器层作为所述孪生全卷积网络中语义分支网络的可微层。

进一步的，所述相关滤波器层中具有闭合解的相关滤波器由公式h_ρ，v，b(t，R)＝v×ω(f_ρ(t))*f_ρ(R)+b表示，其中，t代表追踪目标，R代表搜索区域，v表示尺度变量，b为一常量，表示偏差；ρ表示全卷积网络的学习速率，f_ρ(t)和f_ρ(R)分别表示追踪目标t和搜索区域R的特征图。

进一步的，步骤S11包括：

S111、利用所述特征图f_ρ(t)和f_ρ(R)求解快速傅里叶变换中的岭回归问题，并在所述追踪目标t和搜索区域R相互之间加入相关滤波器块w＝ω(f_ρ(t))得到标准的相关滤波器模板。

进一步的，所述孪生全卷积网络的输入为视频中的第一图像帧和当前图像帧。

进一步的，所述外观分支网络的输入为(t^a,R^a)，所述外观分支网络对应的特征提取用f_a(·)，所述外观分支网络的响应图由公式h_a(t^a,R^a)＝corr(f_a(t^a),f_a(R^a))进行描述，corr表示相关运算。

进一步的，所述外观分支网络的所有参数均由通过相似性学习进行训练，并通过最小化逻辑损失函数

优化，其中，θ_a表示外观分支网络中的所有参数，N表示训练样本的个数，并且Y_i表示搜索区域内正确标注的响应图。

进一步的，所述语义分支网络为预训练好的所述孪生全卷积网络，并在追踪目标图像与互相关运算间加入相关滤波器块w＝ω(f_ρ(t))得到标准的相关滤波器模板；且所述语义分支网络的输入为(t^s,R^s)，并通过等式h_s(t^s,R^s)＝corr(v×w(f_s(t^s)),f_s(R^s))+b表示所述语义分支网络的响应图。

进一步的，所述图像帧的热图通过所述外观分支网络和语义分支网络的加权平均值构成，由公式h(t^s,R)＝λh_a(t^a,R^a)+(1-λ)h_s(t^s,R^s)表示，其中，λ表示权重参数，用来平衡所述外观分支网络和语义分支网络，h(t^s,R)中最大值的位置表示追踪目标的中心位置。

进一步的，所述步骤S3中采用时空正则化所述相关滤波器的公式为

其中f_k-1表示第k-1个图像帧中的相关滤波器，μ表示正则化参数；f表示滤波器模板，y表示预设的高斯形状标签；

表示时间正则化，||f-f_k-1||²表示空间正则化。

本发明的基于双分支时空正则化相关滤波器的目标跟踪方法，首先在孪生全卷积网络上添加相关滤波器层，孪生全卷积网络与相关滤波器之间的端对端学习；然后将外观分支网络与语义分支网络相结合，以提升孪生全卷积网络的判别力；最后使用时空正则化相关滤波器来减少训练时间，实现对跟踪的优化；与现有技术相比，本发明将外观分支网络作为孪生全卷积网络的基础网络，将语义分支网络作为孪生全卷积网络的深层网络，并将相关滤波器层添加到语义分支网络中，从而实现对追踪速度和追踪精度的提升；同时，将外观分支网络和语义分支网络结合在一起后进一步对追踪速度和追踪精度优化，使得本发明可以具有更低的鲁棒性和更好的追踪性能。

附图说明

图1为本发明实施例所述基于双分支时空正则化相关滤波器的目标跟踪方法的总流程图示意；

图2为本发明实施例所述基于双分支时空正则化相关滤波器的目标跟踪方法的框架图示意；

图3为本发明实施例鲁棒性-准确性的比较结果图示意；

图4为本发明实施例平均预期重叠分数的比较结果图示意。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

参阅图1～图4，在本发明实施例中，提供了一种基于双分支时空正则化相关滤波器的目标跟踪方法，用于基于视频中的图像帧进行追踪目标的追踪操作，具体的，所述方法包括步骤：

S1、在包含外观分支网络和语义分支网络的孪生全卷积网络上添加由相关滤波器构成的相关滤波器层，实现相关滤波器与孪生全卷积网络相互之间的端对端训练学习。

在具体实施例中，本发明的方法首先利用相关滤波器训练线性模板来区分图像帧与图像帧之间的平移，并采用快速傅里叶变换对每一图像帧进行再次训练；然后将相关滤波器层中具有闭合解的所述相关滤波器作为所述孪生全卷积网络中语义分支网络的可微层；其中，通过相关滤波器层中具有闭合解的相关滤波器由公式h_ρ，v，b(t，R)＝v×ω(f_p(t))*f_ρ(R)+b表示，其中，t代表追踪目标，R代表搜索区域，v表示尺度变量，b为一常量，表示偏差；ρ表示全卷积网络的学习速率，f_ρ(t)和f_ρ(R)分别表示追踪目标t和搜索区域R的特征图；得到特征图后，本发明利用特征图f_ρ(t)和f_ρ(R)求解快速傅里叶变换中的岭回归问题，并在追踪目标t和搜索区域R相互之间加入相关滤波器块w＝ω(f_ρ(t))得到标准的相关滤波器模板；这样，相较于现有技术中针对不同任务训练的特性，而使相关滤波器与深度神经网络分开的训练学习方式，在相同的情况下，例如，训练相同数量的图像帧，本发明的方法可以大大降低训练的速度，提升追踪效率。

优选的，本发明为了提升追踪的精度，本发明通过在相关滤波器网络中每一帧中设计一个新的由相关滤波器组成的网络模板，并将其与先前的相关滤波器网络模板结合起来，以提升相关滤波器网络的提取精度，这里的提取精度指的并非是对图像帧的深层特征提取，在实际情况中，相关滤波器网络对深层特征提取的精度与孪生全卷积网络的效果一致。

S2、结合外观分支网络和语义分支网络结合，以提升孪生全卷积网络在目标追踪过程中对包含追踪目标的图像帧的判别力；

在本发明实施例中，本发明方法中的孪生全卷积网络的输入为视频中的第一图像帧和当前图像帧，具体的，本发明中使用t、t^c和R分别表示追踪目标、追踪目标与周围上下文以及搜索区域，其中，t、t^c和R的大小分别为W_t×H_t×3、W_c×H_c×3和W_c×H_c×3，其中W_t<W_c且H_t<H_c；在实际情况中，搜索区域R可以看作是搜索区域R中与追踪目标t具有相同维度的候选图像区域r的集合；在孪生全卷积网络的外观分支网络和语义分支网络中，每个分支的输出都是一个表示搜索区域R内的追踪目标t候选图像区域r的相似性响应图；外观分支网络和语义分支网络的响应图的获取过程如下：

对于外观分支网络，本发明构建的外观分支网络的输入为(t^a,R^a)，并用f_a(·)表示外观分支网络对应的特征提取，这样，就可以得到本发明中构建的外观分支网络的响应图的表达公式为h_a(t^a,R^a)＝corr(f_a(t^a),f_a(R^a))，式中，corr表示相关运算；具体的，本发明的外观分支网络中所有参数均通过相似性学习进行训练得到，并通过最小化逻辑损失函数

优化，其中，θ_a表示外观分支网络中的所有参数，N表示训练样本的个数，并且Y_i表示搜索区域内正确标注的响应图。

优选的，对于语义分支网络，在训练过程中，训练图像需要为相关滤波器提供较大的上下文区域，并且为了减少圆形边界的影响，本发明构建的语义分支网络的输入为(t^s,R^s)，优选的，本发明将预训练好的孪生全卷积网络作为语义分支网络，并在追踪目标图像与互相关运算间加入相关滤波器块w＝ω(f_s(t^s))得到标准的相关滤波器模板，从而得到语义分支网络的响应图的表达公式h_s(t^s,R^s)＝corr(v×w(f_s(t^s)),f_s(R^s))+b。

在实际追踪操作过程中，本发明通过热图对追踪目标实现追踪，具体的追踪得到图像帧的热图通过外观分支网络和语义分支网络的加权平均值构成，具体可由公式h(t^s,R)＝λh_a(t^a,R^a)+(1-λ)h_s(t^s,R^s)表示，其中，λ表示权重参数，用来平衡外观分支网络和语义分支网络，h(t^s,R)中最大值的位置表示追踪目标的中心位置。

此外，为了解决追踪过程中的目标跟踪边界效应，本发明通过在相关滤波器系数中施加空间惩罚的方式来解决，具体的，空间惩罚的方式可通过公式

表示，其中，f^d表示第d个滤波器模板，α_k表示第k个图像样本的权重；

表示第k个图像的第d个特征图，y_k表示第k个图像的预设高斯形状标签；*和·分别是卷积算子和哈达玛乘积运算，w表示大小为m×n的正则系数矩阵；通过空间惩罚的方式可以得到结果在追踪目标处正则系数较低，在背景处正则系数较高，这使得滤波器能更多关注目标信息，从而提升追踪的精确率。

S3、采用时空正则化相关滤波器，并使用通过时空正则化的相关滤波器处理所述图像帧，实现对追踪目标的追踪。

虽然通过步骤S2中的空间正则化方式，即空间正则化相关滤波器，可以在很大程度上解决边界效应方面问题；然而，由于在现有的空间正则化操作过程中，滤波器的输入是多帧样本并通过高斯赛德尔迭代方法的方式进行边界效应问题的解决，此种方式为慢收敛速度，因此跟踪器需要较长的训练时间来学习当前帧中的判别相关滤波器，为了保证通过本发明的方法可以减少训练的时间来学习追踪目标图像帧中当前帧的判别相关滤波器，本发明在空间正则化的基础上加入时间正则化的处理方式，具体的，本发明中，时间正则化和空间正则化结合后可通过公式

来表示对相关滤波器的时空正则化处理操作，其中f_k-1表示第k-1个图像帧中的相关滤波器，μ表示正则化参数；f表示滤波器模板，y表示预设的高斯形状标签；

表示时间正则化，||f-f_k-1||²表示空间正则化。

本发明通过在空间正则化相关滤波器的基础上引入时间正则化，可以实现在想过滤波器正则化过程中同时实现判别相关滤波器的学习和模型更新，可以作为空间正则化在多个训练样本下的合理逼近，并且在遮挡情况下，可以更新时空正则化相关滤波器来与前一个样本保持接近，保证追踪过程中的连续性，提升了本发明追踪方法的连续性，即可以保障追踪的准确率。

结合上表，将本发明的方法与现有技术的方法进行比较，从中可知，本发明的方法通过使用由外观分支网络和语义分支网络的孪生全卷积网络，可以有效提升在目标追踪过程中的判别能力；并且通过时空正则化处理相关滤波器，可提升目标追踪过程中的精确率。

综上可知，本发明的基于双分支时空正则化相关滤波器的目标跟踪方法，首先在孪生全卷积网络上添加相关滤波器层，孪生全卷积网络与相关滤波器之间的端对端学习；然后将外观分支网络与语义分支网络相结合，以提升孪生全卷积网络的判别力；最后使用时空正则化相关滤波器来减少训练时间，实现对跟踪的优化；与现有技术相比，本发明将外观分支网络作为孪生全卷积网络的基础网络，将语义分支网络作为孪生全卷积网络的深层网络，并将相关滤波器层添加到语义分支网络中，从而实现对追踪速度和追踪精度的提升；同时，将外观分支网络和语义分支网络结合在一起后进一步对追踪速度和追踪精度优化，使得本发明可以具有更低的鲁棒性和更好的追踪性能。

以上仅为本发明的较佳实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。

Claims (6)

1.一种基于双分支时空正则化相关滤波器的目标跟踪方法，用于基于视频中的图像帧进行追踪目标的追踪操作，其特征在于，所述方法包括步骤：

S1、在包含外观分支网络和语义分支网络的孪生全卷积网络上添加由相关滤波器构成的相关滤波器层，实现相关滤波器与孪生全卷积网络相互之间的端对端训练学习；

S2、所述外观分支网络和语义分支网络通过加权平均相结合，以提升所述孪生全卷积网络在目标追踪过程中对包含追踪目标的图像帧的判别力；

S3、采用时空正则化所述相关滤波器，并使用通过时空正则化的所述相关滤波器处理所述图像帧，实现对追踪目标的追踪；

所述外观分支网络的输入为(t^a,R^a)，所述外观分支网络对应的特征提取用f_a(·)，所述外观分支网络的响应图由公式h_a(t^a,R^a)＝corr(f_a(t^a),f_a(R^a))进行描述，corr表示相关运算；

所述语义分支网络为预训练好的所述孪生全卷积网络，并在追踪目标图像与互相关运算间加入相关滤波器块w＝ω(f_ρ(t))得到标准的相关滤波器模板；且所述语义分支网络的输入为(t^s,R^s)，并通过等式h_s(t^s,R^s)＝corr(v×w(f_s(t^s)),f_s(R^s))+b表示所述语义分支网络的响应图；

所述图像帧的热图通过所述外观分支网络和语义分支网络的加权平均值构成，由公式h(t^s,R)＝λh_a(t^a,R^a)+(1-λ)h_s(t^s,R^s)表示，其中，λ表示权重参数，用来平衡所述外观分支网络和语义分支网络，h(t^s,R)中最大值的位置表示追踪目标的中心位置；

步骤S3中采用时空正则化所述相关滤波器的公式为

其中f_k-1表示第k-1个图像帧中的相关滤波器，μ表示正则化参数；f表示滤波器模板，y表示预设的高斯形状标签；

表示时间正则化，||f-f_k-1||²表示空间正则化。

2.根据权利要求1所述的基于双分支时空正则化相关滤波器的目标跟踪方法，其特征在于，步骤S1包括：

S11、在每一帧图像中由相关滤波器层构成一线性模板，利用所述线性模板来区分图像帧与图像帧之间的平移，并采用快速傅里叶变换对每一所述图像帧进行再次训练；

S12、将所述相关滤波器层中具有闭合解的所述相关滤波器层作为所述孪生全卷积网络中语义分支网络的可微层。

3.根据权利要求2所述的基于双分支时空正则化相关滤波器的目标跟踪方法，其特征在于，所述相关滤波器层中具有闭合解的相关滤波器由公式h_ρ，v，b(t，R)＝v×ω(f_ρ(t))*f_ρ(R)+b表示，其中，t代表追踪目标，R代表搜索区域，v表示尺度变量，b为一常量，表示偏差；ρ表示全卷积网络的学习速率，f_ρ(t)和f_ρ(R)分别表示追踪目标t和搜索区域R的特征图。

4.根据权利要求3所述的基于双分支时空正则化相关滤波器的目标跟踪方法，其特征在于，步骤S11包括：

S111、利用所述特征图f_ρ(t)和f_ρ(R)求解快速傅里叶变换中的岭回归问题，并在所述追踪目标t和搜索区域R相互之间加入相关滤波器块w＝ω(f_ρ(t))得到标准的相关滤波器模板。

5.根据权利要求1所述的基于双分支时空正则化相关滤波器的目标跟踪方法，其特征在于，所述孪生全卷积网络的输入为视频中的第一图像帧和当前图像帧。

6.根据权利要求1所述的基于双分支时空正则化相关滤波器的目标跟踪方法，其特征在于，所述外观分支网络的所有参数均由通过相似性学习进行训练，并通过最小化逻辑损失函数

优化，其中，θ_a表示外观分支网络中的所有参数，N表示训练样本的个数，并且Y_i表示搜索区域内正确标注的响应图。

Images