CN110675429A - 基于孪生网络和相关滤波器的长短程互补型目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于孪生网络和相关滤波器长‑短程互补型目标跟踪方法，通过深度学习孪生网络在当前帧搜索区域内获取基于第一帧信息的相似度响应图，同时通过相关滤波器跟踪模型在当前帧搜索区域内获取基于临近历史帧信息的跟踪模型响应图，定义熵正则化损失函数对获取的相似度响应图和跟踪模型响应图进行最优化选择，最终以最优响应图中的最大值预测当前帧的跟踪信息。本发明可有效地将第一帧中的标定信息和历史临近帧中的变化信息进行融合，因其信息融合的多元性，相较于现有的其他目标跟踪方法，无论是在避免因跟踪误差累积还是捕获待跟踪目标的表征持续变化等方面都有很好的效果，对视觉目标跟踪的算法研究和实践具有重要的指导意义。

Description

基于孪生网络和相关滤波器的长短程互补型目标跟踪方法

技术领域

本发明涉及数字图像处理和机器学习交叉技术领域，具体涉及一种基于孪生网络和相关滤波器的长-短程互补型目标跟踪方法。

背景技术

目前，基于视觉信息的单目标跟踪在社交机器人人机交互、工业机器人视觉导航、自动/辅助驾驶以及城市视频监控中都有非常广泛的应用。目前常用的目标跟踪方法如下：

(1)基于第一帧标定区域的目标跟踪方法

基于第一帧标定区域的目标跟踪方法主要是基于深度学习的强大特征学习能力学 习得到相似性度量网络(Bertinetto L,Valmadre J,Henriques J F,et al.Fully-convolutional siamese networks for object tracking[C],European conference oncomputer vision.Springer,Cham,2016:850-865.)，用于评价第一帧图像与当 前帧图像中搜索区域相似度。

(2)基于临近历史帧预测结果的目标跟踪方法

基于临近历史帧预测结果的目标跟踪方法通过一个在线更新的分类器将待跟踪目 标从搜索区域中定位出来(Henriques J F,Caseiro R,Martins P,et al.High- speedtracking with kernelized correlation filters[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,2015,37(3):583-596)。基于每一 帧的预测结果，可训练得到一个对应帧的分类器，并通过线性叠加临近历史帧的分类 器得到用于预测当前帧跟踪结果的跟踪器。在对当前进行预测时，当前帧的搜索范围 是一个比待跟踪目标略大的搜索区域，通过在搜索区域内以滑动窗的形式获取候选区 域，将每一个候选区域送入到已训练好的跟踪器中计算其对应的跟踪器得分值，取其 中得分值最大的候选区域作为当前的预测结果。

基于第一帧标定区域的目标跟踪方法，由于缺少待跟踪目标的实时变化信息，易在跟踪目标连续变化时累计跟踪误差并产生跟踪漂移的问题，导致跟踪目标丢失。基 于临近历史帧预测结果的目标跟踪方法，虽然有效的获取了跟踪目标的变化信息，但 每一帧的预测误差将使得跟踪器的性能逐渐下降，且缺乏可靠信息对其进行调整，所 以跟踪时间较长时也易发生跟踪漂移的问题，导致跟踪失败。

综上所述，虽然已经有很多的基于视觉信息的目标跟踪方法，但由于基于视觉 信息的跟踪算法的准确性以及鲁棒性等原因，很难使用跟踪算法在实验应用中得到 有效的应用。

发明内容

本发明的目的在于克服现有技术中存在的缺陷，提供一种基于孪生网络和相关滤波器的长-短程互补型目标跟踪方法，以实现长程基础信息和短程变化信息的融合， 在吸收实时变化信息的同时有效地降低跟踪误差，实现精确的基于视觉信息的目标 跟踪。

本发明旨在至少解决现有技术中存在的技术问题。为此，本发明公开了一种基于孪生网络和相关滤波器的长-短程互补型目标跟踪方法，所述方法包括：

S1、根据第一帧标定区域的深度卷积特征，计算得到当前帧搜索区域的孪生网 络相似度响应图；

S2、根据基于临近历史帧预测结果学习得到的相关滤波器跟踪模型，计算得到 当前帧搜索区域的跟踪器相应图；

S3、以所述步骤S1得到的孪生网络相似度响应图和所述步骤S2得到的相关滤 波器跟踪器相应图为基础，定义最小化熵正则化损失函数，选择其中最优的响应图

S4、在所述步骤S3得到的最佳相应图上，根据其对应响应图的最大值的位置 预测当前帧目标所在位置，并根据响应图对应的尺度信息来预测当前帧目标的尺度；

S5、更新相关滤波器模型参数；

S6、重复步骤S1至S5，直到图像序列最后一帧。

进一步，所述孪生网络为函数

a为第一帧图像中的标定 区域，b为当前帧图像的搜索区域，

代表卷积特征的提取过程，g代表基于互相关 运算的相似度计算。

进一步，所述孪生网络相似度响应图中每一个像素为第一帧标定区域与当前帧搜索区域中的每一个候选区域之间的相似度。

进一步，所述基于临近历史帧预测结果学习得到的相关滤波器跟踪模型是指将历史帧学习得跟踪器模型进行线性叠加得到。

进一步，所述孪生网络相似度响应图和相关滤波器跟踪器响应图均指在三个不同尺度下选择得到的相应图，带有尺度标签。

进一步，所述最小化熵正则化损失函数为E(X,Γ)＝-L(θ；X,Γ)+γH(Y|X,Γ；θ)，其中第一项L(θ；X,Γ)为对数似然项，第二项H(Y|X,Γ；θ)信息熵项。即最小化熵正 则化损失函数＝对数似然项+γ×信息熵项组成,其中，γ是平衡系数。

进一步地,所述相关滤波器为函数f(z)＝W^Tz，z为样本的特征表达，W为函数 的权重参数,该公式是学习所得到的相关滤波器权重参数与样本进行矩阵乘法操作。

进一步，所述相关滤波器为函数f(z)＝W^Tz，z为样本的特征描述，W为函数 的权重参数。

进一步，所述步骤S5包括：

S51、以待跟踪目标的预测位置为中心，以目标大小的ρ倍获取训练样本的提取 区域，以循环偏移的形式构建训练样本矩阵，并针对训练样本矩阵构建对应的样本 标记向量，训练样本在区域中心时，标记为1，训练样本偏离中心越远，标记越小， 最小为0；

S52、以循环偏移矩阵及其对应的样本标记向量对相关滤波器模型进行训练。

进一步，所述相关滤波器模型训练过程是一个求解岭回归问题的过程，其对应 的训练函数如下：

其中，x_i为第i个训练样本的特征表达，f(x_i)＝W^Tx_i，y_i为x_i的对应标记，W 为待学习得到的权重参数。通过最小化训练样本x_i的响应值f(x_i)与真值y_i之间的误 差平方和学习得到W，同时通过引入正则化项λ||W||²防止模型出现过拟合的问题， 其中参数λ为第一项和第二项平衡系数。

本发明还公开了一种电子设备，包括：处理器；以及，存储器，用于存储所述 处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上 述的基于孪生网络和相关滤波器的长-短程互补型目标跟踪方法。

本发明进一步公开了一种计算机可读存储介质，其上存储有计算机程序所述计算机程序被处理器执行时实现上述的基于孪生网络和相关滤波器的长-短程互补型目 标跟踪方法。

本发明的优点和有益效果在于：

一种基于孪生网络和相关滤波器的长-短程互补型目标跟踪方法，相比于目前已存在的跟踪算法，本发明能够在有效吸收实时变化信息的同时，通过第一帧的确定 信息最大程度的抑制因累计误差导致的跟踪漂移问题，可长时间稳定跟踪感兴趣的 目标。通过定义最小化熵正则化损失函数对孪生网络相似度响应图和相关滤波器跟 踪器响应图进行自适应选优，从最优响应图中预测当前帧的跟踪位置和尺度。在保 证高效率的前提下，本发明相比于现有的其他跟踪方法，可有效地对抗因跟踪误差 累计以及跟踪目标持续变化导致的跟踪漂移以及跟踪失效问题。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指 定对应的部分。

图1为是本发明实施例提供的基于孪生网络和相关滤波器的长-短程互补型目标跟踪方法的流程示意图；

图2为本发明实施例提供的获取孪生网络相似度响应图的流程示意图；

图3为本发明实施例提供的选择最优响应图的流程示意图；

图4为本发明实施例提供的更新相关滤波器跟踪模型的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本 发明，并不用于限定本发明。

本发明一种基于孪生网络和相关滤波器的长-短程互补型目标跟踪方法，分为两个部分：首先，通过基于深度学习的孪生网络在当前帧搜索区域内获取基于第一帧 信息的相似度响应图，同时通过相关滤波器跟踪模型在当前帧搜索区域内获取基于 临近历史帧信息的跟踪模型响应图；然后，定义最小化熵正则化损失函数，分别计 算以上两种搜索区域对应的损失函数得分，以损失函数得分小的响应图为最优响应 图，并在些响应图上以最大值定位当前帧的跟踪位置，以最优响应图所携带的尺度 信息预测当前帧跟踪目标的尺度。

图1所示为本发明基于孪生网络和相关滤波器的长-短程互补型目标跟踪方法的流程示意图，具体包括以下步骤：

S1、根据第一帧标定区域的深度卷积特征，计算得到当前帧搜索区域内的孪生 网络相似度响应图(Bertinetto L,Valmadre J,Henriques J F,et al.Fully-convolutional siamese networks for object tracking[C],European conference oncomputer vision.Springer,Cham,2016:850-865.)。其中，所 述相似度响应图即第一帧标定区域与当前帧搜索区域内所有候选区域的相似性度量， 每一个相似度值代表每一个候选跟踪区域与第一帧标定区域的相似程度。

图2为本发明实施例中获取孪生网络相似度响应图的流程示意图，包括以下子 步骤：

S11、将第一帧标定区域扩大到127×127的尺寸，通过卷积神经网络计算深度特征，特征的维度为6×6×128。

S12、假定前一帧预测的跟踪目标长为h，宽为w。在当前帧中，在前一帧预测 尺度的基础上分别对长和宽增加(h+w)/2。以扩大后的尺度作为当前帧搜索区域的 大小，同时以前一帧预测区域的中心坐标为中心在当前帧中扣取对应图像作为搜索 区域图。通过与S11同样的卷积神经网络计算对应的深度特征值，特征维度为 22×22×128。

S13、以步骤S11得到的6×6×128特征对步骤S12得到的22×22×128特征进行 互相关操作，得到最终的响应图。

为了得到不同尺度的预测，对S12得到的搜索区域进行三种不同尺度 (1.025^-1,1,1.025¹)的缩放，得到三种不同尺度下的预测区域，分别重复进行步骤S12 和S13，得到不同尺度下的响应图。选则其中含有最大值的一个响应图作为基于孪生 网络的相似度响应图输出。

S2、假定前一帧预测的跟踪目标长为h，宽为w。在当前帧中，在前一帧预测尺 度的基础上放大ρ倍设置搜索区域，利用基于临近帧跟踪结果训练得到的相关滤波 器模型计算该搜索区域的响应图(Henriques J F,Caseiro R,Martins P,et al. High-speedtracking with kernelized correlation filters[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,2015,37(3): 583-596)。其中，所述相关滤波器为函数f(z)＝W^Tz，z为样本的特征描述，W为函 数的权重参数。在本实施例中，ρ＝3。与S1步骤类似，对搜索区域进行三种不同 尺度的缩放，得到三种不同尺度下的预测区域，分别重复进行步骤S2，得到不同尺 度下的响应图。选则其中含有最大值的一个响应图作为基于相关滤波器模型的响应 图输出。

S3、图3为本发明实施例提供的选择最优响应图的流程示意图。对步骤S1得到 的响应图与步骤S2得到的响应图取公共部分，并分别通过非极大值抑制提取S个测 试样本。用提取出来的S个测试样本构建样本集X＝{x^m,m∈(1,2,...S)}，其中每一个 x^m的所对应的标记为φ^m＝(y^m,l^m)，y^m∈{0,1}代表该样本是否为目标，1为目标，0 为背景，l^m∈Z²为样本在原始图像中的位置信息。样本集X对应标签为 Φ＝{φ^m,m∈(1,2,...S)}，我们构建一个可能的标签集合Γ＝{Φ^m,m∈(1,2,...S)}，该标签 集合包含样本集X对应标签Φ。其中的每一个

当j＝m，

否则，

定义熵正则化损失函数E(X,Γ)＝-L(θ；X,Γ)+γH(Y|X,Γ；θ)，其中γ是平衡系数，

熵

每个样本x^m的标签φ^m＝(y^m,l^m) 取决于目标表征模型P(y^m|x^m；θ)和目标运动模型P(l^m|y^m)，因此P(Φ|X；θ)可以被 分解为：

其中P(y^m|x^m；θ)是搜索区域θ内测试样本x^m的标签为y^m的概率，P(l^m|y^m)是 在样本标签为y^m条件下坐标位置在l^m的概率。另外，

对两个搜索区域计算其熵正则化损失函数，取其中熵正则化损失函数值最小的作为 最优响应区域，则最终预测得到目标位置为该响应图上的峰值位置，最优响应区域 所携带的尺度信息为当前帧跟踪目标的尺度预测。在本实施例中，S＝10,γ＝17。

S4、更新相关滤波器模型参数。图4为本发明实施例中相关滤波器模型更新的 流程示意图。包括以下子步骤：

S41、以预测得到跟踪位置作为基础样本，放大ρ倍的区域为搜索区域，以逐次 错位的方式构造循环偏移样本集形成一个循环矩阵，该循环矩阵则为训练样本集合。 并进一步对样本集中的每一个样本进行标定。以循环构建的每一个样本到基础样本的 距离分配一个总体呈高斯的回归数值，该高斯的方差为0.4。其中基本样本的标定值 赋值为1，离基础样本越远的样本，其标定赋值将越低，最低值为0。

S42、更新滤波器模型的参数。给定以取得的循环训练样本以及其对应的标定值{(x₁,y₁),(x₂,y₂),...,(x_i,y_i),...}，通过机器学习进行滤波器模型的参数更新。 模型参数更新的目标是最小化函数f(x_i)＝W^Tx_i与真实标定值y_i之间的误差平方和。 为了防止滤波器模型出现过拟合问题，在目标函数中进一步加入一个正则化项。完 整的目标函数可表示为

该目标函数可通过最小二乘法 进行求解，其闭式解的形式可表示为W＝(X^TX+λI)^-1X^Ty，其中X为循环样本矩阵， y为对应的标定值向量。该闭式解可以在复数域进行快速求解，其对应复数域的结果 形式为

其中⊙代表向量元素的乘积，

是x的复数形式，为

的共 轭。最终的训练结果

经过反傅里叶变化得到时域中的结果W。

S5、重复步骤S1到步骤S4，直到跟踪序列最后一帧。

本发明不带有特定目标类型信息，具有良好的普适性，因此普适性较好，相较 于现有的其他目标跟踪方法，无论是在避免因跟踪误差累积还是捕获待跟踪目标的 表征持续变化等方面都有很好的效果，对视觉目标跟踪的算法研究和实践具有重要 的指导意义。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之 内。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排 他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些 要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商 品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限 定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的 相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面 的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代 码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实 施的计算机程序产品的形式。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明 的范围的情况下，可以进行许多改变和修改。因此，其旨在上述详细描述被认为是 例示性的而非限制性的，并且应当理解，以下权利要求(包括所有等同物)旨在限定 本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本 发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各 种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种基于孪生网络和相关滤波器的长-短程互补型目标跟踪方法，其特征在于，所述方法包括：

S1、根据第一帧标定区域的深度卷积特征，计算得到当前帧搜索区域的孪生网络相似度响应图；

S2、根据基于临近历史帧预测结果学习得到的相关滤波器跟踪模型，计算得到当前帧搜索区域的跟踪器相应图；

S3、以所述步骤S1得到的孪生网络相似度响应图和所述步骤S2得到的相关滤波器跟踪器相应图为基础，定义最小化熵正则化损失函数，选择其中最优的响应图；

S4、在所述步骤S3得到的最佳相应图上，根据其对应响应图的最大值的位置预测当前帧目标所在位置，并根据响应图对应的尺度信息来预测当前帧目标的尺度；

S5、更新相关滤波器模型参数；

S6、重复步骤S1至S5，直到图像序列最后一帧。

2.如权利要求1所述的方法，其特征在于，所述孪生网络为函数

其中，a为第一帧图像中的标定区域，b为当前帧图像的搜索区域，

代表卷积特征的提取过程，g代表相似度计算。

3.如权利要求2所述的方法，其特征在于，所述孪生网络相似度响应图中每一个像素为第一帧标定区域与当前帧搜索区域中的每一个候选区域之间的相似度。

4.如权利要求3所述的方法，其特征在于，所述基于临近历史帧预测结果学习得到的相关滤波器跟踪模型是通过将历史帧学习得跟踪器模型进行线性叠加得到。

5.如权利要求4所述的方法，其特征在于，所述孪生网络相似度响应图和相关滤波器跟踪器响应图均指在三个不同尺度下选择得到的相应图，带有尺度标签。

6.如权利要求5所述的方法，其特征在于，所述最小化熵正则化损失函数由对数似然项和信息熵项组成，即最小化熵正则化损失函数＝对数似然项+γ×信息熵项组成,其中，γ是平衡系数。

7.如权利要求6所述的方法，其特征在于，所述相关滤波器为函数f(z)＝W^Tz，z为样本的特征表达，W为函数的权重参数,该公式是学习所得到的相关滤波器权重参数与样本进行矩阵乘法操作。

8.如权利要求7所述的方法，其特征在于，所述步骤S5进一步包括：

S51、以待跟踪目标的预测位置为中心，以目标大小的ρ倍获取训练样本的提取区域，以循环偏移的形式构建训练样本矩阵，并针对训练样本矩阵构建对应的样本标记向量，训练样本在区域中心时，标记为1，训练样本偏离中心越远，标记越小，最小为0；

S52、以循环偏移矩阵及其对应的样本标记向量对相关滤波器模型进行训练。

9.一种电子设备，其特征在于，包括：

处理器；以及，

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一项所述的基于孪生网络和相关滤波器的长-短程互补型目标跟踪方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的基于孪生网络和相关滤波器的长-短程互补型目标跟踪方法。

Images