CN110473231A - 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法 - Google Patents

Abstract

本发明公布了一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法，所述方法首先利用数据集的中心坐标，构建目标模板和搜索区域；其次采用两个相同的卷积网络模块分别提取目标模板和搜索区域的卷积特征；接着，对目标模板和搜索区域分别建立颜色直方图概率密度分布函数得到置信度值，并与阈值比较，对卷积权值滤波器进行预判式更新；然后，对目标模板和搜索区域的卷积特征进行卷积操作得到预测分数矩阵；最后，将预测分数矩阵线性插值定位到原始图片的目标位置中实现目标跟踪。本发明基于孪生全卷积网络，加入了预判式学习更新策略，有效解决了孪生全卷积网络存在相似目标干扰容易出现跟踪丢失的问题。

Description

一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪 方法

技术领域

本发明属于计算机视觉技术领域，特别是一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法。

技术背景

目标跟踪是计算机视觉领域的核心问题，在包括智能交通、医学辅助诊断、军事制导、航空视觉导航等民用和国防领域都发挥着重要的作用。然而在目标跟踪的过程中，目标仍存在相似目标干扰、快速运动和尺度变化、遮挡等难题，特别是相似目标干扰问题，使得复杂环境下实现实时鲁棒的目标跟踪具有很大的挑战性。近年来，随着人工智能技术的飞速发展，深度学习方法在目标跟踪领域展现出巨大潜力。

传统的基于卷积神经网络的深度学习方法进行目标跟踪主要有深度学习跟踪器、在线视觉跟踪算法、训练数据交叉运用算法、连续卷积滤波算法等。由于这些深度学习的目标跟踪方法提取的特征比传统的手工特征更加丰富，具有更强的表达能力，因此极大提高了目标跟踪的跟踪精度和成功率。但是基于卷积神经网络的深度学习方法跟踪的实时性很低，不能满足快速运动目标实时跟踪的需要。

针对上述问题，孪生全卷积网络的目标跟踪方法由于其端到端的训练能力和跟踪的实时性备受关注。Bertinetto等人将DCF视为在孪生全卷积网络中添加的特殊相关滤波器层，通过将网络输出定义为对象位置来推导反向传播，提高了跟踪的成功率和精度。李波等人将孪生全卷积网络与RPN子网络串联，将在线跟踪任务转换为检测任务，实现了跟踪速度的提高。王强等人在孪生全卷积网络中引入Faster RCNN，使得目标跟踪算法回归到检测跟踪目标的位置、形状上来，提高了孪生全卷积网络的跟踪精度和速度。虽然以上基于孪生全卷积网络的目标跟踪算法通过调整卷积网络结构的方式，提高了跟踪的精度和成功率，解决了深度学习在目标跟踪领域的实时性问题，但它的一个关键问题是缺少有效的模型更新策略，无法将来自背景区域或先前跟踪帧的信息融合到模型预测中，不能有效解决相似目标干扰的问题。

发明内容

本发明的目的在于提供一种具有预判式学习更新策略的孪生全卷积网络(Pre-judgment Learning Update Strategy Full-Convolutional Siamese Networks，Prl-SiamFC)的目标跟踪方法，该方法由目标模板和搜索区域模型计算置信度估计值，将模型更新策略加入到端到端的跟踪架构中，解决了孪生全卷积网络在目标跟踪时存在的相似目标干扰问题。

为实现上述目的，本发明采用以下技术方案：

一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法，包括：

(1)利用数据集的中心坐标，构建目标模板和搜索区域，然后根据数据集的正确标注，得到初始模型f⁽⁰⁾；

(2)采用两个相同的卷积网络模块分别提取目标模板和搜索区域的卷积特征；

(3)对目标模板和搜索区域分别建立颜色直方图概率密度分布函数，根据该函数得到目标模板和搜索区域的置信度值C_siam；

(4)若置信度值C_siam大于阈值则进行步骤(5)；否则对卷积权值滤波器f进行预判式更新，包括如下步骤：

(4.1)定义预判式学习的损失函数L(f)和残差函数r(s，c)；

(4.2)根据给定学习率极值ηⁱ _min和ηⁱ _max，得到具有自重启机制的学习率η_t；

(4.3)利用步骤(4.1)中的损失函数L(f)和残差函数r(s，c)，步骤(4.2)中的学习率η_t，得到卷积权值滤波器f的梯度下降值

(4.4)根据卷积权值滤波器f的初始模型f⁽⁰⁾、梯度下降值和自重启机制的学习率η_t，对卷积权值滤波器f进行预判式更新；

(5)对目标模板和搜索区域的卷积特征进行卷积操作，得到预测分数矩阵，再将预测分数矩阵经线性插值定位到原始图片的目标位置中，最终实现目标跟踪。

本发明具有以下优点：

1.本发明在孪生全卷积网络框架中加入了预判式学习更新策略，使用孪生全卷积网络可以更有效提取跟踪目标的特征；预判式学习更新策略，通过置信度值表征目标模板与搜索区域的相似度，根据置信度值进行模型更新，解决了孪生全卷积网络的相似目标干扰问题，提高了跟踪的成功率和精度，实现了实时的目标跟踪。

2.本发明在预判式学习更新策略中加入了具有自重启机制的学习率η_t，避免了神经网络使用固定学习率训练陷入到鞍点中，收敛于局部最优，有效解决了孪生全卷积网络训练中的损失误差和病态函数问题。

附图表说明

图1为本发明方法的流程图。

图2为本发明方法与传统孪生全卷积网络的4组存在相似目标的视频跟踪帧对比。

图3为本发明方法与传统孪生全卷积网络的4组存在相似目标的中心误差对比。

图4为本发明方法在目标跟踪测试平台OTB2013上的跟踪性能测试。

具体实施方式

结合所附图表，对本发明的技术方案作具体说明。

如图1所示，本发明的一种具有预判式学习更新策略孪生全卷积网络的目标跟踪方法，具体包括以下步骤：

步骤1利用数据集的中心坐标，构建目标模板和搜索区域，然后根据数据集的正确标注，得到初始模型f⁽⁰⁾，具体过程为：

(1)根据数据集的中心坐标得到初始目标框宽度w和高度h，定义平均维数p＝(w+h)/4，尺度因子为K，选取目标模板A＝127×127，选取搜索区域A＝255×255，采用如下公式构建目标模板和搜索区域：

K(w+2p)×K(h+2p)＝A (1)

(2)构建完成目标模板和搜索区域后，将数据集的给定正确标注取平均值输入给初始化模块，作为初始模型f⁽⁰⁾。

步骤2将目标模板与搜索区域组合，选取正负样本，采用两个相同的卷积网络模块分别提取目标模板和搜索区域的卷积特征，具体过程为：

(1)在网络训练过程中将目标模板图像与较大的搜索区域图像组合成训练样本对，与此同时，为有效地为每一对训练样本对产生多个候选目标，对搜索区域的位置点进行区分，取与目标位置相接近的点为正样本，在此范围外的点为负样本，构造正负样本对。

(2)采用AlexNet卷积网络模块提取目标模板与搜索区域的卷积特征，网络结构如下表所示：

在AlexNet中，前两层卷积层后均接有池化层，除了最后一层，每一层均使用ReLu激活函数，进行样本训练。完成样本训练后的卷积网络模块，在进行目标跟踪时得到目标模板和搜索区域卷积特征。

步骤3对目标模板和搜索区域分别建立颜色直方图概率密度分布函数，根据该函数得到目标模板和搜索区域的置信度值C_siam，具体过程为：

(1)假设目标模板的中心坐标为原点，其彩色空间被划分为m个区间，u表示每个区间的颜色簇索引，取值范围为{1，2，...，m}，目标模板的各像素点位置由集合{x_i ^*}(i＝1，2，...，n)表示，则目标模板的颜色直方图概率密度分布函数由下式计算：

式中，C为归一化系数函数；k(·)为核密度估计函数K(·)的轮廓函数，即K(x_i ^*)＝k(||x_i ^*||²)；δ(·)为Kronecker Delta函数；b(·)：R²→{1，2，...，m}为位于x_i ^*的像素向颜色索引的映射。

(2)设y为搜索区域中心坐标，{x_i}(i＝1，2，...，n_h)表示搜索区域像素位置的集合，则搜索区域的颜色直方图概率密度分布函数由下式计算：

式中，C_h为基于h的归一化系数函数；h为核函数的带宽；其他参数同式(1)。

(3)将目标模板和搜索区域在整个颜色空间上的概率密度分别表示为计算目标模板和搜索区域的置信度值C_siam，具体为：

式中，y₀为搜索区域初始中心坐标，w_i由下式计算：

步骤4若置信度值C_siam大于阈值则进行步骤5；否则对卷积权值滤波器f进行预判式更新，具体过程为：

(1)定义损失函数L(f)和残差函数r(s，c)，具体为：

定义预判式学习的损失函数L(f)为：

式中，其中x_j∈χ，χ为卷积网络模块生成的深度特征图，c_j为每个样本目标中心坐标；r(s，c)为残差函数，其中，目标置信度得分s＝x*f，c为给定的真值目标中心坐标；λ为正则化因子；f为卷积权值滤波器。

定义预判式学习的残差函数r(s，c)为：

r(s，c)＝v_c(m_cs+(1-m_c)max(0，s)-y_c) (7)

式中，v_c为空间权重系数，m_c为目标分割系数，如果目标中心在跟踪目标区域，则m_c＝1，目标中心在跟踪背景区域，则m_c＝0；S为目标置信度得分；y_c为以c＝(x₀，y₀)为中心的二阶高斯函数，表示每个位置的目标期望得分，具体表达式为：

式中，σ为高斯函数分布方差。

(2)根据给定学习率极值ηⁱ _min和ηⁱ _max，对T_i次已经完成数据集训练的学习率进行余弦退火，得到具有自重启机制的学习率η_t表达式，具体为：

式中，i是数据集训练的运行索引，T_cur用来记录自上次重启以来训练的次数。

(3)利用式(6)损失函数L(f)、式(7)残差函数r(s，c)和式(9)学习率η_t，计算得到卷积权值滤波器f的梯度下降值具体过程为：

对式(6)损失函数L(f)求偏导得：

式中，为式(6)的雅克比矩阵，根据式(7)残差函数r(s，c)的定义对其求偏导得到：

令q_c＝v_cm_c+(1-m_c)·ls＞0，对q_c仅使用点操作，对于正样本，取l_s＞0，对于负样本，取l_s＝0。由此得到：

由式(10)和式(12)得到卷积权值滤波器f的梯度下降值表达式为：

(4)根据卷积权值滤波器f的初始模型f⁽⁰⁾、梯度下降值和自重启机制的学习率η_t，对卷积权值滤波器f进行预判式更新，具体表达式为：

由于该预判式学习更新策略采用置信度值C_siam提前预判序列帧中是否存在相似目标，当存在相似目标时实现卷积权值滤波器f的实时更新，在保证跟踪的准确性和稳定性的同时，有效解决了相似目标干扰的问题。

步骤5对目标模板和搜索区域进行卷积操作，得到预测分数矩阵，再将预测分数矩阵经三次线性插值重新映射到原始图片的目标位置中，实现目标跟踪，具体过程为：

(1)对经过卷积权值滤波器f过滤掉相似目标的目标模板和搜索区域进行卷积操作，得到预测分数矩阵。

(2)对该预测分数矩阵进行双三次插值操作，使得大小为17×17的预测分数矩阵重新映射到256×256的原始搜索区域中。

(3)对于预测分数矩阵中分数最大的点，其位置乘以网格步长，即可得到目标位置，实现对目标的跟踪。

为了验证方法的可行性和有效性，下面结合实例对本发明做进一步详细的描述。

为了有效地评估本发明方法的性能，实验中的对比方法均来自相应作者的公开代码。所有实验都在Inter(R)Core(TM)i5-2450MCPU@2.50GHZ、4GB内存、NVIDIAGeForceGTX750Ti台式机上进行，方法通过Matlab2018a、VisualStudio2015、CUDA9.0、CUDNN7.0实现。

表1为本发明中具有预判式学习更新策略的孪生全卷积网络仿真参数。

表1 具有预判式学习更新策略的孪生全卷积网络仿真参数

图2为本发明Prl-SiamFC方法与传统孪生全卷积网络SiamFC、SiamFC_3S的4组存在相似目标的视频跟踪帧对比。本发明Prl-SiamFC方法为黑色框，SiamFC和SiamFC_3S方法为白色框。由图中可以看出，4组视频的第10帧均能确定跟踪目标且跟踪精度较高，序列(a)Football第350帧，Prl-SiamFC、SiamFC和SiamFC_3S均出现较大波动，但序列(b)Matrix第50帧、(c)Liquor第1500帧和(d)Soccer第350帧以后，SiamFC、SiamFC_3S均出现跟踪丢失的情况，Prl-SiamFC始终跟踪目标。因此，在存在相似干扰的情况下，本发明Prl-SiamFC方法能有效区分跟踪目标与相似目标，具有较好的跟踪效果。

图3为本发明Prl-SiamFC方法与传统孪生全卷积网络SiamFC、SiamFC_3S的4组存在相似目标的视频中心误差对比。由图中可以看出，Prl-SiamFC的中心位置误差除了在视频序列(a)Football中最后帧数出现波动外，序列(b)Matrix、(c)Liquor和(d)Soccer的中心误差始终保持在较低水平，特别是对(b)Matrix和(d)Soccer，中心位置误差平均小于20，表明本发明有效解决了跟踪目标周围存在相似目标干扰的问题。

图4为本发明Prl-SiamFC方法在目标跟踪测试平台OTB2013上的跟踪性能测试。在进行性能测试中，部分跟踪目标既存在相似目标干扰，也存在遮挡、外观变形、快速运动、平面内外旋转等问题。由图中可以看出，在图4(a)中，跟踪精确度在中心位置误差阈值为20像素时，本发明方法跟踪精确度较高；当中心误差阈值小于20像素时，本发明方法的精确度值更明显高于其他方法，这说明针对既存在相似目标干扰因素，也存在其他干扰因素的目标跟踪，本发明方法的跟踪效果更好。在图4(b)中，当覆盖阈值处于0.2-0.8位置时，本发明方法的成功率明显高于其他对比方法；当覆盖阈值大于0.8时，本发明方法也具有良好的跟踪性能。综上表明，本发明在提高跟踪精确度的同时，保证了跟踪的成功率，有效解决了孪生全卷积网络跟踪目标周围存在相似目标干扰容易出现跟踪丢失的问题。

Claims (5)

1.一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法，其特征在于，该方法包括以下步骤：

(1)利用数据集的中心坐标，构建目标模板和搜索区域，然后根据数据集的正确标注，得到初始模型f⁽⁰⁾；

(2)采用两个相同的卷积网络模块分别提取目标模板和搜索区域的卷积特征；

(3)对目标模板和搜索区域分别建立颜色直方图概率密度分布函数，根据该函数得到目标模板和搜索区域的置信度值C_siam；

(4)若置信度值C_siam大于阈值则进行步骤(5)；否则对卷积权值滤波器f进行预判式更新，包括如下步骤：

(4.1)定义预判式学习的损失函数L(f)和残差函数r(s，c)；

(4.2)根据给定学习率极值ηⁱ _min和ηⁱ _max，得到具有自重启机制的学习率η_t；

(4.3)利用步骤(4.1)中的损失函数L(f)和残差函数r(s，c)，步骤(4.2)中的学习率η_t，得到卷积权值滤波器f的梯度下降值

(4.4)根据卷积权值滤波器f的初始模型f⁽⁰⁾、梯度下降值和自重启机制的学习率η_t，对卷积权值滤波器f进行预判式更新；

(5)对目标模板和搜索区域的卷积特征进行卷积操作，得到预测分数矩阵，再将预测分数矩阵经线性插值定位到原始图片的目标位置中，最终实现目标跟踪。

2.如权利要求1所述的一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法，其特征在于，所述步骤(3)中对目标模板和搜索区域分别建立颜色直方图概率密度分布函数，根据该函数得到目标模板和搜索区域的置信度值C_siam，具体为：

假设目标模板的中心坐标为原点，其彩色空间被划分为m个区间，u表示每个区间的颜色簇索引，取值范围为{1，2，...，m}，目标模板的各像素点位置由集合{x_i ^*}(i＝1，2，...，n)表示，则目标模板的颜色直方图概率密度分布函数由下式计算：

式中，C为归一化系数函数；k(·)为核密度估计函数K(·)的轮廓函数，即K(x_i ^*)＝k(||x_i ^*||²)；δ(·)为Kronecker Delta函数；b(·)：R²→{1，2，...，m}为位于x_i ^*的像素向颜色索引的映射。

设y为搜索区域中心坐标，{x_i}(i＝1，2，...，n_h)表示搜索区域像素位置的集合，则搜索区域的颜色直方图概率密度分布函数由下式计算：

式中，C_h为基于h的归一化系数函数；h为核函数的带宽；其他参数同式(1)。

将目标模板和搜索区域在整个颜色空间上的概率密度分别表示为计算目标模板和搜索区域的置信度值C_siam，具体为：

式中，y₀为搜索区域初始中心坐标，w_i由下式计算：

3.如权利要求1所述的一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法，其特征在于，所述步骤(4.1)中定义预判式学习的损失函数L(f)和残差函数r(s，c)，具体为：

定义预判式学习的损失函数L(f)为：

式中，其中x_j∈χ，χ为卷积网络模块生成的深度特征图，c_j为每个样本目标中心坐标；r(s，c)为残差函数，其中，目标置信度得分s＝x*f，c为给定的真值目标中心坐标；λ为正则化因子；f为卷积权值滤波器。

定义预判式学习的残差函数r(s，c)为：

r(s，c)＝v_c(m_cs+(1-m_c)max(0，s)-y_c) (6)

式中，v_c为空间权重系数；m_c为目标分割系数，若目标中心在跟踪目标区域，则m_c＝1，若目标中心在跟踪背景区域，则m_c＝0；S为目标置信度得分；y_c为以c＝(x₀，y₀)为中心的二阶高斯函数，表示每个位置的目标期望得分，具体表达式为：

式中，σ为高斯函数分布方差。

4.如权利要求1所述的一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法，其特征在于，所述步骤(4.2)中根据给定学习率极值ηⁱ _min和ηⁱ _max，得到具有自重启机制的学习率η_t，表达式为：

式中，i为数据集训练的运行索引，T_cur为记录自上次重启以来数据集训练的次数，T_i为已经完成数据集训练的次数。

上述学习率η_t由于根据变化的T_i和T_cur得到，具有衰减变化的性质。当学习率η_t下降到最小值后，将其再次变为初始值，得到具有自重启机制的学习率η_t。

5.如权利要求1所述的一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法，其特征在于，所述步骤(4.4)中根据卷积权值滤波器f的初始模型f⁽⁰⁾、梯度下降值和自重启机制的学习率η_t，对卷积权值滤波器f进行预判式更新，具体为：

利用步骤(4.1)中定义的预判式学习的损失函数L(f)和残差函数r(s，c)，计算得到卷积权值滤波器f的梯度下降值表达式为：

式中，q_c＝v_cm_c+(1-m_c)·ls＞0，对q_c仅使用点操作，对于正样本，取l_s＞0，对于负样本，取l_s＝0。

再根据步骤(4.2)所述的具有自重启机制的学习率η_t，将初始模型f⁽⁰⁾作为卷积权值滤波器f的初始值，得到其预判式更新表达式为：