CN113112522A - 基于可变形卷积和模板更新的孪生网络目标跟踪的方法 - Google Patents

Abstract

本发明公开了一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法，首次将可变形卷积网络和模板更新策略结合。采用可变形卷积学习特征数据在不同方向上的自适应偏移量，以增强骨干网络的特征提取能力。此外，深层特征虽语义信息丰富，但缺少位置信息，通过多层可变形互相关融合以提高定位精度。最后，提出了一种高置信度模板更新策略，即每隔固定帧计算一次响应图的峰值旁瓣比和最大值，以此为依据，采用加权的方式融合特征以更新模板。既保证了有效更新，也防止遮挡等特殊情况下更新模板。本发明提出了一种全新的端到端的深度模型，有效提升了方案跟踪性能。

Description

基于可变形卷积和模板更新的孪生网络目标跟踪的方法

技术领域

本发明涉及一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法，属于计算机视觉的目标跟踪技术领域。

背景技术

目标跟踪广泛应用在视频分析、智能交通、虚拟现实等领域，其核心任务是给定目标在视频第一帧初始位置后，自动估计后续帧中目标的位置。但跟踪过程中容易受到遮挡、模糊、形变、光照变化等一系列复杂因素的干扰，因此，设计一个可以在现实复杂场景下稳定高效运行的跟踪方法是十分具有研究与实用价值的。

目前，现有的跟踪算法大致可以分为两大类。一类将相关滤波的思想应用到跟踪领域，提出了误差最小平方和滤波器目标跟踪算法：将跟踪器模板的求解由时域复杂运算转换为傅里叶域点乘计算，计算量大大减少，跟踪器速度得到飞跃性提升。虽然这种算法在速度上很快，但是精度并不理想。另一类，为了取得精度与速度之间的平衡，基于深度学习的孪生网络跟踪算法逐渐流行。孪生网络主要由特征提取过程中共享参数的模板分支与搜索分支组成。利用相似性学习的方法，提出了全卷积孪生网络跟踪算法，通过计算目标模板与搜索区域深度特征之间的相似值，将跟踪问题转化为相似匹配问题。该算法可以使用大量数据进行端到端的离线训练，既可以获得较高的精度，也无需在线调整。通过在全卷积孪生网络目标跟踪算法中引入检测领域的区域建议网络，使用区分前景与背景、回归边界框的方法，实现了对目标尺度的灵活应对，同时得到了更为精确的边界框。实验结果表明，这种组合模型的跟踪效果要明显优于相关滤波算法和全卷积孪生网络算法。

但是，基于孪生网络的大部分目标跟踪算法中存在两大不足：

(1)基于孪生网络的跟踪算法的识别能力，在很大程度上受限于全卷积孪生网络跟踪算法中骨干网络较弱的特征提取能力。

(2)没有考虑有效在线模板更新策略。当跟踪过程中目标发生较大变化，会造成原模板有用信息减少，跟踪器出现漂移得不到及时调整。

因此，本发明针对上述的痛点，提出了一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法。

发明内容

目的：为了克服现有技术中存在的不足，本发明提供一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法，能够更够准确的跟踪目标；而且，本发明能够有效解决孪生骨干网络特征提取能力弱、跟踪过程模板不更新造成模型漂移等问题，提出了一种全新的端到端的深度模型，有效提升了方案跟踪性能。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法，包括如下步骤：

步骤S1，将数据集或摄像头捕捉画面的第一帧图像以目标为中心裁剪出127×127×3大小的图像作为模板图像，在跟踪过程中第i+1帧以第i帧目标位置为中心裁剪出255×255×3大小的图像作为搜索图像，将模板图像数据与搜索图像数据分别输入到模板分支与搜索分支中，分别得到模板特征数据w₁与搜索特征数据x。

步骤S2，将模板特征数据w₁与搜索特征数据x输入到可变形卷积网络中，学习各个特征数据在不同方向上的自适应偏移量，输出模板偏移核与搜索偏移特征，将模板偏移核和搜索偏移特征分别进行互相关得到偏移图c。

步骤S3，将模板特征数据w₁与搜索特征数据x与偏移图c经过可变形互相关得到最终响应图。

步骤S4，每隔固定帧计算第i帧最终响应图的旁瓣峰值比和第1到i帧最终响应图旁瓣峰值比的最大值，将旁瓣峰值比、旁瓣峰值比的最大值均与历史旁瓣峰值比进行比较，如果前两者均大于历史旁瓣峰值比，则进行模板更新。

步骤S5，当模板被判定更新时，第i+1帧以第i帧图像获取目标为中心截取127×127×3大小的图像，图像通过模板分支模板提取出的新的特征数据，将新的特征数据与第一帧模板特征数据进行加权融合取代原模板特征数据，成为新的模板用于目标跟踪。

作为优选方案，步骤S1中模板分支和搜索分支在分别提取特征数据的过程中共享参数，其中特征提取过程，如公式(1)所示：

其中，I是输入图像矩阵，I((x_a,y_a),(x_b,y_b))为I的子矩阵，以(x_a,y_a)和(x_b,y_b)为子矩阵的左上角与右下角的直角坐标系的坐标，k为提取特征数据的步长，f(·)为特征提取函数。

作为优选方案，步骤S2的具体步骤如下：

2-1：使用规则网格

在搜索特征数据x上采样得到采样值；

2-2：将模板数据特征w₁作为卷积核w加权采样值总和，得到偏移图c。

规则网格

计算公式如下：

定义了一个膨胀为1，填充为0的k×k大小内核来充当规则网格。

互相关操作中，对于输出偏移图c上的每个位置a，计算公式如下：

其中，p_n为枚举了

上所有的位置，w(*)是卷积核，x(*)是搜索特征数据上采样值，y(*)是偏移图c上的数据。

作为优选方案，步骤S3的具体步骤如下：

3-1：将偏移图c上的数据y(a)作为偏移集{Δp_n|n＝1,2,...,N}，

3-2：利用模板特征数据w₁，搜索特征数据x与偏移集，计算输出最终响应图上的每个位置a，计算公式如下：

其中，y₁(*)是最终响应图上的数据。

在公式(4)中，采样在不规则且偏移的位置p_n+Δp_n，偏移Δp_n通常为小数，公式(4)可通过双线性插值实现：

其中，p′表示a+p_n+Δp_n，q^*枚举搜索特征数据x中所有空间位置，G(*)是双线性插值核，这里G是一个二维核，它可以分为两个一维核：

其中，g(a,b)＝max(0,1-|a-b|)，

分别表示搜索特征数据x中整数空间位置、分数空间位置；p_x′,p′_y分别表示a+p_n+Δp_n的整数空间位置、分数空间位置。

作为优选方案，计算最终响应图的峰值旁瓣值比F计算如下：

其中，A_max，A_min分别代表最终响应图上数据最大值、最小值，A_i,j代表最终响应图(i,j)上的数据，mean(*)代表求取均值。

最终响应图的峰值旁瓣值比最大值为所有最终响应图的峰值旁瓣值比中最大值记为M₁。

历史旁瓣峰值比所有最终响应图旁瓣峰值比的平均值。

作为优选方案，模板更新的计算公式为：

f_i＝(1-η)f₁(z)+ηf_i(z) (10)

其中，η为超参数，f₁(z)为第一帧模板特征数据，f_i(z)为第i帧图像提取的新的特征数据。

有益效果：本发明提供的基于可变形卷积和模板更新的孪生网络目标跟踪的方法，该方法使用可变形卷积网络有效强化骨干网络的特征提取能力，使用高置信度的模板更新策略保障有效更新。首次将可变形卷积网络和模板更新策略结合。采用可变形卷积学习特征数据在不同方向上的自适应偏移量，以增强骨干网络的特征提取能力。此外，深层特征虽语义信息丰富，但缺少位置信息，通过多层可变形互相关融合以提高定位精度。最后，提出了一种高置信度模板更新策略，即每隔固定帧计算一次响应图的峰值旁瓣比和最大值，以此为依据，采用加权的方式融合特征以更新模板。既保证了有效更新，也防止遮挡等特殊情况下更新模板。

其有益效果如下：

(1)使用可变形卷积可以有效增强孪生骨干网络的特征提取能力，可以提取到更为丰富的深层语义特征。

(2)通过学习多层数据自适应偏移量，经过可变形互相关融合可有效提高目标的定位精度。

(3)使用有效的模板更新策略，可以预防在长时间的跟踪过程中因为目标发生较大形变，原模板逐渐失去作用出现模型漂移现象。

附图说明

图1为方法的流程图。

图2为模型的模型框架图。

具体实施方式

下面结合具体实施例对本发明作更进一步的说明。

如图1-2所示，一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法，包括如下步骤：

步骤S1，孪生网络主要分为模板分支与搜索分支，其作用是用于提取图像数据的深层特征，将数据集或摄像头捕捉画面的第一帧图像以目标为中心裁剪出127×127×3大小的图像作为模板图像，在跟踪过程中第i+1帧以第i帧目标位置为中心裁剪出255×255×3大小的图像作为搜索图像，继而将模板图像数据与搜索图像数据分别输入到模板分支与搜索分支中，分别得到模板特征数据w₁与搜索特征数据x。

步骤S1中将模板图像数据与搜索图像数据输入到模板分支和搜索分支中，分别得到模板特征数据w₁与搜索特征数据x，两个分支在分别提取特征数据的过程中共享参数。其中特征提取过程，如公式(1)所示：

其中，I是输入图像矩阵，I((x_a,y_a),(x_b,y_b))为I的子矩阵，以(x_a,y_a)和(x_b,y_b)为子矩阵的左上角与右下角的直角坐标系的坐标，k为提取特征数据的步长，f(·)为特征提取函数。

步骤S2，将模板特征数据w₁与搜索特征数据x输入到可变形卷积网络中，学习各个特征数据在不同方向上的自适应偏移量，输出模板偏移核与搜索偏移特征，将模板偏移核和搜索偏移特征分别进行互相关得到偏移图c。

步骤S2的具体步骤如下：

2-1：使用规则网格

在搜索特征数据x上采样得到采样值；

2-2：将模板数据特征w₁作为卷积核w加权采样值总和，得到偏移图c。

规则网格

定义了感受野大小和膨胀，计算公式如下：

定义了一个膨胀为1，填充为0的k×k大小内核来充当规则网格。

互相关操作中，对于输出偏移图c上的每个位置a，计算如下：

其中，p_n为枚举了

上所有的位置，w(*)是卷积核，x(*)是搜索特征数据上采样值，y(*)是偏移图c上的数据。

步骤S3，将模板特征数据w₁与搜索特征数据x与偏移图c经过可变形互相关得到最终响应图。

步骤S3的具体步骤如下：

3-1：将偏移图c上的数据y(a)作为偏移集{Δp_n|n＝1,2,...,N}，

3-2：利用模板特征数据w₁，搜索特征数据x与偏移集，计算输出最终响应图上的每个位置a，计算公式如下：

其中，y₁(*)是最终响应图上的数据。

在公式(4)中，采样在不规则且偏移的位置p_n+Δp_n，偏移Δp_n通常为小数，公式(4)可通过双线性插值实现：

其中，p′表示a+p_n+Δp_n，q^*枚举搜索特征数据x中所有空间位置，G(*)是双线性插值核，这里G是一个二维核，它可以分为两个一维核：

其中，g(a,b)＝max(0,1-|a-b|)，

分别表示搜索特征数据x中整数空间位置、分数空间位置；p_x′,p′_y分别表示a+p_n+Δp_n的整数空间位置、分数空间位置。

步骤S4，每隔固定帧计算第i帧最终响应图的旁瓣峰值比和第1到i帧最终响应图旁瓣峰值比的最大值，将旁瓣峰值比、旁瓣峰值比的最大值均与历史旁瓣峰值比进行比较，如果前两者均大于历史旁瓣峰值比，则进行模板更新。

步骤S4的具体步骤如下：

4-1：计算最终响应图的峰值旁瓣比和峰值旁瓣比最大值，峰值旁瓣比F计算如下：

其中，A_max，A_min分别代表最终响应图上数据最大值、最小值，A_i,j代表最终响应图(i,j)上的数据，mean(*)代表求取均值。

峰值旁瓣值比最大值为所有最终响应图的峰值旁瓣值比中最大值记为M₁。

历史旁瓣峰值比所有最终响应图旁瓣峰值比的平均值。

步骤S5，当模板被判定更新时，第i+1帧以第i帧图像获取目标为中心截取127×127×3大小的图像，图像通过模板分支模板提取出的新的特征数据，将新的特征数据与第一帧模板特征数据进行加权融合取代原模板特征数据，成为新的模板用于目标跟踪，以应对目标发生较大变化造成跟踪失败。

模板更新的计算公式为：

f_i＝(1-η)f₁(z)+ηf_i(z) (10)

其中，η为超参数，f₁(z)为第一帧模板特征数据，f_i(z)为第i帧图像提取的新的特征数据。

之所以使用第一帧模板特征，是因为第一帧模板处于非遮挡情况下，其语义信息最为完整丰富。由于相邻帧信息差距很小，频繁的更新操作会造成时间代价过大，继而选择上述的高置信度更新策略，只需要花费较少的时间资源，同时使得模板信息得到及时准确更新，在后续互相关运算中得到的响应图更为精确。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法，其特征在于：包括如下步骤：

步骤S1，将数据集或摄像头捕捉画面的第一帧图像以目标为中心裁剪出127×127×3大小的图像作为模板图像，在跟踪过程中第i+1帧以第i帧目标位置为中心裁剪出255×255×3大小的图像作为搜索图像，将模板图像数据与搜索图像数据分别输入到模板分支与搜索分支中，分别得到模板特征数据w₁与搜索特征数据x；

步骤S2，将模板特征数据w₁与搜索特征数据x输入到可变形卷积网络中，学习各个特征数据在不同方向上的自适应偏移量，输出模板偏移核与搜索偏移特征，将模板偏移核和搜索偏移特征分别进行互相关得到偏移图c；

步骤S3，将模板特征数据w₁与搜索特征数据x与偏移图c经过可变形互相关得到最终响应图；

步骤S4，每隔固定帧计算第i帧最终响应图的旁瓣峰值比和第1到i帧最终响应图旁瓣峰值比的最大值，将旁瓣峰值比、旁瓣峰值比的最大值均与历史旁瓣峰值比进行比较，如果前两者均大于历史旁瓣峰值比，则进行模板更新；

步骤S5，当模板被判定更新时，第i+1帧以第i帧图像获取目标为中心截取127×127×3大小的图像，图像通过模板分支模板提取出的新的特征数据，将新的特征数据与第一帧模板特征数据进行加权融合取代原模板特征数据，成为新的模板用于目标跟踪。

2.根据权利要求1所述的基于可变形卷积和模板更新的孪生网络目标跟踪的方法，其特征在于：步骤S1中模板分支和搜索分支在分别提取特征数据的过程中共享参数，其中特征提取过程，如公式(1)所示：

其中，I是输入图像矩阵，I((x_a,y_a),(x_b,y_b))为I的子矩阵，以(x_a,y_a)和(x_b,y_b)为子矩阵的左上角与右下角的直角坐标系的坐标，k为提取特征数据的步长，f(·)为特征提取函数。

3.根据权利要求1所述的基于可变形卷积和模板更新的孪生网络目标跟踪的方法，其特征在于：步骤S2的具体步骤如下：

2-1：使用规则网格

在搜索特征数据x上采样得到采样值；

2-2：将模板数据特征w₁作为卷积核w加权采样值总和，得到偏移图c；

规则网格

计算公式如下：

定义了一个膨胀为1，填充为0的k×k大小内核来充当规则网格；

互相关操作中，对于输出偏移图c上的每个位置a，计算公式如下：

其中，p_n为枚举了

上所有的位置，w(*)是卷积核，x(*)是搜索特征数据上采样值，y(*)是偏移图c上的数据。

4.根据权利要求1所述的基于可变形卷积和模板更新的孪生网络目标跟踪的方法，其特征在于：步骤S3的具体步骤如下：

3-1：将偏移图c上的数据y(a)作为偏移集{Δp_n|n＝1,2,...,N}，

3-2：利用模板特征数据w₁，搜索特征数据x与偏移集，计算输出最终响应图上的每个位置a，计算公式如下：

其中，y₁(*)是最终响应图上的数据。

5.根据权利要求4所述的基于可变形卷积和模板更新的孪生网络目标跟踪的方法，其特征在于：在公式(4)中，采样在不规则且偏移的位置p_n+Δp_n，偏移Δp_n通常为小数，公式(4)可通过双线性插值实现：

其中，p′表示a+p_n+Δp_n，q^*枚举搜索特征数据x中所有空间位置，G(*)是双线性插值核，这里G是一个二维核，它可以分为两个一维核：

其中，g(a,b)＝max(0,1-|a-b|)，

分别表示搜索特征数据x中整数空间位置、分数空间位置；p′_x,p′_y分别表示a+p_n+Δp_n的整数空间位置、分数空间位置。

6.根据权利要求1所述的基于可变形卷积和模板更新的孪生网络目标跟踪的方法，其特征在于：计算最终响应图的峰值旁瓣值比F计算如下：

其中，A_max，A_min分别代表最终响应图上数据最大值、最小值，A_i,j代表最终响应图(i,j)上的数据，mean(*)代表求取均值；

峰值旁瓣值比最大值为所有最终响应图的峰值旁瓣值比中最大值记为M₁；

历史旁瓣峰值比所有最终响应图旁瓣峰值比的平均值。

7.根据权利要求1所述的基于可变形卷积和模板更新的孪生网络目标跟踪的方法，其特征在于：模板更新的计算公式为：

f_i＝(1-η)f₁(z)+ηf_i(z) (10)

其中，η为超参数，f₁(z)为第一帧模板特征数据，f_i(z)为第i帧图像提取的新的特征数据。

Images