CN111724411A - 一种基于对冲算法的多特征融合跟踪方法 - Google Patents

Abstract

一种基于对冲算法的多特征融合目标跟踪方法，包括以下步骤：S1用空间正则化矩阵代替等权正则化来生成更精细的相关滤波器；S2在跟踪帧中提取特征生成三张空间置信图：2.1)利用颜色直方图模型生成颜色可置信图；2.2)利用从预训练VGG19中获得特征生成两种深度可置信图；S3获得三个跟踪结果；3.1)用三张空间置信图分别增强被跟踪样本的HOG特征；3.2)对三个增强后HOG分别进行相关滤波；S4利用标准对冲算法对三个滤波结果进行融合，得到最终结果；S5用更新机制对模型进行更新。本发明能够在复杂环境下对视频指定目标进行跟踪标注，并具有良好的跟踪效果。

Description

一种基于对冲算法的多特征融合跟踪方法

技术领域

本发明属于图像处理领域，是一种给定第一帧目标位置的情况下由算法在后续实现跟踪定位的方法。

背景技术

目标跟踪是计算机视觉领域的重要研究方向之一，在机器人、人机交互、军事侦查、智能交通、虚拟现实等军事、民用领域都有广泛的应用。近年来，许多学者在目标跟踪方面开展了大量工作，并取得了一定的进展。但是，在复杂环境中仍存在目标外观变形(目标纹理、形状、姿态变化等)、光照变化、快速运动和运动模糊、背景相似干扰、平面内外旋转、尺度变化、遮挡和出视野等难题，使得复杂环境下稳定实时的目标跟踪仍然是一个具有挑战性的问题。一般的视觉目标跟踪系统主要包括输入图像(视频)、运动模型(均值漂移、滑动窗口、粒子滤波)、特征提取、目标外观模型以及模型更新等几个部分，其中特征的提取与表达对目标跟踪算法的性能起决定性作用。

2006年，Hinton等提出了具有深层次特征表达能力的深度学习算法。深度学习模拟人脑的视觉处理机理，可以从大量的数据中主动学习特征，并成功应用于图像分类、物体检测等领域。深度学习能够主动学习提取底层到高层结构性的特征，具有强大的分类功能，使得将深度学习引入到目标跟踪算法的研究具备了可行性。在2017年之前，大量的跟踪都是在相关滤波算法的基础上做出改进的，经典的算法包括KCF、DSST等.随着深度学习技术的兴起，跟踪领域中的学者们也开始去尝试着将深度神经网络应用该领域中，前期大家更多的是关注预训练的神经网络的使用；而从2017之后，以SINT和Siamese fc为代表的孪生网络跟踪器受到了研究者们的关注，主要的原因还是Siamese fc算法给大家展现了一个超快的跟踪速度，而且跟踪精度也不差.当前，跟踪领域主要分为两条主线，即基于相关滤波和基于孪生网络的跟踪器。

发明内容

为了克服现有目标跟踪方法对相似物体容易误判以及遮挡情况下的跟踪失败，本发明提出了一种基于对冲算法的多特征融合跟踪方法，首先，通过将引入空间正则化分量的方法训练一个判别能力更强的空间正则化核相关滤波器。其次，用颜色直方图和卷积神经网络构建三个具有目标轮廓的空间置信图。然后在当前帧搜索区域提取方向梯度直方图特征，并通过空间可信度图来增强目标特征与相似目标特征之间的差异来增强模型的表达能力，并生成三个子CF跟踪器。最后，用标准对冲算法自适应分配权重，对三个子CF跟踪器的融合，并用模型更新机制更新模型。

本发明解决其技术问题所采用的技术方案是：

一种基于对冲算法的多特征融合目标跟踪方法，所述方法包括以下步骤：

S1.相关滤波器的训练

在图像上裁下一个宽高分别为W和H的图片块，用循环位移的方法来合成许多新的训练样本x_h,w(h,w)，其中，训练的过程就是通过解决岭回归问题来训练相关滤波器f：

f＝min_f∑_H,W|f^Tx_h,w-y(h,w)|+‖r⊙f‖² (1)

其中⊙为内积标志，r和f分别为空间正则矩阵和相关滤波器，y(h,w)是用高斯函数来生成宽高分别为W和H的矩阵，标签y的生成公式为：

由于该过程的计算通过傅里叶变换转化到傅里叶空间减少计算，最终学习器L通过下面公式获得：

其中，L表示l的傅里叶变换，

是x与自身的核相关，选择高斯核作为核函数，同时综合了47个通道的多通道特征来训练相关滤波器，所以核相关公式表示为：

其中，

表示傅里叶变换的逆操作，

和

分别表示x的傅里叶变换和

的复共轭，c表示通道层级；

S2.空间置信图的获得，过程如下：

S2.1颜色空间置信图

需要先训练一个颜色直方图模型，同时用正像素样本和负像素样本训练分类器，正像素样本为目标区域F，负像素样本为背景区域B，设像素p的特征φ(p)是矢量e_g[p]，仅在其g[p]＝i，其他位置为0，首先，从帧t裁剪目标位置的图形补丁I；然后，将图像分别分割为目标区域F和背景区域B，最后，将这两个区域的像素信息放入颜色直方图学习器中进行训练，使用以下公式：

另外由于向量的内积计算可以由β^Tφ(p)＝βⁱ来得到，所以公式简化为：

其中，Φⁱ(Α)＝|p∈A∶g[p]＝i|表示在区域A中索引特征i不为0的像素个数|A|表示区域A中的像素总数，为了简化公式，设

表示索引特征i像素在区域A中的比例，所以公式变形为：

其中，β是权重系数图，它逐像素描述了图像中每个位置的可信度，ε是一个无穷小常数；

S2.2深度空间置信图

将搜索区域的图片块I输入预先训练好的卷积神经网络VGG19模型中获得特征张量，然后通过将张量按通道进加权平均就获得合适的深度空间置信图：

其中，

表示在VGG19中第d层深度获得的特征张量，提取了深度分别为37和28两个深度特征，并生成了两个空间置信图d37和d28；

S3.获得三个跟踪结果

S3.1空间置信图增强被检测样本

在跟踪帧裁切一张适合大小的图片块，裁切的位置和大小根据上一帧目标状态计算获得，通过传统手工方法获得该图片块的方向梯度直方图特征x，然后将之前获得的三张空间置信图分别用内积的方式来增强特征x,并由此获得三个不同特征：

x_hist＝β_hist⊙x，x_d28＝β_d28⊙x，x_d37＝β_d37⊙x (9)

S3.2相关滤波分别获得结果

用之前训练好的相关滤波器L，与之前获得的三个不同特征进行滤波计算：

获得三个结果响应图g_hist(x)、g_d28(x)、g_d37(x)；

S4.对冲算法融合结果

首先，计算每个子跟踪器的损失l:

设x_p为融合后响应图中的最大值位置，然后算法引入粒子在时刻t的烦恼值：

值得注意的是这时粒子群的总代价为

基于此概念，粒子群的烦恼度定义为：

R^t＝(1-η)R^t+ηζ^t (13)

其中，η是一个动态参数，由历史信息计算得出，设跟踪器在t帧的稳定性为s^t并由此计算得到η：

η＝min(σ,exp(-ρs^t)) (14b)

其中，m^t和δ^t分别为均值和方差，ρ是一个预设参数，σ是预设最大更新率，最终权重w更新为：

其中r是尺度参数，定义为：

在得到w后通过下面公式对三个结果进行融合

F(x)＝(γ_hist+w_hist)g_hist(x)+(γ_d28+w_d28)g_d28(x)+(γ_d37+w_d37)g_d37(x) (17)

其中γ表示预设的权重参数，在获得最终的结果响应图后，只需要找到图中响应度最大的点就可以确定跟踪目标的位置和尺度信息；

S4.模型更新

计算获得跟踪目标边界框γ^t与上一帧之间的欧式距离D^t＝‖P(γ^t)-P(γ^t-1)‖，这里P(γ^t)表示边界框γ^t的定位，同时计算跟踪轨迹的平滑度：

这里σ是根据边界框的平均高度和宽度计算得到的，然后需要计算PSR值P：

P＝(R_max-m)/τ (19)

其中，R_max是响应图R中的最大值，m和τ分别表示均值和标准差，同时还需要计算一个评分G^t＝S^t×P^t来确定跟踪结果的好坏，值得注意的是还需要每Δt＝5帧计算一次评分的平均值：

这里v∈[t-Δt+1,t]且ω^v＝θ^v/(∑_vθ^v)，θ^ν是序列{θ⁰,θ¹,…,θ^Δt-1}(θ>1)中的第(ν-t+Δt)个元素；

然后利用上面获得结果可以用下面的公式动态调整学习速率η：

其中，η_init是初始模型学习速率。μ和α分别表示阈值常数和幂指数。

在更新模型学习速率后，分别用下列公式更新模型：

L^t＝(1-η_cf)L^t-1+η_cfL (22b)

模型更新完成后如果还有下一帧就将会到S2不断循环直至结束。

本发明的有益效果为：能够在复杂环境下对视频指定目标进行跟踪标注，并具有良好的跟踪效果。

附图说明

图1是上一帧裁切的图片块。

图2是当前帧裁切的图片块。

图3是三张空间置信图，其中，(a)是hist空间置信图，(b)是d28空间置信图，(c)是d37空间置信图。

图4是三张跟踪结果响应图，其中，(a)是g_hist结果响应图，(b)是g_d28结果响应图，(c)是g_d37结果响应图。

图5是融合后的结果响应图。

图6是一种基于对冲算法的多特征融合跟踪方法的跟踪流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图6，一种基于对冲算法的多特征融合跟踪方法，包括以下步骤：

S1.相关滤波器的训练

参照图1，在图像上裁下一个宽高分别为W和H的图片块，用循环位移的方法来合成许多新的训练样本x_h,w(h,w)，其中，训练的过程就是通过解决岭回归问题来训练相关滤波器f：

f＝min_f∑_H,W|f^Tx_h,w-y(h,w)|+‖r⊙f‖² (1)

其中⊙为内积标志，r和f分别为空间正则矩阵和相关滤波器，y(h,w)是用高斯函数来生成宽高分别为W和H的矩阵，标签y的生成公式为：

由于该过程的计算通过傅里叶变换转化到傅里叶空间减少计算，最终学习器L通过下面公式获得：

其中，L表示l的傅里叶变换，

是x与自身的核相关，选择高斯核作为核函数，同时综合了47个通道的多通道特征来训练相关滤波器，所以核相关公式表示为：

其中，

表示傅里叶变换的逆操作，

和

分别表示x的傅里叶变换和

的复共轭，c表示通道层级；

S2.空间置信图的获得，过程如下：

S2.1颜色空间置信图

需要先训练一个颜色直方图模型，同时用正像素样本和负像素样本训练分类器，正像素样本为目标区域F，负像素样本为背景区域B，设像素p的特征φ(p)是矢量e_g[p]，仅在其g[p]＝i，其他位置为0，首先，从帧t裁剪目标位置的图形补丁I，如图2所示；然后，将图像分别分割为目标区域F和背景区域B，最后，将这两个区域的像素信息放入颜色直方图学习器中进行训练，使用以下公式：

另外由于向量的内积计算可以由β^Tφ(p)＝βⁱ来得到，所以公式简化为：

其中，Φⁱ(Α)＝|p∈A∶g[p]＝i|表示在区域A中索引特征i不为0的像素个数|A|表示区域A中的像素总数。为了简化公式，设

表示索引特征i像素在区域A中的比例。所以公式变形为：

其中，β是权重系数图，这里获得的图可以在图3的(a)中看到，它逐像素描述了图像中每个位置的可信度，ε是一个无穷小常数；

S2.2深度空间置信图

将搜索区域的图片块I(图2)输入预先训练好的卷积神经网络VGG19模型中获得特征张量，然后通过将张量按通道进加权平均就获得合适的深度空间置信图：

其中，

表示在VGG19中第d层深度获得的特征张量，提取了深度分别为37和28两个深度特征，并生成了两个空间置信图d37和d28，获得的图像如图3中的(b)和(c)；

S3.获得三个跟踪结果

S3.1空间置信图增强被检测样本

在跟踪帧裁切一张适合大小的图片块，如图3所示，裁切的位置和大小根据上一帧目标状态计算获得，通过传统手工方法获得该图片块的方向梯度直方图特征x，然后将之前获得的三张空间置信图分别用内积的方式来增强特征x,并由此获得三个不同特征：

x_hist＝β_hist⊙x，x_d28＝β_d28⊙x，x_d37＝β_d37⊙x (9)

S3.2相关滤波分别获得结果

用之前训练好的相关滤波器L，与之前获得的三个不同特征进行滤波计算：

获得三个结果响应图g_hist(x)、g_d28(x)、g_d37(x)，这里的结果响应图分别为图4中的(a)、(b)、(c)；

S4.对冲算法融合结果

首先，计算每个子跟踪器的损失l:

设x_p为融合后响应图中的最大值位置，然后算法引入粒子在时刻t的烦恼值：

值得注意的是这时粒子群的总代价为

基于此概念，粒子群的烦恼度定义为：

R^t＝(1-η)R^t+ηζ^t (13)

其中，η是一个动态参数，由历史信息计算得出，设跟踪器在t帧的稳定性为s^t并由此计算得到η：

η＝min(σ,exp(-ρs^t)) (14b)

其中，m^t和δ^t分别为均值和方差，ρ是一个预设参数，σ是预设最大更新率，最终权重w更新为：

其中r是尺度参数，定义为：

在得到w后通过下面公式对三个结果进行融合

F(x)＝(γ_hist+w_hist)g_hist(x)+(γ_d28+w_d28)g_d28(x)+(γ_d37+w_d37)g_d37(x) (17)

其中γ表示预设的权重参数，在获得最终的结果响应图5后，只需要找到图中响应度最大的点就可以确定跟踪目标的位置和尺度信息；

S4.模型更新

计算获得跟踪目标边界框γ^t与上一帧之间的欧式距离D^t＝‖P(γ^t)-P(γ^t-1)‖，这里P(γ^t)表示边界框γ^t的定位，同时计算跟踪轨迹的平滑度：

这里σ是根据边界框的平均高度和宽度计算得到的，然后需要计算PSR值P：

P＝(R_max-m)/τ (19)

其中，R_max是响应图R中的最大值，m和τ分别表示均值和标准差，同时还需要计算一个评分G^t＝S^t×P^t来确定跟踪结果的好坏，值得注意的是还需要每Δt＝5帧计算一次评分的平均值：

这里v∈[t-Δt+1,t]且ω^v＝θ^v/(∑_vθ^v)，θ^v是序列{θ⁰,θ¹,…,θ^Δt-1}(θ>1)中的第(ν-t+Δt)个元素；

然后利用上面获得结果可以用下面的公式动态调整学习速率η：

其中，η_init是初始模型学习速率。μ和α分别表示阈值常数和幂指数。

在更新模型学习速率后，分别用下列公式更新模型：

L^t＝(1-η_cf)L^t-1+η_cfL(22b)

Claims (1)

1.一种基于对冲算法的多特征融合跟踪方法，其特征在于，所述方法包括以下步骤：

S1.相关滤波器的训练

在图像上裁下一个宽高分别为W和H的图片块，用循环位移的方法来合成许多新的训练样本x_h,w(h,w)，其中，训练的过程就是通过解决岭回归问题来训练相关滤波器f：

f＝min_f∑_H,W|f^Tx_h,w-y(h,w)|+‖r⊙f‖² (1)

其中⊙为内积标志，r和f分别为空间正则矩阵和相关滤波器，y(h,w)是用高斯函数来生成宽高分别为W和H的矩阵，标签y的生成公式为：

由于该过程的计算可以通过傅里叶变换转化到傅里叶空间减少计算，最终学习器L通过下面公式获得：

其中，L表示l的傅里叶变换，

是x与自身的核相关，选择高斯核作为核函数，同时综合了47个通道的多通道特征来训练相关滤波器，所以核相关公式表示为：

其中，

表示傅里叶变换的逆操作，

和

分别表示x的傅里叶变换和

的复共轭，c表示通道层级；

S2.空间置信图的获得，过程如下：

S2.1颜色空间置信图

训练一个颜色直方图模型，同时用正像素样本和负像素样本训练分类器，正像素样本为目标区域F，负像素样本为背景区域B，设像素p的特征φ(p)是矢量e_g[p]，仅在其g[p]＝i，其他位置为0，首先，从帧t裁剪目标位置的图形补丁；然后，将图像分别分割为目标区域F和背景区域B，最后，将这两个区域的像素信息放入颜色直方图学习器中进行训练，使用以下公式：

另外由于向量的内积计算由β^Tφ(p)＝βⁱ来得到，所以公式简化为：

其中，Φⁱ(A)＝|p∈A∶g[p]＝i|表示在区域A中索引特征i不为0的像素个数|A|表示区域A中的像素总数，为了简化公式，设

表示索引特征i像素在区域A中的比例，所以公式变形为：

获得颜色空间置信图；

S2.2深度空间置信图

将搜索区域的图片块I输入预先训练好的卷积神经网络VGG19模型中获得特征张量，然后通过将张量按通道进加权平均就获得合适的深度空间置信图：

其中，

表示在VGG19中第d层深度获得的特征张量，提取了深度分别为37和28两个深度特征，并生成了两个空间置信图d37和d28；

S3.获得三个跟踪结果

S3.1空间置信图增强被检测样本

在跟踪帧裁切一张适合大小的图片块，裁切的位置和大小根据上一帧目标状态计算获得，通过传统手工方法获得该图片块的方向梯度直方图特征x，然后将之前获得的三张空间置信图分别用内积的方式来增强特征x,并由此获得三个不同特征：

x_hist＝β_hist⊙x，x_d28＝β_d28⊙x，x_d37＝β_d37⊙x (9)

S3.2相关滤波分别获得结果

用之前训练好的相关滤波器L，与之前获得的三个不同特征进行滤波计算：

获得三个结果响应图g_hist(x)、g_d28(x)、g_d37(x)；

S4.对冲算法融合结果

首先，计算每个子跟踪器的损失l:

设x_p为融合后响应图中的最大值位置，然后算法引入粒子在时刻t的烦恼值：

值得注意的是这时粒子群的总代价为

基于此概念，粒子群的烦恼度定义为：

R^t＝(1-η)R^t+ηζ^t (13)

其中，η是一个动态参数，由历史信息计算得出，设跟踪器在t帧的稳定性为s^t并由此计算得到η：

η＝min(σ,exp(-ρs^t)) (14b)

其中，m^t和δ^t分别为均值和方差，ρ是一个预设参数，σ是预设最大更新率，最终权重w更新为：

其中r是尺度参数，定义为：

在得到w后通过下面公式对三个结果进行融合：

F(x)＝(γ_hist+w_hist)g_hist(x)+(γ_d28+w_d28)g_d28(x)+(γ_d37+w_d37)g_d37(x) (17)

其中γ表示预设的权重参数，在获得最终的结果响应图后，只需要找到图中响应度最大的点就可以确定跟踪目标的位置和尺度信息；

S5.模型更新

计算获得跟踪目标边界框γ^t与上一帧之间的欧式距离D^t＝‖P(γ^t)-P(γ^t-1)‖，这里P(γ^t)表示边界框γ^t的定位，同时计算跟踪轨迹的平滑度：

这里σ是根据边界框的平均高度和宽度计算得到的，然后需要计算PSR值P：

P＝(R_max-m)/τ (19)

其中，R_max是响应图R中的最大值，m和τ分别表示均值和标准差，同时还需要计算一个评分G^t＝S^t×P^t来确定跟踪结果的好坏，值得注意的是还需要每Δt＝5帧计算一次评分的平均值：

这里v∈[t-Δt+1,t]且ω^v＝θ^v/(∑_vθ^v)，θ^v是序列{θ⁰,θ¹,…,θ^Δt-1}(θ>1)中的第(ν-t+Δt)个元素；

然后利用上面获得结果用公式(21)动态调整学习速率η：

其中，η_init是初始模型学习速率，μ和α分别表示阈值常数和幂指数；

在更新模型学习速率后，分别用下列公式更新模型：

L^t＝(1-η_cf)L^t-1+η_cfL (22b)

Images