CN109035300B - 一种基于深度特征与平均峰值相关能量的目标跟踪方法 - Google Patents

Abstract

本发明提出一种基于深度特征与平均峰值相关能量的目标跟踪方法,包括：提取目标的颜色直方图特征、深度特征以及目标上下左右四个图像块的三层深度特征，并计算颜色直方图判别模型和深度特征模型；计算当前帧目标的颜色直方图特征响应和深度特征响应，并预测下帧的目标位置；计算当前帧目标响应的平均峰值相关能量；当前帧目标响应的平均峰值相关能量大于当前帧之前所有帧平均峰值相关能量均值，则判断此帧响应置信度较高，使用分层模型更新方案更新颜色直方图判别模型和深度特征模型，否则不更新；重复上述步骤直到视频序列结束。本发明将深度特征和平均峰值相关能量进行有效融合，并且采用分层的模型更新方案进一步有效的提高跟踪性能。

Description

一种基于深度特征与平均峰值相关能量的目标跟踪方法

技术领域

本发明属于图像处理领域，具体涉及一种基于深度特征与平均峰值相关能量的目标跟踪方法。

背景技术

视觉跟踪的主要任务就是估计视频中目标运动的轨迹，这是计算机视觉的基本问题之一。近年来，目标跟踪方法取得了较大的进展，但是由于跟踪过程中存在背景扰动，快速运动等问题的干扰，目标跟踪的研究依然具有一定的难度。目前的目标跟踪方法主要由两大类组成：生成类方法和判别类方法。生成类方法首先提取当前帧目标特征，生成目标的外观模型，通过此模型在新一帧图像进行匹配，在图像中与此模型最匹配的就是目标。常见的生成类方法有卡尔曼滤波，mean-shift方法等。而判别式方法采用机器学习和图像特征结合的方式，提取当前帧的正样本和负样本的图像特征，并使用机器学习方法训练分类器，在下一帧中通过此分类器找到目标所在的最优位置。

基于相关滤波的跟踪方法属于判别类方法。Bolme等在相关滤波的基础上提出在灰度图像上学习一个最小输出平方误差和相关滤波器，将时域上的卷积转换到频域上的乘积，提高目标跟踪速度，达到669FPS。但是采用灰度特征不能够很好的描述目标外观，Henriques等提出使用HOG特征，并采用循环结构和核函数提高跟踪性能的方法，它通过密集采样得到具有周期性循环结构的样本，一方面增加样本数量提高跟踪精度，另一方面利用循环结构和核函数提高跟踪速度，但HOG对非刚性物体跟踪较差。而颜色特征可更好跟踪非刚性物体，MartinDanelljan等在CSK的基础上通过多通道颜色特征进行了扩展。由于HOG特征和颜色特征相互之间可以很好的弥补，LucaBertinetto提出了STAPLE方法，此方法通过将HOG特征的检测响应和颜色直方图的检测响应线性相加，但当遇到背景扰动等问题跟踪较差。Matthias Mueller等提出STAPLE_CA方法，在STAPLE方法的基础上采用上下文感知的方式，将采集到的背景信息引入到岭回归公式中作为正则化项进行约束优化，进一步提高了跟踪的性能。随着深度学习的日益发展，已有采用深度特征进行目标跟踪的方式，ChaoMa等采用卷积神经网络模型提取多层卷积特征用于目标跟踪，相比上述人工特征，性能有所提升，但当发生背景扰动，快速运动时不能很好的跟踪。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于深度特征与平均峰值相关能量的目标跟踪方法，其目的在于将深度特征和平均峰值相关能量进行有效融合，并且采用分层的模型更新方案进一步有效的提高跟踪性能。

为实现上述目的及其他相关目的，本发明提供一种基于深度特征与平均峰值相关能量的目标跟踪方法，该方法包括以下步骤：

步骤(1).读取视频序列第一帧图像，提取目标的颜色直方图特征、深度特征以及目标上下左右四个图像块的三层深度特征，并分别计算颜色直方图判别模型和深度特征模型；

步骤(2).读取下一帧图像，在上一帧预测的目标位置提取目标的深度特征和颜色直方图特征，并且依据上一帧计算的颜色直方图特征和深度特征模型计算当前帧目标的颜色直方图特征响应和深度特征响应，并将颜色直方图特征响应和深度特征响应线性相加，依据线性相加的颜色直方图特征响应和深度特征响应预测下帧的目标位置；

步骤(3).依据深度特征响应计算当前帧目标响应的平均峰值相关能量APCE；

步骤(4).若当前帧目标响应的平均峰值相关能量大于当前帧之前所有帧平均峰值相关能量均值，则判断此帧响应置信度较高，使用分层模型更新方案更新颜色直方图判别模型和深度特征模型，否则不更新；

步骤(5).重复步骤(2)～步骤(5)，直到视频序列结束。

优选地，在所述步骤(1)中，提取的三层深度特征分别为conv3-4、conv4-4和conv5-4。

优选地，通过ImageNet上训练过的imagenet-vgg-verydeep-19卷积神经网络模型提取步骤(1)所述的目标深度特征。

优选地，在所述步骤(1)中，所述的颜色直方图判别模型具体为：

其中，I为输入图像，o为目标像素，O为目标的矩形区域，S为目标周围的区域，

(b_x)为位置x处的颜色直方图特征其范围为O，

(b_x)为位置x处的颜色直方图特征其范围为S。

优选地，在所述步骤(1)中，所述的深度特征模型具体为：

其中，^为傅里叶形式，y为理想化输出的样本标签，*为复共轭变换，⊙为点积操作，

为目标区域的深度特征傅氏变换后的结果，

为目标周围区域深度特征傅氏变换后的结果。

为目标图像深度特征的点积，

为目标周围图像块深度特征的点积，λ₁，λ₂为正则化参数。

优选地，在所述步骤(2)中，所述的颜色直方图特征响应为：

其中，sat为颜色直方图判别模型的积分图，rangx表示x方向移动范围,rangy表示y方向移动范围，x_end＝imag_x-respx+1，y_end＝imag_y-respy+1；respx,respy分别表示颜色直方图特征响应图长和宽，imag_x,imag_y分别表示积分图的长和宽。

优选地，在所述步骤(2)中预测下一帧位置的过程如下：计算出深度特征响应和颜色直方图特征响应之后将两者线性相加得到最终的响应，求出最终响应最大位置所在的坐标max_x，max_y，响应和的长宽分别为resp_x，resp_y，上一帧预测的位置为pre_x，pre_y，最终的位置为：

(pos_x,pos_y)＝(pre_x,pre_y)+4×(max_x-resp_x/2-1,max_y-resp_y/2-1)。

优选地，在所述步骤(2)中，所述的深度特征响应为：

其中，

为当前帧目标图像深度特征的傅里叶变换。

优选地，在所述步骤(3)中，所述的平均峰值相关能量APCE为：

其中，R_max为目标深度特征响应的最大值，R_min为目标深度特征响应的最小值，R_w,h为目标深度特征响应各处的响应值，mean()表示对括号内的值求平均。

优选地，在所述步骤(4)中，所述的分层模型更新方案为：

其中，

为上一帧的深度特征模型，

为当前帧的深度特征模型，n为深度特征的层数，

为当前帧目标颜色直方图判别模型，

前一帧目标颜色直方图判别模型，η为深度特征的学习率，β为颜色直方图判别模型的学习率，最终更新后的模型为

α_hist。

如上所述，本发明的一种基于深度特征与平均峰值相关能量的目标跟踪方法，具有以下有益效果：

1、结合了目标的深度特征和颜色直方图特征，其中颜色直方图特征对非刚性物体跟踪具有较好的效果，而深度特征采用底层和高层的卷积神经网络特征，底层卷积神经网络conv3-4特征可以更好的描述目标的细节信息，而高层的卷积神经网络conv5-4特征可以更好的描述目标的语义信息。多特征有效的增强了模型的判别能力，提高跟踪性能。

2、采用了目标周围上下左右四个图像块，并将其作为正则化项进行约束优化，抑制了图像块中所包含的背景干扰信息，进一步提高跟踪性能。

3、针对本发明采用的四个图像块和三层卷积特征，使用了分层的模型更新策略，可以更好的保持每个卷积层的特性，互不干扰。

4、使用了平均峰值相关能量用于判断模型的置信度，当置信度较低时不更新模型，有效缓解了目标深度特征模型和颜色直方图判别模型易受干扰的问题。

附图说明

为了进一步阐述本发明所描述的内容，下面结合附图对本发明的具体实施方式作进一步详细的说明。应当理解，这些附图仅作为典型示例，而不应看作是对本发明的范围的限定。

图1是本发明目标跟踪方法的流程图；

图2是本发明在目标周围提取的上下左右四个图像块；

图3是本发明对三帧图像提取的深度特征可视化图像；

图4是本发明的平均峰值相关能量的测试示意图；

图5是本发明对目标上下左右四个图像块提取的深度特征可视化图像；

图6是本发明的精度图；

图7是本发明的成功率图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本实施基于深度特征与平均峰值相关能量的目标跟踪方法，其流程图如图1所示：包括以下步骤：

步骤(1).读取视频序列第一帧图像，提取目标的颜色直方图特征、深度特征以及目标上下左右四个图像块的三层深度特征，并分别计算颜色直方图判别模型和深度特征模型。具体地，目标区域为一矩形区域。

具体地，于本实施例中，按事先标定好的初始帧目标位置和大小提取目标的颜色直方图特征，通过卷积神经网络模型提取目标的深度特征。目标上下左右四个图像块的三层深度特征也通过卷积神经网络模型提取。

传统的目标跟踪方法只是通过目标位置图像训练目标模型，而本方法通过采集目标上下左右四个图像块引入背景信息进行约束优化。

如图2所示为目标周围上下左右四个图像块的提取示意图，假设目标长为length个像素点，宽为width个像素点，以目标图像为中心向上偏移width个像素点为上图像块A₁，以目标图像为中心向左偏移length个像素点为左图像块A₂，以目标图像为中心向下偏移width个像素点为下图像块A₃，以目标图像为中心向右偏移length个像素点为右图像块A₄。

采用了目标周围上下左右四个图像块，抑制了图像块中所包含的背景干扰信息，进一步提高跟踪性能。

进一步地，在本发明中，通过ImageNet上训练过的imagenet-vgg-verydeep-19卷积神经网络模型提取的三层卷积特征，其中分别为conv3-4层、conv4-4层和conv5-4层。

但是随着卷积神经网络深度的增加，空间分辨率会因池化操作渐渐降低，过低的空间分辨率并不能精确的定位目标。通过双线性插值将不同分辨率的特征映射调整到固定大小，假定x为经过升采样的特征映射，f为低分辨率特征映射，权重w_ik取决于位置i和k个周围的特征映射。位置i的特征向量就表示为：

如图3所示，分别将第三，第四和第五层卷积层的特征映射相加，并且使用双线性插值操作的可视化图像。如图所示，其中第一列分别为第16、42和61帧的图像，第二列为第三层卷积特征相加得到的图像，第三列为第四层卷积特征相加得到的图像，第四列为第五层卷积特征相加得到的图像。按行比较发现，浅层特征映射能够描述出目标轮廓，而随深度增加仍在目标位置处有较高的亮度。按列比较发现：当目标发生剧烈运动和背景干扰时，提取的外观特征仍能分辨目标。由于底层卷积特征映射具有更多的细节信息，可以用于精确的定位。

于本实施例中，深度特征模型的计算如下所示：

a₀为提取的目标位置的深度特征，a_i为目标周围上下左右四个图像块的深度特征。其中，^代表傅里叶形式，k为目标周围图像块的个数，由于本文取上下左右四个图像块，所以k取4。y为理想化输出的样本标签，*为复共轭变换，

为目标图像深度特征的点积，

为目标周围图像块深度特征的点积，λ₁，λ₂为正则化参数分别为0.0001和0.5。

颜色直方图判别模型具体为：

其中,I为输入图像，o为目标像素，O目标的矩形区域，S为目标周围的区域，

为位置x处的颜色直方图特征其范围为O，

为位置x处的颜色直方图特征其范围为S。

步骤(2).读取下一帧图像，在上一帧预测的目标位置(若为第二帧则取初始帧事先标定好的目标位置)提取目标的深度特征和颜色直方图特征，并且依据上一帧计算的颜色直方图特征和深度特征模型计算当前帧目标的颜色直方图特征响应和深度特征响应，并将颜色直方图特征响应和深度特征响应线性相加，依据响应预测下帧的目标位置。

于本实施例中，深度特征响应通过下式计算：

其中,

为当前帧目标图像深度特征的傅里叶变换，其与深度特征模型的点积就为目标的深度特征响应。

所述的颜色直方图特征响应为：

具体地计算过程如下：首先，输入图像划定目标区域O，背景区域S；其次获得前景区域模板和背景区域模板，其中前景区域模板目标区域O设为1，背景区域S设为0，背景区域模板目标区域O设为0，背景区域设为1；对图像中的每个像素按bin的个数划分区间，其中一个像素值的大小范围为0-255，共划分32个bin，一个bin的区间就为8；对输入图像的每个像素点的值除8得到矩阵bin_matrix，bin_matrix中的值为原图像的像素点所属的bin；将图像分为RGB三个维度，每个维度如上述方法划分为32个bin，得到三维矩阵bin_3dim，每个维度按区域模板检索bin_matrix，其中若当前像素位置对应模板中的值为1，则在bin_matrix上查询此像素点的bin值，并按查询到的bin值在bin_3dim对应的位置加1，按前景区域模板和背景区域模板进行检索，最终得到前景区域直方图bin_3dim_fghist和背景区域直方图bin_3dim_bghist；再次输入新图像，新建与输入图像相同长宽的矩阵p_matrix，对输入图像的每个像素点的值除8得到矩阵new_bin_matrix，按new_bin_matrix中的bin值分别查询前景区域直方图，并将直方图中的值取出放置于p_matrix，其中放置的位置与查询像素点的坐标位置相同，最终得到

(b_x)，同理可得

(b_x)；按上述求出颜色直方图判别模型；根据判别模型求出积分图sat；假定颜色直方图特征响应图长宽分别为respx，respy，积分图长宽imag_x，imag_y，则x方向移动范围rangx＝{1:respx}，y方向移动范围rangy＝{1：resp}，x_end＝imag_x-respx+1，y_end＝imag_y-respy+1，则颜色直方图特征的响应就为：

在所述步骤(2)中预测下一帧位置的过程如下：计算出深度特征响应和颜色直方图特征响应之后将两者线性相加得到最终的响应，求出最终响应最大位置所在的坐标max_x，max_y，响应和的长宽分别为resp_x，resp_y，上一帧预测的位置为pre_x，pre_y，最终的位置为：

(pos_x,pos_y)＝(pre_x,pre_y)+4×(max_x-resp_x/2-1,max_y-resp_y/2-1)。

步骤(3).依据深度特征响应计算当前帧目标响应的平均峰值相关能量APCE。

大多数跟踪方法并没有考虑跟踪结果是否可靠，当目标受到遮挡或背景扰动等影响时，会学习到目标之外的信息，最终导致跟踪发生漂移甚至失败。如图3所示，第26帧中目标发生运动模糊和背景扰动时，响应图发生剧烈的波动，并且出现多峰干扰检测。而第66帧目标没有受到运动模糊和背景扰动等问题干扰时，响应图有一个确定的峰值，并且波动较小。所以，响应的波动程度可以在一定程度上反应跟踪结果的置信度，当检测到的目标与正确目标非常匹配时，响应图只有一个尖锐的峰值，并且波动不明显；相反，响应图存在剧烈波动。

本发明中，波动程度采用平均峰值相关能量进行判断。假定响应图的最大响应值为R_max，最小的响应值为R_min，响应图w行h列的响应值为R_w,h，则平均峰值相关能量(APCE)表示如下：

平均峰值相关能量反映了检测响应图的波动水平和目标检测的置信度。

如图4所示，当响应图波动小，目标正确检测，APCE会处于较高的值22.1027，当响应图波动大，目标受背景扰动和运动模糊干扰，APCE处于较低的值10.7121。

步骤(4).若当前帧目标响应的平均峰值相关能量大于当前帧之前所有帧平均峰值相关能量均值的某一比例(该比例具体可以为0.7)，则判断此帧响应置信度较高。由于本发明使用了三层卷积特征和颜色直方图特征描述目标外观，并且需要目标上下文背景图像块进行约束优化，因此使用分层模型更新方案更新模型。分层模型更新方案具体如下：

采集目标区域的深度特征A₀和颜色直方图特征H₀，并按图1采集目标区域周围上下左右四个背景图像块分别为A₁，A₂，A₃，A₄。

如图5所示，每层卷积层的四个背景图像块相加得到F₁，F₂,F₃。通过训练得到的模型为

并判断APCE是否大于某阈值，若大于则进行深度特征模型和颜色直方图判别模型的更新,否则不进行更新，最终更新后得到的模型如下：

其中，

为上一帧的深度特征模型，

为当前帧的深度特征模型，n为深度特征的层数。

为当前帧目标颜色直方图判别模型，

前一帧目标颜色直方图判别模型，η为深度特征的学习率0.01，β为颜色直方图判别模型的学习率0.04。最终更新后的模型就为

α_hist。

步骤(5).重复步骤(2)～步骤(5)，直到视频序列结束。

为分析本发明的跟综性能，使用OTB2013数据集进行评估。评估结果从精度图(Precision plot)和成功率(Success plot)图两个方面进行比较。精度图采用CLE(CenterLocation Error)，CLE定义为跟踪方法检测的目标坐标值与实际标注的目标坐标值之间的欧式距离。成功率是指边界框的重叠率，给定检测方法检测的目标边界框r_t和实际标注的目标边界框r_a，重叠率就定义为：

其中∪和∩分别代表两个区域的并和交，|·|代表像素的数量，为测定跟踪方法的性能，通过计算S大于某阈值的帧数进行评价，但是只采用某一阈值并不具有代表性，所以使用每一个成功率图的AUC(曲线下的面积)进行评价。

于本实施例中，实验环境配置如下：Win10操作系统，处理器i5-7500(3.60GHz)，8GB内存，在Matlab R2017a上运行。

将本方法在OTB2013数据集上进行评估，并且与STAPLE_CA，STAPLE，KCF，STRUCK等进行比较。

图6为各跟踪方法的精度图，图7为各跟踪方法的成功率图。其中OUR为本发明提出的方法，可见本发明在精度和成功率都处于第一，并且与第二位方法STAPLE_CA相比，精度提高了2.8％，成功率提高了3.9％。可见本发明可提高跟踪性能。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于深度特征与平均峰值相关能量的目标跟踪方法，其特征在于，该方法包括以下步骤：

步骤(1).读取视频序列第一帧图像，提取目标的颜色直方图特征、深度特征以及目标上下左右四个图像块的三层深度特征，并分别计算颜色直方图判别模型和深度特征模型；

步骤(2).读取下一帧图像，在上一帧预测的目标位置提取目标的深度特征和颜色直方图特征，并且依据上一帧计算的颜色直方图特征和深度特征模型计算当前帧目标的颜色直方图特征响应和深度特征响应，并将颜色直方图特征响应和深度特征响应线性相加，依据线性相加的颜色直方图特征响应和深度特征响应预测下帧的目标位置；

步骤(3).依据深度特征响应计算当前帧目标响应的平均峰值相关能量APCE；

步骤(4).若当前帧目标响应的平均峰值相关能量大于当前帧之前所有帧平均峰值相关能量均值，则判断此帧响应置信度较高，使用分层模型更新方案更新颜色直方图判别模型和深度特征模型，否则不更新；

步骤(5).重复步骤(2)～步骤(5)，直到视频序列结束。

2.根据权利要求1所述的一种基于深度特征与平均峰值相关能量的目标跟踪方法，其特征在于，在所述步骤(1)中，提取的三层深度特征分别为conv3-4、conv4-4和conv5-4。

3.根据权利要求1所述的一种基于深度特征与平均峰值相关能量的目标跟踪方法，其特征在于，通过ImageNet上训练过的imagenet-vgg-verydeep-19卷积神经网络模型提取步骤(1)所述的目标深度特征。

4.根据权利要求1所述的一种基于深度特征与平均峰值相关能量的目标跟踪方法，其特征在于，在所述步骤(1)中，所述的颜色直方图判别模型

具体为：

其中，I为输入图像，o为目标像素，O为目标的矩形区域，S为目标周围的区域，

为位置x处的颜色直方图特征其范围为O，

为位置x处的颜色直方图特征其范围为S，b_x为位置x。

5.根据权利要求1或4所述的一种基于深度特征与平均峰值相关能量的目标跟踪方法，其特征在于，在所述步骤(1)中，所述的深度特征模型α_F具体为：

其中，^为傅里叶形式，y为理想化输出的样本标签，*为复共轭变换，⊙为点积操作，

为目标区域的深度特征傅氏变换后的结果，

为目标周围区域深度特征傅氏变换后的结果；

为目标图像深度特征的点积，

为目标周围图像块深度特征的点积，λ₁，λ₂为正则化参数。

6.根据权利要求5所述的一种基于深度特征与平均峰值相关能量的目标跟踪方法，其特征在于，在所述步骤(2)中，所述的颜色直方图特征响应resphsit为：

其中，sat为颜色直方图判别模型的积分图，rangx表示x方向移动范围,rangy表示y方向移动范围，x_end＝imag_x-respx+1，y_end＝imag_y-respy+1；respx,respy分别表示颜色直方图特征响应图长和宽，imag_x,imag_y分别表示积分图的长和宽。

7.根据权利要求5所述的一种基于深度特征与平均峰值相关能量的目标跟踪方法，其特征在于，在所述步骤(2)中，所述的深度特征响应R为：

其中，

为当前帧目标图像深度特征的傅里叶变换，α_F为深度特征模型。

8.根据权利要求5所述的一种基于深度特征与平均峰值相关能量的目标跟踪方法，其特征在于，在所述步骤(2)中预测下帧的目标位置的过程如下：计算出深度特征响应和颜色直方图特征响应之后将两者线性相加得到最终的响应，求出最终响应最大位置所在的坐标max_x，max_y，响应和的长宽分别为resp_x，resp_y，上一帧预测的位置为pre_x，pre_y，最终的位置为(pos_x,pos_y)＝(pre_x,pre_y)+4×(max_x-resp_x/2-1,max_y-resp_y/2-1)。

9.根据权利要求1所述的一种基于深度特征与平均峰值相关能量的目标跟踪方法，其特征在于，在所述步骤(3)中，所述的平均峰值相关能量APCE为：

其中，R_max为目标深度特征响应的最大值，R_min为目标深度特征响应的最小值，R_w,h为目标深度特征响应各处的响应值，mean()表示对括号内的值求平均。

10.根据权利要求9所述的一种基于深度特征与平均峰值相关能量的目标跟踪方法，其特征在于，在所述步骤(4)中，所述的分层模型更新方案为：

其中，

为上一帧的深度特征模型，

为当前帧的深度特征模型，n为深度特征的层数，

为当前帧目标颜色直方图判别模型，

前一帧目标颜色直方图判别模型，η为深度特征的学习率，β为颜色直方图判别模型的学习率，最终更新后的模型为

α_hist。

Images