CN110070562A - 一种上下文相关的深度目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于上下文相关的深度目标跟踪方法，引用孪生网络结构将跟踪问题转化为学习一种相似性度量的方法，考虑到跟踪目标运动的时空连续性，提出利用上下文信息对目标外形和背景区域进行变化估计，并利用非极大值抑制和增量学习策略有效减弱背景噪声对目标的干扰。采用深度学习方法，可自动提取目标有效特征并实现端对端在线更新，大幅提升目标跟踪准确性。上下文信息的引入，在一定程度上解决了目标跟踪容易出现的跟踪漂移问题，提升了目标跟踪的准确性与鲁棒性。

Description

一种上下文相关的深度目标跟踪方法

技术领域

本发明属于图像目标跟踪领域，具体涉及一种目标跟踪方法。

背景技术

目标跟踪技术广泛应用于智能视频监控、自动驾驶、人体跟踪、车辆导航等领域。目前很多跟踪算法已经取得不错的成绩，但是由于跟踪过程中的很多难题，如自身形变、遮挡、光照变化、尺度变化等，很多算法在同时满足跟踪鲁棒性和实时性上始终没有重大突破。

与本发明相关的现有技术：

由重庆大学朱征宇、李帅和徐强等申请的于2016年6月1日公开，公开号为105631895A，发明名称为“结合粒子滤波的时空上下文视频目标跟踪方法”的中国发明专利申请中，首先，读取第一帧视频数据，选定视频目标框，并初始化时空上下文特征模型和粒子滤波特征模型；然后，读取新一帧视频数据，通过时空上下文跟踪方法获取其中的特定视频目标结果；其次，采用置信度的变化趋势判定特定目标是否受到强干扰，如果检测到强干扰则启用粒子滤波的方法对结果重新校准，从而得到更准确的视频目标跟踪结果；最后，使用最终得到的跟踪结果同时更新时空上下文特征模型和粒子滤波的特征模型。

该方法以时空上下文特征模型为依托，对于形变、背景混乱等情况下出现跟踪漂移情况，采用颜色直方图建模的粒子滤波手段进行全局搜索来修正，但是目标跟踪中经常存在众多干扰因素，若采用粒子滤波手段首先会使跟踪速度变慢，无法做到实时跟踪，而且颜色直方图建模作为特征来描述目标时不具备较强的辨别能力，在背景混乱、遮挡等情况下很容易发生跟踪漂移。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于上下文相关的深度目标跟踪方法。

技术方案

一种上下文相关的深度目标跟踪方法，其特征在于步骤如下：

步骤1：在Siamfc网络结构基础上，通过正则化引入上下文相关信息，搭建孪生网络结构，使用不同目标正负样本对来训练该网络，使网络能够区分目标与背景信息；

步骤2：跟踪时，对于初始帧图像，裁剪初始帧中待跟踪目标区域，通过步骤1训练所得卷积网络部分，进行卷积运算，得到待跟踪目标的特征图谱，再通过上下文相关信息更新部分的目标外形更新部分得到相应特征图谱；

步骤3：在第n帧，将该帧图像首先通过crop层进行裁剪，即以上一帧目标位置为中心裁剪为255*255的搜索区域样本，然后通过步骤1训练所得卷积网络及上下文相关信息更新部分的背景抑制更新得到对应特征图谱；

步骤4：计算步骤3所得第n帧图像中不同尺寸样本的特征图谱与步骤2所得初始目标特征图谱的响应值，在响应值的结果上增加干扰物感知模型，减少误差累积造成的跟踪结果漂移，最终得到第n帧最大响应位置即为该帧目标位置。

所述的步骤1具体如下：

步骤1-1：正负样本对按公式1所示方式获得：

其中，u是图像像素点的位置，R为半径，c是目标中心，k为网络步长；即在图片尺寸范围内，将超过目标距离R的视为负样本，不大于目标距离R的视为正样本；

步骤1-2：网络结构为siamese网络，同时输入n及n+1帧图像，第n帧图像大小为127*127，n+1帧为255*255大小的搜索区域，所述的第n+1帧以第n帧目标的中心为中心，当超出原图大小时用平均RGB值填充；为了避免训练期间调整图像大小，每帧的原始和候选图都离线提取；

步骤1-3：将第n帧图像输入网络，进行卷积运算，再通过目标外形更新部分得到对应的特征图f^l(O₁)；

步骤1-4：将n+1帧图像输入网络，进行卷积运算，再通过背景抑制更新部分得到对应的特征图f^l(Z_t)，然后与步骤1-3所得计算相似度：

f(z,o)＝corr(V_n*f^l(O₁),W_n*f^l(Z_t)) (2)

得到标量值得分图，即响应值；

步骤1-5：定义损失函数

采用判别性方法，在正负样本对上训练网络，采用如公式3所示逻辑损失：

l(y,v)＝log(1+exp(-yv)) (3)

其中v是单个样本候选对的实际分数，y∈{+1,-1}是对应的标签值；训练时采用更大的数据样本对，进而得分图损失定义为所有损失的均值：

其中y[u]为网络前向传播所得分数图D中每个位置u的标签，y[u]∈{+1,-1}；v[u]为网络前向传播针对每个搜索区域计算所得响应值；

步骤1-6：采用随机梯度下降法优化网络，来获得卷积网络的参数θ：

argmin_θL(y,f(z,o；θ)) (5)

步骤2及步骤1-3中所述的目标外形更新具体如下：

步骤2-1：首先以n帧得分图最大响应位置为中心裁剪第n帧原始图像，然后通过训练所用卷积网络得到对应特征F_n；

步骤2-2：为充分利用上下文信息，提出在孪生网络卷积层基础上，应用正则化思想计算仿射矩阵V，对目标外形进行更新；V通过考虑目标的时间平滑变化学习初始帧到第n帧目标的外形变化，并将这种变化应用到第n+1帧，按公式6计算：

其中，λ_v为正则化参数，通过训练获得；

步骤2-3：转换到频域得到V_n的快速解为：

步骤3及步骤1-4中所述的背景抑制更新的具体如下：

步骤3-1：以n帧得分图最大响应位置为中心裁剪第n帧原始图像，获得与搜索区域具有相同大小的区域G_n，将G_n与高斯权重图相乘，得到以正确地突出显示前景区域；将这两个区域分别通过训练所用卷积网络得到对应的特征F_G、

步骤3-2：W_n的目标是减轻无关背景特征的干扰，突出目标特征，即使G_n的深层特征类似于计算如公式8：

其中，λ_v为正则化参数，通过训练获得；

步骤3-3：转换到频域得到W_n的快速解为：

步骤4中所述的干扰物感知模型的步骤如下：

步骤4-1：通过非极大值抑制来选择干扰物：

其中h为预定义的阈值，o_t为t帧目标所在区域，则干扰物为响应大于设定阈值所对应区域，d_i为干扰物所在区域；

步骤4-2：在计算实际响应时减去干扰物与目标区域的响应：

结合步骤1-4中公式2，进一步推导为：

其中干扰物感知模型的权重，∝_i每个干扰物的权重，分别为对应的图像通过网络得到的输出值，n为干扰物的总数量；

引入增量学习模式，公式进一步推导为：

其中T为目前跟踪到的帧的总数量，

有益效果

本发明提出的一种上下文相关的深度目标跟踪方法，由于采用了本发明的上下文相关的孪生网络算法的目标跟踪方法，上下文信息的引入，在一定程度上解决了目标跟踪容易出现的跟踪漂移问题，能够显著提高目标跟踪的准确性和鲁棒性，并在保证精度的同时达到实时要求。

附图说明

图1是本发明目标跟踪方法流程图；

图2本发明所采用的卷积网络结构图；

图3本发明实际结果图。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

如图1所示为流程图，本发明提出的目标跟踪方法首先需要训练网络，得到卷积网络参数以及目标外形更新以及背景抑制更新的正则化参数，然后开始跟踪，在跟踪时先根据上一帧结果计算出目标外形更新以及背景抑制更新对应的仿射矩阵，然后按照流程图所示进行。

本发明提供的一种基于上下文相关的深度目标跟踪方法，包括以下步骤，主要分为训练部分(步骤1)和跟踪部分(步骤2-4)：

步骤1：在Siamfc网络结构基础上，通过正则化引入上下文相关信息，搭建孪生网络结构，使用不同目标正负样本对来训练该网络，使网络能够区分目标与背景信息；

步骤2：跟踪时，对于初始帧图像，裁剪初始帧中待跟踪目标区域，通过步骤1训练所得卷积网络部分，进行卷积运算，得到待跟踪目标的特征图谱，再通过上下文相关信息更新部分的目标外形更新部分得到相应特征图谱；

步骤3：在第n帧，将该帧图像首先通过crop层进行裁剪，即以上一帧目标位置为中心裁剪为255*255的搜索区域样本，然后通过步骤1训练所得卷积网络及上下文相关信息更新部分的背景抑制更新得到对应特征图谱；

步骤4：计算步骤3所得第n帧图像中不同尺寸样本的特征图谱与步骤2所得初始目标特征图谱的响应值，在此基础上增加干扰物感知模型，减少误差累积造成的跟踪结果漂移，最终得到第n帧最大响应位置即为该帧目标位置。

进一步地，步骤1中使用不同目标图像正负样本对来训练孪生网络的步骤如下：

步骤1-1：正负样本对按公式1所示方式获得：

u是图像像素点的位置，R为半径，c是目标中心，k为网络步长。即在图片尺寸范围内，将超过目标距离R的视为负样本，不大于目标距离R的视为正样本；

步骤1-2：网络结构为siamese网络，同时输入n及n+1帧图像，第n帧图像大小为127*127，n+1帧为255*255大小的搜索区域(以第n帧目标的中心为中心，当超出原图大小时用平均RGB值填充)，为了避免训练期间调整图像大小，每帧的原始和候选图都离线提取；

步骤1-3：将第n帧图像输入网络，进行卷积运算，再通过目标外形更新部分得到对应的特征图；

步骤1-4：将n+1帧图像输入网络，进行卷积运算，再通过背景抑制更新部分得到对应的特征图，然后与步骤1-3所得计算相似度：

得到标量值得分图，即响应值；

步骤1-5：定义损失函数

采用判别性方法，在正负样本对上训练网络，采用如公式3所示逻辑损失：

l(y,v)＝log(1+exp(-yv)) (3)

其中v是单个样本候选对的实际分数，y∈{+1,-1}是对应的标签值。训练时采用更大的数据样本对，进而得分图损失定义为所有损失的均值：

其中y[u]为网络前向传播所得分数图D中每个位置u的标签，y[u]∈{+1,-1}。v[u]为网络前向传播针对每个搜索区域计算所得响应值；

步骤1-6：采用随机梯度下降法优化网络，来获得卷积网络的参数θ：

argmin_θL(y,f(z,o；θ)) (5)

进一步地，步骤2及步骤1-3中使用的目标外形更新的具体计算方式如下：

步骤2-1：首先以n帧得分图最大响应位置为中心裁剪第n帧原始图像，然后通过训练所用卷积网络得到对应特征F_n；

步骤2-2：为充分利用上下文信息，提出在孪生网络卷积层基础上，应用正则化思想计算仿射矩阵V，对目标外形进行更新。V通过考虑目标的时间平滑变化学习初始帧到第n帧目标的外形变化，并将这种变化应用到第n+1帧，按公式6计算：

λ_v为正则化参数，通过训练获得；

步骤2-3：转换到频域得到V_n的快速解为：

进一步地，步骤3及步骤1-4中使用的背景抑制更新的具体计算方式如下：

步骤3-1：以n帧得分图最大响应位置为中心裁剪第n帧原始图像，获得与搜索区域具有相同大小的区域G_n，将G_n与高斯权重图相乘，得到以正确地突出显示前景区域。将这两个区域分别通过训练所用卷积网络得到对应的特征F_G、

步骤3-2：W_n的目标是减轻无关背景特征的干扰，突出目标特征，即使G_n的深层特征类似于计算如公式8：

λ_w正则化参数，通过训练获得；

步骤3-3：转换到频域得到W_n的快速解为：

进一步地，步骤4中的干扰物感知模型的步骤如下：

步骤4-1：通过非极大值抑制来选择干扰物：

其中h为预定义的阈值，o_t为t帧目标所在区域，则干扰物为响应大于设定阈值所对应区域；d_i为干扰物所在区域。

步骤4-2：在计算实际响应时减去干扰物与目标区域的响应：

干扰物感知模型的权重，∝_i每个干扰物的权重，对应的图像通过网络得到的输出值，

结合步骤1-4中公式2，进一步推导为：

引入增量学习模式，公式进一步推导为：

这里T为目前跟踪到的帧的总数量，n为干扰物的总数量。采用增量学习模式使得网络能够不断学习跟踪过程中目标变化带来的新属性，使得跟踪算法更加鲁棒。

本发明提供一种基于上下文相关的深度目标跟踪方法。引用孪生网络结构将跟踪问题转化为学习一种相似性度量的方法，考虑到跟踪目标运动的时空连续性，提出利用上下文信息对目标外形和背景区域进行变化估计，并利用非极大值抑制和增量学习策略有效减弱背景噪声对目标的干扰。采用深度学习方法，可自动提取目标有效特征并实现端对端在线更新，大幅提升目标跟踪准确性。上下文信息的引入，在一定程度上解决了目标跟踪容易出现的跟踪漂移问题，提升了目标跟踪的准确性与鲁棒性。

为了定量评价不同目标跟踪方法的性能，选择发表在CVPR2013上的评测数据集OTB2013，该数据集包含50个跟踪序列，11个属性因素：光照变化、尺度变化、遮挡、形变、运动模糊、快速运动、平面内旋转、平面外旋转、超出视野、背景相似、低分辨率。如图3给出跟踪器在数据集所有视频序列上的一次通过的评估(OPE)评估条件下的精度和准确率比较结果，精确度图定义为跟踪器所得目标位置与实际标签之间的平均欧氏距离。成功率图是另一个评估标准，它衡量的是跟踪器边界框与标签边界框两者的重叠率。

图3中Ada_siam为本发明所提上下文相关的深度目标跟踪算法，通过定量比较可看出，本发明所提方法在跟踪精度与准确率上均表现优异，本发明Ada_siam算法在精度和准确率上均优于同样采用孪生网络的siamfc算法，证明了上下文信息与增量学习引入孪生网络可优化跟踪效果。

Claims (5)

1.一种上下文相关的深度目标跟踪方法，其特征在于步骤如下：

步骤1：在Siamfc网络结构基础上，通过正则化引入上下文相关信息，搭建孪生网络结构，使用不同目标正负样本对来训练该网络，使网络能够区分目标与背景信息；

步骤2：跟踪时，对于初始帧图像，裁剪初始帧中待跟踪目标区域，通过步骤1训练所得卷积网络部分，进行卷积运算，得到待跟踪目标的特征图谱，再通过上下文相关信息更新部分的目标外形更新部分得到相应特征图谱；

步骤3：在第n帧，将该帧图像首先通过crop层进行裁剪，即以上一帧目标位置为中心裁剪为255*255的搜索区域样本，然后通过步骤1训练所得卷积网络及上下文相关信息更新部分的背景抑制更新得到对应特征图谱；

步骤4：计算步骤3所得第n帧图像中不同尺寸样本的特征图谱与步骤2所得初始目标特征图谱的响应值，在响应值的结果上增加干扰物感知模型，减少误差累积造成的跟踪结果漂移，最终得到第n帧最大响应位置即为该帧目标位置。

2.根据权利要求1所述的一种上下文相关的深度目标跟踪方法，其特征在于所述的步骤1具体如下：

步骤1-1：正负样本对按公式1所示方式获得：

其中，u是图像像素点的位置，R为半径，c是目标中心，k为网络步长；即在图片尺寸范围内，将超过目标距离R的视为负样本，不大于目标距离R的视为正样本；

步骤1-2：网络结构为siamese网络，同时输入n及n+1帧图像，第n帧图像大小为127*127，n+1帧为255*255大小的搜索区域，所述的第n+1帧以第n帧目标的中心为中心，当超出原图大小时用平均RGB值填充；为了避免训练期间调整图像大小，每帧的原始和候选图都离线提取；

步骤1-3：将第n帧图像输入网络，进行卷积运算，再通过目标外形更新部分得到对应的特征图f^l(O₁)；

步骤1-4：将n+1帧图像输入网络，进行卷积运算，再通过背景抑制更新部分得到对应的特征图f^l(Z_t)，然后与步骤1-3所得计算相似度：

f(z,o)＝corr(V_n*f^l(O₁),W_n*f^l(Z_t)) (2)

得到标量值得分图，即响应值；

步骤1-5：定义损失函数

采用判别性方法，在正负样本对上训练网络，采用如公式3所示逻辑损失：

l(y,v)＝log(1+exp(-yv)) (3)

其中v是单个样本候选对的实际分数，y∈{+1,-1}是对应的标签值；训练时采用更大的数据样本对，进而得分图损失定义为所有损失的均值：

其中y[u]为网络前向传播所得分数图D中每个位置u的标签，y[u]∈{+1,-1}；v[u]为网络前向传播针对每个搜索区域计算所得响应值；

步骤1-6：采用随机梯度下降法优化网络，来获得卷积网络的参数θ：

argmin_θL(y,f(z,o；θ)) (5) 。

3.根据权利要求1所述的一种上下文相关的深度目标跟踪方法，其特征在于步骤2及步骤1-3中所述的目标外形更新具体如下：

步骤2-1：首先以n帧得分图最大响应位置为中心裁剪第n帧原始图像，然后通过训练所用卷积网络得到对应特征F_n；

步骤2-2：为充分利用上下文信息，提出在孪生网络卷积层基础上，应用正则化思想计算仿射矩阵V，对目标外形进行更新；V通过考虑目标的时间平滑变化学习初始帧到第n帧目标的外形变化，并将这种变化应用到第n+1帧，按公式6计算：

其中，λ_v为正则化参数，通过训练获得；

步骤2-3：转换到频域得到V_n的快速解为：

。

4.根据权利要求1所述的一种上下文相关的深度目标跟踪方法，其特征在于步骤3及步骤1-4中所述的背景抑制更新的具体如下：

步骤3-1：以n帧得分图最大响应位置为中心裁剪第n帧原始图像，获得与搜索区域具有相同大小的区域G_n，将G_n与高斯权重图相乘，得到以正确地突出显示前景区域；将这两个区域分别通过训练所用卷积网络得到对应的特征F_G、

步骤3-2：W_n的目标是减轻无关背景特征的干扰，突出目标特征，即使G_n的深层特征类似于计算如公式8：

其中，λ_v为正则化参数，通过训练获得；

步骤3-3：转换到频域得到W_n的快速解为：

。

5.根据权利要求1所述的一种上下文相关的深度目标跟踪方法，其特征在于步骤4中所述的干扰物感知模型的步骤如下：

步骤4-1：通过非极大值抑制来选择干扰物：

其中h为预定义的阈值，o_t为t帧目标所在区域，则干扰物为响应大于设定阈值所对应区域，d_i为干扰物所在区域；

步骤4-2：在计算实际响应时减去干扰物与目标区域的响应：

结合步骤1-4中公式2，进一步推导为：

其中干扰物感知模型的权重，∝_i每个干扰物的权重，分别为对应的图像通过网络得到的输出值，n为干扰物的总数量；

引入增量学习模式，公式进一步推导为：

其中T为目前跟踪到的帧的总数量，