CN110647836A - 一种鲁棒的基于深度学习的单目标跟踪方法 - Google Patents

Abstract

本发明提出了一种鲁棒的基于深度学习的单目标跟踪方法，本发明以SiamRPN技术为基础，针对目标在运动过程中受光照、遮挡、姿态变换发生的特征变化，设计模板更新机制。在应用中具体步骤如下：(1)在第一帧确定目标，在下一帧利用基础跟踪网络跟踪目标，输出目标所在位置与当前区域分类为目标的置信度；(2)根据输出的置信度更新目标经过主干网络输出的特征；(3)利用更新后的模板在下一帧跟踪目标，重复以上步骤。针对现有技术在目标发生变化时难以稳定跟踪的问题，本发明提出通过设置阈值决定是否启动模板更新，并利用置信度更新模板。既能够根据目标的变化及时更新特征，又避免了由于更新模板带来的错误跟踪，具有较好的鲁棒性与实时性。

Description

一种鲁棒的基于深度学习的单目标跟踪方法

技术领域

本发明涉及孪生神经网络Siamese Network与区域候选神经网络RegionProposalNetwork等网络模型，属于深度学习与视频图像跟踪领域。具体涉及一种鲁棒的基于深度学习的单目标跟踪方法，主要针对视频图像的跟踪过程中目标在运动过程中受光照、遮挡、姿态变换发生的特征变化，算法难以长时间稳定跟踪目标的问题。

背景技术

目标跟踪是计算机视觉研究中的重要组成部分，在监控安防，无人驾驶，精确制导等领域存在巨大的应用需求。这些应用场景可分为民用领域与军用领域，两类领域分别具有自身的特点。在民用领域，由于目标出现时刻、时长存在不确定性，视频监控系统需要长时间、高稳定性地执行工作；在军事领域，高速机动目标的飞行速度可以超过5马赫，要求跟踪系统在复杂的战场环境中保证实时性与准确性。正是由于存在上述情况，且人工识别并标记待跟踪目标难以满足实际应用的对跟踪系统的要求，研究替代人工方法的目标跟踪算法具有重要意义。

目标跟踪是指在每一帧图像中提取感兴趣的目标，并对标定的目标输出分类与边界框位置。本发明针对单目标跟踪问题。按照特征提取方式的不同，目标跟踪算法可分为两类：(1)基于人工设计或提取的特征，代表算法为CSK(circulant structure kernel)目标跟踪算法，基于HOG(Histogram of Oriented Gradient)特征目标跟踪算法，光流法(Optical Flow)，背景减法，帧间差分法等。(2)基于深度神经网络提取的抽象特征，代表算法为YOLO(You Only Look Once)算法，基于孪生神经网络的跟踪算法等。基于深度学习的方法与人工设计或提取特征的目标跟踪算法相比具有以下优势：(1)深度学习特有的深度神经网络结构，能够提取更高语义层次的特征，对目标运动过程中发生的变化具有更强的鲁棒性，而光流法(Optical Flow)易受环境光照、目标尺度变化影响；(2)对目标运动状态要求较低，帧间差分法在目标运动速度较低时效果不好；(3)在相机固定与不固定的场景均适用，背景减法仅适用于相机固定的场景。综合上述分析，本发明采用基于深度学习的目标跟踪算法作为研究基础。

YOLO(You Only Look Once)系列算法虽然可以用于视频流目标跟踪，但具有如下缺点：(1)只能对训练过的目标进行检测，且目标本身形态若与训练数据相比发生较大变化，则难以识别目标；(2)该算法将视频分成多张图片，然后对每张图片进行独立的目标检测，没有充分利用物体运动状态在时间、空间上的连续性，造成计算资源的浪费与信息利用不充分。综上，基于深度学习的目标跟踪算法主要面临如下挑战：(1)对种类不确定的目标进行跟踪；(2)保证跟踪的实时性；(3)在目标运动过程中发生较大变化的情况下稳定跟踪。

发明内容

为了克服上述现有技术的不足，本方法提供了一种基于孪生神经网络SiameseNetwork与区域候选神经网络Region Proposal Network的跟踪算法，并设计了根据置信度进行模板更新的机制。提升了算法对于目标变化的鲁棒性，为网络添加连结的方式没有增加参数量，保证了实时性。

本发明提出的一种鲁棒的基于深度学习的单目标跟踪方法，包括以下步骤：

步骤(1)：预处理数据

首先对目标模板与待搜索区域进行处理，一方面将数据处理成易于被网络接收的形状，另一方面对可能在图像中引入的噪声进行处理。因此需要设计合适的取值对模板区域进行裁剪，并根据图像长宽对选择区域进行调整，对超出画面的部分重新设定像素值。接下来根据模板范围选取搜索目标区域，并利用相似的方式对候选区域进行处理。

a)模板图像裁剪与尺寸重设

对视频初始帧(t＝0)利用矩形框选定目标区域，初始框坐标信息为(x,y,w,h)。其中x为初始框左上角顶点横坐标，y为初始框左上角顶点纵坐标，w为初始框宽度，h为初始框高度。

根据公式(1)、公式(2)计算出目标初始位置所在区域中心点横、纵坐标cx、cy。

通过公式(3)求出裁剪模板区域的边长l1。由于设定的初始矩形框不一定是正方形，直接将该区域形状重设为正方形会使图像变形，利用上述公式将模板区域取为正方形，可以在保留目标信息的同时防止图像变形对跟踪带来的影响。公式中k为可变参数，k过大会降低模板图像信噪比，k过小会使图像信息缺失，应根据实际情况选取合适值。

以(cx,cy)为中心，l1为边长对视频图像进行裁剪，得到模板图像。

scale1＝l1/l1′ 公式(4)

将模板图像大小重设为l1′，l1′为处理模板的固定形状大小。scale1为图像经过缩放处理的尺度变化。

b)模板图像边界处理

当裁剪图象区域超出原视频图像范围时，超出图像的部分会由黑色边界替代。黑色像素的RGB值为(0,0,0)为了防止这部分黑色区域为目标模板引入影响较大的噪声，将这部分的像素值进行重新设定。

ori_xmin1＝(max(0,new_xmin1)-new_xmin1)*scale1 公式(5)

ori_ymin1＝(max(0,new_ymin1)-new_ymin1)*scale1 公式(6)

ori_xmax1＝(min(pic_w,new_xmax1)-new_xmin1)*scale1 公式(7)

ori_ymax1＝(min(pic_h,new_ymax1)-new_ymin1)*scale1 公式(8)

公式(5)—(8)计算得出尺度为l1′的模板图像上原图(即不超过原视频图像坐标范围)边界的坐标，以(ori_xmin1,ori_ymin1),(ori_xmax1,ori_ymax1)为矩形区域左上、右下顶点坐标。其中new_xmin1＝cx-l1′/2,new_xmin1＝cx-l1′/2,pic_w为原视频图片宽度，pic_h为原视频图片高度。

对该区域求像素值求平均，记为avg_val1，将超出原图黑色区域像素值替换为avg_val1。由于avg_val1是是对原图像素值求取平均值，防止经过网络后产生较为奇异的值，影响目标跟踪。

c)目标搜索区域处理

在第t帧图像中确定了目标边界框，通过公式(1)—(2)计算得出目标中心位置坐标(cx,cy)。神经网络处理待搜索区域的数据高、宽均为l2’。

第t+1帧目标跟踪开始时，以第t帧确定的目标中心位置为中心，l2为确定目标搜索区域边长，并将图片进行尺度缩放,尺度记为scale2。若上一帧为视频初始帧(t＝0)，则目标搜索区域中心为(cx,cy)，且有下式成立：

l2＝l1*l2’/l1’ 公式(9)

scale2＝l2/l2’ 公式(10)

按照与b)中相同的方式计算原视频图片范围，(ori_xmin2,ori_ymin2),(ori_xmax2,ori_ymax2)为原图待搜索矩形区域左上、右下顶点坐标：

ori_xmin2＝(max(0,new_xmin2)-new_xmin2)*scale2 公式(11)

ori_ymin2＝(max(0,new_ymin2)-new_ymin2)*scale2 公式(12)

ori_xmax2＝(min(pic_w,new_xmax2)-new_xmin2)*scale2 公式(13)

ori_ymax2＝(min(pic_h,new_ymax2)-new_ymin2)*scale2 公式(14)

其中new_xmin2＝cx–l2’/2,new_xmin2＝cx–l2’/2。对该范围的黑色区域用原视频图片像素的平均值avg_val2替代。

步骤(2)：数据输入神经网络

将重新裁剪并缩放的模板图片(记为Image_t)、待搜索目标区域图片(记为Image_s)送入神经网络1(记为N1)，得到特征图Feature_t，Feature_s：

Feature_t＝N1(Image_t) 公式(15)

Feature_s＝N1(Image_s) 公式(16)

将Feature_t与Feature_s送入神经网络中的置信度网络N2_cls与位置回归网络N2_loc，分别得到置信度输出output_cls与位置偏移量输出output_loc：

output_cls＝N2_cls(Feature_t,Feature_s) 公式(17)

output_loc＝N2_loc(Feature_t,Feature_s) 公式(18)

对output_cls取置信度最大值处坐标，得到目标所在anchor位置，并将置信度最大值记为cls_max。在output_loc中取出对应位置的偏移量，求出在输入目标搜索区域图上目标矩形框左上、右下顶点坐标(_xmin,_ymin)、(_xmax,_ymax)。

再按照以下公式将目标框还原到视频原图像上：

xmin＝_xmin*scale2+cx–l2/2 公式(19)

ymin＝_ymin*scale2+cy–l2/2 公式(20)

xmax＝_xmax*scale2+cx–l2/2 公式(21)

ymax＝_ymax*scale2+cy–l2/2 公式(22)

将输出的(xmin,ymin)、(xmax,ymax)作为矩形框的左上、右下顶点输出到原视频图像上，得到第t+1帧图像置信度最高的目标位置。

对输出的cls_max进行判断：若小于阈值g_val，则认为第t+1帧图像中不存在目标；若大于等于阈值g_val，则认为第t+1帧图像中存在目标。

在第t+2、t+3、t+4帧图像中操作与上述步骤相同。

步骤(3)：更新目标模板

每5帧更新一次模板，当判断第t+5帧图像存在目标时，将得到的目标区域Image_t’送入神经网络1与第t帧的模板Feature_t’进行融合，作为在第t+6至t+10帧使用的模板，具体操作如下：

Feature_t’＝N1(Image_t’) 公式(23)

Feature_tnew＝alpha*Feature_t+(1-alpha)*Feature_t 公式(24)

其中公式(24)是将Feature_t与Feature_t’融合得到新模板Feature_tnew，其中alpha等于a*(cls_max)^2，a的值越大，代表模板保留原有信息越多。

步骤(4)：持续跟踪目标

若当前帧输出的cls_max小于阈值g_val，则在下一帧将搜索范围扩大至全图，并有下式成立：

cx_＝pic_w/2 公式(25)

cy_＝pic_h/2 公式(26)

目标新位置所在区域中心点横、纵坐标cx_、cy_，新模板区域的边长l1_，在第下一帧中公式(1)—(3)中cx,cy,l1的值，用式(25)—(27)中cx_,cy_,l1_值取代，然后重复上述跟踪过程。

若当前帧输出的cls_max大于阈值g_val，则有下式成立：

cx_＝(xmin+xmax)/2 公式(28)

cy_＝(ymin+ymax)/2 公式(29)

目标新位置所在区域中心点横、纵坐标cx_、cy_，新模板区域的边长l1_，在下一帧中将式(1)—(3)中cx,cy,l1的值，用式(28)—(30)中cx_,cy_,l1_值取代，然后重复上述跟踪过程。

进一步地，将阈值g_val设置为0.7，低于该阈值认为，防止在图像中不存在目标时利用背景信息更新模板。

进一步地，将a设置为1，平衡了保留先前模板信息与更新当前信息。

本发明与现有技术相比具有如下优点：

(1)本发明的算法在测试集数据平均帧数超过50FPS/s，具有较高的实时性。可在TX2、FPGA或GPU等硬件平台上实时处理视频数据。

(2)本发明相对于区域候选网络法，通过在训练中加入部分遮挡样本提升了网络对目标部分遮挡的鲁棒性。

(3)本发明为目标置信度设置阈值，高于该阈值进行模板更新，防止在图像中不存在目标时利用背景信息更新模板。为模板更新设置合适的更新参数，为神经网络提供结合目标当前与历史状态的特征，提升跟踪的稳定性。

附图说明

图1是本发明一种鲁棒的基于深度学习的单目标跟踪方法的整体框架图；

图2为RGB图像常规情况下跟踪效果图，其中，图2(a)为初始目标，图2(b)为跟踪效果；

图3为目标被部分遮挡情况下跟踪效果图，其中，图3(a)为初始目标，图3(b)为跟踪效果；

图4为目标在运动过程中发生姿态变化的跟踪效果图，其中，图4(a)为初始目标，图4(b)为跟踪效果。

具体实施方式

下面结合程序流程图对本发明的具体实施方式做详细说明。

本发明一种鲁棒的基于深度学习的单目标跟踪方法，本实例所处理的数据为视频流数据，按照上述步骤对视频图像进行处理，将送入神经网络的模板图片处理成127*127，将送入神经网络的待搜索目标图片处理成287*287。为了验证本发明的效果，在ILSVRC2015-VID数据集测试机上进行验证：

步骤(1)：读取视频流数据，在视频流数据的第一帧图像中使用矩形框手动选取待跟踪的目标。根据公式(1)—(4)重新裁剪并缩放送入神经网络的模板图像。根据公式(5)—(8)对模板图像可能超出原图像范围的部分进行处理。读取视频流数据的下一帧图像，根据第一帧中目标矩形框位置确定搜索范围，根据公式(9)—(14)处理输入神经网络的待搜索图像；

步骤(2)：将第一帧中模板图像数据与当前帧中待搜索区域图像数据送入神经网络，取置信度最大处候选框区域的位置偏移量，根据公式(19)—(22)将得到的目标框还原到原视频图像上；

步骤(3)：将置信度阈值g_val设置为0.7，若当前目标最大置信度低于该值，则认为当前视频图像中不存在目标，保留先前模板特征值，若当前目标最大置信度高于该值，则根据公式(24)更新模板特征值；

步骤(4)：若当前目标最大置信度低于g_val，则认为当前视频图像中不存在目标，启动全图搜索，若当前目标最大置信度高于该值，根据输出目标的区域确定下一帧图像中的目标搜索范围，根据公式(25)—(30)处理待搜索区域的图像，再重复步骤(2)—(4)。

图2为RGB图像常规情况下跟踪效果图，其中，图2(a)为初始目标，图2(b)为跟踪效果。

图3为目标被部分遮挡情况下跟踪效果图，其中，图3(a)为初始目标，图3(b)为跟踪效果。

图4为目标在运动过程中发生姿态变化的跟踪效果图，其中，图4(a)为初始目标，图4(b)为跟踪效果。

Claims (3)

1.一种鲁棒的基于深度学习的单目标跟踪方法，其特征在于，包括以下步骤：

步骤(1)：预处理数据

首先对目标模板与待搜索区域进行处理，一方面将数据处理成易于被网络接收的形状，另一方面对可能在图像中引入的噪声进行处理，因此需要设计合适的取值对模板区域进行裁剪，并根据图像长宽对选择区域进行调整，对超出画面的部分重新设定像素值，接下来根据模板范围选取搜索目标区域，并利用相似的方式对候选区域进行处理；

a)模板图像裁剪与尺寸重设

对视频初始帧(t＝0)利用矩形框选定目标区域，初始框坐标信息为(x，y，w，h)，其中x为初始框左上角顶点横坐标，y为初始框左上角顶点纵坐标，w为初始框宽度，h为初始框高度，

根据公式(1)、公式(2)计算出目标初始位置所在区域中心点横、纵坐标cx、cy，

通过公式(3)求出裁剪模板区域的边长l1，由于设定的初始矩形框不一定是正方形，直接将该区域形状重设为正方形会使图像变形，利用上述公式将模板区域取为正方形，可以在保留目标信息的同时防止图像变形对跟踪带来的影响，公式中k为可变参数，k过大会降低模板图像信噪比，k过小会使图像信息缺失，应根据实际情况选取合适值；

以(ex，cy)为中心，l1为边长对视频图像进行裁剪，得到模板图像，

scale1＝l1/l1′ 公式(4)

将模板图像大小重设为l1′，l1′为处理模板的固定形状大小，scalel为图像经过缩放处理的尺度变化；

b)模板图像边界处理

当裁剪图象区域超出原视频图像范围时，超出图像的部分会由黑色边界替代，黑色像素的RGB值为(0，0，0)为了防止这部分黑色区域为目标模板引入影响较大的噪声，将这部分的像素值进行重新设定；

ori_xmin1＝(max(0，new_xmin1)-new_xmin1)*scale1 公式(5)

ori_ymin1＝(max(0，new_ymin1)-new_ymin1)*scale1 公式(6)

ori_xmax1＝(min(pic_w，new_xmax1)-new_xmin1)*scale1 公式(7)

ori_ymax1＝(min(pic_h，new_ymax1)-new_ymin1)*scale1 公式(8)

公式(5)-(8)计算得出尺度为l1′的模板图像上原图(即不超过原视频图像坐标范围)边界的坐标，以(ori_xmin1，ori_ymin1)，(ori_xmax1，ori_ymax1)为矩形区域左上、右下顶点坐标，其中new_xmin1＝cx-l1′/2，new_xmin1＝cx-l1′/2，pic_w为原视频图片宽度，pic_h为原视频图片高度；

对该区域求像素值求平均，记为avg_val1，将超出原图黑色区域像素值替换为avg_val1，由于avg_val1是对原图像素值求取平均值，防止经过网络后产生较为奇异的值，影响目标跟踪；

c)目标搜索区域处理

在第t帧图像中确定了目标边界框，通过公式(1)-(2)计算得出目标中心位置坐标(cx，cy)，神经网络处理待搜索区域的数据高、宽均为12’；

第t+1帧目标跟踪开始时，以第t帧确定的目标中心位置为中心，l2为确定目标搜索区域边长，并将图片进行尺度缩放，尺度记为scale2。若上一帧为视频初始帧(t＝0)，则目标搜索区域中心为(cx，cy)，且有下式成立：

l2＝l1*l2’/l1’ 公式(9)

scale2＝l2/l2’ 公式(10)

按照与b)中相同的方式计算原视频图片范围，(ori_xmin2，ori_ymin2)，(ori_xmax2，ori_ymax2)为原图待搜索矩形区域左上、右下顶点坐标：

ori_xmin2＝(max(0，new_xmin2)-new_xmin2)*scale2 公式(11)

ori_ymin2＝(max(0，new_ymin2)-new_ymin2)*scale2 公式(12)

ori_xmax2＝(min(pic_w，new_xmax2)-new_xmin2)*scale2 公式(13)

ori_ymax2＝(min(pic_h，new_ymax2)-new_ymin2)*scale2 公式(14)

其中new_xmin2＝cx-l2’/2，new_xmin2＝cx-l2’/2，对该范围的黑色区域用原视频图片像素的平均值avg_val2替代；

步骤(2)：数据输入神经网络

将重新裁剪并缩放的模板图片(记为Image_t)、待搜索目标区域图片(记为Image_s)送入神经网络1(记为N1)，得到特征图Feature_t、Feature_s：

Feature_t＝N1(Image_t) 公式(15)

Feature_s＝N1(Image_s) 公式(16)

将Feature_t与Feature_s送入神经网络中的置信度网络N2_cls与位置回归网络N2_loc，分别得到置信度输出output_cls与位置偏移量输出output_loc：

output_cls＝N2_cls(Feature_t，Feature_s) 公式(17)

output_loc＝N2_loc(Feature_t，Feature_s) 公式(18)

对output_cls取置信度最大值处坐标，得到目标所在anchor位置，并将置信度最大值记为cls_max，在output_loc中取出对应位置的偏移量，求出在输入目标搜索区域图上目标矩形框左上、右下顶点坐标(_xmin，_ymin)、(_xmax，_ymax)；

再按照以下公式将目标框还原到视频原图像上：

xmin＝_xmin*scale2+cx-l2/2 公式(19)

ymin＝_ymin*scale2+cy-l2/2 公式(20)

xmax＝_xmax*scale2+cx-l2/2 公式(21)

ymax＝_ymax*scale2+cy-l2/2 公式(22)

将输出的(xmin，ymin)、(xmax，ymax)作为矩形框的左上、右下顶点输出到原视频图像上，得到第t+1帧图像置信度最高的目标位置；

对输出的cls_max进行判断：若小于阈值g_val，则认为第t+1帧图像中不存在目标；若大于等于阈值g_val，则认为第t+1帧图像中存在目标；

在第t+2、t+3、t+4帧图像中操作与上述步骤相同；

步骤(3)：更新目标模板

每5帧更新一次模板，当判断第t+5帧图像存在目标时，将得到的目标区域Image_t’送入神经网络1与第t帧的模板Feature_t’进行融合，作为在第t+6至t+10帧使用的模板，具体操作如下：

Feature_t’＝N1(Image_t’) 公式(23)

Feature_tnew＝alpha*Feature_t+(1-alpha)*Feature_t 公式(24)

其中公式(24)是将Feature_t与Feature_t’融合得到新模板Feature_thew，其中alpha等于a*(cls_max)^2，a的值越大，代表模板保留原有信息越多；

步骤(4)：持续跟踪目标

若当前帧输出的cls_max小于阈值g_val，则在下一帧将搜索范围扩大至全图，并有下式成立：

cx_＝pic_w/2 公式(25)

cy_＝pic_h/2 公式(26)

目标新位置所在区域中心点横、纵坐标cx_、cy_，新模板区域的边长l1_，在第下一帧中公式(1)-(3)中cx，cy，l1的值，用式(25)-(27)中cx_，cy_，l1_值取代，然后重复上述跟踪过程；

若当前帧输出的cls_max大于阈值g_val，则有下式成立：

cx_＝(xmin+xmax)/2 公式(28)

cy_＝(ymin+ymax)/2 公式(29)

目标新位置所在区域中心点横、纵坐标cx_、cy_，新模板区域的边长l1_，在下一帧中将式(1)-(3)中cx，cy，l1的值，用式(28)-(30)中cx_，cy_，l1_值取代，然后重复上述跟踪过程。

2.根据权利要求1所述的一种鲁棒的基于深度学习的单目标跟踪方法，其特征在于，将阈值g_val设置为0.7，低于该阈值认为，防止在图像中不存在目标时利用背景信息更新模板。

3.根据权利要求1所述的一种鲁棒的基于深度学习的单目标跟踪方法，其特征在于，将a设置为1，平衡了保留先前模板信息与更新当前信息。

Images