CN111739053B - 一种复杂场景下的在线多行人检测跟踪方法 - Google Patents

Abstract

本发明提供了一种基于检测的在线多行人跟踪算法研究，采用了基于深度学习的目标检测网络YOLOv3作为检测器，利用深度学习网络来提取行人特征和卡尔曼滤波预测行人运动位置信息，提出了基于检测置信度、表观相似度与运动相似度的联合度量方式来度量检测与跟踪之间的相关性，提出了一种自适应调整表观相似度与运动相似度权重因子的算法，最后采用KM匹配算法和IOU匹配算法实现检测行人的实时匹配。实验结果表明，本发明在复杂场景下，能够实现在线的多行人检测跟踪，并实现了较高的准确率。在线多行人检测跟踪的实际应用价值尤为突出，广泛应用于智能视频监控、自动驾驶、机器人视觉导航、人机交互等领域。

Description

一种复杂场景下的在线多行人检测跟踪方法

技术领域

本发明涉及计算机视觉中的在线行人检测和在线行人跟踪问题，特别是复杂场景下的在线行人检测和跟踪，即实时获取视频中行人的位置坐标信息及其运动轨迹。

背景技术

多目标检测和跟踪作为计算机视觉中的一项关键技术，越来越受到人们的广泛关注，其中多行人检测跟踪的实际应用价值尤为突出，广泛应用于智能视频监控、自动驾驶、机器人视觉导航、人机交互等领域。

目标跟踪算法则主要分类单目标跟踪和多目标跟踪，相比于多目标跟踪算法，视觉单目标跟踪算法研究更为广泛和成熟，比较典型的有Mean Shift算法，卡尔曼滤波算法，粒子滤波算法，TLD算法，KCF算法等。而多目标算法目前仍处在探究阶段，并没有一个较好的解决方案，主流的研究均是在基于检测的跟踪框架上进行优化改进的。多目标算法主要分为在线多目标跟踪和离线多目标跟踪，在线多目标跟踪是由图像序列一步步处理得到视频中目标的运动轨迹，如MHT，POI，DeepSort等。而离线多目标跟踪则是提前获取所有视频帧的目标信息，然后经过计算分析得到不同目标的最终轨迹。目前多目标跟踪算法的研究主要集中在表观模型，运动模型，交互模型，排斥模型的设计以及针对遮挡问题的处理上。

发明内容

本发明的目的是实现在复杂环境下的多行人检测跟踪，可以在线实时获取视频中行人的运动信息，从而便于对城市的管理规划提供帮助。本发明针对在线多目标跟踪算法的实时性需求，采用速度和和精度都较高的YOLOv3目标检测网络，并将YOLOv3的多类别回归问题改为行人框预测的回归问题，并结合多个公开数据集构建大型的行人训练数据集。提高YOLOv3了对行人检测能力。基于YOLOv3检测出的行人后，采用在Re-id上训练的浅层深度学习网络提取行人的表观特征，以及采用卡尔曼滤波进行行人运动的预测，最后结合表观相似度和运动相似度来联合度量行人轨迹与行人检测之间的亲和度，通过KM匹配算法实现检测的行人与已有轨迹的一个关联，进而更新轨迹信息，得到每个行人在新的一帧中的相应位置。

YOLO系列算法的核心思想是将一幅原始图像分成n*n个网格，每个网格负责预测中心点落在该网格中的目标。因此在网络结构中抽取不同层之间的特征图进行融合得到三种不同尺寸的特征图，三种特征图中张量在原始图像上具有不同尺度的感受野，分别适合检测不同尺度的行人。通过卷积神经网络后得到三种尺寸的特征图谱，在每个尺度的特征图上都会进行目标的位置预测，其中19*19的特征图谱用来检测尺寸较大的行人，38*38的特征图谱用来检测中等尺寸的行人，而76*76的特征图谱则用来检测尺寸较小的行人。从而使得该网络模型在保持速度优势的同时，也能很好的对不同尺寸的目标进行精确的位置预测。

首先通过Darknet-53基础卷积神经网络提取图的特征图谱集合，Darknet-53结合了Inception网络结构和Resnet网络结构，采用1*1降维后通过3*3提取特征并升维，同时引入了残差网络结构来解决网络层数的加深而引起梯度弥散的问题，然后由得到的特征图谱的每个张量来负责每一个栅格内的行人边框的回归任务，每个张量分别负责3个初始化边界框的偏移量回归计算，并针对3个不同的尺度的特征图像进行边界框回归。

基于逐帧检测的数据关联是在线多目标跟踪算法的关键步骤，比较流行的做法有多假设跟踪(MHT)和联合概率数据关联滤波器(JPDAF)。在JPDAF中，一个单一的状态假设是通过加权个体测量的关联概率产生的。在MHT中，所有可能的假设都被跟踪，但为了计算的可操作性，必须采用剪枝方案。因此本发明提出了一种新的多行人跟踪框架，引入了基于神经网络提取的外观特征和基于预测得到的运动特征联合关联的方式来解决多目标跟踪中的帧内行人的相异性和帧间行人的相似性两个问题，在跟踪过程中，考虑到短期遮挡、长期遮挡以及目标丢失等因素，通过构建四种轨迹状态以及三种亲和度度量方式来实现行人的有效跟踪。

本发明针对跟踪行人过程中行人误检、目标丢失、遮挡以及新目标的出现等因素，将已经跟踪的轨迹分为五种状态：初始态，跟踪态，短期丢失态，长期丢失态，终止态。

初始态：当检测到的行人未能与已有轨迹进行匹配时，则将该行人视为新出现的行人。针对新出现的行人，需要为其初始化一条新的轨迹，但考虑到误检的情况，不会立即对该轨迹进行实时跟踪，即处于初始态的轨迹是假性存在的轨迹，并不是真实可靠的行人跟踪轨迹。通过设置轨迹初始态能够大量减少误检造成的短轨迹的出现，一定程度上提高的跟踪精度。

跟踪态：当处于初始态的轨迹在连续三帧中都有检测到的行人与之匹配，我们就将其状态转化为跟踪态，确立该轨迹的真实性，表明该行人正处于跟踪状态，处于跟踪态轨迹在与检测行人进行关联时，应该实时更新其轨迹信息，将最近跟踪的行人状态信息保存为轨迹信息。

短期丢失态：当处于跟踪态的轨迹在连续30帧内未与检测到的行人进行匹配时将其标注为丢失态。这样做的好处是在行人被短期遮挡时，不会立马终止该轨迹，而是短暂的保留，当该目标重新出现时能够与该轨迹关联上，能够能够避免行人被短时遮挡造成的ID切换问题。

长期丢失态：当轨迹在连续30帧到120帧未与检测进行匹配时，为长期丢失态。目标在长时间被遮挡时容易出现位置突变或运动方式的改变造成的错误跟踪。为此增加长期丢失态以至于在针对这类轨迹做跟踪时采用表观特征信息作为唯一的参考因素。

终止态：当处于丢失态的的轨迹连续120帧没有跟踪到检测行人时则标注为终止态，表明该行人的跟踪已经结束。

为使本发明的上述目的、特征和优点能更加明显易懂，下文配合所附附图，作详细说明如下。

附图说明

图1为本发明一种复杂场景下的在线多行人检测跟踪方法系统框图；

图2为本发明所提的基于深度学习的行人检测网络结构图；

图3为本发明所提的复杂场景下的多行人跟踪算法结构图；

图4-a为本发明的多尺度预测示意图，图4-b为本发明改进的金字塔池化示意图，图4-c为本发明的基于预选框策略的行人坐标预测示意图；

图5为本发明的基于深度学习的表观特征提取网络结构图；

图6为本发明的多行人跟踪轨迹状态转换示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

复杂场景下的在线多行人检测跟踪方法，包括以下步骤：

(1)读取视频进行检测，将新的检测目标初始化为初始态轨迹；

(2)逐帧读取视频帧序列，根据轨迹的不同状态采用不同的关联决策求取轨迹与检测的亲和度；

(3)根据轨迹与检测之间的亲和度进行二部图匹配，实现检测与轨迹的关联匹配，并更新轨迹状态；

(4)保存轨迹信息以及实时显示；

(5)重复(2),(3),(4)步骤直至视频读取结束。

具体地，所述步骤(1)中，训练好的深度学习模型读取视频帧进行多行人检测，并将检测出的新出现的目标初始化为初始态轨迹，有新的检测出现时，不会立即为该目标创建一条新轨迹，主要是避免误检测时造成过多的短轨迹的出现，而是通过将该检测划分到初始态的轨迹中，当连续3帧有检测与初始态轨迹关联上时，则确立该轨迹的真实性，将轨迹状态转为跟踪态。

所述步骤(2)中，视频帧序列是步骤(1)中处理过的结果，视频帧序列中检测目标的轨迹有四种不同的状态，根据不同的轨迹状态采取不同的关联策略。关联策略分为以下三种：

①针对初始态轨迹和跟踪态轨迹的度量方法

在跟踪初始态轨迹或者跟踪态轨迹时其实就是关联连续帧之间的行人。考虑到连续帧之间同一行人的外观和运动不会发生较大的变化，因此通过计算轨迹的最近一帧的目标位置与检测目标的位置之间的IOU值以及轨迹的表观特征以及目标的表观特征之间的相似度来联合度量轨迹与行人之间的亲和度。亲和度ω_1计算公式为：

ω＝α_iω_iou+α_aω_apperance

其中α_i为位置信息的度量权重，α_a为表观信息的度量权重。在本发明中的取值均为0.5，代表着位置信息与表观特征信息具有相同的度量权重。ω_iou为轨迹与检测行人之间位置信息的相似性度量值，ω_apperance为轨迹与检测行人之间的表观信息相似性度量。

位置信息度量因子ω_iou通过计算轨迹中最近一帧图像中行人的边界框信息bbox_t与当前帧的检测行人边界框信息bbox_d之间的IOU得到，计算表达式为：

bbox_t是轨迹中最近一帧图像中行人的边界框信息，bbox_d是当前帧中检测行人的边界框信息。

表观信息度量因子ω_apperance则是由当前帧的检测行人表观特征信息App_d与轨迹中最近60帧中行人表观特征信息

的最大余弦距离值来度量。计算表达式为：

②针对短期丢失态轨迹的度量方法

当目标在短时间内丢失跟踪时，基于位置关系的度量方法就显得不太合理，因为在短时间丢失之后行人重新出现时会产生位置上的偏差。因此引入运动模型来预测该轨迹在当前帧可能出现的位置信息则较为精确。表观特征信息同样能够很好处理行人之间的相互遮挡与位置交错等问题，因此针对短期丢失态的轨迹与检测行人之间的亲和度ω₂计算公式为：

ω₂＝α_mω_motion+α_aω_apperance

其中α_m为运动信息的度量权重，α_a为表观特征信息的度量权重。ω_motion为运动模型预测的位置信息与当前帧的检测行人之间的相似性度量。ω_apperance为轨迹与检测行人之间的表观信息相似性度量。

运动信息度量因子ω_motion是由卡尔曼滤波根据轨迹信息预测当前帧的位置信息和当前帧检测得到的行人位置信息之间的马氏距离求得，计算表达式为：

ω_motion＝(bbox_d－bbox′_t)^TS^-1(bbox_d－bbox′_t)

bbox_d是当前帧的行人检测信息，bbox′_t是由卡尔曼滤波器通过对轨迹进行预测更新得到的位置信息，S是卡尔曼滤波器在当前时刻的跟踪位置与检测的行人位置之间的协方差矩阵。运动模型和外观模型对整体的贡献权值会直接影响最终的跟踪结果，因此本发明引入了一种自适应调解权重的方法，通过计算轨迹在当前帧内候选目标之间的标准差来确立权值α_m和α_a的大小。位置和外观的贡献是值得研究的，本发明重新考虑位置与外观的平衡，提出了利用空间边缘进行自适应加权的方法。跟踪策略中的α_m和α_a是通过帧间的外观变化自适应确定的，通过余弦距离来度量外观之间的相似度。

α_m＝1-α_a

表示当前帧中检测到的第i个行人与第j个行人之间的余弦距离，μ是当前帧中所有检测行人之间的余弦距离的均值。

③针对长期丢失态轨迹的度量方法

对于长期丢失跟踪的目标而言，重新出现在视频当中时，位置信息可能发生较大变化同时运动模型的预测也会产生较大的偏移误差，只有表观信息能够提供较为可靠的判别依据，所以针对长期丢失态的轨迹本发明仅采用表观特征的相似度来度量检测行人与轨迹之间的亲和度ω₃，其计算公式为：

ω₃＝ω_app

其中ω_app为轨迹与检测行人之间的表观特征相似度。

所述步骤(3)中，根据轨迹与检测之间的亲和度进行二部图匹配，实现检测与轨迹的数据关联，并更新轨迹状态，采用KM算法能够对其进行有效的求解，但轨迹与检测行人之间的数据关联并不需要考虑完全匹配，因此对KM匹配算法进行简化，具体的算法流程为：

1.为集合A中的所有元素进行初始化，设定标定值为与该元素相连的所有边的最大值，

2.按照集合A的标定值从大到小依次进行匹配，并对集合A和集合B中已匹配元素进行标记。

3.若发生匹配冲突时，则对集合A中剩余未进行匹配的元素重新设定标定值。4.重复2，3的步骤，当集合A中都完成匹配或未匹配元素的标定值小于阈值时终止匹配。

为了证明本发明的算法的有效性，我们对其进行了实验验证，其结果如表1-2所示。

表1本发明算法与其他行人检测算法性能比较

表2本发明算法与其他算法基于不同线索下的跟踪结果比较

Claims (4)

1.一种复杂场景下的在线多行人检测跟踪方法，其特征在于包括以下过程步骤：

(1)读取视频进行检测，将新的检测目标初始化为初始态轨迹；

(2)逐帧读取视频帧序列，针对初始态和跟踪态轨迹状态，采取的关联决策方法是联合目标的位置信息与表观特征来度量轨迹与检测的亲和度；针对短期丢失态轨迹状态，采取的关联决策方法是使用运动模型和表观特征来度量轨迹与检测的亲和度；针对长期丢失态轨迹状态，采取的关联决策方法是运用表观特征来度量轨迹与检测的亲和度；

(3)采用KM算法对轨迹与检测之间的亲和度进行二部图匹配，进行有效的求解，实现检测与轨迹的关联匹配，并更新轨迹状态；

(4)保存轨迹信息以及实时显示；

(5)重复(2),(3),(4)步骤直至视频读取结束。

2.如权利要求1所述的复杂场景下的在线多行人检测跟踪方法,其特征在于在步骤(1)中当有新的检测出现时，不会立即为该目标创建一条新轨迹，而是通过将该检测划分到初试态的轨迹中，当连续3帧有检测与初始态轨迹关联上时，则确立该轨迹的真实性，将轨迹状态转为跟踪态。

3.如权利要求1所述的复杂场景下的在线多行人检测跟踪方法,其特征在于在步骤(2)中根据轨迹的不同状态采用不同的关联决策，由此确定轨迹与检测的亲和度；针对初始态和跟踪态轨迹，计算轨迹的最近一帧的目标位置与检测目标的位置之间的IOU值以及轨迹的表观特征以及目标的表观特征之间的相似度来联合度量轨迹与行人之间的亲和度，位置信息的度量权重α_i以及表观信息的度量权重α_a的值均设置为0.5；针对短期丢失态轨迹，引入运动模型来预测该轨迹在当前帧出现的位置信息，运用的是一种自适应调解权重的方法，通过计算轨迹在当前帧内候选目标之间的标准差来确立运动信息的度量权值α_m；针对长期丢失态轨迹，以表观信息作为轨迹的判别依据，表观信息度量因子ω_apperance由当前帧的检测行人表观特征信息App_d与轨迹中最近60帧中行人表观特征信息

的最大余弦距离值来度量；基于神经网络提取的外观特征和基于预测得到的运动特征联合关联的方式来解决多目标跟踪中的帧内行人的相异性和帧间行人的相似性两个问题，在跟踪过程中，考虑到短期遮挡、长期遮挡以及目标丢失因素，通过构建四种轨迹状态以及三种亲和度度量方式来实现行人的有效跟踪。

4.如权利要求1所述的复杂场景下的在线多行人检测跟踪方法,其特征在于在步骤(3)中根据轨迹与检测之间的亲和度进行二部图匹配，实现检测与轨迹的数据关联并更新轨迹状态，轨迹与检测行人之间的数据关联并不需要考虑完全匹配，因此采用贪心算法逐帧求取最佳轨迹。

Images