CN111476817A - 一种基于yolov3的多目标行人检测跟踪方法 - Google Patents

Abstract

一种基于yolov3的多目标行人检测跟踪方法，所述方法包括以下步骤：步骤1：改进的yolov3目标检测子网络，目标检测是基于检测跟踪的基本操作；步骤2：跟踪器的建立，将当前帧的目标与跟踪目标进行数据关联，需要先建立跟踪器；步骤3：数据关联，将当前帧的目标与跟踪目标进行数据关联，一般融合目标的运动信息以及目标的特征信息。本发明针对多目标跟踪中存在的行人小目标易漏检的问题，改进了YOLOv3的网络结构并应用于多目标行人跟踪。

Description

一种基于yolov3的多目标行人检测跟踪方法

技术领域

本发明涉及在线行人多目标跟踪的研究，具体是针对多目标跟踪中存在的行人小目标易漏检的问题，改进了YOLOv3的网络结构，使得模型对行人的检测精度有所提高从而改善了整个跟踪模型的性能。检测部分采用改进的YOLOv3算法检测目标，跟踪部分使用卡尔曼滤波算法预测目标运动轨迹，数据关联部分使用匈牙利算法对候选目标进行匹配关联。

背景技术

视频在线多目标跟踪作为智能视觉领域的一个重要方向，有着极大的场景应用价值。例如在视频监控的人流分析，智能城市交通、智能视觉导航等新兴人工智能应用场景发挥着极高作用。近几年随着人工智能的兴起，产生了基于深度学习的表观特征提取的改进模型以及深度学习网络侧重于关联匹配的各类模型下衍生的跟踪算法。

最近，越来越多的跟踪算法已开始采用各种形式深度神经网络。深层神经网络(DNN)可以从输入帧中提取复杂和抽象的特征，并且可以学习图像中目标的丰富表示形式。卷积神经网络(CNN)目前是空间图像特征提取的最新技术，并用于诸如图像分类或物体检测之类的任务中。该系列的一般分为四个步骤：一是检测阶段，即用目标检测网络提取出目标位置框；二是特征提取阶段，采取一种或多种特征提取算法分析检测提取外观信息以及运动信息用以预测每个跟踪目标的下一个位置；三是计算相似度阶段：将特征和运动预测用于计算前后两帧检测中目标的相似度距离分；四是匹配阶段：将当前帧中检测到的目标与已跟踪到的目标进行距离度量，得分小于一定阈值则关联成功，属于同一目标，为其分配相同ID。

发明内容

为了克服现有技术的不足，本发明提供一种基于yolov3的行人检测跟踪方法，针对多目标跟踪中存在的行人小目标易漏检的问题，改进了YOLOv3的网络结构并应用于多目标行人跟踪。

本发明解决其技术问题所采用的技术方案是：

一种基于yolov3的多目标行人检测跟踪方法，所述方法包括以下步骤：

步骤1：改进的yolov3目标检测子网络，目标检测是基于检测跟踪的基本操作，过程如下：；

步骤1.1：多尺度特征融合

主干网络是DarkNet-53网络，引入多尺度特征融合，再继续增加尺度，增加尺度数目可根据实际需求调整，选择输出为5种不同尺度的特征图，除第顶层特征图除外，其余特征图均融合相邻下层特征图的特征信息；

步骤1.2：k-means聚类产生锚点框

检测网络沿用K-means聚类的方法确定初始锚点框的位置，K-means聚类算法随机选取K个目标点，具体对象是训练集的边界框；

首先将真实的目标框中心坐标下采样到对应的特征图上；然后，如果该目标框中心落在对应的特征图网格中，然后在对应的特征图网格中使用K-means计算出的锚点框与下采样后的真实目标框进行IOU值计算；其次，取与目标框的最大IOU值对应的锚点来负责该对象的检测，记为正样本；而其他锚点与目标框的IOU值大于0.5的将被忽略，不计入负样本；IOU值小于0.5的锚点框则被记为负样本；

步骤2：跟踪器的建立，将当前帧的目标与跟踪目标进行数据关联，需要先建立跟踪器，过程如下：

步骤2.1：对运动模型进行估计

采取卡尔曼滤波作为运动估计模型，根据估计下一帧中目标的位置与检测网络检测到的目标位置进行数据关联；

步骤3：数据关联，将当前帧的目标与跟踪目标进行数据关联，一般融合目标的运动信息以及目标的特征信息，过程如下：

步骤3.1：目标间距离的度量方法

将特征和运动预测用于计算前后两帧检测中目标的相似度距离分，

计算相似度阶段：

其中描述运动关联程度使用了马氏距离作为距离函数：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i) (1)

其中，d_j表示第j个检测目标框的位置，y_i表示第i个跟踪器在当前帧的预测目标框位置，S_i表示检测目标框位置与平均跟踪目标框位置之间的协方差矩阵，距离函数d⁽¹⁾用来衡量检测框与跟踪器预测框之间的匹配程度；

其中描述图像特征之间的距离函数d⁽²⁾，采用余弦距离，为检测目标的特征与跟踪到目标特征之间的距离；

最终度量结合了两种度量方式的线性加权，公式如下：

D_i，j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j) (2)

同时虑了目标运动信息的关联以及目标外观特征信息的关联；

步骤3.2：多目标间的匹配方法

将步骤3.1中的目标间距离设立一定的阈值作为匹配的度量准则，最终同时考虑了目标运动信息的关联以及目标图像特征信息的关联，匹配问题可等效为二分图的最优匹配问题，二分图的最优匹配问题采用匈牙利匹配方法解决。

本发明的有益效果主要表现在：本发明针对多目标跟踪中存在的行人小目标易漏检的问题，改进了YOLOv3的网络结构并应用于多目标行人跟踪。

附图说明

图1为本发明的多尺度特征融合示意图。

图2为本发明改进的目标检测网络结构图。

图3为二分图最优匹配示意图。

图4为本发明的跟踪模型流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种基于yolov3的多目标行人检测跟踪方法，所述方法包括以下步骤：

步骤1：改进的yolov3目标检测子网络，目标检测是基于检测跟踪的基本操作，过程如下：

步骤1.1：多尺度特征融合

其中，主干网络是DarkNet-53网络，一般的CNN特征提取网络采取层级的下采样结构，往往使用单尺度特征图进行检测输出。以输入图片为416*416为例，DarkNet-53网络最后输出为3种不同尺度的特征图。然而该方法主要针对多分类大目标检测，为了使检测模型对小目标行人更加鲁棒，本发明提出在原来的基础上，引入多尺度特征融合，再继续增加尺度，详细示意如附图1。

但是由于其对在不同的场景信息中，同一类目标的尺寸大小不同可能会导致检测错误，引入多尺度融合的概念，图像浅层特征信息的语义信息少，而且经过多层卷积后部分信息丢失，影响检测结果。因此可以在原来的基础上再继续增加尺度，上采样融合下层特征图信息，将浅层信息提取出来。网络结构图如附图2。

步骤1.2：k-means聚类产生锚点框

本发明的检测网络沿用K-means聚类的方法确定初始锚点框(bbox)的位置。K-means聚类算法随机选取K个目标点，具体对象是训练集的边界框。这种方式相比手工选取锚点尺度具有一点随机性，但是在数据集足够大的情况下更贴合实际。尤其是行人整体特征长宽比范围有一定特性。

首先将真实的目标框中心坐标下采样到对应的特征图上；然后，如果该目标框中心落在对应的特征图网格中，然后在对应的特征图网格中使用K-means计算出的锚点框与下采样后的真实目标框进行IOU值计算；其次，取与目标框的最大IOU值对应的锚点来负责该对象的检测，记为正样本；而其他锚点与目标框的IOU值大于0.5的将被忽略，不计入负样本；IOU值小于0.5的锚点框则被记为负样本。

步骤2：跟踪器的建立，将当前帧的目标与跟踪目标进行数据关联，需要先建立跟踪器，过程如下：

步骤2.1：对运动模型进行估计：

本发明采取卡尔曼滤波作为运动估计模型，根据估计下一帧中目标的位置与检测网络检测到的目标位置进行数据关联。

卡尔曼滤波在解决线性问题时，有优异的表现。将其应用于行人这类多目标跟踪有很好的效果。在简单场景下，一般行人的移动速度以及轨迹较为线性。而且该方法通过递归得到解，更新前后状态无需考虑过去观测值，仅与上一帧得到估计值与当前观测值有关。

步骤3：数据关联，将当前帧的目标与跟踪目标进行数据关联，一般融合目标的运动信息以及目标的特征信息，过程如下：

步骤3.1：目标间距离的度量方法

本发明将特征和运动预测用于计算前后两帧检测中目标的相似度距离分。

计算相似度阶段：

其中描述运动关联程度使用了马氏距离作为距离函数：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i) (1)

其中，d_j表示第j个检测框的位置，y_i表示第i个跟踪到的目标在当前帧的预测位置，S_i表示检测位置与平均跟踪位置之间的协方差矩阵。衡量检测框与跟踪器预测框之间的匹配程度。

其中描述图像特征之间的距离函数d⁽²⁾，采用余弦距离。具体为检测目标的特征与跟踪到目标特征之间的距离。

最终度量结合了两种度量方式的线性加权，公式如下：

D_i，j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j) (2)

同时虑了目标运动信息的关联以及目标外观特征信息的关联。

步骤3.2：多目标间的匹配方法

将步骤3.1中的目标间距离设立一定的阈值作为匹配的度量准则，最终同时考虑了目标运动信息的关联以及目标图像特征信息的关联，匹配问题可等效为二分图的最优匹配问题，二分图的最优匹配问题采用匈牙利匹配方法解决。

步骤4：跟踪算法模型整体框架流程

以上阐述的是本发明提出一种融合多尺度特征信息的多目标行人检测跟踪算法，具体流程图为附图4。核心思想是改进检测阶段的目标子网络，用该目标检测子网络提取出目标位置框；特征提取阶段采取一种或多种特征提取算法分析检测提取外观信息以及运动信息用以预测每个跟踪目标的下一个位置；计算相似度阶段：将特征和运动预测用于计算前后两帧检测中目标的相似度距离分；四是匹配阶段：将当前帧中检测到的目标与已跟踪到的目标进行距离度量，得分小于一定阈值则关联成功，属于同一目标，为其分配相同ID。

本发明针对多目标跟踪中存在的行人小目标易漏检的问题，改进了YOLOv3的网络结构并应用于多目标行人跟踪。

Claims (1)

1.一种基于yolov3的多目标行人检测跟踪方法，其特征在于，所述方法包括以下步骤：

步骤1：改进的yolov3目标检测子网络，目标检测是基于检测跟踪的基本操作，过程如下：；

步骤1.1：多尺度特征融合

主干网络是DarkNet-53网络，引入多尺度特征融合，再继续增加尺度，增加尺度数目可根据实际需求调整，选择输出为5种不同尺度的特征图，除第顶层特征图除外，其余特征图均融合相邻下层特征图的特征信息；

步骤1.2：k-means聚类产生锚点框

检测网络沿用K-means聚类的方法确定初始锚点框的位置，K-means聚类算法随机选取K个目标点，具体对象是训练集的边界框；

首先将真实的目标框中心坐标下采样到对应的特征图上；然后，如果该目标框中心落在对应的特征图网格中，然后在对应的特征图网格中使用K-means计算出的锚点框与下采样后的真实目标框进行IOU值计算；其次，取与目标框的最大IOU值对应的锚点来负责该对象的检测，记为正样本；而其他锚点与目标框的IOU值大于0.5的将被忽略，不计入负样本；IOU值小于0.5的锚点框则被记为负样本；

步骤2：跟踪器的建立，将当前帧的目标与跟踪目标进行数据关联，需要先建立跟踪器，过程如下：

步骤2.1：对运动模型进行估计

采取卡尔曼滤波作为运动估计模型，根据估计下一帧中目标的位置与检测网络检测到的目标位置进行数据关联；

步骤3：数据关联，将当前帧的目标与跟踪目标进行数据关联，一般融合目标的运动信息以及目标的特征信息，过程如下：

步骤3.1：目标间距离的度量方法

将特征和运动预测用于计算前后两帧检测中目标的相似度距离分，计算相似度阶段：

其中描述运动关联程度使用了马氏距离作为距离函数：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i) (1)

其中，d_j表示第j个检测目标框的位置，y_i表示第i个跟踪器在当前帧的预测目标框位置，S_i表示检测目标框位置与平均跟踪目标框位置之间的协方差矩阵，距离函数d⁽¹⁾用来衡量检测框与跟踪器预测框之间的匹配程度；

其中描述图像特征之间的距离函数d⁽²⁾，采用余弦距离，为检测目标的特征与跟踪到目标特征之间的距离；

最终度量结合了两种度量方式的线性加权，公式如下：

D_i，j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j) (2)

同时虑了目标运动信息的关联以及目标外观特征信息的关联；

步骤3.2：多目标间的匹配方法

将步骤3.1中的目标间距离设立一定的阈值作为匹配的度量准则，最终同时考虑了目标运动信息的关联以及目标图像特征信息的关联，匹配问题可等效为二分图的最优匹配问题，二分图的最优匹配问题采用匈牙利匹配方法解决。

Images