CN114387310A - 一种基于深度学习的城市主干道路车流量统计方法 - Google Patents

Abstract

本发明公开一种基于深度学习的城市主干道路车流量统计方法，包括以下步骤：在城市主干道监控场景中设置虚拟计数线；使用改进的YOLOv5网络模型提取所述城市主干道监控场景中的车辆，获取车辆位置信息；基于所述车辆位置信息，跟踪所述车辆，获取所述车辆的运动轨迹；基于所述运动轨迹与所述虚拟计数线的相交情况，判断所述车辆是否通过所述虚拟计数线，是，则统计所述所述车辆的数目。本发明改进了YOLOv5网络，加快了模型的推理速度，增强了被遮挡车辆检测效果，能够准确地得到实时车流量数据，并且便于传输联网、成本低、易安装，后期维护方便。

Description

一种基于深度学习的城市主干道路车流量统计方法

技术领域

本发明涉及智能交通技术领域，特别是涉及一种基于深度学习的城市主干道路车流量统计方法。

背景技术

交通拥堵降低了车辆平均行驶速度，造成道路通行能力下降，增加了交通延误时间，同时导致燃油消耗和车辆排污量的增加，对环境也造成了一定程度的污染；此外交通拥堵也会增加交通事故的发生概率，而交通事故又会使道路拥堵情况恶化，由此陷入恶性循环。交通拥堵是众多因素共同作用的结果，包括汽车数量的迅速增加导致道路车流量日益增大；路网结构设计不合理，无法发挥路网的整体功能和各级道路的分流能力；城市道路管理手段落后，目前道路管理仍然依靠交通灯和警察疏导，而当前交叉路口的信号灯大多数都是定时控制，无法按照实际车流量进行合理疏导。目前交通管理部门主要采取如下几种办法来解决交通拥堵问题：道路基础设施建设升级，如拓宽道路，新建道路等；对道路上行驶的车辆数量进行限制，如尾号限行、限制异地车辆进入城区、开发智能交通系统等。

智能交通系统有效解决了城市交通的诸多问题。车流量检测技术就是智能交通系统中的一个重要研究方向。通过在互联网上查看各个道路准确的车流量数据，可以让司机提前规划好出行路线，让交警及时地疏导堵塞线路，将城市道路的利用率提高，并有效地缓解道路堵塞情况。

传统的车流量统计方法主要有感应线圈法、波频检测法等。感应线圈法工作原理是，当车辆行驶至线圈装置区域时，装置收到来自外界的压力，并将压力转化为电流，发出脉冲信号，接收器接收到脉冲信息后可判知已有车辆驶过。波频检测法是将检测装置安装于交通标志杆上，车辆驶入检测范围时，会改变原先电磁波的传播时间或者传输频率，从而能够检测出车辆。而且两种方法不仅操作复杂，维护也十分困难，更无法对车辆进行精确分类，具有很大的局限性。

随着人工智能的快速发展，基于深度学习的车流量统计方法可以准确的得到实时车流量数据，便于传输联网、成本低、易安装，后期维护方便，因此得到广泛的关注。

发明内容

本发明的目的是提供一种基于深度学习的城市主干道路车流量统计方法，以解决上述现有技术存在的问题，利用深度学习对车流量进行统计，能够准确地得到实时车流量数据，并且便于传输联网、成本低、易安装，后期维护方便。

为实现上述目的，本发明提供了如下方案：本发明提供一种基于深度学习的城市主干道路车流量统计方法，包括以下步骤：

在城市主干道监控场景中设置虚拟计数线；

构造改进的YOLOv5检测网络提取所述城市主干道监控场景中的车辆，获取车辆位置信息，其中，所述改进的YOLOv5检测网络包括GhostBottleneckCSP模块，并使用CIOU_LOSS损失函数；

基于所述车辆位置信息，跟踪所述车辆，获取所述车辆的运动轨迹；

基于所述运动轨迹与所述虚拟计数线的相交情况，判断所述车辆是否通过所述虚拟计数线，是，则统计所述所述车辆的数目。

可选地，所述虚拟计数线在不同方向道路设置两条，横跨不同方向的所有车道，并且不同方向车道的所述虚拟计数线之间保持平行。

可选地，在提取所述城市主干道监控场景中的车辆的过程中，所述改进的YOLOv5检测模型中包括输入端、主干网络、Neck网络、输出端，所述输入端用于输入车辆位置信息图像并进行预处理获得特征图，所述主干网络应用于对所述特征图进行特征提取获得有效特征层；所述Neck网络用于对所述主干网络提取到的所述有效特征层进行特征融合，得到用于预测的特征图；所述输出端用于对所述用于预测的特征图进行检测并输出检测结果。

可选地，提取所述城市主干道监控场景中的运动车辆，获得车辆位置信息包括：

利用所述改进YOLOv5检测模型中的骨干提取网络提取每帧所述城市主干道监控场景中的车辆目标图像特征，预测图像车辆目标检测框位置信息和置信度，进而获得车辆位置信息。

可选地，所述主干网络包括Focus单元、CBL单元、GhostBottleneckCSP单元和SPP单元，所述Focus单元用于对所述特征图进行切片操作；所述CBL单元用于提取切片后的所述特征图的特征信息；所述GhostBottleneckCSP单元用于消除冗余特征，获得更轻量的模型；所述SPP单元采用池化窗口对所述特征图做池化操作，再融合形成池化特征。

可选地，预测图像车辆目标检测框位置信息和置信度过程中采用损失函数，其中，所述损失函数由置信度损失L_conf、类别损失L_cla以及改进的边界框坐标损失L_CIoU构成。

可选地，基于所述车辆位置信息，跟踪所述运动车辆包括：

DeepSort利用卡尔曼滤波器预测车辆检测框在下一帧的状态，使用匈牙利算法将预测到的状态与下一帧的检测结果进行匹配，进行卡尔曼滤波更新，实现跟踪所述运动车辆。

可选地，基于所述车辆位置信息，跟踪所述车辆，获取所述车辆的运动轨迹包括：

基于所述车辆位置信息，跟踪所述车辆，预测下一帧中所述车辆的轨迹，其中，所述轨迹包括若干条，对若干条所述轨迹进行检测，保留有效轨迹，对所述有效轨迹进行级联匹配，获取所述车辆的运动轨迹。

本发明公开了以下技术效果：

本发明提供的一种深度学习的城市主干道路车流量统计方法，采用改进的YOLOv5检测器进行车辆检测，提高了城市主干道路场景中被遮挡车辆检测效果，在检测的基础上，对检测结果和预测轨迹进行匹配，防止多目标跟踪中一个目标覆盖多个目标或多个检测器检测一个目标的情况，从而形成车辆运动的轨迹，提高了车辆跟踪的精确性，进而能够准确地得到实时车流量数据，并且便于传输联网、成本低、易安装，后期维护方便。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于深度学习的城市主干道路车流量统计方法总体流程图；

图2为本发明实施例改进的YOLOv5网络模型示意图；

图3为本发明实施例中GhostBottleneckCSP模块示意图；

图4为本发明实施例中车流量统计效果示意图；

图5为本发明实施例中城市主干道路车流量统计方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供一种基于深度学习的城市主干道路车流量统计方法，如图1和图5所示。本实施例的软件环境为Ubuntu18.04系统，显卡为TIAN V，python为3.7，torch版本为1.7.0。选取测试视频帧率为25FPS，尺寸为1280×720像素的城市主干道路车辆视频进行测试。本实施例中，使用的检测对象为UA-DETRAC和BrnoCompSpeed公开数据集，UA-DETRAC数据集是在中国北京和天津城市主干道路拍摄的视频，BrnoCompSpeed数据集是由布尔诺理工大学提供的城市主干道路交通监控摄像头记录的视频。

具体包括以下步骤：

步骤1、在视频所展示的城市主干道路监控场景中设置虚拟计数线，不同方向道路设置两条虚拟计数线，横跨不同方向的所有车道，并且不同方向道路虚拟拌线之间保持平行。

步骤2、对视频中的车辆目标进行检测。

利用改进的YOLOv5检测模型作为车辆检测工具，改进的YOLOv5检测网络包括输入端、主干网络、Neck网络、输出端，如图2-3所示。检测过程包括：

步骤2.1：输入端包括Mosaic数据增强单元、自适应锚框计算单元以及自适应图片缩放单元，所述Mosaic数据增强单元通过随机缩放、随机裁剪、随机排布的方式进行拼接4张新的训练图像并对图像进行Mosaic数据增强；所述自适应锚框计算单元用于调整初始锚框的大小和比例；所述自适应图片缩放单元将原始图片统一缩放到一个标准尺寸并获得特征图。

输入端通过自适应图片缩放将原始监控视频图像统一缩放到一个标准尺寸为608×608×3，其中608×608表示图片的宽度和高度像素数量，3表示通道数量，即图像的RGB值。

步骤2.2：所述主干网络包括Focus单元、CBL单元、设计的GhostBottleneckCSP单元以及SPP单元，所述Focus单元用于对特征图进行切片操作；所述CBL单元用于提取切片后特征图的特征信息；设计的GhostBottleneckCSP单元用于消除冗余特征，获得更轻量的模型；所述SPP单元采用池化窗口对特征图做池化操作，再融合行成池化特征。

主干网络中输入图片经过Focus模块后，大小变为304×304×64；然后，经过一个混合卷积模块，图像大小为152×152×128；

将输入后的图像通过通过混合卷积模块，以及GhostBottleneckCSP1_1模块，图像大小不变，仍为152×152×128；接着经过一个混合卷积模块，图像大小为76×76×256；输入GhostBottleneckCSP1_3模块，图像大小不变，仍为为76×76×256，输出记作B1；

将B1输入一个混合卷积模块，图像大小为38×38×512；

输入GhostBottleneckCSP1_3模块，图像大小不变，为38×38×512，输出记作B2；

将B2输入一个混合卷积模块，图像大小为19×19×1024；

最后接一个SPP结构模块，图像大小不变，为19×19×1024，输出记作B3。

步骤2.3：所述Neck网络包括FPN单元和PAN单元，所述FPN单元是自顶向下的，将高层的特征信息通过上采样的方式进行传递融合，得到进行预测的特征图；所述PAN单元通过下采样不断缩小特征图尺寸并与FPN单元中逐渐增大的特征图进行特征融合相加并输出4个检测头；FPN单元和PAN单元相结合加强了网络特征融合的能力。

主干网络的输出B1、B2和B3即为Neck网络的输入：

首先，来自B3的输入大小为19×19×1024，经过CSP2_1模块后，图像大小不变，为19×19×1024；

然后，接着一个混合卷积模块，图像大小变为19×19×512，将这里的输出记为N1；

紧接着一个上采样模块，图像大小变为38×38×512。上采样的输出和骨干网络的输出B2，大小同样为38×38×512，作为注意力特征融合模块的两个输入，然后，大小就变为38×38×1024；

然后，接着一个CSP2_1模块，大小变为38×38×512；

紧接着是混合卷积模块，图像大小变为38×38×256，将这里的输出记为N2；

后面接一个上采样模块，大小变为76×76×256。此时上采样的输出和来自骨干网络的输出B1大小同样为76×76×256，作为注意力特征融合模块的两个输入，然后，大小就变76×76×512；

然后接着一个CSP2_1模块，大小变为76×76×256，将这里的输出记为D1；

紧接着是混合卷积模块，大小变为38×38×256。卷积的输出和前述输出N2，大小同样为38×38×256，作为注意力特征融合模块的两个输入，然后，大小就变为38×38×512；

然后接着一个CSP2_1模块，大小变为38×38×256，将这里的输出记为D2；

紧接着是混合卷积模块，大小变为19×19×256。卷积的输出和前述输出N1，大小同样为19×19×256，作为注意力特征融合模块的两个输入，然后，大小就变为19×19×512；

然后接着一个CSP2_1模块，大小变为19×19×256，将这里的输出记为D3。

步骤2.2中所述的GhostBottleneckCSP1_X模块的输入首先通过一个卷积单元，后面连接X个GhostBottleneck单元组件，得到一条路径的临时输出；同时，原始输入会通过另一个卷积单元到另一条路径，与第一条路径的临时输出进行拼接，接着的是批归一化处理、激活函数和卷积单元，之后输出，作为紧接的卷积单元的输入。

步骤2.3所述的CSP2_X模块的输入首先通过一个混合卷积单元，后面连接2X个残差单元组件，然后接着一个卷积单元，得到一条路径的临时输出；同时，原始输入会通过另一个卷积单元到另一条路径，与第一条路径的临时输出进行拼接，接着的是批归一化处理、激活函数和卷积单元，之后输出，作为紧接的卷积单元的输入；

所述的残差单元的输入首先通过两个串联的混合卷积单元，得到临时输出；接着，将初始输入和临时输出进行向量的相加，作为输出。

所述的混合卷积单元依次由一个卷积层、BN层以及Leaky relu函数构成。

步骤2.4：所述输出端主要用于最终检测部分，这些不同缩放尺度的检测头被用来检测不同大小的目标车辆，它在特征图上生成预测框，并生成带有类概率、置信度信息。

采用CIOU_LOSS损失函数替换原有的GIOU_LOSS作为改进YOLOv5算法的预测框回归损失函数，CIOU_LOSS更加关注边界框宽高比的尺度信息，增加了检测框尺度以及长和宽的loss，使得预测框更符合真实框。

输出端接收Neck网络的三个不同维度的特征层输出D1(76×76×256)、D2(38×38×256)、D3(19×19×256)，然后利用损失函数预测图像中车辆目标的位置信息和置信度，获取车辆位置信息。

YOLOv5损失函数由置信度损失(L_conf)、类别损失(L_cla)以及边界框坐标损失(L_CIoU)三部分构成，公式如下：

L_total＝L_conf+L_cla+L_CIoU。

YOLO核心思想是利用整张图作为网络的输入，直接在输出层回归边界框的位置及其所属的类别，图像推理速度最快达0.007s，即每秒可处理140帧，满足视频图像实时检测需求，同时结构更为轻巧，YOLOv5s版本的权重数据文件仅为YOLOv4的1/9，大小为14MB。在车流量统计方法中，YOLOv5检测模型作为车辆目标的检测器，提取所述城市主干道监控场景中的车辆，获取车辆位置信息。

步骤3、对视频中的车辆目标进行跟踪，获取车辆的运动轨迹。

根据步骤2所获取的车辆检测框位置信息，DeepSort利用卡尔曼滤波器预测车辆检测框在下一帧的状态，使用匈牙利算法将预测到的状态与下一帧的检测结果进行匹配，接着卡尔曼滤波更新，进而实现车辆的追踪。预测下一帧中车辆的轨迹，其中，轨迹包括若干条，对若干条所述轨迹进行检测，保留有效轨迹，对有效轨迹进行级联匹配，获取所述车辆的运动轨迹。DeepSort是在Sort目标追踪基础上进行改进的，相对于Sort算法减少了45％的跟踪目标所赋标记值的切换，并且结合了深度外观信息，对遮挡目标的追踪效果有显著提升。

具体包括以下步骤：

步骤3.1、选择DeepSort跟踪器作为跟踪阶段的跟踪器，DeepSort跟踪器带有深度关联特征，它的跟踪效果基于现有的准确的检测结果。以步骤2的检测结果检测框位置信息(bounding box)、置信度(confidence)、图像特征(feature)为输入。confidence主要用于检测框的筛选，bounding box与feature(ReID)用于与跟踪器的匹配计算。预测模块利用卡尔曼滤波器，更新模块部分利用IOU进行匈牙利算法的匹配。

步骤3.2、为了防止多目标跟踪中一个目标覆盖多个目标或多个检测器检测一个目标的情况，DeepSort跟踪器使用八维状态空间

作为车辆目标的直接观测模型，其中(u,v)为车辆目标检测框中心位置坐标，r为车辆目标检测框纵横比，h为车辆目标检测框的高度。(u，v，r，h)是车辆目标状态的观测变量，

为预测信息，即算法使用线性观测模型和匀速模型的标准卡尔曼滤波器进行对下一帧目标轨迹的预测。使用匈牙利算法将预测到的状态与下一帧的检测结果进行匹配，接着卡尔曼滤波更新，实现跟踪所述运动车辆。

步骤3.3、对于某条车辆跟踪轨迹，连续图像中存在车辆检测框与其匹配成功，该轨迹才生效，否则丢弃。对于匹配过程而言，检测框与车辆轨迹之间的匹配可以看作二分图的匹配问题，此处使用匈牙利算法解决。定义W(i,j)代表当前第i个轨迹与第j个检测框之间的匹配权值，W(i,j)具体定义如式(1)所示：

其中，d_m(i,j)为卡尔曼滤波对车辆轨迹的预测结果与检测结果之间的马氏距离，如式(2)所示。d_c(i,j)衡量两个车辆检测目标的外观相似度，等于两个车辆检测目标所对应特征向量之间的余弦距离，如式(3)所示。第j个检测框对应的变量t(j)衡量该检测框与轨迹的匹配权值中上述两个度量标准所占比重。

d_m(i,j)中的y_i表示第i个车辆轨迹对车辆目标的预测位置，其中的d_j表示第j个车辆检测框的位置，S_i表示当前车辆检测框与第i个车辆轨迹对车辆目标的预测位置之间的协方差矩阵。d_c(i,j)中的r_j代表第j个车辆检测框对应的特征向量，满足||r_j||＝1，其中的

是外观特征向量库，存储每条确定车辆轨迹对应的最近100帧特征向量。

对于个别车辆而言，在跟踪过程中偶尔会出现一些检测失败的情形，为保证后续能够继续跟踪该目标，DeepSort算法在某条轨迹确认生效后，对其进行级联匹配，即对出现更频繁的车辆目标赋予优先匹配权，进而形成车辆运动的轨迹。

对于每个轨迹k，记录上次成功检测的帧图片与当前检测帧图片之间的帧数为a_k，该计数器在卡尔曼滤波器预测期间递增，当轨迹与测量关联时置0。当a_k超过阈值A_max视为车辆轨迹已离开场景并删除。当检测器中出现无法与现有轨迹相匹配的检测就先生成一条暂定轨迹，如果该轨迹在相邻帧中无法重新匹配则删除。

本发明涉及的跟踪功能本质上来讲就是对当前车辆检测结果与车辆跟踪轨迹进行匹配。

步骤4、根据运动轨迹与预先设定的虚拟计数线相交情况，判断得出车辆是否通过虚拟计数线，从而统计车辆数目。

本发明的车流量统计方法尤其是对车流量密集度较高的场景下检测效果更加优异，检测效果如图4所示。

在部分测试视频中，改进算法车流量统计对比结果如表1所示：

表1

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种基于深度学习的城市主干道路车流量统计方法，其特征在于，包括以下步骤：

在城市主干道监控场景中设置虚拟计数线；

构造改进的YOLOv5检测网络提取所述城市主干道监控场景中的车辆，获取车辆位置信息，其中，所述改进的YOLOv5检测网络包括GhostBottleneckCSP模块，并使用CIOU_LOSS损失函数；

基于所述车辆位置信息，跟踪所述车辆，获取所述车辆的运动轨迹；

基于所述运动轨迹与所述虚拟计数线的相交情况，判断所述车辆是否通过所述虚拟计数线，是，则统计所述所述车辆的数目。

2.根据权利要求1所述的基于深度学习的城市主干道路车流量统计方法，其特征在于，所述虚拟计数线在不同方向道路设置两条，横跨不同方向的所有车道，并且不同方向车道的所述虚拟计数线之间保持平行。

3.根据权利要求1所述的基于深度学习的城市主干道路车流量统计方法，其特征在于，在提取所述城市主干道监控场景中的车辆的过程中，所述改进的YOLOv5检测模型中包括输入端、主干网络、Neck网络、输出端，所述输入端用于输入车辆位置信息图像并进行预处理获得特征图，所述主干网络应用于对所述特征图进行特征提取获得有效特征层；所述Neck网络用于对所述主干网络提取到的所述有效特征层进行特征融合，得到用于预测的特征图；所述输出端用于对所述用于预测的特征图进行检测并输出检测结果。

4.根据权利要求3所述的基于深度学习的城市主干道路车流量统计方法，其特征在于，提取所述城市主干道监控场景中的运动车辆，获得车辆位置信息包括：

利用所述改进YOLOv5检测模型中的骨干提取网络提取每帧所述城市主干道监控场景中的车辆目标图像特征，预测图像车辆目标检测框位置信息和置信度，进而获得车辆位置信息。

5.根据权利要求3所述的基于深度学习的城市主干道路车流量统计方法，其特征在于，所述主干网络包括Focus单元、CBL单元、GhostBottleneckCSP单元和SPP单元，所述Focus单元用于对所述特征图进行切片操作；所述CBL单元用于提取切片后的所述特征图的特征信息；所述GhostBottleneckCSP单元用于消除冗余特征，获得更轻量的模型；所述SPP单元采用池化窗口对所述特征图做池化操作，再融合形成池化特征。

6.根据权利要求1所述的基于深度学习的城市主干道路车流量统计方法，其特征在于，预测图像车辆目标检测框位置信息和置信度过程中采用损失函数，其中，所述损失函数由置信度损失L_conf、类别损失L_cla以及改进的边界框坐标损失L_CIoU构成。

7.根据权利要求1所述的基于深度学习的城市主干道路车流量统计方法，其特征在于，基于所述车辆位置信息，跟踪所述运动车辆包括：

DeepSort利用卡尔曼滤波器预测车辆检测框在下一帧的状态，使用匈牙利算法将预测到的状态与下一帧的检测结果进行匹配，进行卡尔曼滤波更新，实现跟踪所述运动车辆。

8.根据权利要求6所述的基于深度学习的城市主干道路车流量统计方法，其特征在于，基于所述车辆位置信息，跟踪所述车辆，获取所述车辆的运动轨迹包括：

基于所述车辆位置信息，跟踪所述车辆，预测下一帧中所述车辆的轨迹，其中，所述轨迹包括若干条，对若干条所述轨迹进行检测，保留有效轨迹，对所述有效轨迹进行级联匹配，获取所述车辆的运动轨迹。

Images