CN112907978A - 基于监控视频的交通流量监控方法 - Google Patents

Abstract

本发明涉及一种基于监控视频的交通流量监控方法，其交通流量监控方法包括如下步骤：步骤1、提供用于对交通道路视频监控的视频监控设备，并对所述视频监控设备进行坐标标定；通过视频监控设备获取监控视频，对获取的每一帧监控视频，通过目标检测方法对所有车道的车辆进行识别与，在每个识别的车辆上添加检测框与编号，然后根据步骤1得到的标定矩阵对识别的车辆进行坐标映射；步骤3、在所需的时间段内，利用坐标映射后的车辆坐标计算每个车辆的运动信息，并根据所有车辆的运动信息统计相应车道的流量信息与排队信息。本发明利用监控视频能有效实现交通流量与排队的统计，与现有监控兼容，安全可靠。

Description

基于监控视频的交通流量监控方法

技术领域

本发明涉及一种监控方法，尤其是一种基于监控视频的交通流量监控方法。

背景技术

在交通卡口，部分路段在某些时间点可能会出现比较拥堵的现象，造成该现象的原因可能是交通事故、车辆违停、早晚高峰，或是信号灯时长(在某一时间段)不合理等。因此，在交通监控中，需要对路面的拥堵或缓行(排队)状况进行监测，遇到拥堵状况需要上报，或是自适应调整信号灯时长，以达到交通疏导的作用与目的。

基于上述需求，在交通监控中，需要测试所有车道各自的排队长度，也就是说，需要先获取每条车道各自的每辆车的车速、前后车的车距，以此来判断该车道是否进入了拥堵状态，再根据具体的车速判断是否报警或者调整信号灯时长。

在具体监控时，可以在地面上的某个路段铺设线圈，通过线圈统计的方式来确认两个线圈中间的车辆是否进入了排队状态，所述监控方式缺陷显而易见：成本高，维护困难。

另外一个较为成熟的监控方案即通过毫米波雷达测速测距，也是现在比较常用的方法。但因为雷达测速测距是通过多普勒效应测速，对低速和静止车辆识别精度不高，容易混在噪声之中，统计队列过程中可能会有漏检导致队列长度的计算出现问题。

此外，现有的交通监控中，视频主要用于监控，无法实现交通流量的统计和排队统计等监控，难以满足目前的交通监控需要。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于监控视频的交通流量监控方法，其利用监控视频能有效实现交通流量与排队的统计，与现有监控兼容，安全可靠。

按照本发明提供的技术方案，所述基于监控视频的交通流量监控方法，所述交通流量监控方法包括如下步骤：

步骤1、提供用于对交通道路视频监控的视频监控设备，并对所述视频监控设备进行坐标标定；

步骤2、通过视频监控设备获取监控视频，对获取的每一帧监控视频，通过目标检测方法对所有车道的车辆进行识别与，在每个识别的车辆上添加检测框与编号，然后根据步骤1得到的标定矩阵对识别的车辆进行坐标映射；

步骤3、在所需的时间段内，利用坐标映射后的车辆坐标计算每个车辆的运动信息，并根据所有车辆的运动信息统计相应车道的流量信息与排队信息。

步骤1中，视频监控设备包括监控摄像头，视频监控设备安装于道路杆上，视频监控设备的监控区域包括所在前方的停止线与排队超限范围的路段；在坐标标定时，对视频监控设备获得的视频图像的图像坐标系变换到道路坐标系，以得到透视变换矩阵。

步骤2中，采用的目标检测方法包括YOLO目标检测方法，利用YOLO目标检测方法对车辆进行识别标定时，能得到每个车辆的类型以及车辆上检测框的图像坐标，且通过SORT方法对每个车辆上的检测框进行跟踪与平滑处理。

在所需时间段内，通过帧间位移计算得到每个车辆的运动信息。

本发明的优点：通过YOLO目标检测方法对每帧视频进行车辆的识别与标定，通过SORT方法对检测框进行跟踪与平滑处理，相比雷达的监控，可以轻易地区别噪声背景(如树木、栅栏等)和静止车辆的区别，从而确认目标类型是否为静止(或缓行)车辆，在检测精度上具备优势，降低交通监控成本；通过帧间关系分析车辆速度，以及通过车道线校准车道距离，即能有效实现交通流量与排队的统计。

附图说明

图1为本发明的流程图。

图2为本发明从图像坐标系转换到道路坐标系的示意图。

图3为本发明对车辆进行识别与标定后的示意图。

图4为本发明将识别后的车辆转换到道路坐标系的示意图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

如图1所示：为了利用监控视频能有效实现交通流量与排队的统计，与现有监控兼容，本发明的交通流量监控方法包括如下步骤：

步骤1、提供用于对交通道路视频监控的视频监控设备，并对所述视频监控设备进行坐标标定；

具体地，视频监控设备包括监控摄像头，视频监控设备安装于道路杆上，视频监控设备的监控区域包括所在前方的停止线与排队超限范围的路段，监控摄像头，以及监控摄像头具体安装于道路杆上的具体情况与现有相一致，具体为本技术领域人员所熟知，此处不再赘述。在坐标标定时，对视频监控设备获得的视频图像的图像坐标系变换到道路坐标系，以得到透视变换矩阵。

在通过视频监控设备获取的监控视频中，标注道路点(实际道路段为矩形的，在视野中通常为梯形)，将四个角点分别对应直角坐标系(道路坐标系)下的矩形角点，如图2所示；通过这四组数据算出透视变换矩阵，透视变换矩阵一般为3x3矩阵，即视频图像中的其他像素点(x,y)，也可以通过该透视变换到相应的道路坐标系的点上(x’＝X/Z,y’＝Y/Z)。

根据实际场景中有精确长度的物体来标定像素对应的距离，如：道路单条虚线为4m，变换到道路坐标系下为10个像素，那么每个像素的单位距离为0.4m；视频监控设备一旦固定，标定完成之后短期内就不需要进行再次标定了，以下工作都在标定完成的基础下进行。

步骤2、通过视频监控设备获取监控视频，对获取的每一帧监控视频，通过目标检测方法对所有车道的车辆进行识别与，在每个识别的车辆上添加检测框与编号，然后根据步骤1得到的标定矩阵对识别的车辆进行坐标映射；

具体地，采用的目标检测方法包括YOLO目标检测方法，利用YOLO目标检测方法对车辆进行识别标定时，能得到每个车辆的类型以及车辆上检测框的图像坐标，且通过SORT方法对每个车辆上的检测框进行跟踪与平滑处理。

具体实施时，YOLO目标检测方法(You Only Look Once)为一种快速的经典目标检测算法，适合部署在运算能力不强的移动设备上。SORT(Simple Online and Real-timeTracking)方法一种经典的多目标跟踪算法，对于目标检测的多个结果，可以达到实时跟踪的效果。通过SORT算法可以将偶尔丢失的几帧检测框补上，同时方式过大检测框跳变。通过YOLO目标检测方法以及SORT方法能实现多目标跟踪，具体地，所述多目标跟踪具体是指在整个车辆出现和走出视野的过程中，单一某个目标被赋予始终同一个编号(无论中间过程中是否出现偶尔几帧的漏检，或是短时间的遮挡)，用于跟踪车辆运动的轨迹，记录属性等。

对于YOLO目标检测方法，为现有已知的目标检测方法，当用于车辆的检测时，也需要采用对YOLO目标检测方法进行适应性的训练等，具体训练过程与现有YOLO目标检测方法对目标检测相一致。下面对YOLO目标检测方法对视频监控中车辆的检测等进行说明。具体地：

1)、数据集准备：一般在目标道路或者类似场景拍摄视频或照片，视频按若干帧截取一次，尽可能包含所有分类类别，如数量占大部分的汽车类型外，专门截取/拍摄含有行人、二轮车、三轮车、公交车以及货车的真实场景图片。

2)、数据集标注：将准备好的数据集按照9：1分为训练集、验证集，用来做标注，标注过程为先用现成的预训练目标检测模型输出难度比较低的检测目标结果，再通过人工方式检验和调整，并标注漏检的目标。训练集：参与训练的数据集。验证集：不参与训练，但是是在训练过程中用于评估当前模型精度的数据集。测试集：不参与训练，也不用标注，通常是实际道路视频，用于评估一个模型训练到一定程度之后的实际使用效果。

3)、mAP：目标检测平均精度，综合体现检测精度(检测出来的目标有没有分类正确，框对目标)和召回率(是不是所有目标都被检测出来)的一个指标。

4)、前向计算：经过神经网络从图片输入到结果输出，和模型推理一致。

5)、损失函数：评估模型推理和标注差距的一个评估函数，训练就是把这个函数值尽可能的减小，本发明实施例中，损失函数采用和原版yolov4-tiny内的损失函数。

6)、梯度反向传播，更新权重：为了减小损失函数，让损失函数对各个权重求偏岛，通过梯度下降法更新每个去权值。

7)、网络每遍历一次(epoch)训练集，就计算一次mAP，直到mAP连续保持在阈值以上并稳定若干个epoch。(通常来讲如果数据集采集得比较好清晰的话，可以设定在0.9，但是实际训练中不一定可以达到，一般收敛(mAP基本不随epoch变动)就认为训练完成，具体训练的过程与现有的训练相一致，为本技术领域人员所熟知，此处不再赘述。

8)、模型权重分析、剪枝：训练完成的模型可以通过一些工具分析其权重分布，因为网络模型是通过经验设计的，里面势必有一些卷积通道权重非常低，模型冗余，所以在此通过一定的剪枝策略将其通道数减小，可以在不怎么影响精度的情况下，大大减小模型的计算量。

9)、模型调整：在剪枝后，模型变化，需要重新训练。重新训练后得到新的神经网络模型。

10)、量化：在尽可能小的精度损失前提下，参考典型图片，减小YOLO训练过程权重数字位数(如32位浮点数减小到8位)，可以提升在边缘设备的计算速度。典型图片是指实际使用场景经常遇到的道路场景，量化时，减权重小位数，然后对些典型图片进行推理并进行量化前后对比，确保在典型场景推理时精度下降尽可能小。典型图片为量化过程中所必须要用的图片，量化后的推理即是确定YOLO的检测目标，量化、推理的具体过程与现有相一致，具体为本技术领域人员所熟知，此处不再赘述。

11)、最后，通过边缘设备(监控设备芯片)的接口，将模型转换，并部署到设备智能芯片中，进行现场的实时推理，输出给SORT方法。

上述为具体得到适应于视频监控中对于车辆检测的YOLO目标检测方法的过程与步骤，具体步骤的实施为本技术领域人员所熟知，此处不再赘述。

如图3所示，对于视频监控设备采集到的每一帧图像，通过YOLO目标检测方法，得到车辆车型分类和检测框的图像坐标，再通过SORT方法将检测框做跟踪和平滑处理。

将检测框下边缘中点进行透视变换，得到道路坐标系下车头中点(因为从视角看比较接近地面，对其进行透视变换时产生的误差最小)，将车辆用矩形(长宽由车辆车型得出)画入道路坐标系，如图4所示。

步骤3、步骤3、在所需的时间段内，利用坐标映射后的车辆坐标计算每个车辆的运动信息，并根据所有车辆的运动信息统计相应车道的流量信息与排队信息。

具体地，流量统计具体是指基于每条车道的过车数量类别统计。车辆排队具体是指车道内车辆缓行或静止开始形成队列，监控需要报告队列长度或超限报警以方便控制信号灯通行状态，或交通疏导。

在道路坐标系中，将车辆按照x轴坐标分配车道，并根据y轴坐标进行排序，从近到远(指距离停止线的距离)按序统计车辆；道路坐标系、图像坐标系的具体情况如图2所示。

本发明实施例中，通过帧间位移计算每个目标的速度，计算方式为位移/时间，时间来自视频和目标检测帧率，如：一个目标车辆在5帧时间内在道路坐标系下移动了10个像素，图像处理帧率为50Hz(20ms一帧)，每个像素代表的单位距离为0.4米，那么，车速就为0.4m*10/5/0.02s＝40m/s＝144km/h。

一般地，车道内车辆运动但平均车速在30km/h以下，可以认为是缓行状态。具体实施时，由近及远统计每辆车的速度以及与前车的距离，对于头车如果车速低于30km/h且在停止线前20m以内，认为其为队列头车；对于后车，如果速度低于30km/h且车头距离前车车尾不足20m，认为其为排队队列中的车辆；重复后车判断，直到遇到该车道内的车不满足上述条件为止，从头车车头(车头已过停止线)或者停止线(车头未过停止线)起到最后一辆队列车车尾作为排队长度，即能有效实现排队统计。

本发明通过YOLO目标检测方法对每帧视频进行车辆的识别与标定，通过SORT方法对检测框进行跟踪与平滑处理，相比雷达的监控，可以轻易地区别噪声背景(如树木、栅栏等)和静止车辆的区别，从而确认目标类型是否为静止(或缓行)车辆，在检测精度上具备优势，在不使用毫米波雷达时，以降低交通监控成本；通过帧间关系分析车辆速度，以及通过车道线校准车道距离，即能有效实现交通流量与排队的统计。

Claims (4)

1.一种基于监控视频的交通流量监控方法，其特征是，所述交通流量监控方法包括如下步骤：

步骤1、提供用于对交通道路视频监控的视频监控设备，并对所述视频监控设备进行坐标标定；

步骤2、通过视频监控设备获取监控视频，对获取的每一帧监控视频，通过目标检测方法对所有车道的车辆进行识别与，在每个识别的车辆上添加检测框与编号，然后根据步骤1得到的标定矩阵对识别的车辆进行坐标映射；

步骤3、在所需的时间段内，利用坐标映射后的车辆坐标计算每个车辆的运动信息，并根据所有车辆的运动信息统计相应车道的流量信息与排队信息。

2.根据权利要求1所述的基于监控视频的交通流量监控方法，其特征是：步骤1中，视频监控设备包括监控摄像头，视频监控设备安装于道路杆上，视频监控设备的监控区域包括所在前方的停止线与排队超限范围的路段；在坐标标定时，对视频监控设备获得的视频图像的图像坐标系变换到道路坐标系，以得到透视变换矩阵。

3.根据权利要求2所述的基于监控视频的交通流量监控方法，其特征是：步骤2中，采用的目标检测方法包括YOLO目标检测方法，利用YOLO目标检测方法对车辆进行识别标定时，能得到每个车辆的类型以及车辆上检测框的图像坐标，且通过SORT方法对每个车辆上的检测框进行跟踪与平滑处理。

4.根据权利要求2或3所述的基于监控视频的交通流量监控方法，其特征是：在所需时间段内，通过帧间位移计算得到每个车辆的运动信息。

Images