CN114724063A - 一种基于深度学习的公路交通事件检测方法 - Google Patents

一种基于深度学习的公路交通事件检测方法 Download PDF

Info

Publication number
CN114724063A
CN114724063A CN202210301685.8A CN202210301685A CN114724063A CN 114724063 A CN114724063 A CN 114724063A CN 202210301685 A CN202210301685 A CN 202210301685A CN 114724063 A CN114724063 A CN 114724063A
Authority
CN
China
Prior art keywords
target
vehicle
frame
array
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210301685.8A
Other languages
English (en)
Other versions
CN114724063B (zh
Inventor
刘永桂
黄家琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210301685.8A priority Critical patent/CN114724063B/zh
Publication of CN114724063A publication Critical patent/CN114724063A/zh
Application granted granted Critical
Publication of CN114724063B publication Critical patent/CN114724063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的公路交通事件检测方法,包括以下步骤:获取道路交通车辆样本数据集;对样本数据集进行处理,并进行划分得到训练集与验证集;在原始YOLOv5模型加入注意力模块CBAM,使用α‑CIOULoss替换原有CIOULoss,得到改进的YOLOv5‑Improved模型检测算法;将处理后的样本数据集输入到YOLOv5‑Improved模型得到训练后的.pt权重文件;利用权重文件对视频测试集进行检测,得到目标车辆结果信息,并将其输入到Deepsort目标跟踪检测算法中进行跟踪,得到车辆的具体坐标信息以及车辆ID;将其输入到预先写好的逻辑算法中判断其是否为停车、拥堵事件。本发明采用上述基于深度学习的公路交通事件检测方法,能够解决现有的目标检测方法实时性和检测精度较差的问题。

Description

一种基于深度学习的公路交通事件检测方法
技术领域
本发明涉及交通事件检测技术领域,尤其是涉及一种基于深度学习的公 路交通事件检测方法。
背景技术
随着公路发展的突飞猛进,其日常运行也遇到各种各样的问题,如高速 公路上的停车、拥堵问题便是其中重中之重。早期,主要是通过在高速公路 出入口进行严格把控,以及交警在高速公路上巡视来达到目的。但是这样耗 费人力物力,且效率也十分低下。目前,市场上常见的是交通视频监控系统, 但这些系统仅负责采集视频信息并传输至后台控制室,不具备主动判别道路 上的异常行为(如停车、拥堵)的能力,只能作为发生意外后的视频查证依据, 且需人为调取效率低下。
现有的停车、拥堵检测实现思路主要分为传统的机器学习方法以及近年 来新出现的深度学习方法。深度学习方法中相关的目标检测算法分为以SSD、 YOLO系列为代表一阶段(one-stage)算法。这类算法检测速度快,但准确度较 低。另一类则是以R-CNN、SPPNet为代表的两阶段(two-stage)算法,该类算 法相较于上一类one-stage算法需要先生成可能包含待检测物体的候选框,再 进行细粒度的物体检测,所以精确度高。但在实时性方面表现较one-stage算 法差。
发明内容
本发明的目的是提供一种基于深度学习的公路交通事件检测方法,解决 现有的目标检测方法实时性和检测精度较差,无法满足公路上通车、拥堵事 件检测的问题。
为实现上述目的,本发明提供了一种基于深度学习的公路交通事件检测 方法,包括以下步骤:
S1、获取道路交通车辆样本数据集,包括目标检测数据集 Visdrone2019-DET、UA-DETRAC以及车辆重识别数据集VeRi776数据集;
S2、对所述样本数据集进行处理,将目标检测数据集标注类型转成 YOLOv5所适用格式,并进行划分得到训练集与验证集;
S3、对原始YOLOv5模型检测算法进行改进,加入注意力模块CBAM, 使用α-CIOULoss替换原有CIOULoss,使用Soft-NMS替代YOLOv5中原有 的Hard-NMS,得到改进的YOLOv5-Improved目标检测模型;
S4、将处理后的目标检测样本数据集输入到YOLOv5-Improved模型得到 训练后的.pt权重文件,同时将车辆重识别数据集输入到Deepsort表征提取网 络得到训练后的.t7文件;
S5、利用训练得到的权重文件对高速公路视频测试集进行检测,得到目 标车辆结果信息,并将其输入到Deepsort目标跟踪检测算法中进行跟踪,得 到车辆的具体坐标信息以及车辆ID;
S6、根据得到的车辆ID及其相应的坐标信息,将其输入到预先写好的逻 辑算法中判断其是否为停车、拥堵事件。
优选的,所述步骤S1中,收集Visdrone2019-DET、UA-DETRAC车辆数 据集作为目标检测数据集,VeRi776车辆重识别数据集作为Deepsort表征提 取数据集。
优选的,所述步骤S2中,对Visdrone2019-DET数据集、UA-DETRAC 数据集中车辆目标进行筛选,并整理划分得到目标检测数据集,将目标检测 数据集划分为训练集和验证集,并通过python脚本对目标检测数据集中图像 进行批量格式转化,得到YOLOv5模型适用的txt标注文件;;所述txt文件 中包含了所有目标车辆归一化后的位置信息;获取VeRi776车辆重识别数据 集作为Deepsort多目标跟踪算法中表征提取网络的训练数据集。
优选的,所述步骤S3中,在YOLOv5模型的Backbone后接入注意力模 块CBAM,注意力模块CBAM包括通道注意力模块和空间注意力模块;
通道注意力模块计算公式如下:
Mc(F)=sigmoid(MLP(AvgPool(F))+MLP(MaxPool(F)))
Mc(F)代表将原始输入F输入到通道注意力模块中得到的通道注意力图, AvgPool(F)以及MaxPool(F)分别代表原始输入F经过平均池化以及最大池化 后的输出,然后将两者送入一个共享网络后相加并经过sigmoid函数得到最终 注意力通道输出;其中sigmoid函数计算公式如下:
Figure BDA0003563148320000031
空间注意力模块计算公式如下:
Ms(F')=sigmoid(f7x7([AvgPool(F');MaxPool(F')]))
Ms(F')代表将前面通道注意力模块结果F'输入后得到的空间注意力图,将 输入分别经过平均池化与最大池化后得到AvgPool(F')以及MaxPool(F'),f7x7表示卷积核尺寸为7x7的卷积操作;
使用α-CIOULoss替代YOLOv5中默认的CIOULoss计算方式作为预测框 boundingbox的损失函数,得到改进后的YOLOv5-Improved;
α-CIOULoss的计算公式:
Figure BDA0003563148320000032
其中,DistanceA代表预测框中心点与真实框中心点间的欧式距离,DistanceB代表两框最小外界矩形的对角线距离;
v的计算公式:
Figure BDA0003563148320000041
其中,wgt、hgt分别表示真实框的宽、高,而wp、hp分别代表预测框的宽、高;
IOU计算方式:
Figure BDA0003563148320000042
其中,Intersection代表预测框与真实框两者的交集,Union代表预测框与 真实框两者的并集;
α-CIOULoss在IOU及惩罚项表达式中进行了幂的运算,power参数α可 作为调节α-IOU损失的超参数以满足不同水平的bounding box回归精度,α 取推荐值3;
使用soft-NMS非极大值抑制替代原有的Hard-NMS非极大值抑制, soft-NMS进行扣分惩罚的计算公式如下:iou(M,bi)代表两框交并比IOU值,Si为预测框得分
Figure BDA0003563148320000043
由于上式并非一个连续函数,在函数交界处得分会发生跳变,从而使结 果产生波动,故对其改写,最终高斯形式soft-NMS表达式如下所示。
Figure BDA0003563148320000044
优选的,所述步骤S4中,将步骤S2所得目标检测训练集输入到改进后 的YOLOv5-Improved模型中进行训练,得到训练好的.pt权重文件;同时将车 辆重识别数据集输入到Deepsort表征提取网络中进行训练并得到训练好的.t7 权重文件。
优选的,所述步骤S5中,将高速公路视频测试集转为图像序列传入,利 用步骤S4所得权重文件进行检测并得到检测结果;将检测结果传入到 Deepsort多目标跟踪算法中得到对车辆跟踪的ID以及相应的位置,其信息以 嵌套数组形式呈现:
[[car_ID,topLeft_X,topLeft_Y,botRight_X,botRight_Y],…]
其中car_ID代表当前车辆ID,topLeft_X与topLeft_Y分别代表检测得到 的目标框左上角横、纵坐标,botRight_X以及botRight_Y分别表示目标框右 下角的横、纵坐标;根据以下公式分别计算出目标框中心点坐标center_X和 center_Y:
center_X=Round[topLeft_X+(botRight_X-topLeft_X)/2]
center_Y=Round[topLeft_Y+(botRight_Y-topLeft_Y)/2]
其中,Round表示四舍五入保留1位小数。
优选的,所述步骤S6中,每隔6帧将车辆位置进行对比,遍历当前帧中 检测出来的所有目标,对每一目标先判断其car_ID是否已在slow缓行数组中; 若在,则进一步对比当前帧和6帧前数据备份数组last_frame中该目标的坐标 center_X、center_Y像素差距,若小于stop_pixel像素则证明目标车辆已经停 下,将该目标更新到停车数组stopCertify中,同时更新到last_frame数组中用 于在6帧后作为对比;stop_pixel像素根据当前目标框大小计算,其具体计算 如下:
Figure BDA0003563148320000051
若目标车辆car_ID不在slow缓行数组中,则将其与last_frame数组中6 帧前同一目标位置进行对比,若小于slow_pixel像素则证明目标车辆为缓行状 态,并将其更新到slow缓行数组以及last_frame数组中;slow_pixel具体计算 公式如下:
Figure BDA0003563148320000052
若以上都不满足,则车辆为正常行驶状态,仅将该车辆信息更新至 last_frame数组中用于6帧后的比对;最后得到stopCertify停车数组将其在视 频中进行框选作为停车事件进行展示,同时判断slow缓行数组长度是否大于8, 如果视频中同时缓行的车辆数目大于8则判别为交通拥堵。
本发明所述的一种基于深度学习的公路交通事件检测方法的优点和积极 效果是:
1、本发明在YOLOv5的基础上进行改进,利用改进后的 YOLOv5-Improved对当前数据集进行训练,结果显示在FPS几乎不变的情况 下改进后的map0.5指标达到92.41%,较原始YOLOv5网络对同一数据集训 练结果中map0.5指标的90.12%上升了2.29%。
2、本发明中的停车判别算法加入了停车前缓行预判机制,以及针对车辆 目标框大小动态计算的停车判别stop_pixel像素值与缓行判别slow_pixel像素 值,有效过滤掉整个检测流程中车辆距摄像头距离以及摄像头角度不同带来 的判断误差,提高了停车判别的准确率并为拥堵判别提供可靠依据。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明一种基于深度学习的公路交通事件检测方法实施例的检测 步骤流程图;
图2为本发明一种基于深度学习的公路交通事件检测方法实施例的 YOLOv5整体网络架构图;
图3为本发明一种基于深度学习的公路交通事件检测方法实施例的切片 操作示意图;
图4为本发明一种基于深度学习的公路交通事件检测方法实施例的注意 力模块结构示意图;
图5为本发明一种基于深度学习的公路交通事件检测方法实施例的通道 注意力模块结构示意图;
图6为本发明一种基于深度学习的公路交通事件检测方法实施例的空间 注意力模块结构示意图;
图7为本发明一种基于深度学习的公路交通事件检测方法实施例的 sigmoid函数示意图;
图8为本发明一种基于深度学习的公路交通事件检测方法实施例的停车、 拥堵判别算法流程图。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
实施例
如图1所述,一种基于深度学习的公路交通事件检测方法,包括以下步 骤:
S1、获取道路交通车辆样本数据集。收集Visdrone2019-DET、UA-DETRAC 车辆数据集作为目标检测数据集,VeRi776车辆重识别数据集作为Deepsort 表征提取数据集。
S2、对所述样本数据集进行处理,将目标检测数据集标注类型转成 YOLOv5所适用格式,并进行划分得到训练集与验证集。
由于搜集得到数据集过大,对Visdrone2019-DET数据集、UA-DETRAC 数据集中车辆目标进行筛选,并整理划分得到目标检测数据集,包括训练集 16400张图像以及验证集3426张图像。并通过python脚本对图像进行批量格 式转化,得到YOLOv5模型适用的txt标注文件。该过程中将所有车辆目标的 标签归一化为“car”,消除目标检测前后帧中车辆类型变化导致Deepsort多目 标跟踪过程中的ID switch,以提升整个事件检测流程的准确性,所述txt文件 中包含了所有目标车辆归一化后的位置信息。此外,获取VeRi776车辆重识 别数据集作为Deepsort多目标跟踪算法中表征提取网络的训练数据集,一共 包含约5万张车辆图像。
S3、对原始YOLOv5模型检测算法进行改进,加入注意力模块CBAM, 使用α-CIOULoss替换原有CIOULoss,作为预测框bounding box的损失函数, 使用Soft-NMS替代YOLOv5中原有的Hard-NMS,得到改进的 YOLOv5-Improved目标检测模型。
如图2、图3所示,原始YOLOv5模型中,Input输入端主要对输入图像 进行预处理,包括Mosaic数据增强、自适应图像填充、数据增强(随机缩放、 随机裁剪)等。Backbone主干网络包括Focus层,对输入的图像进行切片操作 将原始三通道输入图片扩充为12通道,并将其通过卷积操作(yolov5l中卷积 核数为64)最终在保持信息不丢失的情况下减小了输入图像的宽高,从而在几 乎不影响mAP指标前提下提升前向与反向传播速度。瓶颈跨阶段局部结构 CSP以减少计算量,提高推理速度,空间金字塔池化SPP对同一特征图提取 不同尺度特征从而提高检测精度。
如图5、图6所示,在YOLOv5模型的Backbone后接入注意力模块 CBAM,注意力模块CBAM包括通道注意力模块(Channel Attention Module)和 空间注意力模块(SpatialAttention Module);依次从通道和空间两个不同的维 度推算注意力图,然后将注意力图与输入特征图相乘,从而进行自适应特征 细化。
通道注意力模块计算公式如下:
Mc(F)=sigmoid(MLP(AvgPool(F))+MLP(MaxPool(F)))
Mc(F)代表将原始输入F输入到通道注意力模块中得到的通道注意力图, AvgPool(F)以及MaxPool(F)分别代表原始输入F经过平均池化以及最大池化 后的输出,然后将两者送入一个共享网络后相加并经过sigmoid函数得到最终 注意力通道输出。其中sigmoid函数计算公式如下:
Figure BDA0003563148320000081
sigmoid函数图如图7所示。
空间注意力模块计算公式如下:
Ms(F')=sigmoid(f7x7([AvgPool(F');MaxPool(F')]))
Ms(F')代表将前面通道注意力模块结果F'输入后得到的空间注意力图,将 输入分别经过平均池化与最大池化后得到AvgPool(F')以及MaxPool(F'),f7x7表示卷积核尺寸为7x7的卷积操作。
Neck网络层包括自上而下传递语义信息的特征金字塔FPN以及自下而上 传递定位信息的路径聚合结构PAN;Head输出端最终在特征图上预测出相应 的目标。
使用α-CIOULoss替代YOLOv5中默认的CIOULoss计算方式作为预测框 boundingbox的损失函数,得到改进后的YOLOv5-Improved。
α-CIOULoss的计算公式如下:
Figure BDA0003563148320000091
其中,DistanceA代表预测框中心点与真实框中心点间的欧式距离, DistanceB代表两框最小外界矩形的对角线距离;
v的计算公式:
Figure BDA0003563148320000092
其中,wgt、hgt分别表示真实框的宽、高,而wp、hp分别代表预测框的宽、 高;
IOU计算方式如下:
Figure BDA0003563148320000093
其中,Intersection代表预测框与真实框两者的交集,Union代表预测框与 真实框两者的并集。
α-CIOULoss在IOU及惩罚项表达式中进行了幂的运算,power参数α可 作为调节α-IOU损失的超参数以满足不同水平的bounding box回归精度。α 取推荐值3。
使用soft-NMS非极大值抑制替代原有的Hard-NMS非极大值抑制,相较 于Hard-NMS直接将交并比IOU超过阈值(即重叠程度高的)目标框直接移 除,soft-NMS对重叠度程度高的目标框进行扣分处理,在一定程度上避免了 了直接删除预测框带来的漏检现象,有助于提升高速公路上密集车辆目标检 测效果。soft-NMS进行扣分惩罚的计算公式如下:iou(M,bi)代表两框交并比 IOU值,Si为预测框得分
Figure BDA0003563148320000101
由于上式并非一个连续函数,在函数交界处得分会发生跳变,从而使结 果产生波动,故对其改写,最终高斯形式soft-NMS表达式如下所示。
Figure BDA0003563148320000102
S4、将处理后的目标检测样本数据集输入到YOLOv5-Improved模型得到 训练后的.pt权重文件,同时将车辆重识别数据集输入到Deepsort表征提取网 络得到训练后的.t7文件。
S5、利用训练得到的权重文件对高速公路视频测试集进行检测,得到目 标车辆结果信息,并将其输入到Deepsort目标跟踪检测算法中进行跟踪,得 到车辆的具体坐标信息以及车辆ID。
将高速公路视频测试集转为图像序列传入,利用步骤S4所得权重文件进 行检测并得到检测结果;将检测结果传入到Deepsort多目标跟踪算法中得到 对车辆跟踪的ID以及相应的位置,其信息以嵌套数组形式呈现:
[[car_ID,topLeft_X,topLeft_Y,botRight_X,botRight_Y],…]
其中,car_ID代表当前车辆ID,topLeft_X与topLeft_Y分别代表检测得 到的目标框左上角横、纵坐标,botRight_X以及botRight_Y分别表示目标框 右下角的横、纵坐标。
根据以下公式分别计算出目标框中心点坐标center_X和center_Y:
center_X=Round[topLeft_X+(botRight_X-topLeft_X)/2]
center_Y=Round[topLeft_Y+(botRight_Y-topLeft_Y)/2]
其中,Round表示四舍五入保留1位小数,将操作后的坐标精度精确到小 数点后一位像素便于后续逻辑判断操作。
S6、根据得到的车辆ID及其相应的坐标信息,将其输入到预先写好的逻 辑算法中判断其是否为停车、拥堵事件。
如图8所示,由于逐帧之间车辆位置变化差距过小,每隔6帧将车辆位 置进行对比。在目标帧(即第0帧、第6帧、第12帧…)中,遍历当前帧中检 测出来的所有目标,对每一目标先判断其car_ID是否已在slow缓行数组中。 若在,则进一步对比当前帧和6帧前数据备份数组last_frame中该目标的坐标 center_X、center_Y像素差距,若小于stop_pixel像素则证明目标车辆已经停 下,将该目标更新到停车数组stopCertify中,同时更新到last_frame数组中用 于在6帧后作为对比。
由于摄像头离目标车辆的远近不同可能会导致拍摄到车辆目标大小不一 样,若stop_pixel设置为固定像素大小则可能在摄像头距离、角度发生变化后 不再适用,stop_pixel像素根据当前目标框大小计算而出,其具体计算如下:
Figure BDA0003563148320000111
即通过目标框左上坐标以及右下坐标计算出当前目标框长宽,将长宽进 行相乘后得到当前目标框像素面积。u为停车判断常数项,经过多次实验对比 发现u取10时能取得较好判断效果。
若目标车辆car_ID不在slow缓行数组中,则将其与last_frame数组中6 帧前同一目标位置进行对比,若小于slow_pixel像素则证明目标车辆为缓行状 态,并将其更新到slow缓行数组以及last_frame数组中;slow_pixel具体计算 公式如下:
Figure BDA0003563148320000112
相关计算同上,先根据Deepsort输出结果计算出当前目标框面积,然后 除以缓行常数项v,经过多次实验对比发现v在取值10时能取得较好的判断 效果。
若以上都不满足,则车辆为正常行驶状态,仅将该车辆信息更新至 last_frame数组中用于6帧后的比对。最后得到stopCertify停车数组将其在视 频中进行框选作为停车事件进行展示,同时判断slow缓行数组长度是否大于8, 如果视频中同时缓行的车辆数目大于8则判别为交通拥堵。
因此,本发明采用上述基于深度学习的公路交通事件检测方法,能够解 决现有的目标检测方法实时性和检测精度较差,无法满足公路上通车、拥堵 事件检测的问题。
最后应说明的是:以上实施例仅用以说明本发明的技术方案而非对其进 行限制,尽管参照较佳实施例对本发明进行了详细的说明,本领域的普通技 术人员应当理解:其依然可以对本发明的技术方案进行修改或者等同替换, 而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的 精神和范围。

Claims (7)

1.一种基于深度学习的公路交通事件检测方法,其特征在于,包括以下步骤:
S1、获取道路交通车辆样本数据集,包括目标检测数据集Visdrone2019-DET、UA-DETRAC以及车辆重识别数据集VeRi776数据集;
S2、对所述样本数据集进行处理,将目标检测数据集标注类型转成YOLOv5所适用格式,并进行划分得到训练集与验证集;
S3、对原始YOLOv5模型检测算法进行改进,加入注意力模块CBAM,使用α-CIOULoss替换原有CIOULoss,使用Soft-NMS替代YOLOv5中原有的Hard-NMS,得到改进的YOLOv5-Improved目标检测模型;
S4、将处理后的目标检测样本数据集输入到YOLOv5-Improved模型得到训练后的.pt权重文件,同时将车辆重识别数据集输入到Deepsort表征提取网络得到训练后的.t7文件;
S5、利用训练得到的权重文件对高速公路视频测试集进行检测,得到目标车辆结果信息,并将其输入到Deepsort目标跟踪检测算法中进行跟踪,得到车辆的具体坐标信息以及车辆ID;
S6、根据得到的车辆ID及其相应的坐标信息,将其输入到预先写好的逻辑算法中判断其是否为停车、拥堵事件。
2.根据权利要求1所述的一种基于深度学习的公路交通事件检测方法,其特征在于:所述步骤S1中,收集Visdrone2019-DET、UA-DETRAC车辆数据集作为目标检测数据集,VeRi776车辆重识别数据集作为Deepsort表征提取数据集。
3.根据权利要求2所述的一种基于深度学习的公路交通事件检测方法,其特征在于:所述步骤S2中,对Visdrone2019-DET数据集、UA-DETRAC数据集中车辆目标进行筛选,并整理划分得到目标检测数据集,将目标检测数据集划分为训练集和验证集,并通过python脚本对目标检测数据集中图像进行批量格式转化,得到YOLOv5模型适用的txt标注文件;所述txt文件中包含了所有目标车辆归一化后的位置信息;获取VeRi776车辆重识别数据集作为Deepsort多目标跟踪算法中表征提取网络的训练数据集。
4.根据权利要求3所述的一种基于深度学习的公路交通事件检测方法,其特征在于:所述步骤S3中,在YOLOv5模型的Backbone后接入注意力模块CBAM,注意力模块CBAM包括通道注意力模块和空间注意力模块;
通道注意力模块计算公式如下:
Mc(F)=sigmoid(MLP(AvgPool(F))+MLP(MaxPool(F)))
Mc(F)代表将原始输入F输入到通道注意力模块中得到的通道注意力图,AvgPool(F)以及MaxPool(F)分别代表原始输入F经过平均池化以及最大池化后的输出,然后将两者送入一个共享网络后相加并经过sigmoid函数得到最终注意力通道输出;其中sigmoid函数计算公式如下:
Figure FDA0003563148310000021
空间注意力模块计算公式如下:
Ms(F')=sigmoid(f7x7([AvgPool(F');MaxPool(F')]))
Ms(F')代表将前面通道注意力模块结果F'输入后得到的空间注意力图,将输入分别经过平均池化与最大池化后得到AvgPool(F')以及MaxPool(F'),f7x7表示卷积核尺寸为7x7的卷积操作;
使用α-CIOULoss替代YOLOv5中默认的CIOULoss计算方式作为预测框bounding box的损失函数,得到改进后的YOLOv5-Improved;
α-CIOULoss的计算公式:
Figure FDA0003563148310000022
其中,DistanceA代表预测框中心点与真实框中心点间的欧式距离,DistanceB代表两框最小外界矩形的对角线距离;
v的计算公式:
Figure FDA0003563148310000031
其中,wgt、hgt分别表示真实框的宽、高,而wp、hp分别代表预测框的宽、高;
IOU计算方式:
Figure FDA0003563148310000032
其中,Intersection代表预测框与真实框两者的交集,Union代表预测框与真实框两者的并集;
α-CIOULoss在IOU及惩罚项表达式中进行了幂的运算,power参数α可作为调节α-IOU损失的超参数以满足不同水平的bounding box回归精度,α取推荐值3;
使用soft-NMS非极大值抑制替代原有的Hard-NMS非极大值抑制,soft-NMS进行扣分惩罚的计算公式如下:iou(M,bi)代表两框交并比IOU值,Si为预测框得分
Figure FDA0003563148310000033
由于上式并非一个连续函数,在函数交界处得分会发生跳变,从而使结果产生波动,故对其改写,最终高斯形式soft-NMS表达式如下所示。
Figure FDA0003563148310000034
5.根据权利要求4所述的一种基于深度学习的公路交通事件检测方法,其特征在于:所述步骤S4中,将步骤S2所得目标检测训练集输入到改进后的YOLOv5-Improved模型中进行训练,得到训练好的.pt权重文件;同时将车辆重识别数据集输入到Deepsort表征提取网络中进行训练并得到训练好的.t7权重文件。
6.根据权利要求5所述的一种基于深度学习的公路交通事件检测方法,其特征在于:所述步骤S5中,将高速公路视频测试集转为图像序列传入,利用步骤S4所得权重文件进行检测并得到检测结果;将检测结果传入到Deepsort多目标跟踪算法中得到对车辆跟踪的ID以及相应的位置,其信息以嵌套数组形式呈现:
[[car_ID,topLeft_X,topLeft_Y,botRight_X,botRight_Y],…]
其中car_ID代表当前车辆ID,topLeft_X与topLeft_Y分别代表检测得到的目标框左上角横、纵坐标,botRight_X以及botRight_Y分别表示目标框右下角的横、纵坐标;根据以下公式分别计算出目标框中心点坐标center_X和center_Y:
center_X=Round[topLeft_X+(botRight_X-topLeft_X)/2]
center_Y=Round[topLeft_Y+(botRight_Y-topLeft_Y)/2]
其中,Round表示四舍五入保留1位小数。
7.根据权利要求6所述的一种基于深度学习的公路交通事件检测方法,其特征在于:所述步骤S6中,每隔6帧将车辆位置进行对比,遍历当前帧中检测出来的所有目标,对每一目标先判断其car_ID是否已在slow缓行数组中;若在,则进一步对比当前帧和6帧前数据备份数组last_frame中该目标的坐标center_X、center_Y像素差距,若小于stop_pixel像素则证明目标车辆已经停下,将该目标更新到停车数组stopCertify中,同时更新到last_frame数组中用于在6帧后作为对比;stop_pixel像素根据当前目标框大小计算,其具体计算如下:
Figure FDA0003563148310000041
若目标车辆car_ID不在slow缓行数组中,则将其与last_frame数组中6帧前同一目标位置进行对比,若小于slow_pixel像素则证明目标车辆为缓行状态,并将其更新到slow缓行数组以及last_frame数组中;slow_pixel具体计算公式如下:
Figure FDA0003563148310000042
若以上都不满足,则车辆为正常行驶状态,仅将该车辆信息更新至last_frame数组中用于6帧后的比对;最后得到stopCertify停车数组将其在视频中进行框选作为停车事件进行展示,同时判断slow缓行数组长度是否大于8,如果视频中同时缓行的车辆数目大于8则判别为交通拥堵。
CN202210301685.8A 2022-03-24 2022-03-24 一种基于深度学习的公路交通事件检测方法 Active CN114724063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210301685.8A CN114724063B (zh) 2022-03-24 2022-03-24 一种基于深度学习的公路交通事件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210301685.8A CN114724063B (zh) 2022-03-24 2022-03-24 一种基于深度学习的公路交通事件检测方法

Publications (2)

Publication Number Publication Date
CN114724063A true CN114724063A (zh) 2022-07-08
CN114724063B CN114724063B (zh) 2023-02-24

Family

ID=82238990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210301685.8A Active CN114724063B (zh) 2022-03-24 2022-03-24 一种基于深度学习的公路交通事件检测方法

Country Status (1)

Country Link
CN (1) CN114724063B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274927A (zh) * 2023-09-19 2023-12-22 盐城工学院 基于改进多目标跟踪的交通流量监测方法
CN117274927B (zh) * 2023-09-19 2024-05-17 盐城工学院 基于改进多目标跟踪的交通流量监测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032199A1 (en) * 2015-07-31 2017-02-02 Fujitsu Limited Video data analyzing method and apparatus and parking lot monitoring system
CN106778540A (zh) * 2013-03-28 2017-05-31 南通大学 停车检测准确的基于双层背景的停车事件检测方法
CN111597905A (zh) * 2020-04-20 2020-08-28 淮阴工学院 一种基于视频技术的公路隧道停车检测方法
CN113269142A (zh) * 2021-06-18 2021-08-17 中电科大数据研究院有限公司 一种检察领域值班人员睡觉行为识别方法
CN114023062A (zh) * 2021-10-27 2022-02-08 河海大学 一种基于深度学习和边缘计算的交通流信息监测方法
US20220044025A1 (en) * 2020-04-26 2022-02-10 Intelligent Inter Connection Technology Co., Ltd. Parking detection method and device based on visual difference

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778540A (zh) * 2013-03-28 2017-05-31 南通大学 停车检测准确的基于双层背景的停车事件检测方法
US20170032199A1 (en) * 2015-07-31 2017-02-02 Fujitsu Limited Video data analyzing method and apparatus and parking lot monitoring system
CN111597905A (zh) * 2020-04-20 2020-08-28 淮阴工学院 一种基于视频技术的公路隧道停车检测方法
US20220044025A1 (en) * 2020-04-26 2022-02-10 Intelligent Inter Connection Technology Co., Ltd. Parking detection method and device based on visual difference
CN113269142A (zh) * 2021-06-18 2021-08-17 中电科大数据研究院有限公司 一种检察领域值班人员睡觉行为识别方法
CN114023062A (zh) * 2021-10-27 2022-02-08 河海大学 一种基于深度学习和边缘计算的交通流信息监测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NAVANEETH BODLA 等: "《Soft-NMS Improving Object DetectionWith One Line of Code》", 《IEEE》 *
XUFEI WANG 等: "《ICIoU: Improved Loss Based on Complete Intersection Over Union for Bounding Box Regression》", 《IEEE》 *
李景琳 等;: "《基于soft-NMS的候选框去冗余加速器设计》", 《计算机工程与科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274927A (zh) * 2023-09-19 2023-12-22 盐城工学院 基于改进多目标跟踪的交通流量监测方法
CN117274927B (zh) * 2023-09-19 2024-05-17 盐城工学院 基于改进多目标跟踪的交通流量监测方法

Also Published As

Publication number Publication date
CN114724063B (zh) 2023-02-24

Similar Documents

Publication Publication Date Title
US20220292311A1 (en) Method for object detection and recognition based on neural network
WO2020206861A1 (zh) 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN110097044B (zh) 基于深度学习的一阶段车牌检测识别方法
CN112750150B (zh) 基于车辆检测和多目标跟踪的车流量统计方法
CN112339773B (zh) 一种基于单目视觉的非主动车道偏离预警方法及系统
Kim et al. Deep traffic light detection for self-driving cars from a large-scale dataset
CN111008600A (zh) 一种车道线检测方法
CN110309765B (zh) 一种视频运动目标高效检测方法
CN112132071A (zh) 识别交通拥堵的处理方法、装置、设备及存储介质
CN111898491A (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
US11557133B1 (en) Automatic license plate recognition
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN114973207A (zh) 一种基于目标检测的路标识别方法
Chen et al. Vehicles detection on expressway via deep learning: Single shot multibox object detector
CN116434159A (zh) 一种基于改进YOLO V7和Deep-Sort的交通流量统计方法
CN113408550B (zh) 基于图像处理的智能称重管理系统
KR102561656B1 (ko) 딥-러닝 기반 객체 감응을 활용한 차량 흐름 제어 시스템
CN114639067A (zh) 一种基于注意力机制的多尺度全场景监控目标检测方法
CN114724063B (zh) 一种基于深度学习的公路交通事件检测方法
CN114882205A (zh) 基于注意力机制的目标检测方法
CN115761674A (zh) 一种道路边缘定位检测方法、设备及介质
CN114387310A (zh) 一种基于深度学习的城市主干道路车流量统计方法
Sinthia et al. Detection and recognition of bangladeshi vehicles' nameplates using yolov6 and blpnet
Gao et al. GSD-YOLOX: Lightweight and more accurate object detection models
WO2023221848A1 (zh) 车辆起步行为的预测方法、装置、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant