CN114613143B - 基于YOLOv3模型的道路车辆计数方法 - Google Patents
基于YOLOv3模型的道路车辆计数方法 Download PDFInfo
- Publication number
- CN114613143B CN114613143B CN202210334839.3A CN202210334839A CN114613143B CN 114613143 B CN114613143 B CN 114613143B CN 202210334839 A CN202210334839 A CN 202210334839A CN 114613143 B CN114613143 B CN 114613143B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- road
- counting
- detection
- detector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
基于YOLOv3模型的道路车辆计数方法,包括如下步骤:划分出车道区域,划分出虚拟检测区域,根据输入视频流将图像按照一定帧数输入YOLOv3网络;在车检器处于解锁状态时,判断是否有车辆中心点经过车检器;在每次检测器处于解锁状态时,对检测区内部的车辆进行一次计数,进行计数操作,对计数的车辆进行累加操作,并锁定检测器,防止程序再次进入判定计数状态;一次计数完成后,回到视频输入阶段,重新进入计数阶段,解锁车检器并进入到下一次判定计数环节。本发明车辆计数算法能够统计道路的最大车流量,即统计道路一个周期内经过道路的最大车辆数目。
Description
针对专利名称“一种以鲁棒性车辆目标检测为核心的道路拥堵状况检测方法”(申请号:202110594521.4;申请日:2021.05.28)的分案申请。
技术领域
本发明涉及一种交通拥堵检测方法,具体涉及一种基于YOLOv3模型的道路车辆计数方法。
背景技术
随着人们生活水平逐渐提高,机动车人均占有率大幅增加,城市交通拥堵现象日益严峻。交通拥堵是一种由于交通量超过道路通行能力而造成交通活动缓慢、中断的现象,带来的出行延误,环境污染造成大量经济损失。因此,研究交通拥堵检测方法从而对交通拥堵做出针对性的预防措施意义重大。对于交通拥堵检测,传统的方法采用传感器获取道路上的车辆数目、车辆速度等交通流参数,存在以下弊端:
(1):传统道路拥堵的解决方法一般较依赖于道路的历史拥堵信息,比如某些道路在特定的时间、场合等会发生拥堵,交通管理的决策者通过这些信息可以在一定程度上缓解道路拥堵的问题。由于这些历史信息不具有实时性,因此交通管理的决策者只能大致判断拥堵出现的时段和地点。
(2):已有的基于目标检测的计数算法采用邻帧同一目标是否位于检测线异侧判断是否计数,忽视了检验框抖动对车辆计数的影响。
(3):目前计算道路最大承载量的方法是对道路长时间的承载数目做记录,得出这段时间的最大承载量,统计记录耗时过长,且对道路交通状况要求较高。
(4):现有的拥堵检测方法识别精度不高,对道路交通突发状况敏感度低。为了准确评测道路拥堵状况。
现有技术中的文献[1]:LYU Xian,QI Yong,ZHANG Weibin,等.基于单轴地磁传感器的车辆参数检测算法研究[J].交通信息与安全,2018,36(006):90-97,122.
文献[2]:吕鲜,戚湧,张伟斌,等.基于单轴地磁传感器的车辆参数检测算法研究[J].交通信息与安全,2018,36(06):90-97+122.
文献[3]:赵亚妮,高辉.基于超声波的车辆检测器设计[J].计算机测量与控制,2011,19(10):2542-2544+2548.
文献[4]:顾夫挺,郭海锋,何德峰.基于地磁和超声波传感器的可靠无线车辆检测算法[J].高技术通讯,2018,28(Z2):57-64.
文献[1]、文献[2]中的磁频采集计数主要通过地埋式硬件设备对车辆进行检测,当车辆经过检测区域时,通过监测检测区域的磁场是否发生变化来判断是否有车辆经过。但是由于磁频采集计数通常采用地埋方式,它需要对路面进行一定改造以便于安装,其维护、重新安装困难,往往需要对道路进行短暂的封闭。文献[3]、文献[4]中以超声传感器作为波频采集设备,主要是通过发射声波对车辆进行检测,波频采集技术作为一种非地埋式的检测技术,不仅不会破坏道路的整体结构,同时其检测精度也能满足需求。但是波频采集技术的设备一般造价昂贵,同时只对车型单一,车流稳定的,车速分布均匀的道路准确度较高。在针对车流拥堵以及大型车较多、车型分布不均匀的路段,由于遮挡,测量精度会受到比较大的影响。
近年来,全路段视频监控系统全面铺设为采用计算机视觉方法检测拥堵提供可能。基于视频流的道路拥堵检测近年来发展迅速,已逐步取代磁频采集技术和波频采集技术。基于视觉技术的车辆检测一般采用虚拟线圈与虚拟检测线、背景差分法、帧差法等。
文献[5]:黄大君,吴昊.基于虚拟线圈的车速检测算法研究[J].兰州文理学院学报(自然科学版),2020,34(01):76-81.提出了一种基于虚拟线圈的车辆测速研究,检测线圈的设定用于触发检测,在图像中设定检测线圈与车辆行驶方向垂直,当有车辆进入检测线圈时,通过检测线圈位置像素与相应背景图像检测线位置的像素比较,当检测线圈像素灰度值变化大于一定的阈值,就认为检测到车辆到达检测线圈位置。在引入虚拟线圈辅助计算机分析车辆的行驶状况后,该方法实现简单,有效避免了路面破坏。但采用虚拟线圈的方法受光照等非车辆因素影响大、鲁棒性差,在精度方面达不到要求。
文献[6]:刘自选,王争争,王雅雯,李利果,焦建业,王琳.基于视频图像处理的车辆检测系统[J].山西电子技术,2020(05):31-33.提出了一种基于背景差分法的视频车辆跟踪方法,该方法原理是选定背景图像,将当前获取的图像帧与背景图像做差分运算,得到目标运动区域的灰度图,对灰度图进行阈值化提取运动区域,而且为避免环境光照变化影响,背景图像根据当前获取图像帧进行更新。用该方法有效增加了算法的鲁棒性,但是由于效果受背景选定影响过大,存在背景实时更新困难的问题。
文献[7]:罗敏,刘洞波,文浩轩,等.基于背景差分法和帧间差分法的车辆运动目标检测[J].湖南工程学院学报(自然科学版),2019,v.29;No.94(04):61-64.提出了一种基于帧差法的车辆检测方法,帧间差分法是将视频流中相邻两帧或相隔几帧图像的两幅图像像素值相减,并对相减后的图像进行阈值化来提取图像中的运动区域。采用帧差法求感兴趣区域不易受环境光线影响,同时也避免了背景选取困难的问题。但是对于车辆行驶慢且一辆车多处灰度值相近的情况,在做差分时图像会出现孔洞,即帧间差分法易出现漏检情况。
上述方法虽然在某些特定环境下可以取得比较好的效果,但是通用性不强,因此,众多专家学者提出了一系列基于深度学习的道路交通拥堵的预测方法。
文献[8]:Navin Ranjan et al.(2019).Neural Network Learning-basedTraffic Jam Prediction Technique.pp.951-954.提出了一种基于卷积神经网络(CNN)和长短期记忆网络(LSTM)拥堵预测,文章利用LSTM记录了一段时间的车辆状态,在判断交通拥堵上取得了良好的效果,但是存在模型大,检测速度慢的缺点。
文献[9]:罗荣辉,袁航,钟发海,聂上上.基于卷积神经网络的道路拥堵识别研究[J].郑州大学学报(工学版),2019,40(02):18-22.提出一种利用CNN对视频进行拥堵检测的方法,将视频帧中是否拥堵作为图像二分类问题进行处理,证明了卷积神经网络模型能够有效地进行拥堵检测,检测准确率达到了98.1%。分类网络采用的模式匹配的方法,虽然在单一场景精度较高,但是在不同场景下的泛化能力不足。
文献[10]:中国专利[CN201710440987.5]设计了一种基于深度卷积神经网络(DCNN)的交通拥堵视觉检测系统,采用Fast R-CNN检测道路上的机动车辆并给出这些车辆在道路上所占的空间位置信息,然后按车道统计静止车辆单元和道路拥堵计算单元,该方法存在网络训练复杂,检测速度慢的问题。
文献[11]:中国专利[CN201911230017.5]设计了一种基于深度学习的交通拥堵程度多维度分析方法,该专利采用tiny-YOLO v3网络提取特征进行车辆目标检测提高速度,并采用了道路容纳率、平均速度等多维度的交通参数来进行准确而快速地拥堵程度分析。但采用基于IoU匹配的方式检测车辆,忽视了检验框抖动带来的干扰,准确度低,且采用tiny-YOLO v3网络过分牺牲精确度。
目前,通过百度、高德等地图软件进行导航时收集用户的定位信息从而间接获取当前道路的车辆数目、车辆速度等参数信息,可实时分析出道路拥堵状况。但地图软件在检测道路拥堵时通常是被动获取道路有关拥堵信息,其准确性会存在一定的偏差。交通管理部门更希望得到一种定制化的交通拥堵检测方案,通过现有的道路交通摄像头对道路进行交通拥堵检测,且能针对不同类型道路制定相应的检测方式,在降低拥堵检测成本的基础上有效提升道路拥堵检测的准确性。
发明内容
针对传统城市交通道路拥堵程度检测方法维护成本高、破坏路面、准确度不够、实时性较差的缺点。本发明提供一种以鲁棒性车辆目标检测为核心的道路拥堵状况检测方法,具有可靠性高、实时性好、使用方便的优势,能够帮助决策者精准实时对城市道路拥堵进行预警,提升城市交通运行效率。
本发明采取的技术方案为:
以鲁棒性车辆目标检测为核心的道路拥堵状况检测方法,其特征在于:首先采用目标检测网络进行车辆检测;然后针对车辆检测框中心点存在抖动引起重复计数问题,通过车辆中心点坐标是否位于车辆检测框内、和车辆检测框与车检器的交集是否大于设定阈值的方式实现车辆精准计数,并记录车辆在一定时间内的位置和大小信息;利用NMS进行信息筛选估算最大承载量;最后具体量化拥堵指数CI,采用该拥堵指数能准确判断路段拥堵程度。
以鲁棒性车辆目标检测为核心的道路拥堵状况检测方法,包括以下步骤:
步骤一:提出一种基于YOLOv3模型的道路车辆计数算法,通过在图片上设立虚拟检测区域,判断车辆检测框中心与虚拟检测框的位置关系、以及车辆检测框与虚拟检测区域的交集与整个虚拟检测区域的占比对车辆进行计数,从而对经过道路车辆数目的历史数据进行分析,获取单位时间内道路所能通过的道路最大车流量;
步骤二:提出一种基于YOLOv3和非极大值抑制算法NMS的道路最大承载量估计算法;
步骤三:通过步骤一中道路最大车流量和步骤二中道路最大承载量,对当前道路交通状态进行评估。
所述步骤一中,YOLOv3模型按照YOLOv3网络的输出尺寸,对车辆目标采用K-means聚类算法聚类出对应的9组锚框,然后将其分为三类并分别对应不同的输出层,对应大、中、小三种不同尺寸的目标。
所述步骤一中,道路车辆计数算法,是通过车辆中心点坐标是否位于车辆检测框内、以及车辆检测框与车检器的交集是否大于设定阈值来判断是否对车辆进行计数。
车检器数目与车道数目有关,且每个独立存在互不干扰,通过对每个子虚拟线圈进行加锁和解锁操作来实现车辆的计数操作,车辆的计数以及子虚拟线圈的锁定依赖车辆中心点和子虚拟线圈的位置关系,当道路上车辆中心点经过空闲的子虚拟线圈后,会对车辆数目进行一次计数并将当前子虚拟线圈进行锁定,避免对当前车辆重复计数。
子虚拟线圈的解锁同时满足以下两个条件:
其一:是子虚拟线圈中不存在车辆中心点,计算方式见公式(1),
(xcentre ,ycentre)∈{rectangular }(1)
即当车辆检测框中心点像素不属于车检器像素集合,
其二:是子虚拟线圈没有被车辆的检测框占据,通过子虚拟线圈和车辆检测框的交集占子虚拟线圈的比值RIOU来判定,具体见公式(2)。
当车辆检测框与子虚拟线圈不存在交集、或者车辆与子虚拟线圈存在交集但RIOU小于阈值0.5时,认定子虚拟线圈并未被占用;
当存在两辆车辆与子虚拟线圈存在交集时,且其中一辆车与子虚拟线圈的RIOU小于0.1,应当认定子虚拟线圈处于未被占用状态。
所述步骤一中,道路车辆计数算法包括以下步骤:
S1:划分出车道区域,划分出虚拟检测区域,4个车检器独立工作,3个车检器对左边车道进行计数,1个车检器对右边车道进行计数;再根据输入视频流将图像按照一定帧数输入YOLOv3网络。
S2:在车检器处于解锁状态时,判断是否有车辆中心点经过车检器,若经过车检器,对当前帧进入到虚拟检测区域的车辆根据公式(2)进行RIOU计算,
若检测框D与车检器Q的交集面积比上检测框D大于设定阈值thresh,则认为车辆已稳定进入车检器中。
S3:在每次车检器处于解锁状态时,对虚拟检测区域内部的车辆进行一次计数,根据公式(3)进行计数操作,
对计数的车辆进行累加操作,并锁定车检器,防止程序再次进入判定计数状态。一次计数完成后,回到视频输入阶段,重新进入计数阶段,解锁车检器并进入到下一次判定计数环节。
车检器解锁的方式分为两种:
其一:当道路上所有车辆检测框与虚拟检测框没有交集、且没有车辆检测框的中心点位于虚拟检测框内:
其二:当同时存在两个车辆检测框与虚拟检测框存在交集、且存在交集的占比占虚拟检测框的比值小于0.1时则解锁。
所述步骤二中,通过YOLOv3目标检测算法,检测一段时间内经过道路的车辆并保存其位置和大小信息,然后对收集的车辆采用NMS,通过设置合适的阈值对车辆信息进行筛选,最终得到的车辆数目,即为道路最大承载量数目。
所述步骤二中,YOLOv3目标检测算法流程步骤包括:
步骤1):建立一个与图片同样大小的纯黑色背景;
步骤2):将检测到的车辆检测框记录在纯黑色背景上;
步骤3):记录视频每一帧的车辆检测框信息并持续叠加在纯黑色背景上;
步骤4):采用NMS算法如公式(4)所示,
当检测框M与附近检测框b的IoU小于设定阈值时,保留该检测框,否则去除;阈值Thresh的取法根据具体交通状况来定,当车辆比较密集时Thresh值比较大,此处的道路状况取Thresh为0.1。
所述步骤三中,对道路交通的拥堵状态的指标进行量化,量化公式如公式(6)、(7)、(8):
K2=1-K1(8)
其中:CI代表拥堵指数,拥堵指数越接近于1则表示当前道路越拥堵;AN代表某段时间内的道路上的平均车辆数目;MN指道路的最大车辆承载数目;TV指某段时间内经过该道路的车流量;MTV指该道路在该段时间内所能通过的最大车流量,K1和K2为权重系数,TG、TR分别为一个周期内的绿灯时长和红灯时长。
通过调整权重系数来降低红灯状态对道路交通拥堵检测结果的影响,即红灯时常越长,流量指标所占权重越小,具体评价指标如表1所示:
表1评价指标
本发明一种以鲁棒性车辆目标检测为核心的道路拥堵状况检测方法,技术效果如下:
1)、本发明设计了基于YOLOv3目标检测算法,实时获取道路车辆信息来自动判断道路的拥堵状况。
2)、为避免因检测框抖动对车辆计数的影响,本发明通过利用车辆检测框中心点与子虚拟线圈的位置和车辆检测框与子虚拟线圈所产生交集在虚拟线圈上的占比,完成车辆计数操作,此方法有效实现了对双向多车道的计数功能,并在一定程度上降低了道路运动车辆因特征变化导致的检测框抖动对车辆计数精度造成的影响。
3)、本发明设计的计算道路最大承载量方法通过目标检测和NMS有效模拟出道路被车辆占满的情况,适用于各种交通状况,且目标检测算法出现少量的漏检不会影响对道路最大承载量的估计。
4)、本发明舍弃了单纯通过车辆在道路的通行时间和数目对道路状态进行评估的方法,设计了利用道路的最大车流量和最大承载量对道路拥堵进行评价的方法,该道路检测算法能够有效检测不同的道路的拥堵状况,鲁棒性好且检测准确率高。
5)、本发明设计了一种基于目标检测的车辆计数算法,判断检测框是否彻底通过检测区域,从而计算一段时间经过路段的车辆数目,改善了视频中检测框不稳定和车辆停在检测区上引发的计数错误,有效提升了计数准确性;
本发明采用NMS,通过设置合适的阈值对道路车辆信息进行筛选,设计了一种新的道路最大承载量估计方法,通用性强,计算过程简单,成本低;
本发明发明设计了一种新的估计拥堵方法,即利用道路的最大承载量结合某段时间内道路的平均车辆数目作为道路是否拥堵条件,有效改善了根据车辆速度这类瞬时指标对道路状态误判的缺点。
附图说明
图1为YOLOv3网络结构图。
图2(1)为检测框抖动示意图一;
图2(2)为检测框抖动示意图二;
图2(3)为检测框抖动示意图三;
图2(4)为检测框抖动示意图四。
图3为人工设定的虚拟车辆检测区域(车检器)示意图。
图4为车辆计数模块的计数流程图。
图5为子虚拟线圈未被释放示意图。
图6为手动划分虚拟检测区示意图。
图7为锁定检测器状态示意图。
图8为解锁检测器状态示意图。
图9为道路最大承载量估计流程图。
图10为拥堵检测系统流程示意图。
图11为道路左侧拥堵检测结果图。
图12(1)为a点以前可视化示意图;
图12(2)为a点附近可视化示意图;
图12(3)为a点之后可视化示意图。
具体实施方式
一种以鲁棒性车辆目标检测为核心的道路拥堵状况检测方法,该方法设计的城市交通道路拥堵程度检测算法道路友好、经济实惠、精确实时、适用于各种道路场景。本发明所述的道路拥堵检测算法,包括车辆检测算法、车辆计数算法、路面最大车流量计算、路面最大承载量计算、道路拥堵评测。首先采用YOLOv3网络快速且准确地进行车辆检测,接着针对车辆检测框中心点存在抖动引起重复计数问题,设计了通过车辆中心点坐标是否位于检测框内和车辆检测框与车检器的交集是否大于设定阈值的方式实现车辆精准计数。并记录车辆在一定时间内的位置和大小信息,利用NMS进行信息筛选估算最大承载量。最后具体量化拥堵指数CI,采用该指数能准确判断路段拥堵程度。能够直接明了、简单方便、经济实时地获得道路交通拥堵状况,方便地方交警部门应用,具有决策参考价值。
具体实施例:
城市交通道路拥堵程度检测需要同时具备实时性和可靠性,传统的判断拥堵方法存在获取路面信息不准确、对历史数据过度依赖的缺点。要想实时获取精准的路面车辆信息,为拥堵检测提供准确的路面车辆信息,首先要对车辆进行实时准确的检测。YOLOv3作为兼具速度与精度的端到端的目标检测算法,其在特征提取网络中通过采用大量的残差结构保证深层次网络能够有效提取到目标的特征,通过采用多层输出特征的方式来对不同尺寸目标进行定位,并将其输出网络分为三层,分别对应大、中、小三种不同尺寸的目标。同时,由于固定输出尺寸的网络会限制输出神经元的感受野,影响模型对不同尺度跨越较大目标的检测效果,因此,YOLOv3网络模型通过采用多尺度的锚框机制来解决该问题,主要是按照网络的输出尺寸对检测目标采用K-means聚类算法聚类出对应的9组锚框,然后将其分为三类并分别对应不同的输出层,不仅提升了模型整体的精度和速度,在一定程度上也加强的模型的泛化能力。
本发明所用的网络结构如图1所示,YOLOv3模型通过类FPN金字塔结构对不同层次网络提取到的特征进行了融合,提升了模型对小目标的精确度。本发明构建了一定数量的不同场景的中国道路监控视频,共得到了约8200张图片,共包含约64000个车辆目标,其中汽车数目约为58000辆,公交车数目约为3000辆,卡车数目约为3000辆。为了能更好的提升模型对中国车辆的检测效果,对图片中的车辆进行了细致的标注,经过对原有模型的再训练,提高了模型对中国车牌的泛化能力,在一定程度上减少了车辆漏检率。
道路拥堵的本质是道路的通行流量有着一定的限度,正常情况下,实时车流量超过最大限度便会让整个交通进入拥堵状态。本发明通过对道路车辆进行实时检测获知某段时间内道路的平均车流量和最大承载量,用于估计道路的拥堵状况。YOLOv3作为现阶段一种比较成熟的目标检测算法,对车辆目标具有较好的检测效果,同时由于本发明的车辆计数区域位于靠近交通指示灯,车辆具有目标体积大、颜色分明、边缘特征等特点,YOLOv3算法能够非常好的提取到车辆特征,因此其检测效果能达到预期。通过YOLOv3得到车辆的检测框后,通过车辆的数量信息和大小信息对道路上的车辆进行拥堵程度估计。
虽然YOLOv3算法能够准确检测出车辆的位置和坐标信息,但是由于外部环境的变换和车辆在不断运动,其车辆检测框大小并不是恒定的,如图2(1)、图2(2)、图2(3)、图2(4)所示,相邻帧车辆的中心点和框的位置一直在不停的变化,不能单纯的通过车辆中心点是否经过车检器来对车辆进行计数,当车辆靠近或停在检测区时,检测框抖动会导致车辆重复计数。因此,本发明中的车辆计数算法主要通过车辆中心点坐标是否位于检测框内和车辆检测框与车检器的交集是否大于设定阈值来判断是否对车辆进行计数,采用这种方式对车辆计数时,即使车辆检测框在一定范围内的抖动也不会影响车辆的计数精度。
车检器全称是车辆检测器,表示的是采集车辆信息所用的检测器。本发明的车检器为视频中人工设定的虚拟车辆检测区域,如图3中的红色矩形线圈和蓝色矩形线圈所示。车检器有阈值判定、解锁、锁定、计数等功能,能够精确判断车辆是否彻底通过线圈并计录通过车辆数目。
本发明中车检器数目与车道数目有关,且每个独立存在互不干扰,但是算法原理一致,因此下文算法步骤用子虚拟线圈指代单个车道上的车检器,本发明的车辆计数算法的计数流程图如图4所示。从图4中可以看出,本发明的计数算法主要是通过对每个子虚拟线圈进行加锁和解锁操作来实现车辆的计数操作,车辆的计数以及子虚拟线圈的锁定主要依赖车辆中心点和子虚拟线圈的位置关系,当道路上车辆的中心点经过空闲的子虚拟线圈后,会对车辆数目进行一次计数并将当前子虚拟线圈进行锁定,避免对当前车辆重复计数。子虚拟线圈的解锁车检器则必须同时满足以下两个条件,其一是车检器中不存在车辆的中心点,计算方式见公式(1),其中,xcentre、ycentre表示车辆检测框中心点在图像中的像素坐标,{rectangular }表示矩形子虚拟线圈包含的像素区域。即当车辆检测框中心点像素不属于子虚拟线圈像素集合,其二是子虚拟线圈没有被车辆的检测框占据,主要是通过子虚拟线圈和车辆检测框的交集占子虚拟线圈的比值RIOU来判定,具体见公式(2),其中,Drec表示子虚拟线圈的面积,Qcar表示车辆检测框的面积。当车辆的检测框与子虚拟线圈不存在交集或者车辆检测框与子虚拟线圈存在交集但RIOU小于阈值0.5时,认定子虚拟线圈并未被占用。此外,如图5由于交通灯等因素的影响导致车速较慢会造成子虚拟线圈未被释放,后方车辆又进入了子虚拟线圈域,使得子虚拟线圈和车辆检测框的RIOU处于持续大于设定阈值的状态,子虚拟线圈因未被及时释放影响车辆的计数。所以当存在两辆车与子虚拟线圈存在交集时且其中一辆车与虚拟线圈的RIOU小于0.1,应当认定子虚拟线圈处于未被占用状态。
(xcentre,ycentre)∈{rectangular}(1)
本发明的车辆计数算法包括:
1)手动划分出车道区域,并如图6所示划分出虚拟检测区域,4个车检器独立工作,3个车检器对左边车道进行计数,1个车检器对右边车道进行计数,再根据输入视频流将图像按照一定帧数输入YOLOv3网络。为了避免一开始停在检测区内的车辆对计数产生影响,一开始就将车检器全部锁定。当车检器内的车辆退出车检器后,车检器会满足上述的解锁条件,防止车辆因为交通灯变红静止在车检器上导致的重复计数。
2)在车检器处于解锁状态时,判断是否有车辆中心点经过车检器,若经过车检器,对当前帧进入到检测区域的车辆根据公式(2)进行RIOU计算,若检测框D与车检器Q的交集面积比上检测框D大于设定阈值thresh,则认为车辆已稳定进入车检器中。本发明采用的中心点结合阈值进行判断计数是否开始的方法成功排除掉车辆检测框不停抖动对车辆计数精度影响,为下一步正确累加计数,得出某段时间的车流量做出保障。
3)在每次车检器处于解锁状态时,如图7中的左侧第一车道所示,对车检器内部的车辆进行一次计数,根据公式(3)进行计数操作,其中,n表示车检器解锁期间帧数,i表示的是视频的当前帧数,si为当前帧计数的总数,S表示车检器解锁期间计数总和。在视频输入过程中,还加入了锁定车检器功能,在每帧计数累加时防止重复计数。一次计数完成后,回到视频输入阶段,重新进入解锁判定阶段,如图8所示解锁车检器并进入到下一次判定计数环节。
基于上述车辆计数算法可以统计道路的最大车流量,即统计道路一个周期内经过道路的最大车辆数目,本发明设定一个周期为5分钟。检测器解锁的方式分为两种,其一:当道路上所有车辆的检测框与虚拟检测框没有交集且没有检测框的中心点位于虚拟检测框内。其二:当同时存在两个车辆检测框与虚拟检测器存在交集且存在交集的占比占虚拟检测框的比值小于0.1时则解锁。采用上述两种解锁方式即可在车辆离开检测区域时,快速实现解锁,又可以避免两个检测框较大且相交进入虚拟检测器照成检测器不解锁的现象,从而完全避免了避免虚测框没有及时释放导致的漏检。
道路的最大承载量直接决定了道路所能容乃的最大车辆数目,是决定道路交通是否拥堵的重要条件之一,通过估计道路的最大承载量并结合某段时间内道路的平均车辆数目可以作为道路是否拥堵的判断条件之一。目前计算道路最大承载量的方法是对道路长时间的承载数目做记录,求出其中的最大值,得出这段时间的最大承载量。当前方法的缺点是统计记录耗时过长,对道路交通状况要求较高,即要求统计时间足够长,且路面必须在某段时间内存在车辆密集的情况,否则对最大承载量的估计准确度很差。
由于拍摄的路面是由宽变窄,检测框不能代表车辆所占道路的面积,且不同道路区域的检测框大小不一致,导致无法用一个恒定的值来代表车辆所占路面的面积,也无法通过使用道路总面积和平均每辆车占道路的面积来估算道路所能承受的最大数目。本发明通过YOLOv3目标检测算法检测一段时间内经过道路的车辆并保存其位置和大小信息,然后对收集的车辆采用NMS,通过设置合适的阈值对车辆信息进行筛选,最终得到的车辆数目即为道路最大承载数目。其流程图如图9所示,具体步骤为:
1)建立一个与图片同样大小的纯黑色背景。
2)将检测到的车辆检测框记录在背景上。
3)记录视频每一帧的检测框信息并持续叠加在背景上。
4)采用NMS算法如公式(4)所示,当检测框M与附近检测框b的IoU小于设定阈值时,保留该检测框,否则去除。阈值Thresh的取法根据具体交通状况来定,当车辆比较密集时Thresh值比较大,本发明的道路状况取Thresh为0.1,结合计数算法,整个拥堵检测系统流程图如图10所示。
常用的道路评价指标往往都是基于车辆速度、当前路面的车辆数目等对道路的交通状态进行评价,上述的评价方式实质上是对道路的瞬时状态评价,而道路交通拥堵是一个持续性的过程,反映的是道路在某一段时间内的总体状态。如果拥堵评价指标选择不恰当,则不能达到真正的拥堵评价目的,评价结果也不能真实反映道路交通状态。对存在交通灯的道路进行拥堵检测时,交通灯的状态会在一定程度上对道路拥堵状态检测的准确程度造成影响。为了能够更加清晰的反映出道路当前的状况,方便决策者根据当前道路状况制定相应的措施来缓解道路交通拥堵的问题,实现道路可持续和有弹性的运输系统,本发明对道路交通的拥堵状态的指标进行了具体的量化,量化公式如公式(6)、(7)、(8)。
K2=1-K1(8)
其中:CI代表拥堵指数,拥堵指数越接近于1则表示当前道路越拥堵;AN代表某段时间内的道路上的平均车辆数目;MN指道路的最大车辆承载数目;TV指某段时间内经过该道路的车流量;MTV指该道路在该段时间内所能通过的最大车流量,K1和K2为权重系数,TG、TR分别为一个周期内的绿灯时长和红灯时长。
本发明通过调整权重系数来降低红灯状态对道路交通拥堵检测结果的影响,即红灯时常越长,流量指标所占权重越小。本发明得出的具体评价指标如表1所示,
表1评价指标
根据指标可以对各个时间路段的拥堵程度进行实时计算,从而帮助决策者制定相应的措施来缓解道路交通拥堵的问题,当道路交通状况到达轻度拥堵时就要采取分流等措施,改善交通状况。本发明的拥堵周期设定为5分钟,通过采用滑动窗口的方式对每一帧进行检测。
图11是对上述两条道路进行道路交通拥堵检测的结果图,其中蓝色线代表提前获知的交通灯状态,当值为1时表示红灯、值为0时表示绿灯。橙色实线为左侧路面的拥堵预测结果,黑色实现为右侧路面的拥堵预测结果。本发明将第一个周期作为记录最大流量和最大承载量的周期,从第二个周期开始计算道路拥堵状况。从图11可以明显看出,同一道路不同方向的路面在同一时间段内道路的拥堵程度存在着较大的差距,说明了直接对道路进行拥堵检测的方式并不能真实反应道路的实际情况,证明了对道路进行方向划分然后分别进行拥堵检测的方式是合理的。
此外,利用本发明所设计的拥堵检测算法得到的拥堵曲线较为平滑,并未出现明显的突变情况,说明道路的交通拥堵状态是一个渐变的过程,也符合实际道路的拥堵状况,在一定程度上证明了本发明的拥堵算法具有一定的实际意义。为更加直观地观察本发明的道路拥堵检测结果,对图11中的黑线所表示的峰值a点进行可视化,图12(1)、图12(2)、图12(3)显示了与a点拥堵指数计算相关的图片,由于当前帧的检测结果与设定的拥堵检测周期内道路上的车辆数目以及经过虚拟线圈的车辆数目相关,故选取了若干张与a点拥堵指数计算相关的图片进行展示,具体如图12(1)、图12(2)、图12(3)所示,显示了与a点拥堵指数计算相关的图片从图12(1)、图12(2)、图12(3)中可以看出,道路右侧路面车辆的变化趋势与图11中a点趋势一致。因此,本发明所设计的交通拥堵状态检测算法具有较好的实际应用价值。
本发明使用的是YOLOv3目标检测网络,但本发明实现的拥堵检测并不局限于YOLOv3目标检测网络,任何一个只要是稳定可靠鲁棒性强的目标检测模型都能被本发明所采用。
Claims (1)
1.基于YOLOv3模型的道路车辆计数方法,其特征在于包括以下步骤:
1)划分出车道区域,划分出虚拟检测区域,4个车检器独立工作,3个车检器对左边车道进行计数,1个车检器对右边车道进行计数,再根据输入视频流将图像按照一定帧数输入YOLOv3网络;
2)在车检器处于解锁状态时,判断是否有车辆中心点经过车检器,若经过车检器,对当前帧进入到检测区域的车辆根据式(2)进行RIOU计算;
若检测框D与车检器Q的交集面积比上检测框D大于设定阈值thresh,则认为车辆已稳定进入车检器中;
YOLOv3目标检测算法流程步骤包括:
步骤1):建立一个与图片同样大小的纯黑色背景;
步骤2):将检测到的车辆检测框记录在纯黑色背景上;
步骤3):记录视频每一帧的车辆检测框信息并持续叠加在纯黑色背景上;
步骤4):采用NMS算法如公式(4)所示,
当检测框M与附近检测框b的IoU小于设定阈值时,保留该检测框,否则去除;阈值的取法根据具体交通状况来定,当车辆比较密集时设定阈值为大;
3)在每次车检器处于解锁状态时,对检测区内部的车辆进行一次计数,根据公式(3)进行计数操作,对计数的车辆进行累加操作,并锁定车检器,防止程序再次进入判定计数状态;一次计数完成后,回到视频输入阶段,重新进入计数阶段,解锁车检器并进入到下一次判定计数环节;
基于上述车辆计数算法统计道路的最大车流量,即统计道路一个周期内经过道路的最大车辆数目;
车检器解锁的方式分为两种,其一:当道路上所有车辆的检测框与虚拟检测框没有交集且没有检测框的中心点位于虚拟检测框内;其二:当同时存在两个车辆检测框与虚拟车检器存在交集且存在交集的占比占虚拟检测框的比值小于0.1时则解锁。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210334839.3A CN114613143B (zh) | 2021-05-28 | 2021-05-28 | 基于YOLOv3模型的道路车辆计数方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210334839.3A CN114613143B (zh) | 2021-05-28 | 2021-05-28 | 基于YOLOv3模型的道路车辆计数方法 |
CN202110594521.4A CN113192336B (zh) | 2021-05-28 | 2021-05-28 | 一种以鲁棒性车辆目标检测为核心的道路拥堵状况检测方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110594521.4A Division CN113192336B (zh) | 2021-05-28 | 2021-05-28 | 一种以鲁棒性车辆目标检测为核心的道路拥堵状况检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114613143A CN114613143A (zh) | 2022-06-10 |
CN114613143B true CN114613143B (zh) | 2023-08-25 |
Family
ID=76986330
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110594521.4A Active CN113192336B (zh) | 2021-05-28 | 2021-05-28 | 一种以鲁棒性车辆目标检测为核心的道路拥堵状况检测方法 |
CN202210334839.3A Active CN114613143B (zh) | 2021-05-28 | 2021-05-28 | 基于YOLOv3模型的道路车辆计数方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110594521.4A Active CN113192336B (zh) | 2021-05-28 | 2021-05-28 | 一种以鲁棒性车辆目标检测为核心的道路拥堵状况检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN113192336B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113781796B (zh) * | 2021-08-18 | 2023-04-07 | 青岛图灵科技有限公司 | 基于视频虚拟线圈的车流量检测方法及装置 |
CN113807270A (zh) * | 2021-09-22 | 2021-12-17 | 北京百度网讯科技有限公司 | 道路拥堵检测方法、装置及电子设备 |
CN114333356B (zh) * | 2021-11-30 | 2023-12-15 | 中交第二公路勘察设计研究院有限公司 | 基于视频多区域标记的道路平面交叉口交通量统计方法 |
CN115331454B (zh) * | 2022-09-01 | 2023-10-13 | 华路易云科技有限公司 | 一种基于互联网的路口分流车路协同控制系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102289940A (zh) * | 2011-07-26 | 2011-12-21 | 西南交通大学 | 一种基于混合差分的车流量检测方法 |
CN104183142A (zh) * | 2014-08-18 | 2014-12-03 | 安徽科力信息产业有限责任公司 | 一种基于图像视觉处理技术的车流量统计方法 |
CN104778727A (zh) * | 2015-04-30 | 2015-07-15 | 安徽超远信息技术有限公司 | 基于视频监控处理技术的浮动车统计方法 |
CN106355903A (zh) * | 2016-09-13 | 2017-01-25 | 枣庄学院 | 基于视频分析的多车道车流量检测方法 |
CN112750150A (zh) * | 2021-01-18 | 2021-05-04 | 西安电子科技大学 | 基于车辆检测和多目标跟踪的车流量统计方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111898501B (zh) * | 2020-07-17 | 2022-04-05 | 东南大学 | 一种针对拥堵路段的无人机在线航拍车辆识别及统计方法 |
-
2021
- 2021-05-28 CN CN202110594521.4A patent/CN113192336B/zh active Active
- 2021-05-28 CN CN202210334839.3A patent/CN114613143B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102289940A (zh) * | 2011-07-26 | 2011-12-21 | 西南交通大学 | 一种基于混合差分的车流量检测方法 |
CN104183142A (zh) * | 2014-08-18 | 2014-12-03 | 安徽科力信息产业有限责任公司 | 一种基于图像视觉处理技术的车流量统计方法 |
CN104778727A (zh) * | 2015-04-30 | 2015-07-15 | 安徽超远信息技术有限公司 | 基于视频监控处理技术的浮动车统计方法 |
CN106355903A (zh) * | 2016-09-13 | 2017-01-25 | 枣庄学院 | 基于视频分析的多车道车流量检测方法 |
CN112750150A (zh) * | 2021-01-18 | 2021-05-04 | 西安电子科技大学 | 基于车辆检测和多目标跟踪的车流量统计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113192336B (zh) | 2022-05-06 |
CN113192336A (zh) | 2021-07-30 |
CN114613143A (zh) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114613143B (zh) | 基于YOLOv3模型的道路车辆计数方法 | |
CN104537841B (zh) | 无牌车辆违章检测方法及其检测系统 | |
CN106571039A (zh) | 一种高速公路违章行为自动抓拍系统 | |
CN105744232A (zh) | 一种基于行为分析技术的输电线路视频防外破的方法 | |
CN108647649A (zh) | 一种视频中异常行为的检测方法 | |
CN107886055A (zh) | 一种用于车辆运动方向判定的逆行检测方法 | |
US20130136350A1 (en) | Apparatus and method for foreground detection | |
CN103186982A (zh) | 一种治安智能卡口系统 | |
CN105608431A (zh) | 一种基于车辆数目与车流速度的高速公路拥堵检测方法 | |
KR101001302B1 (ko) | 코너정보를 이용한 끼어들기 위반차량 검지시스템 및 그 방법 | |
Poddar et al. | Automated traffic monitoring system using computer vision | |
CN102768802B (zh) | 基于有限状态机的道路车辆拥堵判别方法 | |
Chen et al. | Real-time approaching vehicle detection in blind-spot area | |
CN113313012B (zh) | 一种基于卷积生成对抗网络的危险驾驶行为识别方法 | |
Ua-Areemitr et al. | Low-cost road traffic state estimation system using time-spatial image processing | |
Ravish et al. | Intelligent traffic violation detection | |
CN201869279U (zh) | 智能交通高清检测抓拍专用摄像机 | |
KR100782205B1 (ko) | 영상검지를 이용한 차량속도 표시 장치 및 시스템 | |
CN102306278B (zh) | 一种基于视频的烟火检测方法和装置 | |
CN112215038A (zh) | 特定车辆识别系统、方法及存储介质 | |
CN110021174A (zh) | 一种基于视频图像的适用多场景的车流量计算方法 | |
Tsai et al. | Multi-lane detection and road traffic congestion classification for intelligent transportation system | |
Al-Kadi et al. | Road scene analysis for determination of road traffic density | |
Perkasa et al. | Video-based system development for automatic traffic monitoring | |
CN113128847A (zh) | 一种基于激光雷达的出入口匝道实时风险预警系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |