CN110992693B - 一种基于深度学习的交通拥堵程度多维度分析方法 - Google Patents

一种基于深度学习的交通拥堵程度多维度分析方法 Download PDF

Info

Publication number
CN110992693B
CN110992693B CN201911230017.5A CN201911230017A CN110992693B CN 110992693 B CN110992693 B CN 110992693B CN 201911230017 A CN201911230017 A CN 201911230017A CN 110992693 B CN110992693 B CN 110992693B
Authority
CN
China
Prior art keywords
congestion
target
tracking
frame
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911230017.5A
Other languages
English (en)
Other versions
CN110992693A (zh
Inventor
高飞
王金超
李云阳
卢书芳
陆佳炜
张元鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201911230017.5A priority Critical patent/CN110992693B/zh
Publication of CN110992693A publication Critical patent/CN110992693A/zh
Application granted granted Critical
Publication of CN110992693B publication Critical patent/CN110992693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公布了一种基于深度学习的交通拥堵程度多维度分析方法,包括有以下步骤:1)相机预置位设置以及相机标定;2)卷积神经网络模型初始化;3)获取实时视频流;4)检查相机工作状态;5)使用卷积神经网络模型对兴趣区域进行车辆目标检测;6)车辆目标跟踪;7)交通参数采集;8)拥堵勘探初步进行拥堵预测;9)拥堵程度分析;10)拥堵事件上报并设置睡眠状态。本发明采用了道路容纳率、平均速度等多维度的交通参数来进行准确而快速地交通拥堵程度分析,鲁棒性好且检测准确率较高。

Description

一种基于深度学习的交通拥堵程度多维度分析方法
技术领域
本发明涉及深度学习技术领域,具体涉及一种基于深度学习的交通拥堵程度多维度分析方法。
背景技术
近年来,随着城市化发展进程的不断推进,汽车保有量不断增长,这给交通带来便利的同时,也使交通拥堵、交通事故等问题日益突出。其中,交通拥堵问题不仅仅会影响人们的出行效率,甚至会导致严重的交通事故,危害人民的出行安全。因此,准确地检测并实时地进行交通拥堵程度分析就显得尤为重要。
交通拥堵检测最直接的方法是人为观察监控视频上的道路拥堵情况,但必然无法同时观察24小时所有路段的情况,而且需要耗费大量人力。因此依赖于计算机的实时而的拥堵检测算法是实际需要的。当前常见的拥堵检测算法主要分为两类,一种是基于感应线圈等传感设备采集到的拥堵参数结合拥堵的统计特性进行拥堵检测,但感应线圈的建设需要对路面造成破坏且施工复杂,易损坏,难修复,而且该方法预测准确性较低;另一种则是基于交通监控视频,使用计算机视觉相关算法进行拥堵分析,但该类检测方法大多采用了传统的图像处理方法,存在着使用的局限性,雨雾天、摄像头抖动、光线变化等现象均会对场景造成影响,进而直接影响检测效果。
而当前与本发明相关的交通拥堵检测方法有:发明专利(公开号:CN110287905A,名称:一种基于深度学习的交通拥堵区域实时检测方法)公开了一种基于深度学习的交通拥堵区域实时检测方法,但该发明专利并没有进行拥堵程度的检测,而本发明可以进行拥堵程度分析,且使用了多维度的交通参数进行拥堵程度分析,鲁棒性更好,两者存在明显的差别。
发明内容
为克服现有技术上检测精度低、检测速度慢、鲁棒性的不足,本发明提供了一种基于深度学习的交通拥堵程度多维度分析方法,用深度卷积神经网络CNN特征进行车辆目标检测,并采用了道路容纳率、平均速度等多维度的交通参数来进行准确而快速地拥堵程度分析。
为实现上述发明,采用的技术方案如下:
一种基于深度学习的交通拥堵程度多维度分析方法,其特征在于,包括如下步骤:
1)相机预置位设置以及相机标定;
2)卷积神经网络模型初始化;
3)获取实时视频流;
4)检查相机工作状态;
5)相机工作状态正常,使用卷积神经网络模型对兴趣区域进行车辆目标检测;
6)车辆目标跟踪;
7)交通参数采集;
8)拥堵勘探初步进行拥堵预测;
9)若存在拥堵,则进行拥堵程度分析;
10)拥堵事件上报并设置睡眠状态。
所述的一种基于深度学习的交通拥堵程度多维度分析方法,其特征在于,步骤1)中,所述的相机预置位为进行拥堵程度分析时相机所处的固定位置。
所述的一种基于深度学习的交通拥堵程度多维度分析方法,其特征在于,步骤1)中,所述的相机预置位设置为将摄像头调整到合适的交通拥堵程度分析位置,并将当前相机位置设置为预置位。
所述的一种基于深度学习的交通拥堵程度多维度分析方法,其特征在于,步骤1)中,所述的相机标定为截取相机视频流的一帧图像,在其上进行车道线、兴趣区域、拥堵程度分析区域标定。
所述的一种基于深度学习的交通拥堵程度多维度分析方法,其特征在于,步骤2)中,所述的卷积神经网络模型初始化为将卷积网络模型加载到GPU显卡中以及权重参数恢复。
所述的一种基于深度学习的交通拥堵程度多维度分析方法,其特征在于,步骤4)中,所述的检查相机工作状态具体包括以下步骤:
4.1:检查当前是否为休眠状态,如果为休眠状态,则不进行拥堵程度分析;
4.2:获取当前相机的位置信息,与预置位比较是否相同,若相同则进行拥堵程度分析;否则,不进行拥堵程度分析;
4.3:根据公式(1)计算当前视频帧时间Tcur与前一帧时间Tpre的时间间隔Tspace,单位均为秒;若Tspace≥T0,则将目标跟踪队列重置;否则,进行正常的拥堵程度分析;T0表示时间阈值。
Tspace=Tcur-Tpre (1)
所述的一种基于深度学习的交通拥堵程度多维度分析方法,其特征在于,步骤(6)中,所述的车辆目标跟踪包含以下步骤:
6.1:得到当前帧的车辆目标检测结果后,过滤掉不在车道线内以及拥堵程度分析区域内的车辆;
6.2:基于IoU匹配的车辆目标跟踪:
6.2.1:计算当前帧检测到的车辆目标D和跟踪队列中目标Q的IoU和宽高误差Ew、Eh;IoU根据公式(2)计算,宽高误差Ew、Eh分别根据公式(3)、公式(4)计算:
Figure BDA0002303278340000041
Figure BDA0002303278340000042
Figure BDA0002303278340000043
其中,Dbox为当前帧的车辆目标D的边界框,QTrackingBox为跟踪队列中目标Q的实时跟踪边界框,∩为求交集,∪为求并集;Dw和Dh分别为当前帧的车辆目标D实时跟踪边界框的宽高,Qw和Qh分别为跟踪队列中目标Q的实时跟踪边界框的宽高;
6.2.2:如果IoU≥IoUt,Ew≤Ewt,Eh≤Eht,则认为D和Q是同一辆车,将D标记为已匹配,将Q标记为已检测,实时跟踪框更新为当前目标D的边界框;其中IoUt,Ewt,Eht为预先设置的可调值,IoUt的取值范围为0~1.0,Ewt和Eht的取值要求大于等于0;
6.2.3:将处于拥堵程度分析区域且未匹配的车辆目标D加入跟踪队列中,初始边界框以及实时跟踪框为当前目标D的边界框,初始图像为当前视频帧,初始时间Qinit_time为当前视频帧的时间;
6.3:维护跟踪队列:
6.3.1:将跟踪队列中不处于拥堵程度分析区域的跟踪目标移除;
6.3.2:若跟踪队列中存在跟踪目标Q在当前帧中没有检测到且前Etolerate_frame帧也没有得到更新,则认为该目标已经驶离,并将该跟踪目标Q从跟踪队列中移除;其中Etolerate_frame为预先设置的可调值,其取值要求为Etolerate_frame≥1。
所述的一种基于深度学习的交通拥堵程度多维度分析方法,其特征在于,步骤7)中,所述的交通参数采集包含以下步骤:
7.1:道路容纳率计算:根据公式(5)-(7)计算拥堵程度分析区域的容纳率R={R1,R2};
Figure BDA0002303278340000051
Figure BDA0002303278340000052
Figure BDA0002303278340000053
其中,Ti∈L表示跟踪目标Ti位于拥堵程度分析区域L内,Area(Ti∩L)为计算两者交集的面积,C1为拥堵分析区域极限容纳面积,C2为拥堵分析区域极限容纳车辆;极限容纳面积C1和极限容纳车辆为C2为预先设定的可调值,单位分别为像素和辆,取值范围分别为C1≥1,C2≥1;
7.2:拥堵程度分析区域平均车速计算:
7.2.1:选择跟踪队列中车辆跟踪次数达到TTrackingFrame帧的目标为有效目标;其中TTrackingFrame为预先设置的可调值,单位为帧,其取值要求为TTrackingFrame≥1;
7.2.2:如果不存在有效目标,则将平均像素速度
Figure BDA0002303278340000057
置为无穷大;否则根据公式(8)-(10)计算平均像素速度计算
Figure BDA0002303278340000058
表示车辆在单位时间内移动距离为
Figure BDA0002303278340000059
个车身长度;
Figure BDA0002303278340000054
Figure BDA0002303278340000055
Figure BDA0002303278340000056
其中,
Figure BDA0002303278340000061
为第i个有效目标的平均车身长度,Sij为第i有效目标的第j个时刻的车身长度;
Figure BDA0002303278340000062
为第i有效目标的移动速度,Xend和Xbegin分别为该有效目标结束跟踪tend和开始跟踪tbegin时刻的目标位置,n为该目标跟踪次数,m为有效目标数量。
所述的一种基于深度学习的交通拥堵程度多维度分析方法,其特征在于,步骤8)中,所述的拥堵勘探初步进行拥堵预测为:如果
Figure BDA0002303278340000063
Figure BDA0002303278340000064
则初步判断之后一段时间
Figure BDA0002303278340000065
内不会存在拥堵事件,因此拥堵程度分析方法进入睡眠状态并清空跟踪队列,直至
Figure BDA0002303278340000066
后重新进行拥堵程度分析;其中
Figure BDA0002303278340000067
Figure BDA0002303278340000068
为预先设定的可调值,取值范围分别为
Figure BDA0002303278340000069
Figure BDA00023032783400000610
Figure BDA00023032783400000611
为预先设定的可调值,单位为秒,取值范围为
Figure BDA00023032783400000612
所述的一种基于深度学习的交通拥堵程度多维度分析方法,其特征在于,步骤9)中,所述的拥堵程度分析包含以下步骤:
9.1:如果
Figure BDA00023032783400000614
且C≥δC,则当前存在瞬时拥堵情况;其中δv和δC为预先设定的可调值,取值范围分别为δv≥0和δC≥0;
9.2:如果在前Tjam时间内,都为瞬时拥堵情况,则判断当前存在拥堵现象;其中Tjam为预先设定的可调值,单位为秒,取值范围为Tjam≥1;
9.3:如果当前存在拥堵现象,按如下步骤判断是否为静止拥堵:
9.3.1:判断有效静止目标:将跟踪目标的初始边界框和实时跟踪边界框根据公式(11)计算IoU,并且计算其停留时间Parking,如果其IoU≥IoUt且Parking≥Tparking,则认为跟踪目标为有效静止目标;其中IoUt,Tparking为预先设置的可调值,IoUt的取值范围为0~1.0,Tparking取值要求大于等于0;
Figure BDA00023032783400000613
其中,QinitBox为跟踪队列中目标Q的初始边界框,QTrackingBox为跟踪队列中目标Q的实时跟踪边界框,∩为求交集,∪为求并集;
9.3.2:如果有效静止目标的数量大于TJamPark,则认为当前为静止拥堵现象,否则认为当前为缓行拥堵现象;其中TJamPark为预先设定的可调值,取值要求为TJamPark≥0;
9.4:如果当前存在拥堵现象,重置跟踪队列。
所述的一种基于深度学习的交通拥堵程度多维度分析方法,其特征在于,步骤10)中,所述的拥堵事件上报并设置睡眠状态包含以下步骤:
10.1:如果当前存在拥堵现象,选择在前Tjam时刻的视频帧和当前视频帧上绘制出当前的拥堵程度分析区域,并在视频帧底边添加视频帧时间、地点信息以及拥堵程度后将两张图像左右排列合并,最后将拥堵信息以及合成图进行上报;
10.2:如果成功将拥堵现象上报,则设置为睡眠状态,直至Tsleep后重新开启道路溢出检测,其中Tsleep为预先设置的可调值,单位为秒,其取值范围为Tsleep≥1。
与现有技术相比,本发明具有的主要有益效果为:
本发明提出一种基于深度学习的交通拥堵程度多维度分析方法,具有对环境变化较强的鲁棒性,实现了实时的检测效果以及较高的拥堵识别精度。由于该方法可以分析出缓行拥堵、静止拥堵等两种拥堵程度,可以进一步地辅助交通调度,极大降低人力资源成本、缓解交通拥堵、减少交通负荷和环境污染、保证交通安全、提高通行效率。
附图说明
图1为本发明方法的步骤流程图;
图2为本发明方法的标定图实例,其中四条实线线段为车道线,较小矩形框为拥堵程度分析区域,最大区域矩形框为兴趣区域;
图3为本发明方法的缓行拥堵分析效果图,其中矩形框为缓行拥堵区域;
图4为本发明方法的静止拥堵分析效果图,其中矩形框为禁止拥堵区域。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
如图1-3所示,本实施例提供的一种基于深度学习的交通拥堵程度多维度分析方法包括以下步骤:
S1,相机预置位设置以及相机标定。
具体地,将摄像头调整到合适的交通拥堵程度分析位置,并将当前相机位置设置为预置位,之后截取相机视频流的一帧图像,在其上进行车道线、兴趣区域、拥堵程度分析区域标定;
S2,卷积神经网络模型初始化;
具体地,将卷积网络模型加载到GPU显卡中,并恢复权重参数。
S3,获取实时视频流;
S4,检查相机工作状态;
具体地,包括以下步骤:
S4.1:检查当前是否为休眠状态,如果为休眠状态,则不进行拥堵程度分析;
S4.2:获取当前相机的位置信息,与预置位比较是否相同,若相同则进行拥堵程度分析;否则,不进行拥堵程度分析;
S4.3:根据公式(1)计算当前视频帧时间Tcur与前一帧时间Tpre的时间间隔Tspace,单位均为秒;若Tspace≥T0,则将目标跟踪队列重置;否则,进行正常的拥堵程度分析;T0表示时间阈值;
Tspace=Tcur-Tpre (1)
S5,使用卷积神经网络模型对兴趣区域进行车辆目标检测;
S6,车辆目标跟踪;
具体地,包含以下步骤:
S6.1:得到当前帧的车辆目标检测结果后,过滤掉不在车道线内以及拥堵程度分析区域内的车辆;
S6.2:基于IoU匹配的车辆目标跟踪:
S6.2.1:计算当前帧检测到的车辆目标D和跟踪队列中目标Q的IoU和宽高误差Ew、Eh;IoU根据公式(2)计算,宽高误差Ew、Eh分别根据公式(3)、公式(4)计算:
Figure BDA0002303278340000091
Figure BDA0002303278340000092
Figure BDA0002303278340000093
其中,Dbox为当前帧的车辆目标D的边界框,QTrackingBox为跟踪队列中目标Q的实时跟踪边界框,∩为求交集,∪为求并集;Dw和Dh分别为当前帧的车辆目标D实时跟踪边界框的宽高,Qw和Qh分别为跟踪队列中目标Q的实时跟踪边界框的宽高;
S6.2.2:如果IoU≥IoUt,Ew≤Ewt,Eh≤Eht,则认为D和Q是同一辆车,将D标记为已匹配,将Q标记为已检测,实时跟踪框更新为当前目标D的边界框;其中IoUt,Ewt,Eht为预先设置的可调值,IoUt的取值范围为0~1.0,Ewt和Eht的取值要求大于等于0;
S6.2.3:将处于拥堵程度分析区域且未匹配的车辆目标D加入跟踪队列中,初始边界框以及实时跟踪框为当前目标D的边界框,初始图像为当前视频帧,初始时间Qinit_time为当前视频帧的时间;
S6.3:维护跟踪队列:
S6.3.1:将跟踪队列中不处于拥堵程度分析区域的跟踪目标移除;
S6.3.2:若跟踪队列中存在跟踪目标Q在当前帧中没有检测到且前Etolerate_frame帧也没有得到更新,则认为该目标已经驶离,并将该跟踪目标Q从跟踪队列中移除;其中Etolerate_frame为预先设置的可调值,其取值要求为Etolerate_frame≥1。
S7,交通参数采集
具体地,包含以下步骤:
S7.1:道路容纳率计算:根据公式(5)-(7)计算拥堵程度分析区域的容纳率R={R1,R2};
Figure BDA0002303278340000101
Figure BDA0002303278340000102
Figure BDA0002303278340000103
其中,Ti∈L表示跟踪目标Ti位于拥堵程度分析区域L内,Area(Ti∩L)为计算两者交集的面积,C1为拥堵分析区域极限容纳面积,C2为拥堵分析区域极限容纳车辆;极限容纳面积C1和极限容纳车辆为C2为预先设定的可调值,单位分别为像素和辆,取值范围分别为C1≥1,C2≥1;
S7.2:拥堵程度分析区域平均车速计算:
S7.2.1:选择跟踪队列中车辆跟踪次数达到TTrackingFrame帧的目标为有效目标;其中TTrackingFrame为预先设置的可调值,单位为帧,其取值要求为TTrackingFrame≥1;
S7.2.2:如果不存在有效目标,则将平均像素速度
Figure BDA0002303278340000104
置为无穷大;否则根据公式(8)-(10)计算平均像素速度计算
Figure BDA00023032783400001116
表示车辆在单位时间内移动距离为
Figure BDA00023032783400001117
个车身长度;
Figure BDA0002303278340000111
Figure BDA0002303278340000112
Figure BDA0002303278340000113
其中,
Figure BDA0002303278340000114
为第i个有效目标的平均车身长度,Sij为第i有效目标的第j个时刻的车身长度;
Figure BDA0002303278340000115
为第i有效目标的移动速度,Xend和Xbegin分别为该有效目标结束跟踪tend和开始跟踪tbegin时刻的目标位置;n为该目标跟踪次数,m为有效目标数量;
S8,拥堵勘探初步进行拥堵预测
具体地,如果
Figure BDA0002303278340000116
Figure BDA0002303278340000117
则初步判断之后一段时间
Figure BDA0002303278340000118
内不会存在拥堵事件,因此拥堵程度分析方法进入睡眠状态并清空跟踪队列,直至
Figure BDA0002303278340000119
后重新进行拥堵程度分析;其中
Figure BDA00023032783400001110
Figure BDA00023032783400001111
为预先设定的可调值,取值范围分别为
Figure BDA00023032783400001112
Figure BDA00023032783400001113
Figure BDA00023032783400001114
为预先设定的可调值,单位为秒,取值范围为
Figure BDA00023032783400001115
S9,拥堵程度分析
具体地,包含以下步骤:
S9.1:如果V≤δv且C≥δC,则当前存在瞬时拥堵情况;其中δv和δC为预先设定的可调值,取值范围分别为δv≥0和δC≥0;
S9.2:如果在前Tjam时间内,都为瞬时拥堵情况,则判断当前存在拥堵现象;其中Tjam为预先设定的可调值,单位为秒,取值范围为Tjam≥1;
S9.3:如果当前存在拥堵现象,按如下步骤判断是否为静止拥堵:
S9.3.1:判断有效静止目标:将跟踪目标的初始边界框和实时跟踪边界框根据公式(11)计算IoU,并且计算其停留时间Parking,如果其IoU≥IoUt且Parking≥Tparking,则认为跟踪目标为有效静止目标;其中IoUt,Tparking为预先设置的可调值,IoUt的取值范围为0~1.0,Tparking取值要求大于等于0;
Figure BDA0002303278340000121
其中,QinitBox为跟踪队列中目标Q的初始边界框,QTrackingBox为跟踪队列中目标Q的实时跟踪边界框,∩为求交集,∪为求并集;
S9.3.2:如果有效静止目标的数量大于TJamPark,则认为当前为静止拥堵现象,否则认为当前为缓行拥堵现象;其中TJamPark为预先设定的可调值,取值要求为TJamPark≥0;
S9.4:如果当前存在拥堵现象,重置跟踪队列;
S10,拥堵事件上报并设置睡眠状态
具体地,包含以下步骤:
S10.1:如果当前存在拥堵现象,选择在前Tjam时刻的视频帧和当前视频帧上绘制出当前的拥堵程度分析区域,并在视频帧底边添加视频帧时间、地点信息以及拥堵程度后将两张图像左右排列合并,最后将拥堵信息以及合成图进行上报;
S10.2:如果成功将拥堵现象上报,则设置为睡眠状态,直至Tsleep后重新开启道路溢出检测,其中Tsleep为预先设置的可调值,单位为秒,其取值范围为Tsleep≥1。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于深度学习的交通拥堵程度多维度分析方法,其特征在于,包括如下步骤:
1)相机预置位设置以及相机标定,相机预置位为进行拥堵程度分析时相机所处的固定位置;即将摄像头调整到合适的交通拥堵程度分析位置,并将当前相机位置设置为预置位;相机标定具体为截取相机视频流的一帧图像,在其上进行车道线、兴趣区域、拥堵程度分析区域标定;
2)卷积神经网络模型初始化;其中,卷积神经网络模型为tiny-YOLO v3,卷积神经网络模型初始化为将卷积网络模型加载到GPU显卡中以及权重参数恢复;
3)获取实时视频流;
4)检查相机工作状态;具体包括以下步骤:
4.1):检查当前是否为休眠状态,如果为休眠状态,则不进行拥堵程度分析;
4.2):获取当前相机的位置信息,与预置位比较是否相同,若相同则进行拥堵程度分析;否则,不进行拥堵程度分析;
4.3):根据公式(1)计算当前视频帧时间Tcur与前一帧时间Tpre的时间间隔Tspace,单位均为秒;若Tspace≥T0,则将目标跟踪队列重置;否则,进行正常的拥堵程度分析;T0表示时间阈值;
Tspace=Tcur-Tpre (1)
5)使用卷积神经网络模型对兴趣区域进行车辆目标检测;
6)车辆目标跟踪;包含以下步骤:
6.1):得到当前帧的车辆目标检测结果后,过滤掉不在车道线内以及拥堵程度分析区域内的车辆;
6.2):基于IoU匹配的车辆目标跟踪:
6.2.1):计算当前帧检测到的车辆目标D和跟踪队列中目标Q的IoU和宽高误差Ew、Eh;IoU根据公式(2)计算,宽高误差Ew、Eh分别根据公式(3)、公式(4)计算:
Figure FDA0003162536380000021
Figure FDA0003162536380000022
Figure FDA0003162536380000023
其中,Dbox为当前帧的车辆目标D的边界框,QTrackingBox为跟踪队列中目标Q的实时跟踪边界框,∩为求交集,∪为求并集;Dw和Dh分别为当前帧的车辆目标D实时跟踪边界框的宽高,Qw和Qh分别为跟踪队列中目标Q的实时跟踪边界框的宽高;
6.2.2):如果IoU≥IoUt,Ew≤Ewt,Eh≤Eht,则认为D和Q是同一辆车,将D标记为已匹配,将Q标记为已检测,实时跟踪框更新为当前目标D的边界框;其中IoUt,Ewt,Eht为预先设置的可调值,IoUt的取值范围为0~1.0,Ewt和Eht的取值要求大于等于0;
6.2.3):将处于拥堵程度分析区域且未匹配的车辆目标D加入跟踪队列中,初始边界框以及实时跟踪框为当前目标D的边界框,初始图像为当前视频帧,初始时间Qinit_time为当前视频帧的时间;
6.3):维护跟踪队列:
6.3.1):将跟踪队列中不处于拥堵程度分析区域的跟踪目标移除;
6.3.2):若跟踪队列中存在跟踪目标Q在当前帧中没有检测到且前Etolerate_frame帧也没有得到更新,则认为该目标已经驶离,并将该跟踪目标Q从跟踪队列中移除;其中Etolerate_frame为预先设置的可调值,其取值要求为Etolerate_frame≥1;
7)交通参数采集;包含以下步骤:
7.1):道路容纳率计算:根据公式(5)-(7)计算拥堵程度分析区域的容纳率R={R1,R2};
Figure FDA0003162536380000031
Figure FDA0003162536380000032
Figure FDA0003162536380000033
其中,Ti∈L表示跟踪目标Ti位于拥堵程度分析区域L内,Area(Ti∩L)为计算两者交集的面积,C1为拥堵分析区域极限容纳车辆,C2为拥堵分析区域极限容纳面积;极限容纳面积C1和极限容纳车辆为C2为预先设定的可调值,单位分别为像素和辆,取值范围分别为C1≥1,C2≥1;
7.2):拥堵程度分析区域平均车速计算:
7.2.1):选择跟踪队列中车辆跟踪次数达到TTrackingFrame帧的目标为有效目标;其中TTrackingFrame为预先设置的可调值,单位为帧,其取值要求为TTrackingFrame≥1;
7.2.2):如果不存在有效目标,则将平均像素速度V置为无穷大;否则根据公式(8)-(10)计算平均像素速度计算
Figure FDA0003162536380000034
表示车辆在单位时间内移动距离为
Figure FDA0003162536380000035
个车身长度;
Figure FDA0003162536380000036
Figure FDA0003162536380000037
Figure FDA0003162536380000041
其中,
Figure FDA0003162536380000042
为第i个有效目标的平均车身长度,Sij为第i有效目标的第j个时刻的车身长度;
Figure FDA0003162536380000043
为第i有效目标的移动速度,Xend和Xbegin分别为该有效目标结束跟踪tend和开始跟踪tbegin时刻的目标位置;n为该目标跟踪次数,m为有效目标数量;
8)拥堵勘探初步进行拥堵预测,具体为:如果
Figure FDA0003162536380000044
Figure FDA0003162536380000045
则初步判断之后一段时间
Figure FDA0003162536380000046
内不会存在拥堵事件,因此拥堵程度分析方法进入睡眠状态并清空跟踪队列,直至
Figure FDA0003162536380000047
后重新进行拥堵程度分析;其中
Figure FDA0003162536380000048
Figure FDA0003162536380000049
为预先设定的可调值,取值范围分别为
Figure FDA00031625363800000410
Figure FDA00031625363800000411
Figure FDA00031625363800000412
为预先设定的可调值,单位为秒,取值范围为
Figure FDA00031625363800000413
9)拥堵程度分析,所述拥堵程度分析包括:如果当前存在拥堵现象,按如下步骤判断是否为静止拥堵:
9.1)判断有效静止目标:将跟踪目标的初始边界框和实时跟踪边界框根据公式(11)计算IoU,并且计算其停留时间Parking,如果其IoU≥IoUt且Parking≥Tparking,则认为跟踪目标为有效静止目标;其中IoUt,Tparking为预先设置的可调值,IoUt的取值范围为0~1.0,Tparking取值要求大于等于0;
Figure FDA00031625363800000414
其中,QinitBox为跟踪队列中目标Q的初始边界框,QTrackingBox为跟踪队列中目标Q的实时跟踪边界框,∩为求交集,∪为求并集;
9.2)如果有效静止目标的数量大于TJamPark,则认为当前为静止拥堵现象,否则认为当前为缓行拥堵现象;其中TJamPark为预先设定的可调值,取值要求为TJamPark≥0;
10)拥堵事件上报并设置睡眠状态,具体包含以下步骤:
10.1):如果当前存在拥堵现象,选择在前Tjam时刻的视频帧和当前视频帧上绘制出当前的拥堵程度分析区域,并在视频帧底边添加视频帧时间、地点信息以及拥堵程度后将两张图像左右排列合并,最后将拥堵信息以及合成图进行上报;
10.2) :如果成功将拥堵现象上报,则设置为睡眠状态,直至Tsleep后重新开启道路溢出检测,其中Tsleep为预先设置的可调值,单位为秒,其取值范围为Tsleep≥1。
CN201911230017.5A 2019-12-04 2019-12-04 一种基于深度学习的交通拥堵程度多维度分析方法 Active CN110992693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911230017.5A CN110992693B (zh) 2019-12-04 2019-12-04 一种基于深度学习的交通拥堵程度多维度分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911230017.5A CN110992693B (zh) 2019-12-04 2019-12-04 一种基于深度学习的交通拥堵程度多维度分析方法

Publications (2)

Publication Number Publication Date
CN110992693A CN110992693A (zh) 2020-04-10
CN110992693B true CN110992693B (zh) 2021-08-24

Family

ID=70090269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911230017.5A Active CN110992693B (zh) 2019-12-04 2019-12-04 一种基于深度学习的交通拥堵程度多维度分析方法

Country Status (1)

Country Link
CN (1) CN110992693B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932908B (zh) * 2020-08-05 2021-07-23 浙江工业大学 一种基于深度学习的转向比及车流量统计方法
CN112509338B (zh) * 2020-09-11 2022-02-22 博云视觉(北京)科技有限公司 一种静默式低点视频监控交通拥堵事件检测方法
CN112419750B (zh) * 2020-09-11 2022-02-22 博云视觉(北京)科技有限公司 一种静默式低点出口道溢出事件检测方法
CN112417953B (zh) * 2020-10-12 2022-07-19 腾讯科技(深圳)有限公司 道路状况检测和地图数据更新方法、装置、系统及设备
CN111967451B (zh) * 2020-10-21 2021-01-22 蘑菇车联信息科技有限公司 一种道路拥堵检测方法及装置
CN112767681B (zh) * 2020-12-16 2022-08-19 济南博观智能科技有限公司 一种交通状态检测方法、装置及相关设备
CN113269768B (zh) * 2021-06-08 2022-07-22 中移智行网络科技有限公司 一种交通拥堵分析方法、装置及分析设备
CN113487650B (zh) * 2021-06-08 2023-09-19 中移(上海)信息通信科技有限公司 一种道路拥堵检测方法、装置及检测设备
CN113516685B (zh) * 2021-07-09 2024-06-25 东软睿驰汽车技术(沈阳)有限公司 目标跟踪方法、装置、设备及存储介质
CN114822043B (zh) * 2022-06-29 2022-09-13 长沙海信智能系统研究院有限公司 道路拥堵检测方法、装置及电子设备
CN116959249B (zh) * 2023-07-25 2024-07-26 深圳原世界科技有限公司 基于cim的城市信息管理平台及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136194A (zh) * 2011-03-22 2011-07-27 浙江工业大学 基于全景计算机视觉的道路交通状态检测装置
CN106327863A (zh) * 2015-07-06 2017-01-11 北京文安智能技术股份有限公司 一种车辆拥堵检测预警方法、装置及系统
KR101722169B1 (ko) * 2016-08-09 2017-03-31 한국정보기술 주식회사 Cctv를 이용하여 실시간 정체 상황을 감시하기 위한 시스템 및 그 방법
CN108615358A (zh) * 2018-05-02 2018-10-02 安徽大学 一种道路拥堵检测方法及装置
CN109087510A (zh) * 2018-09-29 2018-12-25 讯飞智元信息科技有限公司 交通监测方法及装置
CN110176144A (zh) * 2019-06-26 2019-08-27 罗云亮 一种交通道路管理的方法及对应的网络系统
CN110287905A (zh) * 2019-06-27 2019-09-27 浙江工业大学 一种基于深度学习的交通拥堵区域实时检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903475B (zh) * 2014-04-04 2016-03-30 荣辉桂 一种面向城市级的智能泊车服务系统及泊车调度方法
EP3144516B1 (en) * 2015-09-16 2023-05-03 De Zhen Corporation Pty Ltd Heat energy feedback engine and operating method
US20190108734A1 (en) * 2017-10-06 2019-04-11 Cook Security Group Inc. Tampering detection system for financial kiosks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136194A (zh) * 2011-03-22 2011-07-27 浙江工业大学 基于全景计算机视觉的道路交通状态检测装置
CN106327863A (zh) * 2015-07-06 2017-01-11 北京文安智能技术股份有限公司 一种车辆拥堵检测预警方法、装置及系统
KR101722169B1 (ko) * 2016-08-09 2017-03-31 한국정보기술 주식회사 Cctv를 이용하여 실시간 정체 상황을 감시하기 위한 시스템 및 그 방법
CN108615358A (zh) * 2018-05-02 2018-10-02 安徽大学 一种道路拥堵检测方法及装置
CN109087510A (zh) * 2018-09-29 2018-12-25 讯飞智元信息科技有限公司 交通监测方法及装置
CN110176144A (zh) * 2019-06-26 2019-08-27 罗云亮 一种交通道路管理的方法及对应的网络系统
CN110287905A (zh) * 2019-06-27 2019-09-27 浙江工业大学 一种基于深度学习的交通拥堵区域实时检测方法

Also Published As

Publication number Publication date
CN110992693A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110992693B (zh) 一种基于深度学习的交通拥堵程度多维度分析方法
CN110287905B (zh) 一种基于深度学习的交通拥堵区域实时检测方法
CN110992683B (zh) 一种基于动态图像感知的交叉口盲区预警方法及系统
CN110298307B (zh) 一种基于深度学习的异常停车实时检测方法
CN101739551B (zh) 运动目标识别方法及系统
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
JP7081438B2 (ja) オブジェクト速度推定方法と装置及び画像処理機器
CN110379168B (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
KR100459476B1 (ko) 차량의 대기 길이 측정 장치 및 방법
CN111027447B (zh) 一种基于深度学习的道路溢出实时检测方法
CN108596129A (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN111932908B (zh) 一种基于深度学习的转向比及车流量统计方法
US20140348390A1 (en) Method and apparatus for detecting traffic monitoring video
CN101308607A (zh) 基于视频的混合交通环境下移动目标多特征融合跟踪方法
CN110298216A (zh) 基于车道线梯度图像自适应阈值分割的车辆偏离报警方法
CN110929676A (zh) 一种基于深度学习的违章掉头实时检测方法
Chiu et al. Automatic Traffic Surveillance System for Vision-Based Vehicle Recognition and Tracking.
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
CN112464889A (zh) 道路车辆姿态和运动信息检测方法
CN109919062A (zh) 一种基于特征量融合的道路场景天气识别方法
CN104537649A (zh) 一种基于图像模糊度比较的车辆转向判断方法及系统
Xia et al. Automatic multi-vehicle tracking using video cameras: An improved CAMShift approach
CN115240170A (zh) 一种基于事件相机的道路行人检测跟踪方法及系统
CN116631187B (zh) 一种案件现场勘查信息智能采集分析系统
CN110633492A (zh) 一种仿真机器人Android平台的车道偏离预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant