CN112818935A - 基于深度学习的多车道拥堵检测及持续时间预测方法及系统 - Google Patents

基于深度学习的多车道拥堵检测及持续时间预测方法及系统 Download PDF

Info

Publication number
CN112818935A
CN112818935A CN202110228230.3A CN202110228230A CN112818935A CN 112818935 A CN112818935 A CN 112818935A CN 202110228230 A CN202110228230 A CN 202110228230A CN 112818935 A CN112818935 A CN 112818935A
Authority
CN
China
Prior art keywords
optical flow
congestion
heat map
vehicle density
density heat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110228230.3A
Other languages
English (en)
Other versions
CN112818935B (zh
Inventor
李晓飞
朱凌志
吴聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110228230.3A priority Critical patent/CN112818935B/zh
Publication of CN112818935A publication Critical patent/CN112818935A/zh
Application granted granted Critical
Publication of CN112818935B publication Critical patent/CN112818935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了智能交通与图像处理技术领域的基于深度学习的多车道拥堵检测及持续时间预测方法及系统，能提高多车道拥堵检测的准确率且可以对拥堵持续时间进行准确预测。获取道路交通监控实时视频流，进而获取运动前景图像；利用若干帧运动前景图像计算视频流中的道路行车兴趣区域；基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵；基于车辆密度热图提取网络，获取当前场景的车辆密度热图；将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果；将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值。

Description

基于深度学习的多车道拥堵检测及持续时间预测方法及系统
技术领域
本发明属于智能交通与图像处理技术领域，具体涉及一种基于深度学习的多车道拥堵检测及持续时间预测方法及系统。
背景技术
随着社会经济和出行需求的快速发展，交通拥堵频繁发生，造成巨大的经济损失和环境污染，实时、准确、有效地通报交通拥堵就显得尤为重要，也是智能交通控制和诱导的关键技术之一，基于视频分析的智能交通系统逐渐被推广，与传统方法相比，交通视频的监控范围大、交通信息多、监控成本低，具有一定优势。
目前的检测方式基于预先设定区域单特征进行判断，对场景环境以及视频质量有着较高要求，然而实际交通场景复杂多变，针对各种场景设置检测区域繁琐且耗费人力，而且使用单一特征信息无法准确表达交通运行状况，准确率偏低，难以进行分车道的交通拥堵检测，同时无法对拥堵持续时间进行预测，仍需人力来对拥堵时间进行分析。
发明内容
为解决现有技术中的不足，本发明提供一种基于深度学习的多车道拥堵检测及持续时间预测方法及系统，能提高多车道拥堵检测的准确率且同时可以对拥堵持续时间进行准确预测。
为达到上述目的，本发明所采用的技术方案是：
第一方面，提供一种多车道拥堵检测及持续时间预测方法，包括：获取道路交通监控实时视频流，进而获取运动前景图像；利用若干帧运动前景图像计算视频流中的道路行车兴趣区域；基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵，并根据行车兴趣区域的光流矩阵得到车道分割结果；基于车辆密度热图提取网络，获取当前场景的车辆密度热图；将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果；将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值。
进一步地，所述利用若干帧运动前景图像计算视频流中的道路行车兴趣区域，具体为：S211、获取实时视频流中每一帧的前景图像；S212、基于图像透视原理对各前景图像做自适应膨胀处理；S213、循环完成步骤S211，S212若干次后，获取若干帧前景图像构成前景图像集合M，通过前景图像集合M合成行车道路关注区域；S214、对S213生成的行车道路关注区域进行中值滤波，平滑边界，获得道路行车兴趣区域。
进一步地，所述基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵，并根据行车兴趣区域的光流矩阵得到车道分割结果，具体为：S311、利用针对交通监控场景训练的光流提取神经网络对一定间隔的帧图像提取第一光流矩阵；S312、重复S311并对其生成的第一光流矩阵叠加后的第二光流矩阵各像素的光流做单位化处理，获得光流方向矩阵；S313、将光流方向矩阵与道路行车兴趣区域进行叠加，得到仅包含道路行车兴趣区域的光流矩阵；S314、对行车兴趣区域的光流矩阵中的元素按照矢量角度进行聚类，所获得的聚类结果中，归属同一类的区域即为道路分割结果。
进一步地，所述仅包含道路行车兴趣区域的光流矩阵，是以二维向量加车道分割标签形式表示光流方向的矩阵。
进一步地，所述基于车辆密度热图提取网络，获取当前场景的车辆密度热图，具体为：S411、对实时视频流的各视频帧中的车辆目标框进行标注，构建车辆检测数据集；S412、利用S411构建的车辆检测数据集对车辆密度热图提取网络进行训练，且车辆密度热图提取网络采用Anchor free形式的目标检测网络；S413、将视频帧输入训练好的车辆密度热图提取网络，得到当前场景的车辆密度热图。
进一步地，所述将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果，具体为：S511、对视频数据中的拥堵事件进行标注，构建拥堵分类数据集；S512，利用构建的拥堵分类数据集训练基于双流特征的拥堵判定模型；S513，将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入基于双流特征的拥堵判定模型，得到拥堵判定结果。
进一步地，所述将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值，具体为：S611，利用车辆密度热图与道路行车兴趣区域的光流矩阵构造拥堵持续时间预测数据集；S612，利用所构造的拥堵持续时间预测数据集对循环卷积神经网络进行训练；S613，将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度；循环步骤S613，并根据后续时刻获得的车辆密度热图与拥堵置信度对循环卷积神经网络进行更新修正，得到此时刻拥堵持续时间的预测值。
第二方面，提供一种多车道拥堵检测及持续时间预测系统，包括：第一模块，用于获取道路交通监控实时视频流，进而获取运动前景图像；第二模块，用于利用若干帧运动前景图像计算视频流中的道路行车兴趣区域；第三模块，用于基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵；第四模块，用于基于车辆密度热图提取网络，获取当前场景的车辆密度热图；第五模块，用于将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果；第六模块，用于将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值。
与现有技术相比，本发明所达到的有益效果：本发明通过对道路交通监控摄像头采集的实时视频流进行处理，获取道路行车兴趣区域进而获取道路行车兴趣区域的光流矩阵和车辆密度热图，并基于道路行车兴趣区域的光流矩阵和车辆密度热图进行道路拥堵检测和拥堵持续时间预测，提高了多车道拥堵检测的准确率且同时可以对拥堵持续时间进行准确预测。
附图说明
图1是本发明实施例提供的一种多车道拥堵检测及持续时间预测方法的流程示意图；
图2是图1中基于车辆密度热图提取网络获取当前场景的车辆密度热图的流程示意图；
图3是图1中将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型得到拥堵判定结果的流程示意图；
图4是本发明实施例中获得的包含道路行车兴趣区域的光流矩阵的输出可视化后的效果图；
图5是本发明实施例中拥堵判定模型的输出可视化后的效果图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
如图1所示，一种多车道拥堵检测及持续时间预测方法，包括：获取道路交通监控实时视频流，进而获取运动前景图像；利用若干帧运动前景图像计算视频流中的道路行车兴趣区域；基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵，并根据行车兴趣区域的光流矩阵得到车道分割结果；基于车辆密度热图提取网络，获取当前场景的车辆密度热图；将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果；将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值。
步骤1、获取道路交通监控实时视频流，进而获取运动前景图像；从道路交通监控摄像机获取实时视频流，利用背景建模获取运动前景图像。
步骤2、利用若干帧运动前景图像计算视频流中的道路行车兴趣区域，具体为：
S211、获取实时视频流中每一帧的前景图像；
S212、基于图像透视原理对各前景图像做自适应膨胀处理；
S213、循环完成步骤S211，S212若干次后，获取若干帧前景图像构成前景图像集合M，通过前景图像集合M合成行车道路关注区域；
S214、对S213生成的行车道路关注区域进行中值滤波，平滑边界，获得道路行车兴趣区域。
步骤3、基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵，并根据行车兴趣区域的光流矩阵得到车道分割结果，具体为：
S311、利用针对交通监控场景训练的光流提取神经网络对一定间隔的帧图像提取第一光流矩阵；
本实施例中，使用的基于深度学习的光流提取神经网络采用FlowNet光流提取网络，但不限于该网络；利用训练的基于深度学习的光流提取神经网络对相邻帧图像提取第一光流矩阵Oi1；
S312、重复S311并对其生成的第一光流矩阵叠加后的第二光流矩阵各像素的光流做单位化处理，获得光流方向矩阵；
本实施例中，对第一光流矩阵Oi1做融合处理得到第二光流矩阵Oavg：
Oavg＝(Oi1+Oi2+……+Oin)/n (1)
并对第二光流矩阵Oavg中的光流向量做单位化处理，使其仅包含光流矢量的方向信息：
Figure BDA0002957724430000061
其中，
Figure BDA0002957724430000062
为光流矩阵中位于i行j列的光流向量元素，H为图像高度，W为图像宽度；
S313、将光流方向矩阵与道路行车兴趣区域进行叠加，得到仅包含道路行车兴趣区域的光流矩阵(仅包含道路行车兴趣区域的光流矩阵，是以二维向量加车道分割标签形式表示光流方向的矩阵)；输出可视化后如图4：
Figure BDA0002957724430000063
S314、对行车兴趣区域的光流矩阵中的元素按照矢量角度进行聚类，所获得的聚类结果中，归属同一类的区域即为道路分割结果。
步骤4、基于车辆密度热图提取网络，获取当前场景的车辆密度热图；具体为：
S411、对实时视频流的各视频帧中的车辆目标框进行标注，构建车辆检测数据集；
S412、利用S411构建的车辆检测数据集对车辆密度热图提取网络进行训练，且车辆密度热图提取网络采用Anchor free形式的高分辨率目标检测网络；
本实施例中采用HRNet作为高分辨率特征图提取网络，但本实施例并不局限于该网络，对HRNet输出特征经输出卷积层变换后得到车辆车辆密度热图结果，训练过程采取如下损失函数：
L＝∑i(xi-yi)2 (4)
其中，y表示样本的特征热图，x为特征热图的GT(Ground Truth)，i代表特征热图各个像素点。
S413、将视频帧输入训练好的针对视频监控场景基于全局特征融合的车辆密度热图提取网络，得到当前场景的高分辨率的车辆密度热图；
S414、将特征热图与背景提取中得到的道路区域叠加计算得到当前时刻道路占用率，如图2所示。
步骤5、将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果，如图3所示，具体为：
S511、对视频数据中的拥堵事件进行标注，构建拥堵分类数据集；
S512，利用构建的拥堵分类数据集训练基于双流特征的拥堵判定模型；拥堵判定模型采用全卷积网络结构，经特征提取与维度变换后得到拥堵判定置信度，拥堵判定模型在训练过程中采取如下损失函数：
Figure BDA0002957724430000081
其中，y表示样本标签，p代表分类概率；
S513，将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入基于双流特征的拥堵判定模型，得到拥堵判定结果：
Score＝G([Mopt,t·Ft]) (6)
其中，G为分类模型，Mopt,t为t时刻光流矩阵，Ft为t时刻场景分割特征图；当Score>thresh时视作正常，反之则视作拥堵事件发生，特征可视化后如图5，并上报。
步骤6、将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值，具体为：
S611，利用车辆密度热图与道路行车兴趣区域的光流矩阵构造拥堵持续时间预测数据集；预测时间GT值采用相对值，设定相对时间Δt，预测持续时间为[0,1]区间，且当真实持续时间大于Δt时，
Figure BDA0002957724430000082
值取1；
S612，利用所构造的拥堵持续时间预测数据集对循环卷积神经网络进行训练；训练过程采用如下损失函数：
Figure BDA0002957724430000083
其中，y为真实持续时间，
Figure BDA0002957724430000084
为预测值；
S613，将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度；循环步骤S613，并根据后续时刻获得的车辆密度热图与拥堵置信度对循环卷积神经网络进行更新修正，得到此时刻拥堵持续时间的预测值。
本实施例通过对道路交通监控摄像头采集的实时视频流进行处理，获取道路行车兴趣区域进而获取道路行车兴趣区域的光流矩阵和车辆密度热图，并基于道路行车兴趣区域的光流矩阵和车辆密度热图进行道路拥堵检测和拥堵持续时间预测，提高了多车道拥堵检测的准确率且同时可以对拥堵持续时间进行准确预测。
实施例二：
基于实施例一所述的一种多车道拥堵检测及持续时间预测方法，本实施例提供一种多车道拥堵检测及持续时间预测系统，包括：
第一模块，用于获取道路交通监控实时视频流，进而获取运动前景图像；
第二模块，用于利用若干帧运动前景图像计算视频流中的道路行车兴趣区域；
第三模块，用于基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵，并根据行车兴趣区域的光流矩阵得到车道分割结果；
第四模块，用于基于车辆密度热图提取网络，获取当前场景的车辆密度热图；
第五模块，用于将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果；
第六模块，用于将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种多车道拥堵检测及持续时间预测方法，其特征是，包括：
获取道路交通监控实时视频流，进而获取运动前景图像；
利用若干帧运动前景图像计算视频流中的道路行车兴趣区域；
基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵，并根据行车兴趣区域的光流矩阵得到车道分割结果；
基于车辆密度热图提取网络，获取当前场景的车辆密度热图；
将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果；
将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值。
2.根据权利要求1所述的多车道拥堵检测及持续时间预测方法，其特征是，所述利用若干帧运动前景图像计算视频流中的道路行车兴趣区域，具体为：
S211、获取实时视频流中每一帧的前景图像；
S212、基于图像透视原理对各前景图像做自适应膨胀处理；
S213、循环完成步骤S211，S212若干次后，获取若干帧前景图像构成前景图像集合M，通过前景图像集合M合成行车道路关注区域；
S214、对S213生成的行车道路关注区域进行中值滤波，平滑边界，获得道路行车兴趣区域。
3.根据权利要求1所述的多车道拥堵检测及持续时间预测方法，其特征是，所述基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵，并根据行车兴趣区域的光流矩阵得到车道分割结果，具体为：
S311、利用针对交通监控场景训练的光流提取神经网络对一定间隔的帧图像提取第一光流矩阵；
S312、重复S311并对其生成的第一光流矩阵叠加后的第二光流矩阵各像素的光流做单位化处理，获得光流方向矩阵；
S313、将光流方向矩阵与道路行车兴趣区域进行叠加，得到仅包含道路行车兴趣区域的光流矩阵；
S314、对行车兴趣区域的光流矩阵中的元素按照矢量角度进行聚类，所获得的聚类结果中，归属同一类的区域即为道路分割结果。
4.根据权利要求3所述的多车道拥堵检测及持续时间预测方法，其特征是，所述仅包含道路行车兴趣区域的光流矩阵，是以二维向量加车道分割标签形式表示光流方向的矩阵。
5.根据权利要求1所述的多车道拥堵检测及持续时间预测方法，其特征是，所述基于车辆密度热图提取网络，获取当前场景的车辆密度热图，具体为：
S411、对实时视频流的各视频帧中的车辆目标框进行标注，构建车辆检测数据集；
S412、利用S411构建的车辆检测数据集对车辆密度热图提取网络进行训练，且车辆密度热图提取网络采用Anchor free形式的目标检测网络；
S413、将视频帧输入训练好的车辆密度热图提取网络，得到当前场景的车辆密度热图。
6.根据权利要求1所述的多车道拥堵检测及持续时间预测方法，其特征是，所述将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果，具体为：
S511、对视频数据中的拥堵事件进行标注，构建拥堵分类数据集；
S512，利用构建的拥堵分类数据集训练基于双流特征的拥堵判定模型；
S513，将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入基于双流特征的拥堵判定模型，得到拥堵判定结果。
7.根据权利要求1所述的多车道拥堵检测及持续时间预测方法，其特征是，所述将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值，具体为：
S611，利用车辆密度热图与道路行车兴趣区域的光流矩阵构造拥堵持续时间预测数据集；
S612，利用所构造的拥堵持续时间预测数据集对循环卷积神经网络进行训练；
S613，将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度；循环步骤S613，并根据后续时刻获得的车辆密度热图与拥堵置信度对循环卷积神经网络进行更新修正，得到此时刻拥堵持续时间的预测值。
8.一种多车道拥堵检测及持续时间预测系统，其特征是，包括：
第一模块，用于获取道路交通监控实时视频流，进而获取运动前景图像；
第二模块，用于利用若干帧运动前景图像计算视频流中的道路行车兴趣区域；
第三模块，用于基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵，并根据行车兴趣区域的光流矩阵得到车道分割结果；
第四模块，用于基于车辆密度热图提取网络，获取当前场景的车辆密度热图；
第五模块，用于将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果；
第六模块，用于将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值。
CN202110228230.3A 2021-03-02 2021-03-02 基于深度学习的多车道拥堵检测及持续时间预测方法及系统 Active CN112818935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110228230.3A CN112818935B (zh) 2021-03-02 2021-03-02 基于深度学习的多车道拥堵检测及持续时间预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110228230.3A CN112818935B (zh) 2021-03-02 2021-03-02 基于深度学习的多车道拥堵检测及持续时间预测方法及系统

Publications (2)

Publication Number Publication Date
CN112818935A true CN112818935A (zh) 2021-05-18
CN112818935B CN112818935B (zh) 2022-08-12

Family

ID=75862701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110228230.3A Active CN112818935B (zh) 2021-03-02 2021-03-02 基于深度学习的多车道拥堵检测及持续时间预测方法及系统

Country Status (1)

Country Link
CN (1) CN112818935B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516853A (zh) * 2021-06-24 2021-10-19 南京邮电大学 一种针对复杂监控场景的多车道车流量检测方法
CN113762135A (zh) * 2021-09-02 2021-12-07 中远海运科技股份有限公司 一种基于视频的交通拥堵检测方法及装置
CN116403411A (zh) * 2023-06-08 2023-07-07 山东协和学院 基于多信号源的交通拥堵预测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107705560A (zh) * 2017-10-30 2018-02-16 福州大学 一种融合视觉特征和卷积神经网络的道路拥堵检测方法
CN107730881A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的交通拥堵视觉检测系统
CN109147331A (zh) * 2018-10-11 2019-01-04 青岛大学 一种基于计算机视觉的道路拥堵状态检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730881A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的交通拥堵视觉检测系统
CN107705560A (zh) * 2017-10-30 2018-02-16 福州大学 一种融合视觉特征和卷积神经网络的道路拥堵检测方法
CN109147331A (zh) * 2018-10-11 2019-01-04 青岛大学 一种基于计算机视觉的道路拥堵状态检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516853A (zh) * 2021-06-24 2021-10-19 南京邮电大学 一种针对复杂监控场景的多车道车流量检测方法
CN113762135A (zh) * 2021-09-02 2021-12-07 中远海运科技股份有限公司 一种基于视频的交通拥堵检测方法及装置
CN116403411A (zh) * 2023-06-08 2023-07-07 山东协和学院 基于多信号源的交通拥堵预测方法及系统
CN116403411B (zh) * 2023-06-08 2023-08-11 山东协和学院 基于多信号源的交通拥堵预测方法及系统

Also Published As

Publication number Publication date
CN112818935B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN112818935B (zh) 基于深度学习的多车道拥堵检测及持续时间预测方法及系统
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
Zhu et al. Urban traffic density estimation based on ultrahigh-resolution UAV video and deep neural network
Zhang et al. A longitudinal scanline based vehicle trajectory reconstruction method for high-angle traffic video
Guan et al. A lightweight framework for obstacle detection in the railway image based on fast region proposal and improved YOLO-tiny network
Hong et al. Highway crack segmentation from unmanned aerial vehicle images using deep learning
CN103413444A (zh) 一种基于无人机高清视频的交通流调查处理方法
CN113516853B (zh) 一种针对复杂监控场景的多车道车流量检测方法
CN111310593B (zh) 一种基于结构感知的超快速车道线检测方法
CN104978567A (zh) 基于场景分类的车辆检测方法
CN111259796A (zh) 一种基于图像几何特征的车道线检测方法
CN116434159A (zh) 一种基于改进YOLO V7和Deep-Sort的交通流量统计方法
CN113361528B (zh) 一种多尺度目标检测方法及系统
CN110443142B (zh) 一种基于路面提取与分割的深度学习车辆计数方法
CN117351702A (zh) 一种基于车流量进行调节的智慧交通管理方法
Shi et al. An efficient multi-task network for pedestrian intrusion detection
CN114694078A (zh) 一种基于多目标跟踪的交通行为判定方法
Liu et al. Multi-lane detection by combining line anchor and feature shift for urban traffic management
CN112801021B (zh) 基于多级语义信息的车道线检测方法及系统
Zhan et al. Fast Multi-Lane Detection Based on CNN Differentiation for ADAS/AD
CN113392817A (zh) 一种基于多列卷积神经网络的车辆密度估计的方法及装置
CN116740624A (zh) 基于改进yolo的融合注意力机制密集人群检测算法
CN114882205A (zh) 基于注意力机制的目标检测方法
CN114820931A (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法
Wen et al. Semantically Enhanced Multi-Object Detection and Tracking for Autonomous Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant