CN117437792B - 基于边缘计算的实时道路交通状态监测方法、设备及系统 - Google Patents
基于边缘计算的实时道路交通状态监测方法、设备及系统 Download PDFInfo
- Publication number
- CN117437792B CN117437792B CN202311761837.3A CN202311761837A CN117437792B CN 117437792 B CN117437792 B CN 117437792B CN 202311761837 A CN202311761837 A CN 202311761837A CN 117437792 B CN117437792 B CN 117437792B
- Authority
- CN
- China
- Prior art keywords
- road
- target
- traffic state
- real
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004364 calculation method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 29
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 238000004873 anchoring Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 5
- 238000011161 development Methods 0.000 claims description 4
- 230000018109 developmental process Effects 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 abstract description 2
- 238000011835 investigation Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于边缘计算的实时道路交通状态监测方法、设备及系统,包括:获取当前道路的监测视频流数据,实时提取道路图像;进行语义分割,确定当前道路区域以及对应的多个车道区域;基于轻量化目标检测网络从道路图像中锚定多个目标车辆,并根据锚定坐标和车道区域确定目标车辆所属车道,基于目标跟踪算法对多个目标车辆进行跟踪识别,确定多个目标车辆的车辆信息及轨迹信息;根据多个目标车辆的轨迹信息及车道信息确定多个车道的车速信息,分析当前道路在设定统计时间间隔内的交通状态数据。本发明通过语义分割算法、配合目标检测算法与目标跟踪算法,进行道路区域内车辆及车辆行为的辨识,实现对当前交通状态进行实时监测分析。
Description
技术领域
本发明涉及交通监测技术领域,尤其涉及一种基于边缘计算的实时道路交通状态监测方法、设备及系统。
背景技术
目前交通调查/监测技术主要包括:路侧交通调查/监测技术与基于远程数据处理(云平台)的交通调查/监测技术。其中,基于远程数据处理的交通调查/监测技术存在通讯设备复杂、数据传输延迟、时效性不强的缺陷;因而在当前交通监测管控技术中,通常以发展路侧交通调查/监测技术为主。现有路侧交通调查/监测技术主要采用基于立杆安装交调设备采集数据并通过云平台自动进行交通调查,或者由人工结合交通设备进行统计分析、从而完成交通调查的方式。其中,立杆监测方式存在设计、安装过程复杂,维护成本高、灵活性差、时延较长的问题,而人工进行统计分析的方法存在人力资源消耗大,准确性、可靠性无法保障问题。
发明内容
本发明的目的在于克服现有路侧交通调查/监测技术所存在的设备复杂、灵活性差、时延较长、不够准确的问题,提供一种基于边缘计算的实时道路交通状态监测方法、设备及系统,通过将算力布置在与监控感知设备距离更近的边缘端,减小交通调查/监测系统构成的复杂性,提高调查/监测应用的灵活性、即时性、准确性;同时本发明基于计算机视觉目标跟踪技术实现对道路交通状态数据的实时监测。
为了实现上述发明目的,本发明提供了以下技术方案:
一种基于边缘计算的实时道路交通状态监测方法,应用于边缘计算设备,所述方法包括:
S1、获取当前道路的监测视频流数据,从所述监测视频流数据中实时提取道路图像;
S2、从所述道路图像中提取背景图像,对所述背景图像进行语义分割,确定当前道路对应的多个车道区域;
S3、基于轻量化目标检测网络从所述道路图像中锚定多个目标车辆,并根据锚定坐标和所述车道区域确定目标车辆所属车道,以及,基于目标跟踪算法对多个所述目标车辆进行跟踪识别,确定多个所述目标车辆的车辆信息及轨迹信息;
S4、根据多个目标车辆的轨迹信息及车道信息确定多个所述车道的车速信息,根据所述轨迹信息、车速信息分析当前道路在设定统计时间间隔内的交通状态数据。
根据一种具体的实施方式,上述基于边缘计算的实时道路交通状态监测方法中,采用SegNext神经网络对所述背景图像进行语义分割。
根据一种具体的实施方式,上述基于边缘计算的实时道路交通状态监测方法中,所述轻量化目标检测网络为:轻量化Yolov7网络,通过网络模型算子的NPU适配和参数量化实现Yolov7网络的轻量化。
根据一种具体的实施方式,上述基于边缘计算的实时道路交通状态监测方法中,通过以下方法构建所述轻量化目标检测网络,包括:
构建轻量化网络初始模型,基于开源车辆数据图像集对所述网络初始模型进行预训练,得到预训练网络模型;
基于标记后的道路图像数据集对预训练网络模型进行迁移训练,以得到目标检测迁移训练网络模型。
根据一种具体的实施方式,上述基于边缘计算的实时道路交通状态监测方法中,所述基于目标跟踪算法对多个所述目标车辆进行跟踪识别,包括:
基于deepsort算法,根据目标车辆的外观特征进行目标轨迹信息的识别;其中,采用ShuffleNet网络提取目标车辆的外观特征。
根据一种具体的实施方式,上述基于边缘计算的实时道路交通状态监测方法中,所述ShuffleNet网络为:轻量化ShuffleNet网络,通过网络模型算子的NPU适配和参数量化实现ShuffleNet网络的轻量化。
根据一种具体的实施方式,上述基于边缘计算的实时道路交通状态监测方法中,根据所述轨迹信息、车速信息分析当前道路在设定统计时间间隔内的交通状态数据,包括:
统计设定时间间隔内所有目标车辆的总体及分车道、分车型流量、车速、密度、车头间距、车头时距、空间占有率、时间占有率信息,对统计结果进行分析,得到当前道路在设定统计时间间隔内的交通状态数据,向云端服务器传输所述统计结果以及交通状态数据。
本发明的另一方面,提供一种边缘计算设备,包括:包括处理器、网络接口和存储器,所述处理器、所述网络接口和所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述基于边缘计算的实时道路交通状态监测方法。
本发明的另一方面,提供一种基于边缘计算的实时道路交通状态监测系统,所述系统包括:
图像采集设备,用于采集当前道路的监测视频流数据,并传输至边缘计算设备;
边缘计算设备,用于获取监测视频流数据,并采用上述基于边缘计算的实时道路交通状态监测方法分析当前道路在设定统计时间间隔内的交通状态数据。
根据一种具体的实施方式,上述基于边缘计算的实时道路交通状态监测系统中,所述边缘计算设备为RK3588边缘计算开发板;
所述系统还包括:云端服务器;
所述云端服务器与所述边缘计算设备通讯连接,用于接收边缘计算设备传输的当前道路在设定统计时间间隔内的交通状态数据。
与现有技术相比,本发明的有益效果:
本发明实施例所提供的方法,通过对分析得到的道路背景图像进行语义分割,确定车道信息,基于轻量化目标检测网络从分割后的图像中锚定多个目标车辆,基于目标跟踪算法对目标车辆进行跟踪识别,确定目标车辆的车辆、轨迹信息;进而能够根据目标车辆的轨迹、车道信息确定道路中每个车道的车速信息与交通状态数据;本发明通过语义分割算法、配合目标检测算法与目标跟踪算法,进行车辆的跟踪识别,并根据经过的车道线进行车速测算,从而能够对设定统计时间间隔内当前时间间隔的交通状态进行实时监测分析;为对整个交通组网的统一调度运营提供数据基础,确保快速高效和交通参与者的生命财产安全;同时本算法应用于边缘计算设备,将算法布设在与监控感知设备距离更近的边缘端,能够在路侧实现交通流量调查,有效减小交通调查/监测系统构成的复杂性。
附图说明
图1为一个实施例中的基于边缘计算的实时道路交通状态监测方法流程图;
图2为一个实施例中的道路语义分割效果图;
图3为一个实施例中的道路路面、标线、背景语义分割效果图;
图4为一个实施例中的目标检测效果图;
图5为一个实施例中的目标跟踪效果图;
图6为一个实施例中的统计分析结果图;
图7为一个实施例中的边缘计算设备结构框图。
具体实施方式
下面结合具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例,凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
图1示出了本发明示例性实施例的基于边缘计算的实时道路交通状态监测方法,应用于边缘计算设备,该方法包括:
S1、获取当前道路的监测视频流数据,从所述监测视频流数据中实时提取道路图像;
S2、从所述道路图像中提取背景图像,对所述背景图像进行语义分割,确定当前道路对应的多个车道区域;
S3、基于轻量化目标检测网络从所述道路图像中锚定多个目标车辆,并根据锚定坐标和所述车道区域确定目标车辆所属车道,以及,基于目标跟踪算法对多个所述目标车辆进行跟踪识别,确定多个所述目标车辆的车辆信息及轨迹信息;
S4、根据多个目标车辆的轨迹信息及车道信息确定多个所述车道的车速信息,根据所述轨迹信息、车速信息分析当前道路在设定统计时间间隔内的交通状态数据。
本实施例中,通过对分析得到的道路背景图像进行语义分割,确定车道信息,基于轻量化目标检测网络从分割后的图像中锚定多个目标车辆,基于目标跟踪算法对目标车辆进行跟踪识别,确定目标车辆的车辆、轨迹信息;进而能够根据目标车辆的轨迹、车道信息确定道路中每个车道的车速信息与交通状态数据;本发明通过语义分割算法、配合目标检测算法与目标跟踪算法,进行车辆的跟踪识别,并根据经过的车道线进行车速测算,从而能够对设定统计时间间隔内当前时间间隔的交通状态进行实时监测分析;为对整个交通组网的统一调度运营提供数据基础,确保快速高效和交通参与者的生命财产安全;同时本算法布置在与监控感知设备距离更近的边缘端,能够有效减小交通调查/监测系统构成的复杂性。
实施例2
在一种可能的实现方式中,上述基于边缘计算的实时道路交通状态监测方法中,上述S2中,通过高斯混合背景建模方法(Gaussian mixture model, GMM)对获取到的道路图像提取道路背景图像。采用SegNext神经网络,在包含车道线分割标注的交通数据集Camvid上进行训练,并对道路背景图像进行语义分割任务推断。分割道路区域包括路面区域和路面标线,分割后的路面区域,根据其行像素个数量以及目标可被准确可靠检测的行像素数量设定阈值,自动设定目标检测区域;分割路面标线结果经霍夫变换(Houghtransform)直线检测,归并属于同一车道线的分割区域,获取道路区域中车道子区域的划分,以此获得车辆目标的车道信息;同时,可利用车道线区域分割区域位置极值与道路标线实际对应关系,获取图像空间中任意坐标在世界空间中的坐标,以进一步获得车辆目标速度信息。如图2、图3所示,本发明实施例所提供的SegNext神经网络能够进行清晰准确的道路语义分割。
本实施例中,采用高性能SegNext神经网络对道路图像进行精细语义分割,神经网络模型参数通过预训练过程获得,路侧设备安装好后,只需采集一段图像数据序列并计算道路背景,即可对道路场景进行语义分割任务推断。
在一种可能的实现方式中,上述基于边缘计算的实时道路交通状态监测方法中,上述S3中,所述目标检测网络基于Yolov7多目标检测算法进行构建,用于识别car、truck、bus三类车辆目标,在训练过程中,使用BBD_100K大规模开放车辆检测数据集进行预训练,再使用实际路侧采集图像的标注数据进行迁移学习,以达到更高的检测准确率,如图4所示,本发明实施例所提供的yolov7神经网络能够进行清晰准确的目标检测锚定。
本实施例中,通过Yolov7多目标检测算法准确地检测出图像中所有车辆的位置和车型,提升车辆目标跟踪的准确性。
在一种可能的实现方式中,上述基于边缘计算的实时道路交通状态监测方法中,为了能在边缘计算设备的NPU计算平台实时地推理,对网络模型进行了量化与平台适配。量化过程是将原来网络参数的表示长度由32位映射到8位,以此减小运算量与内存消耗,同时保持较小的准确率下降;平台适配即将边缘计算平台NPU不支持的数组单维度处理操作交由CPU处理,如检测任务后处理中的锚框计算过程,检测结果数组的目标框、置信度数据处理需要交由CPU处理。目前检测时间在30ms以内,实现了超实时目标检测的速度,可满足实时检测跟踪的需求。
在一种可能的实现方式中,上述基于边缘计算的实时道路交通状态监测方法中,上述S3中,所述基于目标跟踪算法对多个所述目标车辆进行跟踪识别,包括:
使用deepsort算法,根据目标图像外观和目标轨迹信息进行重识别。在车辆外观特征提取时,使用目标分类神经网络的骨干网络部分(即不含网络结构中最后的全连接层)提取车辆目标外观特征。本方法应用场景跟踪目标的种类较少且轨迹单调,因此使用了体量小、适合边缘计算、准确率高的ShuffleNet,并使用VeRi大规模车辆重识别数据集进行训练,用于准确辨识车辆差异,提高目标跟踪的准确率。在进行模型部署时,同样面临NPU计算平台网络结构适配问题,本方法移除ShuffleNet模型中NPU不支持的维度重排算子后,通过增加多通道1×1卷积变相实现网络结构所需要的维度重排效果,以保持模型在NPU上计算的并行能力与准确性;同时,模型推断时跳过模型训练时网络的高层全连接结构,以输出目标特征图替代目标类型判别结果,从而保证模型推断的高效性与准确性。最终每帧车辆特征提取时间在10ms左右,检测跟踪平均时间为50ms以内,满足了实时性需求。如图5所示,本发明实施例所提供的目标跟踪算法能够进行准确的目标轨迹跟踪。
本实施例中,通过目标跟踪算法进行车辆目标跟踪,使每辆车出现后都有唯一一个ID与之对应,从而能够有效统计车辆行为信息,计算每辆车出现和消失的时间和轨迹,以此作为统计该车辆的速度、车道等信息的基础。
在一种可能的实现方式中,上述基于边缘计算的实时道路交通状态监测方法中,在初始化时已得到车道检测区域和车道线划分,因此根据目标检测结果可直接得出车辆所在的车道。对比前后帧图像目标位置,可根据车辆ID计算出同一目标在图像中移动的距离和位置。再根据图像中车道线的划分以及《道路交通标志和标线》国家标准中车道标线的尺寸先验信息,可以得到图像中目标移动在现实世界中的距离,并根据帧时间间隔进一步计算出车速信息。根据所述车道信息、车辆信息、轨迹信息、车速信息分析当前道路在设定时间间隔内的交通状态,包括:总体及分车道、分车型流量、车速、密度、车头间距、车头时距、空间占有率、时间占有率等信息,并将交通状况数据与云端相连。除记录数据外,还根据跟踪数据、交通状态编写绘图程序,将记录数据可视化,以清晰观察每辆车的位置与轨迹,并直观展示当前统计周期内的交通状态,如图6所示,本发明实施例所采用的统计分析方法能够统计并展示交通流变化状态和对比结果。
综上,本发明实施例所提供的方法具有以下优点:
1.改进车辆目标检测和跟踪的网络结构,使其适合在边缘端进行部署和计算,在保证较高准确率的同时可以实时对车辆进行识别跟踪;
2.初始化时自动分割道路区域和车道线,划分检测区域,在提升准确率的同时避免了繁琐的人工标注,节省时间和人力成本;
3.能够更加灵活可靠地统计设定时间间隔内的各车道、各车型的流量、车速、密度、车头间距、车头时距、空间占有率、时间占有率等信息,判断当前交通状况,并有效通信至云端,方便进一步对整个路网交通进行统一调度,以确保交通运行的快速高效以及交通参与者的生命财产安全。
实施例3
本发明的另一方面,如图7所示,还提供一种边缘计算设备,该设备包括处理器、网络接口和存储器,所述处理器、所述网络接口和所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述基于边缘计算的实时道路交通状态监测方法。
在一种可能的实现方式中,上述边缘计算设备采用瑞芯微RK3588边缘计算开发板。其中,RK3588是瑞芯微目前最强大的边缘计算设备,具有3个NPU核心,6TOPS(TeraOperations Per Second)计算性能,具有算力强,功耗小,成本低,便于部署的优点。
本发明的另一方面,提供一种基于边缘计算的实时道路交通状态监测系统,包括:上述边缘计算设备、摄像头、屏幕、电源模块、通信模块,外壳,三脚架等设备。在使用时,使用三脚架放置在道路行驶右侧,安装设备到支架,使用电源模块供电,可实现单人放置,长时间自动工作。
本实施例所提供的系统,将算法完全部署在了更接近前端采集设备边缘计算设备,与在云服务器、上位机的部署方式相比,传输成本更低,计算延时更低、云端服务器运算、存储压力更小。且边缘计算设备本身具有价格低,功耗小,部署方便等优点。
具体的,本系统通过对屏幕图像的观察,确保设备安装无误后进行初始化,然后后对车辆进行实时检测跟踪、统计交通状态信息,并通过通信模块将记录结果传输。初始化时,对道路图像进行语义分割,分割出车道区域和车道线,自动计算各车道统计检测区域。在检测时,对视频进行实时逐帧分析,使用部署的改进yolov7进行车辆目标检测,后输入deepsort算法,使用部署的改进ShuffleNet进行重识别,进行目标跟踪,并根据相邻图像帧目标的移动距离以及图像空间与世界空间的变换关系计算车速,最后按照设定时间间隔对交通流参数进行分析和统计。
在一种可能的实现方式中,上述监测系统还包括:云端服务器。所述云端服务器与所述边缘计算设备通讯连接,用于接收边缘计算设备传输的当前交通状态数据。
本发明的另一方面,还提供一种计算机存储介质,所述计算机存储介质中存储有程序指令,所述程序指令被至少一个处理器执行时,用于实现上述基于边缘计算的实时道路交通状态监测。
在本发明的实施例中,处理器可以是一种集成电路芯片,具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息,结合其硬件完成上述方法的步骤。
存储介质可以是存储器,例如可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。
其中,非易失性存储器可以是只读存储器(Read-Only Memory,简称ROM)、可编程只读存储器(Programmable ROM,简称PROM)、可擦除可编程只读存储器(ErasablePROM,简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM,简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory,简称RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,简称SRAM)、动态随机存取存储器(Dynamic RAM,简称DRAM)、同步动态随机存取存储器(Synchronous DRAM,简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM,简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
应该理解到,本发明所披露的系统,可通过其它的方式实现。例如所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,模块之间的通信连接可以是通过一些接口,服务器或单元的间接耦合或通信连接,可以是电性或其它的形式。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于边缘计算的实时道路交通状态监测方法,其特征在于,应用于边缘计算设备,所述方法包括:
S1、获取当前道路的监测视频流数据,从所述监测视频流数据中实时提取道路图像;
S2、从所述道路图像中提取背景图像,对所述背景图像进行语义分割,确定当前道路对应的多个车道区域;采用SegNext神经网络对所述背景图像进行语义分割,分割道路区域包括路面区域和路面标线;
S3、基于轻量化目标检测网络从所述道路图像中锚定多个目标车辆,并根据锚定坐标和所述车道区域确定目标车辆所属车道,以及,基于目标跟踪算法对多个所述目标车辆进行跟踪识别,确定多个所述目标车辆的车辆信息及轨迹信息;
S4、根据多个目标车辆的轨迹信息及车道信息确定多个所述车道的车速信息,根据所述轨迹信息、车速信息分析当前道路在设定统计时间间隔内的交通状态数据;其中,利用车道线区域分割区域位置极值与路面标线实际对应关系,获取图像空间中任意坐标在世界空间中的坐标,以获得车辆速度信息,所述获得车辆速度信息具体包括:对比前后帧图像目标位置,根据车辆ID计算出同一目标在图像中移动的距离和位置;根据图像中车道线的划分以及国家标准中车道标线的尺寸先验信息,得到图像中目标移动在现实世界中的距离,并根据帧时间间隔进一步计算出车速信息。
2.如权利要求1所述的基于边缘计算的实时道路交通状态监测方法,其特征在于,所述轻量化目标检测网络为:轻量化Yolov7网络,通过网络模型算子的NPU适配和参数量化实现Yolov7网络的轻量化。
3.如权利要求1所述的基于边缘计算的实时道路交通状态监测方法,其特征在于,通过以下方法构建所述轻量化目标检测网络,包括:
构建轻量化网络初始模型,基于开源车辆数据图像集对所述网络初始模型进行预训练,得到预训练网络模型;
基于标记后的道路图像数据集对预训练网络模型进行迁移训练,以得到目标检测迁移训练网络模型。
4.如权利要求1所述的基于边缘计算的实时道路交通状态监测方法,其特征在于,所述基于目标跟踪算法对多个所述目标车辆进行跟踪识别,包括:
基于deepsort算法,根据目标车辆的外观特征进行目标轨迹信息的识别;其中,采用ShuffleNet网络提取目标车辆的外观特征。
5.如权利要求4所述的基于边缘计算的实时道路交通状态监测方法,其特征在于,所述ShuffleNet网络为:轻量化ShuffleNet网络,通过网络模型算子的NPU适配和参数量化实现ShuffleNet网络的轻量化。
6.如权利要求1~5任一所述的基于边缘计算的实时道路交通状态监测方法,其特征在于,根据所述轨迹信息、车速信息分析当前道路在设定统计时间间隔内的交通状态数据,包括:
统计设定时间间隔内所有目标车辆的总体及分车道、分车型流量、车速、密度、车头间距、车头时距、空间占有率、时间占有率信息,对统计结果进行分析,得到当前道路在设定统计时间间隔内的交通状态数据,向云端服务器传输所述统计结果以及交通状态数据。
7.一种边缘计算设备,其特征在于,包括:包括处理器、网络接口和存储器,所述处理器、所述网络接口和所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1~6任一项所述的基于边缘计算的实时道路交通状态监测方法。
8.一种基于边缘计算的实时道路交通状态监测系统,其特征在于,所述系统包括:
图像采集设备,用于采集当前道路的监测视频流数据,并传输至边缘计算设备;
边缘计算设备,用于获取监测视频流数据,并采用权利要求1~6任一项所述的基于边缘计算的实时道路交通状态监测方法分析当前道路在设定统计时间间隔内的交通状态数据。
9.如权利要求8所述的系统,其特征在于,所述边缘计算设备为RK3588边缘计算开发板;
所述系统还包括:云端服务器;
所述云端服务器与所述边缘计算设备通讯连接,用于接收边缘计算设备传输的当前道路在设定统计时间间隔内的交通状态数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311761837.3A CN117437792B (zh) | 2023-12-20 | 2023-12-20 | 基于边缘计算的实时道路交通状态监测方法、设备及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311761837.3A CN117437792B (zh) | 2023-12-20 | 2023-12-20 | 基于边缘计算的实时道路交通状态监测方法、设备及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117437792A CN117437792A (zh) | 2024-01-23 |
CN117437792B true CN117437792B (zh) | 2024-04-09 |
Family
ID=89553970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311761837.3A Active CN117437792B (zh) | 2023-12-20 | 2023-12-20 | 基于边缘计算的实时道路交通状态监测方法、设备及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117437792B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764137A (zh) * | 2018-05-29 | 2018-11-06 | 福州大学 | 基于语义分割的车辆行驶车道定位方法 |
WO2020040411A1 (ko) * | 2018-08-21 | 2020-02-27 | 한국과학기술정보연구원 | 교통상태정보를 예측하는 장치, 교통상태정보를 예측하는 방법 및 교통상태정보를 예측하는 프로그램을 저장하는 저장매체 |
CN112132869A (zh) * | 2020-11-02 | 2020-12-25 | 中远海运科技股份有限公司 | 一种车辆目标轨迹跟踪方法和装置 |
CN113257003A (zh) * | 2021-05-12 | 2021-08-13 | 上海天壤智能科技有限公司 | 交通道路车道级车流计数系统及其方法、设备、介质 |
CN114898326A (zh) * | 2022-03-11 | 2022-08-12 | 武汉理工大学 | 基于深度学习的单行道车辆逆行检测方法、系统及设备 |
CN115171377A (zh) * | 2022-06-30 | 2022-10-11 | 武汉工程大学 | 一种基于深度学习的交通流参数检测分析方法和装置 |
CN115170611A (zh) * | 2022-07-11 | 2022-10-11 | 湖北工业大学 | 一种复杂交叉路口车辆行驶轨迹分析方法、系统及应用 |
JP2023531759A (ja) * | 2021-04-28 | 2023-07-25 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 車線境界線検出モデルの訓練方法、車線境界線検出モデルの訓練装置、電子機器、記憶媒体及びコンピュータプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875603B (zh) * | 2018-05-31 | 2021-06-04 | 上海商汤智能科技有限公司 | 基于车道线的智能驾驶控制方法和装置、电子设备 |
-
2023
- 2023-12-20 CN CN202311761837.3A patent/CN117437792B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764137A (zh) * | 2018-05-29 | 2018-11-06 | 福州大学 | 基于语义分割的车辆行驶车道定位方法 |
WO2020040411A1 (ko) * | 2018-08-21 | 2020-02-27 | 한국과학기술정보연구원 | 교통상태정보를 예측하는 장치, 교통상태정보를 예측하는 방법 및 교통상태정보를 예측하는 프로그램을 저장하는 저장매체 |
CN112132869A (zh) * | 2020-11-02 | 2020-12-25 | 中远海运科技股份有限公司 | 一种车辆目标轨迹跟踪方法和装置 |
JP2023531759A (ja) * | 2021-04-28 | 2023-07-25 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 車線境界線検出モデルの訓練方法、車線境界線検出モデルの訓練装置、電子機器、記憶媒体及びコンピュータプログラム |
CN113257003A (zh) * | 2021-05-12 | 2021-08-13 | 上海天壤智能科技有限公司 | 交通道路车道级车流计数系统及其方法、设备、介质 |
CN114898326A (zh) * | 2022-03-11 | 2022-08-12 | 武汉理工大学 | 基于深度学习的单行道车辆逆行检测方法、系统及设备 |
CN115171377A (zh) * | 2022-06-30 | 2022-10-11 | 武汉工程大学 | 一种基于深度学习的交通流参数检测分析方法和装置 |
CN115170611A (zh) * | 2022-07-11 | 2022-10-11 | 湖北工业大学 | 一种复杂交叉路口车辆行驶轨迹分析方法、系统及应用 |
Non-Patent Citations (1)
Title |
---|
融合历史轨迹的智能汽车城市复杂环境多目标检测与跟踪算法;隗寒冰;陈尧;贾志杰;赖锋;;西安交通大学学报;20180816(10);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117437792A (zh) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109637151B (zh) | 一种高速公路应急车道违章行驶的识别方法 | |
CN110619279B (zh) | 一种基于跟踪的路面交通标志实例分割方法 | |
KR101589711B1 (ko) | 비디오 데이터의 처리 방법 및 시스템 | |
CN110298300B (zh) | 一种检测车辆违章压线的方法 | |
CN109711285B (zh) | 识别模型的训练、测试方法和装置 | |
CN109615862A (zh) | 道路车辆交通运动状态参数动态获取方法及装置 | |
CN113160575A (zh) | 一种非机动车辆及驾驶人的交通违法行为检测方法及系统 | |
CN110675637A (zh) | 车辆违法视频的处理方法、装置、计算机设备及存储介质 | |
Chang et al. | Video analytics in smart transportation for the AIC'18 challenge | |
CN114170580A (zh) | 一种面向高速公路的异常事件检测方法 | |
CN110689724A (zh) | 一种基于深度学习的机动车斑马线礼让行人自动审核方法 | |
CN115830399B (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
Sikirić et al. | Image representations on a budget: Traffic scene classification in a restricted bandwidth scenario | |
CN112861773A (zh) | 一种基于多层次的泊位状态检测方法及系统 | |
CN113055823A (zh) | 一种基于路侧停车管理共享单车的方法及装置 | |
CN112487884A (zh) | 一种交通违法行为检测方法、装置及计算机可读存储介质 | |
CN109684986A (zh) | 一种基于车辆检测跟踪的车辆分析方法及系统 | |
Kejriwal et al. | Vehicle detection and counting using deep learning basedYOLO and deep SORT algorithm for urban traffic management system | |
CN111967451B (zh) | 一种道路拥堵检测方法及装置 | |
CN113221894A (zh) | 车辆的车牌号识别方法、装置、电子设备和存储介质 | |
CN112466121A (zh) | 一种基于视频的测速方法 | |
CN112991769A (zh) | 基于视频的交通量调查方法和装置 | |
CN117437792B (zh) | 基于边缘计算的实时道路交通状态监测方法、设备及系统 | |
CN114693722B (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
CN111627224A (zh) | 车辆速度异常检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |