CN115618932A - 基于网联自动驾驶的交通事件预测方法、装置及电子设备 - Google Patents

基于网联自动驾驶的交通事件预测方法、装置及电子设备 Download PDF

Info

Publication number
CN115618932A
CN115618932A CN202211167692.XA CN202211167692A CN115618932A CN 115618932 A CN115618932 A CN 115618932A CN 202211167692 A CN202211167692 A CN 202211167692A CN 115618932 A CN115618932 A CN 115618932A
Authority
CN
China
Prior art keywords
traffic
preset
prediction
target
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211167692.XA
Other languages
English (en)
Inventor
李克强
许庆
肖小凤
褚文博
乌尼日其其格
吴洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Tsinghua University
Original Assignee
Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd, Tsinghua University filed Critical Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Priority to CN202211167692.XA priority Critical patent/CN115618932A/zh
Publication of CN115618932A publication Critical patent/CN115618932A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种基于网联自动驾驶的交通事件预测方法、装置及电子设备，其中，方法包括：获取目标区域内的路侧相机采集的第一视野范围内的图像、路侧雷达采集的第一视野范围内的点云数据、车载相机采集的第二视野范围内的图像和/或车载雷达采集的第二视野范围内的点云数据；并融合得到目标区域的融合感知数据，并基于预设的交通场景分类，对融合感知数据分类，得到目标区域内的交通场景分类结果，并输入至预设的交通事件预测模型，得到车流动态分布预测结果和人群意图预测结果，并输入至预设的交通事件预测模型，得到交通事件预测结果。由此，解决了相关技术无法采集到危险事件因素的完整数据，无法对多重风险的条件因素进行计算评估的问题。

Description

基于网联自动驾驶的交通事件预测方法、装置及电子设备
技术领域
本申请涉及自动驾驶技术领域，特别涉及一种基于网联自动驾驶的交通事件预测方法、装置及电子设备。
背景技术
网联自动汽车，是接入网联系统的自动汽车，除了自动汽车本身具有环境感知能力，还结合了路侧传感器感知、云端服务器决策控制的更加智能的自动汽车。路侧传感器包括多种传感器，如雷达、激光雷达、摄像机等，路侧传感器感知结果可以作为自动汽车感知盲区的补充，自动汽车行驶在道路会遇到各种移动障碍物，造成视角盲区，成为安全隐患。而云端服务器作为网联自动汽车的云端大脑，可以实时处理边缘端上传的数据，从而为每辆自动驾驶汽车规划出合理安全的轨迹。
感知预测或者事件预测，是自动驾驶技术的重要组成部分。通过观测行人、车辆的历史行为，对其未来轨迹进行预测，例如行人横穿马路、车辆换道等，自动汽车可以根据预测结果提前预知风险，并调整驾驶策略，从而规避事故、提升车辆行驶的稳定性和舒适度。因此，网联汽车需要在行驶过程中，不断收集行驶环境数据，分析判定周围是否有违反交通规则的行为。
相关技术中，目前仅通过自动驾驶汽车采集的数据进行分析，一般采用两种方法实现事件预测，一种是基于数据驱动的事件预测方法，通过分析大量的历史数据，并综合利用当前场景的信息，推断出后续事件的走向，从而预测事件。例如，通过统计道路中各条车道上车辆的数量，可以计算出该条道路上车辆的分布情况，当有新的车辆进入该道路，可以根据统计信息推断出该车将会去往各条车道的概率。或者，通过标注车辆在行驶过程中的换道动作，对卷积神经网络(Convolutional Neural Network，CNN)进行训练，通过输入车辆的连续历史轨迹，可预测其保持车道/向左换道/向右换道的意图。同理，在自动驾驶领域，可以通过训练一个神经网络模型，对未来发生的事件进行分类预测。
另一种是方法是根据自动驾驶系统运行过程中通过感知传感器获取周围各个车辆的位置、速度等信息，利用车辆动力学模型，给周围车辆进行建模，计算出这些车辆的行驶轨迹，从而预测出可能的碰撞或者违规时间。这种方法的优势是能把交规、安全距离等约束条件加入到轨迹预测模块中，得到更贴近现实的预测模型。
然而，相关技术均是由自动驾驶车辆采集现场数据，以车辆采集到的数据作为基础，只能得出当前环境下事件的发生概率，确定可能出现的危险事件，但是车辆采集的数据可能因为遮挡等原因造成盲区，无法采集到危险事件因素的完整数据，无法对多重风险的条件因素进行计算评估，准确性较低。
发明内容
本申请提供一种基于网联自动驾驶的交通事件预测方法、装置及电子设备，以解决车辆采集的数据可能因为遮挡等原因造成盲区，无法采集到危险事件因素的完整数据，无法对多重风险的条件因素进行计算评估，准确性较低的问题，能够综合利用车端、路端、云端的优势，提高交通事件预测精度。
本申请第一方面实施例提供一种基于网联自动驾驶的交通事件预测方法，包括以下步骤：获取目标区域内的路侧相机采集的第一视野范围内的图像、路侧雷达采集的所述第一视野范围内的点云数据、车载相机采集的第二视野范围内的图像和/或车载雷达采集的所述第二视野范围内的点云数据；融合所述第一视野范围内的图像、所述第一视野范围内的点云数据、所述第二视野范围内的图像和/或所述第二视野范围内的点云数据，得到所述目标区域的融合感知数据；基于预设的交通场景分类，对所述融合感知数据分类，所述目标区域内的交通场景分类结果，并将所述融合感知数据和所述交通场景分类结果输入至预设的交通事件预测模型，得到车流动态分布预测结果和人群意图预测结果；以及将所述车流动态分布和人群意图预测结果输入至所述预设的交通事件预测模型，得到交通事件预测结果。
可选地，在一些实施例中，在融合所述第一视野范围内的图像、所述第一视野范围内的点云数据、所述第二视野范围内的图像和/或所述第二视野范围内的点云数据之前，还包括：基于预设的软件同步规则、时间同步规则和空间同步规则，同步所述第一视野范围内的图像、所述第一视野范围内的点云数据、所述第二视野范围内的图像和所述第二视野范围内的点云数据。
可选地，在一些实施例中，所述将所述融合感知数据和所述交通场景分类结果输入至预设的交通事件预测模型，得到车流动态分布预测结果和人群意图预测结果，包括：基于预设的检测算法，对所述融合感知数据检测计算，得到目标车辆的位置信息和标签信息，以及目标人群的位置信息和标签信息；基于预设的跟踪算法和身份识别号，跟踪计算所述目标车辆的位置信息和标签信息、所述目标人群的位置信息和标签信息，得到所述目标车辆的历史轨迹信息和目标人群的历史轨迹信息；基于预设的LSTM(Long Short TermMemory，长短期记忆)深度学习网络的预测算法，对所述目标人群的历史轨迹信息进行预测，得到所述人群意图预测结果；根据所述目标车辆的历史轨迹信息估计所述目标车辆的车速，同时基于多辆所述目标车辆估计所述目标区域内的车流密度，并基于所述预设的LSTM深度学习网络的预测算法，得到所述车流动态分布预测结果。
可选地，在一些实施例中，上述的基于网联自动驾驶的交通事件预测方法，根据所述交通事件预测结果得到交通事件的分类结果。
可选地，在一些实施例中，上述的基于网联自动驾驶的交通事件预测方法，所述交通事件的分类结果包括交通事故和交通拥堵。
本申请第二方面实施例提供一种基于网联自动驾驶的交通事件预测装置，包括：获取模块，用于获取目标区域内的路侧相机采集的第一视野范围内的图像、路侧雷达采集的所述第一视野范围内的点云数据、车载相机采集的第二视野范围内的图像和/或车载雷达采集的所述第二视野范围内的点云数据；融合模块，用于融合所述第一视野范围内的图像、所述第一视野范围内的点云数据、所述第二视野范围内的图像和/或所述第二视野范围内的点云数据，得到所述目标区域的融合感知数据；分类模块，用于基于预设的交通场景分类，对所述融合感知数据分类，所述目标区域内的交通场景分类结果，并将所述融合感知数据和所述交通场景分类结果输入至预设的交通事件预测模型，得到车流动态分布预测结果和人群意图预测结果；以及预测模块，用于将所述车流动态分布和人群意图预测结果输入至所述预设的交通事件预测模型，得到交通事件预测结果。
可选地，在一些实施例中，在融合所述第一视野范围内的图像、所述第一视野范围内的点云数据、所述第二视野范围内的图像和/或所述第二视野范围内的点云数据之前，所述融合模块，还用于：基于预设的软件同步规则、时间同步规则和空间同步规则，同步所述第一视野范围内的图像、所述第一视野范围内的点云数据、所述第二视野范围内的图像和所述第二视野范围内的点云数据。
可选地，在一些实施例中，所述分类模块，具体用于：基于预设的检测算法，对所述融合感知数据检测计算，得到目标车辆的位置信息和标签信息，以及目标人群的位置信息和标签信息；基于预设的跟踪算法和身份识别号，跟踪计算所述目标车辆的位置信息和标签信息、所述目标人群的位置信息和标签信息，得到所述目标车辆的历史轨迹信息和目标人群的历史轨迹信息；基于预设的LSTM深度学习网络的预测算法，对所述目标人群的历史轨迹信息进行预测，得到所述人群意图预测结果；根据所述目标车辆的历史轨迹信息估计所述目标车辆的车速，同时基于多辆所述目标车辆估计所述目标区域内的车流密度，并基于所述预设的LSTM深度学习网络的预测算法，得到所述车流动态分布预测结果。
可选地，在一些实施例中，上述的基于网联自动驾驶的交通事件预测装置，根据所述交通事件预测结果得到交通事件的分类结果。
可选地，在一些实施例中，上述的基于网联自动驾驶的交通事件预测装置，所述交通事件的分类结果包括交通事故和交通拥堵。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于网联自动驾驶的交通事件预测方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的基于网联自动驾驶的交通事件预测方法。
由此，通过获取目标区域内的路侧相机采集的第一视野范围内的图像、路侧雷达采集的第一视野范围内的点云数据、车载相机采集的第二视野范围内的图像和/或车载雷达采集的第二视野范围内的点云数据；并融合得到目标区域的融合感知数据，并基于预设的交通场景分类，对融合感知数据分类，得到目标区域内的交通场景分类结果，并输入至预设的交通事件预测模型，得到车流动态分布预测结果和人群意图预测结果，并输入至预设的交通事件预测模型，得到交通事件预测结果。由此，解决了车辆采集的数据可能因为遮挡等原因造成盲区，无法采集到危险事件因素的完整数据，无法对多重风险的条件因素进行计算评估，准确性较低的问题，能够综合利用车端、路端、云端的优势，提高交通事件预测精度。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的基于网联自动驾驶的交通事件预测方法的流程图；
图2为根据本申请一个具体实施例提供的多源多传感器融合示意图；
图3为根据本申请一个具体实施例提供的交通事件预测模型示意图；
图4为根据本申请一个具体实施例提供的基于网联自动驾驶的交通事件预测方法的流程图；
图5为根据本申请实施例提供的基于网联自动驾驶的交通事件预测装置的方框示意图；
图6为根据本申请实施例提供的电子设备的示意图。
附图标记说明：10基于网联自动驾驶的交通事件预测装置、100-获取模块、200-融合模块、300-分类模块和400-融合模块。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于网联自动驾驶的交通事件预测方法、装置及电子设备。针对上述背景技术中提到的车辆采集的数据可能因为遮挡等原因造成盲区，无法采集到危险事件因素的完整数据，无法对多重风险的条件因素进行计算评估，准确性较低的问题，本申请提供了一种基于网联自动驾驶的交通事件预测方法，在该方法中，基于网联的方法，可以通过路侧传感器采集到的交通环境的数据，如各个车辆的位置、速度以及行人的位置、速度等信息，上传到云端中心，云端将预测出的结果直接发送至自动驾驶车辆，相比由自动驾驶车辆采集到的数据，由路侧端采集的数据视野更大，结果更准确，云端预测模型可以比车端预测模型更复杂，预测精度更高。但目前还没有联合了自动驾驶汽车、路侧传感器和云端计算的交通事件预测方法，因此本申请将提出一种基于网联自动驾驶的交通事件预测方法，能够综合利用车端、路端、云端的优势，提高交通事件预测精度。
具体而言，图1为本申请实施例所提供的一种基于网联自动驾驶的交通事件预测方法的流程示意图。
如图1所示，该基于网联自动驾驶的交通事件预测方法包括以下步骤：
在步骤S101中，获取目标区域内的路侧相机采集的第一视野范围内的图像、路侧雷达采集的第一视野范围内的点云数据、车载相机采集的第二视野范围内的图像和/或车载雷达采集的第二视野范围内的点云数据。
具体地，路侧相机和雷达采集其覆盖范围内的图像和点云数据，车载相机和雷达采集视野范围内的图像和点云数据，连同时间信息和GPS(Global Positioning System，全球定位系统)定位信息上传至云端。
在步骤S102中，融合第一视野范围内的图像、第一视野范围内的点云数据、第二视野范围内的图像和/或第二视野范围内的点云数据，得到目标区域的融合感知数据；
在本申请实施例中可以使用多源多传感器融合技术，将不同传感器的数据进行匹配融合，得到区域内融合感知数据，具体地，本申请实施例可以使用云端计算单元和车载计算单元对每个传感器数据处理生成各自的目标数据，将所有传感器的目标数据上传至主处理器进行数据融合，如图2所示，生成最终的融合数据。
可选地，在一些实施例中，在融合第一视野范围内的图像、第一视野范围内的点云数据、第二视野范围内的图像和/或第二视野范围内的点云数据之前，还包括：基于预设的软件同步规则、时间同步规则和空间同步规则，同步第一视野范围内的图像、第一视野范围内的点云数据、第二视野范围内的图像和第二视野范围内的点云数据。
具体地，在本申请实施例中，对于多源多传感器数据，需要通过软件同步、时间同步及空间同步以实现数据对准和时空匹配，具体而言，云端首先需要对上传的数据进行一定处理，对不同传感器的数据进行软同步，根据上传数据的时间信息和GPS定位信息分别进行时间同步和空间同步，将位于相同区域的数据转换到同一个坐标系中。
在步骤S103中，基于预设的交通场景分类，对融合感知数据分类，目标区域内的交通场景分类结果，并将融合感知数据和交通场景分类结果输入至预设的交通事件预测模型，得到车流动态分布预测结果和人群意图预测结果。
可选地，在一些实施例中，将融合感知数据和交通场景分类结果输入至预设的交通事件预测模型，得到车流动态分布预测结果和人群意图预测结果，包括：基于预设的检测算法，对融合感知数据检测计算，得到目标车辆的位置信息和标签信息，以及目标人群的位置信息和标签信息；基于预设的跟踪算法和身份识别号，跟踪计算目标车辆的位置信息和标签信息、目标人群的位置信息和标签信息，得到目标车辆的历史轨迹信息和目标人群的历史轨迹信息；基于预设的LSTM深度学习网络的预测算法，对目标人群的历史轨迹信息进行预测，得到人群意图预测结果；根据目标车辆的历史轨迹信息估计目标车辆的车速，同时基于多辆目标车辆估计目标区域内的车流密度，并基于预设的LSTM深度学习网络的预测算法，得到车流动态分布预测结果。
其中，预设的检测算法可以是YOLO v4，预设的跟踪算法可以是FairMOT(FairMulti-Object Tracking，对象检测器)，预设的LSTM深度学习网络的预测算法可以是基于LSTM深度学习网络的Social-LSTM，交通场景分类可以分为城市普通道路、十字路口、高速道路、匝道。
需要说明的是，本申请实施例使用跟踪算法实现对车辆和人群跟踪，为同一辆车、同一人群配置id编号，并根据目标id编号，提取车辆和人群的历史轨迹信息，并根据人群目标历史轨迹信息，使用基于LSTM深度学习网络的预测算法对人群意图进行预测，并根据目标车辆历史轨迹信息，估计目标车辆车速，同时基于多辆目标车辆估计区域内的车流密度，使用基于LSTM深度学习网络预测算法对车流动态分布进行预测。
具体地，本申请实施例使用融合感知数据进行交通场景分类，获得区域交通场景的分类结果，并将融合感知数据和交通场景的分类结果，输入至交通事件预测模型，进行车流动态分布预测和人群意图预测，获得车流动态分布和人群意图预测结果，并作为交通事件预测模型的输入数据，得到预测结果并分类。
在实际执行过程中，本申请实施例将融合数据送入训练好的交通场景分类网络，对区域场景进行分类，获得场景的分类结果；融合感知数据和交通场景分类结果送入训练好的交通事件预测模型，其中，交通事件预测模块如图3所示，模型使用检测算法检测车辆和人群目标，并通过跟踪算法为车辆和人群分配唯一id，使用跟踪算法对同一id的目标进行连续跟踪；将人群跟踪数据和场景分类结果作为人群意图预测的输入数据，得到人群意图预测结果；使用车辆跟踪数据估计目标车辆车速，使用多辆目标车辆的估计车速用于区域内道路车流密度估计；将车辆跟踪数据、车流密度估计结果、人群意图和场景分类结果作为车流动态分布预测的输入数据，得到车流动态分布预测结果。
在步骤S104中，将车流动态分布和人群意图预测结果输入至预设的交通事件预测模型，得到交通事件预测结果。
可选地，在一些实施例中，上述的基于网联自动驾驶的交通事件预测方法，根据交通事件预测结果得到交通事件的分类结果。
可选地，在一些实施例中，上述的基于网联自动驾驶的交通事件预测方法，交通事件的分类结果包括交通事故和交通拥堵。
其中，交通拥堵可以按照指数TPI(Third Part Inspection，第三方检验)进行分级，分为“畅通”、“基本畅通”、“轻度拥堵”、“中度拥堵”和“严重拥堵”五个级别。
具体地，本申请实施例将人群意图预测结果和车流动态分布预测结果用于交通事件预测，得到交通事件预测结果，交通事件分类为交通事故和交通拥堵，交通拥堵根据按照交通拥堵指数(TPI)进行分级，分为“畅通”、“基本畅通”、“轻度拥堵”、“中度拥堵”和“严重拥堵”五个级别。
为使得本领域技术人员进一步了解本申请实施例的基于网联自动驾驶的交通事件预测方法、装置及电子设备，下面结合具体实施例进行详细阐述。
图4是本根据本申请实施例提出的基于网联自动驾驶的交通事件预测方法的流程图。
(1)路侧相机和雷达采集其覆盖范围内的图像和点云数据，车载相机和雷达采集视野范围内的图像和点云数据，数据采集频率为20Hz，连同时间信息和GPS定位信息上传至云端；
(2)云端上传的数据进行以下处理：
(a)软同步：对不同传感器的数据进行软同步，根据上传数据的时间信息和GPS定位信息分别进行时间同步和空间同步，将位于相同区域的数据转换到同一个坐标系中；
(b)生成目标数据：使用云端计算单元将每个传感器数据处理生成各自的目标数据，将所有传感器的目标数据上传至主处理器进行数据融合，如图2所示，生成最终的融合目标数据；
(3)对区域场景进行分类，场景类型包括：城市普通道路、十字路口、高速道路和匝道，将融合目标数据送入训练好的SVM(support vector machine，支持向量机)交通场景分类网络，获得场景的分类结果，其中城市普通道路和十字路口场景有人群参与，高速道路和匝道没有人群参与；
(4)将(2)中的融合目标数据和(3)中的场景分类结果送入训练好的交通事件预测模型，模型使用检测算法检测车辆和人群目标，包括以下步骤：
(a)使用YOLO v4检测算法提取融合数据中的特征数据，检测车辆和人群目标；
(b)使用FairMOT跟踪算法为检测到的车辆和人群分配唯一id，使用对同一id的目标进行连续跟踪；
(c)将人群历史跟踪数据和场景分类结果作为人群意图预测的输入数据，得到人群意图预测结果，人群意图包括：“横穿路口”、“不横穿路口”，人群是否横穿路口对车流有一定影响，例如：若人群横穿路口，则车流将减速停车让行；
(d)将车辆历史跟踪数据进一步进行车速估计，用于车流密度估计；
(e)将车辆跟踪数据、车流密度估计结果、人群意图和场景分类结果作为车流动态分布预测的输入数据，得到车流动态分布预测结果；
(5)将人群意图预测结果和车流动态分布预测结果用于交通事件预测，得到交通事件预测结果，结果类型为：“交通事故”、“交通拥堵”及“交通拥堵程度分级”，包括以下步骤：
(a)在城市普通道路和十字路口场景，根据人群意图结果，即考虑人群未来意图对车辆分布造成的影响；若人群将通过路口，则该路口后方车辆将逐渐减速停车，车流分布将逐渐密集；
(b)根据车速估计和车辆密度估计结果，可判断区域内道路是否有速度异常的车辆，若有速度为0的车辆，说明该车辆涉及事故，若有车速明显低于其他车辆的车辆，说明该车辆发生异常，以上情况均属于“交通事故”；这种情况将导致区域内道路的车流密度分布不均匀，车辆将因事故/异常车辆速度异常而被抑制车速，车辆将逐渐分布在事故/异常车辆后方；
(c)若区域内车辆在道路中分布较为均匀，无速度异常车辆，但整体车速未达到正常通行车速，则可预测出区域内将发生“交通拥堵”；
(d)交通拥堵程度更进一步按照交通拥堵指数(TPI)进行分级，分为“畅通”、“基本畅通”、“轻度拥堵”、“中度拥堵”和“严重拥堵”五个级别。
根据本申请实施例提出的基于网联自动驾驶的交通事件预测方法，通过获取目标区域内的路侧相机采集的第一视野范围内的图像、路侧雷达采集的第一视野范围内的点云数据、车载相机采集的第二视野范围内的图像和/或车载雷达采集的第二视野范围内的点云数据；并融合得到目标区域的融合感知数据，并基于预设的交通场景分类，对融合感知数据分类，得到目标区域内的交通场景分类结果，并输入至预设的交通事件预测模型，得到车流动态分布预测结果和人群意图预测结果，并输入至预设的交通事件预测模型，得到交通事件预测结果。由此，解决了车辆采集的数据可能因为遮挡等原因造成盲区，无法采集到危险事件因素的完整数据，无法对多重风险的条件因素进行计算评估，准确性较低的问题，能够综合利用车端、路端、云端的优势，提高交通事件预测精度。
其次参照附图描述根据本申请实施例提出的基于网联自动驾驶的交通事件预测装置。
图5是本申请实施例的基于网联自动驾驶的交通事件预测装置的方框示意图。
如图5所示，该基于网联自动驾驶的交通事件预测装置10包括：获取模块100、融合模块200、分类模块300和预测模块400。
其中，获取模块100，用于获取目标区域内的路侧相机采集的第一视野范围内的图像、路侧雷达采集的第一视野范围内的点云数据、车载相机采集的第二视野范围内的图像和/或车载雷达采集的第二视野范围内的点云数据；融合模块200，用于融合第一视野范围内的图像、第一视野范围内的点云数据、第二视野范围内的图像和/或第二视野范围内的点云数据，得到目标区域的融合感知数据；分类模块300，用于基于预设的交通场景分类，对融合感知数据分类，目标区域内的交通场景分类结果，并将融合感知数据和交通场景分类结果输入至预设的交通事件预测模型，得到车流动态分布预测结果和人群意图预测结果；以及预测模块400，用于将车流动态分布和人群意图预测结果输入至预设的交通事件预测模型，得到交通事件预测结果。
可选地，在一些实施例中，在融合第一视野范围内的图像、第一视野范围内的点云数据、第二视野范围内的图像和/或第二视野范围内的点云数据之前，融合模块200，还用于：基于预设的软件同步规则、时间同步规则和空间同步规则，同步第一视野范围内的图像、第一视野范围内的点云数据、第二视野范围内的图像和第二视野范围内的点云数据。
可选地，在一些实施例中，分类模块300，具体用于：基于预设的检测算法，对融合感知数据检测计算，得到目标车辆的位置信息和标签信息，以及目标人群的位置信息和标签信息；基于预设的跟踪算法和身份识别号，跟踪计算目标车辆的位置信息和标签信息、目标人群的位置信息和标签信息，得到目标车辆的历史轨迹信息和目标人群的历史轨迹信息；基于预设的LSTM深度学习网络的预测算法，对目标人群的历史轨迹信息进行预测，得到人群意图预测结果；根据目标车辆的历史轨迹信息估计目标车辆的车速，同时基于多辆目标车辆估计目标区域内的车流密度，并基于预设的LSTM深度学习网络的预测算法，得到车流动态分布预测结果。
可选地，在一些实施例中，上述的基于网联自动驾驶的交通事件预测装置10，根据交通事件预测结果得到交通事件的分类结果。
可选地，在一些实施例中，上述的基于网联自动驾驶的交通事件预测装置10，交通事件的分类结果包括交通事故和交通拥堵。
需要说明的是，前述对基于网联自动驾驶的交通事件方法实施例的解释说明也适用于该实施例的基于网联自动驾驶的交通事件装置，此处不再赘述。
根据本申请实施例提出的基于网联自动驾驶的交通事件装置，通过获取目标区域内的路侧相机采集的第一视野范围内的图像、路侧雷达采集的第一视野范围内的点云数据、车载相机采集的第二视野范围内的图像和/或车载雷达采集的第二视野范围内的点云数据；并融合得到目标区域的融合感知数据，并基于预设的交通场景分类，对融合感知数据分类，得到目标区域内的交通场景分类结果，并输入至预设的交通事件预测模型，得到车流动态分布预测结果和人群意图预测结果，并输入至预设的交通事件预测模型，得到交通事件预测结果。由此，解决了车辆采集的数据可能因为遮挡等原因造成盲区，无法采集到危险事件因素的完整数据，无法对多重风险的条件因素进行计算评估，准确性较低的问题，能够综合利用车端、路端、云端的优势，提高交通事件预测精度。
图6为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
处理器602执行程序时实现上述实施例中提供的基于网联自动驾驶的交通事件方法。
进一步地，电子设备还包括：
通信接口603，用于存储器601和处理器602之间的通信。
存储器601，用于存放可在处理器602上运行的计算机程序。
存储器601可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器601、处理器602和通信接口603独立实现，则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器601、处理器602及通信接口603，集成在一块芯片上实现，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
处理器602可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于网联自动驾驶的交通事件方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于网联自动驾驶的交通事件预测方法，其特征在于，包括以下步骤：
获取目标区域内的路侧相机采集的第一视野范围内的图像、路侧雷达采集的所述第一视野范围内的点云数据、车载相机采集的第二视野范围内的图像和/或车载雷达采集的所述第二视野范围内的点云数据；
融合所述第一视野范围内的图像、所述第一视野范围内的点云数据、所述第二视野范围内的图像和/或所述第二视野范围内的点云数据，得到所述目标区域的融合感知数据；
基于预设的交通场景分类，对所述融合感知数据分类，得到所述目标区域内的交通场景分类结果，并将所述融合感知数据和所述交通场景分类结果输入至预设的交通事件预测模型，得到车流动态分布预测结果和人群意图预测结果；以及
将所述车流动态分布和人群意图预测结果输入至所述预设的交通事件预测模型，得到交通事件预测结果。
2.根据权利要求1所述的方法，其特征在于，在融合所述第一视野范围内的图像、所述第一视野范围内的点云数据、所述第二视野范围内的图像和/或所述第二视野范围内的点云数据之前，还包括：
基于预设的软件同步规则、时间同步规则和空间同步规则，同步所述第一视野范围内的图像、所述第一视野范围内的点云数据、所述第二视野范围内的图像和所述第二视野范围内的点云数据。
3.根据权利要求1所述的方法，其特征在于，所述将所述融合感知数据和所述交通场景分类结果输入至预设的交通事件预测模型，得到车流动态分布预测结果和人群意图预测结果，包括：
基于预设的检测算法，对所述融合感知数据检测计算，得到目标车辆的位置信息和标签信息，以及目标人群的位置信息和标签信息；
基于预设的跟踪算法和身份识别号，跟踪计算所述目标车辆的位置信息和标签信息、所述目标人群的位置信息和标签信息，得到所述目标车辆的历史轨迹信息和目标人群的历史轨迹信息；
基于预设的LSTM深度学习网络的预测算法，对所述目标人群的历史轨迹信息进行预测，得到所述人群意图预测结果；
根据所述目标车辆的历史轨迹信息估计所述目标车辆的车速，同时基于多辆所述目标车辆估计所述目标区域内的车流密度，并基于所述预设的LSTM深度学习网络的预测算法，得到所述车流动态分布预测结果。
4.根据权利要求1所述的方法，其特征在于，还包括：
根据所述交通事件预测结果得到交通事件的分类结果。
5.根据权利要求4所述的方法，其特征在于，所述交通事件的分类结果包括交通事故和交通拥堵。
6.一种基于网联自动驾驶的交通事件预测装置，其特征在于，包括：
获取模块，用于获取目标区域内的路侧相机采集的第一视野范围内的图像、路侧雷达采集的所述第一视野范围内的点云数据、车载相机采集的第二视野范围内的图像和/或车载雷达采集的所述第二视野范围内的点云数据；
融合模块，用于融合所述第一视野范围内的图像、所述第一视野范围内的点云数据、所述第二视野范围内的图像和/或所述第二视野范围内的点云数据，得到所述目标区域的融合感知数据；
分类模块，用于基于预设的交通场景分类，对所述融合感知数据分类，所述目标区域内的交通场景分类结果，并将所述融合感知数据和所述交通场景分类结果输入至预设的交通事件预测模型，得到车流动态分布预测结果和人群意图预测结果；以及
预测模块，用于将所述车流动态分布和人群意图预测结果输入至所述预设的交通事件预测模型，得到交通事件预测结果。
7.根据权利要求6所述的装置，其特征在于，在融合所述第一视野范围内的图像、所述第一视野范围内的点云数据、所述第二视野范围内的图像和/或所述第二视野范围内的点云数据之前，所述融合模块，还用于：
基于预设的软件同步规则、时间同步规则和空间同步规则，同步所述第一视野范围内的图像、所述第一视野范围内的点云数据、所述第二视野范围内的图像和所述第二视野范围内的点云数据。
8.根据权利要求6所述的装置，其特征在于，所述分类模块，具体用于：
基于预设的检测算法，对所述融合感知数据检测计算，得到目标车辆的位置信息和标签信息，以及目标人群的位置信息和标签信息；
基于预设的跟踪算法和身份识别号，跟踪计算所述目标车辆的位置信息和标签信息、所述目标人群的位置信息和标签信息，得到所述目标车辆的历史轨迹信息和目标人群的历史轨迹信息；
基于预设的LSTM深度学习网络的预测算法，对所述目标人群的历史轨迹信息进行预测，得到所述人群意图预测结果；
根据所述目标车辆的历史轨迹信息估计所述目标车辆的车速，同时基于多辆所述目标车辆估计所述目标区域内的车流密度，并基于所述预设的LSTM深度学习网络的预测算法，得到所述车流动态分布预测结果。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于网联自动驾驶的交通事件预测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于网联自动驾驶的交通事件预测方法。
CN202211167692.XA 2022-09-23 2022-09-23 基于网联自动驾驶的交通事件预测方法、装置及电子设备 Pending CN115618932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211167692.XA CN115618932A (zh) 2022-09-23 2022-09-23 基于网联自动驾驶的交通事件预测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211167692.XA CN115618932A (zh) 2022-09-23 2022-09-23 基于网联自动驾驶的交通事件预测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115618932A true CN115618932A (zh) 2023-01-17

Family

ID=84858170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211167692.XA Pending CN115618932A (zh) 2022-09-23 2022-09-23 基于网联自动驾驶的交通事件预测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115618932A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116125996A (zh) * 2023-04-04 2023-05-16 北京千种幻影科技有限公司 一种无人驾驶车辆的安全监控方法及系统
CN116229726A (zh) * 2023-05-08 2023-06-06 湖南车路协同智能科技有限公司 用于调控目标道路车辆行驶状态的车路协同方法及系统
CN117496696A (zh) * 2023-10-19 2024-02-02 深圳市新城市规划建筑设计股份有限公司 一种基于大数据的交通管理系统
CN117649632A (zh) * 2024-01-29 2024-03-05 杭州感想科技有限公司 基于多源交通数据的高速公路事件识别方法及识别装置
CN118135508A (zh) * 2024-05-08 2024-06-04 东揽(南京)智能科技有限公司 基于机器视觉的全息交通路口感知系统及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116125996A (zh) * 2023-04-04 2023-05-16 北京千种幻影科技有限公司 一种无人驾驶车辆的安全监控方法及系统
CN116229726A (zh) * 2023-05-08 2023-06-06 湖南车路协同智能科技有限公司 用于调控目标道路车辆行驶状态的车路协同方法及系统
CN116229726B (zh) * 2023-05-08 2023-08-08 湖南车路协同智能科技有限公司 用于调控目标道路车辆行驶状态的车路协同方法及系统
CN117496696A (zh) * 2023-10-19 2024-02-02 深圳市新城市规划建筑设计股份有限公司 一种基于大数据的交通管理系统
CN117649632A (zh) * 2024-01-29 2024-03-05 杭州感想科技有限公司 基于多源交通数据的高速公路事件识别方法及识别装置
CN117649632B (zh) * 2024-01-29 2024-05-07 杭州感想科技有限公司 基于多源交通数据的高速公路事件识别方法及识别装置
CN118135508A (zh) * 2024-05-08 2024-06-04 东揽(南京)智能科技有限公司 基于机器视觉的全息交通路口感知系统及方法

Similar Documents

Publication Publication Date Title
CN110001658B (zh) 用于车辆的路径预测
US11380105B2 (en) Identification and classification of traffic conflicts
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
JP6591842B2 (ja) 意味付け交通空間についての適合型射線ベースのシーン分析を行うための方法及びシステム、並びにそのようなシステムを備える車両
CN115618932A (zh) 基于网联自动驾驶的交通事件预测方法、装置及电子设备
Chang et al. Onboard measurement and warning module for irregular vehicle behavior
Wang et al. Realtime wide-area vehicle trajectory tracking using millimeter-wave radar sensors and the open TJRD TS dataset
Ansariyar et al. Statistical analysis of vehicle-vehicle conflicts with a LIDAR sensor in a signalized intersection.
Abdel-Aty et al. Using closed-circuit television cameras to analyze traffic safety at intersections based on vehicle key points detection
US20220383736A1 (en) Method for estimating coverage of the area of traffic scenarios
Tak et al. Development of AI‐Based Vehicle Detection and Tracking System for C‐ITS Application
CN112660128A (zh) 用于确定自动驾驶车辆的车道变更路径的设备及其方法
Zlocki et al. Logical scenarios parameterization for automated vehicle safety assessment: Comparison of deceleration and cut-in scenarios from Japanese and German highways
CN113178074A (zh) 应用于车辆的交通流机器学习建模系统及其方法
CN114694060B (zh) 一种道路抛洒物检测方法、电子设备及存储介质
CN117178309A (zh) 用于创建具有碰撞概率的地图的方法
Zheng Developing a traffic safety diagnostics system for unmanned aerial vehicles usingdeep learning algorithms
CN112349100B (zh) 一种基于网联环境的多视角行车风险评估方法及装置
Dinh et al. Development of a tracking-based system for automated traffic data collection for roundabouts
CN117387647A (zh) 融合车载传感器数据与道路传感器数据的道路规划方法
Detzer et al. Analysis of traffic safety for cyclists: The automatic detection of critical traffic situations for cyclists
Shan et al. Vehicle collision risk estimation based on RGB-D camera for urban road
Das et al. Why slammed the brakes on? auto-annotating driving behaviors from adaptive causal modeling
CN115817466A (zh) 一种碰撞风险评估方法及装置
CN114684197A (zh) 避障场景的检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination