CN117975719A - 一种基于基础设施的对象级感知方法、系统及电子设备 - Google Patents

一种基于基础设施的对象级感知方法、系统及电子设备 Download PDF

Info

Publication number
CN117975719A
CN117975719A CN202410030742.2A CN202410030742A CN117975719A CN 117975719 A CN117975719 A CN 117975719A CN 202410030742 A CN202410030742 A CN 202410030742A CN 117975719 A CN117975719 A CN 117975719A
Authority
CN
China
Prior art keywords
point cloud
road section
cloud data
monitored
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410030742.2A
Other languages
English (en)
Inventor
殷嘉伦
王钊
闫家强
刘晨
张祖锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Deyi Xigu Intelligent Technology Co ltd
Original Assignee
Suzhou Deyi Xigu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Deyi Xigu Intelligent Technology Co ltd filed Critical Suzhou Deyi Xigu Intelligent Technology Co ltd
Priority to CN202410030742.2A priority Critical patent/CN117975719A/zh
Publication of CN117975719A publication Critical patent/CN117975719A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明的目的是提供一种基于基础设施的对象级感知方法、系统及电子设备，涉及对象级感知系统技术领域。方法包括：根据监测路段的点云数据，确定监测路段的目标边界识别结果，根据监测路段的目标边界识别结果，完成监测路段对应的单路段场景模拟，集成多个单路段场景模拟的结果，完成全路段场景模拟，显示全路段场景模拟的结果，或显示移动系统请求获取的监测路段对应的单路段场景模拟的结果。本发明能够完成基础设施的对象级感知精度进而提高场景模拟精度。

Description

一种基于基础设施的对象级感知方法、系统及电子设备
技术领域
本发明涉及对象级感知系统技术领域，特别是涉及一种基于基础设施的对象级感知方法、系统及电子设备。
背景技术
随着出行需求的快速增长，交通系统面临着日益严峻的交通相关挑战，例如提高交通安全、缓解交通拥堵和减少移动源排放。利用近年来在先进传感、无线连接和人工智能方面取得的进步，协同驾驶自动化(CDA)吸引了越来越多的关注，并被视为应对上述挑战的变革性解决方案。提高互联和自动驾驶汽车(CAV)在如此复杂环境中的适应能力的流行方法之一是提高其态势感知能力。例如，车辆配备了越来越多的高分辨率车载传感器，并升级了强大的车载计算机，以更好地感知周围环境并自行做出决策，这与高度自动化汽车(HAV)的路径类似。然而，该路线面临几个主要挑战：1)大规模高分辨传感器的成本令人望而却步；2)车载传感器的检测范围有限，由于安装高度和位置的原因，车载传感器也会受到遮挡的影响。
近年来，路边传感器辅助感知吸引了CAV的大量关注，被认为是一种有前途的方式，可以为协同驾驶自动化应用释放大量机会。目前的道路侧传感系统主要基于摄像头，在交通监控(如转弯运动计数)方面具有成本效益和完善性，但由于照明条件和阴影效应，很难提供可靠的物体级高保真3D信息。考虑到其基于点云数据确定准确3D位置的能力，激光雷达(LiDAR)在基于基础设施的交通监控中越来越受欢迎。路边激光雷达在车辆检测、车辆跟踪、车道识别、行人近撞警告和其他应用中具有较好的性能。这些研究为基于路边激光雷达的感知系统的应用奠定了基础。然而，这些系统大多部署在传统的感知管道上，包括背景过滤、点云聚类、目标分类和目标跟踪。这种管道可能会产生稳定的结果，但存在不确定性和普遍性。随着计算机视觉的发展，基于深度学习的感知模型在克服上述问题方面显示出巨大的潜力。然而，很少有研究将基于深度学习的感知算法应用于路边LiDAR系统。
发明内容
本发明的目的是提供一种基于基础设施的对象级感知方法、系统及电子设备，能够提高基础设施的对象级感知精度。
为实现上述目的，本发明提供了如下方案：
一种基于基础设施的对象级感知方法，所述方法应用于基于基础设施的对象级感知装置，所述装置包括：云系统、边路系统和移动系统；
所述边路系统和所述移动系统均与所述云系统连接；
所述边路系统的数量为一个或多个；所述边路系统设置于被测公路的路边；所述边路系统与被测公路中的监测路段一一对应设置；
所述移动系统的数量为一个或多个；
所述边路系统用于获取所在监测路段的点云数据，并根据所述点云数据确定目标边界；所述点云数据是边路系统中的激光雷达处于多个姿态下获取的；
所述云系统用于根据一个或多个边路系统识别到的目标边界完成场景模拟；
所述移动系统用于接收并显示场景模拟的结果；
所述方法包括：
获取监测路段的点云数据；
根据监测路段的点云数据，确定监测路段的目标边界识别结果；
根据监测路段的目标边界识别结果，完成监测路段对应的单路段场景模拟；
集成多个单路段场景模拟的结果，完成全路段场景模拟；
显示全路段场景模拟的结果，或显示移动系统请求获取的监测路段对应的单路段场景模拟的结果。
可选的，所述根据监测路段的点云数据，确定监测路段的目标边界识别结果，包括：
利用最小二乘回归法对监测路段的点云数据进行自校准，得到编码点云数据；
对所述编码点云数据进行体素化处理，得到多个点云柱；
将多个所述点云柱对应的编码点云数据集合，输入到特征提取网络中，得到每个点云柱的边界识别结果；所述特征提取网络是利用监测路段的多个历史点云数据对初始特征提取网络进行训练后得到的。
可选的，所述初始特征提取网络包括：依次连接的第一2D卷积层、第二2D卷积层、第三2D卷积层和反卷积层。
可选的，在所述获取监测路段的点云数据之前，还包括：
获取监测路段的多个历史点云数据；
利用最小二乘回归法对多个历史点云数据进行自校准，得到多个历史编码点云数据；
分别对每个所述历史编码点云数据进行体素化处理，得到多个历史点云柱；
对每个历史点云柱进行边界标注处理，得到历史边界标注结果；
以历史点云柱对应的历史编码点云数据集合为输入，以历史边界标注结果为输出，对初始特征提取网络进行训练，得到特征提取网络。
一种基于基础设施的对象级感知系统，包括：
点云数据获取模块，用于获取监测路段的点云数据；
边界识别模块，用于根据监测路段的点云数据，确定监测路段的目标边界识别结果；
单路段场景模拟模块，用于根据监测路段的目标边界识别结果，完成监测路段对应的单路段场景模拟；
全路段场景模拟模块，用于集成多个单路段场景模拟的结果，完成全路段场景模拟；
场景模拟显示模块，用于显示全路段场景模拟的结果，或显示移动系统请求获取的监测路段对应的单路段场景模拟的结果。
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的一种基于基础设施的对象级感知方法。
可选的，所述存储器为可读存储介质。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的一种基于基础设施的对象级感知方法、系统及电子设备，基于CMR模型，有效且较准确的通过路测传感器在路侧观测交通目标，得到较好的高清感知信息，通过仿真平台，避开了在部署CMR系统传感器面临的高成本、耗时等问题，高效且具有成本效益的对路测感知模型进行训练，仿真平台得到的数据对现实测量系统进行了回环反馈，通过与仿真系统仿真结果的对比，在真实物理世界中搭建CMR系统平台，从路测传感器得到了可靠性更高的高清感知信息，以应用于更多高级驾驶辅助系统(ADAS)。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中基于基础设施的对象级感知方法流程图；
图2为本发明实施例1中基于基础设施的对象级感知装置结构示意图；
图3为本发明实施例1中初始特征提取网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于基础设施的对象级感知方法、系统及电子设备，能够提高基础设施的对象级感知精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
本实施例提供了一种基于基础设施的对象级感知方法，方法应用于基于基础设施的对象级感知装置，如图2，装置包括：云系统、边路系统和移动系统。,边路系统和移动系统均与云系统连接。边路系统的数量为一个或多个。边路系统设置于被测公路的路边。边路系统与被测公路中的监测路段一一对应设置。移动系统的数量为一个或多个。边路系统用于获取所在监测路段的点云数据，并根据点云数据确定目标边界。点云数据是边路系统中的激光雷达处于多个姿态下获取的。云系统用于根据一个或多个边路系统识别到的目标边界完成场景模拟。移动系统用于接收并显示场景模拟的结果。
如图1所示，本实施例提供了一种基于基础设施的对象级感知方法，包括：
步骤101：获取监测路段的点云数据。
步骤102：根据监测路段的点云数据，确定监测路段的目标边界识别结果。
步骤103：根据监测路段的目标边界识别结果，完成监测路段对应的单路段场景模拟。
步骤104：集成多个单路段场景模拟的结果，完成全路段场景模拟。
步骤105：显示全路段场景模拟的结果，或显示移动系统请求获取的监测路段对应的单路段场景模拟的结果。
步骤102，包括：
步骤102-1：利用最小二乘回归法对监测路段的点云数据进行自校准，得到编码点云数据。
步骤102-2：对编码点云数据进行体素化处理，得到多个点云柱。
步骤102-3：将多个点云柱对应的编码点云数据集合，输入到特征提取网络中，得到每个点云柱的边界识别结果。特征提取网络是利用监测路段的多个历史点云数据对初始特征提取网络进行训练后得到的。
如图3，初始特征提取网络包括：依次连接的第一2D卷积层、第二2D卷积层、第三2D卷积层和反卷积层。
在步骤101之前，还包括：
步骤106：获取监测路段的多个历史点云数据。
步骤107：利用最小二乘回归法对多个历史点云数据进行自校准，得到多个历史编码点云数据。
步骤108：分别对每个历史编码点云数据进行体素化处理，得到多个历史点云柱。
步骤109：对每个历史点云柱进行边界标注处理，得到历史边界标注结果。
步骤1010：以历史点云柱对应的历史编码点云数据集合为输入，以历史边界标注结果为输出，对初始特征提取网络进行训练，得到特征提取网络。
具体的，本实施例中基于基础设施的对象级感知装置，即新型对象级感知系统(CyberMobility Reflection，CMR)如图2所示，包括：感知系统架构、操作系统和数据模型训练。
感知系统架构：
为了探索路边传感系统的潜力，CMR旨在实现实时对象级交通目标的感知和重建，以支持各种协同驾驶自动化(CDA)应用，例如碰撞警告、生态接近和偏离(EAD)和协同自适应巡航控制(CACC)
在基础设施感知系统中，交通状况(即“移动性”)由高保真传感器和先进的感知方法(如物体检测、分类和跟踪)检测。在“网络”世界中，数字复制品(即“镜像”对象)被构建，通过高清3D感知信息实时重建交通，例如检测到的物体的大地测量位置(在卫星地图上呈现)、3D尺寸、速度和移动方向(或航向)。然后，这面仿真“镜子”可以作为现实世界交通系统中众多CDA应用的感知基础。
具体而言，通过基础设施侧配备的高保真传感器可以检测交通对象，感知数据由边缘服务器处理，生成对象级信息，并实现检测、分类、跟踪和大地定位等各种功能。感知信息也被传输到云服务器进行分发和3D重建。重建的交通环境可以显示在联网道路使用者的GUI上，以支持各种CDA应用程序。
系统结构：在现实世界的交通环境中，基于基础设施的感知系统的系统架构是按照核心理念设计的。具体来说，CMR系统可分为两个主要部分：三坐标测量机路侧系统(CMR-RSS)和三坐标测量机车载系统(CMR-OBS)。
路侧感知系统：其中CMR-RSS由路边传感器组成，例如本研究中的LiDAR，用于感知交通状况并生成高保真传感器数据。基于边缘计算的实时感知流水线，实现传感器融合(如适用)、目标检测、分类和跟踪任务。通信设备，用于接收来自其他道路使用者、基础设施甚至“云”的信息，并通过不同类型的协议与他们共享感知结果。
车载感知系统：对于CAVS，CMR-OBS可以接收来自CMR-RSS的物体级感知数据，然后作为感知输入，支持各种CDA应用，如CACC、协同合并、协同生态驱动；对于互联人驾驶车辆(CHV)，CMR-OBS还可以通过人机界面(HMI)为它们提供实时交通信息，以提高驾驶性能或避免因遮挡而可能发生的碰撞。由路侧感知系统与基础设置感知系统共同组成了CMR感知系统。
操作系统：
CMR操作系统(FOS)主要由于主要由用于数据采集的路边3DLiDAR、用于数据处理的边缘计算系统、用于数据分发的云服务器以及配备连接和图形用户界面(GUI)的测试车辆组成。具体来说，LiDAR安装在足够高的信号杆上，以实现更好的覆盖范围。路端计算机从路边激光雷达检索3D点云数据，然后生成高清感知信息(即3D物体检测、分类和跟踪结果)，并通过蜂窝网络传输到云服务器。配备CMR OBU(包括GPS接收器、车载通信设备和平板电脑)的CHV可以接收感知信息，并在GUI上实时重建和显示物体级的交通状况。
整个系统遵循车路云结构，路端服务器和云端服务器主要负责原始数据处理和消息分发。在云服务器上计算和在路端通信(例如，DSRC)在理论上也是一种可行的结构。
以64线3D LiDAR被用作主要的路边传感器，安装在离地面14英尺-15英尺高度的信号杆上，具有适当的俯仰角和偏航角，覆盖监控区域。交叉口的路端计算机以UDP数据包的形式从LiDAR检索数据流。每个点的三维位置，即x，y，z和强度i等点云属性被捆绑成一个(N×4)矩阵进行处理，生成三维检测，跟踪和定位结果。其中，N是指LiDAR数据中的点云中点的数量。点云是由LiDAR传感器生成的一系列三维点的集合，每个点表示传感器在空间中探测到的一个对象或障碍物。每个点通常由其三维坐标(x，y，z)和其他属性(例如强度i)组成。这意味着在整个数据流中有N个点，每个点都有4个属性(x，y，z，i)。因此，矩阵的大小是N行4列。
数据模型训练：
原始点云数据由64线3D LiDAR生成，然后边缘计算机通过UDP通信通过以太网电缆检索原始数据。
原始点云数据被描述为Ω：
P＝{[x，y，z，i]|[x，y，z]∈R3，i∈[0.0，1.0]}。
P的范围为：
PΩ＝{[x，y，z，i]T|x∈X，y∈Y，z∈Z}。
PΩ代表检测范围内的3D点云数据。
考虑到LiDAR的垂直视场(FOV)有限，它安装了调整后的旋转角度，包括俯仰、偏航和滚动，以覆盖所需的监视区域。
为了使模型具有领域适应能力，在车载数据集上进行训练，同时在路边数据上进行推理，本实施例提出了路边数据转换(RDT)方法。
RDT的主要目的是将路边点云转换为一个空间，在该空间中，在车载数据集上训练的模型可以计算出来。
为了实现这种变换，本实施例利用最小二乘回归(LSR)对点云进行路边LiDAR姿态的自校准：路边点云的坐标定义为LiDAR坐标(L-Coor)，编码后的点云坐标定义为水平坐标(H-Coor)。使用LSR，生成最小二乘平面来表示x-yL-Coor的平面。然后3D旋转矩阵可以生成为PCali。PCali是将LiDAR坐标系旋转到水平坐标系的转换矩阵。通常，这个矩阵是一个3×3的矩阵，表示三维空间中的旋转变换。
对于平移，定义垂直偏移变量Δz：
Δz＝zroadside-zonboard。
其中，zroadside和zonboard分别代表路侧雷达的高度和车端雷达的高度。
定义编码PH为：
对点云进行体素化，即仅在x-y平面生成点云柱。
设计数据聚合来提取和压缩将发送到深度神经网络的特征，以生成预测的边界框。
数据聚合后，使用图所示特征提取网络(FPN)生成边界框。
该网络主要由两组分组成，1)一个基于2D卷积(Conv2D)层的网络，以递减的空间分辨率生成提取的特征；2)一个基于反卷积(DeConv2D)层的网络，通过执行上采样和串联来生成输出特征。每个Conv2D块由一个Conv2D层组成，其内核为(3，2，1)，后跟几个Conv2D层，其内核(3，1，1)，具体来说，每个块中的Conv2D层数分别为4、6和6。
对于损失函数，考虑分类和定位，定义Δx，Δy，Δz，Δω，Δl，Δh，Δθ。
Δx，Δy，Δz，Δω，Δl，Δh，Δθ是用于表示目标检测和定位任务中位置和方向误差的一系列定义。这些定义是为了量化模型预测值与地面真实值之间的差异，从而形成用于计算损失函数的基础。
Δx表示模型预测的目标在x轴上的位置误差。
Δy表示模型预测的目标在y轴上的位置误差。
Δz表示模型预测的目标在z轴上的位置误差。
Δω表示模型预测的目标在方向(朝向)上的误差。
Δl表示模型预测的目标在长度(长)上的误差。
Δh表示模型预测的目标在高度(高)上的误差。
Δθ表示模型预测的目标在角度(方向)上的误差。在定义中，采用了sin函数来表示方向误差的计算。
其中，上标gt和α分别代表地面真值和锚值。
总共定位损失为：
Lloc＝∑b∈(x，y，z，|ω，l，h，θ)SmoothL1(Δb)。
首先，通过CMR系统获取一种或多种模态的训练样本，其中，样本包括有标注样本和无标注样本，本实施例需要从对象级感知信息充当CMR的构建块，CMR需要从路测的高分辨率传感器(如LiDAR)检索高保真数据。
本实施例使用一种高效且具有成本效益的方法来验证坐标测量机的可行性，本实施例在实际实施之前，在仿真平台(即基于CARLA的协同仿真系统)中模拟了CMR系统。其基本思想是通过一个CARLA模拟器模拟真实世界的交通环境，并在模拟的真实环境中运行整个感知过程。然后应用另一个CARLA模拟器来模拟网络世界，即重建交通对象然后显示。由于CARLA能够对高保真传感器进行建模，因此在协同仿真平台中对仿真CMR的评估结果可以为实际的CMR实现奠定基础。
基于已有路口真实数据进行建模构建场景，采用设定场景的有标注数据对预训练后的感知模型进行场景化训练。将场景化后的感知模型作为教师模型，从所述训练样本中获取第一无标注数据；进行数据存储和处理，在数据库中对数据进行清理，去除不必要的干扰和错误
将场景化后的感知模型作为教师模型，从所述训练样本中获取第一无标注数据；采用无标注数据对所述车端感知模型进行训练，输出预测结果；感知结果分为真阳性(TP)、误报(FP)、真阴性(TN)、假阴性(FN)；在仿真系统中模拟不同的交通场景，对路测感知系统进行测试和验证；通过对真实数据进行重放来模拟各种可能的场景，可以更有效地验证自动驾驶路测感知系统系统的精确度、可靠性和智能性；评估仿真平台中网络世界中CMR系统中生成的路侧高清感知信息的性能是否达到标准；如果未达到标准，进行回环训练；最后得到在仿真平台上效果较好的CMR模型，以用于现实世界CMR系统的部署；当现实物理世界对CMR系统进行搭建以后，观察路侧感知系统的高清感知结果是否与仿真结果精度一致，如有偏差，则对参数进行回环反馈调整，使CMR系统得到较好的感知结果。
本实施例引入了网络移动映射(CMR)的概念，并在真实世界的十字路口开发了一个CMR现场操作系统，作为实现协同驾驶自动化(CDA)的原型。它利用高保真路边传感器(如激光雷达)对物体级交通信息进行实时检测、分类、跟踪和重建，可为混合交通中的各种CDA应用奠定环境感知基础。然后本实施例在在仿真平台(即基于CARLA的协同仿真系统)中模拟了CMR系统。通过一个CARLA模拟器模拟真实世界的交通环境，并在模拟的真实环境中运行整个感知过程。经过回环反馈的训练方式，使CMR系统输出来自路侧的高清感知信息。最后，本实施例在现实环境中搭建CMR系统平台，其性能与良好的仿真观测结果一致。
实施例2
为了执行上述实施例1对应的方法，以实现相应的功能和技术效果，下面提供了一种基于基础设施的对象级感知系统，包括：
点云数据获取模块，用于获取监测路段的点云数据。
边界识别模块，用于根据监测路段的点云数据，确定监测路段的目标边界识别结果。
单路段场景模拟模块，用于根据监测路段的目标边界识别结果，完成监测路段对应的单路段场景模拟。
全路段场景模拟模块，用于集成多个单路段场景模拟的结果，完成全路段场景模拟。
场景模拟显示模块，用于显示全路段场景模拟的结果，或显示移动系统请求获取的监测路段对应的单路段场景模拟的结果。
实施例3
本实施例提供了一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行实施例1所述的一种基于基础设施的对象级感知方法。
其中，存储器为可读存储介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于基础设施的对象级感知方法，其特征在于，所述方法应用于基于基础设施的对象级感知装置，所述装置包括：云系统、边路系统和移动系统；
所述边路系统和所述移动系统均与所述云系统连接；
所述边路系统的数量为一个或多个；所述边路系统设置于被测公路的路边；所述边路系统与被测公路中的监测路段一一对应设置；
所述移动系统的数量为一个或多个；
所述边路系统用于获取所在监测路段的点云数据，并根据所述点云数据确定目标边界；所述点云数据是边路系统中的激光雷达处于多个姿态下获取的；
所述云系统用于根据一个或多个边路系统识别到的目标边界完成场景模拟；
所述移动系统用于接收并显示场景模拟的结果；
所述方法包括：
获取监测路段的点云数据；
根据监测路段的点云数据，确定监测路段的目标边界识别结果；
根据监测路段的目标边界识别结果，完成监测路段对应的单路段场景模拟；
集成多个单路段场景模拟的结果，完成全路段场景模拟；
显示全路段场景模拟的结果，或显示移动系统请求获取的监测路段对应的单路段场景模拟的结果。
2.根据权利要求1所述的一种基于基础设施的对象级感知方法，其特征在于，所述根据监测路段的点云数据，确定监测路段的目标边界识别结果，包括：
利用最小二乘回归法对监测路段的点云数据进行自校准，得到编码点云数据；
对所述编码点云数据进行体素化处理，得到多个点云柱；
将多个所述点云柱对应的编码点云数据集合，输入到特征提取网络中，得到每个点云柱的边界识别结果；所述特征提取网络是利用监测路段的多个历史点云数据对初始特征提取网络进行训练后得到的。
3.根据权利要求2所述的一种基于基础设施的对象级感知方法，其特征在于，所述初始特征提取网络包括：依次连接的第一2D卷积层、第二2D卷积层、第三2D卷积层和反卷积层。
4.根据权利要求2所述的一种基于基础设施的对象级感知方法，其特征在于，在所述获取监测路段的点云数据之前，还包括：
获取监测路段的多个历史点云数据；
利用最小二乘回归法对多个历史点云数据进行自校准，得到多个历史编码点云数据；
分别对每个所述历史编码点云数据进行体素化处理，得到多个历史点云柱；
对每个历史点云柱进行边界标注处理，得到历史边界标注结果；
以历史点云柱对应的历史编码点云数据集合为输入，以历史边界标注结果为输出，对初始特征提取网络进行训练，得到特征提取网络。
5.一种基于基础设施的对象级感知系统，其特征在于，包括：
点云数据获取模块，用于获取监测路段的点云数据；
边界识别模块，用于根据监测路段的点云数据，确定监测路段的目标边界识别结果；
单路段场景模拟模块，用于根据监测路段的目标边界识别结果，完成监测路段对应的单路段场景模拟；
全路段场景模拟模块，用于集成多个单路段场景模拟的结果，完成全路段场景模拟；
场景模拟显示模块，用于显示全路段场景模拟的结果，或显示移动系统请求获取的监测路段对应的单路段场景模拟的结果。
6.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至4中任一项所述的一种基于基础设施的对象级感知方法。
7.根据权利要求6所述的一种电子设备，其特征在于，所述存储器为可读存储介质。
CN202410030742.2A 2024-01-09 2024-01-09 一种基于基础设施的对象级感知方法、系统及电子设备 Pending CN117975719A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410030742.2A CN117975719A (zh) 2024-01-09 2024-01-09 一种基于基础设施的对象级感知方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410030742.2A CN117975719A (zh) 2024-01-09 2024-01-09 一种基于基础设施的对象级感知方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN117975719A true CN117975719A (zh) 2024-05-03

Family

ID=90860707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410030742.2A Pending CN117975719A (zh) 2024-01-09 2024-01-09 一种基于基础设施的对象级感知方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN117975719A (zh)

Similar Documents

Publication Publication Date Title
US10565458B2 (en) Simulation system, simulation program and simulation method
US11797407B2 (en) Systems and methods for generating synthetic sensor data via machine learning
US11734885B2 (en) Systems and methods for generating synthetic light detection and ranging data via machine learning
CN114723955B (zh) 图像处理方法、装置、设备和计算机可读存储介质
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
US20220036579A1 (en) Systems and Methods for Simulating Dynamic Objects Based on Real World Data
US12037027B2 (en) Systems and methods for generating synthetic motion predictions
Wang et al. Traffic sensory data classification by quantifying scenario complexity
CN106503653A (zh) 区域标注方法、装置和电子设备
US12023812B2 (en) Systems and methods for sensor data packet processing and spatial memory updating for robotic platforms
US20220318464A1 (en) Machine Learning Data Augmentation for Simulation
CN108428254A (zh) 三维地图的构建方法及装置
CN114821507A (zh) 一种用于自动驾驶的多传感器融合车路协同感知方法
Li et al. Pre-deployment testing of low speed, Urban Road Autonomous Driving in a Simulated Environment
Zhao et al. Autonomous driving simulation for unmanned vehicles
Bai et al. Cyber mobility mirror: A deep learning-based real-world object perception platform using roadside LiDAR
Yang et al. Survey on autonomous vehicle simulation platforms
Bai et al. Cyber mobility mirror: Deep learning-based real-time 3d object perception and reconstruction using roadside lidar
Bai et al. Cyber mobility mirror for enabling cooperative driving automation in mixed traffic: A co-simulation platform
Ennajar et al. Deep multi-modal object detection for autonomous driving
Bai et al. Cyber mobility mirror for enabling cooperative driving automation: A co-simulation platform
Ma et al. A virtual method for optimizing deployment of roadside monitoring lidars at as-built intersections
CN117975719A (zh) 一种基于基础设施的对象级感知方法、系统及电子设备
Gräfe et al. Digital Twins of Roads as a Basis for Virtual Driving Tests
Lu et al. Road User Localization for Autonomous Vehicle Infrastructure by Leveraging Surveillance Videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination