CN117036607A - 基于隐式神经渲染的自动驾驶场景数据生成方法及系统 - Google Patents

基于隐式神经渲染的自动驾驶场景数据生成方法及系统 Download PDF

Info

Publication number
CN117036607A
CN117036607A CN202310994135.3A CN202310994135A CN117036607A CN 117036607 A CN117036607 A CN 117036607A CN 202310994135 A CN202310994135 A CN 202310994135A CN 117036607 A CN117036607 A CN 117036607A
Authority
CN
China
Prior art keywords
data
module
automatic driving
tracking
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310994135.3A
Other languages
English (en)
Inventor
闫国行
皮家豪
石博天
窦民
白也淇
邓念晨
郭建非
周鸿斌
杨雪梦
付道成
温力成
蔡品隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai AI Innovation Center
Original Assignee
Shanghai AI Innovation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai AI Innovation Center filed Critical Shanghai AI Innovation Center
Priority to CN202310994135.3A priority Critical patent/CN117036607A/zh
Publication of CN117036607A publication Critical patent/CN117036607A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及自动驾驶技术领域，特别涉及一种基于隐式神经渲染的自动驾驶场景数据生成方法及系统，该方法包括以下步骤：基于传感器数据，构建离线高精地图；传感器数据包括激光雷达点云数据和位姿数据；基于离线高精地图，对传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果；采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，得到场景重建结果；对车辆的轨迹进行编辑，生成车辆轨迹，采用多种不同类型的传感器进行实时仿真渲染，得到多种类型高度逼真的传感器数据。本申请提供的基于隐式神经渲染的自动驾驶场景数据生成方法及系统，能够有效解决仿真的多传感器数据不逼真的问题，并且适用于大规模的动态的自动驾驶场景。

Description

基于隐式神经渲染的自动驾驶场景数据生成方法及系统
技术领域
本申请实施例涉及自动驾驶技术领域，特别涉及一种基于隐式神经渲染的自动驾驶场景数据生成方法及系统。
背景技术
当前，自动驾驶是工业界和学术界的关注热点之一。为了适应现实中复杂多变的行驶环境，自动驾驶系统中都包含了大量复杂的算法，而算法的开发和验证需要海量的测试数据。而仅依靠实车采集数据很难满足安全测试的要求，因此，仿真成为了解决测试里程数据不足问题的唯一方案。
目前常用的仿真器如CARLA，虽然能够提供相对完整的交通流管理和不同传感器的配置方案，但是由于仿真世界和真实世界有明显的差异，并不能很好的生成高度逼真的自动驾驶数据，并且仿真的场景库有限，无法满足自动驾驶多样化场景的数据需求。
发明内容
本申请实施例提供一种基于隐式神经渲染的自动驾驶场景数据生成方法及系统，通过隐式表面重建的方法能够有效解决仿真的多传感器数据不逼真的问题，并且适用于大规模的动态的自动驾驶场景，同时通过基于路网信息的轨迹编辑和生成算法，对单一场景进行编辑生成各种长尾场景。
为解决上述技术问题，第一方面，本申请实施例提供一种基于隐式神经渲染的自动驾驶场景数据生成方法及系统，包括以下步骤：首先，基于传感器数据，构建离线高精地图；传感器数据包括激光雷达点云数据和位姿数据；然后，基于离线高精地图，对传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果；接下来，采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，得到场景重建结果；然后，基于离线高精地图、目标检测跟踪结果以及路网结构，对车辆的轨迹进行编辑，生成车辆轨迹；最后，基于离线高精地图、目标检测跟踪结果、场景重建结果以及车辆轨迹，采用多种不同类型的传感器进行实时仿真渲染，得到多种类型高度逼真的传感器数据。
在一些示例性实施例中，基于传感器数据，构建离线高精地图，包括：对激光雷达点云数据中每一帧点云进行处理，对非地面点进行过滤，得到处理后的激光雷达点云；基于位姿数据，对所有处理后的激光雷达点云进行拼接，得到全场景雷达点云数据；将全场景雷达点云数据转换为俯视图图像，得到道路图像；其中，道路图像的像素与点云范围一一对应；像素的灰度值通过计算与所述像素对应的点云范围内的点云强度的平均值得到；基于道路图像，绘制车道和路网结构。
在一些示例性实施例中，基于离线高精地图，对传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果，包括：基于物体检测器，将每五帧点云作为一次检测的输入进行物体检测，得到检测结果；采用原始点特征和体素特征对所述检测结果进行细化处理，得到细化后的检测结果；采用两阶段数据关联方法得到多组跟踪轨迹，并通过位置感知相似度匹配分数将多组跟踪轨迹关联在一起，得到跟踪结果；预测对象的几何形状、位置、置信度属性，对所述细化后的检测结果和所述跟踪结果进行进一步优化，得到目标检测跟踪结果。
在一些示例性实施例中，多视角隐式表面重建的方法的输入是相机图片及相机内外参数据、激光雷达数据和激光雷达外参数据，以及在离线目标检测和跟踪部分得到的动态目标的3D检测数据；采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，所述重建包括背景重建和前景重建；其中，所述前景表示运动的车辆和行人，所述背景表示除去前景的其它部分；在背景重建的过程中，将空间划分为近景、远景和天空三部分，并对近景、远景和天空分别处理，对背景进行重建；在前景重建的过程中，根据不同时刻运动目标的3D检测框数据和前景资产库对前景进行动态重建。
在一些示例性实施例中，采用多车辆决策规划方法对车辆的轨迹进行编辑，生成车辆轨迹；多车辆决策规划方法的输入包括路网拓扑结构、路线信息、车辆状态和对于不受控制车辆的轨迹预测；多车辆决策规划方法的输出为原始的自车和他车轨迹以及经过编辑后的他车轨迹；多车辆决策规划方法，包括：同时为所有自动驾驶车辆生成粗略的、可解释的离散决策序列，以解决场景车辆间的交互行为；基于离散决策序列，并为每个受控自动驾驶车辆生成连续的运动学上可行的轨迹。
第二方面，本申请实施例还提供了一种基于隐式神经渲染的自动驾驶场景数据生成系统，包括：依次连接的高精地图构建模块、目标检测和跟踪模块、隐式三维重建模块、轨迹编辑与生成模块以及实时渲染模块；高精地图构建模块用于根据传感器数据，构建离线高精地图；传感器数据包括激光雷达点云数据和位姿数据；目标检测和跟踪模块用于根据所述离线高精地图，对所述传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果；隐式三维重建模块用于采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，得到场景重建结果；轨迹编辑与生成模块用于根据所述离线高精地图、所述目标检测跟踪结果以及路网结构，对车辆的轨迹进行编辑，生成车辆轨迹；实时渲染模块用于根据所述离线高精地图、所述目标检测跟踪结果、所述场景重建结果以及所述车辆轨迹，采用多种不同类型的传感器进行实时仿真渲染，得到多种类型高度逼真的传感器数据。
在一些示例性实施例中，高精地图构建模块包括数据预处理模块、图像转换模块以及车道和路网结构绘制模块；数据预处理模块用于对所述激光雷达点云数据中每一帧点云进行处理，对非地面点进行过滤，得到处理后的激光雷达点云；并基于位姿数据，对所有处理后的激光雷达点云进行拼接，得到全场景雷达点云数据；图像转换模块用于将所述全场景雷达点云数据转换为俯视图图像，得到道路图像；其中，所述道路图像的像素与点云范围一一对应；所述像素的灰度值通过计算与所述像素对应的点云范围内的点云强度的平均值得到；车道和路网结构绘制模块用于根据所述道路图像，绘制车道和路网结构。
在一些示例性实施例中，目标检测和跟踪模块包括物体检测器、点强度感知模块、多物体跟踪模块以及预测模块；物体检测器用于将每五帧点云作为一次检测的输入，进行物体检测，得到检测结果；点强度感知模块用于采用原始点特征和体素特征，对所述检测结果进行细化处理，得到细化后的检测结果；多物体跟踪模块用于根据两阶段数据关联方法，得到多组跟踪轨迹，并通过位置感知相似度匹配分数将多组跟踪轨迹关联在一起，得到跟踪结果；预测模块用于预测对象的几何形状、位置、置信度属性，对所述细化后的检测结果和所述跟踪结果进行进一步优化，得到目标检测跟踪结果。
在一些示例性实施例中，隐式三维重建模块包括背景重建模块和前景重建模块；背景重建模块用于将空间划分为近景、远景和天空，并对近景、远景和天空分别进行背景重建处理；前景重建模块用于根据不同时刻运动目标的3D检测框数据和前景资产库对前景进行动态重建。
在一些示例性实施例中，轨迹编辑与生成模块包括决策模块和轨迹规划模块；其中，决策模块用于同时为所有自动驾驶车辆生成粗略的、可解释的离散决策序列，以解决场景车辆间的交互行为；轨迹规划模块用于接收所述离散决策序列，并为每个受控自动驾驶车辆生成连续的运动学上可行的轨迹。
本申请实施例提供的技术方案至少具有以下优点：
本申请实施例提供一种基于隐式神经渲染的自动驾驶场景数据生成方法及系统，该方法包括以下步骤：首先，基于传感器数据，构建离线高精地图；传感器数据包括激光雷达点云数据和位姿数据；然后，基于离线高精地图，对传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果；接下来，采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，得到场景重建结果；然后，基于离线高精地图、目标检测跟踪结果以及路网结构，对车辆的轨迹进行编辑，生成车辆轨迹；最后，基于离线高精地图、目标检测跟踪结果、场景重建结果以及车辆轨迹，采用多种不同类型的传感器进行实时仿真渲染，得到多种类型高度逼真的传感器数据。
本申请提供一种基于隐式神经渲染的自动驾驶场景数据生成方法及系统，通过提出一个完整的自动驾驶数据生成的系统，包含离线目标检测和跟踪、高精地图生成、隐式三维重建、轨迹生成和新传感器仿真渲染五个模块，并结合交通流生成轨迹并结合重建结果进行多场景渲染。为了生成高度保真的传感器数据，一方面结合道路路网信息，对车辆的轨迹进行编辑以生成更符合车辆动力学和更真实的车辆轨迹；另一方面通过隐式表明重建技术和结合前景资产库对自动驾驶场景进行高度保真的场景重建；最后结合生成的轨迹对场景进行编辑和渲染，生成各类高度保真的传感器数据。此外，本申请在渲染传感器数据时，支持16种不同型号的激光雷达、相机和毫米波雷达的仿真，并且支持3D Radar和4D Radar，满足自动驾驶场景各种传感器配置要求。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，除非有特别申明，附图中的图不构成比例限制。
图1为本申请一实施例提供的一种基于隐式神经渲染的自动驾驶场景数据生成方法的流程示意图；
图2为本申请一实施例提供的一种基于多视图的隐式表面重建的数据生成系统的结构示意图；
图3为本申请一实施例提供的一种基于多视图的隐式表面重建的数据生成系统的仿真流程示意图；
图4为本申请一实施例提供的带路网信息的高精地图；
图5为本申请一实施例提供的隐式表面重建结果示意图；
图6为本申请一实施例提供的VLP16激光雷达的仿真渲染的HMI显示图；
图7为本申请一实施例提供的Pandar_qt激光雷达的仿真渲染的HMI显示图；
图8为本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
由背景技术可知，现有的仿真器虽然能够提供相对完整的交通流管理和不同传感器的配置方案，但是由于仿真世界和真实世界有明显的差异，并不能很好的生成高度逼真的自动驾驶数据，并且仿真的场景库有限，无法满足自动驾驶多样化场景的数据需求。
为了保证自动驾驶的安全性，需要测试海量的自动驾驶数据。而真实世界过于复杂，尤其是存在长尾效应。这些边界场景对安全驾驶至关重要，但是他们多种多样又很难遇到，所以这些场景在真实世界中测试非常昂贵和危险。因此，通过仿真生成各种各样的自动驾驶数据对解决长尾问题和提高自动驾驶安全性显得至关重要。
神经辐射场(Neural Radiance Field，NeRF)通过隐式表示的方式对场景进行重建并生成新视角下的数据，相较于基于物理模型的仿真器能够合成高保真的传感器数据，因此最近几年在自动驾驶传感器仿真领域得到了较多关注。UniSim是当前利用三维隐式重建进行自动驾驶传感器仿真的代表算法。UniSim通过构建神经网络特征网格来重建静态背景和场景中的动态车辆，并将它们合成在一起模拟新视角下的LiDAR和相机数据。UniSim同时支持对自动驾驶场景进行编辑，通过用动态车辆替换可用空间，完成车辆的插入、移除和操控。为了更好的处理合成的视图，UniSim对动态车辆结合可学习的先验，并利用卷积网络完成看不见的区域的重建。
然而，当前的新视角合成方法将场景隐式表示为神经辐射场NeRF并使用神经网络执行体渲染，这些方法虽然可以表示复杂的几何形状和外观并且已经实现了真实感渲染，但只适用于较小的静态场景，无法处理大规模的包含大量运动车辆的自动驾驶场景。现有的自动驾驶仿真平台如CARLA和AirSim，虽然可以生成路网结构，但由于高昂的人工成本，创建的仿真场景有限，很难覆盖到自动驾驶测试需要的所有场景，而且生成的传感器数据也不够逼真。此外，基于数据驱动的自动驾驶传感器仿真将真实数据和计算机视觉技术结合起来，构建新的仿真传感器数据。但是这些方法存在无法渲染出新视角的传感器数据或渲染的数据不真实的问题。
为了解决上述技术问题，本申请提供一种基于隐式神经渲染的自动驾驶场景数据生成方法，该方法包括以下步骤：首先，基于传感器数据，构建离线高精地图；传感器数据包括激光雷达点云数据和位姿数据；然后，基于离线高精地图，对传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果；接下来，采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，得到场景重建结果；然后，基于离线高精地图、目标检测跟踪结果以及路网结构，对车辆的轨迹进行编辑，生成车辆轨迹；最后，基于离线高精地图、目标检测跟踪结果、场景重建结果以及车辆轨迹，采用多种不同类型的传感器进行实时仿真渲染，得到多种类型高度逼真的传感器数据。本申请提出的方法，通过隐式表面重建的方法能够有效解决仿真的多传感器数据不逼真的问题，并且适用于大规模的动态的自动驾驶场景，同时通过基于路网信息的轨迹编辑和生成算法，对单一场景进行编辑生成各种长尾场景。
下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。
参看图1，本申请实施例提供了一种基于隐式神经渲染的自动驾驶场景数据生成方法及系统，包括以下步骤：
步骤S1、基于传感器数据，构建离线高精地图；传感器数据包括激光雷达点云数据和位姿数据。
步骤S2、基于离线高精地图，对传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果。
步骤S3、采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，得到场景重建结果。
步骤S4、基于离线高精地图、目标检测跟踪结果以及路网结构，对车辆的轨迹进行编辑，生成车辆轨迹。
步骤S5、基于离线高精地图、目标检测跟踪结果、场景重建结果以及车辆轨迹，采用多种不同类型的传感器进行实时仿真渲染，得到多种类型高度逼真的传感器数据。
在一些实施例中，步骤S1中基于传感器数据，构建离线高精地图，包括以下步骤：
步骤S101、对激光雷达点云数据中每一帧点云进行处理，对非地面点进行过滤，得到处理后的激光雷达点云。
步骤S102、基于位姿数据，对所有处理后的激光雷达点云进行拼接，得到全场景雷达点云数据。
步骤S103、将全场景雷达点云数据转换为俯视图图像，得到道路图像；其中，道路图像的像素与点云范围一一对应；像素的灰度值通过计算与所述像素对应的点云范围内的点云强度的平均值得到。
步骤S104、基于道路图像，绘制车道和路网结构。
在一些实施例中，步骤S2中基于离线高精地图，对传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果，包括以下步骤：
步骤S201、基于物体检测器，将每五帧点云作为一次检测的输入进行物体检测，得到检测结果。
步骤S202、采用原始点特征和体素特征对所述检测结果进行细化处理，得到细化后的检测结果。
步骤S203、采用两阶段数据关联方法得到多组跟踪轨迹，并通过位置感知相似度匹配分数将多组跟踪轨迹关联在一起，得到跟踪结果。
步骤S204、预测对象的几何形状、位置、置信度属性，对所述细化后的检测结果和所述跟踪结果进行进一步优化，得到目标检测跟踪结果。
在一些实施例中，步骤S3中多视角隐式表面重建的方法的输入是相机图片及相机内外参数据、激光雷达数据和激光雷达外参数据，以及在离线目标检测和跟踪部分得到的动态目标的3D检测数据；采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，所述重建包括背景重建和前景重建；其中，所述前景表示运动的车辆和行人，所述背景表示除去前景的其它部分；在背景重建的过程中，将空间划分为近景、远景和天空三部分，并对近景、远景和天空分别处理，对背景进行重建；在前景重建的过程中，根据不同时刻运动目标的3D检测框数据和前景资产库对前景进行动态重建。
在一些实施例中，步骤S4中采用多车辆决策规划方法对车辆的轨迹进行编辑，生成车辆轨迹；多车辆决策规划方法的输入包括路网拓扑结构、路线信息、车辆状态和对于不受控制车辆的轨迹预测；多车辆决策规划方法的输出为原始的自车和他车轨迹以及经过编辑后的他车轨迹。其中，多车辆决策规划方法，包括以下步骤：同时为所有自动驾驶车辆生成粗略的、可解释的离散决策序列，以解决场景车辆间的交互行为；基于离散决策序列，并为每个受控自动驾驶车辆生成连续的运动学上可行的轨迹。
参看图2，本申请实施例还提供了一种基于隐式神经渲染的自动驾驶场景数据生成系统，包括：依次连接的高精地图构建模块101、目标检测和跟踪模块102、隐式三维重建模块103、轨迹编辑与生成模块104以及实时渲染模块105；高精地图构建模块101用于根据传感器数据，构建离线高精地图；传感器数据包括激光雷达点云数据和位姿数据；目标检测和跟踪模块102用于根据离线高精地图，对传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果；隐式三维重建模块103用于采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，得到场景重建结果；轨迹编辑与生成模块104用于根据离线高精地图、目标检测跟踪结果以及路网结构，对车辆的轨迹进行编辑，生成车辆轨迹；实时渲染模块105用于根据离线高精地图、目标检测跟踪结果、场景重建结果以及车辆轨迹，采用多种不同类型的传感器进行实时仿真渲染，得到多种类型高度逼真的传感器数据。
本申请提出了一种全新的基于隐式表面重建的可编辑的自动驾驶场景多传感器仿真系统，系统流程示意图如图3所示。该系统涵盖高精地图生成、目标检测和跟踪、隐式三维重建、轨迹编辑和生成以及多传感器实时渲染仿真等完整模块。为了生成高度保真的传感器数据，一方面结合道路路网信息，对车辆的轨迹进行编辑以生成更符合车辆动力学和更真实的车辆轨迹；另一方面通过隐式表明重建技术和结合前景资产库对自动驾驶场景进行高度保真的场景重建；最后结合生成的轨迹对场景进行编辑和渲染，生成各类高度保真的传感器数据。
在一些实施例中，高精地图构建模块101包括数据预处理模块、图像转换模块以及车道和路网结构绘制模块；数据预处理模块用于对所述激光雷达点云数据中每一帧点云进行处理，对非地面点进行过滤，得到处理后的激光雷达点云；并基于位姿数据，对所有处理后的激光雷达点云进行拼接，得到全场景雷达点云数据；图像转换模块用于将所述全场景雷达点云数据转换为俯视图图像，得到道路图像；其中，所述道路图像的像素与点云范围一一对应；所述像素的灰度值通过计算与所述像素对应的点云范围内的点云强度的平均值得到；车道和路网结构绘制模块用于根据所述道路图像，绘制车道和路网结构。
具体的，在构建高精地图的过程中，基于给定的激光雷达点云数据和位姿数据，首先对每一帧点云进行处理，过滤掉非地面点，然后利用位姿数据对所有处理过后的激光雷达点云进行拼接，得到完整的全场景雷达点云文件。接下来，将激光点云数据转换为俯视图图像，图像的一个像素对应着固定范围内的点云，该像素的灰度值由对应范围内点云强度的平均值计算得到。得到道路图像后，进行车道和路网结构的绘制，以便轨迹生成模块依据路网信息进行原有轨迹的编辑和新轨迹的生成。图4所示为生成的带路网信息的高精地图，每个车道都会有对应的编号，相连的车道信息也会被记录。
在一些实施例中，目标检测和跟踪模块102包括物体检测器、点强度感知模块、多物体跟踪模块以及预测模块；物体检测器用于将每五帧点云作为一次检测的输入，进行物体检测，得到检测结果；点强度感知模块用于采用原始点特征和体素特征，对所述检测结果进行细化处理，得到细化后的检测结果；多物体跟踪模块用于根据两阶段数据关联方法，得到多组跟踪轨迹，并通过位置感知相似度匹配分数将多组跟踪轨迹关联在一起，得到跟踪结果；预测模块用于预测对象的几何形状、位置、置信度属性，对所述细化后的检测结果和所述跟踪结果进行进一步优化，得到目标检测跟踪结果。
具体的，目标检测部分使用CenterPoint模型作为基础的物体检测器，首先，将每五帧点云作为一次检测的输入，并设计点强度感知模块，利用原始点特征和体素特征实现精确的结果细化
接下来是多物体跟踪，该模块利用两阶段数据关联策略减少错误匹配的可能性，根据置信度检测到的框被分为两个不同的分组，预先存在的对象轨迹最初仅与高分组进行数据关联，随后，成功关联的框被用来更新现有轨迹。未更新的轨迹进一步与低分组关联，未关联的框则被弃用。此外，在序列终止前物体的生命周期允许持续存在，之后尚未更新的冗余框都会被删除。将时间顺序逆转，再次执行上述的跟踪过程，生成另一组跟踪结果。然后将这些轨迹通过位置感知相似度匹配分数关联在一起。
最后，通过三个不同的模块分别预测对象的几何形状、位置和置信度属性，进一步优化目标跟踪和检测的精度。将得到的每一帧的目标的检测框和跟踪编号与高精地图结合得到每一帧目标所在的车道信息，方便轨迹生成部分进行车辆轨迹的控制和泛化生成。
在一些实施例中，隐式三维重建模块103包括背景重建模块和前景重建模块；背景重建模块用于将空间划分为近景、远景和天空，并对近景、远景和天空分别进行背景重建处理；前景重建模块用于根据不同时刻运动目标的3D检测框数据和前景资产库对前景进行动态重建。
具体的，隐式三维重建部分利用多视角隐式表面重建的方法对自动驾驶的场景进行重建，该算法的输入是相机图片及其内外参数据，激光雷达数据和其外参，以及在离线目标检测和跟踪部分得到的动态目标的3D检测数据。重建分为背景重建和前景重建，前景表示运动的车辆和行人，其它部分则为背景。在背景重建过程中，为了解决无边界空间带来的挑战，将空间划分为近景、远景和天空三部分，并分别采用长方体NeuS模型、超长方体NeRF++模型和定向多层感知器模型(MLP)分别处理上述三部分。对于前景重建，根据不同时刻运动目标的3D检测框数据和前景资产库对其进行动态重建，图5示出了隐式表面重建结果。
在一些实施例中，轨迹编辑与生成模块104包括决策模块和轨迹规划模块；其中，决策模块用于同时为所有自动驾驶车辆生成粗略的、可解释的离散决策序列，以解决场景车辆间的交互行为；轨迹规划模块用于接收所述离散决策序列，并为每个受控自动驾驶车辆生成连续的运动学上可行的轨迹。
具体的，轨迹生成使用一个包含决策和轨迹规划模块的两阶段多车辆决策规划算法，算法的输入包含路网拓扑结构、路线信息、车辆状态和对于不受控制车辆的轨迹预测。输出为原始的自车和他车轨迹以及经过编辑后的他车轨迹。
第一阶段是一个决策模块，用以解决场景车辆间的交互行为。这个模块为同时为所有自动驾驶车辆生成粗略的、可解释的决策序列。该模块使用了一种改进版蒙特卡洛树搜索(Monte-Carlo Tree Search，简称MCTS)，将交通场景中包括人类驾驶车辆的所有车辆纳入决策考虑范围，并且在决策过程中各个车辆之间也没有优先权。
第二阶段是一个轨迹规划模块，其接收第一阶段输出的离散决策序列，并为每个受控自动驾驶车辆生成连续的运动学上可行的轨迹。该规划模块采用分布式并行架构，即为每辆车独立运行一个规划器，这更接近于现实世界中的人类驾驶。
对于实时渲染模块105，该模块的输入为上述部分得到的场景的感知结果、生成的自车和他车的轨迹以及重建的背景模型和前景资产库。根据仿真需求的不同可以选择不同传感器进行实时的仿真渲染，支持的传感器包括16种不同型号的激光雷达、普通相机、长焦相机、鱼眼相机、3D Radar和4D Radar。
最终的数据生成系统的前端显示图如图6和图7所示，右侧图像代表真实的相机图片和激光雷达点云感知结果，左侧则代表仿真渲染出的多传感器数据，上侧第二个小框代表渲染出的广角相机数据，左侧不同颜色的点云代表渲染出的不同激光雷达的数据。通过左侧的勾选框可以选择不同的传感器类型和型号，得到其对应的渲染数据，图6和图7分别对应着VLP16和Pandar_qt激光雷达的渲染数据，其中，图6和图7的右侧子图为真实采集的数据，左侧子图为根据轨迹生成的新数据。
综上所述，一方面，本申请提供一个完整的自动驾驶数据生成的系统，包含离线目标检测和跟踪、高精地图生成、隐式三维重建、轨迹生成和新传感器仿真渲染五个模块。另一方面，本申请结合交通流生成轨迹并结合重建结果进行多场景渲染；此外，本申请支持16种不同型号的激光雷达、相机和毫米波雷达的仿真。
与现有技术相比，本发明的优势在于：
(1)本发明是一个完整的数据生成系统，只需要提供采集的相机和激光雷达的数据以及对应的内外参，即可通过隐式表面重建算法完成自动驾驶场景中的前景和背景的重建，自动化程度高，可扩展性强，并且可以直接部署在单机上。
(2)本发明在场景数据生成时并不是简单的删除或者插入运动车辆，而是基于路网信息对运动车辆进行编辑，不仅可以同时编辑所有车辆，而且编辑出来的车辆轨迹更加符合路网约束和车辆动力学规律。
(3)本发明在渲染传感器数据时，可以渲染出16种不同型号的激光雷达和相机数据，并且支持3D Radar和4D Radar，满足自动驾驶场景各种传感器配置要求。
通过对本发明提供的基于隐式神经渲染的自动驾驶场景数据生成方法及系统进行实验、模拟，验证其效果，经过实验证明本申请的方法及系统可行，结果符合预期。本发明中的算法能够生成在大规模的动态自动驾驶场景中的高度逼真的各类传感器仿真数据。
参看图8，本申请另一实施例提供了一种电子设备，包括：至少一个处理器110；以及，与至少一个处理器通信连接的存储器111；其中，存储器111存储有可被至少一个处理器110执行的指令，指令被至少一个处理器110执行，以使至少一个处理器110能够执行上述任一方法实施例。
其中，存储器111和处理器110采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器110和存储器111的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器110处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器110。
处理器110负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器111可以被用于存储处理器110在执行操作时所使用的数据。
本申请另一实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
由以上技术方案，本申请实施例提供一种基于隐式神经渲染的自动驾驶场景数据生成方法及系统，该方法包括以下步骤：首先，基于传感器数据，构建离线高精地图；传感器数据包括激光雷达点云数据和位姿数据；然后，基于离线高精地图，对传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果；接下来，采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，得到场景重建结果；然后，基于离线高精地图、目标检测跟踪结果以及路网结构，对车辆的轨迹进行编辑，生成车辆轨迹；最后，基于离线高精地图、目标检测跟踪结果、场景重建结果以及车辆轨迹，采用多种不同类型的传感器进行实时仿真渲染，得到多种类型高度逼真的传感器数据。
本申请提供一种基于隐式神经渲染的自动驾驶场景数据生成方法及系统，通过提出一个完整的自动驾驶数据生成的系统，包含离线目标检测和跟踪、高精地图生成、隐式三维重建、轨迹生成和新传感器仿真渲染五个模块，并结合交通流生成轨迹并结合重建结果进行多场景渲染。为了生成高度保真的传感器数据，一方面结合道路路网信息，对车辆的轨迹进行编辑以生成更符合车辆动力学和更真实的车辆轨迹；另一方面通过隐式表明重建技术和结合前景资产库对自动驾驶场景进行高度保真的场景重建；最后结合生成的轨迹对场景进行编辑和渲染，生成各类高度保真的传感器数据。此外，本申请在渲染传感器数据时，支持16种不同型号的激光雷达、相机和毫米波雷达的仿真，并且支持3D Radar和4D Radar，满足自动驾驶场景各种传感器配置要求。
本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各自更动与修改，因此本申请的保护范围应当以权利要求限定的范围为准。

Claims (10)

1.一种基于隐式神经渲染的自动驾驶场景数据生成方法，其特征在于，包括：
基于传感器数据，构建离线高精地图；所述传感器数据包括激光雷达点云数据和位姿数据；
基于所述离线高精地图，对所述传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果；
采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，得到场景重建结果；
基于所述离线高精地图、所述目标检测跟踪结果以及路网结构，对车辆的轨迹进行编辑，生成车辆轨迹；
基于所述离线高精地图、所述目标检测跟踪结果、所述场景重建结果以及所述车辆轨迹，采用多种不同类型的传感器进行实时仿真渲染，得到多种类型高度逼真的传感器数据。
2.根据权利要求1所述的基于隐式神经渲染的自动驾驶场景数据生成方法，其特征在于，基于传感器数据，构建离线高精地图，包括：
对所述激光雷达点云数据中每一帧点云进行处理，对非地面点进行过滤，得到处理后的激光雷达点云；
基于位姿数据，对所有处理后的激光雷达点云进行拼接，得到全场景雷达点云数据；
将所述全场景雷达点云数据转换为俯视图图像，得到道路图像；其中，所述道路图像的像素与点云范围一一对应；所述像素的灰度值通过计算与所述像素对应的点云范围内的点云强度的平均值得到；
基于所述道路图像，绘制车道和路网结构。
3.根据权利要求1所述的基于隐式神经渲染的自动驾驶场景数据生成方法，其特征在于，基于所述离线高精地图，对所述传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果，包括：
基于物体检测器，将每五帧点云作为一次检测的输入进行物体检测，得到检测结果；
采用原始点特征和体素特征对所述检测结果进行细化处理，得到细化后的检测结果；
采用两阶段数据关联方法得到多组跟踪轨迹，并通过位置感知相似度匹配分数将多组跟踪轨迹关联在一起，得到跟踪结果；
预测对象的几何形状、位置、置信度属性，对所述细化后的检测结果和所述跟踪结果进行进一步优化，得到目标检测跟踪结果。
4.根据权利要求1所述的基于隐式神经渲染的自动驾驶场景数据生成方法，其特征在于，所述多视角隐式表面重建的方法的输入是相机图片及相机内外参数据、激光雷达数据和激光雷达外参数据，以及在离线目标检测和跟踪部分得到的动态目标的3D检测数据；采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，所述重建包括背景重建和前景重建；其中，所述前景表示运动的车辆和行人，所述背景表示除去前景的其它部分；
在背景重建的过程中，将空间划分为近景、远景和天空三部分，并对近景、远景和天空分别处理，对背景进行重建；
在前景重建的过程中，根据不同时刻运动目标的3D检测框数据和前景资产库对前景进行动态重建。
5.根据权利要求1所述的基于隐式神经渲染的自动驾驶场景数据生成方法，其特征在于，采用多车辆决策规划方法对车辆的轨迹进行编辑，生成车辆轨迹；
所述多车辆决策规划方法的输入包括路网拓扑结构、路线信息、车辆状态和对于不受控制车辆的轨迹预测；所述多车辆决策规划方法的输出为原始的自车和他车轨迹以及经过编辑后的他车轨迹；
所述多车辆决策规划方法，包括：
同时为所有自动驾驶车辆生成粗略的、可解释的离散决策序列，以解决场景车辆间的交互行为；
基于所述离散决策序列，并为每个受控自动驾驶车辆生成连续的运动学上可行的轨迹。
6.一种基于隐式神经渲染的自动驾驶场景数据生成系统，其特征在于，包括：依次连接的高精地图构建模块、目标检测和跟踪模块、隐式三维重建模块、轨迹编辑与生成模块以及实时渲染模块；
所述高精地图构建模块用于根据传感器数据，构建离线高精地图；所述传感器数据包括激光雷达点云数据和位姿数据；
所述目标检测和跟踪模块用于根据所述离线高精地图，对所述传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果；
所述隐式三维重建模块用于采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，得到场景重建结果；
所述轨迹编辑与生成模块用于根据所述离线高精地图、所述目标检测跟踪结果以及路网结构，对车辆的轨迹进行编辑，生成车辆轨迹；
所述实时渲染模块用于根据所述离线高精地图、所述目标检测跟踪结果、所述场景重建结果以及所述车辆轨迹，采用多种不同类型的传感器进行实时仿真渲染，得到多种类型高度逼真的传感器数据。
7.根据权利要求6所述的基于隐式神经渲染的自动驾驶场景数据生成系统，其特征在于，所述高精地图构建模块包括数据预处理模块、图像转换模块以及车道和路网结构绘制模块；
所述数据预处理模块用于对所述激光雷达点云数据中每一帧点云进行处理，对非地面点进行过滤，得到处理后的激光雷达点云；并基于位姿数据，对所有处理后的激光雷达点云进行拼接，得到全场景雷达点云数据；
所述图像转换模块用于将所述全场景雷达点云数据转换为俯视图图像，得到道路图像；其中，所述道路图像的像素与点云范围一一对应；所述像素的灰度值通过计算与所述像素对应的点云范围内的点云强度的平均值得到；
所述车道和路网结构绘制模块用于根据所述道路图像，绘制车道和路网结构。
8.根据权利要求6所述的基于隐式神经渲染的自动驾驶场景数据生成系统，其特征在于，所述目标检测和跟踪模块包括物体检测器、点强度感知模块、多物体跟踪模块以及预测模块；
所述物体检测器用于将每五帧点云作为一次检测的输入，进行物体检测，得到检测结果；
所述点强度感知模块用于采用原始点特征和体素特征，对所述检测结果进行细化处理，得到细化后的检测结果；
所述多物体跟踪模块用于根据两阶段数据关联方法，得到多组跟踪轨迹，并通过位置感知相似度匹配分数将多组跟踪轨迹关联在一起，得到跟踪结果；
所述预测模块用于预测对象的几何形状、位置、置信度属性，对所述细化后的检测结果和所述跟踪结果进行进一步优化，得到目标检测跟踪结果。
9.根据权利要求6所述的基于隐式神经渲染的自动驾驶场景数据生成系统，其特征在于，所述隐式三维重建模块包括背景重建模块和前景重建模块；
所述背景重建模块用于将空间划分为近景、远景和天空，并对近景、远景和天空分别进行背景重建处理；
所述前景重建模块用于根据不同时刻运动目标的3D检测框数据和前景资产库对前景进行动态重建。
10.根据权利要求6所述的基于隐式神经渲染的自动驾驶场景数据生成系统，其特征在于，所述轨迹编辑与生成模块包括决策模块和轨迹规划模块；其中，
所述决策模块用于同时为所有自动驾驶车辆生成粗略的、可解释的离散决策序列，以解决场景车辆间的交互行为；
所述轨迹规划模块用于接收所述离散决策序列，并为每个受控自动驾驶车辆生成连续的运动学上可行的轨迹。
CN202310994135.3A 2023-08-08 2023-08-08 基于隐式神经渲染的自动驾驶场景数据生成方法及系统 Pending CN117036607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310994135.3A CN117036607A (zh) 2023-08-08 2023-08-08 基于隐式神经渲染的自动驾驶场景数据生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310994135.3A CN117036607A (zh) 2023-08-08 2023-08-08 基于隐式神经渲染的自动驾驶场景数据生成方法及系统

Publications (1)

Publication Number Publication Date
CN117036607A true CN117036607A (zh) 2023-11-10

Family

ID=88625645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310994135.3A Pending CN117036607A (zh) 2023-08-08 2023-08-08 基于隐式神经渲染的自动驾驶场景数据生成方法及系统

Country Status (1)

Country Link
CN (1) CN117036607A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274353A (zh) * 2023-11-20 2023-12-22 光轮智能(北京)科技有限公司 合成图像数据生成方法、控制装置及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274353A (zh) * 2023-11-20 2023-12-22 光轮智能(北京)科技有限公司 合成图像数据生成方法、控制装置及可读存储介质
CN117274353B (zh) * 2023-11-20 2024-02-20 光轮智能(北京)科技有限公司 合成图像数据生成方法、控制装置及可读存储介质

Similar Documents

Publication Publication Date Title
CN110059608B (zh) 一种物体检测方法、装置、电子设备和存储介质
CN110070139B (zh) 面向自动驾驶环境感知的小样本在环学习系统和方法
CN108764187A (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
JP2021089724A (ja) 構造的制約及び物理的制約を伴う３ｄ自動ラベル付け
US20190278698A1 (en) Autonomous Vehicle Simulation And Testing
CN112749594B (zh) 信息补全方法、车道线识别方法、智能行驶方法及相关产品
Miclea et al. Monocular depth estimation with improved long-range accuracy for UAV environment perception
Yang et al. Reactive obstacle avoidance of monocular quadrotors with online adapted depth prediction network
CN112166458B (zh) 目标检测与跟踪方法、系统、设备及存储介质
CN113724388B (zh) 高精地图的生成方法、装置、设备以及存储介质
CN113496510A (zh) 使用神经网络进行逼真的图像透视变换
WO2023164845A1 (zh) 三维重建方法、装置、系统及存储介质
CN117036607A (zh) 基于隐式神经渲染的自动驾驶场景数据生成方法及系统
CN116403174A (zh) 一种端到端自动驾驶方法、系统、仿真系统及存储介质
CN114299230A (zh) 一种数据生成方法、装置、电子设备及存储介质
CN113012191B (zh) 一种基于点云多视角投影图的激光里程计算法
CN117437512A (zh) 一种目标检测方法、装置、设备及可读存储介质
Ouyang et al. Semantic slam for mobile robot with human-in-the-loop
Bai et al. Cyber mobility mirror for enabling cooperative driving automation: A co-simulation platform
Scheck et al. Where to drive: free space detection with one fisheye camera
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
Zhang et al. A Self-Supervised Monocular Depth Estimation Approach Based on UAV Aerial Images
Fennessy Autonomous vehicle end-to-end reinforcement learning model and the effects of image segmentation on model quality
Berrio et al. Semantic sensor fusion: From camera to sparse LiDAR information
CN115239954B (zh) 一种用于点云全景分割的系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination