CN116403174A - 一种端到端自动驾驶方法、系统、仿真系统及存储介质 - Google Patents
一种端到端自动驾驶方法、系统、仿真系统及存储介质 Download PDFInfo
- Publication number
- CN116403174A CN116403174A CN202211590106.2A CN202211590106A CN116403174A CN 116403174 A CN116403174 A CN 116403174A CN 202211590106 A CN202211590106 A CN 202211590106A CN 116403174 A CN116403174 A CN 116403174A
- Authority
- CN
- China
- Prior art keywords
- data
- fusion
- cloud
- point cloud
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004088 simulation Methods 0.000 title claims abstract description 32
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 91
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 238000013135 deep learning Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 241000189662 Calla Species 0.000 claims description 4
- 230000008447 perception Effects 0.000 abstract description 9
- 238000013508 migration Methods 0.000 abstract description 7
- 230000005012 migration Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000013439 planning Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种端到端自动驾驶方法、系统、仿真系统及存储介质，通过利用不同的模态数据，如图像数据和点云数据，并采用多模态深度学习网络，来提取和融合车辆行驶环境的不同特征，如语义特征、几何特征、运动特征等，从而映射至相对应的车辆行驶指令，具体可根据不同行驶指令的控制难度来采用不同后端神经网络控制，从而增强系统对环境感知与车辆控制的理解能力。同时，通过采用云端预训练、边缘分布式训练、边云分布式训练三者结合的多阶段联邦学习，从而实现跨场景、跨时域的迁移预测能力，增强端到端系统鲁棒性，解决了跨场景泛化能力弱的问题。因此，本发明具有多模态、泛化性强、自动化程度高的优势，可用于实现L4‑L5自动驾驶。
Description
技术领域
本发明涉及人工智能技术领域，尤其是涉及一种端到端自动驾驶方法、系统、仿真系统及存储介质。
背景技术
对于传统自动驾驶系统，其主要划分为三个模块：感知、规划、控制，三个模块串行工作完成自动驾驶的目的。上游感知模块的输入为传感器数据，输出为环境中动静态物体的类别与位姿；上游感知模块的输出中作为中游规划模块的输入，生成全局轨迹与局部避障轨迹；中游规划模块发送轨迹至下游控制模块，执行相应的控制指令。但该方案存在以下缺点：误差的后向传播与累积，增加了自动驾驶系统的不确定性，降低了自动驾驶系统的鲁棒性、泛化性和精确性；各个模块都需要数据喂养，人工标注成本高昂，且引入了人为因素造成的不确定性。
据此，英伟达提出了端到端自动驾驶方案，相较于传统自动驾驶方法，其减少了自动驾驶系统的模型数量，节省了人工标注成本；解决了误差传递累积问题；端到端模式相较于传统串行模式预测时间更短、系统时延更低、系统实时性更强。然而端到端自动驾驶方案还存在一定的缺点，比如跨场景泛化能力弱等问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种端到端自动驾驶方法，解决了现有技术的端到端自动驾驶方法跨场景泛化能力弱的问题。
本发明还提供一种端到端自动驾驶系统、一种端到端自动驾驶仿真系统以及一种计算机可读存储介质。
根据本发明的第一方面实施例的端到端自动驾驶方法，所述方法包括以下步骤：
获取图像数据、点云数据，所述图像数据为车辆行驶过程中所采集的周围环境的图像信息，所述点云数据为车辆行驶过程中所采集的周围环境的坐标信息；
基于联邦学习模型，对所述图像数据、所述点云数据进行云端预训练、边缘分布式训练、边云分布式训练，以得到优化图像数据、优化点云数据，所述云端预训练表示在云端服务器上进行的初始化训练，所述边缘分布式训练表示在车辆本地终端与边缘服务器之间进行的分布式训练，所述边云分布式训练表示在边云端服务器与云端服务器之间进行的分布式训练；
基于深度神经网络，分别对所述优化图像数据、所述优化点云数据进行特征提取和融合，以得到融合特征；
根据所述融合特征来确定车辆行驶过程中的最佳行驶决策。
根据本发明实施例的端到端自动驾驶方法，至少具有如下有益效果：
通过利用不同的模态数据，如图像数据和点云数据，并采用多模态深度学习网络，来提取和融合车辆行驶环境的不同特征，如语义特征、几何特征、运动特征等，从而映射至相对应的车辆行驶指令，具体可根据不同行驶指令的控制难度来采用不同后端神经网络控制，从而增强系统对环境感知与车辆控制的理解能力。同时，通过采用云端预训练、边缘分布式训练、边云分布式训练三者结合的多阶段联邦学习，从而实现跨场景、跨时域的迁移预测能力，增强端到端系统鲁棒性，解决了跨场景泛化能力弱的问题。因此，对于本发明实施例的端到端自动驾驶方法，其具有多模态、泛化性强、自动化程度高的优势，可用于实现L4-L5自动驾驶。
根据本发明的一些实施例，所述基于深度神经网络，分别对所述优化图像数据、所述优化点云数据进行特征提取和融合，以得到融合特征，包括以下步骤：
基于中期融合原理，采用不同的特征提取单元来分别对所述优化图像数据、所述优化点云数据进行特征提取，以分别得到图像特征、点云特征；
对所述图像特征、所述点云特征进行特征融合，以得到所述融合特征。
根据本发明的一些实施例，所述对所述图像特征、所述点云特征进行特征融合，以得到所述融合特征，包括以下步骤：
对所述图像特征、所述点云特征进行基于串行策略的多次特征融合，以得到所述融合特征。
根据本发明的一些实施例，所述根据所述融合特征来确定车辆行驶过程中的最佳行驶决策，包括以下步骤：
对所述融合特征进行预测以确定最佳行驶指令，所述行驶指令包括油门指令、转向指令、刹车指令、倒挡指令。
根据本发明的第二方面实施例的端到端自动驾驶系统，包括：
数据采集单元，用于采集图像数据、点云数据，所述图像数据为车辆行驶过程中所采集的周围环境的图像信息，所述点云数据为车辆行驶过程中所采集的周围环境的坐标信息；
深度学习单元，用于执行如本发明第一方面实施例任一所述的端到端自动驾驶方法；
指令执行单元，用于对行驶车辆执行所述最佳行驶指令以实现端对端自动驾驶。
根据本发明实施例的端到端自动驾驶系统，至少具有如下有益效果：
通过利用数据采集单元来采集不同的模态数据，如图像数据和点云数据，并采用基于多模态深度学习网络的深度学习单元，来提取和融合车辆行驶环境的不同特征，如语义特征、几何特征、运动特征等，从而映射至相对应的车辆行驶指令，具体可根据不同行驶指令的控制难度来采用不同后端神经网络控制，从而增强系统对环境感知与车辆控制的理解能力。同时，通过采用云端预训练、边缘分布式训练、边云分布式训练三者结合的多阶段联邦学习，从而实现跨场景、跨时域的迁移预测能力，增强端到端系统鲁棒性，解决了跨场景泛化能力弱的问题。因此，对于本发明实施例的端到端自动驾驶系统，其具有多模态、泛化性强、自动化程度高的优势，可用于实现L4-L5自动驾驶。
根据本发明的一些实施例，所述数据采集单元包括：
摄像设备，用于采集所述图像数据；
激光雷达设备，用于采集所述点云数据。
根据本发明的一些实施例，所述深度学习单元包括：车辆本地终端、边缘服务器、云端服务器，所述云端服务器用于进行所述云端预训练，所述车辆本地终端和所述边云端服务器共同用于进行所述边缘分布式训练，所述边缘服务器和所述云端服务器共同用于进行所述边云分布式训练。
根据本发明第三方面实施例的端到端自动驾驶仿真系统，包括CARLA模块、ROS模块、PyTorch模块，所述仿真系统用于模拟如本发明第二方面实施例任一所述的端到端自动驾驶系统。
根据本发明实施例的端到端自动驾驶仿真系统，至少具有如下有益效果：
在本发明实施例的端到端自动驾驶仿真系统中，通过利用不同的模态数据，如图像数据和点云数据，并采用多模态深度学习网络，来提取和融合车辆行驶环境的不同特征，如语义特征、几何特征、运动特征等，从而映射至相对应的车辆行驶指令，具体可根据不同行驶指令的控制难度来采用不同后端神经网络控制，从而增强系统对环境感知与车辆控制的理解能力。同时，通过采用云端预训练、边缘分布式训练、边云分布式训练三者结合的多阶段联邦学习，从而实现跨场景、跨时域的迁移预测能力，增强端到端系统鲁棒性，解决了跨场景泛化能力弱的问题。同时，通过利用本发明实施例的端到端自动驾驶仿真系统来模拟实际中本发明实施例的端到端自动驾驶系统，从而便于本发明实施例的端到端自动驾驶方法进行线上执行，以支持端到端自动驾驶系统的开发、测试和验证。
根据本发明的一些实施例，所述仿真系统具有CARLA-ROS-PyTorch一体化对外API。
根据本发明的第四方面实施例的计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第一方面实施例任一所述的端到端自动驾驶方法。
可以理解的是，上述第四方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一种实施例的端到端自动驾驶方法的流程图；
图2是本发明一种实施例的端到端自动驾驶系统的示意图；
图3是本发明一种实施例的联邦学习训练原理示意图；
图4是本发明一种实施例的联邦学习训练过程准确度示意图；
图5是本发明一种实施例的CARLA-ROS-PyTorch一体化系统结构示意图；
图6是本发明一种实施例的CARLA-ROS-PyTorch一体化系统的界面示意图；
图7是本发明一种实施例的仿真系统的车辆行驶轨迹示意图；
图8a是本发明一种实施例的仿真系统指令执行的第一示意图；
图8b是本发明一种实施例的仿真系统指令执行的第二示意图；
图8c是本发明一种实施例的仿真系统指令执行的第三示意图。
附图标记：
摄像设备110；激光雷达设备120；
深度学习单元200；
指令执行单元300。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表征相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
下面将结合附图对本发明的技术方案进行清楚、完整的描述，显然，以下所描述的实施例是本发明一部分实施例，并非全部实施例。
参见图1所示，为本发明一个实施例提供的端到端自动驾驶方法的流程图，该端到端自动驾驶方法包括但不限于以下步骤：
获取图像数据、点云数据，图像数据为车辆行驶过程中所采集的周围环境的图像信息，点云数据为车辆行驶过程中所采集的周围环境的坐标信息；
基于联邦学习模型，对图像数据、点云数据进行云端预训练、边缘分布式训练、边云分布式训练，以得到优化图像数据、优化点云数据，云端预训练表示在云端服务器上进行的初始化训练，边缘分布式训练表示在车辆本地终端与边缘服务器之间进行的分布式训练，边云分布式训练表示在边云端服务器与云端服务器之间进行的分布式训练；
基于深度神经网络，分别对优化图像数据、优化点云数据进行特征提取和融合，以得到融合特征；
根据融合特征来确定车辆行驶过程中的最佳行驶决策。
结合参考图2，利用摄像设备110和激光雷达设备120来分别采集图像数据和点云数据，基于深度学习原理，联邦学习模型将获取图像数据和点云数据进行训练，具体先进行云端预训练，然后再进行边缘分布式训练和边云分布式训练，经过多层次数据训练后，使模型输出优化图像数据和优化点云数据，基于特征提取和特征融合原理，从优化图像数据和优化点云数据中提取特征并进行融合，以得到融合特征，并最终根据融合特征来确定车辆自动驾驶时所需要的最佳操作。
需要说明的是，对于云端预训练、边缘分布式训练和边云分布式训练，是一种层次化的三层结构，最顶层是由一个云端服务器组成，第二层可以由一个或多个边缘服务器组成，第三层由与若干边缘服务器连接的若干车辆本地终端组成。对于这三层结构中的云端服务器、边缘服务器、车辆上都部署有计算单元(如GPU)、存储单元(如SSD)和网络设备，因此这三者之间可以训练模型并与其他设备交换数据或模型。同时，为了保护数据的隐私性，再三者之间传输的数据都需要进行加密。具体地，可结合参考图3来解释联邦学习训练过程。
进一步地，参考图3，通常对一个联邦学习系统，所有设备(包含云端服务器、边缘服务器和车辆本地终端)的深度神经网络模型都是随机初始化的，这样导致系统收敛较慢甚至导致整个系统不收敛，因此，首先设计了云端预训练阶段。如图3中第一阶段所示，所有车辆本地终端将自己设备上的数据通过网络传输到与其直接相连的边缘服务器上，然后边缘服务器再将收集到的来自所有相连车辆本地终端上的数据通过网络传输到云端服务器上。经过上述两步数据传输后，云端服务器拥有了来自所有车辆本地终端上的数据，即拥有了跨场景、跨时域的多模态数据。云端服务器利用这些数据训练出一个深度神经网络模型，然后再将预训练好的深度神经网络模型通过网络发送到所有的边缘服务器和车辆本地终端上，并利用这个模型对其进行初始化。可以理解的是，本实施例对整个系统的初始化方法相对于随机初始化的方法能够加速整个系统的收敛。
进一步地，对于边缘分布式训练阶段，经过对整个系统初始化之后，每个车辆本地终端继续利用自身的数据来训练自己设备上的经过初始化过的模型，经过一段时间的训练后，每个车辆本地终端上的模型具有一定符合本地数据的特征。如图3中第二阶段所示，所有车辆本地终端将其本地模型发送到与之相连的边缘服务器上，每个边缘服务器利用收到的模型并根据某种策略，例如联邦平均，来更新各自本地模型，最后再将更新后的本地模型发送至与之相连的所有车辆本地终端上。经过多次迭代后，使得边缘服务器上的模型可以对相连的所有车辆本地终端的数据具有更好的理解的能力。
进一步地，经过上述边缘分布式训练阶段后，各个边缘服务器都有了对各自域内的数据的更强的理解能力，但是缺乏对其他域内数据的理解力，因此需要进行边云分布式训练。在本阶段内，所有边缘服务器将其自身模型通过网络传输到云端服务器上，然后云端服务器根据某种策略，例如联邦平均，来更新云端服务器上的模型，并将模型通过网络发送到所有边缘服务器上，具体如图3中第三阶段所示。经过多次迭代后，云端服务器上的模型就具有了跨区域、跨时域的数据理解能力。
可以理解的是，对于上述三个训练阶段，其都会利用网络来传输数据。因此会采用一个全局的网络资源管理器来对所有的网络资源进行调度，例如，第一阶段每个车辆本地终端需要传输多少个数据、然后进行多少轮的边缘分布式训练和边云分布式训练等。此外，本发明实施例所提出的多阶段联邦学习框架相对于现在主流的单阶段而言泛化性能更好、跨场景跨时域表现更佳。基于以上三层训练阶段，继续参考图4所示，本发明实施例所提出的联邦学习训练模型再训练过程中准确度可最终达到85％左右，同时随着训练数据的量级增加后，系统的准确度还可以进一步得到提升。
本实施例中，通过利用不同的模态数据，如图像数据和点云数据，并采用多模态深度学习网络，来提取和融合车辆行驶环境的不同特征，如语义特征、几何特征、运动特征等，从而映射至相对应的车辆行驶指令，具体可根据不同行驶指令的控制难度来采用不同后端神经网络控制，从而增强系统对环境感知与车辆控制的理解能力。同时，通过采用云端预训练、边缘分布式训练、边云分布式训练三者结合的多阶段联邦学习，从而实现跨场景、跨时域的迁移预测能力，增强端到端系统鲁棒性，解决了跨场景泛化能力弱的问题。因此，对于本发明实施例的端到端自动驾驶方法，其具有多模态、泛化性强、自动化程度高的优势，可用于实现L4-L5自动驾驶。
在一些实施例中，基于深度神经网络，分别对优化图像数据、优化点云数据进行特征提取和融合，以得到融合特征，包括以下步骤：
基于中期融合原理，采用不同的特征提取单元来分别对优化图像数据、优化点云数据进行特征提取，以分别得到图像特征、点云特征；
对图像特征、点云特征进行特征融合，以得到融合特征。
具体地，图像特征和点云特征代表了不同的维度信息，图像通常表示车辆周围环境的宏观信息，例如哪里有障碍物、是否处在十字路口、红绿灯处在哪种状态、前方是哪种交通信号等，但由于摄像设备110所采集到的图像是将三维物体映射到二维平面上，使得图片特征失去了深度信息，例如前方障碍物距离有多远等。因此，需要将图像特征和点云特征进行融合，并映射至最佳的自动驾驶行为，从而帮助自动驾驶系统给出合理、有效、正确的行驶指令。
需要先说明的是，对于特征融合，从时间的角度上看，可以分为早期融合、中期融合和晚期融合。早期融合为在输入层上做融合，先融合多层特征，然后在融合后的特征上训练预测器；中期融合为先将不同数据源上的特征转成中间的高维特征表达，然后再做融合并最终训练预测器；后端融合为在预测层上做融合，在不同的特征上做预测，然后再融合这些预测的结果。
进一步地，从另一个具体地角度来解释，早期融合是指将多模态数据按照某种策略放在一起，然后一起作为特征提取单元的输入让特征提取单元来提取总体特征，这种方法更适合于数据结构类似的场景，其可以大大降低特征提取单元的复杂度。参考图2，对于中期融合，本实施例采用该方式，首先采用不同的特征提取单元来分别提取不同数据的特征，然后采用某种方法对这些特征进行融合，这种方法普遍适用性较高。后期融合是指根据各种数据来预测出对应的最佳结果，通过对各种特征的预测结果来进行加权处理，来最终得到最佳结果，例如，本发明实施例的最佳结果为最佳行驶策略，其可以结合多种行驶指令，例如油门、刹车等。上述三种不同时态下的融合方法，在不同的场景下会有不同的表现，可根据具体实际情况进行实施。
在一些实施例中，对图像特征、点云特征进行特征融合，以得到融合特征，包括以下步骤：
对图像特征、点云特征进行基于串行策略的多次特征融合，以得到融合特征。
具体地，可以理解的是，对于特征融合，我们可以进行单次融合，也可以进行多次融合。通常多次融合的效果更佳。如图2所示，本发明实施例进行了多次融合，前一次融合的结果作为后一次融合的输入，这样的串行融合可以增加系统强大的非线性映射能力，进而增加系统的泛化性、鲁棒性等。同时，多次融合特征之间的融合方法具有多种，可采用传统的数据融合方法，也可采用深度神经网络方法，本发明实施例优选采用深度神经网络方法。同时，在一些实施例中，特征融合还可进行更多维度的融合，即不限于本发明实施例的图像数据和点云数据这两种数据。
在一些实施例中，根据融合特征来确定车辆行驶过程中的最佳行驶决策，包括以下步骤：
对融合特征进行预测以确定最佳行驶指令，行驶指令包括油门指令、转向指令、刹车指令、倒挡指令。
具体地，参考图2，对于融合特征所最终所映射到的最佳行驶策略，其主要包括油门指令、转向指令、刹车指令、倒挡指令。通过实验发现，这些行驶指令在实现自动驾驶控制的复杂度是不一样的，由易到难依次为：倒挡指令、油门指令和刹车指令、转向指令。对于倒挡指令，可以用一个简单的二分类问题就可以解决，即仅需模型输出前进或者倒退的指令即可；对于油门指令和刹车指令，将其作为一个线性拟合问题进行处理；对于转向指令，其处理的复杂度最高，需要对问题进行简化。具体地，可以理解的是，方向盘的转向分为左和右，为了正确合理的量化方向盘的转动情况，定义方向盘转动到最左边的量化值为-1，方向盘转动到最右边的量化值为1，因此可以将车辆周围所处的环境，即融合特征映射到[-1,1]。为了进一步简化操作，可以将[-1,1]这个连续的区间数字化，例如进行7等分，从而降低问题的复杂度，进而提高系统的准确度和稳定性。因此，对于这些指令，可分别采用不同的后端神经网络进行控制，根据控制难度来进行不同程度的模型训练，从而以加强系统对环境感知与车辆控制的理解能力。
此外，如图2所示，本发明的一个实施例还提供了一种端到端自动驾驶系统，系统包括：数据采集单元、深度学习单元200、指令执行单元300。数据采集单元用于采集图像数据、点云数据，图像数据为车辆行驶过程中所采集的周围环境的图像信息，点云数据为车辆行驶过程中所采集的周围环境的坐标信息；深度学习单元200用于执行如本发明实施例的端到端自动驾驶方法；指令执行单元300用于对行驶车辆执行最佳行驶指令以实现端对端自动驾驶。
具体地，数据采集单元可设置于车辆上，来采集车辆行驶过程中所采集的周围环境的各种信息，其主要包括图像数据和点云数据。深度学习单元200主要用于完成对图像数据和点云数据在深度神经网络模型中的训练，以及对训练后的模型所输出数据的特征提取和特征融合，并最终确定所映射的对应行驶指令。指令执行单元300用于是车辆进行相应的行驶操作，从而最终实现端对端自动驾驶。
可以理解的是，通过利用数据采集单元来采集不同的模态数据，如图像数据和点云数据，并采用基于多模态深度学习网络的深度学习单元200，来提取和融合车辆行驶环境的不同特征，如语义特征、几何特征、运动特征等，从而映射至相对应的车辆行驶指令，具体可根据不同行驶指令的控制难度来采用不同后端神经网络控制，从而增强系统对环境感知与车辆控制的理解能力。同时，通过采用云端预训练、边缘分布式训练、边云分布式训练三者结合的多阶段联邦学习，从而实现跨场景、跨时域的迁移预测能力，增强端到端系统鲁棒性，解决了跨场景泛化能力弱的问题。因此，对于本发明实施例的端到端自动驾驶系统，其具有多模态、泛化性强、自动化程度高的优势，可用于实现L4-L5自动驾驶。
在一些实施例中，参考图2，数据采集单元包括：摄像设备110、激光雷达设备120。摄像设备110用于采集图像数据；激光雷达设备120用于采集点云数据。
具体地，对于摄像设备110和激光雷达设备120，在一些实施例中，可以采用各种型号或参数。对于摄像设备110，可以采用各种分辨率的摄像机，例如1920x1080，960x640等；在一些实施例中，还可以采用不同的三色空间，例如RGB、Gray、CMY、HSV、HIS、Lab、YUV等；在一些实施例中，还可以设置各种采集图像的时间间隔，例如500ms、1s、1.5s等；在一些实施例中，还可以设置不同的FOV，例如120度等。对于激光雷达，在一些实施例中，可以采用各种通道的激光雷达，例如单线、32线、64线、128线等；在一些实施例中，还可以采用不同测量距离的激光雷达，例如10m、100m、150m等；在一些实施例中，还可以采用不同的水平方向和竖直方向的FOV，例如120度、150度等。
除了上述各种型号和参数外，对于摄像设备110和激光雷达设备120在车辆上的配置也有各种选择的组合。在一些实施例中，对于摄像设备110，其可以设置单个或多个，具体可配置在车辆的前侧、左侧、右侧等位置；在一些实施例中，还可以对摄像设备110的俯仰角、航向角、翻滚角进行适当调整，以便于采集到各种需要的环境信息。同理，对于激光雷达也可以采用与上述类似的配置来将其安装到车辆上。
在一些实施例中，深度学习单元200包括：车辆本地终端、边缘服务器、云端服务器，云端服务器用于进行云端预训练，车辆本地终端和边云端服务器共同用于进行边缘分布式训练，边缘服务器和云端服务器共同用于进行边云分布式训练。
可以理解的是，本实施例的车辆本地终端、边缘服务器、云端服务器的具体说明可结合前述的云端预训练、边缘分布式训练、边云分布式的解释进行参考，在此不再赘述。
另外，参照图5至图8所示，本发明的一个实施例还提供了一种端到端自动驾驶仿真系统，仿真系统包括CARLA模块、ROS模块、PyTorch模块，仿真系统用于模拟如本发明实施例的的端到端自动驾驶系统。
需要说明的是，CARLA模块，即CARLA是一种基于Unreal Engine虚幻引擎模拟真实世界的自动驾驶模拟器，以支持自动驾驶系统的开发、测试和验证。除了开源代码和协议外，CARLA还提供开放的数字资产(城市布局、建筑、车辆)，这些资产是为此目的而创建的，可以自由使用。仿真平台支持传感器套件、环境条件、所有静态和动态行为者的完全控制、地图生成等方面的灵活规范。
进一步地，ROS模块，即ROS操作系统是专门为机器人而设计的系统，在与高带宽的传感器(如激光雷达、照相机)对接时非常有用，并能实时利用所有这些数据；它是基于Linux的，没有版权费或许可证费用；由于很受欢迎，它很容易解决机器人软件中的大多数常见问题；一个易于使用、跨语言的进程间通信系统，具有相当的通用性(通过以太网或共享内存工作)；允许轻松集成各种工具，包括机器人运动学和传感器数据的可视化、路径规划和感知算法，以及常用传感器的低级驱动程序；允许监测和检查信息的管理工具。
进一步地，PyTorch模块，即PyTorch是一个开源的机器学习框架，加速了从研究原型到生产部署的路径。PyTorch有诸多优势，例如：使用TorchScript在Eager模式和Graph模式之间无缝过渡，并使用TorchServe加速生产路径；研究和生产中的可扩展分布式训练和性能优化是由Torch.distributed后端实现的；丰富的工具和库的生态系统扩展了PyTorch，支持计算机视觉、NLP等方面的开发；PyTorch在主要的云平台上得到很好的支持，提供无摩擦的开发和轻松的扩展。
具体地，参考图5，为CARLA-ROS-PyTorch一体化系统的结构示意图，对于本发明实施例的仿真系统，ROS是整个系统的核心，它负责整个系统的资源管理、设备管理、软件APP管理、通信、软件升级、数字加密、可视化、深度神经网络的训练、验证及部署等等。其中对于深度神经网络的训练、验证及部署就涉及到PyTorch模块的使用，现在主流的方式是在其他系统(如Windows、Ubuntu等)上训练好的深度神经网络模型然后部署到ROS系统中，而本发明实施例可以对该传统方法进行扩展，在此之上我们也可以将深度神经网络的训练迁移到ROS系统中进行。当然ROS也支持多机的联邦训练及部署，在这种情况下ROS要承担起通信管理的功能。而对于ROS和CARLA之间的数据传输、指令传输等都可以通过CARLA-ROS-Bridge来完成，例如ROS系统发出传感器数据采集的指令，当CARLA收到该指令以后将采集到的传感器数返回给ROS系统，然后ROS系统就可以根据利用这些数据等来完成某种功能，例如用传感器数据来训练模型。在本发明实施例的仿真系统下来模拟本发明实施例的端对端自动驾驶系统，可以实现较好的仿真效果，具体可参考图6至图8，即本发明实施例的仿真系统，在其界面进行人机交互下，能最终预测车辆的行驶路径以及执行相关行驶指令，以实现模拟仿真模型的验证。
可以理解的是，在本发明实施例的端到端自动驾驶仿真系统中，通过利用不同的模态数据，如图像数据和点云数据，并采用多模态深度学习网络，来提取和融合车辆行驶环境的不同特征，如语义特征、几何特征、运动特征等，从而映射至相对应的车辆行驶指令，具体可根据不同行驶指令的控制难度来采用不同后端神经网络控制，从而增强系统对环境感知与车辆控制的理解能力。同时，通过采用云端预训练、边缘分布式训练、边云分布式训练三者结合的多阶段联邦学习，从而实现跨场景、跨时域的迁移预测能力，增强端到端系统鲁棒性，解决了跨场景泛化能力弱的问题。同时，通过利用本发明实施例的端到端自动驾驶仿真系统来模拟实际中本发明实施例的端到端自动驾驶系统，从而便于本发明实施例的端到端自动驾驶方法进行线上执行，以支持端到端自动驾驶系统的开发、测试和验证。
在一些实施例中，仿真系统具有CARLA-ROS-PyTorch一体化对外API。
具体地，可以理解的是，通过将CARLA-ROS-PyTorch有机整合到一起并提供统一的对外API，这样不仅可以整个系统的智能性、减少人力资源的投入，更重要得是提过了整体系统的准确性、稳定性和泛化性。
此外，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的一种端到端自动驾驶方法，例如，执行以上描述的图1中的方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (10)
1.一种端到端自动驾驶方法，其特征在于，所述方法包括以下步骤：
获取图像数据、点云数据，所述图像数据为车辆行驶过程中所采集的周围环境的图像信息，所述点云数据为车辆行驶过程中所采集的周围环境的坐标信息；
基于联邦学习模型，对所述图像数据、所述点云数据进行云端预训练、边缘分布式训练、边云分布式训练，以得到优化图像数据、优化点云数据，所述云端预训练表示在云端服务器上进行的初始化训练，所述边缘分布式训练表示在车辆本地终端与边缘服务器之间进行的分布式训练，所述边云分布式训练表示在边云端服务器与云端服务器之间进行的分布式训练；
基于深度神经网络，分别对所述优化图像数据、所述优化点云数据进行特征提取和融合，以得到融合特征；
根据所述融合特征来确定车辆行驶过程中的最佳行驶决策。
2.根据权利要求1所述的端到端自动驾驶方法，其特征在于，所述基于深度神经网络，分别对所述优化图像数据、所述优化点云数据进行特征提取和融合，以得到融合特征，包括以下步骤：
基于中期融合原理，采用不同的特征提取单元来分别对所述优化图像数据、所述优化点云数据进行特征提取，以分别得到图像特征、点云特征；
对所述图像特征、所述点云特征进行特征融合，以得到所述融合特征。
3.根据权利要求2所述的端到端自动驾驶方法，其特征在于，所述对所述图像特征、所述点云特征进行特征融合，以得到所述融合特征，包括以下步骤：
对所述图像特征、所述点云特征进行基于串行策略的多次特征融合，以得到所述融合特征。
4.根据权利要求1所述的端到端自动驾驶方法，其特征在于，所述根据所述融合特征来确定车辆行驶过程中的最佳行驶决策，包括以下步骤：
对所述融合特征进行预测以确定最佳行驶指令，所述行驶指令包括油门指令、转向指令、刹车指令、倒挡指令。
5.一种端到端自动驾驶系统，其特征在于，所述系统包括：
数据采集单元，用于采集图像数据、点云数据，所述图像数据为车辆行驶过程中所采集的周围环境的图像信息，所述点云数据为车辆行驶过程中所采集的周围环境的坐标信息；
深度学习单元，用于执行如权利要求1至4任一所述的端到端自动驾驶方法；
指令执行单元，用于对行驶车辆执行所述最佳行驶指令以实现端对端自动驾驶。
6.根据权利要求5所述的端到端自动驾驶系统，其特征在于，所述数据采集单元包括：
摄像设备，用于采集所述图像数据；
激光雷达设备，用于采集所述点云数据。
7.根据权利要求5所述的端到端自动驾驶系统，其特征在于，所述深度学习单元包括：车辆本地终端、边缘服务器、云端服务器，所述云端服务器用于进行所述云端预训练，所述车辆本地终端和所述边云端服务器共同用于进行所述边缘分布式训练，所述边缘服务器和所述云端服务器共同用于进行所述边云分布式训练。
8.一种端到端自动驾驶仿真系统，其特征在于，所述仿真系统包括CARLA模块、ROS模块、PyTorch模块，所述仿真系统用于模拟如权利要求5至7任一所述的端到端自动驾驶系统。
9.根据权利要求8所述的端到端自动驾驶仿真系统，其特征在于，所述仿真系统具有CARLA-ROS-PyTorch一体化对外API。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至4任一所述的端到端自动驾驶方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211590106.2A CN116403174A (zh) | 2022-12-12 | 2022-12-12 | 一种端到端自动驾驶方法、系统、仿真系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211590106.2A CN116403174A (zh) | 2022-12-12 | 2022-12-12 | 一种端到端自动驾驶方法、系统、仿真系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116403174A true CN116403174A (zh) | 2023-07-07 |
Family
ID=87018516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211590106.2A Pending CN116403174A (zh) | 2022-12-12 | 2022-12-12 | 一种端到端自动驾驶方法、系统、仿真系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116403174A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116579967A (zh) * | 2023-07-12 | 2023-08-11 | 天津亿科科技有限公司 | 一种基于计算机视觉的三维点云图像融合方法及系统 |
| CN118151539A (zh) * | 2024-05-09 | 2024-06-07 | 深圳市大数据研究院 | 大模型驱动的个性化联邦学习方法、车辆控制方法和装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629374A (zh) * | 2018-05-08 | 2018-10-09 | 深圳市唯特视科技有限公司 | 一种基于卷积神经网络的无监督多模态子空间聚类方法 |
| CN109358614A (zh) * | 2018-08-30 | 2019-02-19 | 深圳市易成自动驾驶技术有限公司 | 自动驾驶方法、系统、装置及可读存储介质 |
| CN109747659A (zh) * | 2018-11-26 | 2019-05-14 | 北京汽车集团有限公司 | 车辆驾驶的控制方法和装置 |
| CN110045729A (zh) * | 2019-03-12 | 2019-07-23 | 广州小马智行科技有限公司 | 一种车辆自动驾驶方法及装置 |
| CN110889416A (zh) * | 2019-12-13 | 2020-03-17 | 南开大学 | 一种基于级联改良网络的显著性物体检测方法 |
| US20200142421A1 (en) * | 2018-11-05 | 2020-05-07 | GM Global Technology Operations LLC | Method and system for end-to-end learning of control commands for autonomous vehicle |
| CN112348201A (zh) * | 2020-11-11 | 2021-02-09 | 扬州大学 | 一种基于联邦深度强化学习的自动驾驶群车的智能决策实现方法 |
| CN113110415A (zh) * | 2021-03-17 | 2021-07-13 | 北京汽车研究总院有限公司 | 无人驾驶车辆及其控制方法、系统以及云端、存储介质 |
| CN114091583A (zh) * | 2021-11-04 | 2022-02-25 | 西华师范大学 | 基于注意机制和跨模态融合的显著目标检测系统与方法 |
| CN114925238A (zh) * | 2022-07-20 | 2022-08-19 | 山东大学 | 一种基于联邦学习的视频片段检索方法及系统 |
| CN115145253A (zh) * | 2021-03-16 | 2022-10-04 | 广州汽车集团股份有限公司 | 端到端自动驾驶方法、系统及自动驾驶模型的训练方法 |
-
2022
- 2022-12-12 CN CN202211590106.2A patent/CN116403174A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629374A (zh) * | 2018-05-08 | 2018-10-09 | 深圳市唯特视科技有限公司 | 一种基于卷积神经网络的无监督多模态子空间聚类方法 |
| CN109358614A (zh) * | 2018-08-30 | 2019-02-19 | 深圳市易成自动驾驶技术有限公司 | 自动驾驶方法、系统、装置及可读存储介质 |
| US20200142421A1 (en) * | 2018-11-05 | 2020-05-07 | GM Global Technology Operations LLC | Method and system for end-to-end learning of control commands for autonomous vehicle |
| CN109747659A (zh) * | 2018-11-26 | 2019-05-14 | 北京汽车集团有限公司 | 车辆驾驶的控制方法和装置 |
| CN110045729A (zh) * | 2019-03-12 | 2019-07-23 | 广州小马智行科技有限公司 | 一种车辆自动驾驶方法及装置 |
| CN110889416A (zh) * | 2019-12-13 | 2020-03-17 | 南开大学 | 一种基于级联改良网络的显著性物体检测方法 |
| CN112348201A (zh) * | 2020-11-11 | 2021-02-09 | 扬州大学 | 一种基于联邦深度强化学习的自动驾驶群车的智能决策实现方法 |
| CN115145253A (zh) * | 2021-03-16 | 2022-10-04 | 广州汽车集团股份有限公司 | 端到端自动驾驶方法、系统及自动驾驶模型的训练方法 |
| CN113110415A (zh) * | 2021-03-17 | 2021-07-13 | 北京汽车研究总院有限公司 | 无人驾驶车辆及其控制方法、系统以及云端、存储介质 |
| CN114091583A (zh) * | 2021-11-04 | 2022-02-25 | 西华师范大学 | 基于注意机制和跨模态融合的显著目标检测系统与方法 |
| CN114925238A (zh) * | 2022-07-20 | 2022-08-19 | 山东大学 | 一种基于联邦学习的视频片段检索方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116579967A (zh) * | 2023-07-12 | 2023-08-11 | 天津亿科科技有限公司 | 一种基于计算机视觉的三维点云图像融合方法及系统 |
| CN116579967B (zh) * | 2023-07-12 | 2023-09-12 | 天津亿科科技有限公司 | 一种基于计算机视觉的三维点云图像融合系统 |
| CN118151539A (zh) * | 2024-05-09 | 2024-06-07 | 深圳市大数据研究院 | 大模型驱动的个性化联邦学习方法、车辆控制方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111919225B (zh) | 使用模拟环境对自主机器进行培训、测试和验证 | |
| CN110221546B (zh) | 虚实融合的船舶智能控制系统测试平台 | |
| US20240078363A1 (en) | Virtual environment scenarios and observers for autonomous machine applications | |
| CN108319249B (zh) | 基于驾驶模拟器的无人驾驶算法综合测评系统及方法 | |
| WO2022105394A1 (en) | Simulation method and system, device, readable storage medium, and platform for autonomous driving | |
| EP4152204A1 (en) | Lane line detection method, and related apparatus | |
| US11899748B2 (en) | System, method, and apparatus for a neural network model for a vehicle | |
| JP2021089724A (ja) | 構造的制約及び物理的制約を伴う３ｄ自動ラベル付け | |
| CN116403174A (zh) | 一种端到端自动驾驶方法、系统、仿真系统及存储介质 | |
| EP3822852B1 (en) | Method, apparatus, computer storage medium and program for training a trajectory planning model | |
| US20220272172A1 (en) | Value-based data transmission in an autonomous vehicle | |
| KR102139172B1 (ko) | 가상환경에서의 자율주행차량 시뮬레이션 방법 | |
| CN111752258A (zh) | 自主车辆的操作测试 | |
| CN111923919A (zh) | 车辆控制方法、装置、计算机设备和存储介质 | |
| CN114973050A (zh) | 自动驾驶应用中深度神经网络感知的地面实况数据生成 | |
| CN117036607A (zh) | 基于隐式神经渲染的自动驾驶场景数据生成方法及系统 | |
| CN116776151A (zh) | 可与车外人员进行自主交互的自动驾驶模型和训练方法 | |
| CN111816022A (zh) | 一种模拟场景的仿真方法、装置、存储介质以及电子设备 | |
| CN116880462A (zh) | 自动驾驶模型、训练方法和自动驾驶方法和车辆 | |
| CN116105712A (zh) | 道路地图的生成方法、回注方法、计算机设备及介质 | |
| Bai et al. | Cyber mobility mirror for enabling cooperative driving automation: A co-simulation platform | |
| Ruano Miralles | An open-source development environment for self-driving vehicles | |
| CN114968782A (zh) | 一种基于Carla模拟器实现智能驾驶的方法 | |
| CN110333517A (zh) | 障碍物感知方法、装置及存储介质 | |
| CN114723955B (zh) | 图像处理方法、装置、设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |