CN114527676A - 一种基于数字孪生的自动驾驶网联多车测试方法和系统 - Google Patents

Abstract

本发明公开了一种基于数字孪生的自动驾驶网联多车测试方法和系统。本发明通过场景数字化的方式在仿真器中构建数字孪生环境，并且在仿真器中定义虚拟车辆和虚拟传感器，使得仿真器中的虚拟车辆能够根据传感器数据进行运动。车辆分为现实车辆和虚拟车辆，所有车辆运动过程中，具体的数据通过网络TCP连接的方式上传到数字孪生云平台，由于云平台将所有车辆都视作为一个调度节点，无论是虚拟车辆或是实际车辆，在云平台部分都是一致的数据管理，云平台通过一定的周期向所有连接的车辆下发其他车辆的信息，从而使得所有车辆之间能够互相连通，虚拟车辆和实际车辆之间可以获取彼此的超视距信息，为虚实结合的自动驾驶网联多车测试提供基础形式。

Description

一种基于数字孪生的自动驾驶网联多车测试方法和系统

技术领域

本发明属于自动驾驶测试方法领域，具体涉及一种基于数字孪生的自动驾驶网联多车测试方法和系统。

背景技术

自动驾驶车辆测试主要分为三个步骤，软件在环测试、硬件在环测试和车辆在环测试，以上的测试环节主要是针对于传统的单车智能自动驾驶进行定义。在当今中国大力发展网联智能汽车自动驾驶的大环境下，许多的仿真软件如CARLA、AirSim等等，这些仿真软件更专注于单车智能的自动驾驶，也就是说，只存在一台主车，在主车上配备大量传感器，测试车辆在不同案例中的表现，并不能满足目前网联汽车的发展趋势，并且测试场景主要是根据3D引擎软件中的素材搭建的场景，与现实场景差距较大，导致算法的虚拟场景和现实场景存在适用性不一致的问题。

针对以上问题，目前的自动驾驶测试方案，越来越重视数字孪生场景的构建，如上海市嘉定区与Unity于2020公开了上海国际汽车城的数字孪生建设项目中，上海汽车城构建了整个安亭区域超过100平方公里范围内城市道路区域的数字孪生，并据此构建了面向自动驾驶虚拟测试验证仿真平台，在降低实验成本的同时，大幅提升研发效率。腾讯的TADSim自动驾驶仿真软件则是将腾讯大厦附近的路段进行三维建模，以及对车辆进行部署，对现实世界的状况进行数字孪生的模拟。但是以上的方案是提供了一个精细的虚拟仿真的场景，对于使用虚拟和现实混合测试的方式并没有作出太多的探索。在审查专利CN202110090865.1《一种基于相机暗箱的数字孪生自动驾驶测试方法》中，文章也提到了使用数字孪生自动驾驶测试方法能够缩减后期数字孪生虚实交互测试的研发周期，因此基于数字孪生的自动驾驶测试方法是十分必要的，但是以上的方案是主要关注于其中某一个传感器，并没有从车辆整体层面探讨如何实现虚拟和现实相结合的方式。

综上所述，现有的方法存在的不足主要有对于网联多车的测试并没有很好的一种方式并且对于数字孪生环境的并没有一种很好的使用方法来提高车辆测试的整体效率。

发明内容

为了解决在多车测试过程中，由于多车部署过程中导致的较高人力成本和时间成本的问题，本发明通过构建数字孪生的虚拟环境，使用虚拟车辆替代部分实际车辆，使得虚拟车辆和实际车辆在通过数字孪生的环境在同一场景共存，使用少量实际车辆能够进行网联多车实验，降低多车测试过程中的人力和时间成本，提高多车测试的效率，为实际路试提供保障。

本发明的技术方案如下：

本发明首先提供了一种基于数字孪生的自动驾驶网联多车测试方法，其包括如下步骤：

1)根据现实环境，通过场景数字化的方式在仿真器中构建数字孪生环境，

2)在仿真器中定义虚拟自动驾驶车辆和虚拟传感器，使得仿真器中的虚拟自动驾驶车辆能够根据传感器数据进行运动；现实自动驾驶车辆在现实环境中运动，其运动被映射在数字孪生环境中；

3)现实自动驾驶车辆与虚拟自动驾驶车辆在各自的环境中运行时，车辆使用TCP连接的方式与数字孪生云平台连接，云平台将所有车辆都视作为一个调度节点，无论是虚拟自动驾驶车辆或是现实自动驾驶车辆，在云平台中采用一致的数据管理；云平台通过一定的周期向所有连接的自动驾驶车辆下发其他车辆的位姿信息，从而使得所有自动驾驶车辆之间能够互相连通，虚拟自动驾驶车辆和现实自动驾驶车辆之间可以获取彼此的超视距信息，实现网联多车测试。

优选的，所述的步骤1)具体为：通过激光雷达获取激光点云数据，并且基于激光点云数据使用激光SLAM的方式构建点云地图，基于点云地图构建出基于OpenDrive格式的道路，并且将OpenDrive格式的道路导入到仿真器中获得道路三维重建的场景。

优选的，所述的步骤2)具体为：

在仿真器中，使用3D引擎提供的运动组件定义虚拟自动驾驶车辆，使用车辆模型文件构建3D引擎中的物理模型对象，使得虚拟自动驾驶车辆能够与现实自动驾驶车辆一致得地进行运动；虚拟传感器根据实际传感器的原理，构建包括虚拟摄像头、虚拟激光雷达在内的虚拟传感器；现实自动驾驶车辆根据其在现实环境中的位置，被同步映射在数字孪生环境中，即数字孪生环境中存在虚拟自动驾驶车辆和现实自动驾驶车辆映射的车辆模型。

优选的，所述的步骤3)中，自动驾驶车辆通过网络协议上传自身的状态信息，数字孪生云平台获取到对应的信息后，获取自动驾驶车辆当前的状态信息；当所有自动驾驶车辆的信息上传，数字孪生云平台通过一定的频率向所有自动驾驶车辆同步其他车辆的位姿信息，由于仿真中的地图是根据现实自动驾驶车辆采集的点云数据构建的坐标系，所以现实自动驾驶车辆在点云地图中的坐标系和虚拟自动驾驶车辆在仿真地图中的坐标系是一致的，可以认为所有自动驾驶车辆都是映射在统一坐标系下，自动驾驶车辆能够获取其他车辆的坐标信息，该信息能够为车辆决策模块提供信息，实现虚实结合的自动驾驶网联多车测试。

优选的，所述的步骤3)中，车辆的状态信息包括信息生成的时间、车辆位姿信息、车辆当前速度信息、车辆当前转角信息、车辆档位信息。所述的其他车辆的位姿信息包括车辆坐标信息、车辆当前包围盒信息、包围盒角度、车辆的类型。

本发明还提供了一种基于数字孪生的自动驾驶网联多车测试系统，其包括：

现实自动驾驶车辆，其具有网络通讯模块和传感器，传感器用于获取自身的状态信息并控制车辆智能驾驶，现实自动驾驶车辆通过网络通讯模块将自身的状态信息传输给数字孪生云平台，网络通讯模块还能获取数字孪生云平台传输过来的其他车辆的位姿信息；

仿真器，所述仿真器中具有数字孪生场景作为仿真环境；所述数字孪生场景内构建有虚拟自动驾驶车辆和虚拟传感器，虚拟传感器用于获取虚拟自动驾驶车辆的状态信息并控制虚拟自动驾驶车辆运动，虚拟传感器将状态信息传输给数字孪生云平台，虚拟自动驾驶车辆还能获取数字孪生云平台传输过来的其他车辆的位姿信息；所述数字孪生场景内映射有现实自动驾驶车辆的车辆模型；且仿真环境中的地图是根据现实自动驾驶车辆采集的点云数据构建的，现实自动驾驶车辆在点云地图中的坐标系和虚拟自动驾驶车辆在仿真地图中的坐标系是一致的，所有自动驾驶车辆都映射在统一坐标系下；以及

数字孪生云平台，其作为服务器，用于获取现实自动驾驶车辆和虚拟自动驾驶车辆上传的各自的状态信息，并通过一定的频率向所有车辆同步其他车辆的位姿信息。

与现有技术相比，本发明所具有的有益效果有：

目前的大部分测试是从软件在环测试到硬件在环测试再到实车在环测试，对于自动驾驶网联多车中实车测试对于多台车辆的要求，由于部署多台车辆的时间成本和人力成本较高，本发明使用数字孪生环境中的虚拟车辆替代实际车辆，使得需要n台实际车辆测试的情况下，其中大多数的车辆能够使用虚拟环境中车辆进行替代，实际车辆可能只需要一台或者两台，使得实际需要的实际车辆数量可能极大程度的减少，减少实车测试过程中车辆部署时间以及人力成本，也加快了网联多车测试的效率。

在实际多车测试过程中，由于算法本身存在的一些缺陷，可能导致车辆会碰撞的情况发生，使用虚拟和实际车辆混合的测试方法，能够减少实际车辆的数目，使用虚拟车辆替代实际车辆使用，使得车辆之间不容易发生碰撞，提高实验的安全性

附图说明

图1是数字孪生仿真环境中，虚拟车辆使用的虚拟传感器生成的数据传输到云平台的流程示意图，

图2则是虚拟和实际车辆之间通过数字孪生云平台，上传车辆信息，并且通过数字孪生云平台同步其他车辆信息的过程。

具体实施方式

下面结合具体实施方式对本发明做进一步阐述和说明。所述实施例仅是本公开内容的示范且不圈定限制范围。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

如图1和2所示，本发明的具体思路是通过场景数字化的方式在仿真器中构建数字孪生环境，并且在仿真器中定义虚拟自动驾驶车辆和虚拟传感器，使得仿真器中的自动驾驶车辆能够根据传感器数据进行运动。本发明系统中的自动驾驶车辆分为现实自动驾驶车辆和虚拟自动驾驶车辆，所有车辆运动过程中，具体的数据通过网络TCP连接的方式上传到数字孪生云平台，由于云平台将所有车辆都视作为一个调度节点，无论是虚拟自动驾驶车辆或是现实自动驾驶车辆，在云平台部分都是一致的数据管理，这是数字孪生云服务器的核心，云平台通过一定的周期向所有连接的车辆下发其他车辆的信息，从而使得所有车辆之间能够互相连通，虚拟自动驾驶车辆和现实自动驾驶车辆之间可以获取彼此的超视距信息，为虚实结合的网联多车测试提供基础形式。

本发明首先是需要通过激光雷达获取激光点云数据，并且基于数据使用激光SLAM的方式构建点云地图，基于点云地图通过CAD软件手工得定义道路或者自动化的方式构建出基于OpenDrive格式的道路，并且将OpenDrive格式的道路导入到仿真器中可以获得道路三维重建的场景。以上是获取数字孪生的虚拟环境的基本流程。

在本发明虚拟车辆的定义则是使用3D引擎提供的相关运动组件，使用车辆模型文件构建引擎中的物理模型对象，使得虚拟自动驾驶车辆能够与现实自动驾驶车辆一致地进行运动；虚拟传感器根据实际传感器的原理，构建如虚拟摄像头、虚拟激光雷达等传感器，并且实现数据传输中间件，通过中间件能够将传感器数据通过网络传输到其他系统当中。现实自动驾驶车辆根据其在现实环境中的位置，被同步映射在数字孪生环境中，即数字孪生环境中存在虚拟自动驾驶车辆和现实自动驾驶车辆映射的车辆模型。

在一个具体实施例中，在仿真环境如虚幻引擎中构建数字孪生环境，并且导入车辆的模型文件，绑定模型和车辆骨骼模型，形成能够运动的车辆模型。并且在仿真环境中构建虚拟传感器，仿真环境使用CARLA仿真环境，其中提供了虚拟摄像头和虚拟激光雷达的实现，虚拟传感器通过网络将数据传输到车端系统，车端系统使用ROS机器人操作系统实现，实现基础的功能如定位建图、导航和循迹追踪的功能，使得虚拟车辆能够在仿真环境中运动，实际车辆能够在现实环境中运动。

有了虚拟自动驾驶车辆和现实自动驾驶车辆的定义之后，搭建数字孪生云平台作为服务器，基于Spring-Boot搭建，TCP连接通过Netty组件进行监听操作，车辆通过TCP连接和云端构建连接之后，使用预先定义的协议上传车辆的定位信息，数字孪生服务器根据车辆上传的vin码存储到数据库中，并且根据一定的周期，向所有的车辆进行广播其他车辆的定位，车辆系统获取的位置信息后，可以提供给决策模块，使得虚拟车辆能够通过数字孪生服务器同步获得其他实际车辆或者虚拟车辆的定位信息，而实际车辆也同样的通过数字孪生服务器同步获取其他实际车辆或者虚拟车辆的定位信息，因为虚拟环境是现实环境的数字孪生体，那么实际车辆的运动可以映射到虚拟环境中，同样虚拟环境中车辆的定位也可以映射到实际环境当中，为实际车辆的运行作出指导。

进一步的，当现实车辆与仿真车辆在各自的环境中运行时，车辆使用TCP连接的方式与数字孪生云平台连接，使用的协议如下表所示。

字段	含义	数据类型
			Version	协议的版本	String
Type	协议代表的类型	Int
			Ack	响应标识，0表示成功	Int
RequestId	唯一请求表示	Int
			Vin	车辆唯一标识	String
data	协议内容字段	Dict

车辆通过网络协议上传自身的定位信息，具体的Type为Ox15，服务器获取到对应的信息后，通过分析data字段，获取车辆当前的状态信息，具体的信息含义如下表所示。

字段	含义	数据类型
			Timestamp	信息生成的时间	String
Pose	车辆位姿信息	Dict
			v	车辆当前速度信息	Float
wheelAngle	车辆当前转角信息	Float
			Gear	车辆档位信息	int

当所有车辆的信息上传，数字孪生服务器通过一定的频率向所有车辆同步其他车辆的位姿信息，由于仿真中的地图是根据现实自动驾驶车辆采集的点云数据构建的坐标系，所以现实自动驾驶车辆在点云地图中的坐标系和虚拟自动驾驶车辆在仿真地图中的坐标系是一致的，因此可以认为所有车辆都是映射在统一坐标系下，车辆能够获取其他车辆的坐标信息，具体的Type为0x14，其中的数据含义如下所示，该信息能够为车辆决策模块提供信息，并且为虚实结合的网联多车测试提供方法。

字段	含义	数据类型
			position	车辆坐标信息	指示xyz坐标
rectangle	车辆当前包围盒信息	指示包围盒长宽高
			angle	包围盒角度	包围盒的实际角度
type	车辆的类型	指示车辆类型

本发明通过数字孪生服务器(数字孪生云平台)来同步虚拟和现实车辆，使得虚拟和现实车辆能够在数字孪生环境中共同进行实验的方案和思路，

对于网联多车实验，如果需要五台车辆进行实验测试，五台车辆需要五个人部署，五台车辆底盘和五套传感器，其成本是非常高的。如果其中三台车辆使用虚拟车辆替代，只需要两个人进行部署，和两台车辆底盘和两套传感器，本发明能够极大得降低实车测试过程当中，需要实车过多而导致的车辆部署和实验的时间成本和人力成本，有极好的应用价值。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.一种基于数字孪生的自动驾驶网联多车测试方法，其特征在于，包括如下步骤：

1)根据现实环境，通过场景数字化的方式在仿真器中构建数字孪生环境，

2)在仿真器中定义虚拟自动驾驶车辆和虚拟传感器，使得仿真器中的虚拟自动驾驶车辆能够根据传感器数据进行运动；现实自动驾驶车辆在现实环境中运动，其运动被映射在数字孪生环境中；

3)现实自动驾驶车辆与虚拟自动驾驶车辆在各自的环境中运行时，车辆使用TCP连接的方式与数字孪生云平台连接，云平台将所有车辆都视作为一个调度节点，无论是虚拟自动驾驶车辆或是现实自动驾驶车辆，在云平台中采用一致的数据管理；云平台通过一定的周期向所有连接的自动驾驶车辆下发其他车辆的位姿信息，从而使得所有自动驾驶车辆之间能够互相连通，虚拟自动驾驶车辆和现实自动驾驶车辆之间可以获取彼此的超视距信息，实现网联多车测试。

2.根据权利要求1所述的基于数字孪生的自动驾驶网联多车测试方法，其特征在于，所述的步骤1)具体为：通过激光雷达获取激光点云数据，并且基于激光点云数据使用激光SLAM的方式构建点云地图，基于点云地图构建出基于OpenDrive格式的道路，并且将OpenDrive格式的道路导入到仿真器中获得道路三维重建的场景。

3.根据权利要求1所述的基于数字孪生的自动驾驶网联多车测试方法，其特征在于，所述的步骤2)具体为：

在仿真器中，使用3D引擎提供的运动组件定义虚拟自动驾驶车辆，使用车辆模型文件构建3D引擎中的物理模型对象，使得虚拟自动驾驶车辆能够与现实自动驾驶车辆一致得地进行运动；虚拟传感器根据实际传感器的原理，构建包括虚拟摄像头、虚拟激光雷达在内的虚拟传感器；现实自动驾驶车辆根据其在现实环境中的位置，被同步映射在数字孪生环境中，即数字孪生环境中存在虚拟自动驾驶车辆和现实自动驾驶车辆映射的车辆模型。

4.根据权利要求1所述的基于数字孪生的自动驾驶网联多车测试方法，其特征在于，所述的步骤3)中，自动驾驶车辆通过网络协议上传自身的状态信息，数字孪生云平台获取到对应的信息后，获取自动驾驶车辆当前的状态信息；当所有自动驾驶车辆的信息上传，数字孪生云平台通过一定的频率向所有自动驾驶车辆同步其他车辆的位姿信息，由于仿真中的地图是根据现实自动驾驶车辆采集的点云数据构建的坐标系，所以现实自动驾驶车辆在点云地图中的坐标系和虚拟自动驾驶车辆在仿真地图中的坐标系是一致的，可以认为所有自动驾驶车辆都是映射在统一坐标系下，自动驾驶车辆能够获取其他车辆的坐标信息，该信息能够为车辆决策模块提供信息，实现虚实结合的自动驾驶网联多车测试。

5.根据权利要求1所述的基于数字孪生的自动驾驶网联多车测试方法，其特征在于，所述的步骤3)中，车辆的状态信息包括信息生成的时间、车辆位姿信息、车辆当前速度信息、车辆当前转角信息、车辆档位信息。

6.根据权利要求1所述的基于数字孪生的自动驾驶网联多车测试方法，其特征在于，所述的步骤3)中，所述的其他车辆的位姿信息包括车辆坐标信息、车辆当前包围盒信息、包围盒角度、车辆的类型。

7.一种基于数字孪生的自动驾驶网联多车测试系统，其特征在于包括：

现实自动驾驶车辆，其具有网络通讯模块和传感器，传感器用于获取自身的状态信息并控制车辆智能驾驶，现实自动驾驶车辆通过网络通讯模块将自身的状态信息传输给数字孪生云平台，网络通讯模块还能获取数字孪生云平台传输过来的其他车辆的位姿信息；

仿真器，所述仿真器中具有数字孪生场景作为仿真环境；所述数字孪生场景内构建有虚拟自动驾驶车辆和虚拟传感器，虚拟传感器用于获取虚拟自动驾驶车辆的状态信息并控制虚拟自动驾驶车辆运动，虚拟传感器将状态信息传输给数字孪生云平台，虚拟自动驾驶车辆还能获取数字孪生云平台传输过来的其他车辆的位姿信息；所述数字孪生场景内映射有现实自动驾驶车辆的车辆模型；且仿真环境中的地图是根据现实自动驾驶车辆采集的点云数据构建的，现实自动驾驶车辆在点云地图中的坐标系和虚拟自动驾驶车辆在仿真地图中的坐标系是一致的，所有自动驾驶车辆都映射在统一坐标系下；以及

数字孪生云平台，其作为服务器，用于获取现实自动驾驶车辆和虚拟自动驾驶车辆上传的各自的状态信息，并通过一定的频率向所有车辆同步其他车辆的位姿信息。

Images