CN116933655A - 基于车载内外混合现实的自动驾驶仿真方法及系统 - Google Patents

Abstract

本发明公开了涉及混合现实技术领域的基于车载内外混合现实的自动驾驶仿真方法及系统，在仿真测试中通过MR头显创建虚拟场景和虚拟车辆，并实时获取真实车辆的空间信息进行匹配，实现虚拟车辆与真实车辆的同步叠加。同时，利用SLAM技术定位真实车辆，控制虚拟场景与真实车辆的逆变换，完成车内外混合现实的准确叠加。并采集虚拟传感器数据。通过信息融合决策和车辆控制，实现对车辆运动的控制，继续进行下一帧的混合现实叠加。本发明通过SLAM(同步定位与地图构建)技术、特征提取与匹配技术和高精度定位技术，实现了在自动驾驶仿真密闭车载环境下对真实车辆内外虚拟物体的精确叠加，提高了虚拟物体与现实世界叠加的准确性。

Description

基于车载内外混合现实的自动驾驶仿真方法及系统

技术领域

本发明专利涉及混合现实技术领域，特别是涉及基于车载内外混合现实的自动驾驶仿真方法及系统。

背景技术

随着信息技术的发展，混合现实(MR)技术逐渐成为一种新兴技术，它可以将虚拟信息与真实环境进行融合，创造出更加直观、自然的信息展示效果，已经在游戏、教育、医疗等领域得到广泛应用。

混合现实技术在自动驾驶仿真测试中也具有广泛的应用前景，在自动驾驶仿真测试中，需要对车辆在各种路况、气象条件下的行驶情况进行测试，以验证自动驾驶系统的可靠性和安全性。

山东省科学院自动化研究所在其申请的专利文献“基于混合现实的自动驾驶测试方法及系统”(专利申请号CN201811494519.4，公开号CN109781431B)中公开了一种基于混合现实的自动驾驶测试方法及系统，将虚拟测试和真实测试进行有机的结合，能够更有效的对自动驾驶汽车综合性能进行测试，其缺点只能通过控制中心显示屏观察测试车辆的行进路线。没有实现随车员视野内的混合现实显示，无法在车内直观了解车辆在虚拟场景的测试状况，实现自然的混合现实。

目前车载的混合现实，以及相关的增强现实显示方法主要通过抬头显示器(HUD)，头戴式显示设备(头显)以及显示屏实现。使用显示屏无法实现车外物体直观的叠加虚拟信息来完成自然的混合现实显示，而HUD则有显示效果易受到外部环境的影响，投影效果差，可视区域较窄的限制，只能通过前挡风窗玻璃给随车人员提供车辆前方的混合现实体验。北京鑫洋浩海科技有限公司在其申请的专利文献“一种混合现实道路显示系统”(专利申请号CN201810484966.5，公开号CN108520635B)中公开的系统通过计算坐标变换得出虚拟混合模型与车辆的实时相对位置，在车辆端的显示设备中，根据相对位置显示所述虚拟混合模型，完成车外道路指示牌的混合显示，缺点是无法解决传感器的漂移问题，导致虚拟信息无法准确叠加。由于采用多传感器融合的SLAM(同步定位与地图构建)技术，在车载密闭的移动环境，无法完成车辆行驶时车内虚拟物体与车辆内部保持静止，车外虚拟物体与车外环境保持静止的准确混合现实叠加，自动驾驶仿真测试人员无法获得车内外实时准确的仿真体验。

综合上述情况，为了解决混合现实自动驾驶仿真测试随车人员视野空白，无法直接观察测试车辆在虚拟场景的行驶状况。进一步提高测试人员的感知和自动驾驶测试体验，实现车内外的准确混合现实，本发明提出了一种基于车载内外混合现实的自动驾驶仿真方法及系统。

发明内容

针对上述问题，本发明提供了一种基于车载内外混合现实的自动驾驶仿真方法，该方法通过SLAM(同步定位与地图构建)技术、特征提取与匹配技术以及高精度定位技术，实现了在密闭车载环境下对真实车辆内外虚拟物体的精确叠加，提高了虚拟物体与现实世界叠加的准确性，提高了自动驾驶仿真测试随车人员感知能力。

本发明采用的技术方案是：基于车载内外混合现实的自动驾驶仿真方法，该方法包括以下步骤：

S1、创建测试场景和仿真车辆：预先导入3D建模模型，构建场景库；开始测试时，使用MR头显在场景库中选择所需的仿真测试场景进行虚拟场景构建，根据被测试车辆的大小形态构建数字孪生的虚拟车辆。

S2、实时扫描车内空间：传感器流模块通过多种传感器融合的方式，使用SLAM(同步定位与地图构建)技术，实时获取真实车辆内部的空间信息以及追踪头戴式混合显示设备获取运动信息。

S3、虚拟场景和虚拟车辆的初始叠加：通过基准点，获取真实物体在虚拟空间的坐标，将虚拟车辆和虚拟场景分别准确叠加到真实车辆和真实场景，并保存虚拟车辆与虚拟场景的相对位置。

S4、虚拟车辆实时附着于真实车辆：根据实时获取真实车辆内部的空间信息，利用关键特征点匹配的方式，确定每一时刻真实车辆与混合现实设备的相对位姿，实现虚拟车辆实时附着于运动的真实车辆，在世界坐标系下随着真实车辆的运动而同步运动。

S5、实时定位真实车辆：利用车载传感器，通过SLAM技术，构建真实场景的SLAM地图，利用SLAM地图高精度定位真实车辆。

S6、实时控制虚拟场景逆变换：根据真实车辆在定位坐标与方向，控制虚拟场景的位姿，实现虚拟场景随着真实车辆的位姿变换而实时逆变换。使虚拟场景始终相对真实场景的保持静止

S7、虚拟传感器数据采集与仿真：将虚拟场景与车辆信息传输到车载端，采集仿真场景数据，并将虚拟传感器转换成物理传感器的数据格式输出至车载计算系统。

S8、信息融合决策：将传感器信息以及车辆定位信息传递至自动驾驶算法中，算法进行信息融合、决策，再通过控制算法解算出车辆的控制命令,输出至车辆系统中的车辆控制单元。

S9、控制车辆运动：车辆控制单元将控制命令传递至车辆控制机构，完成车辆的方向、速度以及其他控制。

S10、更新仿真平台与同步显示：实时对虚拟场景和虚拟车辆的相对位姿分析，再通过追踪MR头显的运动，使虚拟场景和虚拟车辆分别相对测试场地和测试车辆保持固定，更新虚拟物体的位置信息。

本发明的还提供了一种基于车载内外混合现实的自动驾驶仿真系统，包括MR头显，车载端，以及通讯模块组成，MR头显和车载端通过通讯模块无线传输信息。

所述通讯模块引入高实时性5G网络数据传输技术，实现在自动驾驶仿真中低延迟接收到MR头显等设备的数据信息，同时反馈车辆位姿信息。

所述MR头显包括传感器流模块，空间定位模块，虚拟场景模块，显示模块。

所述传感器流模块利用包括视频流，深度流，IMU信息流，通过多种传感器融合的方式，使用SLAM(同步定位与地图构建)技术，实时获取真实车辆内部的空间信息以及追踪头戴式混合显示设备获取运动信息，空间信息传输至空间定位模块进行处理。运动信息传输至显示模块。

所述空间定位模块接收传感器流模块中的车辆内部空间信息，通过空间特征点匹配的方式，实时定位真实车辆，获取真实车辆在混合显示设备虚拟空间的坐标，并将坐标信息传输至虚拟场景模块，所述虚拟场景模块包含了生成单元以及位姿控制单元。

所述生成单元，可以通过导入建模模型，生成、编辑、保存与现实1:1等比的虚拟场景与虚拟车辆，根据测试场景要素的属性，归纳分类为静态环境要素、动态环境要素、气象状况、测试车辆四类，静态环境要素包括相对测试场景静止的道路，交通设施，路障等，动态环境要素包括了车辆实际路况中相对测试场景运动的人流，车流等，气象状况则包括了雨，雪，沙尘暴的常见的恶劣天气，测试车辆，则是根据则是匹配真实车辆的数字孪生虚拟车辆。

所述位姿控制单元根据空间定位模块中接收到的真实车辆在虚拟空间的坐标，控制虚拟车辆的位姿，再根据真实车辆相对真实场景的定位，可以高帧率的在每一帧控制虚拟车辆和虚拟场景的相对位姿与真实车辆与真实场景的相对位姿保持一致，实现在世界坐标系下，虚拟车辆和虚拟场景分别准确叠加至真实车辆和真实场景。

进一步的,虚拟场景模块测试时将虚拟场景信息通过通讯模块传送到实时机

所述显示模块则需要根据混合现实设备的运动，以虚拟物体在虚拟空间的位姿，准确实时显示虚拟物体。

所述车载端包括场景处理模块，车辆模块，车载计算模块；所述场景处理模块包括数据仿真单元和实时机；所述车辆模块包括车辆控制单元和车辆定位单元；所述车载计算模块包括车载计算单元和自动驾驶算法。

所述实时机将根据虚拟场景信息，采集虚拟传感器数据，并将虚拟传感器数据传送至数据仿真单元。

所述数据仿真单元将虚拟传感器的数据转换成物理传感器的数据格式，形成与物理传感器一致的数据格式和通信方式，并通过IO口输出至车载计算模块。

所述车辆定位单元主要包括差分GPS、IMU(惯性导航单元)、激光雷达、毫米波雷达和摄像头，获取测试车辆在测试场景中的定位信息，并发送定位信息和底盘状态信息至车载计算模块。

所述车载计算模块接收数据仿真单元的IO口输出的感知传感器信号，同时接收车辆模块车载定位单元反馈的定位信息和底盘状态信息。车载计算模块将以上信息传递至自动驾驶算法中。

所述自动驾驶算法进行信息融合、决策，解算出车辆的控制命令，车辆控制命令经车载计算模块的控制信息输出接口输出至车辆模块中的车载控制单元中。

所述车载控制单元接收车载计算模块发出的控制命令，被测车辆将控制命令传递至车辆底盘执行器控制机构，从而完成车辆的横纵向以及其他控制。

本发明的有益效果是：

1、车内外的准确混合现实叠加；利用双重SLAM技术，通过空间扫描关键特征点匹配的方式，能同时完成头戴式混合显示设备相对车辆，以及车辆相对外部实际测试环境的定位和建图，实现车内外虚拟物体的高精度对齐叠加，车内虚拟物体与车辆保持静止，车外虚拟场景与真实场景保持静止，并提高准确性和稳定性。

2、全景透视，提高驾驶员感知能力；通过车内外准确的混合现实感知，在自动仿真测试时，随车人员可以通过头显看到被车辆遮挡的虚拟场景，以及与真实车辆叠加一致的虚拟车辆，在车内就可以准确判断车辆与车外虚拟场景是否碰撞发生。

3、显示效果更为优秀；由于头戴式显示设备直接与驾驶员的视觉系统相连，因此能够提供更高质量的虚拟信息显示，同时通过先进的传感器和算法实现虚实场景的融合，可视区域更为广阔，与HUD车载混合现实设备相比，头戴式车载混合现实显示设备的可视区域更广阔，能够覆盖驾驶员的整个视野范围，具有良好的用户体验。

附图说明

图1是本发明实施例所述的方法流程图。

图2是本发明实施例所述的系统结构示意图；

图3是本发明实施例所述的虚拟场景模块结构示意图；

附图标记说明：

1、车载内外混合现实的自动驾驶仿真系统；2、车载端；3、车载计算模块；4、车载计算单元；5、自动驾驶算法；6、车辆模块；7、车辆定位单元；8、车辆控制单元；9、场景处理模块；10、数据仿真单元；11、实时机；12、通讯模块；13、MR头显；14、虚拟场景模块；15、显示模块；16、传感器流模块；17、空间定位模块；18、生成单元；19、位姿控制单元。

具体实施方式

下面结合附图对本发明的实施例作进一步说明。

实施例1：

如图1-图3所示，一种基于车载内外混合现实的自动驾驶仿真方法，该方法包括以下步骤：

S1、创建测试场景和仿真车辆：预先导入3D建模模型，构建场景库；开始测试时，使用MR头显13在场景库中选择所需的仿真测试场景进行虚拟场景构建，根据被测试车辆的大小形态构建数字孪生的虚拟车辆。

S2、实时扫描车内空间：传感器流模块16通过多种传感器融合的方式，使用SLAM(同步定位与地图构建)技术，实时获取真实车辆内部的空间信息以及追踪头戴式混合显示设备获取运动信息。

S3、虚拟场景和虚拟车辆的初始叠加：通过基准点，获取真实物体在虚拟空间的坐标，将虚拟车辆和虚拟场景分别准确叠加到真实车辆和真实场景，并保存虚拟车辆与虚拟场景的相对位置。

S4、虚拟车辆实时附着于真实车辆：根据实时获取真实车辆内部的空间信息，利用关键特征点匹配的方式，确定每一时刻真实车辆与混合现实设备的相对位姿，实现虚拟车辆实时附着于运动的真实车辆，在世界坐标系下随着真实车辆的运动而同步运动。

S5、实时定位真实车辆：利用车载传感器，通过SLAM技术，构建真实场景的SLAM地图，利用SLAM地图高精度定位真实车辆。

S6、实时控制虚拟场景逆变换：根据真实车辆在定位坐标与方向，控制虚拟场景的位姿，实现虚拟场景随着真实车辆的位姿变换而实时逆变换，使虚拟场景始终相对真实场景的保持静止

S7、虚拟传感器数据采集与仿真：将虚拟场景与车辆信息传输到车载端，采集仿真场景数据，并将虚拟传感器转换成物理传感器的数据格式输出至车载计算系统。

S8、信息融合决策：将传感器信息以及车辆定位信息传递至自动驾驶算法5中，算法进行信息融合、决策，再通过控制算法解算出车辆的控制命令,输出至车辆系统中的车辆控制单元。

S9、控制车辆运动：车辆控制单元将控制命令传递至车辆控制机构，完成车辆的方向、速度以及其他控制。

S10、更新仿真平台与同步显示：通过虚拟场景模块14进行数据处理，实时对虚拟场景和虚拟车辆的相对位姿分析，再通过追踪MR头显的运动，使虚拟场景和虚拟车辆分别相对测试场地和测试车辆保持固定。更新MR头显和实时机中虚拟物体的位置信息。

上述技术方案的工作原理如下：

其中步骤S1中，创建虚拟场景和虚拟车辆：根据驾驶测试应用场景的需要，导入1：1的虚拟模型到Unity3D空间中，生成与真实车辆大小形态一致的虚拟车辆，以及自定义的道路车况实景的虚拟场景，具体虚拟场景包括：静态的虚拟物体，如道路、路障、指示牌等，以及动态的虚拟物体，如按规定路径行驶的车流、人流等，设置车内空间的虚拟物体挂载虚拟车辆，以虚拟车辆为父物体，坐标跟随虚拟车辆变化，车外空间的虚拟物体挂载到虚拟场景中，以虚拟场景为父物体，坐标跟随虚拟场景变化。

步骤S2中，实时扫描车内空间，通过多种传感器融合的方式，使用SLAM技术，融合方式具体包括：利用混合现实设备中的传感器流模块16，通过摄像头、深度相机数据，提取车内视觉特征，IMU简单积分辅助运动校正的多传感器融合的SLAM技术，追踪驾驶人在测试车辆内部时的实时头部定位，并获取车辆内部的空间网格。

步骤S3中，设定虚拟场景和虚拟车辆的初始位置，具体包括：在车内设定车虚拟车辆与真实车辆对应的基准点，将二维码固定在真实车辆的基准点，扫描二维码获取二维码在虚拟空间的位姿信息，虚拟车辆的基准点以相同的位姿贴合到使虚拟车辆始终固定在真实车辆上，在车外利用同样的方式使虚拟场景叠加到真实场景中。

进一步的，扫描二维码获取二维码的在虚拟空间的位姿信息是通过在传感器流模块16的视频流中，检测出二维码，将二维码通过摄像头的内外参矩阵投影到上述的车辆内部空间网格中，获取二维码的空间位姿信息。

步骤S4中，虚拟车辆实时附着于真实车辆：根据实时获取真实车辆内部的空间网格，提取空间特征点，利用特征点匹配的方式，确定每一时刻真实车辆与混合现实设备的相对位姿，实现视野内的虚拟车辆在车内空间中的相对位置始终保持静止，附着于运动的真实车辆，在世界坐标系下随着真实车辆的运动而同步运动

优选的，步骤S4中,可以通过设定空间锚点，进一步减少虚拟车辆由于时间增加传感器误差积累导致的漂移。

步骤S5中，实时定位真实车辆，车载传感器具体包括激光雷达，摄像头，IMU,通过IMU初步估计车辆的运动，利用激光雷达与视觉融合的SLAM，实时构建真实场景的局部SLAM地图，再利用局部SLAM地图上的特征点进行车辆匹配定位，实现高精度定位真实车辆。

步骤S6中，实时控制虚拟场景逆变换，具体包括：根据真实车辆的定位坐标与朝向，计算真实车辆实时位姿与初始位姿转换矩阵，真实车辆在真实场地运动同时，同步映射到虚拟场景中，控制虚拟场景的位姿随着真实车辆位姿的变换而实时逆变换，使虚拟场景在世界坐标系下始终保持在固定位置，以虚拟场景为父物体的虚拟物体也保持在固定位置。

步骤S7中,虚拟传感器数据采集与仿真,将仿真场景传输到车载端2的场景仿真模块9，实时机11通过虚拟感知传感器采集仿真场景数据，采集后的虚拟传感器数据传送至数据仿真单元10中，将虚拟传感器数据转换成物理传感器的数据格式，形成与物理传感器一致的数据格式和通信方式，并通过场景仿真模块9的IO口输出至车载计算模块3。

进一步的，转换数据是利用传感器模型来模拟传感器的物理特性，如视野、分辨率和误差等，将虚拟传感器数据转换成物理传感器的数据格式。

步骤S8中、信息融合决策，车载计算模块将数据仿真模块的IO口输出的感知传感器信号以及车辆系统反馈的定位信息和底盘状态信息传递至自动驾驶算法5中，进行信息融合、决策，再通过控制算法解算出车辆的控制命令,输出至车辆系统中的车辆控制单元。

进一步的，融合决策，是将感知传感器信号、定位信息和底盘状态信息通过车载计算模块3传递至自动驾驶算法5中，自动驾驶算法5进行信息融合和决策，以确定车辆的下一步行动，例如加速、刹车、转弯，信息融合是指将多个感知传感器的数据进行融合，以提高感知的准确性和鲁棒性，决策是指在融合后的数据基础上，确定车辆的下一步行动，可以是根据地图规划的路线，也可以是根据前方障碍物的位置和速度等信息进行动态决策。

步骤S9中，控制车辆运动：车辆控制单元8将控制命令传递至车辆控制机构，从而完成车辆的横纵向以及其他控制；例如，利用控制算法输出的控制命令控制车辆的方向盘、油门和刹车等控制机构。

步骤S10中，更新仿真场景与同步显示，是将测试车辆在测试场地上行驶的姿态和位置信息发送给车载计算模块3和仿真场景中的虚拟车辆，以实现车辆位姿、速度等信息的同步，在这个过程中，车载计算平台和仿真场景中的虚拟车辆可以根据接收到的信息，更新车辆的位置和状态，从而实现场景的实时更新。

进一步的，通过虚拟场景模块14进行数据处理，生成3维动态场景，实时对虚拟场景和虚拟车辆的相对位姿分析，再通过追踪车辆定位以及MR头显的运动，然后根据佩戴者头部跟踪设备的位姿及时传输当前视角的虚拟场景画面至透射式头显；使虚拟场景和虚拟车辆分别相对测试场地和测试车辆保持固定。

基于车载内外混合现实的自动驾驶仿真系统，包括MR头显13、车载端2以及通讯模块12组成，MR头显13和车载端2通过通讯模块连接，实现低延时的数据交互。

所述MR头显13包括传感器流模块16，空间定位模块17，虚拟场景模块14，显示模块15。

所述车载端2包括场景处理模块9，车辆模块6，车载计算模块3。

为保证仿真测试的同步性和实时性，虚实场景实时交互，所述通讯模块12引入高实时性5G网络数据传输技术，实现实际场景能够以尽量低的延迟接收到MR头显13等设备的数据信息，同时能够对数据采集的时间信息进行计算，并以较低延迟反馈车辆位姿信息，满足虚实场景实时交互高带宽、高实时性传输需求。

所述传感器流模块16利用包括视频流，深度流，IMU信息流，通过多种传感器融合的方式，使用SLAM(同步定位与地图构建)技术，实时获取真实车辆内部的空间信息以及追踪头戴式混合显示设备获取运动信息，空间信息传输至空间定位模块17进行处理，运动信息传输至显示模块15。

所述空间定位模块17接收传感器流模块16中的车辆内部空间信息，通过空间特征点的方式，实时定位真实车辆，获取真实车辆在混合显示设备虚拟空间的坐标，并将坐标信息传输至虚拟场景模,14，所述虚拟场景模块14包含了生成单元18以及位姿控制单元19。

所述生成单元18，可以通过导入建模模型，生成、编辑、保存与现实1:1等比的虚拟场景与虚拟车辆，根据测试场景要素的属性，归纳分类为静态环境要素、动态环境要素、气象状况、测试车辆四类，静态环境要素包括相对测试场景静止的道路，交通设施，路障等，动态环境要素包括了车辆实际路况中相对测试场景运动的人流，车流等，气象状况则包括了雨，雪，沙尘暴的常见的恶劣天气，测试车辆，则是根据则是匹配真实车辆的数字孪生虚拟车辆。

所述位姿控制单元19根据空间定位模块17中接收到的真实车辆在虚拟空间的坐标，控制虚拟车辆的位姿，再根据真实车辆相对真实场景的定位，可以高帧率的在每一帧控制虚拟车辆和虚拟场景的相对位姿与真实车辆与真实场景的相对位姿保持一致，实现在世界坐标系下，虚拟车辆和虚拟场景分别准确叠加至真实车辆和真实场景。

进一步的,虚拟场景模块14测试时将虚拟场景信息通过通讯模块12传送到实时机11。

所述显示模块15则需要根据混合现实设备的运动，以虚拟物体在虚拟空间的位姿，准确实时显示虚拟物体。

所述场景仿真模块9包括数据仿真单元10和实时机11。

所述车辆模块6包括车辆控制单元8和车辆定位单元7。

所述车载计算模块3包括车载计算单元4和自动驾驶算法5。

所述实时机11将根据虚拟场景信息，采集虚拟传感器数据，并将虚拟传感器数据传送至数据仿真单元10。

所述数据仿真单元10将虚拟传感器的数据转换成物理传感器的数据格式，形成与物理传感器一致的数据格式和通信方式，并通过IO口输出至车载计算模块3。

所述车辆定位单元7主要包括差分GPS、IMU(惯性导航单元)、激光雷达、毫米波雷达和摄像头，获取测试车辆在测试场景中的定位信息，并发送定位信息和底盘状态信息至车载计算模块3。

所述车载计算模块3接收数据仿真单元10的IO口输出的感知传感器信号，同时接收车辆模块车载定位单元7反馈的定位信息和底盘状态信息，车载计算模块3将以上信息传递至自动驾驶算法5中，进行信息融合、决策，再通过控制算法解算出车辆的控制命令，车辆控制命令经车载计算模块3的控制信息输出接口输出至车辆模块中的车载控制单元8中。

所述车载控制单元8接收车载计算模块3发出的控制命令，被测车辆将控制命令传递至车辆底盘执行器控制机构，从而完成车辆的横纵向以及其他控制。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (4)

1.基于车载内外混合现实的自动驾驶仿真方法及系统，该方法包括以下步骤：

S1、创建测试场景和仿真车辆：预先导入3D建模模型，构建场景库；开始测试时，使用MR头显在场景库中选择所需的仿真测试场景进行虚拟场景构建，根据被测试车辆的大小形态构建数字孪生的虚拟车辆。

S2、实时扫描车内空间：传感器流模块通过多种传感器融合的方式，使用SLAM(同步定位与地图构建)技术，实时获取真实车辆内部的空间信息以及追踪头戴式混合显示设备获取运动信息。

S3、虚拟场景和虚拟车辆的初始叠加：通过基准点，获取真实物体在虚拟空间的坐标，将虚拟车辆和虚拟场景分别准确叠加到真实车辆和真实场景，并保存虚拟车辆与虚拟场景的相对位置。

S4、虚拟车辆实时附着于真实车辆：根据实时获取真实车辆内部的空间信息，利用关键特征点匹配的方式，确定每一时刻真实车辆与混合现实设备的相对位姿，实现虚拟车辆实时附着于运动的真实车辆，在世界坐标系下随着真实车辆的运动而同步运动。

S5、实时定位真实车辆：利用车载传感器，通过SLAM技术，构建真实场景的SLAM地图，利用SLAM地图高精度定位真实车辆。

S6、实时控制虚拟场景逆变换：根据真实车辆在定位坐标与方向，控制虚拟场景的位姿，实现虚拟场景随着真实车辆的位姿变换而实时逆变换。使虚拟场景始终相对真实场景的保持静止

S7、虚拟传感器数据采集与仿真：将虚拟场景与车辆信息传输到车载端，采集仿真场景数据，并将虚拟传感器转换成物理传感器的数据格式输出至车载计算系统。

S8、信息融合决策：将传感器信息以及车辆定位信息传递至自动驾驶算法中，算法进行信息融合、决策，再通过控制算法解算出车辆的控制命令,输出至车辆系统中的车辆控制单元。

S9、控制车辆运动：车辆控制单元将控制命令传递至车辆控制机构，完成车辆的方向、速度以及其他控制。

S10、更新仿真平台与同步显示：通过虚拟场景模块进行数据处理，实时对虚拟场景和虚拟车辆的相对位姿分析，再通过追踪MR头显的运动，使虚拟场景和虚拟车辆分别相对测试场地和测试车辆保持固定，更新MR头显和实时机中虚拟物体的位置信息。

2.基于车载内外混合现实的自动驾驶仿真系统，其特征：包括MR头显，车载端，以及通讯模块组成，MR头显和车载端通过通讯模块无线传输信息。

所述通讯模块引入高实时性5G网络数据传输技术，实现在自动驾驶仿真中低延迟接收到MR头显等设备的数据信息，同时反馈车辆位姿信息。

3.如权利要求2所述的系统，其特征是：所述MR头显包括传感器流模块，空间定位模块，虚拟场景模块，显示模块。

所述传感器流模块利用包括视频流，深度流，IMU信息流，通过多种传感器融合的方式，使用SLAM(同步定位与地图构建)技术，实时获取真实车辆内部的空间信息以及追踪头戴式混合显示设备获取运动信息，空间信息传输至空间定位模块进行处理。运动信息传输至显示模块。

所述空间定位模块接收传感器流模块中的车辆内部空间信息，通过空间特征点匹配的方式，实时定位真实车辆，获取真实车辆在混合显示设备虚拟空间的坐标，并将坐标信息传输至虚拟场景模块。

所述虚拟场景模块包含了生成单元以及位姿控制单元。

所述生成单元，可以通过导入建模模型，生成、编辑、保存与现实1:1等比的虚拟场景与虚拟车辆，根据测试场景要素的属性，归纳分类为静态环境要素、动态环境要素、气象状况、测试车辆四类，静态环境要素包括相对测试场景静止的道路，交通设施，路障等，动态环境要素包括了车辆实际路况中相对测试场景运动的人流，车流等，气象状况则包括了雨，雪，沙尘暴的常见的恶劣天气，测试车辆，则是根据则是匹配真实车辆的数字孪生虚拟车辆。

所述位姿控制单元根据空间定位模块中接收到的真实车辆在虚拟空间的坐标，控制虚拟车辆的位姿，再根据真实车辆相对真实场景的定位，可以高帧率的在每一帧控制虚拟车辆和虚拟场景的相对位姿与真实车辆与真实场景的相对位姿保持一致，实现在世界坐标系下，虚拟车辆和虚拟场景分别准确叠加至真实车辆和真实场景。

所述显示模块则需要根据混合现实设备的运动，以虚拟物体在虚拟空间的位姿，准确实时显示虚拟物体。

4.如权利要求2所述的系统，其特征是：所述车载端包括场景处理模块，车辆模块，车载计算模块。所述场景处理模块包括数据仿真单元和实时机。所述车辆模块包括车辆控制单元和车辆定位单元。所述车载计算模块包括车载计算单元和自动驾驶算法。

所述实时机将根据虚拟场景信息，采集虚拟传感器数据，并将虚拟传感器数据传送至数据仿真单元。

所述数据仿真单元将虚拟传感器的数据转换成物理传感器的数据格式，形成与物理传感器一致的数据格式和通信方式，并通过IO口输出至车载计算模块。

所述车辆定位单元主要包括差分GPS、IMU(惯性导航单元)、激光雷达、毫米波雷达和摄像头，获取测试车辆在测试场景中的定位信息，并发送定位信息和底盘状态信息至车载计算模块。

所述车载计算模块接收数据仿真单元的IO口输出的感知传感器信号，同时接收车辆模块车载定位单元反馈的定位信息和底盘状态信息。车载计算模块将以上信息传递至自动驾驶算法中，

所述自动驾驶算法进行信息融合、决策，解算出车辆的控制命令，车辆控制命令经车载计算模块的控制信息输出接口输出至车辆模块中的车载控制单元中。

所述车载控制单元接收车载计算模块发出的控制命令，被测车辆将控制命令传递至车辆底盘执行器控制机构，从而完成车辆的横纵向以及其他控制。