CN112924185A - 一种基于数字孪生虚实交互技术的人机共驾测试方法 - Google Patents

Abstract

本发明公开了一种基于数字孪生虚实交互技术的人机共驾测试方法，利用虚拟仿真场景和虚拟传感器(雷达、相机等)，将虚拟传感器探测到的虚拟仿真场景信息通过5G通信基站传递给现实车辆中的自动驾驶控制器，由实车的自动驾驶控制器来判断在当前场景下，车辆需要执行的驾驶操作并产生和驾驶员之间的交互和接管信息或预警信息。同时，实车的自动驾驶控制器接收来自驾驶模拟舱驾驶员的控制指令以及驾驶员行为监测模块传来的驾驶员行为信息，来判断驾驶员的驾驶状态并决定人‑车共驾权重因子，与此同时，收集驾驶员对车辆的操作和交互信息，以便后续充分测试和优化车辆的人机交互及共驾性能和乘员舒适性。

Description

一种基于数字孪生虚实交互技术的人机共驾测试方法

技术领域

本发明涉及人机共驾测试领域，特别是一种基于数字孪生虚实交互技术的人机共驾测试方法。

背景技术

根据美国汽车工程师协会按照智能汽车自动化程度的不同，将智能汽车分为手动驾驶、驾驶辅助、部分自动化、有条件自动化、高度自动化和完全自动化，分别对应L₀-L₅这六个自动驾驶级别。根据对每个级别的定义，L₀-L₂这三个自动驾驶级别的车辆在行车过程中，驾驶员仍在车辆操控方面占据主导地位，车辆只起到辅助驾驶员操作的功能。L₃级别的智能汽车已经初步具有了独自判断和决策的能力，车辆在具备一定条件时，可以执行自动驾驶，但要求驾驶者要时刻关注行车情况，在必要时，要能随时接管车辆，完成驾驶任务。而L₄和L₅两个级别的智能车辆将会控制驾驶体验的所有方面，并不期望驾驶员在正常驾驶任务中介入驾驶。

根据上述的自动驾驶分级中，前四个级别的智能驾驶车辆在行车过程中，驾驶员仍占据着主导地位。而在后两个自动驾驶级别中，虽然不期望驾驶员干预驾驶任务，但也并非完全忽略驾驶员的存在。根据目前自动驾驶车辆普及的速率，我国将在未来较长的一段时期内都处于各级别自动驾驶车辆共同驾驶的混合交通行车模式，行车环境较为复杂。因此，综合考虑智能汽车自动驾驶性能和人机交互及共驾的综合性汽车驾驶问题已成为当下自动驾驶车辆的研究热点。

虽然自动驾驶车辆的人机交互及共驾性能尤为重要，但是目前多采用软件在环或部分硬件在环的方式来测试自动驾驶车辆的人机交互及共驾性能。这种测试方式虽然极大的节约了时间和经济成本，也规避了驾驶员实车试验在试验失败时所造成的风险，但由于整个试验均采用虚拟模拟或部分模块采用硬件代替的方式，因此其测试工况、测试场景、人机交互及驾驶体验方面均和真实的车辆以及交通场景有较大差别。且人机控制切换多发生在较为紧急、车辆无法处理当前行车场景的情况下，因此，若直接采用驾驶员实车测试，势必会带来较大的测试风险。

发明内容

为解决现有技术存在的上述问题，本发明要提出一种基于数字孪生虚实交互技术的人机共驾测试方法，在相对安全的情况下，利用虚拟仿真场景可随机无限生成的优势，在虚拟仿真场景中测试各种人机交互和共驾方面可能出现工况，且可以重复性的再现一些极限工况。同时，将驾驶模拟、虚拟仿真测试场景以及实际测试场地中的实际自动驾驶测试车辆相结合，较为真实的模拟现实中的交通场景，并提供更真实的驾驶和交互体感，以充分测试自动驾驶车辆的人机交互及共驾性能。

本发明的基本思路是：利用虚拟仿真场景和虚拟传感器(雷达、相机等)，将虚拟传感器探测到的虚拟仿真场景信息通过5G通信基站传递给现实车辆中的自动驾驶控制器，由实车的自动驾驶控制器来判断在当前场景下，车辆需要执行的驾驶操作并产生和驾驶员之间的交互和接管信息或预警信息。同时，实车的自动驾驶控制器接收来自驾驶模拟舱驾驶员的控制指令以及驾驶员行为监测模块传来的驾驶员行为信息，来判断驾驶员的驾驶状态并决定人-车共驾权重因子，与此同时，收集驾驶员对车辆的操作和交互信息，以便后续充分测试和优化车辆的人机交互及共驾性能和乘员舒适性。

为了实现上述目的，本发明技术方案如下：

一种基于数字孪生虚实交互技术的人机共驾测试方法，利用基于数字孪生虚实交互技术的人机共驾测试系统进行测试，所述的基于数字孪生虚实交互技术的人机共驾测试系统包括自动驾驶控制器、驾驶模拟舱和工作站，所述的工作站中安装虚拟仿真模块，所述的驾驶模拟舱中安装驾驶员行为检测模块。

所述的驾驶员行为检测模块与工作站双向连接，通过工作站与5G通讯基站进行数据传输；所述的虚拟仿真模块与5G通讯基站双向连接；所述的自动驾驶控制器与5G通讯基站双向连接；所述的自动驾驶控制器向实际测试场地中的实际自动驾驶测试车辆输出信号，并与5G通讯基站进行数据传输；所述的实际自动驾驶测试车辆向5G通讯基站输出信号；

所述的驾驶模拟舱包括用于显示驾驶环境的操驾显示屏、仪表盘、中控台、中控屏、座椅、方向盘、离合踏板、刹车踏板、油门踏板、挡位控制器以及操驾体感模拟器；操驾显示屏与工作站连接，实时显示仿真视频，给驾驶员提供驾驶场景信息；驾驶员操纵方向盘、离合踏板、刹车踏板、油门踏板和挡位控制器产生驾驶信息，并通过工作站和5G通讯基站传递给自动驾驶控制器；中控屏用于显示车辆传递给驾驶员的交互信息，所述的交互信息包括车辆行驶环境信息、请求驾驶员接管车辆信息以及预警信息；操驾体感模拟器安装于驾驶模拟舱的底部，用于模拟实际自动驾驶车辆的运动，产生实车驾驶体感，以获得驾驶员最真实的驾乘反应。

所述的驾驶员行为监测模块包括摄像头、非接触式眼动仪和力反馈传感装置；所述的摄像头安装在驾驶模拟舱的仪表盘附近，收集并自动分析驾驶员的面部表情和头部动作；所述的非接触式眼动仪同样安装在驾驶模拟舱的仪表盘附近，以采集驾驶员的瞳孔大小、眼睛开合度、眨眼率和注视点；所述的力反馈传感装置有多个，分别安装于方向盘、刹车踏板和油门踏板处，用于采集驾驶员在驾驶过程中方向盘的扭矩、角度、角加速度以及踏板的踏板力、踏板行程和驾驶员握持/松开方向盘的次数、时刻以及持续时间；

所述的工作站接收来自驾驶员对驾驶模拟舱的控制指令，通过5G通讯基站将控制指令传递给自动驾驶控制器；实际自动驾驶测试车辆将其位置和姿态信息通过5G通讯基站和工作站分别传递给虚拟仿真模块中的虚拟自动驾驶车辆和驾驶模拟舱；

所述的虚拟仿真模块包括静态场景、动态场景、虚拟传感器、和实车相同型号的虚拟自动驾驶车辆；所述的静态场景包括道路、交通标志、路灯、车站、隧道以及周围建筑；所述的动态场景包括交通参与者、动态指示设施、气象变化以及时间变化；所述的虚拟传感器包括激光雷达、毫米波雷达以及相机；

所述的自动驾驶控制器用于存储待测的自动驾驶控制算法以及人机交互和共驾策略；自动驾驶控制器从5G通讯基站获取虚拟仿真环境信息以及驾驶员状态、行为以及控制指令，从而判断实际自动驾驶测试车辆需要执行的驾驶操作并产生和驾驶员之间的交互和接管信息或预警信息，并在无接管请求时根据共驾策略以及驾驶员状态决定人-车共驾权重因子；

所述的实际自动驾驶测试车辆包括GPS高精度定位系统、IMU惯导设备以及5G无线通讯子模块，用于采集实际自动驾驶测试车辆的位置信息以及姿态信息，并通过5G通讯基站将其传递到虚拟仿真模块中的虚拟自动驾驶车辆中；

所述的5G通讯基站，通过工作站完成实际自动驾驶测试车辆、驾驶模拟舱、驾驶员行为监测模块以及虚拟仿真模块中的虚拟传感器、虚拟自动驾驶车辆之间的实时数据交互。

所述的基于数字孪生虚实交互技术的人机共驾测试方法，包括以下步骤：

A、利用高精度地图以及三维重建技术、根据实际测试场地1:1搭建虚拟仿真场景，具体包括静态场景以及动态场景的搭建；根据实际自动驾驶测试车辆，建立与实际自动驾驶测试车辆型号、规格以及尺寸相同的虚拟自动驾驶车辆。

B、将待测的自动驾驶控制算法和人机交互及共驾策略集成到自动驾驶控制器中，自动驾驶控制器根据当前虚拟自动驾驶车辆所处的交通环境以及集成的自动驾驶控制算法和人机交互及共驾策略，控制实际测试场地中的实际自动驾驶测试车辆。

C、在虚拟仿真模块中，根据特定的测试需求，生成特定的交通参与者及其与虚拟自动驾驶车辆之间的交互行为，以完成特定测试工况的搭建；同时，利用虚拟仿真场景随机性和无限性的优势，自动随机生成不同的交通参与者及其与虚拟自动驾驶车辆之间的交互行为，以检测自动驾驶控制器的鲁棒性。

D、将驾驶员行为监测模块中的摄像头、非接触式眼动仪以及力反馈传感装置分别安装在模拟驾驶舱的指定位置，确保摄像头、非接触式眼动仪无遮挡的检测到驾驶员脸部和眼部部位。

E、将驾驶模拟舱和工作站相连接，驾驶模拟舱内的操驾显示屏实时显示虚拟仿真模块中的仿真场景，以供驾驶员获取驾驶场景信息；中控屏用于显示自动驾驶控制器通过5G通讯基站传递来的交互信息，所述的交互信息包括虚拟自动驾驶车辆的行驶环境信息、请求驾驶员接管车辆信息以及预警信息；驾驶模拟舱接收来自实际自动驾驶测试车辆通过5G通讯基站发来的车辆位置和姿态信息，通过操驾体感模拟器模拟实际自动驾驶车辆的运动，产生实车驾驶体感，以获得驾驶员最真实的驾乘反应。

F、工作站中的虚拟仿真模块首先通过5G通讯基站实时接收来自实际测试场地的实际自动驾驶测试车辆的位置以及姿态信息，并将其传递给虚拟仿真模块中的虚拟自动驾驶车辆，虚拟自动驾驶车辆根据5G通讯基站传来的实际自动驾驶测试车辆的位置和姿态信息，实时更新虚拟自动驾驶车辆在虚拟仿真场景中的位置信息及其运动状态，与实际自动驾驶测试车辆在实际测试场地中的位置和运动姿态保持一致。

G、虚拟仿真模块中的虚拟传感器将感知到的虚拟仿真模块中的场景信息通过5G通讯基站传递给自动驾驶控制器，自动驾驶控制器根据当前虚拟仿真环境判断在当前场景下，实际自动驾驶测试车辆需要执行的操作并将操作命令传递给实际自动驾驶测试车辆；实际自动驾驶测试车辆接收自动驾驶控制器传来的操作命令并执行；当自动驾驶控制器遇到较为复杂的交通场景或无法处理的场景时，产生和驾驶员之间的交互或接管信息，并通过5G通讯基站传递给驾驶模拟舱的中控屏；

H、驾驶员行为监测模块中的摄像头收集并自动分析驾驶员的面部表情和头部动作，检测驾驶员的表情和心理状态；非接触式眼动仪采集驾驶员的瞳孔大小、眼睛开合度、眨眼率和注视点的数据信息；力反馈传感装置采集驾驶员在驾驶过程中方向盘的扭矩、角速度、角加速度，以及踏板的踏板力、踏板行程和驾驶员握持/松开方向盘的次数、时刻以及持续时间；驾驶员行为监测模块接收摄像头、非接触式眼动仪和力反馈传感装置传来的驾驶员行为信息，并判断当前情况下驾驶员的分心程度、疲劳程度以及驾驶员的接管能力，并将信息通过5G通讯基站传递给自动驾驶控制器，以产生不同的交互和接管信息。同时，在驾驶员主动操纵车辆且自动驾驶控制器无接管请求时，根据驾驶员当前的行为信息决定人-车共驾权重因子；最后，驾驶员行为监测模块将收集到驾驶员行为信息传递到工作站进行储存，以供后期优化和改进人机交互及共驾策略时提供数据参考。

与现有技术相比，本发明具有以下有益效果：

1、本发明利用虚拟仿真场景具有特定性、随机性以及无限性的优势，可以在虚拟仿真场景中测试各种人机交互和共驾方面可能出现工况，弥补了封闭场地道路测试存在的测试场景少，成本高昂以及风险系数高等问题；

2、本发明将虚拟场景、驾驶模拟舱和实际自动驾驶测试车辆通过5G通讯基站进行实时数据交互，将虚拟仿真测试和实车测试的优势相结合，使驾驶员在驾驶模拟舱中即可获取较为真实的驾驶体感，并在相对安全的情况下完成和实车之间的信息交互以及驾驶控制，以快速完成各种工况的测试；

3、本发明加入了驾驶员行为监测模块，根据检测到的驾驶员当前行为信息来判断当前情况下驾驶员的分心程度、疲劳程度以及驾驶员的接管能力，并将驾驶员行为信息通过5G通讯基站传递给自动驾驶控制器，以产生不同的交互和接管信息并决定人-车共驾权重因子。同时，驾驶员行为监测模块将收集到驾驶员行为信息传递到工作站进行储存，以供后期优化和改进人机交互及共驾策略时提供数据参考。

附图说明

图1为本发明的结构示意图；

图2为本发明的流程示意图。

具体实施方式

下面结合附图对本发明进行进一步地描述。基于数字孪生虚实交互技术的人机共驾测试系统的具体组成模块如图1所示；基于数字孪生虚实交互技术的人机共驾测试方法的流程如图2所示，详细内容与发明内容中的描述相同。

本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。

Claims (1)

1.一种基于数字孪生虚实交互技术的人机共驾测试方法，利用基于数字孪生虚实交互技术的人机共驾测试系统进行测试，其特征在于：所述的基于数字孪生虚实交互技术的人机共驾测试系统包括自动驾驶控制器、驾驶模拟舱和工作站，所述的工作站中安装虚拟仿真模块，所述的驾驶模拟舱中安装驾驶员行为检测模块；

所述的驾驶员行为检测模块与工作站双向连接，通过工作站与5G通讯基站进行数据传输；所述的虚拟仿真模块与5G通讯基站双向连接；所述的自动驾驶控制器与5G通讯基站双向连接；所述的自动驾驶控制器向实际测试场地中的实际自动驾驶测试车辆输出信号，并与5G通讯基站进行数据传输；所述的实际自动驾驶测试车辆向5G通讯基站输出信号；

所述的驾驶模拟舱包括用于显示驾驶环境的操驾显示屏、仪表盘、中控台、中控屏、座椅、方向盘、离合踏板、刹车踏板、油门踏板、挡位控制器以及操驾体感模拟器；操驾显示屏与工作站连接，实时显示仿真视频，给驾驶员提供驾驶场景信息；驾驶员操纵方向盘、离合踏板、刹车踏板、油门踏板和挡位控制器产生驾驶信息，并通过工作站和5G通讯基站传递给自动驾驶控制器；中控屏用于显示车辆传递给驾驶员的交互信息，所述的交互信息包括车辆行驶环境信息、请求驾驶员接管车辆信息以及预警信息；操驾体感模拟器安装于驾驶模拟舱的底部，用于模拟实际自动驾驶车辆的运动，产生实车驾驶体感，以获得驾驶员最真实的驾乘反应；

所述的驾驶员行为监测模块包括摄像头、非接触式眼动仪和力反馈传感装置；所述的摄像头安装在驾驶模拟舱的仪表盘附近，收集并自动分析驾驶员的面部表情和头部动作；所述的非接触式眼动仪同样安装在驾驶模拟舱的仪表盘附近，以采集驾驶员的瞳孔大小、眼睛开合度、眨眼率和注视点；所述的力反馈传感装置有多个，分别安装于方向盘、刹车踏板和油门踏板处，用于采集驾驶员在驾驶过程中方向盘的扭矩、角度、角加速度以及踏板的踏板力、踏板行程和驾驶员握持/松开方向盘的次数、时刻以及持续时间；

所述的工作站接收来自驾驶员对驾驶模拟舱的控制指令，通过5G通讯基站将控制指令传递给自动驾驶控制器；实际自动驾驶测试车辆将其位置和姿态信息通过5G通讯基站和工作站分别传递给虚拟仿真模块中的虚拟自动驾驶车辆和驾驶模拟舱；

所述的虚拟仿真模块包括静态场景、动态场景、虚拟传感器、和实车相同型号的虚拟自动驾驶车辆；所述的静态场景包括道路、交通标志、路灯、车站、隧道以及周围建筑；所述的动态场景包括交通参与者、动态指示设施、气象变化以及时间变化；所述的虚拟传感器包括激光雷达、毫米波雷达以及相机；

所述的自动驾驶控制器用于存储待测的自动驾驶控制算法以及人机交互和共驾策略；自动驾驶控制器从5G通讯基站获取虚拟仿真环境信息以及驾驶员状态、行为以及控制指令，从而判断实际自动驾驶测试车辆需要执行的驾驶操作并产生和驾驶员之间的交互和接管信息或预警信息，并在无接管请求时根据共驾策略以及驾驶员状态决定人-车共驾权重因子；

所述的实际自动驾驶测试车辆包括GPS高精度定位系统、IMU惯导设备以及5G无线通讯子模块，用于采集实际自动驾驶测试车辆的位置信息以及姿态信息，并通过5G通讯基站将其传递到虚拟仿真模块中的虚拟自动驾驶车辆中；

所述的5G通讯基站，通过工作站完成实际自动驾驶测试车辆、驾驶模拟舱、驾驶员行为监测模块以及虚拟仿真模块中的虚拟传感器、虚拟自动驾驶车辆之间的实时数据交互；

所述的基于数字孪生虚实交互技术的人机共驾测试方法，包括以下步骤：

A、利用高精度地图以及三维重建技术、根据实际测试场地1:1搭建虚拟仿真场景，具体包括静态场景以及动态场景的搭建；根据实际自动驾驶测试车辆，建立与实际自动驾驶测试车辆型号、规格以及尺寸相同的虚拟自动驾驶车辆；

B、将待测的自动驾驶控制算法和人机交互及共驾策略集成到自动驾驶控制器中，自动驾驶控制器根据当前虚拟自动驾驶车辆所处的交通环境以及集成的自动驾驶控制算法和人机交互及共驾策略，控制实际测试场地中的实际自动驾驶测试车辆；

C、在虚拟仿真模块中，根据特定的测试需求，生成特定的交通参与者及其与虚拟自动驾驶车辆之间的交互行为，以完成特定测试工况的搭建；同时，利用虚拟仿真场景随机性和无限性的优势，自动随机生成不同的交通参与者及其与虚拟自动驾驶车辆之间的交互行为，以检测自动驾驶控制器的鲁棒性；

D、将驾驶员行为监测模块中的摄像头、非接触式眼动仪以及力反馈传感装置分别安装在模拟驾驶舱的指定位置，确保摄像头、非接触式眼动仪无遮挡的检测到驾驶员脸部和眼部部位；

E、将驾驶模拟舱和工作站相连接，驾驶模拟舱内的操驾显示屏实时显示虚拟仿真模块中的仿真场景，以供驾驶员获取驾驶场景信息；中控屏用于显示自动驾驶控制器通过5G通讯基站传递来的交互信息，所述的交互信息包括虚拟自动驾驶车辆的行驶环境信息、请求驾驶员接管车辆信息以及预警信息；驾驶模拟舱接收来自实际自动驾驶测试车辆通过5G通讯基站发来的车辆位置和姿态信息，通过操驾体感模拟器模拟实际自动驾驶车辆的运动，产生实车驾驶体感，以获得驾驶员最真实的驾乘反应；

F、工作站中的虚拟仿真模块首先通过5G通讯基站实时接收来自实际测试场地的实际自动驾驶测试车辆的位置以及姿态信息，并将其传递给虚拟仿真模块中的虚拟自动驾驶车辆，虚拟自动驾驶车辆根据5G通讯基站传来的实际自动驾驶测试车辆的位置和姿态信息，实时更新虚拟自动驾驶车辆在虚拟仿真场景中的位置信息及其运动状态，与实际自动驾驶测试车辆在实际测试场地中的位置和运动姿态保持一致；

G、虚拟仿真模块中的虚拟传感器将感知到的虚拟仿真模块中的场景信息通过5G通讯基站传递给自动驾驶控制器，自动驾驶控制器根据当前虚拟仿真环境判断在当前场景下，实际自动驾驶测试车辆需要执行的操作并将操作命令传递给实际自动驾驶测试车辆；实际自动驾驶测试车辆接收自动驾驶控制器传来的操作命令并执行；当自动驾驶控制器遇到较为复杂的交通场景或无法处理的场景时，产生和驾驶员之间的交互或接管信息，并通过5G通讯基站传递给驾驶模拟舱的中控屏；

H、驾驶员行为监测模块中的摄像头收集并自动分析驾驶员的面部表情和头部动作，检测驾驶员的表情和心理状态；非接触式眼动仪采集驾驶员的瞳孔大小、眼睛开合度、眨眼率和注视点的数据信息；力反馈传感装置采集驾驶员在驾驶过程中方向盘的扭矩、角速度、角加速度，以及踏板的踏板力、踏板行程和驾驶员握持/松开方向盘的次数、时刻以及持续时间；驾驶员行为监测模块接收摄像头、非接触式眼动仪和力反馈传感装置传来的驾驶员行为信息，并判断当前情况下驾驶员的分心程度、疲劳程度以及驾驶员的接管能力，并将信息通过5G通讯基站传递给自动驾驶控制器，以产生不同的交互和接管信息；同时，在驾驶员主动操纵车辆且自动驾驶控制器无接管请求时，根据驾驶员当前的行为信息决定人-车共驾权重因子；最后，驾驶员行为监测模块将收集到驾驶员行为信息传递到工作站进行储存，以供后期优化和改进人机交互及共驾策略时提供数据参考。

Images