CN113570937B - 基于增强现实ar的便携式道路交通车辆驾驶模拟系统 - Google Patents

Abstract

本发明公开了一种基于增强现实AR的便携式道路交通车辆驾驶模拟系统，包括：可穿戴AR眼镜智能终端、折叠式驾驶控制台和后台分析系统；可穿戴AR眼镜智能终端，用于为系统提供驾驶模拟支持，生成驾驶模拟数据；折叠式驾驶控制台，与可穿戴AR眼镜智能终端连接，用于向后台分析系统、可穿戴AR眼镜智能终端发送操作指令；后台分析系统，分别与可穿戴AR眼镜智能终端、折叠式驾驶控制台连接，用于接收并分析驾驶模拟数据，并将分析结果发送给可穿戴AR眼镜智能终端和折叠式驾驶控制台。本发明将AR技术应用到道路交通车辆驾驶培训中，提供紧凑型、便携式的驾驶模拟系统辅助驾驶培训，大大提高了培训效率、培训质量和安全性。

Description

基于增强现实AR的便携式道路交通车辆驾驶模拟系统

技术领域

本发明属于道路交通运营领域，特别是涉及一种基于增强现实AR的便携式道路交通车辆驾驶模拟系统。

背景技术

目前，我国道路交通里程和车辆保有量持续增长。车辆驾驶员培训和考核任务繁重，专业且高效的驾驶培训才能培训出合格的驾驶员(司机)，同时也是保证道路交通安全的基石。

在司机驾驶实车前，都需要经过在驾驶模拟器上的实训。常规的道路交通车辆驾驶模拟器仿照实车的驾驶舱制作，包括方向盘、油门、刹车、变速箱、司机座椅和前方的显示器等，当模拟器启动运行后，显示器上显示车辆行驶的道路和周围景观，当学员操作方向盘、油门、刹车、变速箱实现对行驶中车辆加速、减速、转弯、换挡、倒车等控制。

但常规的驾驶模拟器需要固定安装，占用场地面积大，价格昂贵。当前驾驶模拟培训面临设备台套数少无法满足大量培训需求、培训任务繁重、培训任务多样化、经验丰富的培训师资短缺等挑战。

并且，随着路况复杂度的不断提升，对驾驶员的专业要求不断提升，不但要求司机具备正常驾驶车辆的技能，而且要求司机具备处理各种车辆突发状况的能力，而这些能力的培养很大程度上有赖于驾驶模拟器上的实训效果。进一步，随着道路交通系统智能化程度的不断提升，提升培训的效果和效率也越来越受到关注，加强培训流程标准化、规范化、可视化、无纸化是提高培训管理水平、提升培训效率、保证未来车辆安全驾驶的重要措施。

发明内容

为实现上述目的，本发明提供了如下方案：一种基于增强现实AR的便携式道路交通车辆驾驶模拟系统，包括：

可穿戴AR眼镜智能终端、折叠式驾驶控制台和后台分析系统；

所述可穿戴AR眼镜智能终端，用于为系统提供驾驶模拟支持，生成驾驶模拟数据；

所述折叠式驾驶控制台，与所述可穿戴AR眼镜智能终端连接，用于向所述后台分析系统、所述可穿戴AR眼镜智能终端发送操作指令；

所述后台分析系统，分别与所述可穿戴AR眼镜智能终端、所述折叠式驾驶控制台连接，用于接收并分析所述驾驶模拟数据，并将分析结果发送给所述可穿戴AR眼镜智能终端和所述折叠式驾驶控制台。

优选地，所述驾驶模拟数据包括车辆状态数据、路况数据、环境数据、音视频数据。

优选地，所述可穿戴AR眼镜智能终端包括驾驶模拟应用程序、传感器，语音通话装置、智能调节镜片、智能控制装置、双向通讯装置和移动电源；

所述驾驶模拟应用程序用于模拟真实驾驶场景，构建沉浸式虚拟驾驶空间；

所述传感器用于探测所述可穿戴AR眼镜智能终端的当前位置，并为所述驾驶模拟应用程序提供数据输入；

所述语音通话装置用于播放人机交互语音、人人交互语音、所述驾驶模拟应用程序产生的音频语音；

所述智能调节镜片用于呈现所述驾驶模拟应用程序生成的动态视频和驾驶舱空间，显示驾驶培训或考核的统计分析结果；

所述智能控制装置用于对所述传感器、所述语音通话装置、所述智能调节镜片进行控制和运算；

所述双向通讯装置用于为所述可穿戴AR眼镜智能终端与音频和视频流提供无线传输；

所述移动电源用于向可穿戴AR眼镜智能终端提供电能，并支持换电操作。

优选地，所述真实驾驶场景为驾驶舱外的三维动态立体彩色空间；

所述三维动态立体彩色空间包括驾驶舱外的环境和气象条件；

所述环境和气象条件至少包括城市或城市间道路景观、雨雾天、雪天、沙尘天和夜间。

优选地，所述沉浸式虚拟驾驶空间包括车辆驾驶效果的动态视频、车辆操控响应、车辆运行声音；

所述车辆运行声音至少包括发动机运行声、刹车声、胎噪声、风噪声、雨雪噪声。

优选地，所述语音通话装置至少包括麦克风、耳机和外放扬声器；

所述人机交互语音为与后台计算机的交互语音；

所述人人交互语音为学员与教师或后台管理者的交互语音。

优选地，所述智能控制装置分别与所述传感器、所述语音通话装置、所述智能调节镜片连接，还用于为所述传感器、所述语音通话装置、所述智能调节镜片提供电源控制。

优选地，所述无线传输包括蜂窝无线通讯、WiFi。

优选地，所述折叠式驾驶控制台包括方向盘、油门、刹车、变速箱、显示装置、移动电源；

所述折叠式驾驶控制台由所述移动电源供电，并与所述可穿戴AR眼镜智能终端连接。

优选地，所述后台分析系统包括云服务器数据库、驾驶培训统计分析模块和多人协作培训模块；

所述云服务器数据库用于存储培训中的视频图像数据、音频数据和操作记录；

所述驾驶培训统计分析模块用于对驾驶培训进行分析总结，并根据驾驶培训统计分析算法生成培训总结图表，基于所述培训总结图表进行驾驶培训改进；

所述多人协作培训模块用于多辆车协同驾驶培训，生成多人培训的车辆行驶场景。

与现有技术相比，本发明公开了以下技术效果：

(1)本发明提供的基于增强现实AR的便携式道路交通车辆驾驶模拟系统能够实现突破常规车辆驾驶模拟培训受时间和场地限制，常规驾驶模拟必须在特定培训场地来进行，同时每次操作只能容纳有限人数来进行，培训效率较低。利用AR眼镜培训，不受场地和时间限制，可随时随地多人同时进行培训，反复练习。

(2)本发明提供的基于增强现实AR的便携式道路交通车辆驾驶模拟系统能够大幅降低驾驶模拟器的购置和运营成本，实体驾驶模拟舱硬件购置成本高，占用场地面积大，大型屏幕的安装、调试难度大，维护升级成本高，基于AR的驾驶模拟大大减低了购置与运营成本，设备和数字内容成本投入相对较低。

(3)本发明通过佩戴AR眼镜不仅产生了逼真的沉浸式体验感，而且学员可以透过镜片看到驾驶控制台和外界环境，克服了VR设备带来的眩晕感和幽闭感。

(4)本发明支持学员与教师或后台管理人员的音视频互动，或者学员之间多人协同培训，通过前端AR眼镜和后台控制分析系统，支持多辆车协同驾驶培训，提升培训人员的协作性和互动性，激发学习积极性，克服目前驾驶模拟难以支持多人同时进行协同培训的限制。

(5)本发明降低了场景制作成本，有利于内容的快速迭代；模拟不但涉及到正常行驶场景，而且包括车辆发生故障和突发事故的场景，克服了以往加入新的场景操作成本投入高、时间周期长的问题。而利用AR技术更多是在数字内容更迭，投入的成本和时间都将大大降低。

(6)本发明通过语音和图像实时交互，能实现多人远程协同培训，教师远程即可对复杂、专业性强的驾驶操控做出指导，系统对出错操作进行报警提示，有效提高了培训效率和效果。

(7)当次培训完成可向学员提供当次培训小结，按不同的统计口径(指定时间、指定驾驶作业、指定培训人员、指定班级等)，向后台管理人员提供驾驶培训统计分析报告。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提出了一种基于增强现实AR的便携式道路交通车辆驾驶模拟系统，该系统主要包括可穿戴AR眼镜智能终端、折叠式驾驶控制台和后台分析系统。

所述可穿戴AR眼镜智能终端为系统提供驾驶模拟支持；所述折叠式驾驶控制台向后台分析系统和可穿戴AR眼镜智能终端发送操作指令；所述后台分析系统接收由可穿戴AR眼镜智能终端传输传送来的车辆状态数据、路况数据、环境数据、音视频数据等各种数据，接收折叠式驾驶控制台传来的操作指令；将分析结果传输到可穿戴AR眼镜智能终端和折叠式驾驶控制台。

(1)可穿戴AR眼镜智能终端

所述可穿戴AR眼镜智能终端包括驾驶模拟应用程序、传感器，语音通话装置、智能调节镜片、智能控制装置、双向通讯装置和移动电源。

驾驶模拟应用程序用于产生虚拟驾驶舱的逼真三维动态立体彩色空间，也包括驾驶舱外的环境和气象条件，如城市或城市间道路景观、雨雾天、雪天、沙尘天和夜间等。该虚拟空间随佩戴者头部位置、体位和所处位置变化；另一方面，产生学员驾驶车辆效果的动态视频，并能对方向盘、变速箱、油门、刹车的操控动作进行响应。此外，模拟车辆运行时的声音，比如发动机运行声、刹车声、车轮与道路的摩擦音、风雨噪声等。

所述传感器用于探测可穿戴AR眼镜智能终端的当前位置，为应用程序形成学员感受到的沉浸式三维动态立体彩色空间提供输入。

所述语音通话装置包括麦克风、耳机和外放扬声器，用于车辆驾驶时实现学员与教师或后台管理者的实时语音交互，或与后台计算机的语音交互，或播放应用程序产生的音频。

智能调节镜片用于呈现所述驾驶模拟应用程序生成的动态视频和驾驶舱空间，并可以根据学员的头部位置、体位和所处位置变化。驾驶培训或考核的统计分析结果，也可经由后台分析系统，以图像等形式显示到可穿戴AR眼镜智能终端的镜片上；亦可当学员的遇到难题时提供远程指导，并在操作出错时给予报警提示。

所述智能控制装置用于提供传感器、语音通话装置、智能调节镜片的控制和运算，并对上述设备提供电源控制。

双向通讯装置提供可穿戴AR眼镜智能终端与后方的音频和视频流无线传输，可以是蜂窝无线通讯或WiFi。

移动电源用于向可穿戴AR眼镜智能终端提供电能，支持换电操作。

(2)折叠式驾驶控制台

折叠式驾驶控制台是一套仿照车辆驾驶舱控制台实物制作的折叠式实体装置，展开后简易安装即成，包括方向盘、油门、刹车、变速箱、显示装置和移动电源，折叠后可装入专用的设备箱中，方便运输和储存。

控制台中的方向盘、油门、刹车、变速箱和显示装置由便携式移动电源供电，与AR眼镜无线连接，当控制台部件被学员操作时，可穿戴AR眼镜智能终端的驾驶模拟应用程序对操作的类型进行响应，触发学员智能调节镜片上显示的视频、图像，语音通话装置播放声音。

(3)后台分析系统

所述后台分析系统主要包括云服务器数据库、驾驶培训统计分析模块和多人协作培训模块。培训中的视频图像数据、音频数据和操作记录，存储在云服务器数据库中，以便管理人员调取查阅。驾驶培训统计分析模块根据驾驶培训统计分析算法对驾驶进行小结，总结问题，提出改进措施，并为教师或管理人员提供培训总结的图表，便于后续针对性制定培训计划。多人协作培训模块支持多辆车协同驾驶培训，生成多人培训的车辆行驶场景。

进一步地，基于增强现实AR的便携式道路交通车辆驾驶模拟系统的具体实现步骤如下所示：

1)学员佩戴可穿戴AR眼镜智能终端，即可进入虚拟驾驶舱中，下方为车辆驾驶控制台，前方可看到道路和周围环境景观。

2)培训开始后，学员可以按照培训教程驾驶道路交通车辆，完成启动、停车、加速、减速、倒车等各种常规操作，系统可对操作流程进行记录和考核。

3)系统还可按照预先设定，生成特定的事故场景，学员进行模拟故障车辆或突发事故下的操作，系统可对操作流程进行记录和考核。

4)无论常规或突发事故场景下的培训，学员可与教师或后台管理人员进行实时交互，后台人员可以对学员进行远程协助；系统会比对学员操作与后台存储的标准驾驶操控流程的差异，及时提醒学员，帮助学员提升操作技能。

5)培训结束，系统对当次驾驶培训进行小结，对重大操作失误，则发出预警信息，预警信息会同步到AR眼镜智能终端上。

6)培训过程的视频、语音、操作决策会实时存储到后台，方便管理人员不定期查阅调取，后台可对其统计分析。

本发明基于增强现实AR的便携式道路交通车辆驾驶模拟系统，其作用有三点：第一，将AR技术应用到道路交通车辆驾驶培训中，提供紧凑型、便携式的驾驶模拟系统来辅助驾驶培训，实现便携式的运输和储存，无需固定安装，设备折叠后可以放入设备箱内，展开后即成为驾驶模拟器，提高培训效率、培训质量和安全性。第二，基于学员司机第一视角，实现学员与教师的音视频实时交互，教师可远程对学员进行驾驶培训和指导；第三，培训过程云端记录存储和操作过程留痕，以备培训过程的质量追溯。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (7)

1.基于增强现实AR的便携式道路交通车辆驾驶模拟系统,其特征在于，包括：

可穿戴AR眼镜智能终端、折叠式驾驶控制台和后台分析系统；

所述可穿戴AR眼镜智能终端，用于为系统提供驾驶模拟支持，生成驾驶模拟数据；

所述折叠式驾驶控制台，与所述可穿戴AR眼镜智能终端连接，用于向所述后台分析系统、所述可穿戴AR眼镜智能终端发送操作指令；

所述后台分析系统，分别与所述可穿戴AR眼镜智能终端、所述折叠式驾驶控制台连接，用于接收并分析所述驾驶模拟数据，并将分析结果发送给所述可穿戴AR眼镜智能终端和所述折叠式驾驶控制台；

所述驾驶模拟数据包括车辆状态数据、路况数据、环境数据、音视频数据；

所述可穿戴AR眼镜智能终端包括驾驶模拟应用程序、传感器，语音通话装置、智能调节镜片、智能控制装置、双向通讯装置和移动电源；

所述驾驶模拟应用程序用于模拟真实驾驶场景，构建沉浸式虚拟驾驶空间；

所述传感器用于探测所述可穿戴AR眼镜智能终端的当前位置，并为所述驾驶模拟应用程序提供数据输入；

所述语音通话装置用于播放人机交互语音、人人交互语音、所述驾驶模拟应用程序产生的音频语音；

所述智能调节镜片用于呈现所述驾驶模拟应用程序生成的动态视频和驾驶舱空间，显示驾驶培训或考核的统计分析结果；

所述智能控制装置用于对所述传感器、所述语音通话装置、所述智能调节镜片进行控制和运算；

所述双向通讯装置用于为所述可穿戴AR眼镜智能终端与音频和视频流提供无线传输；

所述移动电源用于向可穿戴AR眼镜智能终端提供电能，并支持换电操作；

所述后台分析系统包括云服务器数据库、驾驶培训统计分析模块和多人协作培训模块；

所述云服务器数据库用于存储培训中的视频图像数据、音频数据和操作记录；

所述驾驶培训统计分析模块用于对驾驶培训进行分析总结，并根据驾驶培训统计分析算法生成培训总结图表，基于所述培训总结图表进行驾驶培训改进；

所述多人协作培训模块用于多辆车协同驾驶培训，生成多人培训的车辆行驶场景。

2.根据权利要求1所述的基于增强现实AR的便携式道路交通车辆驾驶模拟系统，其特征在于，

所述真实驾驶场景为驾驶舱外的三维动态立体彩色空间；

所述三维动态立体彩色空间包括驾驶舱外的环境和气象条件；

所述环境和气象条件至少包括城市或城市间道路景观、雨雾天、雪天、沙尘天和夜间。

3.根据权利要求1所述的基于增强现实AR的便携式道路交通车辆驾驶模拟系统，其特征在于，

所述沉浸式虚拟驾驶空间包括车辆驾驶效果的动态视频、车辆操控响应、车辆运行声音；

所述车辆运行声音至少包括发动机运行声、刹车声、胎噪声、风噪声、雨雪噪声。

4.根据权利要求1所述的基于增强现实AR的便携式道路交通车辆驾驶模拟系统，其特征在于，

所述语音通话装置至少包括麦克风、耳机和外放扬声器；

所述人机交互语音为与后台计算机的交互语音；

所述人人交互语音为学员与教师或后台管理者的交互语音。

5.根据权利要求1所述的基于增强现实AR的便携式道路交通车辆驾驶模拟系统，其特征在于，

所述智能控制装置分别与所述传感器、所述语音通话装置、所述智能调节镜片连接，还用于为所述传感器、所述语音通话装置、所述智能调节镜片提供电源控制。

6.根据权利要求1所述的基于增强现实AR的便携式道路交通车辆驾驶模拟系统，其特征在于，所述无线传输包括蜂窝无线通讯、WiFi。

7.根据权利要求1所述的基于增强现实AR的便携式道路交通车辆驾驶模拟系统，其特征在于，

所述折叠式驾驶控制台包括方向盘、油门、刹车、变速箱、显示装置、移动电源；

所述折叠式驾驶控制台由所述移动电源供电，并与所述可穿戴AR眼镜智能终端连接。