CN112150885A - 基于混合现实的驾驶舱系统及场景构建方法 - Google Patents

Abstract

基于混合现实的驾驶舱系统及场景构建方法，获取实体场景，将实体场景转换为三维图形接口的纹理格式，将纹理作为材质贴图显示在摄像头画面幕布的三维模型表面上；显示实体交通工具的运行状态，通过虚拟驾驶舱物体显示实体交通工具的运行信息；通过双目场景摄影机提供用户双目界面和驾驶舱场景音频信息，通过三维图形接口对驾驶舱场景中的虚拟三维景物进行渲染，采用姿态传感器使双目场景摄像机的姿态与用户头部同步运动；获取用户对虚拟驾驶舱物体的控制指令，通过执行器根据控制指令控制实体交通工具的动作。既能在虚拟的驾驶舱里看到交通工具所处的外部真实环境，也能在真实环境的画面上叠加三维虚拟景物，还能跟三维的虚拟驾驶舱物体互动。

Description

基于混合现实的驾驶舱系统及场景构建方法

技术领域

本发明实施例涉及混合现实技术领域，具体涉及一种基于混合现实的驾驶舱系统及场景构建方法。

背景技术

当今社会，交通工具已经成为了人类不可或缺的伙伴。陆地、空中和水上交通工具的广泛使用极大地提高了全社会的人员和物资流通效率，同时也带来了各行各业对驾驶员的海量需求。

近年来，交通工具的运行正在从有人驾驶向无人驾驶过渡，技术的转变不可能一蹴而就，而是会有相当长的一段时间内采用部分路段由无人驾驶控制，某些复杂路段转交给人类驾驶员接管控制的形式。因此现有每一辆具有无人驾驶功能的交通工具都需要至少一名驾驶员乘坐在上面待命，与传统的有人驾驶交通工具相比并不能在节省人力资源方面产生明显的优势。

除了生产活动和出行需求以外，驾驶交通工具对许多人而言是充满趣味的活动，因此各类赛车、赛艇和飞行赛事广受欢迎，就算没有条件亲自参加比赛，大众也乐意通过电子游戏和遥控模型来体验驾驶的乐趣。

目前，为了缩短驾驶培训机构的培训时间，降低前期使用真实交通工具培训的成本，以及保证初学者的人身安全，现有技术提出了驾驶模拟器，使用软件模拟出交通工具的运动学、电气系统和所处环境的运作，并采用仿真的实物驾驶舱让用户操作，通过眼前的一个或多个显示屏显示出交通工具外部的虚拟场景画面。此类驾驶模拟器对物理和画面的软件模拟与现实均有不同程度的差距；仿真的实物驾驶舱存在成本高、制造时间长的缺点；使用显示屏显示画面也存在视野窄、容易受用户身边的使用环境影响、沉浸感差的不足。

现有技术中，在远程遥控的交通工具，如遥控车、遥控飞行器、遥控船上安装摄像头，用户通过屏幕或头戴式HUD显示器观看摄像头拍摄的画面，从而远程控制这些交通工具在自动驾驶无法胜任的复杂的环境下工作，或是用作娱乐用途。但仅仅做到把摄像头画面呈现给用户，并在上面叠加简单的二维文字信息或图案，未能模拟出三维的交通工具的驾驶舱环境，无法让用户体验到置身于交通工具之内进行操作的感受，也未能根据画面内容叠加所需的三维物体，如在场景中显示出虚拟的路障、路牌、旗帜等三维模型，或通过画面内容统计出驾驶的分数，因此用作培训用途效果欠佳，用作娱乐用途也缺乏趣味性。

发明内容

为此，本发明实施例提供一种基于混合现实的驾驶舱系统及场景构建方法，通过虚拟的三维驾驶舱控制现实中存在实体的交通工具，既能在虚拟的驾驶舱里看到交通工具所处的外部真实环境，也能在真实环境的画面上叠加三维虚拟景物，同时还能跟三维的虚拟驾驶舱物体互动。

为了实现上述目的，本发明实施例提供如下技术方案：基于混合现实的驾驶舱系统，包括场景获取单元、佩戴单元和三维场景单元；

所述场景获取单元包括实体交通工具，所述实体交通工具上连接有摄像组件、传感器组件和执行器，实体交通工具承载所述摄像组件进行实体场景获取，所述传感器组件用于获取所述实体交通工具的运行状态信息，所述执行器用于接收对实体交通工具的控制信号；

所述佩戴单元用于向用户传递所述三维场景单元的三维场景界面和音频信息，佩戴单元配置有显示屏、扬声器和姿态传感器，佩戴单元通过所述显示屏显示所述三维场景单元的三维场景界面，佩戴单元通过所述扬声器播放所述三维场景单元的音频信息；

所述三维场景单元包括虚拟驾驶舱物体、双目场景摄影机、摄像头画面幕布、HUD显示器和虚拟三维景物，所述虚拟驾驶舱物体用于通过虚拟物体呈现虚拟驾驶舱的内饰，所述双目场景摄影机根据用户的瞳距放置，双目场景摄影机向所述佩戴单元的显示屏提供用户双目界面，双目场景摄影机向所述佩戴单元的扬声器提供三维场景单元的音频信息，所述摄像头画面幕布用于显示所述实体交通工具上的摄像组件拍摄的实时画面，所述HUD显示器用于显示所述实体交通工具的运行状态、任务目标和图形信息，所述虚拟三维景物用于叠加所述摄像组件拍摄的实时画面。

基于混合现实的驾驶舱系统优选方案，所述摄像组件采用单一摄像头或多摄像头阵列，所述多摄像头阵列包括朝向所述实体交通工具周围方向的若干枚摄像头；所述摄像头画面幕布为半球、球面、平面、曲面或盒状。

基于混合现实的驾驶舱系统优选方案，所述传感器组件包括车速传感器、转速传感器、油量或电量传感器、加速度传感器、方向传感器和定位传感器，所述运行状态信息包括车速、转速、油量或电量、加速度、方向和地理位置信息，所述车速传感器用于获取所述实体交通工具的车速信息，所述转速传感器用于获取所述实体交通工具的转速信息，所述油量或电量传感器用于获取所述实体交通工具的油量或电量信息；所述加速度传感器用于获取所述实体交通工具的加速度信息，所述方向传感器用于获取所述实体交通工具的朝向信息，所述定位传感器用于获取所述实体交通工具的地理位置信息；

所述HUD显示器显示的所述实体交通工具的运行状态包括所述车速信息、转速信息、油量或电量信息、加速度信息、方向信息和地理位置信息。

基于混合现实的驾驶舱系统优选方案，所述姿态传感器采用加速度传感器、陀螺仪和激光定位设备，所述佩戴单元通过无线或有线方式连接有外部输入设备，所述外部输入设备包括控制手柄和方向盘。

基于混合现实的驾驶舱系统优选方案，所述虚拟驾驶舱物体包括虚拟驾驶舱壳体、虚拟座椅、虚拟方向盘和虚拟仪表台，虚拟驾驶舱物体配置有三维图形接口和三维游戏引擎，所述三维图形接口包括OpenGL、Metal、Vulkan、Direct3D；所述三维游戏引擎包括Unity和Unreal。

本发明实施例还提供一种基于混合现实的驾驶舱场景构建方法，包括以下步骤：

通过实体交通工具承载摄像组件进行实体场景获取，将所述实体场景转换为三维图形接口的纹理格式，将所述纹理作为材质贴图显示在摄像头画面幕布的三维模型表面上；

采用HUD显示器显示所述实体交通工具的运行状态信息，所述运行状态信息包括所述实体交通工具的车速、转速、油量或电量、加速度、方向和地理位置信息，通过虚拟驾驶舱物体显示所述实体交通工具的车速、转速、油量或电量、加速度、方向和地理位置信息；

通过双目场景摄影机提供用户双目界面和驾驶舱场景音频信息，所述双目场景摄像机通过所述三维图形接口对驾驶舱场景中的虚拟三维景物进行渲染，采用姿态传感器使所述双目场景摄像机的姿态与用户头部同步运动；

获取用户对虚拟驾驶舱物体的控制指令，通过执行器根据所述控制指令控制所述实体交通工具的动作。

作为基于混合现实的驾驶舱场景构建方法的优选方案，采用OpenCV、ARCore或ARKit机器视觉库分析摄像组件拍摄的实体场景生成虚拟三维景物和HUD显示器内容。

作为基于混合现实的驾驶舱场景构建方法的优选方案，接收用户输入的通过外部输入设备输入的控制指令，根据所述控制指令控制双目场景摄像机的姿态及虚拟驾驶舱物体动作。

作为基于混合现实的驾驶舱场景构建方法的优选方案，通过驾驶舱场景中的双目场景摄像机使用三维图形接口进行虚拟三维景物渲染，将虚拟三维景物渲染结果将作为佩戴单元的左右眼画面呈现给用户。

作为基于混合现实的驾驶舱场景构建方法的优选方案，所述双目场景摄像机通过音效接口合成驾驶舱场景中声音源，所述声音源通过佩戴单元的扬声器或连接的耳机播放给用户；将所述双目场景摄像机的位置将作为双眼的参考位置，双耳位置以所述参考位置为基准对声音源进行监听。

本发明实施例具有如下优点：本技术方案与传统的驾驶模拟器相比，不需要制造实体的仿真驾驶舱，可以显著地降低成本。通过虚拟驾驶舱在设计的灵活性和视觉效果上要优于实体的仿真驾驶舱。用户通过佩戴单元观看全景画面，能够屏蔽身边环境的干扰，沉浸感强，视野比观看传统屏幕更为开阔。得益于实体交通工具，用户获得的外部环境画面和行驶的物理特性都是基于现实的，在画面的真实度和物理的可信度方面均高于完全使用软件模拟画面和物理特性的传统驾驶模拟器；

与现有的具有摄像头画面传输功能的遥控交通工具相比，本技术方案能为用户提供一个可互动的虚拟驾驶舱，让用户得到置身于交通工具之内的感受，比传统遥控交通工具的操作体验更佳。机器视觉的使用还能在画面中叠加虚拟的三维景物，以及让软件逻辑了解画面的内容，从而可以提供更多的培训和娱乐方式，用作训练和娱乐的效果更佳；

本技术方案可以运用于具有摄像头画面传输功能和自动驾驶功能的交通工具上，可在自动驾驶无法完成任务的时候由人类驾驶员远程接管，通过虚拟驾驶舱操作交通工具，无需让驾驶员乘坐在交通工具上待命，因此可以给一名驾驶员同时分配多个交通工具，从而节省人力资源。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例中提供的基于混合现实的驾驶舱系统示意图；

图2为本发明实施例中提供的多摄像头阵列和画面幕布的基于混合现实的驾驶舱系统示意图；

图3为本发明实施例中提供的基于混合现实的驾驶舱系统外部输入设备示意图；

图4为本发明实施例中提供的基于混合现实的驾驶舱系统技术原理图；

图5为本发明实施例中提供的基于混合现实的驾驶舱场景构建方法流程示意图；

图中：1、场景获取单元；2、佩戴单元；3、三维场景单元；4、实体交通工具；5、摄像组件；6、传感器组件；7、执行器；8、显示屏；9、扬声器；10、姿态传感器；11、双目场景摄影机；12、摄像头画面幕布；13、HUD显示器；14、虚拟三维景物；15、虚拟驾驶舱壳体；16、虚拟座椅；17、虚拟方向盘；18、虚拟仪表台；19、外部输入设备。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1和图4，提供一种基于混合现实的驾驶舱系统，包括场景获取单元1、佩戴单元2和三维场景单元3。所述场景获取单元1包括实体交通工具4，所述实体交通工具4上连接有摄像组件5、传感器组件6和执行器7，实体交通工具4承载所述摄像组件5进行实体场景获取，所述传感器组件6用于获取所述实体交通工具4的运行状态信息，所述执行器7用于接收对实体交通工具4的控制信号。所述佩戴单元2用于向用户传递所述三维场景单元3的三维场景界面和音频信息，佩戴单元2配置有显示屏8、扬声器9和姿态传感器10，佩戴单元2通过所述显示屏8显示所述三维场景单元3的三维场景界面，佩戴单元2通过所述扬声器9播放所述三维场景单元3的音频信息。所述三维场景单元3包括虚拟驾驶舱物体、双目场景摄影机11、摄像头画面幕布12、HUD显示器13和虚拟三维景物14，所述虚拟驾驶舱物体用于通过虚拟物体呈现虚拟驾驶舱的内饰，所述双目场景摄影机11根据用户的瞳距放置，双目场景摄影机11向所述佩戴单元2的显示屏8提供用户双目界面，双目场景摄影机11向所述佩戴单元2的扬声器9提供三维场景单元3的音频信息，所述摄像头画面幕布12用于显示所述实体交通工具4上的摄像组件5拍摄的实时画面，所述HUD显示器13用于显示所述实体交通工具4的运行状态、任务目标和图形信息，所述虚拟三维景物14用于叠加所述摄像组件5拍摄的实时画面。

具体的，双目场景摄像机11在计算机软件的三维空间内按人眼的瞳距放置，主要有两个用途，一是用于被三维图形引擎接口调用，渲染出头戴式显示设备的左右眼画面；二是用于被音效接口如OpenAL、DirectSound调用，监听场景中的音效、背景音乐等声音源，从而把各声音源的合成为音频并输出至头戴式设备的耳机或扬声器9。

具体的，摄像头画面幕布12是一块平面或曲面的三维物体，用于显示实体交通工具4上的摄像头拍摄的实时画面。HUD显示器13内容可以是三维或二维的图形物体，用于显示和实体交通工具4的运行状态、任务目标相关的文字和图形信息，也可以包含起到美观作用的内容。虚拟三维景物14是现实中没有实体，由计算机软件通过机器视觉技术对摄像头画面进行分析而生成的可视化物体，例如叠加在现实环境画面上的虚拟路障、虚拟路牌和虚拟游戏物品等。

参见图2，基于混合现实的驾驶舱系统的一个实施例中，所述摄像组件5采用单一摄像头或多摄像头阵列，所述多摄像头阵列包括朝向所述实体交通工具4周围方向的若干枚摄像头；所述摄像头画面幕布12为半球、球面或盒状。具体的，摄像组件5既可以采用单一摄像头，也可以采用多摄像头阵列。多摄像头阵列含有朝向各个方向的若干枚摄像头，在本实例中安装在轮式交通工具上。多摄像头阵列拍摄的多张图像通过现有的硬件解决方案或软件方案，如Facebook Surround360拼接成一张全景图像。由多摄像头阵列图像拼接而成的全景图像将被转换为半球、球面、盒状等形式的全景贴图，作为材质贴图显示在与之对应的半球形、球形、盒状等形状的多摄像头阵列画面幕布的三维物体表面。

基于混合现实的驾驶舱系统的一个实施例中，所述传感器组件6包括车速传感器、转速传感器、油量或电量传感器、加速度传感器、方向传感器和定位传感器，所述运行状态信息包括车速、转速、油量或电量、加速度、方向和地理位置信息，所述车速传感器用于获取所述实体交通工具4的车速信息，所述转速传感器用于获取所述实体交通工具4的转速信息，所述油量或电量传感器用于获取所述实体交通工具4的油量或电量信息；所述加速度传感器用于获取所述实体交通工具4的加速度信息，所述方向传感器用于获取所述实体交通工具4的朝向信息，所述定位传感器用于获取所述实体交通工具4的地理位置信息。所述HUD显示器13显示的所述实体交通工具4的运行状态包括所述车速信息、转速信息、油量或电量信息、加速度信息、方向信息和地理位置信息。具体的，实体交通工具4内安装的传感器会将收集到的数据通过无线或有线传输方案发送到佩戴单元2。这些数据有以下用途：通过HUD显示器13内容显示出来，例如HUD显示器13内容可以显示车速传感器获取到的实时车速数值；通过虚拟驾驶舱物体的动画表现出来，例如虚拟仪表台的转速计指针可以根据发动机转速传感器的数据转动；发送给软件逻辑使用，例如软件通过油量传感器的数据得知燃油即将耗尽时，播放燃油不足的警报声。

基于混合现实的驾驶舱系统的一个实施例中，所述姿态传感器10采用加速度传感器、陀螺仪和激光定位设备，所述佩戴单元2通过无线或有线方式连接有外部输入设备19，所述外部输入设备19包括控制手柄和方向盘。具体的，佩戴单元2上有显示屏8、扬声器9或耳机接口、姿态传感器10、按键。姿态传感器10可采用加速度传感器、陀螺仪、外部激光定位设备等。佩戴单元2可通过无线或有线方式连接外部输入设备19，如控制手柄、方向盘等。佩戴后，佩戴单元2中的左眼画面只能被用户的左眼看到，右眼画面只能被用户的右眼看到。姿态传感器10可获取用户头部的姿态来作为用户的输入数据。

具体的，参见图3，外部输入设备19可以采用简易驾驶台获取用户输入操作，使用时，用户佩戴头戴式设备坐在座椅上，方向盘、操纵杆、踏板等输入设备通过现有的无线或有线传输方案与头戴式设备连接，用户通过这些设备产生的输入操作传输至头戴式设备。简易驾驶台与传统仿真驾驶舱的不同点是：用户佩戴头戴式设备操作，看不到简易驾驶台的实物，因此简易驾驶台不需要在造型上拟真，也不需要屏幕等显示设备，其结构可以更加简单，重量更轻，还能采用可拆卸或可折叠的设计，便于收纳、移动和运输。

基于混合现实的驾驶舱系统的一个实施例中，所述虚拟驾驶舱物体包括虚拟驾驶舱壳体15、虚拟座椅16、虚拟方向盘17和虚拟仪表台18，虚拟驾驶舱物体配置有三维图形接口和三维游戏引擎，所述三维图形接口包括OpenGL、Metal、Vulkan、Direct3D；所述三维游戏引擎包括Unity和Unreal。

具体的，虚拟驾驶舱壳体15、虚拟座椅16、虚拟方向盘17、虚拟仪表台18等用于呈现虚拟驾驶舱内饰的可视化物体，统称为虚拟驾驶舱物体，含有可供三维图形接口如OpenGL、Metal、Vulkan、Direct3D，或三维游戏引擎如Unity、Unreal调用的模型、贴图、灯光、粒子、动画等数据。虚拟驾驶舱物体根据所需的交通工具种类和型号设计，例如对于采用操纵杆的飞行器，可用虚拟操纵杆代替虚拟方向盘；对于用户能从驾驶舱内部看到交通工具外表面的交通工具，虚拟驾驶舱物体还可包含交通工具的外表面。

参见图5，本发明实施例还提供一种基于混合现实的驾驶舱场景构建方法，包括以下步骤：

S1：通过实体交通工具4承载摄像组件5进行实体场景获取，将所述实体场景转换为三维图形接口的纹理格式，将所述纹理作为材质贴图显示在摄像头画面幕布12的三维模型表面上；

S2：采用HUD显示器13显示所述实体交通工具4的运行状态信息，所述运行状态信息包括所述实体交通工具4的车速、转速、油量或电量、加速度、方向和地理位置信息，通过虚拟驾驶舱物体显示所述实体交通工具4的车速、转速、油量或电量、加速度、方向和地理位置信息；

S3：通过双目场景摄影机11提供用户双目界面和驾驶舱场景音频信息，所述双目场景摄像机11通过所述三维图形接口对驾驶舱场景中的虚拟三维景物14进行渲染，采用姿态传感器10使所述双目场景摄像机11的姿态与用户头部同步运动；

S4：获取用户对虚拟驾驶舱物体的控制指令，通过执行器根据所述控制指令控制所述实体交通工具4的动作。

基于混合现实的驾驶舱场景构建方法的一个实施例中，采用OpenCV、ARCore或ARKit机器视觉库分析摄像组件5拍摄的实体场景生成虚拟三维景物14和HUD显示器13内容。实体交通工具4上的摄像组件5画面通过无线或有线传输方案发送到佩戴单元2如头戴式设备后，将被转换为三维图形接口的纹理格式，例如使用OpenCV将YUV420格式的原始视频画面转换成可被OpenGL使用的RGBA格式，此纹理作为材质贴图显示在摄像头画面幕布12的三维模型表面上。

具体的，摄像组件5画面使用OpenCV、ARCore、ARKit等机器视觉库进行分析，分析结果有以下用途：生成虚拟三维景物14，例如当摄像组件5画面拍摄到地面有一个预先布置的特殊图案时，在图案的上方生成一个游戏物体，如果用户驾驶实体交通工具4靠近该物体则会触发相应的事件；生成HUD显示器13内容，例如当摄像组件5画面出现行人时，HUD显示器13出现视觉图形将行人框选出来，并用文本显示出行人的位置等信息；发送给软件逻辑使用，例如当摄像组件5画面显示用户足够接近现实环境中的某个路标时，软件逻辑可通过分析结果判断出用户已经到达了该路标的位置，从而更新导航提示。

基于混合现实的驾驶舱场景构建方法的一个实施例中，接收用户输入的通过外部输入设备19输入的控制指令，根据所述控制指令控制双目场景摄像机11的姿态及虚拟驾驶舱物体动作。实体交通工具4内安装的传感器组件6也会将收集到的数据通过无线或有线传输方案发送到头戴式设备。这些数据有以下用途：通过HUD显示器13内容显示出来，例如HUD显示器13内容可以显示车速传感器获取到的实时车速数值；通过虚拟驾驶舱物体的动画表现出来，例如虚拟仪表台的转速计指针可以根据发动机转速传感器的数据转动；发送给软件逻辑使用，例如软件通过油量传感器的数据得知燃油即将耗尽时，播放燃油不足的警报声。

具体的，用户输入的数据可通过佩戴单元2的传感器组件6、按钮以及连接的外部输入设备19获取。用户的输入数据有以下用途：通过HUD显示器13内容显示出来，例如当用户按下一个按钮时，HUD显示器13提示该按钮被按下；控制双目场景摄像机11的姿态，例如当头戴式设备的姿态传感器10获取到用户头部转动的输入数据时，会控制双目场景摄像机11转动相应的角度，使镜头的指向与用户视线一致，从而让双目场景摄像头在三维空间中作为用户双眼的代替；通过虚拟驾驶舱物体的动画表现出来，例如当用户通过头戴式设备或外部输入设备19产生转动方向盘的输入操作时，虚拟方向盘也随之转动相应的角度；提供给软件逻辑使用，例如用户的驾驶输入会被软件逻辑处理成实体交通工具4的执行器控制信号，通过市面上的无线或有线传输方案发送至实体交通工具4来控制其运行。

基于混合现实的驾驶舱场景构建方法的一个实施例中，通过驾驶舱场景中的双目场景摄像机11使用三维图形接口进行虚拟三维景物14渲染，将虚拟三维景物14渲染结果将作为佩戴单元2的左右眼画面呈现给用户。

具体的，驾驶舱场景中的双目场景摄像机11会使用三维图形接口对场景中的可视化物体进行渲染。渲染的结果最终将作为佩戴单元2如头戴式设备的左右眼画面呈现给用户。虚拟驾驶舱物体、摄像头画面幕布12、HUD显示器13内容和虚拟三维景物14之间相互的遮挡顺序可以不受三维图形接口的Z缓存(Z-Buffer)限制，而由程序决定。即如果程序需要，就算摄像头画面幕布12的三维模型比虚拟三维景物14的三维模型更靠近双目场景摄像机11，后者仍能遮挡住前者，同理可以让HUD显示器13内容不被任何物体挡住。

基于混合现实的驾驶舱场景构建方法的一个实施例中，所述双目场景摄像机11通过音效接口合成驾驶舱场景中声音源，所述声音源通过佩戴单元2的扬声器9或连接的耳机播放给用户；将所述双目场景摄像机11的位置将作为双眼的参考位置，双耳位置以所述参考位置为基准对声音源进行监听。

具体的，双目场景摄像机11使用音效接口合成驾驶舱场景中各声音源的声音，合成的音频会通过佩戴单元2的扬声器9或连接的耳机播放给用户。在合成声音的过程中，双目场景摄像机11的位置将作为双眼的参考位置，用双目场景摄像机11的位置为基准的双耳位置对各声音源进行监听。由于合成声音时考虑了声音源和监听位置的关系，因此可以通过音效接口产生响度变化、回响、多普勒效应等音频效果，增强真实感。

本技术方案与传统的驾驶模拟器相比，不需要制造实体的仿真驾驶舱，可以显著地降低成本。通过虚拟驾驶舱在设计的灵活性和视觉效果上要优于实体的仿真驾驶舱。用户通过佩戴单元2观看全景画面，能够屏蔽身边环境的干扰，沉浸感强，视野比观看传统屏幕更为开阔。得益于实体交通工具4，用户获得的外部环境画面和行驶的物理特性都是基于现实的，在画面的真实度和物理的可信度方面均高于完全使用软件模拟画面和物理特性的传统驾驶模拟器。与现有的具有摄像头画面传输功能的遥控交通工具相比，本技术方案能为用户提供一个可互动的虚拟驾驶舱，让用户得到置身于交通工具之内的感受，比传统遥控交通工具的操作体验更佳。机器视觉的使用还能在画面中叠加虚拟的三维景物，以及让软件逻辑了解画面的内容，从而可以提供更多的培训和娱乐方式，用作训练和娱乐的效果更佳。本技术方案可以运用于具有摄像头画面传输功能和自动驾驶功能的交通工具上，可在自动驾驶无法完成任务的时候由人类驾驶员远程接管，通过虚拟驾驶舱操作交通工具，无需让驾驶员乘坐在交通工具上待命，因此可以给一名驾驶员同时分配多个交通工具，从而节省人力资源。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.基于混合现实的驾驶舱系统，其特征在于，包括场景获取单元(1)、佩戴单元(2)和三维场景单元(3)；

所述场景获取单元(1)包括实体交通工具(4)，所述实体交通工具(4)上连接有摄像组件(5)、传感器组件(6)和执行器(7)，实体交通工具(4)承载所述摄像组件(5)进行实体场景获取，所述传感器组件(6)用于获取所述实体交通工具(4)的运行状态信息，所述执行器(7)用于接收对实体交通工具(4)的控制信号；

所述佩戴单元(2)用于向用户传递所述三维场景单元(3)的三维场景界面和音频信息，佩戴单元(2)配置有显示屏(8)、扬声器(9)和姿态传感器(10)，佩戴单元(2)通过所述显示屏(8)显示所述三维场景单元(3)的三维场景界面，佩戴单元(2)通过所述扬声器(9)播放所述三维场景单元(3)的音频信息；

所述三维场景单元(3)包括虚拟驾驶舱物体、双目场景摄影机(11)、摄像头画面幕布(12)、HUD显示器(13)和虚拟三维景物(14)，所述虚拟驾驶舱物体用于通过虚拟物体呈现虚拟驾驶舱的内饰，所述双目场景摄影机(11)根据用户的瞳距放置，双目场景摄影机(11)向所述佩戴单元(2)的显示屏(8)提供用户双目界面，双目场景摄影机(11)向所述佩戴单元(2)的扬声器(9)提供三维场景单元(3)的音频信息，所述摄像头画面幕布(12)用于显示所述实体交通工具(4)上的摄像组件(5)拍摄的实时画面，所述HUD显示器(13)用于显示所述实体交通工具(4)的运行状态、任务目标和图形信息，所述虚拟三维景物(14)用于叠加所述摄像组件(5)拍摄的实时画面。

2.根据权利要求1所述的基于混合现实的驾驶舱系统，其特征在于，所述摄像组件(5)采用单一摄像头或多摄像头阵列，所述多摄像头阵列包括朝向所述实体交通工具(4)周围方向的若干枚摄像头；

所述摄像头画面幕布(12)为半球、球面、平面、曲面或盒状。

3.根据权利要求1所述的基于混合现实的驾驶舱系统，其特征在于，所述传感器组件(6)包括车速传感器、转速传感器、油量或电量传感器、加速度传感器、方向传感器和定位传感器，所述运行状态信息包括车速、转速、油量或电量、加速度、方向和地理位置信息，所述车速传感器用于获取所述实体交通工具(4)的车速信息，所述转速传感器用于获取所述实体交通工具(4)的转速信息，所述油量或电量传感器用于获取所述实体交通工具(4)的油量或电量信息；所述加速度传感器用于获取所述实体交通工具(4)的加速度信息，所述方向传感器用于获取所述实体交通工具(4)的朝向信息，所述定位传感器用于获取所述实体交通工具(4)的地理位置信息；

所述HUD显示器(13)显示的所述实体交通工具(4)的运行状态包括所述车速信息、转速信息、油量或电量信息、加速度信息、方向信息和地理位置信息。

4.根据权利要求1所述的基于混合现实的驾驶舱系统，其特征在于，所述姿态传感器(10)采用加速度传感器、陀螺仪和激光定位设备，所述佩戴单元(2)通过无线或有线方式连接有外部输入设备(19)，所述外部输入设备(19)包括控制手柄和方向盘。

5.根据权利要求1所述的基于混合现实的驾驶舱系统，其特征在于，所述虚拟驾驶舱物体包括虚拟驾驶舱壳体(15)、虚拟座椅(16)、虚拟方向盘(17)和虚拟仪表台(18)，虚拟驾驶舱物体配置有三维图形接口和三维游戏引擎，所述三维图形接口包括OpenGL、Metal、Vulkan、Direct3D；所述三维游戏引擎包括Unity和Unreal。

6.基于混合现实的驾驶舱场景构建方法，其特征在于，包括以下步骤：

通过实体交通工具(4)承载摄像组件(5)进行实体场景获取，将所述实体场景转换为三维图形接口的纹理格式，将所述纹理作为材质贴图显示在摄像头画面幕布(12)的三维模型表面上；

采用HUD显示器(13)显示所述实体交通工具(4)的运行状态信息，所述运行状态信息包括所述实体交通工具(4)的车速、转速、油量或电量、加速度、方向和地理位置信息，通过虚拟驾驶舱物体显示所述实体交通工具(4)的车速、转速、油量或电量、加速度、方向和地理位置信息；

通过双目场景摄影机(11)提供用户双目界面和驾驶舱场景音频信息，所述双目场景摄像机(11)通过所述三维图形接口对驾驶舱场景中的虚拟三维景物(14)进行渲染，采用姿态传感器(10)使所述双目场景摄像机(11)的姿态与用户头部同步运动；

获取用户对虚拟驾驶舱物体的控制指令，通过执行器(7)根据所述控制指令控制所述实体交通工具(4)的动作。

7.根据权利要求6所述的基于混合现实的驾驶舱场景构建方法，其特征在于，采用OpenCV、ARCore或ARKit机器视觉库分析摄像组件(5)拍摄的实体场景生成虚拟三维景物(14)和HUD显示器(13)内容。

8.根据权利要求6所述的基于混合现实的驾驶舱场景构建方法，其特征在于，接收用户输入的通过外部输入设备(19)输入的控制指令，根据所述控制指令控制双目场景摄像机(11)的姿态及虚拟驾驶舱物体动作。

9.根据权利要求6所述的基于混合现实的驾驶舱场景构建方法，其特征在于，通过驾驶舱场景中的双目场景摄像机(11)使用三维图形接口进行虚拟三维景物(14)渲染，将虚拟三维景物(14)渲染结果将作为佩戴单元(2)的左右眼画面呈现给用户。

10.根据权利要求6所述的基于混合现实的驾驶舱场景构建方法，其特征在于，所述双目场景摄像机(11)通过音效接口合成驾驶舱场景中声音源，所述声音源通过佩戴单元(2)的扬声器(9)或连接的耳机播放给用户；将所述双目场景摄像机(11)的位置将作为双眼的参考位置，双耳位置以所述参考位置为基准对声音源进行监听。

Images