CN109118874A - 一种基于虚拟现实的飞行器驾驶培训系统及方法 - Google Patents

Abstract

本发明公开了一种基于虚拟现实的飞行器驾驶培训系统及方法，其涉及虚拟现实技术领域，旨在解决现有的飞机驾驶模拟培训方式培训效果差、培训效率低的问题。其技术方案要点是，包括沉浸式全景培训平台、VR眼镜、操作装置和驾驶评分设备，沉浸式全景培训平台包括存储有虚拟培训驾驶舱场景的数据库；VR眼镜用于向培训参与者展示数据库中存储的虚拟培训驾驶舱场景；操作装置用于供培训参与者进行相应的驾驶操作；驾驶评分设备用于对培训参与者的驾驶操作进行评分并在培训结束后生成相对应的培训评分报告。本发明的技术方案能够让培训参与者沉浸在逼真的虚拟培训驾驶舱场景中而进行相关的驾驶操作，具有培训效果佳、培训效率高的优点。

Description

一种基于虚拟现实的飞行器驾驶培训系统及方法

技术领域

本发明涉及虚拟现实技术领域，更具体地说，它涉及一种基于虚拟现实的飞行器驾驶培训系统及方法。

背景技术

虚拟现实技术（Virtual Reality，英文缩写VR）是一种可以创建和体验虚拟世界的计算机仿真系统，其综合了计算机图形技术、计算机仿真技术、传感器技术、显示技术等多种科学技术，在多维信息空间上创建了一个虚拟信息环境，能使用户具有身临其境的沉浸感。

随着全球经济的发展和科技的进步，飞机已经越来越复杂，飞机的制造成本也越来越高，在对飞机驾驶员进行驾驶培训时，若采用真实操作飞机的方式，不仅成本会较高，而且不是很安全。考虑以上情况，在正式驾驶飞机前或更换飞机驾驶机型时，都需要对驾驶员进行模拟培训。现有技术中，通常是采用人机界面和视窗操作的方式对驾驶员进行驾驶培训。

但是，采用传统的人机界面以及视窗操作的方式进行驾驶培训时，不能为培训参与者提供生动、逼真的实际飞行场景，缺乏真实的沉浸感，从而使得培训效果较差、效率较低，此问题有待解决。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于虚拟现实的飞行器驾驶培训系统，其具有培训效果佳、培训效率高的优势。

为实现上述目的，本发明提供了如下技术方案：

一种基于虚拟现实的飞行器驾驶培训系统，包括：

沉浸式全景培训平台，所述沉浸式全景培训平台包括存储有虚拟培训驾驶舱场景数据的数据库；

与所述沉浸式全景培训平台相连、用于向培训参与者展示所述数据库中的虚拟培训驾驶舱场景的VR眼镜；以及，

与所述沉浸式全景培训平台相连、用于供培训参与者进行驾驶操作的操作装置；

其中，所述沉浸式全景培训平台还连接有驾驶评分设备，所述驾驶评分设备用于对培训参与者的驾驶操作进行评分并在培训结束后生成相对应的培训评分报告信息。

通过采用上述技术方案，沉浸式全景培训平台通过VR眼镜为培训参与者展示了虚拟培训驾驶舱场景，培训参与者通过操作装置即可进行驾驶操作，培训过程中虚拟培训驾驶舱场景会实时的变化，使得培训参与者具有了身临其境的感受，具有培训效果佳、培训效率高的优点。在培训过程中，驾驶评分设备会对培训参与者的各个驾驶操作进行评分。在培训结束后，驾驶评分设备还会生成培训评分报告，以便于对此次的培训成绩进行展示。

进一步地，所述驾驶评分设备包括常规操作评分模块和应急操作评分模块；所述沉浸式全景培训平台包括存储有多种常规操作指令信息和多种应急操作指令信息的虚拟塔台模块，还包括用于发出常规操作指令或应急操作指令的语音输出模块。

通过采用上述技术方案，方便对培训参与者发送常规操作指令或应急操作指令，也方便了对培训参与者的常规操作和应急操作进行评分，并在评分报告中体现出来，从而使得培训参与者能够对操作错误的地方进行针对性的改正，进一步加快了培训效率。

进一步地，所述沉浸式全景培训平台还包括存储有多个渲染场景信息的场景渲染子模块，所述渲染场景信息与应急操作指令一一对应；所述场景渲染子模块用于当语音输出模块发出应急操作指令时，对所述VR眼镜展示的虚拟培训驾驶舱场景进行相应的渲染。

通过采用上述技术方案，场景渲染子模块能够随着应急指令的发出而对虚拟培训驾驶舱场景进行相应的渲染，进一步的增强了培训参与者的身临其境感受，使得培训效果更佳。

进一步地，所述沉浸式全景培训平台还包括判断模块，所述判断模块用于当培训参与者的驾驶操作错误时，通过所述语音输出模块发出相应的语音提示信息。

通过采用上述技术方案，在培训过程中，语音输出模块能对培训参与者操作错误的地方进行实时的语音提醒，以便于其能实时的了解到自己的驾驶操作动作的正确性，有助于提高培训效果。

进一步地，所述沉浸式全景培训平台还连接有摄像头，所述驾驶评分设备还包括存储模块、显示模块和动作捕捉模块；所述摄像头用于拍摄培训参与者的驾驶操作画面，所述动作捕捉模块用于根据摄像头拍摄的驾驶操作画面生成与培训参与者的驾驶操作动作匹配的虚拟驾驶人物，所述动作捕捉模块还用于将生成的虚拟驾驶人物和与培训参与者培训时所对应的虚拟培训驾驶舱场景进行整合形成回放视频信息；所述回放视频信息存储于存储模块中，所述显示模块用于进行触控操作及回放视频的播放。

通过采用上述技术方案，培训结束后，培训参与者能够通过回放视频生动形象的了解到自己在培训时的操作动作详情，并能够针对错误操作动作在下次培训时进行改正，使得培训的效果显著提高。

进一步地，所述驾驶评分设备还包括触发模块，所述触发模块内存储有与常规操作指令及应急操作指令一一对应的操作示范视频信息；所述触发模块用于当显示模块播放回放视频至错误操作的截点时，向所述显示模块发送显示选择对话框的控制信号；所述触发模块还用于当使用者对选择对话框进行选择操作后，控制所述显示模块播放对应的操作示范视频。

通过采用上述技术方案，培训者能够针对回放视频中的错误操作观看到相对应的操作示范视频，有助于培训参与者对错误操作的改正，使得培训参与者印象深刻，从而进一步加强了培训效果和培训效率。

本发明的另一目的在于提供一种基于虚拟现实的飞行器驾驶培训方法，其具有培训效果佳、培训效率高的优势。

一种基于虚拟现实的飞行器驾驶培训方法，所述基于虚拟现实的飞行器驾驶培训方法基于上述的基于虚拟现实的飞行器驾驶培训系统，包括：

通过所述沉浸式全景培训平台及所述VR眼镜向培训参与者展示虚拟培训驾驶舱场景；

所述语音输出模块向培训参与者发出常规操作指令或应急操作指令；

培训参与者通过所述操作装置进行相应的驾驶操作；

所述驾驶评分设备对培训参与者的驾驶操作进行评分并在培训结束后得出总评分T；

所述驾驶评分设备生成与培训参与者对应的培训评分报告；

所述动作捕捉模块生成回放视频信息并将回放视频信息存储至存储模块中。

通过采用上述技术方案，沉浸式全景培训平台通过VR眼镜为培训参与者展示了虚拟培训驾驶舱场景，培训参与者通过操作装置即可进行驾驶操作，培训过程中能够使培训参与者具有身临其境的感受，具有培训效果佳、培训效率高的优点。在培训结束后，驾驶评分设备还会生成培训评分报告，动作捕捉模块生成回放视频信息，以便于对此次的培训成绩进行展示、回放和学习。

进一步地，所述驾驶评分设备对培训参与者的驾驶操作进行评分并在培训结束后得出总评分T具体包括：

所述常规操作指令的操作正确率为R₁，所述应急操作指令的操作正确率为R₂，根据所述常规操作指令的操作正确率和应急操作指令的操作正确率得到总评分T=100×(R₁×30%+R₂×70%)；其中，0≤R₁≤1，0≤R₂≤1。

通过采用上述技术方案，便于计算培训参与者的操作总评分。

进一步地，所述驾驶评分设备对培训参与者的驾驶操作进行评分并在培训结束后得出总评分T具体包括：

所述常规操作指令的操作正确率为R₁，所述常规操作指令的操作效率为Q₁；所述应急操作指令的操作正确率为R₂，所述应急操作指令的操作效率为Q₂；根据所述常规操作指令的操作正确率、常规操作指令的操作效率、应急操作指令的操作正确率和应急操作指令的操作效率得到总评分T=100×(R₁×25%+Q₁×5%+R₂×35%+Q₂×35%)；其中，0≤R₁≤1，0≤R₂≤1，0≤Q₁≤1，0≤Q₂≤1。

通过采用上述技术方案，结合操作正确率和操作效率计算的总评分更加准确，更能形象的体现出培训参与者的培训成绩。

进一步地，所述培训评分报告的内容包括常规操作评分C、应急操作评分E和总评分T。

通过采用上述技术方案，能够直观的体现出培训者的各项操作评分。

综上所述，本发明具有以下有益效果：

1、通过沉浸式全景培训平台、VR眼镜和驾驶评分设备的设置，能够起到提高培训效果和培训效率的作用；

2、通过虚拟塔台模块和场景渲染子模块的设置，能够起到增强培训参与者身临其境感受的作用；

3、通过摄像头和动作捕捉模块的设置，能够起到方便回看操作动作的作用；

4、通过触发模块和触发模块的设置，能够起到有助于培训参与者对错误操作动作进行改正的作用。

附图说明

图1为实施例1中用于体现基于虚拟现实的飞行器驾驶培训系统的整体结构的示意图；

图2为实施例1中用于体现沉浸式全景培训平台的结构的示意图；

图3为实施例1中用于体现驾驶评分设备的结构的示意图。

图中：100、沉浸式全景培训平台；101、数据库；102、虚拟塔台模块；103、语音输出模块；104、场景渲染子模块；105、判断模块；200、VR眼镜；300、操作装置；400、驾驶评分设备；401、常规操作评分模块；402、应急操作评分模块；403、存储模块；404、显示模块；405、动作捕捉模块；406、触发模块；500、摄像头。

具体实施方式

以下结合附图对本发明作进一步详细说明。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

实施例1：

一种基于虚拟现实的飞行器驾驶培训系统，参照图1和图2，其包括沉浸式全景培训平台100、VR眼镜200、操作装置300和驾驶评分设备400，沉浸式全景培训平台100包括数据库101，数据库101存储有虚拟培训驾驶舱场景。VR眼镜200用于向培训参与者展示数据库101中存储的虚拟培训驾驶舱场景；操作装置300用于供培训参与者进行相应的驾驶操作；驾驶评分设备400用于对培训参与者的驾驶操作进行评分并在培训结束后生成相对应的培训评分报告信息。

参照图2，沉浸式全景培训平台100包括虚拟塔台模块102和语音输出模块103, 虚拟塔台模块102存储有多种常规操作指令信息和多种应急操作指令信息，语音输出模块103用于发出常规操作指令或应急操作指令。在本实施例中，常规操作指令包括飞机起飞、匀速飞行及降落时的一些常规操作，应急操作指令包括各种恶劣天气情况及飞行器受损等情况下所需要进行的操作。

参照图1和图2，沉浸式全景培训平台100还包括判断模块105和场景渲染子模块104，场景渲染子模块104内存储有多个渲染场景信息，渲染场景信息与应急操作指令一一对应。当语音输出模块103发出应急操作指令时，场景渲染子模块104对VR眼镜200展示的虚拟培训驾驶舱场景进行相应的渲染，提高了培训参与者的身临其境感。当培训参与者的驾驶操作错误时，判断模块105通过语音输出模块103发出相应的语音提示信息。

参照图1和图3，沉浸式全景培训平台100还连接有摄像头500，驾驶评分设备400还包括存储模块403、显示模块404和动作捕捉模块405。摄像头500用于拍摄培训参与者的驾驶操作画面，动作捕捉模块405用于根据摄像头500拍摄的驾驶操作画面生成与培训参与者的驾驶操作动作匹配的虚拟驾驶人物，动作捕捉模块405还用于将生成的虚拟驾驶人物和与培训参与者培训时所对应的虚拟培训驾驶舱场景进行整合形成回放视频信息。回放视频信息存储于存储模块403中，显示模块404用于进行触控操作及回放视频的播放。

参照图2和图3，驾驶评分设备400还包括常规操作评分模块401、应急操作评分模块402和触发模块406。常规操作评分模块401用于对培训参与者的常规操作进行评分，应急操作评分模块402用于对培训参与者的应急操作进行评分。触发模块406内存储有与常规操作指令及应急操作指令一一对应的操作示范视频信息。当显示模块404播放回放视频至错误操作的截点时，触发模块406向显示模块404发送显示选择对话框的控制信号。当使用者对选择对话框进行选择操作（即选择播放操作示范视频）后，触发模块406控制显示模块404播放对应的操作示范视频。

工作原理如下：

初始状态下，培训参与者通过VR眼镜200能够身临其境的观察到虚拟培训驾驶舱场景，并且通过操作装置300即可进行相应的驾驶操作。

在驾驶培训过程中，虚拟塔台模块102会通过语音输出模块103发出常规操作指令或应急操作指令。语音输出模块103发出常规操作指令或应急操作指令后，当培训参与者的驾驶操作错误时，语音输出模块103发出相应的语音提示信息。

在语音输出模块103发出应急操作指令时，场景渲染子模块104对VR眼镜200展示的虚拟培训驾驶舱场景进行与该应急操作指令相对应的场景渲染，以增强培训参与者身临其境的感受。

在驾驶培训过程中，常规操作评分模块401会对培训参与者的常规操作进行评分，应急操作评分模块402会对培训参与者的应急操作进行评分。在驾驶培训结束后，驾驶评分设备400根据常规操作评分模块401的评分和应急操作评分模块402的评分得出总评分。

在驾驶培训结束后，动作捕捉模块405会生成回放视频信息并存储于存储模块403中，用户对显示模块404进行相应的触控操作即可进行回放视频的播放。当回放视频播放至错误操作的截点时，用户还可以选择播放对应的操作示范视频，以了解正确的操作动作及操作方法，增强了培训效果。

实施例2：

一种基于实施例1中基于虚拟现实的飞行器驾驶培训系统的基于虚拟现实的飞行器驾驶培训方法，参照图1和图3，其包括：

通过沉浸式全景培训平台100及VR眼镜200向培训参与者展示虚拟培训驾驶舱场景；

语音输出模块103（参照图2）向培训参与者发出常规操作指令或应急操作指令；

培训参与者通过操作装置300进行相应的驾驶操作；

驾驶评分设备400对培训参与者的驾驶操作进行评分并在培训结束后得出总评分T；

培训参与者在语音输出模块103发出常规操作指令后的操作正确率为R₁，在语音输出模块103发出应急操作指令后的操作正确率为R₂；常规操作评分模块401根据常规操作指令的操作正确率R₁得到常规操作评分C=100×(R₁×30%)，应急操作评分模块402根据应急操作指令的操作正确率R₂得到应急操作评分E=100×(R₂×70%)，驾驶评分设备400根据常规操作评分C和应急操作评分E得到总评分T=100×(R₁×30%+R₂×70%)；其中，0≤R₁≤1，0≤R₂≤1；

驾驶评分设备400生成与培训参与者对应的培训评分报告，培训评分报告的内容包括常规操作评分C、应急操作评分E和总评分T，需要说明的是，培训评分报告的内容还包括常规操作指令的操作正确率R₁、应急操作指令的操作正确率R₂、各个常规操作指令的操作正确性以及各个应急操作指令的操作正确性；

动作捕捉模块405生成回放视频信息并将回放视频信息存储至存储模块403中。

实施例3：

一种基于虚拟现实的飞行器驾驶培训方法，参照图1和图3，以实施例2为基础，本实施例与实施例2的区别在于：

培训参与者在语音输出模块103（参照图2）发出常规操作指令后的操作正确率为R₁，操作效率为Q₁；培训参与者在语音输出模块103发出应急操作指令后的操作正确率为R₂，操作效率为Q₂；常规操作评分模块401根据常规操作指令的操作正确率R₁和操作效率Q₁得到常规操作评分C=100×(R₁×25%+Q₁×5%)，应急操作评分模块402根据应急操作指令的操作正确率R₂和操作效率Q₂得到应急操作评分E=100×(R₂×35%+Q₂×35%)，驾驶评分设备400根据常规操作评分C和应急操作评分E得到总评分T=100×(R₁×25%+Q₁×5%+R₂×35%+Q₂×35%)；其中，0≤R₁≤1，0≤R₂≤1，0≤Q₁≤1，0≤Q₂≤1；

需要说明的是，语音输出模块103发出常规操作指令或应急操作指令后，培训参与者在1秒内完成操作且操作正确时，对应的操作效率值为1，否则，对应的操作效率值为0；常规操作指令的操作效率Q₁为与发出的常规操作指令所对应的操作效率值为1的个数占全部发出的常规操作指令的个数的比例，应急操作指令的操作效率Q₂为与发出的应急操作指令所对应的操作效率值为1的个数占全部发出的应急操作指令的个数的比例；

驾驶评分设备400生成与培训参与者对应的培训评分报告，培训评分报告的内容包括常规操作评分C、应急操作评分E和总评分T，在本实施例中，培训评分报告的内容还包括常规操作指令的操作正确率R₁和操作效率Q₁、应急操作指令的操作正确率R₂和操作效率Q₂、各个常规操作指令的操作正确性和操作效率值以及各个应急操作指令的操作正确性和操作效率值。

Claims (10)

1.一种基于虚拟现实的飞行器驾驶培训系统，其特征在于，包括：

沉浸式全景培训平台(100)，所述沉浸式全景培训平台(100)包括存储有虚拟培训驾驶舱场景数据的数据库(101)；

与所述沉浸式全景培训平台(100)相连、用于向培训参与者展示所述数据库(101)中的虚拟培训驾驶舱场景的VR眼镜(200)；以及，

与所述沉浸式全景培训平台(100)相连、用于供培训参与者进行驾驶操作的操作装置(300)；

其中，所述沉浸式全景培训平台(100)还连接有驾驶评分设备(400)，所述驾驶评分设备(400)用于对培训参与者的驾驶操作进行评分并在培训结束后生成相对应的培训评分报告信息。

2.根据权利要求1所述的基于虚拟现实的飞行器驾驶培训系统，其特征在于：所述驾驶评分设备(400)包括常规操作评分模块(401)和应急操作评分模块(402)；所述沉浸式全景培训平台(100)包括存储有多种常规操作指令信息和多种应急操作指令信息的虚拟塔台模块(102)，还包括用于发出常规操作指令或应急操作指令的语音输出模块(103)。

3.根据权利要求2所述的基于虚拟现实的飞行器驾驶培训系统，其特征在于：所述沉浸式全景培训平台(100)还包括存储有多个渲染场景信息的场景渲染子模块(104)，所述渲染场景信息与应急操作指令一一对应；所述场景渲染子模块(104)用于当语音输出模块(103)发出应急操作指令时，对所述VR眼镜(200)展示的虚拟培训驾驶舱场景进行相应的渲染。

4.根据权利要求3所述的基于虚拟现实的飞行器驾驶培训系统，其特征在于：所述沉浸式全景培训平台(100)还包括判断模块(105)，所述判断模块(105)用于当培训参与者的驾驶操作错误时，通过所述语音输出模块(103)发出相应的语音提示信息。

5.根据权利要求4所述的基于虚拟现实的飞行器驾驶培训系统，其特征在于：所述沉浸式全景培训平台(100)还连接有摄像头(500)，所述驾驶评分设备(400)还包括存储模块(403)、显示模块(404)和动作捕捉模块(405)；所述摄像头(500)用于拍摄培训参与者的驾驶操作画面，所述动作捕捉模块(405)用于根据摄像头(500)拍摄的驾驶操作画面生成与培训参与者的驾驶操作动作匹配的虚拟驾驶人物，所述动作捕捉模块(405)还用于将生成的虚拟驾驶人物和与培训参与者培训时所对应的虚拟培训驾驶舱场景进行整合形成回放视频信息；所述回放视频信息存储于存储模块(403)中，所述显示模块(404)用于进行触控操作及回放视频的播放。

6.根据权利要求5所述的基于虚拟现实的飞行器驾驶培训系统，其特征在于：所述驾驶评分设备(400)还包括触发模块(406)，所述触发模块(406)内存储有与常规操作指令及应急操作指令一一对应的操作示范视频信息；所述触发模块(406)用于当显示模块(404)播放回放视频至错误操作的截点时，向所述显示模块(404)发送显示选择对话框的控制信号；所述触发模块(406)还用于当使用者对选择对话框进行选择操作后，控制所述显示模块(404)播放对应的操作示范视频。

7.一种基于虚拟现实的飞行器驾驶培训方法，其特征在于，所述基于虚拟现实的飞行器驾驶培训方法基于权利要求6所述的基于虚拟现实的飞行器驾驶培训系统，包括：

通过所述沉浸式全景培训平台(100)及所述VR眼镜(200)向培训参与者展示虚拟培训驾驶舱场景；

所述语音输出模块(103)向培训参与者发出常规操作指令或应急操作指令；

培训参与者通过所述操作装置(300)进行相应的驾驶操作；

所述驾驶评分设备(400)对培训参与者的驾驶操作进行评分并在培训结束后得出总评分T；

所述驾驶评分设备(400)生成与培训参与者对应的培训评分报告；

所述动作捕捉模块(405)生成回放视频信息并将回放视频信息存储至存储模块(403)中。

8.根据权利要求7所述的基于虚拟现实的飞行器驾驶培训方法，其特征在于：所述驾驶评分设备(400)对培训参与者的驾驶操作进行评分并在培训结束后得出总评分T具体包括：

所述常规操作指令的操作正确率为R₁，所述应急操作指令的操作正确率为R₂，根据所述常规操作指令的操作正确率和应急操作指令的操作正确率得到总评分T=100×(R₁×30%+R₂×70%)；其中，0≤R₁≤1，0≤R₂≤1。

9.根据权利要求7所述的基于虚拟现实的飞行器驾驶培训方法，其特征在于：所述驾驶评分设备(400)对培训参与者的驾驶操作进行评分并在培训结束后得出总评分T具体包括：

所述常规操作指令的操作正确率为R₁，所述常规操作指令的操作效率为Q₁；所述应急操作指令的操作正确率为R₂，所述应急操作指令的操作效率为Q₂；根据所述常规操作指令的操作正确率、常规操作指令的操作效率、应急操作指令的操作正确率和应急操作指令的操作效率得到总评分T=100×(R₁×25%+Q₁×5%+R₂×35%+Q₂×35%)；其中，0≤R₁≤1，0≤R₂≤1，0≤Q₁≤1，0≤Q₂≤1。

10.根据权利要求7-9中任一项所述的基于虚拟现实的飞行器驾驶培训方法，其特征在于：所述培训评分报告的内容包括常规操作评分C、应急操作评分E和总评分T。