CN116665500A - 基于虚拟现实的发动机试车模拟培训全任务系统及方法 - Google Patents

Abstract

本发明公开了基于虚拟现实的发动机试车模拟培训全任务系统，涉及发动机试车领域，特别涉及及方法；其基于传感器的跟踪注册技术、基于视觉的跟踪注册技术、显示技术和交互技术，解决模型与实际模型重合不漂移的定位问题，并有效识别虚拟开关的位置，以及实现对虚拟开关的状态的精确的判断，进而实现可视化诱导式的发动机试车操作流程，更好的模拟发动机试车训练。

Description

基于虚拟现实的发动机试车模拟培训全任务系统及方法

技术领域

本发明涉及发动机试车领域，特别涉及基于虚拟现实的发动机试车模拟培训全任务系统及方法。

背景技术

现有培训训练教学当中，对于复杂结构零件(起落架)和典型工序(发动机试车)等其工艺过程不易熟练掌握和巩固。

一是记忆难，传统工艺中文字、图表、工具、设备、工序等篇幅冗长，繁杂难记；

二是学习不连续，受待修品修理流程和周期限制，无法在需要时随时在工作现场对实物产品按工艺要求的内容进行操作演练；

三是巩固难，受产品体积、重量和测试资源限制，不能特殊工艺过程(试车)按需重复进行。这使技术员按工艺操作变成了纸上谈兵，应该做却难以真实做到，尤其是复杂产品和工序则难上加难。

若结合现虚拟现实技术来进行试车培训，能否能准确实时追踪座舱环境，并准确识别操作动作，则是目前主要难以攻破的技术难点。

发明内容

本发明的目的在于避免现有技术中的不足之处而提供一种能够快速且准确地完成术语标注的技术。

本发明的目的通过以下技术方案实现：

因此，根据本发明公开的一个方面，提供了基于虚拟现实的发动机试车模拟培训全任务系统，包括：头盔显示器和试车装置；头盔显示器与试车装置连接；头盔显示器包括传感器组、摄像头和显示器；试车装置包括：场景分析模块、模型生成模块、开关状态识别模块、场景数据库、和虚拟图像生成模块；场景分析模块分别与传感器组、摄像头以及场景数据库连接，通过场景数据库获取基准图像、通过摄像头获取对比图像，以及通过传感器组获取头盔显示器的位置变化信息；场景分析模块用于对对比图像与各个基准图像进行对比，并分别计算出对应的各个感兴趣区域的结构相似度，根据各个感兴趣区域的结构相似度，确定与对比图像相似的基准图像，作为参考图像；模型生成模块用于根据参考图像重建三维虚拟模型，并确定三维虚拟模型在虚拟图像坐标下的空间位置矩阵；其中，三维虚拟模型包括虚拟开关；开关状态识别模块用于计算出对比图像以及参考图像中的各对特征点的偏移值；根据各对特征点的偏移值更新虚拟开关的状态参数；虚拟图像生成模块与显示器连接，用于根据三维虚拟模型生成虚拟图像，并通过显示器进行显示。

具体的，场景分析模块还用于识别并提取操作者的手势图像。

更具体的，三维虚拟模型还包括虚拟手模型；虚拟手模型包括第一碰撞体；三维虚拟模型还包括虚拟手模型；虚拟开关包括第二碰撞体；开关状态识别模块与模型生成模块连接，用于通过识别第一碰撞体与第二碰撞体的接触状态，更新虚拟开关的状态参数。

以上的，试车装置还包括：训练信息数据库和工作流生成模块；训练信息数据库用于存储训练信息；工作流生成模块用于根据获取的训练信息生成对应的工作流程信息；虚拟图像生成模块根据工作流程信息生成对应的虚拟图像。

进一步的，工作流程信息包括语音提示信息；头盔显示器还包括相互电连接的语音交互模块和语音播报模块；工作流生成模块与语音交互模块电连接，通过所述语音播报模块播报语音提示信息。

根据本发明的另一面，还提供一种基于虚拟现实的开关状态识别方法，应用于权上述的基于虚拟现实的发动机试车模拟培训全任务系统，用于识别虚拟开关的开关状态，包括以下步骤：

初始化对比图像，以及初始化虚拟开关的状态参数；其中，对比图像为实时视频流中提取的图像；

将对比图像与各个基准图像对比，并分别计算出对应的各个感兴趣区域的结构相似度，根据各个感兴趣区域的结构相似度，确定与对比图像相似的基准图像，作为参考图像；

确定虚拟开关在对比图像以及参考图像中分别对应的特征点，并计算出对比图像以及参考图像中的各对特征点的偏移值；

根据各对特征点的偏移值更新虚拟开关的状态参数。

具体的，将对比图像与各个基准图像对比，并分别计算出对应的各个感兴趣区域的结构相似度，根据各个感兴趣区域的结构相似度，确定与对比图像相似的基准图像，作为参考图像，还包括：

划分出对比图像中的各个轮廓，根据各个轮廓的面积和长宽比进行筛选，筛选出与虚拟开关对应的轮廓；

通过边缘检测算法提取对比图像内的数字表边缘，并根据数字表边缘确定所有数字表区域，并提取各个数字表区域内的数字表特征。

更具体的，提取各个数字表区域内的数字表特征之后，还包括：将数字表特征与预存储的数字表模板进行匹配，确定各个数字表区域对应的数字表类型，并根据数字表类型对应的读取规则提取各个数字表内读数。

另一具体的，确定虚拟开关在对比图像以及参考图像中分别对应的特征点，并计算出对比图像以及参考图像中的各对特征点的偏移值还包括：

创建虚拟手模型；其中，虚拟手模型包括第一碰撞体；虚拟开关包括第二碰撞体；

根据各对特征点的偏移值更新虚拟开关的状态参数，还包括：通过识别第一碰撞体与第二碰撞体的接触状态，更新虚拟开关的状态参数。

以上的，初始化对比图像，以及初始化虚拟开关的状态参数包括：

捕捉头盔显示器移动前和移动后的位置，并计算出对比图像的参考坐标系相对于世界坐标系的第一空间变换矩阵；

获取目标参照物对应的若干个基准点的目标区域，并计算出目标参照物的各个基准点参考坐标系对于世界坐标系的第二空间变换矩阵；

根据第一空间变换矩阵和第二空间变换矩阵，计算出虚拟图像的参考坐标系与目标参照物对应的各个基准点的参考坐标系之间的第三空间变换矩阵；

根据第三空间变换矩阵重建三维虚拟模型，确定三维虚拟模型在虚拟图像坐标下的空间位置矩阵；其中，三维虚拟模型包括虚拟开关；

计算出头盔显示器的标定矩阵。

本发明的有益效果：基于传感器的跟踪注册技术、基于视觉的跟踪注册技术、显示技术和交互技术，解决模型与实际模型重合不漂移的定位问题，并有效识别虚拟开关的位置，以及实现对虚拟开关的状态的精确的判断，进而实现可视化诱导式的发动机试车操作流程，更好的模拟发动机试车训练。

附图说明

通过结合附图对于本发明公开的示例性实施例进行描述，可以更好地理解本发明，在附图中：

图1所示的是根据本发明公开实施例一的基于虚拟现实的发动机试车模拟培训全任务系统的原理方框示意图；

图2所示的是根据本发明公开实施例一的一种基于虚拟现实的开关状态识别方法的示意性流程图；

图3所示的是根据本发明公开实施例一的计算设备的硬件结构示意图。

具体实施方式

以下将描述本发明的具体实施方式，需要指出的是，在这些实施方式的具体描述过程中，为了进行简明扼要的描述，本说明书不可能对实际的实施方式的所有特征均作详尽的描述。应当可以理解的是，在任意一种实施方式的实际实施过程中，正如在任意一个工程项目或者设计项目的过程中，为了实现开发者的具体目标，为了满足系统相关的或者商业相关的限制，常常会做出各种各样的具体决策，而这也会从一种实施方式到另一种实施方式之间发生改变。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本发明公开的内容相关的本领域的普通技术人员而言，在本发明揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本发明的内容不充分。

除非另作定义，权利要求书和说明书中使用的技术术语或者科学术语应当为本发明所属技术领域内具有一般技能的人士所理解的通常意义。本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“一个”或者“一”等类似词语并不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同元件，并不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，也不限于是直接的还是间接的连接。

实施例一

如图1所示，本实施例提供基于虚拟现实的发动机试车模拟培训全任务系统，包括头盔显示器和试车装置；头盔显示器与试车装置连接；头盔显示器包括传感器组、摄像头、喇叭和显示器。

其中，试车装置包括：场景分析模块、模型生成模块、开关状态识别模块、虚拟图像生成模块、场景数据库、训练信息数据库和工作流生成模块。

场景数据库用于存储基准图像；训练信息数据库用于存储训练信息。

场景分析模块分别与传感器组、摄像头和场景数据库连接，通过场景数据库获取基准图像、通过摄像头获取对比图像，以及通过传感器组获取头盔显示器的位置变化信息。其中，对比图像为实时视频流中提取的图像。

场景分析模块用于对所述对比图像与各个所述基准图像进行对比，并分别计算出对应的各个ROI区域的结构相似度，根据各个ROI区域的结构相似度，确定与对比图像相似的基准图像，作为参考图像。

其中，ROI(region of interest)，感兴趣区域。机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。SSIM(Structural Similarity)，结构相似性，是一种衡量两幅图像相似度的指标。

具体的，场景分析模块还包括虚拟开关识别单元，用于确定虚拟开关在对比图像以及参考图像中分别对应的特征点。

更具体的，场景分析模块还用于识别并提取操作者的手势图像。

模型生成模块用于根据所述参考图像重建三维虚拟模型，并确定三维虚拟模型在虚拟图像坐标下的空间位置矩阵；其中，三维虚拟模型包括虚拟开关和虚拟手模型。其中，虚拟手模型包括第一碰撞体；虚拟开关包括第二碰撞体。

开关状态识别模块用于计算出对比图像以及参考图像中的各对特征点的偏移值；根据各对特征点的偏移值更新虚拟开关的状态参数。

具体的，开关状态识别模块与模型生成模块连接，通过识别第一碰撞体与第二碰撞体的接触状态，更新虚拟开关的状态参数。

工作流生成模块用于根据获取的训练信息生成对应的工作流程信息。

具体的，工作流程信息包括语音提示信息，所述头盔显示器还包括相互电连接的语音交互模块和语音播报模块；所述工作流生成模块与所述语音交互模块电连接，通过所述语音播报模块播报所述语音提示信息。其中，语音交互模块包括依次连接的拾音器、语音采集单元和语音识别单元；语音播报模块包括喇叭。

虚拟图像生成模块与显示器连接，用于根据三维虚拟模型以及工作流程信息生成对应的虚拟图像，并通过显示器进行显示。

本发明的基于虚拟现实的发动机试车模拟培训全任务系统，可实现发动机试车座舱环境模拟训练，系统可实时追踪座舱环境，准确识别操作动作，利用多种模式(手势识别追踪、提示框、讲解配音、虚拟仪表盘报告、发动机声音特效)对操作者进行发动机试车操作进行提示和引导，帮助操作者进行正确的操作；实现在仿真平台上通过设置发动机试车过程中可能发生的紧急状态，让操作者掌握处置措施和方法并模拟发动机试车曲线，直观地通过不同的虚拟现实器显示发动机转速和温度指示器判别操作者培训状况。例如，当工作流程信息对应的步骤为放下起落架手柄时，虚拟图像生成模块会生成对应的动画，此时用户会看到起落架手柄放下的动画，根据动画中箭头提示，用户可以很清楚的知道如何操作。

同时，本发明的基于虚拟现实的发动机试车模拟培训全任务系统，也可实现发动机试车流程模拟考核：系统可准确识别操作者正确操作和误操作，一是考察操作者知识点和操作技能掌握情况应用能力；二是考察操作者对实验相关知识掌握情况的评估、对故障的应急处理能力的考核评价并给出及时的反馈。系统可随机模拟试车中常见故障，头盔显示器可通过拍照和短视频记录排查过程，也可远程连线专家进行指导。

进一步的，为了能够更精确的识别出并匹配出座舱环境内的各个开关所对应的虚拟开关，如图2所示，本实施例还提供了一种基于虚拟现实的开关状态识别方法，包括以下步骤：

S1：初始化对比图像，以及初始化虚拟开关的状态参数；

在本实施例中，初始化开关关闭的状态参数为0；

S2：对比各个基准图像和对比图像，并分别计算出对应的各个ROI区域的结构相似度，根据各个ROI区域的结构相似度，确定与对比图像相似的基准图像，作为参考图像；

其中，基准图像为存储在数据库中的开关关闭状态的图像；将各ROI区域相似度分别与结构匹配阈值进行比对，如果大于阈值，即判断此时从视频流抽取出的这个ROI区域与基准图像的对应的ROI区域状态一致；对所有ROI区域的判断结果进行逻辑与操作，即只有基准图像和对比图像的每块区域都相似，才能判断两张图像相似结果；

S3：确定虚拟开关在对比图像以及参考图像中分别对应的特征点，并计算出对比图像以及参考图像中的各对特征点的偏移值；

S4：根据各对特征点的偏移值更新虚拟开关的状态参数。

在本实施例中，如果此时虚拟开关的状态判断为关，通过光流法，测定当前对比图像和基准图像上每一对特征点的偏移值；如果偏移值大于设定的最大偏移距离，且在步骤S1中初始化开关的判断结果为开，则开始对帧数进行计数，如果计数超过预设帧数，则最终判断开关为关，并更虚拟开关的状态参数；

同理，此时虚拟开关的状态判断为开，偏移值大于设定的最大偏移距离，且步骤S1中初始化开关的判断结果为关，则开始对帧数进行计数，如果计数超过预设帧数，则最终判断开关为开，并更新虚拟开关的状态参数。

其中，光流(Optical flow or optic flow)是关于视域中的物体运动检测中的概念。用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。光流法在样型识别、计算机视觉以及其他影像处理领域中非常有用，可用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等等。

具体的，步骤S1包括以下步骤：

S10：对对比图像进行去噪处理；

S11：捕捉头盔显示器移动前和移动后的位置，并计算出对比图像的参考坐标系相对于世界坐标系的第一空间变换矩阵；其中，头盔显示器用于获取对比图像以及显示虚拟图像；

S12：获取目标参照物对应的若干个基准点的目标区域(即ROI区域)，并计算出目标参照物的各个基准点参考坐标系对于世界坐标系的第二空间变换矩阵；

在本实施例中，目标参照物为座舱前仪表板，通过获取座舱前仪表板的三个基准点的目标区域，计算出座舱前仪表板的三个基准点参考系相对于世界坐标系的第二空间位置变换矩阵；

S13：根据第一空间变换矩阵和第二空间变换矩阵，计算出虚拟图像的参考坐标系与目标参照物(即座舱前仪表板)对应的各个基准点的参考坐标系之间的第三空间变换矩阵；

S14：根据第三空间变换矩阵重建三维虚拟模型，确定三维虚拟模型在虚拟图像坐标下的空间位置矩阵，使三维虚拟模型的坐标系与虚拟图像坐标一致；其中，三维虚拟模型包括虚拟开关和虚拟手；

S15：计算出头盔显示器的标定矩阵。

其中，空间变换矩阵是将二维维度的坐标转换到三维的坐标系，参考空间位置都是基于去噪处理的图像的数字化建立的坐标系转换的矩阵。

具体的，步骤S2还包括以下步骤：

S21：划分出对比图像中的各个轮廓，根据各个轮廓的面积和长宽比进行筛选，筛选出与虚拟开关对应的轮廓；

S22：通过边缘检测算法提取对比图像内的数字表边缘，并根据数字表边缘确定所有数字表区域，并提取各个数字表区域内的数字表特征；将数字表特征与预存储的数字表模板进行匹配，确定各个数字表区域对应的数字表类型，并根据数字表类型对应读取规则提取各个数字表内读数。

另一具体的，步骤S3还包括：创建虚拟手模型；虚拟手模型包括第一碰撞体；虚拟开关包括第二碰撞体。

步骤S4还包括：通过识别第一碰撞体与第二碰撞体的接触状态，更新虚拟开关的状态参数。

其中，创建的虚拟手的数据模型，含手的各个关节、手指、指尖，并在关节、手指、指尖建立一个骨骼点，最终形成一个手的预制体，通过摄像头实时识别捕捉手的运动状态，在手的是食指指肚的骨骼点和虚拟开关上的关节点处都添加一个碰撞体，使得手指点击虚拟开关实现触碰的效果，实际上的两个碰撞体之间的接触，或通过第一碰撞体，使虚拟开关随着第二碰撞体的偏移而产生偏移，进而响应并执行脚本中的内容(改变开关的状态)。

本实施例还提供一种计算设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图3所示。需要指出的是，图3仅示出了具有组件21-22的计算设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

本实施例中，存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算设备20的内部存储单元，例如该计算设备20的硬盘或内存。在另一些实施例中，存储器21也可以是计算设备20的外部存储设备，例如该计算设备20上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算设备20的操作系统和各类应用软件，例如实施例一的试车装置的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行试车装置，以实现实施例一的一种基于虚拟现实的开关状态识别方法。

本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储一种试车装置，被处理器执行时实现实施例一的一种基于虚拟现实的开关状态识别方法。

根据示例性实施例，本发明的一种基于虚拟现实的开关状态识别方法，其基于传感器的跟踪注册技术、基于视觉的跟踪注册技术、显示技术和交互技术，解决模型与实际模型重合不漂移的定位问题，并有效识别虚拟开关的位置，以及实现对虚拟开关的状态的精确的判断，进而实现可视化诱导式的发动机试车操作流程，更好的模拟发动机试车训练。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

流程图中或在此以其它方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

本技术领域的普通技术人员可以理解，实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于，包括：头盔显示器和试车装置；所述头盔显示器与所述试车装置连接；

所述头盔显示器包括传感器组、摄像头和显示器；

所述试车装置包括：场景分析模块、模型生成模块、开关状态识别模块、场景数据库、和虚拟图像生成模块；

所述场景分析模块分别与所述传感器组、摄像头以及所述场景数据库连接，通过所述场景数据库获取基准图像、通过摄像头获取对比图像，以及通过所述传感器组获取头盔显示器的位置变化信息；

所述场景分析模块用于对所述对比图像与各个所述基准图像进行对比，并分别计算出对应的各个感兴趣区域的结构相似度，根据所述各个感兴趣区域的结构相似度，确定与所述对比图像相似的基准图像，作为参考图像；

所述模型生成模块用于根据所述参考图像重建三维虚拟模型，并确定所述三维虚拟模型在所述虚拟图像坐标下的空间位置矩阵；其中，所述三维虚拟模型包括虚拟开关；

所述开关状态识别模块用于计算出对比图像以及参考图像中的各对特征点的偏移值；根据各对特征点的偏移值更新所述虚拟开关的状态参数；

所述虚拟图像生成模块与所述显示器连接，用于根据所述三维虚拟模型生成虚拟图像，并通过所述显示器进行显示。

2.根据权利要求1所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于：

所述场景分析模块还用于识别并提取操作者的手势图像。

3.根据权利要求2所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于：

所述三维虚拟模型还包括虚拟手模型；

所述虚拟手模型包括第一碰撞体；所述虚拟开关包括第二碰撞体；

所述开关状态识别模块与所述模型生成模块连接，用于通过识别所述第一碰撞体与所述第二碰撞体的接触状态，更新所述虚拟开关的状态参数。

4.根据权利要求1至3任一项所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于：

所述试车装置还包括：训练信息数据库和工作流生成模块；

所述训练信息数据库用于存储训练信息；

所述工作流生成模块用于根据获取的训练信息生成对应的工作流程信息；

所述虚拟图像生成模块根据所述工作流程信息生成对应的虚拟图像。

5.根据权利要求4所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于：

所述工作流程信息包括语音提示信息；

所述头盔显示器还包括相互电连接的语音交互模块和语音播报模块；所述工作流生成模块与所述语音交互模块电连接，通过所述语音播报模块播报所述语音提示信息。

6.一种基于虚拟现实的开关状态识别方法，应用于权利要求1至5任一项所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于，包括以下步骤：

初始化对比图像，以及初始化虚拟开关的状态参数；其中，对比图像为实时视频流中提取的图像；

将所述对比图像与各个基准图像对比，并分别计算出对应的各个感兴趣区域的结构相似度，根据所述各个感兴趣区域的结构相似度，确定与所述对比图像相似的基准图像，作为参考图像；

确定所述虚拟开关在所述对比图像以及所述参考图像中分别对应的特征点，并计算出所述对比图像以及所述参考图像中的各对所述特征点的偏移值；

根据各对所述特征点的偏移值更新所述虚拟开关的状态参数。

7.根据权利要求6所述的一种基于虚拟现实的开关状态识别方法，其特征在于，所述将所述对比图像与各个基准图像对比，并分别计算出对应的各个感兴趣区域的结构相似度，根据所述各个感兴趣区域的结构相似度，确定与所述对比图像相似的基准图像，作为参考图像，还包括：

划分出所述对比图像中的各个轮廓，根据各个轮廓的面积和长宽比进行筛选，筛选出与虚拟开关对应的轮廓；

通过边缘检测算法提取所述对比图像内的数字表边缘，并根据所述数字表边缘确定所有数字表区域，并提取各个数字表区域内的数字表特征。

8.根据权利要求7所述的一种基于虚拟现实的开关状态识别方法，其特征在于，所述提取各个数字表区域内的数字表特征之后，还包括：

将所述数字表特征与预存储的数字表模板进行匹配，确定各个数字表区域对应的数字表类型，并根据所述数字表类型对应的读取规则提取各个数字表内读数。

9.根据权利要求6所述的一种基于虚拟现实的开关状态识别方法，其特征在于：所述确定所述虚拟开关在所述对比图像以及所述参考图像中分别对应的特征点，并计算出所述对比图像以及所述参考图像中的各对所述特征点的偏移值还包括：

创建虚拟手模型；其中，所述虚拟手模型包括第一碰撞体；所述虚拟开关包括第二碰撞体；

所述根据各对所述特征点的偏移值更新所述虚拟开关的状态参数，还包括：通过识别所述第一碰撞体与第二碰撞体的接触状态，更新所述虚拟开关的状态参数。

10.根据权利要求6至9任一项所述的一种基于虚拟现实的开关状态识别方法，其特征在于，所述初始化对比图像，以及初始化虚拟开关的状态参数包括：

捕捉所述头盔显示器移动前和移动后的位置，并计算出对比图像的参考坐标系相对于世界坐标系的第一空间变换矩阵；

获取目标参照物对应的若干个基准点的目标区域，并计算出所述目标参照物的各个基准点参考坐标系对于世界坐标系的第二空间变换矩阵；

根据所述第一空间变换矩阵和第二空间变换矩阵，计算出所述虚拟图像的参考坐标系与所述目标参照物对应的各个基准点的参考坐标系之间的第三空间变换矩阵；

根据所述第三空间变换矩阵重建三维虚拟模型，确定所述三维虚拟模型在所述虚拟图像坐标下的空间位置矩阵；其中，所述三维虚拟模型包括所述虚拟开关；

计算出所述头盔显示器的标定矩阵。