CN110648405B - 一种基于增强现实的飞行操作辅助方法和系统 - Google Patents
一种基于增强现实的飞行操作辅助方法和系统 Download PDFInfo
- Publication number
- CN110648405B CN110648405B CN201910967905.9A CN201910967905A CN110648405B CN 110648405 B CN110648405 B CN 110648405B CN 201910967905 A CN201910967905 A CN 201910967905A CN 110648405 B CN110648405 B CN 110648405B
- Authority
- CN
- China
- Prior art keywords
- module
- voice
- image
- hololens
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 39
- 230000007613 environmental effect Effects 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims description 17
- 230000005236 sound signal Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 239000011521 glass Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 15
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000003993 interaction Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000003570 air Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 101000746134 Homo sapiens DNA endonuclease RBBP8 Proteins 0.000 description 1
- 101001128969 Homo sapiens Neuron navigator 1 Proteins 0.000 description 1
- 101000582002 Homo sapiens Neuron navigator 2 Proteins 0.000 description 1
- 101000969031 Homo sapiens Nuclear protein 1 Proteins 0.000 description 1
- 102100031225 Neuron navigator 1 Human genes 0.000 description 1
- 102100030465 Neuron navigator 2 Human genes 0.000 description 1
- 102100021133 Nuclear protein 1 Human genes 0.000 description 1
- 239000012080 ambient air Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C19/00—Aircraft control not otherwise provided for
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Aviation & Aerospace Engineering (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于增强现实的飞行操作辅助方法和系统，包括以下步骤，采集模块实时采集虚拟驾驶舱内的环境数据作为实时输入；所述环境数据输入至识别模块进行识别并生成识别结果；提示模块根据所述识别结果匹配相对应的信息提示给用户；用户根据提示的信息进行控制操作并获得下一步的提示。本发明的有益效果：一是能够加快飞行员训练中的学习速度，增强其对驾驶舱仪表盘各部件位置信息的记忆；二是减少因操作失误或误操作带来的飞行事故的发生概率；三是减少飞行员的工作负荷，保证更安全的飞行；减少飞行员花费在操作任务上的时间，提高飞行效率。
Description
技术领域
本发明涉及增强现实的技术领域，尤其涉及一种基于增强现实的飞行操作辅助系统。
背景技术
近年来航空飞行员培训的过程依靠有经验的飞行员为受训者提供飞行程序步骤的指导，而这些过程主要通过口头指示来进行。由于人员口头培训容易出错，并且培训花费大量时间，因此急需利用新技术来解决这些问题。
目前在飞行驾驶舱中，广泛使用的是被称为“电子飞行包”的设备。此设备是一个已经预装有相关驾驶操作信息软件的平板。可以利用平板的语音提示功能以及图形化界面功能，达到提示飞行员操作信息的功能。基于语音的飞行操作辅助系统具有“解放双手”以及占用空间小的功能，并且能够将飞行员的工作负荷减少10％-50％。但是，使用此系统会增加飞行员的任务完成时间[3]。更重要的是，由于平板缺乏语音交互功能，飞行员无法控制操作步骤提示的停止与开始。例如，飞行员还未完成上一步骤的操作或者检查，语音提示就已经播放到了下一步骤，这大大降低了系统的实用性。
增强现实已在航空的许多应用领域中用作培训环境。随着增强现实的成熟度不断增长，开发AR辅助系统变得有可能，以通过向可视环境添加交互式虚拟内容和视觉指导来支持操作人员。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的一个技术问题是：提供一种基于增强现实的飞行操作辅助方法，能够增加系统的实用性和安全性。
为解决上述技术问题，本发明提供如下技术方案：一种基于增强现实的飞行操作辅助方法，包括以下步骤，采集模块实时采集虚拟驾驶舱内的环境数据作为实时输入；所述环境数据输入至识别模块进行识别并生成识别结果；提示模块根据所述识别结果匹配相对应的信息提示给用户；用户根据提示的信息进行控制操作并获得下一步的提示。
作为本发明所述的基于增强现实的飞行操作辅助方法的一种优选方案，其中：所述环境数据包括所述虚拟驾驶舱屏幕上实时显示的目标图像和虚拟驾驶舱内用户实时发出的语音信号。
作为本发明所述的基于增强现实的飞行操作辅助方法的一种优选方案，其中：所述识别模块包括图像识别模块和语音识别模块；所述图像识别模块检测并识别虚拟驾驶舱屏幕上的目标图像，并确定驾驶舱中的各仪表盘和显示屏的位置；所述语音识别模块实时接收虚拟驾驶舱内用户发出的语音信号并识别匹配用户指令。
作为本发明所述的基于增强现实的飞行操作辅助方法的一种优选方案，其中：所述提示模块包括AR提示模块和语音提示模块；所述AR提示模块接收所述图像识别模块的识别结果，匹配相应的提示信息在虚拟驾驶舱屏幕上并与仪表盘上的相应位置重叠；所述语音提示模块包括将所述AR提示模块提示的信息进行语音播报提示和根据所述语音识别模块的识别结果，匹配相应的提示信息进行语音播报。
作为本发明所述的基于增强现实的飞行操作辅助方法的一种优选方案，其中：所述识别模块还包括以下识别步骤，所述采集模块利用HoloLens摄像机采集驾驶舱内目标图像；创建用Vuforia SDK分析处理并提取完成特征点的图像数据库；将所述HoloLens摄像机的实时视频所捕捉的目标图像与数据库中样本图像进行特征匹配；确定虚拟驾驶舱中的仪表盘显示屏位置；匹配完成后所述提示模块将增强现实元素和语音指导在内的辅助操作信息通过HoloLens告知给用户。
作为本发明所述的基于增强现实的飞行操作辅助方法的一种优选方案，其中：所述Vuforia为一种图像识别SDK，测试多个图像以选择最佳方法，使用具有更多标记的图像，且图像识别的关键元素特征位于Microsoft HoloLens的屏幕视野中，否则识别信号会发生丢失，用户无法继续检查清单。
作为本发明所述的基于增强现实的飞行操作辅助方法的一种优选方案，其中：包括以下步骤，使用软件X-Plane 11创建虚拟驾驶舱；使用Unity引擎创建所述AR提示模块；创建了语音命令检查表；检测到目标图像完成，就将AR提示作为视觉指令提供给用户，
作为本发明所述的基于增强现实的飞行操作辅助方法的一种优选方案，其中：包括以下提示步骤，一旦匹配到待识别的目标图像，HoloLens会在其屏幕上显示“Please saystart to begin the test”，同时从HoloLens的扬声器中也会播报出相同的提示信息；用户只需按照提示，说出“start”即可进入下一步骤。
作为本发明所述的基于增强现实的飞行操作辅助方法的一种优选方案，其中：包括以下识别步骤，利用来自屏幕上显示的飞行模拟器的图像源、与Microsoft HoloLens通信的语音命令共同作为输入；Vuforia SDK使用图像源进行图像识别；HoloToolKit使用语音命令进行语音识别；在Unity引擎的语音指令和Visual Cue模块中分析这两个输入；Unity应用程序返回两个输出：HoloLens扬声器的语音辅助和HoloLens Glass Display的视觉辅助。
本发明解决的另一个技术问题是：提供一种基于增强现实的飞行操作辅助系统，能够增加系统的实用性和安全性。
为解决上述技术问题，本发明提供如下技术方案：一种基于增强现实的飞行操作辅助系统，包括采集模块、识别模块和提示模块；所述采集模块用于实时采集虚拟驾驶舱内的环境数据作为实时输入；所述识别模块用于接收所述环境数据的输入进行识别并生成识别结果；所述提示模块用于根据所述识别结果匹配相对应的信息提示给用户。
本发明的有益效果：一是能够加快飞行员训练中的学习速度，增强其对驾驶舱仪表盘各部件位置信息的记忆；二是减少因操作失误或误操作带来的飞行事故的发生概率；三是减少飞行员的工作负荷，保证更安全的飞行；减少飞行员花费在操作任务上的时间，提高飞行效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一种实施例所述基于增强现实的飞行操作辅助方法的整体流程结构示意图；
图2为本发明第一种实施例所述经过Vuforia SDK处理后的目标识别图像；
图3为本发明第一种实施例所述利用Unity将AR提示增强在待识别图像上的示意；
图4为本发明第一种实施例所述虚拟驾驶舱中仪表盘上的AR提示；
图5为本发明第一种实施例所述Unity中各步骤设计图示意；
图6为本发明第二种实施例所述基于增强现实的飞行操作辅助系统的整体原理结构示意图；
图7为本发明第二种实施例所述核心软件和硬件之间的体系结构和交互概述示意图；
图8～21为本发明第二种实施例所述AR飞行辅助操作系统效果展示。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
当前航空飞行员培训的过程依靠有经验的飞行员为受训者提供飞行程序步骤的指导，而这些过程主要通过口头指示来进行。由于人员口头培训容易出错，并且培训花费大量时间，因此急需利用新技术来解决这些问题。目前在飞行驾驶舱中，广泛使用的是被称为“电子飞行包”的设备。此设备是一个已经预装有相关驾驶操作信息软件的平板。可以利用平板的语音提示功能以及图形化界面功能，达到提示飞行员操作信息的功能。基于语音的飞行操作辅助系统具有“解放双手”以及占用空间小的功能，并且能够将飞行员的工作负荷减少10％-50％。但是，使用此系统会增加飞行员的任务完成时间。更重要的是，由于平板缺乏语音交互功能，飞行员无法控制操作步骤提示的停止与开始。例如，飞行员还未完成上一步骤的操作或者检查，语音提示就已经播放到了下一步骤，这大大降低了系统的实用性。
目前，增强现实已在航空的许多应用领域中用作培训环境。随着增强现实的成熟度不断增长，开发AR辅助系统变得有可能，以通过向可视环境添加交互式虚拟内容和视觉指导来支持操作人员。在先前的研究中，AR辅助系统已经在诸如飞机维护和机器组装，空中交通检测等方面进行了开发测试。
美国联邦航空协会(FAA)的研究结果表明，80％的航空事故是由于基于技能的错误和缺乏态势感知所致。在超过17,000起航空事故中，基于技能的最常见错误包括：飞机在地面和空中的控制或处理不善，不适当地保持空速，发生失速或旋转。值得注意的是，在所有类型的不安全行为中，这些基于技能的错误比任何其他错误类别更经常发生。通过在现实世界中覆盖虚拟的相关信息来增强现实世界，从而提供重要信息。有人设计并评估了一个基于谷歌眼睛的头戴式AR设备，以帮助飞行员快速定位和识别周围的空中交通。研究的目的是确定辅助技术在检测周围空中交通方面是否产生更快的响应时间。航空领域的增强现实研究通过增强人类在执行技术任务方面的绩效，显示出令人鼓舞的结果。增强现实技术也已成功用于飞机维修培训、机器组装、操作支持、危险检测、飞行控制以及空中交通检测、海军航空培训，使用GoogleGlass的飞行员操作辅助显示器以及用于汽车操作辅助的AR头戴式显示器。
参照图1的示意，示意为本实施例提出一种基于增强现实的飞行操作辅助方法的流程结构示意，能够加快飞行员训练中的学习速度，增强其对驾驶舱仪表盘各部件位置信息的记忆；减少因操作失误或误操作带来的飞行事故的发生概率；减少飞行员的工作负荷，保证更安全的飞行；减少飞行员花费在操作任务上的时间，提高飞行效率。具体的，该方法包括以下步骤，
S1：采集模块100实时采集虚拟驾驶舱内的环境数据作为实时输入；环境数据包括虚拟驾驶舱屏幕上实时显示的目标图像和虚拟驾驶舱内用户实时发出的语音信号。
S2：环境数据输入至识别模块200进行识别并生成识别结果。
其中识别模块200包括图像识别模块201和语音识别模块202；
图像识别模块201检测并识别虚拟驾驶舱屏幕上的目标图像，并确定驾驶舱中的各仪表盘和显示屏的位置；飞机驾驶舱内主要有两块显示屏，显示屏周边有按键，而各仪表盘也就显示在显示屏上面。在操作时，一般是操作显示屏周围的按键，按键的调整结果是从仪表盘上反应出来，自然，从显示屏上也能看得出来。所以此处确切的说是确定各仪表盘的位置。
语音识别模块202实时接收虚拟驾驶舱内用户发出的语音信号并识别匹配用户指令。
进一步的，识别模块200还包括以下识别步骤，
采集模块100利用HoloLens摄像机采集驾驶舱内目标图像；
创建用Vuforia SDK分析处理并提取完成特征点的图像数据库；
将HoloLens摄像机的实时视频所捕捉的目标图像与数据库中样本图像进行特征匹配；
确定虚拟驾驶舱中的仪表盘显示屏位置；
匹配完成后提示模块300将增强现实元素和语音指导在内的辅助操作信息通过HoloLens告知给用户。
需要说明的是，HoloLens又称混合现实头戴式设备，它是一个专有设备名词，Vuforia SDK又称Vuforia软件开发包，Vuforia为一种图像识别SDK，测试多个图像以选择最佳方法，使用具有更多标记的图像，且图像识别的关键元素特征位于MicrosoftHoloLens的屏幕视野中，否则识别信号会发生丢失，用户无法继续检查清单。当识别信号发生丢失，HoloLens头盔会发出“信号已丢失”的语音提示，所以操作人员无法获知此步骤或下一步骤的具体操作内容。
需要说明的是，本步骤中应用的图像识别技术为特征点匹配算法，具体识别步骤如下：首先对待识别图像和视频流图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数判断两幅图像是否一致。
同时语音识别技术：主要包含特征提取、声学模型，语言模型以及字典与解码四大部分，其中为了更有效地提取特征往往还需要对所采集到的声音信号进行滤波、分帧等预处理工作，把要分析的信号从原始信号中提取出来；之后，特征提取工作将声音信号从时域转换到频域，为声学模型提供合适的特征向量；声学模型中再根据声学特性计算每一个特征向量在声学特征上的得分；而语言模型则根据语言学相关的理论，计算该声音信号对应可能词组序列的概率；最后根据已有的字典，对词组序列进行解码，得到最后可能的文本表示。
S3：提示模块300根据识别结果匹配相对应的信息提示给用户。
提示模块300包括AR提示模块301和语音提示模块302；
AR提示模块301接收图像识别模块201的识别结果，匹配相应的提示信息在虚拟驾驶舱屏幕上并与仪表盘上的相应位置重叠；
语音提示模块302包括将AR提示模块301提示的信息进行语音播报提示和根据语音识别模块202的识别结果，匹配相应的提示信息进行语音播报。
S4：用户根据提示的信息进行控制操作并获得下一步的提示。
本实施例提出的方法还包括以下步骤，
使用软件X-Plane 11创建虚拟驾驶舱；
使用Unity引擎创建AR提示模块301；
创建语音命令检查表；
检测到目标图像完成，就将AR提示作为视觉指令提供给用户。此处需要说明的是，具体的创建过程包括：
一、Xplane11是一个虚拟飞行驾驶软件，创建步骤为：打开软件，选择飞机型号，选择机场，选择天气状况。确认后电脑屏幕上自动生成对应的虚拟驾驶舱样貌。
二、AR提示模块创建步骤：
1.利用3dmax软件建立3d模型
2.将所建3d模型导入Unity引擎
3.从Unity引擎的材料面板中将3d模型拖拽至场景中，并与待识别仪表盘区域重合，达到提示仪表盘位置效果。
还包括以下提示步骤，
一旦匹配到待识别的目标图像，HoloLens会在其屏幕上显示“Please say startto begin the test”，同时从HoloLens的扬声器中也会播报出相同的提示信息；
用户只需按照提示，说出“start”即可进入下一步骤。
同时包括以下识别步骤，
利用来自屏幕上显示的飞行模拟器的图像源、与Microsoft HoloLens通信的语音命令共同作为输入；
Vuforia SDK使用图像源进行图像识别；
HoloToolKit使用语音命令进行语音识别；
在Unity引擎的语音指令和Visual Cue模块中分析这两个输入；在本步骤中包括图像识别模块分析输入：首先对待识别图像和视频流图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数判断两幅图像是否一致。语音识别模块分析输入：模块主要包含特征提取、声学模型，语言模型以及字典与解码四大部分，其中为了更有效地提取特征往往还需要对所采集到的声音信号进行滤波、分帧等预处理工作，把要分析的信号从原始信号中提取出来；之后，特征提取工作将声音信号从时域转换到频域，为声学模型提供合适的特征向量；声学模型中再根据声学特性计算每一个特征向量在声学特征上的得分；而语言模型则根据语言学相关的理论，计算该声音信号对应可能词组序列的概率；最后根据已有的字典，对词组序列进行解码，得到最后可能的文本表示。
Unity应用程序返回两个输出：HoloLens扬声器的语音辅助和HoloLens GlassDisplay(HoloLens全息显示屏)的视觉辅助。
还需要说明的是，创建语音命令检查表(即飞机起飞前操作步骤及要求描述)如下表1的示意。
表1
| 序号 | 操作描述 | 状态 |
| 1 | Check Engine’s RPM | Adjust to 1800RPM |
| 2 | Check Fuel consumption | Normal operating conditions |
| 3 | Check Oil pressure | Normal operating conditions |
| 4 | Check Oil temperature | Normal operating conditions |
| 5 | Check VAC Indicator | Normal operating conditions |
| 6 | Check Fuel Quantity | Normal operating conditions |
| 7 | Check Volts | Normal operating conditions |
| 8 | Check Amps | Normal operating conditions |
| 9 | Set NAV1 frequency | Set 115.00 |
| 10 | Set NAV2 frequency | Set 116.55 |
| 11 | Set COM1 frequency | Set 126.000 |
| 12 | Set COM2 frequency | Set 128.275 |
| 13 | Check Airspeed | Normal operating conditions |
| 14 | Check Vertical speed | Normal operating conditions |
| 15 | Check Altitude | Normal operating conditions |
| 16 | Check Slip/Skid indicator | Normal operating conditions |
| 17 | Check AHRS | Normal operating conditions |
| 18 | Check Compass and heading | Normal operating conditions |
| 19 | Check Transponder | Turn ON |
同时为加深本领域技术人员的理解，进一步的通俗的说，为了实现飞行员训练辅助系统应用，由于我们使用软件X-Plane 11代替了真正的驾驶舱，并且通过屏幕上的图像来显示驾驶舱，因此将图像识别技术用作实现驾驶舱定位的一种方法。
它的工作方式是通过准备好的图像以获得足够数量的特征点。通过将HoloLens摄像机的实时视频所捕捉的图像与数据库中已经用Vuforia SDK分析处理并提取完毕特征点的那些目标图像进行匹配，系统将知道驾驶舱中的仪表盘显示屏位置。一旦检测到目标图像，包括增强现实元素和语音指导在内的辅助操作信息就会通过HoloLens告知给用户。
参照图2～5的示意，本实施例分为三个方面：
1.图像识别及特征点挖掘：
基于Unity 2017.1.0p5和Vuforia SDK构建的，Vuforia是一种图像识别SDK。图像识别在构建此原型中起着至关重要的作用。选择Vuforia SDK是因为它使用了卓越，稳定且高效的基于计算机视觉的图像识别技术，并提供了一些功能，使移动应用程序能够开发AR提示并使开发人员免于技术限制。根据功能，准确性和可用性对不同的SDK进行了比较。
测试多个图像以选择最佳方法，即使用具有更多标记的图像，参照图2。
Vuforia中的图像评级表示将由Microsoft HoloLens使用的已识别特征的数量。如果标记的评级较低(3星或更低)，则图像识别过程会花费更多时间并且用户体验很差。图像识别的关键元素应位于Microsoft HoloLens的屏幕视野中，否则信号可能会丢失，用户无法继续检查清单。在图像增强环境中进行培训，特别是结合模拟，可以提高程序的安全性，并使受训人员有机会在干预之前学习或执行模拟程序。
2.AR提示：
为了实现AR飞行操作辅助系统，图像识别技术被用作实现驾驶舱定位的一种方式。使用软件X-Plane 11而不是真正的驾驶舱。视觉输入是来自屏幕的图像。识别图像后，使用Unity引擎创建AR提示，参照图3。系统通过将ARPAS前置摄像头的实时视频输入与数据库中的目标图像进行匹配来识别驾驶舱中显示器的位置。以前使用的是特征点。一旦检测到目标图像完成，就将AR提示作为视觉指令提供给新的飞行员。与其他增强现实SDK(如Metaio)相比，Vuforia使用更稳定，更高效的基于计算机视觉的图像识别技术。
创建几个语音命令。例如，如果参与者说“check”，则HoloLens会识别它并进入检查表中的下一个项目。如果参与者说“repeat”，则HoloLens会识别它并重复该命令，请参照图4。
3.输入及交互方式：
本实施例包括两个数据输入：一个是来自屏幕上显示的飞行模拟器的图像源，另一个是参与者用来与Microsoft HoloLens通信的语音命令。基本语音命令包括“To start,say start”，“To repeat,say repeat”，“To continue,say check”和“To skip,saynext”。
这些输入由两个模块处理：
Vuforia SDK使用图像源进行图像识别，
HoloToolKit使用语音命令进行语音识别。
然后在Unity引擎的语音指令和Visual Cue模块中分析这两个输入。
因此Unity应用程序返回了两个输出：通过HoloLens扬声器(由AR和语音条件使用)和HoloLens Glass Display(仅由AR条件用于AR提示)的语音辅助。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
实施例2
参照图6的示意，示意为一种基于增强现实的飞行操作辅助系统的整体原理结构图，包括采集模块100、识别模块200和提示模块300；其中采集模块100设置于用户佩戴设备上，用于实时采集虚拟驾驶舱内的环境数据作为实时输入；识别模块200与采集模块100连接，用于接收环境数据的输入进行识别并生成识别结果；提示模块300与识别模块200连接，用于根据识别结果匹配相对应的提示信息提示给用户。
参照图7示意为本系统的体系结构，即核心软件和硬件之间的体系结构和交互概述。同时结果展示如附图8～21处AR飞行辅助操作系统效果示意，实际应用的具体过程如下：
1.用户佩戴HoloLens并进入相应的AR软件程序，面对驾驶舱内的两个仪表盘，且分别是主飞行任务仪表盘和多功能仪表盘。
2.程序调用HoloLens的摄像头，检测周围环境，并启用图像识别功能。一旦匹配到待识别的目标图像，HoloLens会在其屏幕上显示“Please say start to begin thetest”，同时，从HoloLens的扬声器中也会播报出相同的提示信息。用户只需按照提示，说出“start”即可进入下一步骤。
3.程序会根据相应的步骤顺序将每一步的操作位置信息呈现在HoloLens屏幕上。例如图8所示，在此步骤中，需要飞行员在起飞前将飞机引擎的风门值调节到1800RPM，这是保证飞机正常起飞的规定值。对于新飞行员来说，他们不知道需要看仪表盘上的哪个位置来确保风门值到1800RPM。戴上HoloLens之后，程序会显示AR提示信息在屏幕上，并与仪表盘上的相应位置重叠，以此达到提示操作位置信息的效果。
4.通过语音交互来控制操作步骤的进程，当用户完成某一步骤，可以利用语音交互模块进入下一步骤，使用方法是说出词“check”。若用户没有听清楚此步骤的播报信息，可以说出词“repeat”来重复此步骤的信息。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (6)
1.一种基于增强现实的飞行操作辅助方法，其特征在于：包括以下步骤，
采集模块(100)实时采集虚拟驾驶舱内的环境数据作为实时输入；
所述环境数据输入至识别模块(200)进行识别并生成识别结果；
提示模块(300)根据所述识别结果匹配相对应的信息提示给用户；
用户根据提示的信息进行控制操作并获得下一步的提示；
其中，所述环境数据包括所述虚拟驾驶舱屏幕上实时显示的目标图像和虚拟驾驶舱内用户实时发出的语音信号；
所述识别模块(200)包括图像识别模块(201)和语音识别模块(202)；
所述图像识别模块(201)检测并识别虚拟驾驶舱屏幕上的目标图像，并确定驾驶舱中的各仪表盘和显示屏的位置；图像识别模块(201)通过识别图像和视频流图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数判断两幅图像是否一致；
所述语音识别模块(202)实时接收虚拟驾驶舱内用户发出的语音信号并识别匹配用户指令；语音识别模块(202)主要包含特征提取、声学模型，语言模型以及字典与解码四大部分，其中为了更有效地提取特征往往还需要对所采集到的声音信号进行滤波、分帧等预处理工作，把要分析的信号从原始信号中提取出来；之后，特征提取工作将声音信号从时域转换到频域，为声学模型提供合适的特征向量；声学模型中再根据声学特性计算每一个特征向量在声学特征上的得分；而语言模型则根据语言学相关的理论，计算该声音信号对应可能词组序列的概率；根据已有的字典，对词组序列进行解码，得到文本表示；
所述识别模块(200)还包括以下识别步骤，
所述采集模块(100)利用HoloLens摄像机采集驾驶舱内目标图像；
创建用Vuforia SDK分析处理并提取完成特征点的图像数据库；
将所述HoloLens摄像机的实时视频所捕捉的目标图像与数据库中样本图像进行特征匹配；
确定虚拟驾驶舱中的仪表盘显示屏位置；
匹配完成后所述提示模块(300)将增强现实元素和语音指导在内的辅助操作信息通过HoloLens告知给用户。
2.如权利要求1所述的基于增强现实的飞行操作辅助方法，其特征在于：所述提示模块(300)包括AR提示模块(301)和语音提示模块(302)；
所述AR提示模块(301)接收所述图像识别模块(201)的识别结果，匹配相应的提示信息在虚拟驾驶舱屏幕上并与仪表盘上的相应位置重叠；
所述语音提示模块(302)包括将所述AR提示模块(301)提示的信息进行语音播报提示和根据所述语音识别模块(202)的识别结果，匹配相应的提示信息进行语音播报。
3.如权利要求2所述的基于增强现实的飞行操作辅助方法，其特征在于：所述Vuforia为一种图像识别SDK，测试多个图像以选择最佳方法，使用具有更多标记的图像，且图像识别的关键元素特征位于Microsoft HoloLens的屏幕视野中，否则识别信号会发生丢失，用户无法继续检查操作清单上的步骤。
4.如权利要求3所述的基于增强现实的飞行操作辅助方法，其特征在于：包括以下步骤，
使用软件X-Plane 11创建虚拟驾驶舱；
使用Unity引擎创建所述AR提示模块(301)；
创建了语音命令检查表；
检测到目标图像完成，就将AR提示作为视觉指令提供给用户。
5.如权利要求4所述的基于增强现实的飞行操作辅助方法，其特征在于：包括以下提示步骤，
一旦匹配到待识别的目标图像，HoloLens会在其屏幕上显示“Please say start tobegin the test”，同时从HoloLens的扬声器中也会播报出相同的提示信息；
用户只需按照提示，说出“start”即可进入下一步骤。
6.如权利要求5所述的基于增强现实的飞行操作辅助方法，其特征在于：包括以下识别步骤，
利用来自屏幕上显示的飞行模拟器的图像源、与Microsoft HoloLens通信的语音命令共同作为输入；
Vuforia SDK使用图像源进行图像识别；
HoloToolKit使用语音命令进行语音识别；
在Unity引擎的语音识别模块和Visual Cue模块中分析这两个输入；
Unity应用程序返回两个输出：HoloLens扬声器和HoloLens Glass Display的语音辅助。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910967905.9A CN110648405B (zh) | 2019-10-12 | 2019-10-12 | 一种基于增强现实的飞行操作辅助方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910967905.9A CN110648405B (zh) | 2019-10-12 | 2019-10-12 | 一种基于增强现实的飞行操作辅助方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110648405A CN110648405A (zh) | 2020-01-03 |
| CN110648405B true CN110648405B (zh) | 2022-02-01 |
Family
ID=69012724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910967905.9A Active CN110648405B (zh) | 2019-10-12 | 2019-10-12 | 一种基于增强现实的飞行操作辅助方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110648405B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001966B (zh) * | 2020-08-03 | 2023-06-09 | 南京理工大学 | 飞行训练ar系统中显示屏的定位与跟踪方法 |
| CN112102502B (zh) * | 2020-09-03 | 2024-06-25 | 上海飞机制造有限公司 | 用于飞机驾驶舱功能试验的增强现实辅助方法 |
| CN113191350B (zh) * | 2021-06-03 | 2023-04-18 | 河南科技大学 | 一种飞机驾驶舱开关旋钮状态检测方法及其设备 |
| CN115562490B (zh) * | 2022-10-12 | 2024-01-09 | 西北工业大学太仓长三角研究院 | 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101231790A (zh) * | 2007-12-20 | 2008-07-30 | 北京理工大学 | 基于多个固定摄像机的增强现实飞行模拟器 |
| CN106571084A (zh) * | 2016-10-19 | 2017-04-19 | 广东容祺智能科技有限公司 | 一种基于增加现实的无人机模拟飞行系统 |
| CN106856566A (zh) * | 2016-12-16 | 2017-06-16 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种基于ar设备的信息同步方法及系统 |
| CN107608507A (zh) * | 2017-09-05 | 2018-01-19 | 清华大学 | 弱光条件下机车部件的选定方法及机车辅助维修系统 |
| CN109074749A (zh) * | 2016-04-15 | 2018-12-21 | 泰勒斯公司 | 用于飞行器飞行管理的数据的显示方法以及相关的计算机程序产品和系统 |
| CN208367541U (zh) * | 2018-06-06 | 2019-01-11 | 武汉经纬度无人机科技有限公司 | 小型无人机飞行训练增强现实辅助教练装置 |
| CN110211449A (zh) * | 2018-02-28 | 2019-09-06 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的飞行驾驶训练系统以及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109920283A (zh) * | 2017-12-12 | 2019-06-21 | 王子南 | 一种仿真沙盘系统 |
-
2019
- 2019-10-12 CN CN201910967905.9A patent/CN110648405B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101231790A (zh) * | 2007-12-20 | 2008-07-30 | 北京理工大学 | 基于多个固定摄像机的增强现实飞行模拟器 |
| CN109074749A (zh) * | 2016-04-15 | 2018-12-21 | 泰勒斯公司 | 用于飞行器飞行管理的数据的显示方法以及相关的计算机程序产品和系统 |
| CN106571084A (zh) * | 2016-10-19 | 2017-04-19 | 广东容祺智能科技有限公司 | 一种基于增加现实的无人机模拟飞行系统 |
| CN106856566A (zh) * | 2016-12-16 | 2017-06-16 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种基于ar设备的信息同步方法及系统 |
| CN107608507A (zh) * | 2017-09-05 | 2018-01-19 | 清华大学 | 弱光条件下机车部件的选定方法及机车辅助维修系统 |
| CN110211449A (zh) * | 2018-02-28 | 2019-09-06 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的飞行驾驶训练系统以及方法 |
| CN208367541U (zh) * | 2018-06-06 | 2019-01-11 | 武汉经纬度无人机科技有限公司 | 小型无人机飞行训练增强现实辅助教练装置 |
Non-Patent Citations (3)
| Title |
|---|
| 何宁等.增强现实航天飞行训练系统空间定位.《航天医学与医学工程》.2018,第31卷(第2期), * |
| 基于混合现实技术的数字博物馆应用研究;戚纯;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190415(第4期);第10-51页 * |
| 增强现实航天飞行训练系统空间定位;何宁等;《航天医学与医学工程》;20180430;第31卷(第2期);第255-260页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110648405A (zh) | 2020-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110648405B (zh) | 一种基于增强现实的飞行操作辅助方法和系统 | |
| US20230085781A1 (en) | Aircraft ground guidance system and method based on semantic recognition of controller instruction | |
| US9824689B1 (en) | Speech recognition for avionic systems | |
| CN110554774B (zh) | 一种面向ar的导航式交互范式系统 | |
| US20160155435A1 (en) | Aircraft systems and methods for reducing and detecting read-back and hear-back errors | |
| US11900817B2 (en) | Aircraft speech recognition systems and methods | |
| CN108630019B (zh) | 用于渲染供atc条件许可指令使用的飞机驾驶舱显示的系统和方法 | |
| US9922651B1 (en) | Avionics text entry, cursor control, and display format selection via voice recognition | |
| Draper et al. | Manual versus speech input for unmanned aerial vehicle control station operations | |
| US9524142B2 (en) | System and method for providing, gesture control of audio information | |
| US9546005B2 (en) | Voice router | |
| CN105894863A (zh) | 一种民航飞行操作安全校验方法及其装置 | |
| CA3014951A1 (en) | Methods, systems and apparatuses for improving speech recognition using touch-based predictive modeling | |
| US5961331A (en) | Air traffic voice interactive simulator | |
| US9432611B1 (en) | Voice radio tuning | |
| CN111627257B (zh) | 基于航空器运动趋势预判的管制指令安全预演与校验方法 | |
| US20140127655A1 (en) | Air traffic management systems and methods | |
| CN112185390B (zh) | 机上信息辅助方法及装置 | |
| CN114155861A (zh) | 空管语音智能监控系统 | |
| EP3483860A1 (en) | Methods are provided for flight management services in a cloud environment | |
| EP3855428B1 (en) | Aircraft speech recognition systems and methods | |
| CN115620268A (zh) | 一种多模态情绪识别方法、装置、电子设备及存储介质 | |
| Williamson et al. | Commercial speech recognition technology in the military domain: Results of two recent research efforts | |
| Rafi et al. | A dynamic heads-up air traffic locator & collision advisory display using Google Glass | |
| US20160155343A1 (en) | Traffic control training scenario generation apparatus, traffic control training apparatus, and traffic control training scenerio generation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |