CN112102502A - 用于飞机驾驶舱功能试验的增强现实辅助方法 - Google Patents

Abstract

本发明公开了一种用于飞机驾驶舱功能试验的增强现实辅助方法。该方法包括：扫描步骤，采用增强现实设备扫描当前驾驶舱，调取并基于存储有面板标定图像的全部可识别特征的第一识别特征数据库对扫描到的当前控制面板进行特征识别；三维融合步骤，自AO中调取与和功能试验相关联的待操作任务对应的关联特征及操作引导信息，并由增强现实设备基于当前控制面板的特征识别的结果添加并显示操作引导信息，以引导用户执行待操作任务。本发明通过结合图像特征点识别和比对技术以及增强现实设备的应用，能够有效地辅助操作人员以更高效、更准确地开展飞机系统功能试验。

Description

用于飞机驾驶舱功能试验的增强现实辅助方法

技术领域

本发明涉及飞机在装配完成后需进行的系统功能试验，尤其涉及一种用于飞机驾驶舱功能试验的增强现实辅助方法。

背景技术

飞机在装配完成后，需要进行系统功能试验和调整。传统的飞机在开展功能试验时，主要依托纸质化的程序文件说明试验步骤和主要操作，按照步骤依次操作断路器、操作板开关等操作器件，然后查看屏幕和指示灯的反馈来判断飞机性能是否正常。对于试验操作人员尤其是新人而言，断路器和操作板数量多，查找较困难，操作较为繁琐。对于飞机驾驶舱屏幕上显示的内容，无法准确判别故障的来源和故障的程度。对于故障的排除也非常依赖经验的积累。这些因素都导致了目前的飞机功能试验的效率较低。

传统的增强现实辅助飞机装配技术，主要是通过扫描二维码对飞机产品进行识别，在AR设备中实现虚拟三维模型与实物的匹配定位方法。通常，需要在定位之前对某些特征进行定义，且与二维码的关系需要手动关联匹配，其操作不够智能化且不够高效。在实际的飞机装配现场，由于飞机装配的复杂性，尤其是其中空间开敞性不好的区域，很可能基于前期的二维码标定的地方存在遮挡，这样就需要反复的进行标定，导致操作效率受到不利影响。

因此，亟需提供一种新的用于飞机驾驶舱功能试验的增强现实辅助方法，以帮助提高飞机系统功能试验的试验效率和准确性。

发明内容

本发明要解决的技术问题是为了克服现有的飞机在装配完成后在进行所需的功能试验时，无法为试验操作人员提供有效辅助，导致试验及相关操作的效率较低以及准确性不够高的缺陷，提出一种新的用于飞机驾驶舱功能试验的增强现实辅助方法。

本发明是通过下述技术方案来解决上述技术问题的：

本发明提供了一种用于飞机驾驶舱功能试验的增强现实辅助方法，其中飞机驾驶舱包括控制面板和显示屏，其特点在于，所述增强现实辅助方法包括以下步骤：

扫描步骤，其中采用增强现实设备(也简称为AR设备)扫描当前驾驶舱，调取并基于第一识别特征数据库对扫描到的所述当前驾驶舱的当前控制面板进行特征识别，其中所述第一识别特征数据库存储有面板标定图像的全部可识别特征；

三维融合步骤，其中自存储有和所述飞机驾驶舱功能试验相关联的待操作任务以及和所述待操作任务相关联的关联特征和操作引导信息的AO(全称为Assembly Outline，意为装配大纲)中调取和所述待操作任务对应的所述关联特征及所述操作引导信息，并由所述增强现实设备基于所述当前控制面板的特征识别的结果将所述操作引导信息添加并显示于和识别出的所述关联特征对应的位置，以引导用户执行所述待操作任务。

根据本发明的一种实施方式，所述增强现实辅助方法还包括用于形成所述第一识别特征数据库的以下步骤：

图像采集步骤，其中采集所述控制面板的图像；

特征识别步骤，其中采用图像特征提取算法对采集到的所述控制面板的图像进行特征点提取和信息标注，以形成所述面板标定图像；

识别特征训练步骤，其中采用所述面板标定图像作为训练数据并通过第一机器学习算法训练形成所述第一识别特征数据库，所述第一识别特征数据库。

根据本发明的一种实施方式，所述增强现实辅助方法还包括用于形成所述AO的以下步骤：

引导信息生成步骤，其中根据和所述飞机驾驶舱功能试验相关联的待操作任务选取全部可识别特征中的关联特征，并编辑和所述关联特征相关的操作引导信息，并将所述关联特征连同所述操作引导信息导入AO中。

根据本发明的一种实施方式，所述特征识别步骤中，采用ORB算法对采集到的所述控制面板的图像进行特征点提取。

根据本发明的一种实施方式，所述特征识别步骤中，所述特征识别步骤还包括采用暴力匹配算法和RANSAC算法对通过所述ORB算法提取的特征点进行除噪操作，并基于所述除噪操作的结果形成所述面板标定图像。

根据本发明的一种实施方式，所述引导信息生成步骤中，基于驾驶舱操作大纲或者驾驶舱操作要求编辑和所述关联特征相关的所述操作引导信息。

根据本发明的一种实施方式，所述可识别特征包括和所述控制面板具有的控制器件和/或控制接口对应的特征。

根据本发明的一种实施方式，所述增强现实辅助方法还包括以下步骤：

反馈步骤，其中所述飞机的飞机系统根据用户和所述待操作任务相关联的操作生成反馈信息，并将所述反馈信息显示于所述显示屏上。

根据本发明的一种实施方式，所述图像采集步骤还包括采集所述显示屏的图像；

所述特征识别步骤还包括采用字符提取算法对采集到的所述显示屏的图像进行字符提取和信息标注，以形成显示屏标定图像；

所述识别特征训练步骤还包括采用所述显示屏标定图像作为训练数据并通过第二机器学习算法训练形成第二识别特征数据库，所述第二识别特征数据库存储有所述显示屏标定图像的全部字符信息；

所述扫描步骤还包括采用所述增强现实设备扫描当前驾驶舱，获取所述当前驾驶舱的当前显示屏的图像作为待比对显示屏图像；

所述增强现实辅助方法还包括以下步骤：

反馈解析步骤，其中针对所述待比对显示屏图像进行字符提取，并调取所述第二识别特征数据库存储的所述显示屏标定图像对字符提取结果进行匹配，根据匹配结果解析所述反馈信息的含义。

根据本发明的一种实施方式，所述反馈解析步骤包括，根据匹配成功的所述显示屏标定图像的字符信息，解析并输出所述反馈信息所表示的所述飞机驾驶舱功能试验的判定结果。

根据本发明的一种实施方式，所述增强现实辅助方法还包括以下步骤：

形变校正步骤，其中采用物体识别追踪方法定位在采用所述增强现实设备扫描所述当前驾驶舱时所述待比对显示屏图像相对于所述增强现实设备的相对位置，并计算所述待比对显示屏图像和所述显示屏标定图像间的单应性矩阵，然后基于所述单应性矩阵校正所述待比对显示屏图像的拍摄角度；

所述反馈解析步骤中，针对经所述校正处理的所述待比对显示屏图像进行字符提取。

根据本发明的一种实施方式，所述图像采集步骤中采集的所述显示屏的图像数量不超过所述控制面板的图像数量的五分之一。

根据本发明的一种实施方式，所述增强现实辅助方法还包括以下步骤：

采用数据增强算法对采集到的所述显示屏的图像进行处理，以获取扩展的所述显示屏的图像；

所述特征识别步骤还包括采用字符提取算法对采集到的所述显示屏的图像以及扩展的所述显示屏的图像进行字符提取和信息标注，以形成显示屏标定图像。

根据本发明的一种实施方式，所述第二机器学习算法包括迁移学习算法。

在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。

本发明的积极进步效果在于：

根据本发明的用于飞机驾驶舱功能试验的增强现实辅助方法，通过结合图像特征点识别和比对技术以及增强现实设备的应用，能够在原有的飞机驾驶舱控制面板的基础上虚实叠加有助于辅助操作人员进行试验的信息，从而有效地辅助操作人员以更高的效率且更为准确地开展各种系统功能试验，因而有助于提高飞机系统功能试验的试验效率和准确性。

附图说明

图1为根据本发明的优选实施方式的用于飞机驾驶舱功能试验的增强现实辅助方法的流程示意图。

图2为可用于实施根据本发明的优选实施方式的用于飞机驾驶舱功能试验的增强现实辅助方法的一种示例性系统架构的示意图。

具体实施方式

下面结合说明书附图，进一步对本发明的优选实施例进行详细描述，以下的描述为示例性的，并非对本发明的限制，任何的其他类似情形也都落入本发明的保护范围之中。

在以下的具体描述中，方向性的术语，例如“左”、“右”、“上”、“下”、“前”、“后”等，参考附图中描述的方向使用。本发明的实施例的部件可被置于多种不同的方向，方向性的术语是用于示例的目的而非限制性的。

图1示出了根据本发明的优选实施方式的用于飞机驾驶舱功能试验的增强现实辅助方法的较为完整的流程示例。但应理解的是，图1示出的流程旨在便于本领域技术人员能够清楚地理解本公开内容中所描述的这一方法可以如何实施，而非限制本公开内容的保护范围限定为必须包括图1中示出的所有步骤。

参考图1所示，根据本发明的优选实施方式的用于飞机驾驶舱功能试验的增强现实辅助方法包括以下步骤：

扫描步骤，其中采用增强现实设备(即AR设备)扫描当前驾驶舱，调取并基于第一识别特征数据库对扫描到的所述当前驾驶舱的当前控制面板进行特征识别，其中所述第一识别特征数据库存储有面板标定图像的全部可识别特征；

三维融合步骤，其中自包含有和所述飞机驾驶舱功能试验相关联的待操作任务以及和所述待操作任务相关联的关联特征和操作引导信息的AO(即装配大纲)中调取和所述待操作任务对应的所述关联特征及所述操作引导信息，并由所述增强现实设备基于所述当前控制面板的特征识别的结果将所述操作引导信息添加并显示于和识别出的所述关联特征对应的位置，以引导用户执行所述待操作任务。

其中，可以理解的是，第一识别特征数据库和AO均可在实施扫描步骤和三维融合步骤之前通过适当方式形成或构建。第一识别特征数据库存有的可识别特征的数量可能非常多，在采用增强现实设备对当前驾驶舱扫描后进行的特征识别中，通常可能只会匹配到全部可识别特征中的很小一个部分或者几个。而AO也可包含多个(通常是很大数量)和所述飞机驾驶舱功能试验相关联的待操作任务，而根据当前所需要开展的功能试验及当前所处的试验阶段或试验步骤，调取的关联特征及所述操作引导信息可能仅和当前试验阶段或步骤涉及的一个或较少的几个待操作任务相关。可以理解的是，本文中的AO即装配大纲，其可以采用已有的装配大纲或在已有的装配大纲的基础上编辑并导入一些所需信息而形成，或者也可经由下述方法而形成在三维融合步骤中所设计的装配大纲。

通过对扫描步骤中特征识别出的当前控制面板的特征和三维融合步骤中调取的关联特征的匹配，可由增强现实设备将关联的操作引导信息添加显示于当前控制面板上和关联特征对应的位置，该位置例如可能是控制面板上的某一个或几个操作器件、控制器件或控制接口所处的或所对应的位置。以此方式添加显示的操作引导信息将能够为用户(即操作人员)执行开展功能试验所需的待操作任务提供有效的辅助，这将帮助操作人员以更高的效率且更为准确地开展飞机的各种系统功能试验。

应当理解的是，图像特征识别一般可分为全局特征和局部特征是被两大类。其中，全局特征一般用轮廓、形状、颜色和纹理等描述，而局部特征一般用局部特征点来描述。相对于全局特征，局部特征点更不容易受到背景环境、外界光照变化等噪声干扰，具有更好地稳定性。在本发明的一些优选实施方式中，即采用局部特征点来描述面板标定图像的可识别特征，并基于此对当前驾驶舱进行特征识别。应理解的是，图像之间的特征点匹配实质上可理解为图像特征点集合之间的映射，其基本原理是基于图像存在一些不变性强和独特性高的特征点集合。简单来说，一般而言，特征点要具备代表图像的某些特有性质，并可用一定的数学方式描述。

根据本发明的一些优选实施方式，如图1所示，该增强现实辅助方法还包括用于形成所述第一识别特征数据库的以下步骤：

图像采集步骤，其中采集所述控制面板的图像，通常可采集控制面板的大量图像；

特征识别步骤，其中采用图像特征提取算法对采集到的所述控制面板的图像进行特征点提取和信息标注，以形成所述面板标定图像；

识别特征训练步骤，其中采用所述面板标定图像作为训练数据并通过第一机器学习算法训练形成所述第一识别特征数据库，所述第一识别特征数据库。

其中，所述特征识别步骤中，采用ORB(全称为Oriented FAST and RotatedBRIEF)算法对采集到的所述控制面板的图像进行特征点提取，并采用暴力匹配算法和RANSAC算法(全称为RANdom SAmple Consensus，意为随机抽样一致算法)对通过所述ORB算法提取的特征点进行除噪操作，并基于所述除噪操作的结果形成所述面板标定图像。

本公开内容的上述优选实施方式所采用的ORB算法是一种快速特征点提取和描述的算法，其主要步骤为：1)构造金字塔；2)提取FAST角点；3)计算特征角度；4)描述子生成；5)构造金字塔，即采用图像降采样生产图像金字塔；6)提取FAST(全称为Features fromAccelerated Segment Test)角点。

本公开内容的上述优选实施方式针对暴力匹配算法，可以使用交叉匹配的方法来过滤错误的匹配。交叉匹配过滤的原理是通过再进行一次匹配，反过来使用被匹配到的点进行匹配，如果匹配到的仍然是第一次匹配的点的话，就认为这是一个正确的匹配。举例来说就是，假如第一次特征点A使用暴力匹配的方法，匹配到的特征点是特征点B；反过来，使用特征点B进行匹配，如果匹配到的仍然是特征点A，则就认为这是一个正确的匹配，否则就是一个错误的匹配。

在匹配过程中，为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，可采用比较最近邻距离与次近邻距离的SIFT匹配方式。SIFT匹配方式可以是指，取一幅图像中的一个SIFT关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率小于某个阈值T，则接受这一对匹配点。因为对于错误匹配，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而错误匹配对应的这一比率值将比较高。随机抽样一致算法，即RANSAC算法，则可有助于去除误匹配噪声。

应理解的是，以上对于本公开内容中涉及特征识别的步骤中可以采用的算法的描述，适用于在扫描步骤中对当前控制面板进行特征识别的步骤。

根据本发明的一些优选实施方式，如图1所示，该增强现实辅助方法还包括用于形成所述AO的以下步骤：

引导信息生成步骤，其中根据和所述飞机驾驶舱功能试验相关联的待操作任务选取全部可识别特征中的关联特征，并编辑和所述关联特征相关的操作引导信息(即图2中所称的“素材”)，并将所述关联特征连同所述操作引导信息导入AO中。

其中，优选地，结合参考图2所示，所述引导信息生成步骤中，基于驾驶舱操作大纲或者驾驶舱操作要求编辑和所述关联特征相关的所述操作引导信息。

此外，通常意义下的图像分类是指根据图像的语义信息将不同类别图像区分开来，是计算机视觉中重要的基本问题，也是其他高层视觉任务的基础。如果将图像比对问题建模为图像分类问题，每一个需要比对的块则被看作是一个类别。这样待比对的内容过多，就容易导致分类网络训练的难度变大，甚至于无法训练出收敛的模型。基于本发明的一些实施方式，其中需比对的图像类别可能随驾驶舱操作大纲或相关操作手册的内容的增多而增多，这会使得机器学习训练形成有效的识别特征数据库的成本可能变得很高，不够实用。

本发明的一些优选实施方式采用基于特征比对技术的方式，通过以下方式来判断两个图像块是否一致。即，对两个图像块分别进行特征提取，然后计算其特征之间的距离(例如欧氏距离、余弦距离、马氏距离，等)，将计算的该距离与一个预设阈值进行比较，若小于阈值则认为二者相同，否则不同。

基于AR设备的识别任务，对于检测实时性的要求是比较苛刻的，再识别准确率相差不大的情况下，根据本发明的优选实施方式，可优先选用实时性更高的算法，例如，用于特征点提取的算法可选用ORB特征提取方法。

根据本发明的一些优选实施方式，所述图像采集步骤还包括采集所述显示屏的图像，所述特征识别步骤还包括采用字符提取算法对采集到的所述显示屏的图像进行字符提取和信息标注，以形成显示屏标定图像。所述识别特征训练步骤还包括采用所述显示屏标定图像作为训练数据并通过第二机器学习算法训练形成第二识别特征数据库，所述第二识别特征数据库存储有所述显示屏标定图像的全部字符信息。所述扫描步骤还包括采用所述增强现实设备扫描当前驾驶舱，获取所述当前驾驶舱的当前显示屏的图像作为待比对显示屏图像。

并且，优选地，如图1所示，该增强现实辅助方法还包括以下步骤：

反馈步骤，其中所述飞机的飞机系统根据用户和所述待操作任务相关联的操作生成反馈信息，并将所述反馈信息显示于所述显示屏上；

形变校正步骤，其中采用物体识别追踪方法定位在采用所述增强现实设备扫描所述当前驾驶舱时所述待比对显示屏图像相对于所述增强现实设备的相对位置，并计算所述待比对显示屏图像和所述显示屏标定图像间的单应性矩阵，然后基于所述单应性矩阵校正所述待比对显示屏图像的拍摄角度；

反馈解析步骤，其中针对经所述校正处理的所述待比对显示屏图像进行字符提取，并调取所述第二识别特征数据库存储的所述显示屏标定图像对字符提取结果进行匹配，根据匹配结果解析所述反馈信息的含义。

其中，根据匹配结果解析所述反馈信息的含义具体可以是指，根据匹配成功的所述显示屏标定图像的字符信息，解析并输出所述反馈信息所表示的所述飞机驾驶舱功能试验的判定结果。

基于上述优选方案，其还针对驾驶舱的显示屏上的显示图像及其包含的显示内容(典型地为文字或字符内容)进行特征识别并形成相应的识别特征数据库。并且，可以理解的是，在如上所述的形成第二识别特征数据库时可标注显示屏可能显示的不同字符内容所表征的含义(例如飞机系统的某一功能试验或功能试验的某一步骤的判定结果)。这样，在此后通过AR设备扫描了当前驾驶舱的当前显示屏显示的图像后，可通过形变校正和字符提取处理，并调取第二识别特征数据库进行匹配后，直接解析得出当前显示屏显示的内容所表征的含义，例如，可直接提供某一功能试验或功能试验的某一步骤的判定结果。这一过程可完全无需操作人员或其他人员介入后进行人工判断或者人工解读显示屏显示内容所表征的含义。

由此，操作人员将无需依赖于记录有大量信息、大量内容的相关操作手册或说明，就能够开展飞机系统的功能试验，并避免人为错误影响功能试验的结果或进度。

基于上述优选实施方式的针对驾驶舱的屏幕(显示屏)图像对比，通过采用屏幕的形变校正能够显著提高屏幕比对的准确率，有助于降低甚至基本消除因对显示屏图像的拍摄位置/角度的不同而对图像对比造成的不利影响。其中，对该形变校正步骤对图像进行校正的基本原理大致说明如下。

同一相机从不同角度拍摄的图像之间存在的形变关系可以用一个单应性矩阵来表达。具体如下。

普通针孔相机的成像模型可写为：

上式中，

为世界坐标系下的坐标点，

是相机的旋转平移矩阵，

是相机内参，

则为对应点在图像中的齐次坐标。

对于同一个相机，其内参是固定的，从不同角度拍摄同一场景，则其旋转平移矩阵会不一样。另一方面，对于飞机舱屏幕，其是平面的，因此可以旋转合适的世界坐标系，使得其处于Z＝0的平面上，故而针对平面屏幕的成像模型可以简化为：

做如下定义：

假定同一个相机从不同位置和方向拍摄机舱屏幕，则其成像模型分别为：

组合化解可以有：

记

为H，则有

上述矩阵H，即称为单应性矩阵。利用该单应性矩阵，可校正由待比对显示屏图像的拍摄角度而产生的图像偏差。

根据本发明的一些优选实施方式，所述图像采集步骤中采集的所述显示屏的图像数量不超过所述控制面板的图像数量的五分之一。

并且，该增强现实辅助方法还包括以下步骤：

采用数据增强算法对采集到的所述显示屏的图像进行处理，以获取扩展的所述显示屏的图像；

所述特征识别步骤还包括采用字符提取算法对采集到的所述显示屏的图像以及扩展的所述显示屏的图像进行字符提取和信息标注，以形成显示屏标定图像。

基于上述方案，可采集相对少的数量的显示屏图像，并采用迁移学习(即TransferLearning)、数据增强和残差网络完成模型的训练。

其中，例如，根据本发明的一些进一步优选的实施方式，可应用数据增强技术以有效地增加训练的数据量，提高模型的泛化能力。例如可以采用下述数据增强手段中的一部分，诸如图像的翻转、平移、旋转、缩放、裁剪、增加高斯噪声，等等。由此，可在直接采集获得的训练数据相对少的情况下获得更大的训练数据规模，以适应于训练所用的神经网络算法的要求。另外，可基于imagenet图像数据集(训练图像约100万张)训练好的深度残差模型作为初始模型，对采集的显示屏图像进行模型微调，最终训练出适用于驾驶舱显示屏的残差模型。

根据本发明的上述优选实施方式的用于飞机驾驶舱功能试验的增强现实辅助方法，通过采用图像特征点识别方法结合增强现实技术及终端设备，能够实现在飞机驾驶舱的控制面板以虚实叠加的方式辅助操作人员进行操作，并可基于AR设备直观地提供操作人员关于试验涉及的各个测试步骤、操作方法、测试注意事项等等辅助信息，以十分直观的方式引导操作人员开展飞机功能试验。

由此，相比传统的纸质手册，得以节省大量理解和熟悉操作手册所需的时间，避免记忆混淆导致人为操作错误，降低了对于操作人员在诸如空间想象力、查找操作按钮的能力和经验等诸多方面的要求，有助于提高飞机系统功能试验效率和准确率。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (14)

1.一种用于飞机驾驶舱功能试验的增强现实辅助方法，其中飞机驾驶舱包括控制面板和显示屏，其特征在于，所述增强现实辅助方法包括以下步骤：

扫描步骤，其中采用增强现实设备扫描当前驾驶舱，调取并基于第一识别特征数据库对扫描到的所述当前驾驶舱的当前控制面板进行特征识别，其中所述第一识别特征数据库存储有面板标定图像的全部可识别特征；

三维融合步骤，其中自存储有和所述飞机驾驶舱功能试验相关联的待操作任务以及和所述待操作任务相关联的关联特征和操作引导信息的AO中调取和所述待操作任务对应的所述关联特征及所述操作引导信息，并由所述增强现实设备基于所述当前控制面板的特征识别的结果将所述操作引导信息添加并显示于和识别出的所述关联特征对应的位置，以引导用户执行所述待操作任务。

2.如权利要求1所述的增强现实辅助方法，其特征在于，所述增强现实辅助方法还包括用于形成所述第一识别特征数据库的以下步骤：

图像采集步骤，其中采集所述控制面板的图像；

特征识别步骤，其中采用图像特征提取算法对采集到的所述控制面板的图像进行特征点提取和信息标注，以形成所述面板标定图像；

识别特征训练步骤，其中采用所述面板标定图像作为训练数据并通过第一机器学习算法训练形成所述第一识别特征数据库，所述第一识别特征数据库。

3.如权利要求2所述的增强现实辅助方法，其特征在于，所述增强现实辅助方法还包括用于形成所述AO的以下步骤：

引导信息生成步骤，其中根据和所述飞机驾驶舱功能试验相关联的待操作任务选取全部可识别特征中的关联特征，并编辑和所述关联特征相关的操作引导信息，并将所述关联特征连同所述操作引导信息导入AO中。

4.如权利要求3所述的增强现实辅助方法，其特征在于，所述特征识别步骤中，采用ORB算法对采集到的所述控制面板的图像进行特征点提取。

5.如权利要求4所述的增强现实辅助方法，其特征在于，所述特征识别步骤中，所述特征识别步骤还包括采用暴力匹配算法和RANSAC算法对通过所述ORB算法提取的特征点进行除噪操作，并基于所述除噪操作的结果形成所述面板标定图像。

6.如权利要求3所述的增强现实辅助方法，其特征在于，所述引导信息生成步骤中，基于驾驶舱操作大纲或者驾驶舱操作要求编辑和所述关联特征相关的所述操作引导信息。

7.如权利要求1所述的增强现实辅助方法，其特征在于，所述可识别特征包括和所述控制面板具有的控制器件和/或控制接口对应的特征。

8.如权利要求1-7中任意一项所述的增强现实辅助方法，其特征在于，所述增强现实辅助方法还包括以下步骤：

反馈步骤，其中所述飞机的飞机系统根据用户和所述待操作任务相关联的操作生成反馈信息，并将所述反馈信息显示于所述显示屏上。

9.如权利要求8所述的增强现实辅助方法，其特征在于，所述图像采集步骤还包括采集所述显示屏的图像；

所述特征识别步骤还包括采用字符提取算法对采集到的所述显示屏的图像进行字符提取和信息标注，以形成显示屏标定图像；

所述识别特征训练步骤还包括采用所述显示屏标定图像作为训练数据并通过第二机器学习算法训练形成第二识别特征数据库，所述第二识别特征数据库存储有所述显示屏标定图像的全部字符信息；

所述扫描步骤还包括采用所述增强现实设备扫描当前驾驶舱，获取所述当前驾驶舱的当前显示屏的图像作为待比对显示屏图像；

所述增强现实辅助方法还包括以下步骤：

反馈解析步骤，其中针对所述待比对显示屏图像进行字符提取，并调取所述第二识别特征数据库存储的所述显示屏标定图像对字符提取结果进行匹配，根据匹配结果解析所述反馈信息的含义。

10.如权利要求9所述的增强现实辅助方法，其特征在于，所述反馈解析步骤包括，根据匹配成功的所述显示屏标定图像的字符信息，解析并输出所述反馈信息所表示的所述飞机驾驶舱功能试验的判定结果。

11.如权利要求10所述的增强现实辅助方法，其特征在于，所述增强现实辅助方法还包括以下步骤：

形变校正步骤，其中采用物体识别追踪方法定位在采用所述增强现实设备扫描所述当前驾驶舱时所述待比对显示屏图像相对于所述增强现实设备的相对位置，并计算所述待比对显示屏图像和所述显示屏标定图像间的单应性矩阵，然后基于所述单应性矩阵校正所述待比对显示屏图像的拍摄角度；

所述反馈解析步骤中，针对经所述校正处理的所述待比对显示屏图像进行字符提取。

12.如权利要求9所述的增强现实辅助方法，其特征在于，所述图像采集步骤中采集的所述显示屏的图像数量不超过所述控制面板的图像数量的五分之一。

13.如权利要求12所述的增强现实辅助方法，其特征在于，所述增强现实辅助方法还包括以下步骤：

采用数据增强算法对采集到的所述显示屏的图像进行处理，以获取扩展的所述显示屏的图像；

所述特征识别步骤还包括采用字符提取算法对采集到的所述显示屏的图像以及扩展的所述显示屏的图像进行字符提取和信息标注，以形成显示屏标定图像。

14.如权利要求13所述的增强现实辅助方法，其特征在于，所述第二机器学习算法包括迁移学习算法。

Images