CN109919331A - 一种机载设备智能维修辅助系统及方法 - Google Patents

Abstract

本发明公开了一种机载设备智能维修辅助系统，包括交互模块、图像检测识别模块、维修信息管理模块、分析模块和增强现实显示模块；交互模块用于获取用户的输入、UI界面的投影和交互逻辑处理；图像检测识别模块用于检测图片上的文字和特定图型并识别内容信息；分析模块用于进行逻辑判断，生成指导的文字或3D图像；维修信息管理模块用于将搜索请求发送至云端数据库服务器；增强现实显示模块用于在用户视野中的真实环境定位出目标位置，并通过增强现实技术把指导信息叠加到位置上。本发明将增强现实技术与智能维修辅助有机结合，通过自然交互的方式帮助和指导维修人员对机载设备进行维修，从而提高维修作业的易操作性和易学习性。

Description

一种机载设备智能维修辅助系统及方法

技术领域

本发明涉及智能维修领域，尤其涉及一种机载设备智能维修辅助系统及方法。

背景技术

近年来随着业务量的快速增长，民用航空业对机载设备的维修需求越来越大。而随着航空业技术发展，机载设备也越来越复杂多样，令维修服务增加了更多难点。在现有的维修系统中，存在着不少问题：一是随着机载设备的维修涉及更多的仪器使用，使得检测步骤变长和工作量变多，从而加大了维修难度，还增加了人为的失误可能性。二是学习成本变高，维修难度提高导致了大量唯有长期训练和经验丰富的专家才能胜任的维修任务。三是维护知识多以纸质或电子文档的形式存储在档案架或公司建立的数据库中，查阅起来甚至会碰到无关信息过多，语言障碍等问题。

现有技术中的诸多问题催生了维修领域对新型辅助工具的需求。而随着科学技术的快速发展，可以预见到机载设备维修的发展方向将是致力于加深对用户学习的帮助，消除技术发展带来的维护成本上升，提高工作效率。因此一种全智能化的、可叠加指导信息到真实环境的可穿戴的辅助设备无疑能够满足这些需求。

发明内容

本发明的目的在于克服现有技术的不足，提供一种机载设备智能维修辅助系统。本发明能够辅助维修作业流程，降低维修成本。

本发明的目的能够通过以下技术方案实现：

一种机载设备智能维修辅助系统，所述系统的载体为头戴式显示设备；所述系统包括交互模块、图像检测识别模块、维修信息管理模块、分析模块和增强现实显示模块；

所述交互模块用于获取用户的输入、UI界面的投影和交互逻辑处理；

所述图像检测识别模块用于检测交互模块获取的图片上的文字和特定图型并识别内容信息。

所述分析模块用于接收到有效的识别内容后，通过维修信息管理模块获取云端维修知识库和当前维修信息，结合上下文进行逻辑判断，分析出当前维修阶段和内容，生成指导用户的文字或3D图像。

所述维修信息管理模块接入WiFi网络，用于将指定内容的搜索请求发送至云端数据库服务器，接收返回的搜索结果，并存储管理本地的当前维修信息。

所述增强现实显示模块用于在用户视野中的真实环境定位出目标位置，并通过增强现实技术把指导信息叠加到位置上，达到虚实结合的效果。

具体地，所述图像检测识别模块采用OCR和模式匹配技术检测图片上的文字和特定图型。

具体地，所述头戴式显示设备通过捕捉用户的语音和手势并将其分别转化为字符串和匹配手势获取指令。

具体地，所述头戴式显示设备中采用增强显示技术，将待显示文字或图像的光学影像投射到眼镜显示屏上，呈现虚拟信息叠加到现实场景中的效果。

本发明的另一目的在于提供一种机载设备智能维修辅助方法。

本发明的另一目的能够通过以下技术方案实现：

一种机载设备智能维修辅助方法，具体步骤包括：

用户穿戴上头戴式显示设备，通过语音或手势向交互模块发送控制指令；

交互模块捕获并处理控制指令，生成相应的UI界面并开始机载设备维修的辅助工作；

交互模块实时获取用户视野图像；

图像检测识别模块检测并识别图像中的内容；

分析模块接收到识别内容后，从维修信息管理模块得到当前维修信息；

维修信息管理模块接入WiFi网络，将指定内容的搜索请求发送至云端数据库服务器，将返回的搜索结果回传给分析模块；

分析模块结合图像内容和维修信息的上下文进行逻辑判断，分析出当前维修的阶段和内容；

分析模块生成文字信息和动态3D模型，发送给增强现实显示模块；

增强现实显示模块在用户视野中的真实环境定位出目标位置，将待显示文字或图像的光学影像投射到眼镜显示屏上，呈现虚拟信息叠加到现实场景中的效果。

具体地，图像检测识别模块中，OCR算法实现分为两部分：

第一部分为EAST模型的文本检测，具体包括：

(1-1)采用文本内容训练集，所述训练集由各类机载设备实图和人工标定组成样本；

(1-2)采用文本内容训练集对EAST模型进行训练；

(1-3)封装训练好的模型作为模块的端到端文本检测工作。

第二部分为LSTM模型的文本识别，具体包括：

(2-1)将文本检测的输出加上人工标定作为训练集；

(2-2)使用得到的训练集对LSTM模型进行训练；

(2-3)封装训练好的模型作为模块的端到端文本识别工作。

更进一步地，对于除文本以外的特定图形识别，分析模块将告知该特定图形与某文本的对应关系，例如“error”文本旁的指示灯，图像检测识别模块在OCR的识别结果上圈定相应的图形，然后进行模式匹配。

具体地，增强现实显示模块采用三维跟踪算法对目标物体进行定位，具体包括：

(3-1)对给定目标物体图像进行分析，并将提取到的特征点集记录在数据库，在跟踪前通过预处理完成；

(3-2)当实时跟踪开始时，通过提取拍摄图像的特征点，与数据库中的特征点集进行匹配；

(3-3)匹配正确后根据当前看到的部分特征点集和已知的全部特征点集，计算一个空间变换矩阵，并采用空间变换矩阵将虚拟物体精确地叠加到真实环境中。

本发明相较于现有技术，具有以下的有益效果：

1、本发明实时提供辅助信息的帮助以及智能地进行二次判定，能够降低维修难度，减少人为失误的发生。

2、本发明通过辅助系统将学习培训与实践作业有机结合在一起，能够降低学习成本，减少培训周期。

3、本发明够进行实时的信息投影，使得维修人员无需随身携带与频繁翻阅维修手册，提高了维修作业的便利性。

附图说明

图1为一种机载设备智能维修辅助系统的结构示意图。

图2为本实施例中一种机载设备智能维修辅助方法的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示为一种机载设备智能维修辅助系统的组成结构示意图，所述系统的载体为一个增强现实的头戴式显示设备，所述显示设备包括摄像头、麦克风以及眼镜显示屏；所述系统包括交互模块、图像检测识别模块、维修信息管理模块、分析模块和增强现实显示模块；各模块之间以数字信号进行串口通信。

所述交互模块用于获取用户的输入、UI界面的投影和交互逻辑处理；

所述图像检测识别模块用于检测交互模块获取的图片上的文字和特定图型并识别内容信息。

所述分析模块用于接收到有效的识别内容后，通过维修信息管理模块获取云端维修知识库和当前维修信息，结合上下文进行逻辑判断，分析出当前维修阶段和内容，生成指导用户的文字或3D图像。

所述维修信息管理模块接入WiFi网络，用于将指定内容的搜索请求发送至云端数据库服务器，接收返回的搜索结果，并存储管理本地的当前维修信息。

所述增强现实显示模块用于在用户视野中的真实环境定位出目标位置，并通过增强现实技术把指导信息叠加到位置上，达到虚实结合的效果。

如图2所示为一种机载设备智能维修辅助方法的流程图，具体步骤包括：

(1)用户穿戴上头戴式显示设备，通过语音或手势向交互模块发送控制指令；

(2)交互模块捕获并处理控制指令，生成相应的UI界面并开始机载设备维修的辅助工作；

在本实施例中，头戴式显示设备通过采用麦克风实时捕获用户的语音信息转化为字符串输入或采用摄像机捕捉用户手势并匹配到指定手势来获取控制指令。

(3)交互模块实时获取用户视野图像；

(4)图像检测识别模块检测并识别图像中的内容；

在本实施例中，对当前时刻机载设备某端口的电压值进行测量。

因此，将相应的电压数值发送到分析模块。

(5)分析模块接收到识别内容后，从维修信息管理模块得到当前维修信息；

本实施例中维修阶段处于测量某端口的电压值，因此通知维修信息管理模块从数据库查询云端维修信息，包括该端口正常电压范围、异常电压原因以及维修方法信息。

(6)维修信息管理模块接入WiFi网络，将指定内容的搜索请求发送至云端数据库服务器，将返回的搜索结果回传给分析模块；

(7)分析模块结合图像内容和维修信息的上下文进行逻辑判断，分析出当前维修的阶段和内容；

本实施例中，当前时刻判断出仍处于测量某端口电压的阶段，发现电压异常。

(8)分析模块生成文字信息和动态3D模型，发送给增强现实显示模块；

本实施例中将故障报告和维修手法示范发送给增强现实显示模块。

(9)增强现实显示模块在用户视野中的真实环境定位出目标位置，将待显示文字或图像的光学影像投射到眼镜显示屏上。

本实施例中将本次故障在机载设备的维修区域，将待显示文字或图像的光学影像投射到眼镜显示屏上，呈现虚拟信息叠加到现实场景中的效果。

具体地，图像检测识别模块中，OCR算法实现分为两部分：

第一部分为EAST模型的文本检测，具体包括：

(1-1)采用文本内容训练集，所述训练集由各类机载设备实图和人工标定组成样本；

(1-2)采用该训练集对EAST模型进行训练；

(1-3)封装训练好的模型作为模块的端到端文本检测工作。

第二部分为LSTM模型的文本识别，具体包括：

(2-1)将文本检测的输出加上人工标定作为训练集；

(2-2)使用该训练集对LSTM模型进行训练；

(2-3)封装训练好的模型作为模块的端到端文本识别工作。

对于除文本以外的特定图形识别，分析模块将告知该特定图形与某文本的对应关系，例如“error”文本旁的指示灯，图像检测识别模块在OCR的识别结果上圈定相应的图形，然后进行模式匹配。

具体地，增强现实显示模块采用三维跟踪算法对目标物体进行定位，具体包括：

(3-1)对给定目标物体图像进行分析，并将提取到的特征点集记录在数据库，在跟踪前通过预处理完成；

(3-2)当实时跟踪开始时，通过提取拍摄图像的特征点，与数据库中的特征点集进行匹配；

(3-3)匹配正确后根据当前看到的部分特征点集和已知的全部特征点集，计算一个空间变换矩阵，并采用空间变换矩阵将虚拟物体精确地叠加到真实环境中。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种机载设备智能维修辅助系统，其特征在于，所述系统的载体为头戴式显示设备；所述系统包括交互模块、图像检测识别模块、维修信息管理模块、分析模块和增强现实显示模块；

所述交互模块用于获取用户的输入、UI界面的投影和交互逻辑处理；

所述图像检测识别模块用于检测交互模块获取的图片上的文字和特定图型并识别内容信息；

所述分析模块用于接收到有效的识别内容后，通过维修信息管理模块获取云端维修知识库和当前维修信息，结合上下文进行逻辑判断，分析出当前维修阶段和内容，生成指导用户的文字或3D图像；

所述维修信息管理模块接入WiFi网络，用于将指定内容的搜索请求发送至云端数据库服务器，接收返回的搜索结果，并存储管理本地的当前维修信息；

所述增强现实显示模块用于在用户视野中的真实环境定位出目标位置，并通过增强现实技术把指导信息叠加到位置上，达到虚实结合的效果。

2.根据权利要求1所述的一种机载设备智能维修辅助系统，其特征在于，所述图像检测识别模块采用OCR算法和模式匹配技术检测图片上的文字和特定图型。

3.根据权利要求1所述的一种机载设备智能维修辅助系统，其特征在于，所述头戴式显示设备通过捕捉用户的语音和手势并将其分别转化为字符串和匹配手势获取指令。

4.根据权利要求1所述的一种机载设备智能维修辅助系统，其特征在于，所述头戴式显示设备中采用增强显示技术，将待显示文字或图像的光学影像投射到眼镜显示屏上，呈现虚拟信息叠加到现实场景中的效果。

5.一种用于实现权利要求1-4所述的机载设备智能维修辅助系统的方法，其特征在于，具体步骤包括：

用户穿戴上头戴式显示设备，通过语音或手势向交互模块发送控制指令；

交互模块捕获并处理控制指令，生成相应的UI界面并开始机载设备维修的辅助工作；

交互模块实时获取用户视野图像；

图像检测识别模块检测并识别图像中的内容；

分析模块接收到识别内容后，从维修信息管理模块得到当前维修信息；

维修信息管理模块接入WiFi网络，将指定内容的搜索请求发送至云端数据库服务器，将返回的搜索结果回传给分析模块；

分析模块结合图像内容和维修信息的上下文进行逻辑判断，分析出当前维修的阶段和内容；

分析模块生成文字信息和动态3D模型，发送给增强现实显示模块；

增强现实显示模块在用户视野中的真实环境定位出目标位置，将待显示文字或图像的光学影像投射到眼镜显示屏上，呈现虚拟信息叠加到现实场景中的效果。

6.根据权利要求5所述的一种机载设备智能维修辅助方法，其特征在于，图像检测识别模块中，OCR算法实现分为两部分：

第一部分为EAST模型的文本检测，具体包括：

(1-1)采用文本内容训练集，所述训练集由各类机载设备实图和人工标定组成样本；

(1-2)采用文本内容训练集对EAST模型进行训练；

(1-3)封装训练好的模型作为模块的端到端文本检测工作；

第二部分为LSTM模型的文本识别，具体包括：

(2-1)将文本检测的输出加上人工标定作为训练集；

(2-2)使用得到的训练集对LSTM模型进行训练；

(2-3)封装训练好的模型作为模块的端到端文本识别工作。

7.根据权利要求6所述的一种机载设备智能维修辅助方法，其特征在于，对于除文本以外的特定图形识别，分析模块将告知该特定图形与某文本的对应关系，图像检测识别模块在OCR算法的识别结果上圈定相应的图形，然后进行模式匹配。

8.根据权利要求5所述的一种机载设备智能维修辅助方法，其特征在于，增强现实显示模块采用三维跟踪算法对目标物体进行定位，具体包括：

(3-1)对给定目标物体图像进行分析，并将提取到的特征点集记录在数据库，在跟踪前通过预处理完成；

(3-2)当实时跟踪开始时，通过提取拍摄图像的特征点，与数据库中的特征点集进行匹配；

(3-3)匹配正确后根据当前看到的部分特征点集和已知的全部特征点集，计算一个空间变换矩阵，并采用空间变换矩阵将虚拟物体精确地叠加到真实环境中。