CN110909898B - 基于ar眼镜的银行机房故障诊断维修指导系统及方法 - Google Patents

Abstract

本发明涉及基于AR眼镜的银行机房故障诊断维修指导系统，包含设备状态传感器、AR眼镜、数据库系统、故障诊断模块、维修方案生成模块、通信模块和总控模块；本发明还涉及一种基于AR眼镜的银行机房故障诊断维修指导方法，包括步骤：总控模块将设备状态数据和视频数据转发给故障诊断模块；故障诊断模块得到诊断数据；维修方案生成模块得到维修方案数据，发送给AR眼镜。本发明采用零知识，根本消除了专业技能和工作经验的需求，节省了培训成本，降低了用工成本；降低了维修时间和返修率；适应不同人员的理解习惯；为传统的IT资产运维管理提供了智能、高效、安全的解决方案。

Description

基于AR眼镜的银行机房故障诊断维修指导系统及方法

技术领域

本发明涉及银行机房故障诊断维修领域，具体地涉及基于AR眼镜的银行机房故障诊断维修指导系统及方法。

背景技术

银行机房中因为安置有众多专业设备及配套设备，且存放有海量运行数据，所以其稳定、高效运行是保障金融业稳定的重要基础。

传统银行机房的基础设施运维工作，尤其是维修工作，极度依赖专业人员的专业技能和主观判断能力。这种工作模式的缺陷在于：

1、技能培训耗时相当长，导致人员培训成本相当高。

2、维修工作成效有很大比例依靠维修人员的主观判断能力，导致维修工作可靠性较低。

3、对维修人员的专业技能要求非常高，在进一步提高薪酬成本的基础上，还大幅提高了招聘难度。

目前有针对上述缺陷采用网络技术进行远程指导的研究以及相应产品，虽然能一定程度上缓解专家无法到场的问题，但都无法彻底解决人员培训成本过高这一难题。此外，目前的研究工作都集中在普通机房巡检工作上，对于维修工作仍然没有实质性帮助。例如申请号为201811309605.3，发明名称为基于增强现实AR技术的电力信通机房巡检平台及巡检方法的发明申请，公开了采用AR眼镜配合传感器对电力信通机房进行巡检的技术方案，虽然一定程度提高了巡检效率和准确度，但依然存在以下缺陷：

1、该发明涉及的领域是电力信通机房的巡检技术，不适用银行机房的维修工作。

2、仍然无法从根本上解决人员难以招聘、培训时间过长、成本过高这一难题。

发明内容

本发明针对上述问题，提供基于AR眼镜的银行机房故障诊断维修指导系统及方法，彻底将对维修人员的专业技能、维修经验要求降至最低限度。维修人员无需判定故障原因、拟定维修方案，只需根据系统提示，严格执行维修步骤即可完成任务。

为解决上述问题，本发明提供的技术方案为：

一种基于AR眼镜的零知识银行机房故障诊断维修指导系统，包含设备状态传感器、AR眼镜和云端服务器，其中：所述设备状态传感器将采集到的设备状态数据实时发送给所述云端处理器；所述AR眼镜将拍摄的视频数据实时发送给云端处理器，并接收和运行来自云端处理器的维修方案数据；

其特征在于：云端服务器上安装有数据库系统、故障诊断模块、维修方案生成模块、通信模块和总控模块，其中：

所述数据库系统包含故障资料库、方案资料库、UI框架模块和临时UI组件模块；所述方案资料库包含演示资料库和维修说明书库；所述演示资料库内预存有可在AR眼镜上播放的维修录像数据和3D虚拟维修动作数据；所述维修录像数据在AR眼镜上展示的视角为第三人称视角，所述3D虚拟维修动作数据在AR眼镜上展示的视角为第一人称视角；所述维修说明书库包含维修文本数据和维修图片数据；所述UI框架模块内预置有若干UI框架模板；所述UI框架模板上设有若干扩展点；所述临时UI组件模块内预置有临时UI组件；所述临时UI组件上设有若干扩展点；

所述总控模块通过所述通信模块分别与设备状态传感器、AR眼镜连接，接收所述设备状态数据和视频数据并转发给所述故障诊断模块；

所述故障诊断模块包括采样点识别模块、状态提取模块、故障查询模块和诊断处理模块；故障诊断模块每0.5到2秒自动启动并工作1次；所述采样点识别模块接收视频数据，识别视频数据中的各个采样点的唯一身份标签，同时定位各采样点在视频数据中的坐标，然后将得到的采样点的唯一身份标签转发给所述状态提取模块；所述状态提取模块根据各采样点的唯一身份标签及其对应的设备状态数据，提取各采样点的状态参数，然后将得到的各采样点的状态参数转发给故障查询模块；故障查询模块根据接收各采样点的状态参数，在故障资料库中查询并获取故障数据，然后将唯一身份标签、状态参数和故障数据发送给所述诊断处理模块；诊断处理模块处理接收的唯一身份标签、状态参数和故障数据，得到诊断数据；所述诊断数据包含用于标识设备状态的设备正常标志；诊断处理模块查询所述设备正常标志，并根据查询结果做出以下操作：

如果设备正常标志为“正常”，则通过总控模块将在AR眼镜上显示“设备正常”；

或，

如果设备正常标志为“故障”，则通过总控模块将在AR眼镜上显示“设备故障”，并将诊断数据转发给所述维修方案生成模块；

维修方案生成模块根据诊断数据，查找所述方案资料库，得到所述维修方案数据，并通过总控模块将维修方案数据发送给AR眼镜；所述维修方案数据包含指向与当前故障维修工作相关的维修录像数据、3D虚拟维修动作数据、维修文本数据和维修图片数据的链接

所述维修方案生成模块根据诊断数据，在所述UI框架模块中选取对应的UI框架模板，然后在所述临时UI组件模块中选取对应的临时UI组件，并填充至对应的扩展点上，形成与当前故障维修工作相关的临时UI，最后放置于所述维修方案数据中

还包含用于向系统输入用户指令的虚拟动作输入模块和语音识别输入模块；

所述虚拟动作输入模块包含时序特征提取模块、特征向量识别模块、动作识别模块、增益模块和高阶特征数据处理模块。

所述语音识别输入模块包含、声源定位模块、声源增强模块、回声消除模块、噪音抑制模块和语义分析模块。

优选地，还包含网络显示器；所述网络显示器与通信模块连接，网络显示器上的画面与所述AR眼镜上显示的画面同步。

一种基于AR眼镜的零知识银行机房故障诊断维修指导方法，包括以下步骤：

S100、所述设备状态传感器将采集到的设备状态数据实时发送给所述总控模块；所述AR眼镜将拍摄的视频数据实时发送给总控模块；

S200、总控模块将设备状态数据和视频数据转发给所述故障诊断模块；

S300、故障诊断模块每0.5到2秒自动启动并工作1次，处理设备状态数据和视频数据，得到所述诊断数据；

S400、故障诊断模块根据查询诊断数据中的设备正常标志的结果，做出以下操作：

如果设备正常标志为“正常”，则通过总控模块将在AR眼镜上显示“设备正常”；

或，

如果设备正常标志为“故障”，则通过总控模块将在AR眼镜上显示“设备故障”，则将诊断数据转发给所述维修方案生成模块；

S500、维修方案生成模块根据诊断数据，查找所述方案资料库，得到所述维修方案数据，并通过总控模块将维修方案数据发送给AR眼镜；

优选地，所述S500包含以下步骤：

S510、所述维修方案生成模块根据所述诊断数据，在所述UI框架模块中选取对应的UI框架模板；

S520、维修方案生成模块根据诊断数据，在所述临时UI组件模块中选取对应的所述临时UI组件；

S530、维修方案生成模块将选取的临时UI组件填充至对应的扩展点上，形成与当前故障维修工作相关的所述临时UI；

S540、维修方案生成模块将临时UI放置于所述维修方案数据中。

进一步优选地，所述S100、S200、S300、S400和S500在执行中都同步包含以下步骤：

A100、所述通信模块将所述AR眼镜上显示的画面同步显示到所述网络显示器上，用于供专家远程实时观看维修现场的状况。

更进一步优选地，所述S100、S200、S300、S400和S500在执行中都同步包含以下步骤：

B100、所述总控模块将所述AR眼镜拍摄的所述视频数据转发给所述的虚拟动作输入模块；

B200、虚拟动作输入模块识别视频数据中的用户动作；

B300、虚拟动作输入模块将所述用户动作转化为用户输入指令，传送给总控模块；

B400、总控模块根据所述用户输入指令执行相应操作。

再进一步优选地，所述S100、S200、S300、S400和S500在执行中都同步包含以下步骤：

C100、所述总控模块将所述AR眼镜采集的音频数据转发给所述的语音识别输入模块；

C200、语音识别输入模块识别所述音频数据中的用户语句；

C300、语音识别输入模块将所述用户语句转化为用户输入指令，传送给总控模块；

C400、总控模块根据所述用户输入指令执行相应操作。

本发明与现有技术对比，具有以下优点：

1、本发明由于采用零知识的指导方法，无需维修人员判定故障原因、拟定维修方案，因此从根本上消除了对银行机房维修人员的专业技能和工作经验的需求，节省了培训成本，大幅降低了银行业用工成本，也降低了招聘维修人员的难度。

2、本发明由于将专家经验标准化，自动完成诊断并拟定针对性维修方案，因此诊断速度快、维修方案准确度高，大幅降低了维修时间和返修率，对于银行系统节省了大量因故障导致的时间成本。

3、本发明由于采用AR眼镜配合多种维修方案展示方法，因此能适应不同维修人员的理解习惯，提高了维修工作的准确度。

4、本发明以“探索人工智能与金融科技在细分领域的创新融合”为目标，通过整合AR、语音识别等先进技术与先进设备，彻底改变了金融业IT资产运维管理方法，为金融信息科技管理赋能，为传统的IT资产运维管理提供了智能、高效、安全的解决方案。

附图说明

图1为本发明的具体实施例的系统总体结构示意图。

图2为图1中的故障诊断模块的工作原理示意图。

图3为图1中的维修方案生成模块的工作原理示意图。

图4为应用图1中的维修指导系统检测到精密空调故障时的第一视角截图。

图5为应用图1中的维修指导系统来维修精密空调故障时的第一视角截图。

图6为应用图1中的维修指导系统完成维修工作后的第一视角截图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，一种基于AR眼镜的零知识银行机房故障诊断维修指导系统，包含设备状态传感器、AR眼镜和云端服务器，其中：AR眼镜采用EPSON BT350，采用这种相对专业的AR眼镜是因为银行机房需求较高，更看重维护工作的成效。AR眼镜上有摄像头和麦克风。

云端服务器上安装有总控模块，用于控制整个系统的数据流向和业务逻辑。总控模块通过通信模块分别与设备状态传感器、AR眼镜连接，实时不间断的接收摄像头拍摄的视频数据、麦克风采集的音频数据和设备状态传感器采集的设备状态数据。然后总控模块将设备状态数据和视频数据转发给故障诊断模块。总控模块还将视频数据转发给虚拟动作输入模块，将音频数据转发给语音识别输入模块，用于向系统输入用户指令。

虚拟动作输入模块包含时序特征提取模块、特征向量识别模块、动作识别模块、增益模块和高阶特征数据处理模块。

语音识别输入模块包含、声源定位模块、声源增强模块、回声消除模块、噪音抑制模块和语义分析模块。

云端服务器上安装有数据库系统。数据库系统包含故障资料库、方案资料库、UI框架模块和临时UI组件模块。其中：

故障资料库包含各待检设备的正常运行参数、故障运行参数和故障判定函数。

UI框架模块内预置有若干UI框架模板；UI框架模板上设有若干扩展点。

临时UI组件模块内预置有临时UI组件；临时UI组件上设有若干扩展点。

方案资料库包含演示资料库和维修说明书库，其中：

演示资料库内预存有可在AR眼镜上播放的维修录像数据和3D虚拟维修动作数据；维修录像数据在AR眼镜上展示的视角为第三人称视角，3D虚拟维修动作数据在AR眼镜上展示的视角为第一人称视角；维修说明书库包含维修文本数据和维修图片数据。

如图2所示，云端服务器上安装有故障诊断模块，每0.5到2秒自动启动并工作1次。故障诊断模块包括采样点识别模块、状态提取模块、故障查询模块和诊断处理模块。其中：

采样点识别模块接收视频数据，识别视频数据中的各个采样点的唯一身份标签，同时定位各采样点在视频数据中的坐标，然后将得到的采样点的唯一身份标签转发给状态提取模块。

状态提取模块根据各采样点的唯一身份标签及其对应的设备状态数据，提取各采样点的状态参数，然后将得到的各采样点的状态参数转发给故障查询模块。

故障查询模块根据接收各采样点的状态参数，在故障资料库中查询正常运行参数、故障运行参数，调用故障判定函数，并获取故障数据，然后将唯一身份标签、状态参数和故障数据发送给诊断处理模块。

诊断处理模块处理接收的唯一身份标签、状态参数和故障数据，得到诊断数据；诊断数据包含用于标识设备状态的设备正常标志；诊断处理模块查询设备正常标志，并根据查询结果做出以下操作：

如果设备正常标志为“正常”，则通过总控模块将在AR眼镜上显示“设备正常”。

或，

如果设备正常标志为“故障”，则通过总控模块将在AR眼镜上显示“设备故障”，并将诊断数据转发给维修方案生成模块。

如图3所示，云端服务器上安装有维修方案生成模块。维修方案生成模块根据诊断数据，查找方案资料库，并最终得到维修方案数据，并通过总控模块将维修方案数据发送给AR眼镜；AR眼镜接收和运行来自云端处理器的维修方案数据；维修方案数据包含指向与当前故障维修工作相关的维修录像数据、3D虚拟维修动作数据、维修文本数据和维修图片数据的链接。

维修方案生成模块还负责根据诊断数据，在UI框架模块中选取对应的UI框架模板，然后在临时UI组件模块中选取对应的临时UI组件，并填充至对应的扩展点上，形成与当前故障维修工作相关的临时UI，最后放置于维修方案数据中。

本系统还包含网络显示器；网络显示器与通信模块连接，网络显示器上的画面与AR眼镜上显示的画面同步。

一种基于AR眼镜的零知识银行机房故障诊断维修精密空调的指导方法，包括以下步骤：

S100、如图4所示，AR眼镜被维修人员佩戴，对准精密空调控制柜；设置于该精密空调控制柜中的设备状态传感器中的距离传感器、姿态传感器分别通过通信模块与总控模块经过握手，并根据握手结果做出如下动作：

如果全部握手成功，则确认AR眼镜当前要检测的疑似故障设备为其所在的精密空调控制柜；总控模块临时建立与该精密空调控制柜其他设备状态控制器的连接。

或，

如果握手不全部成功，则再次执行S100。

S200、设备状态传感器将采集到的设备状态数据实时发送给总控模块；AR眼镜将拍摄的视频数据实时发送给总控模块；AR眼镜采集的音频数据实时发送给总控模块。

S300、总控模块将设备状态数据和视频数据转发给故障诊断模块。

S400、故障诊断模块每0.5到2秒自动启动并工作1次，处理设备状态数据和视频数据，得到诊断数据。

S500、故障诊断模块根据查询诊断数据中的设备正常标志的结果，做出以下操作：

如果设备正常标志为“正常”，则通过总控模块将在AR眼镜上显示“设备正常”，则此次维修工作完成。

或，

如果设备正常标志为“故障”，则通过总控模块将在AR眼镜上显示“设备故障”，则将诊断数据转发给维修方案生成模块。

S600、维修方案生成模块根据诊断数据，查找方案资料库，得到维修方案数据，其中：

S610、维修方案生成模块根据诊断数据，在UI框架模块中选取对应的UI框架模板。

S620、维修方案生成模块根据诊断数据，在临时UI组件模块中选取对应的临时UI组件。

S630、维修方案生成模块将选取的临时UI组件填充至对应的扩展点上，形成与当前故障维修工作相关的临时UI。

S640、维修方案生成模块将临时UI放置于维修方案数据中。

如图5所示，最后，维修方案生成模块通过总控模块将维修方案数据发送给AR眼镜。

S700、维修人员根据AR眼镜上提示的维修方案数据，得知此次故障为“设备停止”，解决的方法为“重启精密空调”，然后按照提示步骤逐一操作，完成对精密空调的重启工作。

如图6所示，精密空调重启后恢复正常，在AR眼镜上也同步有显示。

在本具体实施例的上述S100、S200、S300、S400、S500、S600和S700的执行过程中，每一步都还同步包含以下步骤：

A、专家远程指导，其中：

A100、通信模块将AR眼镜上显示的画面同步显示到网络显示器上，用于供专家远程实时观看维修现场的状况。

A200、专家根据现场画面，实时对现场的维修人员发出指令，指导维修工作。

B、虚拟动作指令输入，其中：

B100、总控模块将AR眼镜拍摄的视频数据转发给虚拟动作输入模块。

B200、虚拟动作输入模块识别视频数据中的用户动作；

B300、虚拟动作输入模块将用户动作转化为用户输入指令，传送给总控模块。

B400、总控模块根据用户输入指令执行相应操作。

C、语音指令输入，其中：

C100、总控模块将AR眼镜采集的音频数据转发给语音识别输入模块。

C200、语音识别输入模块识别音频数据中的用户语句；

C300、语音识别输入模块将用户语句转化为用户输入指令，传送给总控模块。

C400、总控模块根据用户输入指令执行相应操作。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (6)

1.一种基于AR眼镜的零知识银行机房故障诊断维修指导系统，包含设备状态传感器、AR眼镜和云端服务器，其中：所述设备状态传感器将采集到的设备状态数据实时发送给所述云端处理器；所述AR眼镜将拍摄的视频数据实时发送给云端处理器，并接收和运行来自云端处理器的维修方案数据；

其特征在于：云端服务器上安装有数据库系统、故障诊断模块、维修方案生成模块、通信模块和总控模块，其中：

所述数据库系统包含故障资料库、方案资料库、UI框架模块和临时UI组件模块；所述故障资料库用于存储故障数据，并供故障诊断模块查找；所述方案资料库用于存储演示数据库和维修说明书数据库；

所述总控模块通过所述通信模块分别与设备状态传感器、AR眼镜连接，接收所述设备状态数据和视频数据并转发给所述故障诊断模块；

所述故障诊断模块包括采样点识别模块、状态提取模块、故障查询模块和诊断处理模块；故障诊断模块每0.5到2秒自动启动并工作1次；所述采样点识别模块接收视频数据，识别视频数据中的各个采样点的唯一身份标签，同时定位各采样点在视频数据中的坐标，然后将得到的采样点的唯一身份标签转发给所述状态提取模块；所述状态提取模块根据各采样点的唯一身份标签及其对应的设备状态数据，提取各采样点的状态参数，然后将得到的各采样点的状态参数转发给故障查询模块；故障查询模块根据接收各采样点的状态参数，在故障资料库中查询并获取故障数据，然后将唯一身份标签、状态参数和故障数据发送给所述诊断处理模块；诊断处理模块处理接收的唯一身份标签、状态参数和故障数据，得到诊断数据；所述诊断数据包含用于标识设备状态的设备正常标志；诊断处理模块查询所述设备正常标志，并根据查询结果做出以下操作：

如果设备正常标志为“正常”，则通过总控模块将在AR眼镜上显示“设备正常”；

或，

如果设备正常标志为“故障”，则通过总控模块将在AR眼镜上显示“设备故障”，并将诊断数据转发给所述维修方案生成模块；

维修方案生成模块根据诊断数据，查找所述方案资料库，得到所述与所述诊断数据相匹配的维修方案数据，并通过总控模块将维修方案数据发送给AR眼镜；

还包含用于向系统输入用户指令的虚拟动作输入模块和语音识别输入模块；

所述虚拟动作输入模块包含时序特征提取模块、特征向量识别模块、动作识别模块、增益模块和高阶特征数据处理模块；

所述语音识别输入模块包含声源定位模块、声源增强模块、回声消除模块、噪音抑制模块和语义分析模块。

2.根据权利要求1所述的基于AR眼镜的零知识银行机房故障诊断维修指导系统，其特征在于：还包含网络显示器；所述网络显示器与通信模块连接，网络显示器上的画面与所述AR眼镜上显示的画面同步。

3.一种基于AR眼镜的零知识银行机房故障诊断维修指导方法，基于权利要求1或2所述的基于AR眼镜的零知识银行机房故障诊断维修指导系统实现，其特征在于：所述方法包括以下步骤：

S100、所述设备状态传感器将采集到的设备状态数据实时发送给所述总控模块；所述AR眼镜将拍摄的视频数据实时发送给总控模块；

S200、总控模块将设备状态数据和视频数据转发给所述故障诊断模块；

S300、故障诊断模块每0.5到2秒自动启动并工作1次，处理设备状态数据和视频数据，得到所述诊断数据；

S400、故障诊断模块根据查询诊断数据中的设备正常标志的结果，做出以下操作：

如果设备正常标志为“正常”，则通过总控模块将在AR眼镜上显示“设备正常”；

或，

如果设备正常标志为“故障”，则通过总控模块将在AR眼镜上显示“设备故障”，则将诊断数据转发给所述维修方案生成模块；

S500、维修方案生成模块根据诊断数据，查找所述方案资料库，得到所述维修方案数据，并通过总控模块将维修方案数据发送给AR眼镜；

AR眼镜显示所述维修方案数据中的链接。

4.根据权利要求3所述的基于AR眼镜的零知识银行机房故障诊断维修指导方法，其特征在于：所述S100、S200、S300、S400和S500在执行中都同步包含以下步骤：

A100、所述通信模块将所述AR眼镜上显示的画面同步显示到所述网络显示器上，用于供专家远程实时观看维修现场的状况。

5.根据权利要求4所述的基于AR眼镜的零知识银行机房故障诊断维修指导方法，其特征在于：所述S100、S200、S300、S400和S500在执行中都同步包含以下步骤：

B100、所述总控模块将所述AR眼镜拍摄的所述视频数据转发给所述的虚拟动作输入模块；

B200、虚拟动作输入模块识别视频数据中的用户动作；

B300、虚拟动作输入模块将所述用户动作转化为用户输入指令，传送给总控模块；

B400、总控模块根据所述用户输入指令执行相应操作。

6.根据权利要求5所述的基于AR眼镜的零知识银行机房故障诊断维修指导方法，其特征在于：所述S100、S200、S300、S400和S500在执行中都同步包含以下步骤：

C100、所述总控模块将所述AR眼镜采集的音频数据转发给所述的语音识别输入模块；

C200、语音识别输入模块识别所述音频数据中的用户语句；

C300、语音识别输入模块将所述用户语句转化为用户输入指令，传送给总控模块；

C400、总控模块根据所述用户输入指令执行相应操作。