CN116767319B - 基于mr设备的巡检及维护方法、系统及计算机设备 - Google Patents

Abstract

本发明实施例提供基于MR设备的巡检及维护方法、系统及计算机设备，该方法包括以下步骤：基于MR设备对待巡检设备的扫描，确定待巡检设备的相关信息和定位；在MR设备所生成的虚拟环境中显示待巡检设备的相关信息和定位；基于MR设备的人机交互方式，接收上报信息的指令，根据所述指令上报待巡检设备的相关信息和定位；若基于待巡检设备的相关信息判断待巡检设备存在故障，获取并显示检修所述待巡检设备的指导信息。基于MR设备的智慧巡检系统采用的虚拟可视化技术，将原来完全线下的工作和安全监察过程数字化，将设备信息、安全监察、现场作业的信息进行了综合，实现巡检工作的数字化、智慧化。

Description

基于MR设备的巡检及维护方法、系统及计算机设备

技术领域

本发明涉及AR设备技术领域，特别涉及一种基于MR设备的巡检及维护方法、系统及计算机设备。

背景技术

在轨道交通领域，轨道相关设备信息属于信息化建设的重要内容，在信息交换管理中处于重要地位，一旦设备存在故障问题，无法得到及时解决，则会对相关系统整体运行构成严重危害，造成较大的经济损失。以往传统的设备巡检及管理过程中，受时间与空间上的制约明显。

现阶段针对轨道的待维修设备的维修，是维修人员手持巡检仪对设备进行手动登记和呼叫远程技术人员，彼此的沟通依赖于语音或者文字，大大降低对待巡检设备的巡检或维修效率。

发明内容

有鉴于此，本发明实施例提供了一种基于MR设备的巡检及维护方法，以解决了现有技术中对待巡检设备的巡检或维修效率较低的技术问题。该方法包括：

第一方面提供一种基于MR设备的巡检及维护方法，所述方法包括：

基于MR设备对待巡检设备的扫描，确定待巡检设备的相关信息和定位；

在MR设备所生成的虚拟环境中显示待巡检设备的相关信息和定位；

基于MR设备的人机交互方式，接收上报信息的指令，根据所述指令上报待巡检设备的相关信息和定位；

若基于待巡检设备的相关信息判断待巡检设备存在故障，获取并显示检修所述待巡检设备的指导信息。

第二方面提供一种基于MR设备的巡检及维护系统，所述系统包括：

扫描模块，用于基于MR设备对待巡检设备的扫描，确定待巡检设备的相关信息和定位；

显示模块，用于在MR设备所生成的虚拟环境中显示待巡检设备的相关信息和定位；

上报模块，用于基于MR设备的人机交互方式，接收上报信息的指令，根据所述指令上报待巡检设备的相关信息和定位，若基于待巡检设备的相关信息判断待巡检设备存在故障，获取并显示检修所述待巡检设备的指导信息。

第三方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述部分或全部所述的基于MR设备的巡检及维护方法。

与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：

采用智能铁道网络技术及其对大数据的应用，将MR设备应用在巡检过程中，对待巡检设备进行设备状态估计等，避免了智能巡检系统对数据的需求与获取数据不全面之间的矛盾，泛在物联网概念可以应用到巡检领域中去，同时，也替代了手持巡检仪对待巡检设备进行手动等级和呼叫远程技术人员等巡检方式，在巡检过程中的沟通不依赖于语音或者文字，通过界面上相关检修内容的显示提高巡检的协同效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的一种巡检及维护方法的流程图；

图2是本发明实施例提供的一种计算机设备的示意图；

图3是本发明实施例提供的一种巡检及维护系统的示意图。

具体实施方式

下面结合附图对本申请实施例进行详细描述。

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本发明实施例中，提供了一种基于AR的设备检修维护方法，如图1所示，该方法包括：

S101:基于MR设备对待巡检设备的扫描，确定待巡检设备的相关信息和定位，例如，包括但不限于二维码或条形码或点云的方式确定待巡检设备的相关信息；

S102:在MR设备所生成的虚拟环境中显示待巡检设备的相关信息和定位；

S103:基于MR设备的人机交互方式，接收上报信息的指令，根据指令上报待巡检设备的相关信息和定位；

S104:若基于待巡检设备的相关信息判断待巡检设备存在故障，获取并显示检修待巡检设备的指导信息。

将MR设备应用在巡检过程中，采用混合现实的方式协助佩戴者完成巡检，包括对待巡检设备进行设备状态估计等，将智能设备与大数据进行结合从而替代了手持巡检仪对待巡检设备进行手动等级和呼叫远程技术人员等巡检方式，在巡检过程中的沟通不依赖于语音或者文字，通过界面上相关检修内容的显示提高巡检的协同效率。

由图1所示的流程可知，在本发明实施例中，基于MR设备对待巡检设备的扫描确定待巡检设备的相关信息和定位，包括：

基于MR设备上的扫描设备扫描待巡检设备的二维码，利用计算机视觉算法实时跟踪和识别二维码中的QR码，QR码中载有待巡检设备的相关信息，QR码即为Quick Response，可被快速读取，QR码能存储更丰富的信息，包括对文字、URL地址和其他类型的数据加密，通过扫描待巡检设备上的QR码，通过计算机视觉算法解码后可快速知道当前待巡检设备的相关信息；

以MR设备的扫描设备为中心，计算出MR设备和待巡检设备在三维坐标系下的相对位置，根据相对位置确定待巡检设备在三维坐标系下的定位，例如，建立世界坐标系，在世界坐标系中以MR设备的扫描设备为中心，可实时计算出与待巡检设备的相对位置，进而完成在MR设备所生成虚拟界面中虚拟定位。

进一步的，在MR设备所生成的虚拟环境中显示待巡检设备的相关信息和定位，包括：

基于MR设备的RGB摄像头和ToF摄像头检测待巡检设备所在现实环境中的二维码，在二维码真实位置建立坐标系；

基于坐标系构建出锚点，根据锚点在MR设备所生成的虚拟环境中生成UI面板(环境操作面板)，将待巡检设备的相关信息显示在UI面板上；

基于MR设备的动作跟踪器实时获取佩戴者的视角差，根据视角差实时调整UI面板在MR设备所生成的虚拟环境中的显示位置。通过动作跟踪器跟随着佩戴者的视角，使得UI面板悬浮在视角正前方，避免因为佩戴者移动而操作不便。

由图1所示的流程可知，在本发明实施例中，适用于待巡检设备上没有二维码的情况，基于MR设备对待巡检设备的扫描确定待巡检设备的相关信息和定位，包括：

基于MR设备上的深度相机获取待巡检设备所在现实环境的点云，利用点云生成待巡检设备的模型；

运行查询、对比语句，将待巡检设备的点云与数据库中预先存储的设备点云进行对比，并获取待巡检设备的型号及相关信息，数据库中预先存储不同设备型号的点云及对应的相关信息；

以MR设备的深度相机为中心计算出MR设备和待巡检设备在三维坐标系下的相对位置，基于相对位置确定待巡检设备在三维坐标系下的定位。

进一步的，基于MR设备所生成的虚拟环境中显示待巡检设备的相关信息和定位，包括：

基于MR设备通过构建3D模型或使用计算机视觉算法利用点云所生成的模型生成环境的3D模型，3D模型作为替代基于MR设备所生成的虚拟环境；

基于MR设备利用CP算法将利用点云所生成的模型在3D模型实时对齐，CP算法能够从点云配准获得的变换矩阵计算巡检人员的估计位置，进而获取周围的环紧信息，

在虚拟环境中生成中基于点云所生成的模型对应生成UI面板，该UI面板在虚拟空间中距离佩戴者视角的距离能够在预设的间距范围内，可清楚的识别UI面板上的内容；

基于MR设备的动作跟踪器实时获取佩戴者视角差，根据视角差实时调整UI面板在MR设备所生成的虚拟环境中的显示位置，实时调整UI面板显示的位置在佩戴者视角的正前方，便于操作和观看，随佩戴者的移动而移动。

由图1所示的流程可知，在本发明实施例中，基于MR设备的人机交互方式，接收上报信息的指令，根据指令上报待巡检设备的相关信息和定位，包括：

基于MR设备生成的虚拟环境中生成UI面板，UI面板显示待巡检设备的相关信息、错误按钮及上报按钮；

基于MR设备通过人机交互的方式接收佩戴者对错误按钮的触发式操作，在UI面板生成当前状态考评，当前状态考评表示待巡检设备当前是否出现故障，仅通过触发的方式即可完成当前待巡检设备的上报，充分利用了大数据的效率较高的优势，触发操作，例如，微软MRTK为主SDK配合Unity3D构建对佩戴者的手部跟踪操控，操控触发上报按钮后，MR设备上的通讯装置与后台设备进行数据通讯，将当前待巡检设备的巡检数据向后台设备进行上报；

基于MR设备的人机交互方式，接收佩戴者对上报按钮的手部跟踪操控，以接收上报信息的指令，根据指令将待巡检设备的当前状态考评数据及相关信息上报至后台设备。

由图1所示的流程可知，在本发明实施例中，若基于待巡检设备的相关信息判断待巡检设备存在故障，获取并显示检修待巡检设备的指导信息，包括：

在MR设备生成的虚拟环境中生成UI面板，UI面板设置有手册指导按钮，基于MR设备的人机交互的方式，接收佩戴者对手册指导按钮的手部跟踪操控的按压操作，响应于按压操作向第一远程终端发送第一请求；

接收第一远程终端响应于第一请求向MR设备发送的第一指导文件(优选的为Json文件)，第一指导文件包括对待巡检设备进行检修的操作指导步骤信息；

生成第一界面，将第一指导文件中的操作指导步骤信息显示在第一界面上，并在待巡检设备上对操作指导步骤信息对应的设备部件进行高亮显示，第一界面上设置有用于调整字体大小和字体颜色的确认按钮。

由图1所示的流程可知，在本发明实施例中，若基于待巡检设备的相关信息判断待巡检设备存在故障，获取并显示检修待巡检设备的指导信息，即为，若发现设备故障，可以通过实时视频呼叫远程研发人员，在远程视频指导下进行处理，包括：

在MR设备生成的虚拟环境中生成UI面板，UI面板显示有待巡检设备所对应的专家信息及其远程连线按钮；

基于MR设备的人机交互的方式，接收佩戴者对远程连线按钮的手部跟踪操控的点击操作，响应于点击操作MR设备向第二远程终端发送请求远程连线的第二请求，并将MR设备的摄像头采集的现场画面及MR设备的麦克风采集的音频携带在第二请求中；

接收远程通讯设备响应第二请求后回传的远程指导画面和远程指导音频；

在UI面板位置处生成第二界面，第二界面用于显示远程指导画面，将UI面板进行缩放或隐藏显示，在远程指导画面播放结束时关闭第二界面并显示被缩放或隐藏的UI面板，基于MR设备的麦克风播放远程指导音频。

通过远程现场沟通的方式来对待巡检设备进行维修，大大提高巡检的效率，相对于单一的音频而言，提供实时的现场在先指导，能够缩短维修的耗时，且提高了维修的效率。

在本实施例中，提供了一种计算机设备，如图2所示，包括存储器201、处理器202及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意的基于MR设备的巡检及维护方法。

具体的，该计算机设备可以是计算机终端、服务器或者类似的运算装置。

在本实施例中，提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述任意的基于MR设备的巡检及维护方法的计算机程序。

具体的，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

基于同一发明构思，本发明实施例中还提供了一种基于MR设备的巡检及维护系统，如下面的实施例。由于基于MR设备的巡检及维护系统解决问题的原理与基于MR设备的巡检及维护方法相似，因此基于MR设备的巡检及维护系统的实施可以参见基于MR设备的巡检及维护方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是本发明实施例的基于MR设备的巡检及维护系统的一种结构框图，如图3所示，结构框图包括：

扫描模块，用于基于MR设备对待巡检设备的扫描，确定待巡检设备的相关信息和定位；

显示模块，用于在MR设备所生成的虚拟环境中显示待巡检设备的相关信息和定位；

上报模块，用于基于MR设备的人机交互方式，接收上报信息的指令，根据指令上报待巡检设备的相关信息和定位，若基于待巡检设备的相关信息判断待巡检设备存在故障，获取并显示检修待巡检设备的指导信息。

通过ME设备连接人与物，并作为移动的人机交互接口，无缝连接数据与现实，采用智能技术实现数据流的联通，更好完成对待巡检设备的巡检。将现有技术中完全线下的工作和安全监察过程数字化，将设备信息、安全监察、现场作业的信息进行了综合，使三者无缝结合，实现巡检工作的数字化、智慧化。

在一个实施例中，上述系统还包括：

扫描模块还用于，基于MR设备上的扫描设备扫描待巡检设备的二维码，利用计算机视觉算法实时跟踪和识别二维码中的QR码，QR码中载有待巡检设备的相关信息；

以MR设备的扫描设备为中心，计算出MR设备和待巡检设备在三维坐标系下的相对位置，根据相对位置确定待巡检设备在三维坐标系下的定位，或是，基于MR设备上的深度相机获取待巡检设备所在现实环境的点云；

运行查询、对比语句，将待巡检设备的点云与数据库中预先存储的设备点云进行对比，并获取待巡检设备的型号及相关信息，数据库中预先存储不同设备型号的点云及对应的相关信息；

以MR设备的深度相机为中心计算出MR设备和待巡检设备在三维坐标系下的相对位置，基于相对位置确定待巡检设备在三维坐标系下的定位。

在一个实施例中，上述系统还包括：

显示模块，用于基于MR设备的RGB摄像头和ToF摄像头检测待巡检设备所在现实环境中的二维码，在二维码真实位置建立坐标系；

基于坐标系构建出锚点，根据锚点在MR设备所生成的虚拟环境中生成UI面板，将待巡检设备的相关信息显示在UI面板上；

基于MR设备的动作跟踪器实时获取佩戴者的视角差，根据视角差实时调整UI面板在MR设备所生成的虚拟环境中的显示位置，或，

基于MR设备通过构建3D模型或使用计算机视觉算法利用点云所生成的模型生成环境的3D模型，3D模型作为替代基于MR设备所生成的虚拟环境；

基于MR设备利用CP算法将利用点云所生成的模型在3D模型实时对齐；

在虚拟环境中生成中基于点云所生成的模型对应生成UI面板；

基于MR设备的动作跟踪器实时获取佩戴者视角差，根据视角差实时调整UI面板在MR设备所生成的虚拟环境中的显示位置。

在一个实施例中，上述系统还包括：

上报模块还用于，基于MR设备的人机交互方式，接收上报信息的指令，根据指令上报待巡检设备的相关信息和定位，包括：

基于MR设备生成的虚拟环境中生成UI面板，UI面板显示待巡检设备的相关信息、错误按钮及上报按钮；

基于MR设备通过人机交互的方式接收佩戴者对错误按钮的触发式操作，在UI面板生成当前状态考评，当前状态考评表示待巡检设备当前是否出现故障；

基于MR设备的人机交互方式，接收佩戴者对上报按钮的手部跟踪操控，以接收上报信息的指令，根据指令将待巡检设备的当前状态考评数据及相关信息上报至后台设备。

在一个实施例中，上述系统还包括：

上报模块还用于，若基于待巡检设备的相关信息判断待巡检设备存在故障，获取并显示检修待巡检设备的指导信息，包括：

在MR设备生成的虚拟环境中生成UI面板，UI面板设置有手册指导按钮，基于MR设备的人机交互的方式，接收佩戴者对手册指导按钮的手部跟踪操控的按压操作，响应于按压操作向第一远程终端发送第一请求；

接收第一远程终端响应于第一请求向MR设备发送的第一指导文件，第一指导文件包括对待巡检设备进行检修的操作指导步骤信息；

生成第一界面，将第一指导文件中的操作指导步骤信息显示在第一界面上，并在待巡检设备上对操作指导步骤信息对应的设备部件进行高亮显示，第一界面上设置有用于调整字体大小和字体颜色的确认按钮。

在一个实施例中，上报模块还用于，若基于待巡检设备的相关信息判断待巡检设备存在故障，获取并显示检修待巡检设备的指导信息，包括：

在MR设备生成的虚拟环境中生成UI面板，UI面板显示有待巡检设备所对应的专家信息及其远程连线按钮；

基于MR设备的人机交互的方式，接收佩戴者对远程连线按钮的手部跟踪操控的点击操作，响应于点击操作MR设备向第二远程终端发送请求远程连线的第二请求，并将MR设备的摄像头采集的现场画面及MR设备的麦克风采集的音频携带在第二请求中；

接收远程通讯设备响应第二请求后回传的远程指导画面和远程指导音频；

在UI面板位置处生成第二界面，第二界面用于显示远程指导画面，将UI面板进行缩放或隐藏显示，在远程指导画面播放结束时关闭第二界面并显示被缩放或隐藏的UI面板，基于MR设备的麦克风播放远程指导音频。

本发明实施例实现了如下技术效果：能数字化大量设备维护检修的经验和信息，通过实时三维识别算法使得AR眼镜能识别出视野内可以提供检修维护指导的设备，并显示设备相关信息、提供对应的操作维护教程及远程在线指导，使工作人员能更好地对设备进行日常的运维，减少返修的次数，节约了维修成本，提高了维护维修效率。

显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于MR设备的巡检及维护方法，其特征在于，所述方法包括：

基于MR设备对待巡检设备的扫描，确定待巡检设备的相关信息和定位；

在MR设备所生成的虚拟环境中显示待巡检设备的相关信息和定位，包括，基于MR设备的RGB摄像头和ToF摄像头检测待巡检设备所在现实环境中的二维码，在所述二维码真实位置建立坐标系；基于所述坐标系构建出锚点，根据所述锚点在MR设备所生成的虚拟环境中生成UI面板，将待巡检设备的相关信息显示在所述UI面板上；基于MR设备的动作跟踪器实时获取佩戴者的视角差，根据所述视角差实时调整所述UI面板在MR设备所生成的虚拟环境中的显示位置，和，基于MR设备上的深度相机获取待巡检设备所在现实环境的点云；运行查询、对比语句，将待巡检设备的点云与数据库中预先存储的设备点云进行对比，并获取待巡检设备的型号及相关信息，所述数据库中预先存储不同设备型号的点云及对应的相关信息；以所述MR设备的深度相机为中心计算出所述MR设备和待巡检设备在三维坐标系下的相对位置，基于所述相对位置确定待巡检设备在三维坐标系下的定位，其中，基于MR设备通过构建 3D 模型或使用计算机视觉算法利用点云所生成的模型生成环境的3D模型，所述3D模型作为替代基于MR设备所生成的虚拟环境；基于MR设备利用CP算法将所述利用点云所生成的模型在所述3D模型实时对齐；在所述虚拟环境中生成中基于所述点云所生成的模型对应生成UI面板；基于MR设备的动作跟踪器实时获取佩戴者视角差，根据所述视角差实时调整UI面板在MR设备所生成的虚拟环境中的显示位置；

基于MR设备的人机交互方式，接收上报信息的指令，根据所述指令上报待巡检设备的相关信息和定位；

若基于待巡检设备的相关信息判断待巡检设备存在故障，获取并显示检修所述待巡检设备的指导信息，包括：

在MR设备生成的虚拟环境中生成UI面板，所述UI面板设置有手册指导按钮，基于MR设备的人机交互的方式，接收佩戴者对所述手册指导按钮的手部跟踪操控的按压操作，响应于所述按压操作向第一远程终端发送第一请求；

接收所述第一远程终端响应于所述第一请求向MR设备发送的第一指导文件，所述第一指导文件包括对待巡检设备进行检修的操作指导步骤信息；

生成第一界面，将所述第一指导文件中的操作指导步骤信息显示在所述第一界面上，并在所述待巡检设备上对所述操作指导步骤信息对应的设备部件进行高亮显示，所述第一界面上设置有用于调整字体大小和字体颜色的确认按钮；

在MR设备生成的虚拟环境中生成UI面板，所述UI面板显示有待巡检设备所对应的专家信息及其远程连线按钮；基于MR设备的人机交互的方式，接收佩戴者对所述远程连线按钮的手部跟踪操控的点击操作，响应于所述点击操作MR设备向第二远程终端发送请求远程连线的第二请求，并将MR设备的摄像头采集的现场画面及MR设备的麦克风采集的音频携带在所述第二请求中；接收远程通讯设备响应所述第二请求后回传的远程指导画面和远程指导音频；在所述UI面板位置处生成第二界面，所述第二界面用于显示所述远程指导画面，将所述UI面板进行缩放或隐藏显示，在远程指导画面播放结束时关闭所述第二界面并显示被缩放或隐藏的所述UI面板，基于MR设备的麦克风播放所述远程指导音频。

2.根据权利要求1所述的基于MR设备的巡检及维护方法，其特征在于，基于MR设备对待巡检设备的扫描确定待巡检设备的相关信息和定位，包括：

基于MR设备上的扫描设备扫描待巡检设备的二维码，利用计算机视觉算法实时跟踪和识别所述二维码中的QR码，所述QR码中载有待巡检设备的相关信息；

以所述MR设备的扫描设备为中心，计算出所述MR设备和待巡检设备在三维坐标系下的相对位置，根据所述相对位置确定待巡检设备在三维坐标系下的定位。

3.根据权利要求1所述的基于MR设备的巡检及维护方法，其特征在于，基于MR设备的人机交互方式，接收上报信息的指令，根据所述指令上报待巡检设备的相关信息和定位，包括：

基于MR设备生成的虚拟环境中生成UI面板，所述UI面板显示待巡检设备的相关信息、错误按钮及上报按钮；

基于MR设备通过人机交互的方式接收佩戴者对所述错误按钮的触发式操作，在所述UI面板生成当前状态考评，所述当前状态考评表示待巡检设备当前是否出现故障；

基于MR设备的人机交互方式，接收佩戴者对所述上报按钮的手部跟踪操控，以接收上报信息的所述指令，根据所述指令将待巡检设备的当前状态考评数据及相关信息上报至后台设备。

4.一种基于MR设备的巡检及维护系统，其特征在于，所述系统包括：

扫描模块，用于基于MR设备对待巡检设备的扫描，确定待巡检设备的相关信息和定位；

显示模块，用于在MR设备所生成的虚拟环境中显示待巡检设备的相关信息和定位，包括，基于MR设备的RGB摄像头和ToF摄像头检测待巡检设备所在现实环境中的二维码，在所述二维码真实位置建立坐标系；基于所述坐标系构建出锚点，根据所述锚点在MR设备所生成的虚拟环境中生成UI面板，将待巡检设备的相关信息显示在所述UI面板上；基于MR设备的动作跟踪器实时获取佩戴者的视角差，根据所述视角差实时调整所述UI面板在MR设备所生成的虚拟环境中的显示位置，和，基于MR设备上的深度相机获取待巡检设备所在现实环境的点云；运行查询、对比语句，将待巡检设备的点云与数据库中预先存储的设备点云进行对比，并获取待巡检设备的型号及相关信息，所述数据库中预先存储不同设备型号的点云及对应的相关信息；以所述MR设备的深度相机为中心计算出所述MR设备和待巡检设备在三维坐标系下的相对位置，基于所述相对位置确定待巡检设备在三维坐标系下的定位，其中，基于MR设备通过构建 3D 模型或使用计算机视觉算法利用点云所生成的模型生成环境的3D模型，所述3D模型作为替代基于MR设备所生成的虚拟环境；基于MR设备利用CP算法将所述利用点云所生成的模型在所述3D模型实时对齐；在所述虚拟环境中生成中基于所述点云所生成的模型对应生成UI面板；基于MR设备的动作跟踪器实时获取佩戴者视角差，根据所述视角差实时调整UI面板在MR设备所生成的虚拟环境中的显示位置；

上报模块，用于基于MR设备的人机交互方式，接收上报信息的指令，根据所述指令上报待巡检设备的相关信息和定位，若基于待巡检设备的相关信息判断待巡检设备存在故障，获取并显示检修所述待巡检设备的指导信息，包括：

在MR设备生成的虚拟环境中生成UI面板，所述UI面板设置有手册指导按钮，基于MR设备的人机交互的方式，接收佩戴者对所述手册指导按钮的手部跟踪操控的按压操作，响应于所述按压操作向第一远程终端发送第一请求；

接收所述第一远程终端响应于所述第一请求向MR设备发送的第一指导文件，所述第一指导文件包括对待巡检设备进行检修的操作指导步骤信息；

生成第一界面，将所述第一指导文件中的操作指导步骤信息显示在所述第一界面上，并在所述待巡检设备上对所述操作指导步骤信息对应的设备部件进行高亮显示，所述第一界面上设置有用于调整字体大小和字体颜色的确认按钮；

在MR设备生成的虚拟环境中生成UI面板，所述UI面板显示有待巡检设备所对应的专家信息及其远程连线按钮；基于MR设备的人机交互的方式，接收佩戴者对所述远程连线按钮的手部跟踪操控的点击操作，响应于所述点击操作MR设备向第二远程终端发送请求远程连线的第二请求，并将MR设备的摄像头采集的现场画面及MR设备的麦克风采集的音频携带在所述第二请求中；接收远程通讯设备响应所述第二请求后回传的远程指导画面和远程指导音频；在所述UI面板位置处生成第二界面，所述第二界面用于显示所述远程指导画面，将所述UI面板进行缩放或隐藏显示，在远程指导画面播放结束时关闭所述第二界面并显示被缩放或隐藏的所述UI面板，基于MR设备的麦克风播放所述远程指导音频。

5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的基于MR设备的巡检及维护方法。