CN116402497B - 基于ar的设备检修维护方法及系统 - Google Patents
基于ar的设备检修维护方法及系统 Download PDFInfo
- Publication number
- CN116402497B CN116402497B CN202310672525.9A CN202310672525A CN116402497B CN 116402497 B CN116402497 B CN 116402497B CN 202310672525 A CN202310672525 A CN 202310672525A CN 116402497 B CN116402497 B CN 116402497B
- Authority
- CN
- China
- Prior art keywords
- equipment
- overhauled
- glasses
- overhaul
- remote
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000011521 glass Substances 0.000 claims abstract description 96
- 238000004891 communication Methods 0.000 claims description 20
- 230000003190 augmentative effect Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 230000008439 repair process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 238000011960 computer-aided design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供基于AR的设备检修维护方法及系统，涉及AR设备技术领域，其中，该方法包括：AR眼镜扫描并获取待检修设备的三维数据；利用三维识别算法对所述三维数据进行识别处理，根据所述待检修设备的型号获取所述待检修设备的检修指导信息；以所述AR眼镜的摄像头为中心，计算所述AR眼镜和所述待检修设备的相对位置；根据所述相对位置确定虚拟界面的显示位置，并在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示，在所述虚拟界面中以所述待检修设备为中心显示所述检修指导信息。由于该方案通过三维识别算法，因而避免提前对物体进行标识，提高了待检修设备的维修效率。
Description
技术领域
本发明涉及AR设备技术领域，特别涉及一种基于AR的设备检修维护的方法及系统。
背景技术
在设备日常运维工作中，经常对多种设备进行维护、维修和抢修，技术人员需要大量的维修维护、故障处理经验，并且由于技术人员需要维修设备的时间、地点等因素并不确定，常规的方法难以提供高效便捷的维修指导支持。
公开号为“CN206672041U”的专利文献公开了“一种基于增强现实的矿用设备智能巡检和维护辅助系统”，其针对矿用设备，需要事先对设备所处环境进行扫描以提取场景特征用于后续工作人员佩戴AR眼镜时匹配以定位设备，适用于矿用设备所在的矿井环境变化少、且矿用设备不易移动等情形，然而现实中，很多需要被检修维护的设备所在的环境事先并不能确定，其只适用于位置固定且不会发生移动的设备，不能做到在任意场景下对设备的识别与维修指导，致使维修效率较低。
公开号为“CN113393536A”的专利文献公开了“一种基于AR眼镜的远程维护指导系统和方法”，其需要复杂的定制的硬件设备支持，如，摄像机需要配备电动云台，借助电动云台才能实现摄像头控制与拍摄中的画面稳定，不具备对待检修设备的自动识别功能，其对人体姿态、移动趋势等的判断也是通过二维图像识别，成本较高且维修效率较低。
发明内容
有鉴于此，本发明实施例提供了一种基于AR的设备检修维护方法，以解决现有技术中使用AR眼镜对待检修设备维修效率较低的技术问题。该方法包括：
第一方面提供一种基于AR的设备检修维护方法，所述方法包括：
基于AR眼镜扫描并获取待检修设备的三维数据；
利用三维识别算法对所述三维数据进行识别处理，输出所述待检修设备的型号，并对所述待检修设备定位，其中，所述三维识别算法已对允许提供检修指导的设备的特征进行学习；
根据所述待检修设备的型号获取所述待检修设备的检修指导信息；
以所述AR眼镜的摄像头为中心，计算所述AR眼镜和所述待检修设备的相对位置；
根据所述相对位置确定虚拟界面的显示位置，并在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示，在所述虚拟界面中以所述待检修设备为中心显示所述检修指导信息。
第二方面提供一种基于AR的设备检修维护系统，所述系统包括：
识别模块，基于AR眼镜扫描并获取待检修设备的三维数据，并利用三维识别算法对所述三维数据进行识别处理，输出所述待检修设备的型号，并对所述待检修设备定位，其中，所述三维识别算法已对允许提供检修指导的设备的特征进行学习；
检修指导数据库模块，用于根据所述待检修设备的型号获取所述待检修设备的检修指导信息；
增强现实显示模块，用于以所述AR眼镜的摄像头为中心，计算所述AR眼镜和所述待检修设备的相对位置，及根据所述相对位置确定虚拟界面的显示位置，并在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示，在所述虚拟界面中以所述待检修设备为中心显示所述检修指导信息。
第三方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的基于AR的设备检修维护方法，以解决现有技术中使用AR眼镜对待检修设备维修效率较低的技术问题。
第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的基于AR的设备检修维护方法的计算机程序，以解决现有技术中使用AR眼镜对待检修设备维修效率较低的技术问题。
与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：
能数字化大量设备维护检修的经验和信息，通过实时三维识别算法使得AR眼镜能识别出视野内可以提供检修维护指导的设备，并显示设备相关信息、提供对应的操作维护教程，使工作人员能更好地对设备进行日常的运维，减少返修的次数，节约了维修成本，提高了维护维修效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于AR的设备检修维护方法的流程图；
图2是本发明实施例提供的一种计算机设备的示意图；
图3是本发明实施例提供的一种基于AR的设备检修维护系统的示意图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本发明实施例中，提供了一种基于AR的设备检修维护方法，如图1所示，该方法包括：
S101:基于AR眼镜扫描并获取待检修设备的三维数据；
S102:利用三维识别算法对三维数据进行识别处理，输出待检修设备的型号，并对待检修设备定位，其中，三维识别算法已对允许提供检修指导的设备的特征进行学习。利用三维识别算法进行识别处理，三维识别算法事先已经对可以提供指导的一类或多类设备的特征进行学习（可利用设备的深度图、点云、网格、CAD等不同形式的三维数据进行学习，具体可以根据识别算法选用不同类型的三维数据），可实现随时随地对AR眼镜佩戴者视野范围内的目标设备定位与识别。替代现有技术中通过扫描待检修设备上的条形码或二维码等，对待检修设备进行识别的方式。利用三维识别算法不依赖于事先对设备位置的标记、或是事先对设备所处环境特征的记忆，具有灵活性和实用性，提高对目标设备（即待检修设备）的维修效率。
S103:根据待检修设备的型号获取待检修设备的检修指导信息；
S104:以AR眼镜的摄像头为中心，计算AR眼镜和待检修设备的相对位置，例如，建立三维坐标系，通过三维坐标系计算出相对位置；
S105:根据相对位置确定虚拟界面的显示位置，并在显示位置上将虚拟界面和待检修设备进行虚实叠加显示，在虚拟界面中以待检修设备为中心显示检修指导信息。
该方法在检修人员佩戴AR眼镜时，将通过对周围物体扫描获取其三维数据，利用三维目标识别相关算法实时对周围物体进行识别，判断其是否为该系统可以提供检修维护指导的设备，如果是，将通过AR眼镜在待检修设备的对应位置显示相应的画面（即上述虚拟界面），提供相关设备信息介绍、分步骤的图文维修指导，以及可以选择远程连线的设备维修专家，通过AR眼镜在设备旁显示与专家实时沟通的视频流，进行实时维修交流。
由图1所示的流程可知，在本发明实施例中，根据待检修设备的型号获取待检修设备的检修指导信息，包括：
根据待检修设备的型号自动生成对应的SQL查询语句，待检修设备的型号，如，A型号和B型号的电表，通过三维识别算法确定出是A型号；
运行SQL查询语句在数据库中查询并获取待检修设备的检修指导信息，其中，数据库中预先存储有不同设备型号对应的检修指导信息，检修指导信息包括故障信息、维修步骤及可提供远程指导的专家信息，也可通过SQL查询语句从数据库中导出A型号设备信息、故障信息、维修步骤等检修指导信息；
进一步的，基于AR眼镜扫描并获取待检修设备的三维数据，包括：
采集待检修设备的多种数据格式的三维数据，从中输出分辨率或精度最高的一种数据格式所对应的三维数据，具体的：
分别采集待检修设备的深度图、点云、网格、CAD等不同的数据格式的三维数据，输入分辨率或精度最高的数据格式所对应的三维数据被三维识别算法所识别，以提高用于三维识别算法识别的三维数据的准确性、有效性，相对于现有技术中采用单一的二维码的识别或条形码的识别方法，该方法可随时随地对AR眼镜佩戴者视野范围内的目标设备的定位与识别，不依赖于事先对设备位置的标记、或是事先对设备所处环境特征的记忆、或是GPS定位，具有灵活性和实用性，且可以进一步提高识别的准确率。
由图1所示的流程可知，在本发明实施例中，根据相对位置确定虚拟界面的显示位置，并在显示位置上将虚拟界面和待检修设备进行虚实叠加显示，在虚拟界面中以待检修设备为中心显示检修指导信息，包括：
以AR眼镜的摄像头为中心计算出AR眼镜和待检修设备在三维坐标系下的相对位置，例如，建立三维世界坐标系，摄像头的中心作为该三维世界坐标系的原点或是初始点，在获取三维数据的过程中可确定出在三维世界坐标系中AR眼镜与待检修设备在各个方向上的相对位置，如，通过坐标差的方式来确定相对位置；
基于所述相对位置，计算出虚拟界面的所述显示位置，在显示位置上将所述虚拟界面和待检修设备进行虚实叠加显示，虚拟界面至少包括待检修设备说明界面、维修步骤界面及用户选项按钮界面；例如，当识别到待检修设备后，会通过AR眼镜显示定位框叠加在待检修设备上，并以待检修设备为中心，在其上、下、左、右以及待检修设备需要被框选的部件上等合适的、易于用户理解和使用的位置上显示虚拟界面；
在虚拟界面中以待检修设备界面为中心，对待检修设备说明界面、维修步骤界面及用户选项按钮界面进行展开式增强显示。展开式增强显示是指虚拟投影，如，待检修设备在AR眼镜的界面为中心，分别投影出各个说明界面、维修步骤界面或菜单、操作说明、具体设备检修指导教程步骤中对设备部件的标明和指示、用户选项按钮等界面。
由图1所示的流程可知，在本发明实施例中，基于上述内容方法还包括：
在对待检修设备进行检修的过程中，开设线程以AR眼镜的摄像头为中心，实时计算AR眼镜和待检修设备的相对位置，在预设时间段计算出相对位置的变化；
根据相对位置的变化实时调整AR眼镜叠加在待检修设备实物上的虚拟界面的显示位置，具体的：
待维修设备的移动可能造成虚拟界面晃动或显示内容不完整等情况出现，和/或，AR眼镜的携带者自身在操作过程中出现的晃动、移动等行为，也会导致增强显示界面（即虚拟界面）发生晃动或偏移等，进而影响维修效率，因此，为避免上述情况的出现，可以采用非线性函数对虚拟界面的显示位置进行偏差补偿，例如，在世界坐标系下采用双曲线非线性函数实时获取三维坐标系下的坐标原点和待维修设备各自的坐标差，根据预设时间间隔对坐标差进行输出，从而根据坐标差对晃动的虚拟界面的显示位置进行补偿，避免因待维修设备的移动或AR眼镜的晃动干扰待维修设备的维修效率。
由图1所示的流程可知，在本发明实施例中，包括：
在对待检修设备进行检修的过程中，设置实时识别线程，实时识别线程按照预设时间间隔扫描并获取待检修设备的三维数据，并利用三维识别算法对三维数据进行识别处理，为满足要求待维修设备的识别和虚拟界面显示的稳定性的需求，当输出的待检修设备的型号与上述待检修设备的型号不一致时，停止实时识别线程的识别，具体的，对当前某一设备维修完成后，对下个设备进行维修时，停止当前设备的数据输出，开始采集下一个设备的数据，如，对电表和机箱的维修，当对电表维修完成后，AR识别的物体为机箱时，停止电表所述数据的输出和显示，仅对机箱的采集数据进行相关显示。
由图1所示的流程可知，在本发明实施例中，还包括：
基于AR眼镜通过人机交互的方式接收佩戴者对专家界面的操作，响应于操作向对应的专家的远程通讯设备发送远程连接的第一请求；
将通过AR眼镜的摄像头采集的检修现场画面及通过AR眼镜的麦克风采集的检修现场音频携带在第一请求中；
接收远程通讯设备响应第一请求后回传的远程指导画面和远程指导音频；
基于AR眼镜在显示位置上将远程指导画面与虚拟界面和待检修设备进行虚实叠加显示，基于AR眼镜的麦克风对远程指导音频进行实时播放，具体的：不同型号的设备对应不同的专家，对该列表进行界面显示，当AR携带者遇到自身无法解决的问题时，对该列表进行操作，连接对应的专家。
在操作人员在现场操作远程连线，且远程连接成功后，调用麦克风获取现场实时音频，并使用摄像头拍摄到的实时画面，将音频和现场画面视频实时传输给对应专家的远程设备，同时，实时接收远程指导端（即专家的远程设备）传来的实时音视频，及将远程传来的视频画面进行增强显示，如，通过光学投影的方式进行虚拟显示，在待维修设备旁合适的位置进行投影增强显示，以达到实时远程沟通指导效果。
由图1所示的流程可知，在本发明实施例中，还包括：将通过AR眼镜的摄像头采集的检修现场画面及通过AR眼镜的麦克风采集的检修现场音频携带在第一请求中时，分别对检修现场音频和检修现场画面的数据的报头位置添加第一标识，第一标识用于远程通讯设备对AR眼镜的检修现场音频和检修现场画面的数据进行识别；
在接收远程通讯设备响应第一请求后回传的远程指导画面和远程指导音频时，判断远程指导画面和远程指导音频的数据在报尾是否存在第二标识，若是，判断出接收的远程指导画面和远程指导音频的数据是完整的。
具体的，上述第一标识可以是不同形式的标记数据，例如，以全零填充或其他形式的标记数据，远程通讯设备在接收AR眼镜传输的数据时，通过第一标识，能够知晓该AR眼镜传输的数据段的起点，便于快速识别，对于第一标识之前的数据，可以过滤掉或是不进行接收。
上述第二标识用于识别、判断AR眼镜接收远程指导画面和远程指导音频的数据的完整性。第二标识可以是不同形式的标记数据，例如，以全1填充或其他形式进行标记，AR眼镜在接收远程指导画面和远程指导音频时，如，没有识别到第二标识时，持续接收远程通讯设备的数据，直至识别到第二标识，表示数据接收完毕。
进一步的，上述AR眼镜还可以预设有不同频率的数据通道，远程指导画面和远程指导音频通过匹配的对应的数据通道被接收后，分别通过AR眼镜的麦克风和摄像头进行远程指导音频和远程指导画面的播放，避免延迟过高，致使AR眼镜所接收的画面出现卡滞情况，进而提高AR眼镜的使用效率。
在本实施例中，提供了一种计算机设备，如图2所示，包括存储器201、处理器202及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意的基于AR的设备检修维护方法。
具体的，该计算机设备可以是计算机终端、服务器或者类似的运算装置。
在本实施例中，提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述任意的基于AR的设备检修维护方法的计算机程序。
具体的，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
基于同一发明构思，本发明实施例中还提供了一种基于AR的设备检修维护系统，如下面的实施例。由于基于AR的设备检修维护系统解决问题的原理与基于AR的设备检修维护方法相似，因此基于AR的设备检修维护系统的实施可以参见基于AR的设备检修维护方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是本发明实施例的基于AR的设备检修维护系统的一种结构框图，如图3所示，结构框图包括：
识别模块01，基于AR眼镜扫描并获取待检修设备的三维数据，并利用三维识别算法对三维数据进行识别处理，输出待检修设备的型号，并在待检修设备中对待检修设备定位，其中，三维识别算法已对允许提供检修指导的设备的特征进行学习；
检修指导数据库模块02，用于根据待检修设备的型号获取待检修设备的检修指导信息；
增强现实显示模块03，用于以AR眼镜的摄像头为中心，计算AR眼镜和待检修设备的相对位置，及根据相对位置确定虚拟界面的显示位置，并在显示位置上将虚拟界面和待检修设备进行虚实叠加显示，在虚拟界面中以待检修设备为中心显示检修指导信息。
在一个实施例中，检修指导数据库模块，用于根据所述待检修设备的型号自动生成对应的SQL查询语句；运行所述SQL查询语句在数据库中查询并获取所述待检修设备的检修指导信息，其中，所述数据库中预先存储有不同设备型号对应的检修指导信息，检修指导信息包括故障信息、维修步骤及可提供远程指导的专家信息。
在一个实施例中，增强现实显示模块，用于以所述AR眼镜的摄像头为中心计算出所述AR眼镜和所述待检修设备在三维坐标系下的相对位置；基于所述相对位置，计算出所述虚拟界面的所述显示位置，在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示，所述虚拟界面至少包括待检修设备说明界面、维修步骤界面及用户选项按钮界面；在所述虚拟界面中以所述待检修设备界面为中心，对所述待检修设备说明界面、所述维修步骤界面及所述用户选项按钮界面进行展开式增强显示。
在一个实施例中，上述系统还包括：
显示位置更新模块，用于在对所述待检修设备进行检修的过程中，开设线程以所述AR眼镜的摄像头为中心，实时计算所述AR眼镜和所述待检修设备的相对位置，在预设时间段计算出所述相对位置的变化；根据所述相对位置的变化实时调整所述AR眼镜叠加在所述待检修设备实物上的所述虚拟界面的显示位置。
在一个实施例中，上述系统还包括：
线程识别模块，用于在对所述待检修设备进行检修的过程中，设置实时识别线程，所述实时识别线程按照预设时间间隔扫描并获取所述待检修设备的三维数据，并利用三维识别算法对所述三维数据进行识别处理，当输出的待检修设备的型号与所述待检修设备的型号不一致时，停止所述实时识别线程的识别。
在一个实施例中，上述系统还包括：
远程连线模块，用于基于所述AR眼镜通过人机交互的方式接收佩戴者对所述专家界面的操作，响应于所述操作向对应的专家的远程通讯设备发送远程连接的第一请求；将通过所述AR眼镜的摄像头采集的检修现场画面及通过所述AR眼镜的麦克风采集的检修现场音频携带在所述第一请求中；接收远程通讯设备响应所述第一请求后回传的远程指导画面和远程指导音频；基于所述AR眼镜在所述显示位置上将所述远程指导画面与所述虚拟界面和所述待检修设备进行虚实叠加显示，基于所述AR眼镜的麦克风对所述远程指导音频进行实时播放。
在一个实施例中，远程连线模块，还用于将通过所述AR眼镜的摄像头采集的检修现场画面及通过所述AR眼镜的麦克风采集的检修现场音频携带在所述第一请求中时，分别对所述检修现场音频和所述检修现场画面的数据的报头位置添加第一标识，所述第一标识用于所述远程通讯设备对所述AR眼镜的检修现场音频和检修现场画面的数据进行识别；在接收所述远程通讯设备响应所述第一请求后回传的远程指导画面和远程指导音频时，判断所述远程指导画面和所述远程指导音频的数据在报尾是否存在第二标识，若是，判断出接收的所述远程指导画面和所述远程指导音频的数据是完整的。
本发明实施例实现了如下技术效果：能数字化大量设备维护检修的经验和信息，通过实时三维识别算法使得AR眼镜能识别出视野内可以提供检修维护指导的设备，并显示设备相关信息、提供对应的操作维护教程及远程在线指导，使工作人员能更好地对设备进行日常的运维，减少返修的次数，节约了维修成本，提高了维护维修效率。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于AR的设备检修维护方法，其特征在于，包括：
基于AR眼镜扫描并获取待检修设备的三维数据；
利用三维识别算法对所述三维数据进行识别处理，输出所述待检修设备的型号，并对所述待检修设备定位，其中，所述三维识别算法已对允许提供检修指导的设备的特征进行学习；
根据所述待检修设备的型号获取所述待检修设备的检修指导信息；
以所述AR眼镜的摄像头为中心，计算所述AR眼镜和所述待检修设备的相对位置，包括：在对所述待检修设备进行检修的过程中，开设线程以所述AR眼镜的摄像头为中心，实时计算所述AR眼镜和所述待检修设备的相对位置，在预设时间段计算出所述相对位置的变化；根据所述相对位置的变化实时调整所述AR眼镜叠加在所述待检修设备实物上的虚拟界面的显示位置；
根据所述相对位置确定虚拟界面的显示位置，并在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示，在所述虚拟界面中以所述待检修设备为中心显示所述检修指导信息；
在对所述待检修设备进行检修的过程中，设置实时识别线程，所述实时识别线程按照预设时间间隔扫描并获取所述待检修设备的三维数据，并利用三维识别算法对所述三维数据进行识别处理，当输出的待检修设备的型号与所述待检修设备的型号不一致时，停止所述实时识别线程的识别；
基于所述AR眼镜通过人机交互的方式接收佩戴者对专家界面的操作，响应于所述操作向对应的专家的远程通讯设备发送远程连接的第一请求；将通过所述AR眼镜的摄像头采集的检修现场画面及通过所述AR眼镜的麦克风采集的检修现场音频携带在所述第一请求中；接收远程通讯设备响应所述第一请求后回传的远程指导画面和远程指导音频；基于所述AR眼镜在所述显示位置上将所述远程指导画面与所述虚拟界面和所述待检修设备进行虚实叠加显示，基于所述AR眼镜的麦克风对所述远程指导音频进行实时播放，包括：将通过所述AR眼镜的摄像头采集的检修现场画面及通过所述AR眼镜的麦克风采集的检修现场音频携带在所述第一请求中时，分别对所述检修现场音频和所述检修现场画面的数据的报头位置添加第一标识，所述第一标识用于所述远程通讯设备对所述AR眼镜的检修现场音频和检修现场画面的数据进行识别；在接收所述远程通讯设备响应所述第一请求后回传的远程指导画面和远程指导音频时，判断所述远程指导画面和所述远程指导音频的数据在报尾是否存在第二标识，若是，判断出接收的所述远程指导画面和所述远程指导音频的数据是完整的。
2.如权利要求1所述的基于AR的设备检修维护方法，其特征在于，根据所述待检修设备的型号获取所述待检修设备的检修指导信息，包括：
根据所述待检修设备的型号自动生成对应的SQL查询语句；
运行所述SQL查询语句在数据库中查询并获取所述待检修设备的检修指导信息，其中，所述数据库中预先存储有不同设备型号对应的检修指导信息，检修指导信息包括故障信息、维修步骤及可提供远程指导的专家信息。
3.如权利要求1所述的基于AR的设备检修维护方法，其特征在于，根据所述相对位置确定虚拟界面的显示位置，并在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示，在所述虚拟界面中以所述待检修设备为中心显示所述检修指导信息，包括：
以所述AR眼镜的摄像头为中心计算出所述AR眼镜和所述待检修设备在三维坐标系下的相对位置；
基于所述相对位置，计算出所述虚拟界面的所述显示位置，在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示，所述虚拟界面至少包括待检修设备说明界面、维修步骤界面及用户选项按钮界面；
在所述虚拟界面中以所述待检修设备界面为中心，对所述待检修设备说明界面、所述维修步骤界面及所述用户选项按钮界面进行展开式增强显示。
4.一种基于AR的设备检修维护系统，其特征在于，所述系统包括：
识别模块，基于AR眼镜扫描并获取待检修设备的三维数据，并利用三维识别算法对所述三维数据进行识别处理，输出所述待检修设备的型号，并对所述待检修设备定位，其中，所述三维识别算法已对允许提供检修指导的设备的特征进行学习；
检修指导数据库模块，用于根据所述待检修设备的型号获取所述待检修设备的检修指导信息；
增强现实显示模块，用于以所述AR眼镜的摄像头为中心，计算所述AR眼镜和所述待检修设备的相对位置，及根据所述相对位置确定虚拟界面的显示位置，并在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示，在所述虚拟界面中以所述待检修设备为中心显示所述检修指导信息，包括：
在对所述待检修设备进行检修的过程中，开设线程以所述AR眼镜的摄像头为中心，实时计算所述AR眼镜和所述待检修设备的相对位置，在预设时间段计算出所述相对位置的变化；根据所述相对位置的变化实时调整所述AR眼镜叠加在所述待检修设备实物上的虚拟界面的显示位置；
根据所述相对位置确定虚拟界面的显示位置，并在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示，在所述虚拟界面中以所述待检修设备为中心显示所述检修指导信息；在对所述待检修设备进行检修的过程中，设置实时识别线程，所述实时识别线程按照预设时间间隔扫描并获取所述待检修设备的三维数据，并利用三维识别算法对所述三维数据进行识别处理，当输出的待检修设备的型号与所述待检修设备的型号不一致时，停止所述实时识别线程的识别；
基于所述AR眼镜通过人机交互的方式接收佩戴者对专家界面的操作，响应于所述操作向对应的专家的远程通讯设备发送远程连接的第一请求；将通过所述AR眼镜的摄像头采集的检修现场画面及通过所述AR眼镜的麦克风采集的检修现场音频携带在所述第一请求中；接收远程通讯设备响应所述第一请求后回传的远程指导画面和远程指导音频；基于所述AR眼镜在所述显示位置上将所述远程指导画面与所述虚拟界面和所述待检修设备进行虚实叠加显示，基于所述AR眼镜的麦克风对所述远程指导音频进行实时播放，包括：将通过所述AR眼镜的摄像头采集的检修现场画面及通过所述AR眼镜的麦克风采集的检修现场音频携带在所述第一请求中时，分别对所述检修现场音频和所述检修现场画面的数据的报头位置添加第一标识，所述第一标识用于所述远程通讯设备对所述AR眼镜的检修现场音频和检修现场画面的数据进行识别；在接收所述远程通讯设备响应所述第一请求后回传的远程指导画面和远程指导音频时，判断所述远程指导画面和所述远程指导音频的数据在报尾是否存在第二标识，若是，判断出接收的所述远程指导画面和所述远程指导音频的数据是完整的。
5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的基于AR的设备检修维护方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至3中任一项所述的基于AR的设备检修维护方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310672525.9A CN116402497B (zh) | 2023-06-08 | 2023-06-08 | 基于ar的设备检修维护方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310672525.9A CN116402497B (zh) | 2023-06-08 | 2023-06-08 | 基于ar的设备检修维护方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116402497A CN116402497A (zh) | 2023-07-07 |
| CN116402497B true CN116402497B (zh) | 2023-10-10 |
Family
ID=87014651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310672525.9A Active CN116402497B (zh) | 2023-06-08 | 2023-06-08 | 基于ar的设备检修维护方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116402497B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011723A (zh) * | 2021-03-04 | 2021-06-22 | 北京计算机技术及应用研究所 | 一种基于增强现实的远程装备维保系统 |
| CN115331002A (zh) * | 2022-08-23 | 2022-11-11 | 北京宇乾能源科技有限责任公司 | 一种基于ar眼镜实现热力站故障远程处理方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9628783B2 (en) * | 2013-03-15 | 2017-04-18 | University Of Southern California | Method for interacting with virtual environment using stereoscope attached to computing device and modifying view of virtual environment based on user input in order to be displayed on portion of display |
-
2023
- 2023-06-08 CN CN202310672525.9A patent/CN116402497B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011723A (zh) * | 2021-03-04 | 2021-06-22 | 北京计算机技术及应用研究所 | 一种基于增强现实的远程装备维保系统 |
| CN115331002A (zh) * | 2022-08-23 | 2022-11-11 | 北京宇乾能源科技有限责任公司 | 一种基于ar眼镜实现热力站故障远程处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116402497A (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427917B (zh) | 用于检测关键点的方法和装置 | |
| CN110675489B (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
| US10674135B2 (en) | Handheld portable optical scanner and method of using | |
| CN109032348B (zh) | 基于增强现实的智能制造方法与设备 | |
| CN110728670A (zh) | 一种基于ar技术的低压设备运维方法 | |
| CN109919331A (zh) | 一种机载设备智能维修辅助系统及方法 | |
| KR102322773B1 (ko) | 전극편의 버를 검출하기 위한 방법 및 장치 | |
| CN113222184A (zh) | 基于增强现实ar的设备巡检系统及方法 | |
| CN111192331A (zh) | 一种激光雷达和相机的外参标定方法及装置 | |
| CN110793548B (zh) | 基于gnss接收机硬件在环的虚实结合的导航仿真测试系统 | |
| CN114299390A (zh) | 一种确定维修部件演示视频的方法及装置、安全帽 | |
| JP2019095876A (ja) | ３次元点群表示装置、３次元点群表示システム、３次元点群表示方法および３次元点群表示プログラム、記録媒体 | |
| US7377650B2 (en) | Projection of synthetic information | |
| US20220130105A1 (en) | Image display method, display control device, and recording medium | |
| US20220005284A1 (en) | Method for automatically capturing data from non-networked production equipment | |
| CN111563961B (zh) | 一种变电站的三维建模方法和相关装置 | |
| CN115984486A (zh) | 一种融合激光雷达与深度相机的桥梁模型生成方法及装置 | |
| CN112291550A (zh) | 自由视点图像生成方法、装置、系统及可读存储介质 | |
| CN113627005B (zh) | 一种智能视觉监控方法 | |
| CN116402497B (zh) | 基于ar的设备检修维护方法及系统 | |
| CN113838193A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| KR101958199B1 (ko) | 중소형 플랜트의 유지보수 엔지니어링 역량 강화를 위한 모델기반의 형상관리시스템 | |
| CN112102490A (zh) | 一种用于变电站三维模型的建模方法 | |
| CN109816791B (zh) | 用于生成信息的方法和装置 | |
| WO2023103883A1 (zh) | 对象自动标注方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100044 Beijing city Haidian District Xizhimen Shangyuan Village No. 3 Applicant after: Beijing Jiaotong University Applicant after: BEIJING WEEIN SOFTWARE TECHNOLOGY CO.,LTD. Address before: 804, 8th Floor, Science and Education Building, No. 89, Zone 1, No. 44 Gaoliangqiao Xiejie Street, Haidian District, Beijing, 100044 Applicant before: BEIJING WEEIN SOFTWARE TECHNOLOGY CO.,LTD. Applicant before: Beijing Jiaotong University |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |