CN112130572A - 一种基于穿戴式设备的机电设备养护单兵辅助方法及系统 - Google Patents
一种基于穿戴式设备的机电设备养护单兵辅助方法及系统 Download PDFInfo
- Publication number
- CN112130572A CN112130572A CN202011050671.0A CN202011050671A CN112130572A CN 112130572 A CN112130572 A CN 112130572A CN 202011050671 A CN202011050671 A CN 202011050671A CN 112130572 A CN112130572 A CN 112130572A
- Authority
- CN
- China
- Prior art keywords
- information
- fault
- target
- equipment
- electromechanical device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000012423 maintenance Methods 0.000 title claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims abstract description 41
- 230000008439 repair process Effects 0.000 claims abstract description 24
- 239000002131 composite material Substances 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims description 21
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 230000003993 interaction Effects 0.000 abstract description 4
- 239000011521 glass Substances 0.000 description 10
- 238000011084 recovery Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
Abstract
本发明公开了一种基于穿戴式设备的机电设备养护单兵辅助方法及系统,其中:穿戴式设备端获取目标机电设备识别信息及使用者视角图像;手持设备端接收操作指令;后台端基于目标机电设备识别信息对目标机电设备身份进行识别,并调用与目标机电设备对应的目标机电设备信息,将操作指令及目标机电设备信息添加至使用者视角图像中得到合成图像;穿戴式设备端显示合成图像。与现有技术相比,本发明能够准确识别机电设备,且使得巡查人员能够方便准确的得到机电设备的各种信息;能够帮助巡查人员准确识别故障原因,并进行针对性的修复;还能够提高人机交互能力,使工作人员能够有效操控穿戴式设备显示的画面;进而实现对机电设备巡查人员的全方位的辅助。
Description
技术领域
本发明涉及机电设备维护技术领域,具体涉及一种基于穿戴式设备的机电设备养护单兵辅助方法及系统。
背景技术
现有的机电设备维护工作,通常由巡查人员现场完成。一次巡查任务中,巡查人员通常需要对多个机电设备进行巡查,这使得巡查人员需要携带大量图纸及资料,不仅不利于携带,且图纸并不便于现场查看。此外,机电设备维护巡查工作的收入较低,导致人员流动频繁,这使得巡查人员对于机电设备熟悉度较差,容易出现错误识别机电设备的情况,导致巡查工作无法顺利进行。并且,当机电设备发生故障后,巡查人员由于对设备特性不够熟悉,即使在知道设备故障的情况下,也难以判断具体的故障原因,更难以对故障进行修复。
因此,本发明公开了一种基于穿戴式设备的机电设备养护单兵辅助方法及系统,能够在不依靠巡查人员业务能力水平的情况下准确识别机电设备,且使得巡查人员能够方便准确的得到机电设备的各种信息;能够帮助巡查人员准确识别故障原因,并进行针对性的修复;还能够提高人机交互能力,使工作人员能够有效操控穿戴式设备显示的画面,满足工作需要;进而实现对机电设备巡查人员的全方位的辅助。
发明内容
针对现有技术存在的上述不足,本发明实际需要解决的问题是:如何对机电设备巡查人员的全方位的辅助。
本发明采用了如下的技术方案:
一种基于穿戴式设备的机电设备养护单兵辅助方法,包括:
S1、穿戴式设备端获取目标机电设备识别信息及使用者视角图像,并发送至后台端;
S2、手持设备端接收操作指令,并发送至后台端;
S3、后台端基于目标机电设备识别信息对目标机电设备身份进行识别,并调用与目标机电设备对应的目标机电设备信息,将操作指令及目标机电设备信息添加至使用者视角图像中得到合成图像,并发送合成图像至穿戴式设备端,目标机电设备信息包括设备的属性信息、运行状态信息、故障信息及故障修复方法中的任意一种或多种;
S4、穿戴式设备端显示合成图像。
2、如权利要求1所述的基于穿戴式设备的机电设备养护单兵辅助方法,其特征在于,目标机电设备识别信息以二维码形式存在。
优选地,当目标机电设备信息对应的部分处于合成图像中时,将所述部分按照与其对应的目标机电设备信息相匹配的形式突出显示;
当目标机电设备信息对应的部分被合成图像中显示的遮挡物遮挡时,将所述部分按照与其对应的目标机电设备信息相匹配的形式突出显示在遮挡物的对应位置处。
优选地,故障信息及故障修复方法的获取方法包括:
基于目标机电设备身份检测目标机电设备的通信和/或供配电状态,若目标机电设备的通信和/或供配电状态异常,则调用与通信和/或供配电状态异常对应的故障修复方法;
若目标机电设备的通信和/或供配电状态无异常,检测目标机电设备的协议工作状态,若目标机电设备的协议工作状态异常,则调用与目标机电设备协议工作状态异常对应的故障修复方法。
优选地,故障信息及故障修复方法的获取方法包括:
S301、后台端基于使用者视角图像得到目标机电设备对应的故障信息及故障修复方法。
优选地,当故障信息包括多种可能的故障原因和/或多种故障修复方法时:
穿戴式设备将多种可能的故障原因和/或多种故障修复方法按照预设顺序显示。
优选地,步骤S301包括:
后台端获取目标机电设备运行信息,将目标机电设备运行信息及使用者视角图像发送至技术支持端;技术支持端生成故障信息及故障修复方法,将故障信息及故障修复方法发送至后台端。
优选地,技术支持端持续显示使用者视角图像;技术支持端以故障信息标记模式工作时,技术支持端接收故障标记信息,并将故障标记信息对应的区域作为故障区域生成故障信息;技术支持端以故障修复模式工作时,故障支持端接收故障修复信息并生成对应的故障修复方法,故障修复信息包括修复项目信息及修复项目指引信息。
优选地,当技术支持端的光标距离使用者视角图像的边缘小于预设距离时,后台端生成的合成图像包括绘制信息,绘制信息包括指向所述边缘的视角转动箭头;当技术支持端的光标距离使用者视角图像的边缘大于或等于预设距离时,绘制信息中的所述视角转动箭头消失。
一种基于穿戴式设备的机电设备养护单兵辅助系统,包括后台端,以及分别与后台端通信连接穿戴式设备端和手持设备端;其中:
穿戴式设备端用于获取目标机电设备识别信息及使用者视角图像,并发送至后台端;
手持设备端用于接收操作指令,并发送至后台端;
后台端用于基于目标机电设备识别信息对目标机电设备身份进行识别,并调用与目标机电设备对应的目标机电设备信息,将操作指令及目标机电设备信息添加至使用者视角图像中得到合成图像,并发送合成图像至穿戴式设备端;
穿戴式设备端还用于显示合成图像。
本发明公开了一种基于穿戴式设备的机电设备养护单兵辅助方法及系统,与现有技术相比,能够在不依靠巡查人员业务能力水平的情况下准确识别机电设备,且使得巡查人员能够方便准确的得到机电设备的各种信息;能够帮助巡查人员准确识别故障原因,并进行针对性的修复;还能够提高人机交互能力,使工作人员能够有效操控穿戴式设备显示的画面,满足工作需要;进而实现对机电设备巡查人员的全方位的辅助。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步的详细描述,其中:
图1为本发明公开的一种基于穿戴式设备的机电设备养护单兵辅助方法的一种具体实施方式的流程图;
图2为本发明公开的一种基于穿戴式设备的机电设备养护单兵辅助方法的另一种具体实施方式的流程图;
图3为本发明公开的一种基于穿戴式设备的机电设备养护单兵辅助方法的另一种具体实施方式的流程图;
图4为本发明公开的一种基于穿戴式设备的机电设备养护单兵辅助系统的一种具体实施方式的结构示意图。
具体实施方式
下面结合附图对本申请作进一步的详细说明。
如图1所示,为本发明公开的一种基于穿戴式设备的机电设备养护单兵辅助方法的一种具体实施方式的流程图,包括:
S1、穿戴式设备端获取目标机电设备识别信息及使用者视角图像,并发送至后台端;
S2、手持设备端接收操作指令,并发送至后台端;
S3、后台端基于目标机电设备识别信息对目标机电设备身份进行识别,并调用与目标机电设备对应的目标机电设备信息,将操作指令及目标机电设备信息添加至使用者视角图像中得到合成图像,并发送合成图像至穿戴式设备端,目标机电设备信息包括设备的属性信息、运行状态信息、故障信息及故障修复方法中的任意一种或多种;
S4、穿戴式设备端显示合成图像。
本发明中的穿戴式设备包括具有信息读取及数据传输功能的AR眼镜或头盔等,后台端包括处理器、电脑及其他具有数据处理及传输功能的设备。本发明中的手持设备可以是手机、平板电脑或者其他具有输入控制指令功能的现场工作人员使用的电子设备。
在后台端的数据库中可预存各机电设备的属性信息(编号、结构信息、位置信息、安装时间、投入使用时间等),当后台端完成目标机电设备的识别后,可从数据库中调用目标机电设备的设备属性信息,还可通过现有的监测系统获取设备运行状态信息及设备故障信息并发送至穿戴式设备端。以AR眼镜为例,后台端发送的信息可显示在眼镜镜片上,便于工作人员了解设备信息并进行设备的巡查或维护,此外,由于是通过穿戴式设备进行信息的显示,因此,无需工作人员手持显示器,这样,工作人员可以在进行维护工作的同时,及时了解目标机电设备的信息。
与现有技术相比,本发明能够在不依靠巡查人员业务能力水平的情况下准确识别机电设备,且使得巡查人员能够方便准确的得到机电设备的各种信息;能够帮助巡查人员准确识别故障原因,并进行针对性的修复;还能够提高人机交互能力,使工作人员能够有效操控穿戴式设备显示的画面,满足工作需要;进而实现对机电设备巡查人员的全方位的辅助。
此外,本发明中,为了降低对穿戴式设备的硬件要求,本发明中手持设备通过后台端与穿戴式设备端间接通信,无论是穿戴式设备端采集的使用者视角图像还是手持设备端接收的操作指令,都需要发送至后台端,经过后台端的分析处理从而得到合成图像,之后再将合成图像发送至穿戴式设备端进行显示,则穿戴式设备端在这一过程中只需要进行图像采集、发送、接收及显示,无需对图像进行进一步的处理,可以降低穿戴式设备的硬件要求,有利于减小能耗缩小体积,适合与野外进行机电设备的维护。
为进一步优化上述实施例,目标机电设备识别信息以二维码形式存在。
本发明中,以穿戴式设备为AR眼镜为例,AR眼镜上还可设置摄像头。在机电设备的外表面可设置与机电设备身份对应的二维码,AR眼镜拍摄二维码图像后,可以识别二维码中的信息,并将其传输至后台端,或者直接将拍摄的二维码图像传输到后台端由后台进行识别。后台端根据得到的信息,可以确定目标机电设备的身份,并调用对应的信息,反馈给AR眼镜。
为进一步优化上述实施例,当目标机电设备信息对应的部分处于合成图像中时,将所述部分按照与其对应的目标机电设备信息相匹配的形式突出显示;
当目标机电设备信息对应的部分被合成图像中显示的遮挡物遮挡时,将所述部分按照与其对应的目标机电设备信息相匹配的形式突出显示在遮挡物的对应位置处。
仍以AR眼镜为例,以显示故障信息为例(也可以是显示运行信息或组件自身的产品属性信息),在本发明中,摄像头可设置在AR眼镜镜架的上,朝向镜片前方,这样,可以使摄像头获取的图像与使用者看到的图像相同。后台端或穿戴式设备自身内置的处理器根据已知的故障信息,能够对使用者视角图像进行识别,当识别到使用者视角图像中包含故障部分时,则进行对应的突出显示。例如,在AR显示屏(AR眼镜镜片)上,以任意颜色的文字显示故障信息,将故障部分以对应的颜色进行描边,或在故障部分以对应的颜色进行半透明的覆盖。当同时存在多种故障时,可利用不同的颜色区分不同的故障,或者,在AR显示屏内,在故障的文字描述部分及突出显示部分之间进行连线。
与工作人员通过图纸或文字对故障进行查找相比,上述方式对于故障的显示更加直观。能够降低对工作人员的要求,使工作人员在识图能力较差或对设备结构了解程度较低的情况下仍然能够准确找到故障部分进行维修,保证了维修工作的正常进行。
以目标机电设备中某一装置的内部线路故障为例,在这种情况下,若不对装置进行拆卸,则使用者视角图像中只会包括此装置。此时,为了使得工作人员能够对故障位置有一个直观的了解,便于工作人员进行拆卸工作,因此,可以将内部故障线路在装置对应区域进行突出显示。
为进一步优化上述实施例,当操作指令包括目标部分选中指令时,目标机电设备信息包括目标部分的属性信息及可选项目信息;当操作指令包括目标项目选中信息时,目标机电设备信息为目标项目信息。
一个机电设备中可能包括多个组件,每个组件可视为一个部门。在现有技术中,为了保证工作人员对设备信息有一个全面的了解,因此,通常会将所有信息都进行显示,但是,显示的信息会占据屏幕中较大的空间,在利用AR眼镜等穿戴式设备时,不利于工作人员看清现实中的场景。因此,本发明在具体实施时,首先显示的信息只包括每个部分的粗略信息,例如,在屏幕的固定位置(左上角或右上角等)采用列表方式显示每个部分的名称,然后在名称后面显示其基本运行信息,例如,正常运行、功率降低或完全失效,此外,也可直接采用不同颜色或显示方式表征各部分状态,例如绿色表示正常运行,红色表示完全失效。此外,也可采用图形显示模式,在图像中每个部件的对应区域对部件进行突出显示,用颜色区分状态。也可在突出显示的部件附件用文字标注其名称,或既采列表显示也采用突出显示,在列表显示及对应的突出显示的区域采用颜色或标号进行对应标示。
当手持设备输入操作指令选中目标部件时(可在图像中显示与手持设备对应的光标,通过手持设备的操作指令移动并控制光标进行点击等操作,当光标指向目标部分在列表方式显示的文字或突出显示的趋势并点击时,可视为选中),则不再显示其他部分的信息,在图像中弹出包括多个可选项目信息按钮的操作窗口,且显示目标部分的属性信息。例如,在图像左上角显示属性信息,在图像中突出显示区域的周围采用圆形阵列,环绕突出显示区域显示多个可选项目信息按钮,可选项目信息包括故障信息、故障修复手段、产品结构图等,等选中某个可选项目信息后,则对改可选项目信息进行详细显示。
这样,可以将复杂的设备信息进行分层分步的显示,利于工作人员准确得到自己需要的信息。
为进一步优化上述实施例,当每一部分包括多个子部分且操作指令包括目标部分选中指令时,目标机电设备信息为目标部分的属性信息、可选项目信息及可选子部分信息;当操作指令包括目标项目选中信息时,目标机电设备信息为目标项目信息;当操作指令包括目标子部分选中信息时,目标机电设备信息为目标子部分的属性信息及与目标字部分对应的可选子项目信息。
每个机电设备可能包括多个组件,而每个组件可能包括多个零件,因此,可以将每个组件包括的零件视为该组件的子部分。字部分信息可以按照可选项目信息的方式进行展示,这样,可进一步对整个机电设备进行信息的拆分,提高显示结果的精准度。
为进一步优化上述实施例,故障信息及故障修复方法的获取方法包括:
基于目标机电设备身份检测目标机电设备的通信和/或供配电状态,若目标机电设备的通信和/或供配电状态异常,则调用与通信和/或供配电状态异常对应的故障修复方法;
若目标机电设备的通信和/或供配电状态无异常,检测目标机电设备的协议工作状态,若目标机电设备的协议工作状态异常,则调用与目标机电设备协议工作状态异常对应的故障修复方法。
在本发明中,首先对目标机电设备的通信及供配电状态进行检测,若通信及供配电状态正常,再对目标机电设备的协议工作状态进行检测,从而确定故障原因。具体的检测方法,可以将实时运行数据与预设的标准运行数据进行对比,筛选出异常的项,进而确定故障原因;也可以利用大数据进行故障识别网络的训练,将实时运行数据输入故障识别网络,得到故障识别结果;或者,将运行数据发送至技术支持端,又技术支持端的后台工作人员进行人工检测。
在确定故障原因后,可调用与故障原因对应的之前采用过的历史故障修复方法,也可由大数据训练对应的神经网络,进行故障修复方法的推荐,或由后台工作人员根据具体情况确定故障修复方法。
为进一步优化上述实施例,当故障信息包括多种可能的故障原因和/或多种故障修复方法时:
穿戴式设备将多种可能的故障原因和/或多种故障修复方法按照预设顺序显示。
当难以确定故障原因时,故障信息会包括多种可能的故障原因,此时,在显示故障信息时,可按照故障原因的可能性的大小,从小到大排列故障原因。然后由工作人员结合现场的实际情况对故障原因进行判断。
此外,对于同一种故障,可以采用不同的方法进行修复。因此,当存在多种故障修复方法时,可按照一定的顺序对故障修复方法进行排列并显示。例如,以首次或最后一次使用该修复方法的时间的先后进行排序,以修复成本的高低进行排序,以使用次数或频率进行排序,以使用难度大小进行排序,进而帮助巡查人员选择最合适的修复方法。此外,若存在多种故障,则可以以不同的颜色显示不同故障信息,以与故障信息显示颜色相同的颜色显示故障修复方法。
如图2所示,为本发明公开的一种基于穿戴式设备的机电设备养护单兵辅助方法的另一种具体实施方式的流程图,当目标机电设备信息为故障信息及故障修复方法时,故障信息及故障修复方法的获取方法包括:
S301、后台端基于使用者视角图像得到目标机电设备对应的故障信息及故障修复方法。
通过机电设备的运行参数,部分机电设备的故障信息及故障修复方法是可以提前确定的。在巡查人员到达现场前,即可将目标机电设备的故障信息及故障修复方法存储在后台端的数据库中。当后台端识别到对应的目标机电设备时,即可调用预存的目标机电设备对应的故障信息及故障修复方法。此外在本发明中,可利用大数据及智能诊断技术进行故障的诊断。例如利用图像智能识别技术识别出目标机电设备中异常的图像,然后将异常图像与已经采集的各种故障图像相对比,进而确认故障种类。或者采用对图像和/或机电设备运行信息提取特征的方法进行故障的诊断,进而自动生成故障信息。然后,可调用预先存储的各种故障对应的故障修复方法。
为进一步优化上述实施例,步骤S301包括:
后台端获取目标机电设备运行信息,基于目标机电设备运行信息及使用者视角图像生成故障信息,并调用与所述故障信息对应的故障修复方法;
此时,故障修复方法在合成图像中与故障信息对应显示,故障修复方法按照预设顺序依次显示。
本发明中除了直接采用图像对故障进行识别,还可结合目标机电设备运行信息,进行故障的识别。这样可以提高故障识别的准确性。
对于同一种故障,可以采用不同的方法进行修复。因此,当存在多种故障修复方法时,可按照一定的顺序对故障修复方法进行排列并显示。例如,以首次或最后一次使用该修复方法的时间的先后进行排序,以修复成本的高低进行排序,以使用次数或频率进行排序,以使用难度大小进行排序,进而帮助巡查人员选择最合适的修复方法。此外,若存在多种故障,则可以以不同的颜色显示不同故障信息,以与故障信息显示颜色相同的颜色显示故障修复方法。
如图3所示,为本发明公开的一种基于穿戴式设备的机电设备养护单兵辅助方法的另一种具体实施方式的流程图,当目标机电设备信息为故障信息及故障修复方法时,步骤S301包括:
后台端获取目标机电设备运行信息,将目标机电设备运行信息及使用者视角图像发送至技术支持端;技术支持端生成故障信息及故障修复方法,将故障信息及故障修复方法发送至后台端。
本发明中,除了利用大数据智能识别故障之外,还可以将拍摄的图像发送至技术支持端。技术支持端的工作人员可以是厂家的维修人员及技术专家等。由技术支持端后台的专家对图像进行人工识别并判断故障,之后,可以直接调用对应的故障修复方法,也可由技术支持端后台的专家进行故障修复方法的输入。这种方式针对性更强,能够解决各种并不常见或难以处理的故障。
为进一步优化上述实施例,技术支持端持续显示使用者视角图像;技术支持端以故障信息标记模式工作时,技术支持端接收故障标记信息,并将故障标记信息对应的区域作为故障区域生成故障信息;技术支持端以故障修复模式工作时,故障支持端接收故障修复信息并生成对应的故障修复方法,故障修复信息包括修复项目信息及修复项目指引信息。
本发明中,当技术支持端显示使用者视角图像后,技术支持端的工作人员可以通过输入设备(触摸屏、鼠标、键盘等)对图像中的故障元件进行标记;其方式包括:(1)处理器自动识别图像中各种元件,工作人员通过点击的方式选中元件;(2)工作人员在图像中圈出某一区域,此区域作为故障区域。在选中元件或圈出故障区域后,在技术支持端显示的使用者视角图像中,会弹出包括多种故障类型的选择栏,工作人员通过选择最终确定包含故障元件/区域以及故障类型的故障信息。由于技术支持端与穿戴式设备端同步显示使用者视角图像(合成图像实质上是添加了各种标记或信息的使用者视角图像),因此,可由后台工作人员对现场的巡查人员进行实时的指导。具体方式为,在得到故障信息后,后台工作人员可选择进入故障修复模式,此时,可在技术支持端的屏幕上的固定位置或与对应的故障区域靠近的位置显示包括多种修复项目的选择栏,例如,更换、修复、拆除等,或者,后台工作人员可自行输入文字信息,得到自定义的修复项目。修复项目可以使巡查人员明确故障的基本处理措施。在选择修复项目后,可由系统根据选择的项目以及已经得到的故障信息,调用预存的实行该项目的动画作为修复项目指引信息;或者,后台工作人员可自行输入修复项目指引信息,例如,某一部件,其修复项目为拆除,拆除过程中需要首先拆除定位螺栓,在确定修复项目后,后台工作人员可在定位螺栓处做指引线,并通过输入文字的方式对巡查人员进行指示。在本发明中,后台工作人员在具体操作时技术支持端的显示窗口并不在穿戴式设备端显示,只有技术支持端确认生成的信息,由后台端生成合成图像,才在穿戴式设备端显示。
在本发明中,技术支持端可以是后台工作人员使用的手机、平板电脑或者其他具有输入控制指令功能的电子设备。
为了便于现场工作人员和后台工作人员的交流,本发明中,现场工作人员和后台工作人员可共享看到的图像,并且,后台工作人员还可利用触屏笔等装置在图像中绘制各种标识或文字生成绘制信息,后台端将绘制信息一并显示在合成图像中,这样,可以突破既定程序设置的数量有限的操作按钮或选项,使得交流的自由度更高,使得后台工作人员能够对现场工作人员进行更加灵活准确的指导。
此外,一个部件的修复可能包括多个过程,因此,后台工作人员可对巡查人员进行分步指示。当巡查人员完成某一步骤后,后台工作人员通过技术支持端发送新的修复方法,此时,穿戴式设备端不再显示之前的修复方法,转而显示最新的修复方法。
为进一步优化上述实施方式,当技术支持端的光标距离使用者视角图像的边缘小于预设距离时,后台端生成的合成图像包括绘制信息,绘制信息包括指向所述边缘的视角转动箭头;当技术支持端的光标距离使用者视角图像的边缘大于或等于预设距离时,绘制信息中的所述视角转动箭头消失。
在后台工作人员与现场工作人员的沟通过程中,后台工作人员所能观察到的画面受现场工作人员的控制。采用本发明的方法,后台工作人员可以对现场工作人员进行指示,进而指导现场工作人员拍摄后台工作人员希望看到的画面。
如图4所示,为本发明公开的一种基于穿戴式设备的机电设备养护单兵辅助系统的一种具体实施方式的结构示意图,包括后台端,以及分别与后台端通信连接穿戴式设备端和手持设备端;其中:
穿戴式设备端用于获取目标机电设备识别信息及使用者视角图像,并发送至后台端;
手持设备端用于接收操作指令,并发送至后台端;
后台端用于基于目标机电设备识别信息对目标机电设备身份进行识别,并调用与目标机电设备对应的目标机电设备信息,将操作指令及目标机电设备信息添加至使用者视角图像中得到合成图像,并发送合成图像至穿戴式设备端;
穿戴式设备端还用于显示合成图像。
为进一步优化上述实施方式,所述基于穿戴式设备的机电设备养护单兵辅助系统还包括与后台端通信连接的技术支持端,其中:
后台端还用于获取目标机电设备运行信息,将目标机电设备运行信息及使用者视角图像发送至技术支持端;
技术支持端用于生成故障信息及故障修复方法,将故障信息及故障修复方法发送至后台端。
最后说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管通过参照本申请的优选实施例已经对本申请进行了描述,但本领域的普通技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离所附权利要求书所限定的本申请的精神和范围。
Claims (10)
1.一种基于穿戴式设备的机电设备养护单兵辅助方法,其特征在于,包括:
S1、穿戴式设备端获取目标机电设备识别信息及使用者视角图像,并发送至后台端;
S2、手持设备端接收操作指令,并发送至后台端;
S3、后台端基于目标机电设备识别信息对目标机电设备身份进行识别,并调用与目标机电设备对应的目标机电设备信息,将操作指令及目标机电设备信息添加至使用者视角图像中得到合成图像,并发送合成图像至穿戴式设备端,目标机电设备信息包括设备的属性信息、运行状态信息、故障信息及故障修复方法中的任意一种或多种;
S4、穿戴式设备端显示合成图像。
2.如权利要求1所述的基于穿戴式设备的机电设备养护单兵辅助方法,其特征在于,目标机电设备识别信息以二维码形式存在。
3.如权利要求1所述的基于穿戴式设备的机电设备养护单兵辅助方法,其特征在于,当目标机电设备信息对应的部分处于合成图像中时,将所述部分按照与其对应的目标机电设备信息相匹配的形式突出显示;
当目标机电设备信息对应的部分被合成图像中显示的遮挡物遮挡时,将所述部分按照与其对应的目标机电设备信息相匹配的形式突出显示在遮挡物的对应位置处。
4.如权利要求1所述的基于穿戴式设备的机电设备养护单兵辅助方法,其特征在于,故障信息及故障修复方法的获取方法包括:
基于目标机电设备身份检测目标机电设备的通信和/或供配电状态,若目标机电设备的通信和/或供配电状态异常,则调用与通信和/或供配电状态异常对应的故障修复方法;
若目标机电设备的通信和/或供配电状态无异常,检测目标机电设备的协议工作状态,若目标机电设备的协议工作状态异常,则调用与目标机电设备协议工作状态异常对应的故障修复方法。
5.如权利要求1所述的基于穿戴式设备的机电设备养护单兵辅助方法,其特征在于,故障信息及故障修复方法的获取方法包括:
S301、后台端基于使用者视角图像得到目标机电设备对应的故障信息及故障修复方法。
6.如权利要求4或5所述的基于穿戴式设备的机电设备养护单兵辅助方法,其特征在于,当故障信息包括多种可能的故障原因和/或多种故障修复方法时:
穿戴式设备将多种可能的故障原因和/或多种故障修复方法按照预设顺序显示。
7.如权利要求3所述的基于穿戴式设备的机电设备养护单兵辅助方法,其特征在于,步骤S301包括:
后台端获取目标机电设备运行信息,将目标机电设备运行信息及使用者视角图像发送至技术支持端;技术支持端生成故障信息及故障修复方法,将故障信息及故障修复方法发送至后台端。
8.如权利要求7所述的基于穿戴式设备的机电设备养护单兵辅助方法,其特征在于,技术支持端持续显示使用者视角图像;技术支持端以故障信息标记模式工作时,技术支持端接收故障标记信息,并将故障标记信息对应的区域作为故障区域生成故障信息;技术支持端以故障修复模式工作时,故障支持端接收故障修复信息并生成对应的故障修复方法,故障修复信息包括修复项目信息及修复项目指引信息。
9.如权利要求8所述的基于穿戴式设备的机电设备养护单兵辅助方法,其特征在于,当技术支持端的光标距离使用者视角图像的边缘小于预设距离时,后台端生成的合成图像包括绘制信息,绘制信息包括指向所述边缘的视角转动箭头;当技术支持端的光标距离使用者视角图像的边缘大于或等于预设距离时,绘制信息中的所述视角转动箭头消失。
10.一种基于穿戴式设备的机电设备养护单兵辅助系统,其特征在于,包括后台端,以及分别与后台端通信连接穿戴式设备端和手持设备端;其中:
穿戴式设备端用于获取目标机电设备识别信息及使用者视角图像,并发送至后台端;
手持设备端用于接收操作指令,并发送至后台端;
后台端用于基于目标机电设备识别信息对目标机电设备身份进行识别,并调用与目标机电设备对应的目标机电设备信息,将操作指令及目标机电设备信息添加至使用者视角图像中得到合成图像,并发送合成图像至穿戴式设备端;
穿戴式设备端还用于显示合成图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011050671.0A CN112130572A (zh) | 2020-09-29 | 2020-09-29 | 一种基于穿戴式设备的机电设备养护单兵辅助方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011050671.0A CN112130572A (zh) | 2020-09-29 | 2020-09-29 | 一种基于穿戴式设备的机电设备养护单兵辅助方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112130572A true CN112130572A (zh) | 2020-12-25 |
Family
ID=73844736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011050671.0A Pending CN112130572A (zh) | 2020-09-29 | 2020-09-29 | 一种基于穿戴式设备的机电设备养护单兵辅助方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112130572A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116306929A (zh) * | 2023-03-21 | 2023-06-23 | 广东盛迪嘉电子商务股份有限公司 | 一种创客服务系统 |
CN116523321A (zh) * | 2023-07-04 | 2023-08-01 | 深圳鸿祥源科技有限公司 | 一种基于云平台的智能头盔安防管控系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140108428A (ko) * | 2013-02-27 | 2014-09-11 | 한국전자통신연구원 | 착용형 디스플레이 기반 원격 협업 장치 및 방법 |
CN105222879A (zh) * | 2015-09-17 | 2016-01-06 | 重庆市华驰交通科技有限公司 | 复杂动态称重传感网络的远程自诊断系统及其自诊断方法 |
CN106707810A (zh) * | 2016-12-02 | 2017-05-24 | 大连海事大学 | 基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法 |
CN206224537U (zh) * | 2016-11-01 | 2017-06-06 | 华南农业大学 | 一种医用智能穿戴式系统 |
CN207319184U (zh) * | 2017-10-23 | 2018-05-04 | 北京华锐同创系统技术有限公司 | 一种现场设备维修维护及日常检查用系统 |
CN108897573A (zh) * | 2018-05-31 | 2018-11-27 | 广东美的制冷设备有限公司 | 家电展示方法、终端设备及服务器 |
CN110909898A (zh) * | 2019-11-28 | 2020-03-24 | 武汉农村商业银行股份有限公司 | 基于ar眼镜的零知识银行机房故障诊断维修指导系统及方法 |
-
2020
- 2020-09-29 CN CN202011050671.0A patent/CN112130572A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140108428A (ko) * | 2013-02-27 | 2014-09-11 | 한국전자통신연구원 | 착용형 디스플레이 기반 원격 협업 장치 및 방법 |
CN105222879A (zh) * | 2015-09-17 | 2016-01-06 | 重庆市华驰交通科技有限公司 | 复杂动态称重传感网络的远程自诊断系统及其自诊断方法 |
CN206224537U (zh) * | 2016-11-01 | 2017-06-06 | 华南农业大学 | 一种医用智能穿戴式系统 |
CN106707810A (zh) * | 2016-12-02 | 2017-05-24 | 大连海事大学 | 基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法 |
CN207319184U (zh) * | 2017-10-23 | 2018-05-04 | 北京华锐同创系统技术有限公司 | 一种现场设备维修维护及日常检查用系统 |
CN108897573A (zh) * | 2018-05-31 | 2018-11-27 | 广东美的制冷设备有限公司 | 家电展示方法、终端设备及服务器 |
CN110909898A (zh) * | 2019-11-28 | 2020-03-24 | 武汉农村商业银行股份有限公司 | 基于ar眼镜的零知识银行机房故障诊断维修指导系统及方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116306929A (zh) * | 2023-03-21 | 2023-06-23 | 广东盛迪嘉电子商务股份有限公司 | 一种创客服务系统 |
CN116523321A (zh) * | 2023-07-04 | 2023-08-01 | 深圳鸿祥源科技有限公司 | 一种基于云平台的智能头盔安防管控系统 |
CN116523321B (zh) * | 2023-07-04 | 2024-02-02 | 深圳鸿祥源科技有限公司 | 一种基于云平台的智能头盔安防管控系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107223246B (zh) | 图像标注方法、装置及电子设备 | |
CN109690570B (zh) | 一种机房管理方法及动环系统 | |
CN112130572A (zh) | 一种基于穿戴式设备的机电设备养护单兵辅助方法及系统 | |
CN110579191A (zh) | 目标对象的巡检方法、装置及设备 | |
CN113222184A (zh) | 基于增强现实ar的设备巡检系统及方法 | |
RU2716743C1 (ru) | Способ распознавания и отображения доступов оператора к объектам процесса, а также операторская система | |
CN108595343A (zh) | 应用程序的测试方法及装置 | |
US11610388B2 (en) | Method and apparatus for detecting wearing of safety helmet, device and storage medium | |
JP2015061339A (ja) | 結線作業支援システム | |
CN115331002A (zh) | 一种基于ar眼镜实现热力站故障远程处理方法 | |
JPH08221295A (ja) | 障害支援装置 | |
KR102028046B1 (ko) | 유가스정 모니터링 장치 및 방법 | |
CN107220290B (zh) | 展示电子看板的方法、装置、服务器和终端 | |
JP2899174B2 (ja) | 監視装置 | |
JP2009134673A (ja) | Gui画面操作シーケンス検証装置、方法、及び、プログラム | |
JP2004005639A (ja) | 監視装置 | |
CN110987926A (zh) | 一种基于机器视觉的显示屏缺陷自动检测方法 | |
JPWO2007126026A1 (ja) | 作業工程の中から改善すべき動作要素を自動抽出するシステム | |
CN112083714A (zh) | 基于穿戴式设备的机电设备故障诊断方法及系统 | |
US20230068757A1 (en) | Work rate measurement device and work rate measurement method | |
CN112181146A (zh) | 用于机电设备养护的穿戴式设备显示画面控制方法及系统 | |
CN114444856A (zh) | 一种辅助装配系统 | |
CN111736539B (zh) | 一种监控数据显示方法、装置、系统、服务器及存储介质 | |
JP7471570B2 (ja) | 建物構造物診断システム | |
CN117058599B (zh) | 船闸运行数据处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201225 |