CN113222184A - 基于增强现实ar的设备巡检系统及方法 - Google Patents
基于增强现实ar的设备巡检系统及方法 Download PDFInfo
- Publication number
- CN113222184A CN113222184A CN202110122606.2A CN202110122606A CN113222184A CN 113222184 A CN113222184 A CN 113222184A CN 202110122606 A CN202110122606 A CN 202110122606A CN 113222184 A CN113222184 A CN 113222184A
- Authority
- CN
- China
- Prior art keywords
- equipment
- inspection
- target
- information
- patrol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 221
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 17
- 238000012423 maintenance Methods 0.000 claims abstract description 38
- 238000004891 communication Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000007547 defect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 206010051602 Laziness Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002558 medical inspection Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Toxicology (AREA)
- Primary Health Care (AREA)
- Electromagnetism (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Water Supply & Treatment (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于增强现实AR的设备巡检系统及方法,所述设备巡检系统包括AR设备以及设备巡检管理平台。基于所述设备巡检系统,本发明基于增强现实AR的设备巡检方法包括:获取现实场景中目标设备的设备标识,获取用于远程指导所述目标设备巡检的虚拟信息,将所述虚拟信息叠加在现实场景上呈现给巡检人员并远程指导巡检人员完成所述目标设备的巡检,上报所述目标设备的巡检记录。本发明采用AR技术,可以实现设备巡检的实时远程指导,从而提高设备巡检质量,避免巡检不到位或不及时等问题;本发明还可以降低设备运营维护的成本、提高设备运营维护的效率,实现设备的智能化和标准化巡检。
Description
技术领域
本发明涉及增强现实和设备巡检领域,尤其涉及一种基于增强现实AR的设备巡检系统及方法。
背景技术
电力行业在运维阶段涉及大量设备的使用和维护。电力设备的巡检,即巡视检修工作是有效保证输电、变电、配电线路及其设备安全的一项基础工作。电力设备的巡检工作,目的是为了掌握线路和电力设备运行情况,找到设备缺陷、危害设备和线路的安全隐患,找出相应的检修内容对缺陷进行消除。目前,少数公司仍停留在以纸质记录的方式登记和统计设备信息;部分公司正在使用PDA、平板电脑等手持设备进行巡检,因此普遍存在如下问题:
(1)工作手册记忆难:工作手册内容繁多,巡检人员无法在培训内将手册内容完全掌握。此外,人员不断流动,新老员工的交替让企业需要不断对员工进行培训,因此不断付出高昂的培训成本。
(2)巡检操作规范难、巡检疏漏避免难:人不像计算机,粗心和懒惰是人性的弱点和通病。在巡检过程中很难保证完全遵循操作规范,没有疏漏,因此会造成隐患。隐患一旦变成事故,企业将支付高昂的成本。
(3)巡检情况记录难:巡检作业通常需要在巡检过程中进行纸质记录或者利用PDA、平板电脑等辅助设备进行记录。人工记录不仅繁琐,而且会束缚巡检人员的双手,降低了他们的工作效率。
(4)数据孤立,缺乏关联:巡检过程中产生大量数据,但是巡检数据孤立,没有智能化关联分析,不能有效预防管理安全隐患。
如何提高电力设备巡检质量,及时记录和分析设备缺陷和隐患,避免巡检不到位或不及时等现象,在电力设备的巡检工作中有很强的需求,也是当下亟待解决的问题。
发明内容
本发明针对上述问题,提供一种基于AR的设备巡检系统、方法和电子设备,将AR技术应用于设备巡检工作中;所述方法根据AR技术的特点,结合设备巡检业务实际,利用AR智能设备远程指导设备巡检,从而提高设备巡检质量,及时记录和分析设备缺陷和隐患,避免巡检不到位或不及时等现象,实现设备的智能化和标准化巡检。
为了达到上述目的,本发明提供了一种基于增强现实AR的设备巡检系统及方法,所述设备巡检系统包括:AR设备,所述AR设备用于收集目标设备的标识相关信息并通过网络上传至设备巡检管理平台;设备巡检管理平台,所述设备巡检管理平台根据所述目标设备的标识相关信息查询对应的巡检指导虚拟信息并通过网络下载至AR设备;
所述设备巡检管理平台包括以下模块:
标识获取模块,所述标识获取模块用于获取现实场景中目标设备的设备标识;信息获取模块,所述信息获取模块根据所述目标设备的设备标识,获取用于远程指导所述目标设备巡检的虚拟信息;远程指导模块,所述远程指导模块用于将所述虚拟信息叠加在现实场景上呈现给巡检人员,并远程指导巡检人员完成所述目标设备的巡检;记录上报模块,所述记录上报模块用于上报所述目标设备的巡检记录;
基于所述设备巡检系统,所述基于增强现实AR的设备巡检方法为:
S1:标识获取模块通过AR设备获取现实场景中目标设备的设备标识并传输至信息获取模块;
S2:信息获取模块根据所述目标设备的设备标识,从所述设备巡检管理平台的数据库中查询用于远程指导所述目标设备巡检的虚拟信息并传输至远程指导模块;
S3:远程指导模块将所述虚拟信息通过AR设备叠加在现实场景上呈现给巡检人员,并远程指导所述巡检人员完成所述目标设备的巡检;
S4:完成所述目标设备的巡检后,巡检人员将本次巡检记录通过AR设备上传至记录上报模块,记录上报模块将所述巡检记录生成并保存至所述设备巡检管理平台的数据库。
优选方式下,所述巡检记录包括巡检时间、巡检人员、关键性能指标、问题/故障信息。
优选方式下,所述虚拟信息包括所述目标设备的三维模型、所述目标设备的巡检指导、所述目标设备的维护信息中的任意一个或多个。
优选方式下,所述目标设备的巡检指导包括巡视项目、巡视顺序和关键性能指标中的任意一个或多个。
优选方式下,所述目标设备的巡检指导还包括操作指导文件、操作指导动画、视频、图片、语音提示、实时语音通话、实时视频通话中的任意一个或多个。
优选方式下,所述目标设备的维护信息包括设备型号、设备位置、设备名称、供应商信息、维护责任人、维护历史记录中的任意一个或多个。
优选方式下,实现所述设备巡检管理平台的电子设备包括处理器、存储器、I/O接口和网络通信接口;
所述处理器、所述存储器、所述I/O接口和所述网络通信接口相互连接;
所述处理器执行存储在所述存储器中的计算机程序并通过I/O接口和网络通信接口与AR设备进行双向信息传输,以实现所述权利要求1至6任一项所述基于增强现实AR的设备巡检系统及方法。
本发明的有益效果为:本发明将AR技术应用到设备巡检工作中,巡检人员可以在AR设备的屏幕上实时看到巡检任务和巡检指导,避免了巡检疏漏,保证了巡检规范化,从而提高巡检质量;巡检人员还可以通过AR设备与指导人员视频通话,与指导人员共享现实场景的作业画面,指导人员可以远程实时指导巡检人员正确、规范地进行设备巡检;巡检人员通过AR设备也可以更方便、及时地将巡检过程中的数据和信息记录并保存到设备巡检管理平台的数据库中,不仅提高了巡检工作的效率,还便于及时将数据关联分析以预防管理安全隐患,实现了智能化和标准化的设备巡检。
附图说明
图1为本发明所提供的基于增强现实AR的设备巡检方法的流程示意图;
图2为本发明实施例提供的二维码为设备标识的示意图;
图3为本发明实施例提供的远程指导变电站设备巡视的示意图;
图4为本发明实施例提供的实施视频远程指导设备巡检的示意图
图5为本发明实施例提供的一种基于增强现实AR的设备巡检系统的组成示意图;
图6为本发明实施例提供的一种设备巡检管理平台的具体结构示意图;
图7为本发明所提供的设备巡检管理平台的结构示意图;
图8为本发明所提供的电子设备的结构示意图。
具体实施方式
具体实施例:
AR技术是一种将虚拟信息叠加在物理现实场景上形成虚实融合效果,用户可自由地感知并实时交互的技术。AR中被叠加的虚拟信息多种多样,可以是二维平面的标签、图片、视频、三维立体的模型、三维动画、立体环绕的声音等,用于增强视觉、听觉及触觉等各种人类的感知交互能力。在AR技术提出后,许多探索性应用纷纷出现,例如在医疗、制造、维修、军事训练等方面的应用。针对众多企业,例如电力,数据中心,石化、钢铁等企业,在设备巡检工作中的问题,本发明提出了一种基于AR的设备巡检系统及方法,利用AR技术远程智能指导设备的巡检工作。该方法根据AR技术的特点,结合设备巡检业务实际,将AR技术应用于设备巡检中,可以提高设备巡检质量,及时记录和分析设备缺陷和隐患,避免巡检不到位或不及时等现象,可以实现设备的智能化和标准化巡检。
如图1所示,所述基于增强现实AR的设备巡检方法为:
S1:标识获取模块通过AR设备获取现实场景中目标设备的设备标识并传输至信息获取模块;
所述目标设备的设备标识可以是二维码,或者资产编码。
如果设备标识是二维码,AR设备的摄像头可以扫描二维码,从而识别所述目标设备。例如图2所示为目标设备上的二维码,利用AR设备的摄像头扫描该二维码,就可以获取到该目标设备的设备编号。具体实现中,目标设备上可以仅有二维码,也可以同时有二维码和设备编号。AR设备上可以保存有二维码与设备编号的一一对应关系。
如果设备标识是资产编码,AR设备的摄像头可以拍摄包括资产编码的图像,再通过图像识别技术提取出资产编码,从而识别所述目标设备。
一种可能的实现中,所述目标设备的设备标识也可以是三维坐标。通常电力网络和工业网络中的设备在安装后都是固定不动的,因此设备的三维坐标是确定的。如果有较高的定位精度,则三维坐标可以唯一标识一个设备,AR设备可以通过蓝牙或者GPS等方式获得所述目标设备的三维坐标,从而识别所述目标设备。AR设备上可以保存有三维坐标与设备编号的一一对应关系。所述GPS指的是全球定位系统,英文全称为Global PositioningSystem。
通常设备编号是一串数字,或者字母与数字的组合,用作数据库的索引。基于设备编号就可以获得目标设备的相关信息。
可选地,所述方法还包括:根据所述目标设备的设备标识获取所述目标设备的维护信息,所述维护信息包括设备型号,设备位置,设备名称,供应商信息,维护责任人,维护历史记录等。所述目标设备的维护信息通常存储在设备巡检管理平台的数据库中。所述维护信息可以通过所述AR设备的屏幕叠加在现实场景上,呈现给巡检人员。
本发明既可用于电力行业中各类电力设备的巡检,也可用于数据中心、石化、钢铁等场景中的设备巡检。本申请相关示例中以电力设备的巡检为例说明本发明技术方案,并不作为对本发明的限定。
S1通常由以计算机为代表的电子设备实现,该计算机可以设置在本地,也可以设置在云端。该计算机可以是设备巡检管理平台中的设备,也可以位于前端,也即布置在巡检现场。以电力设备的巡检为例,该计算机可以设置在变电站本地,也可以一个市或一个省设置一个,设置在云端。
可选地,在步骤S1之前,所述方法还包括,生成巡检指令,所述巡检指令中包括所述目标设备的设备标识和/或位置,还可以包括设备类型、巡检任务等。生成的巡检指令可以发送给巡检人员,以指示巡检人员到现场根据指令进行设备巡检。进一步地,巡检指令可以由设备巡检管理平台根据最新上报的巡视记录自动生成,也可以由后台定期生成,或者设备巡检管理员按需生成。
S2:信息获取模块根据所述目标设备的设备标识,从所述设备巡检管理平台的数据库中查询用于远程指导所述目标设备巡检的虚拟信息并传输至远程指导模块;
所述虚拟信息可以是文本、图片、动画、音频、视频等类型中的一个或多个。所述虚拟信息具体可以包括所述目标设备的三维模型,所述目标设备的巡检指导,所述目标设备的历史巡检记录中的任意一个或多个。虚拟信息可以存储在设备巡检管理平台的数据库中。
所述目标设备的巡检指导可以包括所述目标设备的巡视项目、巡视顺序,关键性能指标等。
巡检人员基于SLAM的注册跟踪技术,就可以按巡视顺序的提示进行设备巡检。SLAM为即时定位与地图构建,英文全称为simultaneous localization and mapping。
所述目标设备的巡检指导还可以包括操作指导文件,操作指导动画,语音提示,实时语音/视频通话等中的任意一个或多个,所述实时语音/视频通话可以是与技术指导人员的视频通话。
设备巡检管理平台通常会可以根据设备类型存储对应的巡检指导,所述巡检指导可以是指导文件、指导动画、语音提示等。一种可能的实现中,同一类型的设备,保存一份巡检指导;另一种可能的实现中,根据设备的具体场景分别保存各自的巡检指导,所述具体场景可以是设备位置或者设备编号。
在巡视过程中,一方面巡检人员要查看所述目标设备本体外部及周边环境,例如外力造成变压器变形、变压器漏油等。随着各类传感器的部署和物联网的建设,巡检人员可以获取到设备相关的更多信息,例如设备周围的温度,湿度等。另一方面,巡检人员可能还需要关注所述目标设备内部运行情况,例如变压器的绕组温度、局放等。如果巡检人员不知道如何巡视所述目标设备的内部运行情况,可以通过AR设备获取指导文件或者指导动画或者与技术指导人员实时视频通话,以完成巡视。
巡检人员与技术指导人员进行实时视频通话时,可以通过所述AR设备实时拍摄现实场景中巡检所述目标设备的视频,传输给指导人员,以便技术指导人员远程可视化指导巡检人员对所述目标设备的巡检。
所述目标设备的历史巡检记录可以包括巡检时间,巡检人员,关键性能数据,问题/故障信息等。所述目标设备的历史巡检记录还可以进一步包括维修信息。
S3:远程指导模块将所述虚拟信息通过AR设备叠加在现实场景上呈现给巡检人员,并远程指导所述巡检人员完成所述目标设备的巡检;
通过AR设备将虚拟信息叠加在现实场景上,巡检人员可以从AR设备的屏幕上直观地看到所述虚拟信息,从而可以快速、准确地完成所述目标设备的巡检。即便巡检人员是新手,借助本发明提供的方法,采用基于AR的远程协助方式,通过语音/视频通话获得指导人员的实时远程指导,快速准确完成对目标设备的巡检,所述指导人员可以是技术专家。
S4:完成所述目标设备的巡检后,巡检人员将本次巡检记录通过AR设备上传至记录上报模块,记录上报模块将所述巡检记录生成并保存至所述设备巡检管理平台的数据库。
巡检人员通过AR设备生成并保存此次所述目标设备的巡检记录,包括巡检时间、巡检人员、关键性能数据、问题/故障信息等。如果存在问题/故障,可能还需进一步保存维修信息。这样就可以及时根据保存的巡检数据进行分析,有效预防管理安全隐患。
一些可能的实现中,巡视和检修是一次完成的。巡检人员在进行电力设备巡检的过程中,所佩戴的AR设备的屏幕上可能会依次显示巡检过程中需要的虚拟信息。
另一些可能的实现中,巡视和检修是分开进行的。巡检人员在现场对目标设备的巡视过程中,所佩戴的AR设备的屏幕上可能会显示目标设备的巡视项目、巡视顺序和关键性能指标,以及历史巡检记录等。然后巡检人员会生成本次巡视记录并传输给设备巡检管理平台的数据库。当目标设备存在故障或问题时,巡检人员或者后台,会触发目标设备的检修,可能会同时生成检修策略。然后巡检人员到现场对目标设备进行检修时,所佩戴的AR设备的屏幕上可能会显示最新的巡视记录,操作指导文件或动画或者语音提示等。巡检人员还可以通过AR设备与指导人员进行实时语音/视频通话,获得指导人员的远程实时指导。巡视过程和检修过程的巡检人员可以相同,也可以不同。
示例性地,在变电站设备的巡视过程中,可以通过AR设备给巡检人员呈现现实场景叠加虚拟信息的虚实融合画面,用于远程指导变电站设备的巡视。例如图3所示的远程指导变电站设备巡视的示意图,巡检人员通过佩戴的AR设备,例如AR工业智能头盔,看到了叠加在变电站现实场景上的变压器的三维模型即图3右下侧的模型,维护信息即图3右上侧的台账信息,图中未示出的历史数据,以及图中未示出的巡视项目,图中未示出的巡视顺序等虚拟信息。通过佩戴的AR工业智能头盔,巡检人员可以按巡视顺序的提示检查变压器的状态;并且针对每个检查项可以查看变压器的传感器数据、历史趋势、状态评估结果等虚拟信息,实现了设备巡视的可视化远程指导。并且利用AR工业智能头盔进行人机交互,完成巡视信息的实时上报至设备巡检管理平台。本发明提供的基于AR的设备巡检方法充分结合了终端传感能力和后端设备设备巡检管理平台的分析能力,可帮助巡检人员更全面、直观地掌握设备的状态,完成设备的巡检工作,提高了巡检工作的效率和质量。
一般情况下,可以根据目标设备的设备标识,将目标设备的三维模型以及巡检指导,从后台传输到巡检人员的AR设备上,通过AR设备叠加在现实场景上呈现给巡检人员,以便巡检人员遵循指导,按步骤快速完成检修工作。如果在检修过程中,巡检人员无法根据指导解决现场实际问题,可以采用基于AR的远程协助方式,与远端不在现场的指导人员进行视频通话,并共享现场作业视角,以便指导人员远程可视化指导巡检人员完成检修工作,例如图4所示的实时视频远程指导设备巡检的示意图。此外还可以将指导人员的框选、划线等虚拟指导信息利用AR实时叠加在目标设备上呈现给巡检人员,这样可避免语言描述易出错的情况,提高沟通指导效率。
参见图5,本发明提供了一种基于AR的设备巡检实现系统,该系统500包括:AR设备501和设备巡检管理平台502,所述AR设备501用于收集目标设备的标识相关信息并通过网络上传至设备巡检管理平台502;所述设备巡检管理平台502根据所述目标设备的标识相关信息查询对应的巡检指导虚拟信息并通过网络下载至AR设备。AR设备501和设备巡检管理平台502之间通过网络连接并相互通信,实现本发明提供的基于AR的设备巡检方法,所述网络指的是有线,无线,或者两者组合的方式。
图7所示给出了设备巡检管理平台的结构示意图,设备巡检管理平台700包括标识获取模块701,信息获取模块702,远程指导模块703和记录上报模块704;其中,所述标识获取模块701,用于获取现实场景中目标设备的设备标识;具体的获取细节可参考图1所示方法实施例中所述,此处不再一一赘述。
所述信息获取模块702,用于根据所述目标设备的设备标识,获取用于远程指导所述目标设备巡检的虚拟信息;具体的获取细节可参考图1所示方法实施例中所述,此处不再一一赘述。
所述远程指导模块703,用于将所述虚拟信息通过AR设备叠加在现实场景上呈现给巡检人员,以远程指导所述巡检人员完成所述目标设备的巡检。所述远程指导模块703可以包括显示屏,音/视频输入输出器件等。具体的指导细节可参考图1所示方法实施例中所述,此处不再一一赘述。
所述标识获取模块701可以包括摄像头,还可以包括GPS或蓝牙功能。所述标识获取模块701可以包括二维码扫描识别功能,还可以包括图像识别功能。
所述信息获取模块702,还用于根据所述目标设备的设备标识,获取所述目标设备的维护信息,所述维护信息包括设备型号,设备位置,设备名称,供应商信息,维护责任人,维护历史记录等。
所述设备巡检管理平台700还包括记录上报模块704,用于通过所述AR设备生成并保存所述目标设备的巡检记录,包括巡检时间、巡检人员、关键性能数据、问题/故障信息等。所述巡检记录还可以包括维修信息。通过保存的巡检记录可以及时进行巡检数据分析,有效预防管理安全隐患。
所述设备巡检管理平台可以由一个独立设备实现所有模块功能,也可以由多个设备共同实现所有模块功能。
所述设备巡检管理平台还可以包括未在图示中表示的其他功能模块,具体可参考图1至4所述设备巡检方法,根据不同的可能实现包括相应的功能模块,在此不再赘述。
一种可能的实现中,如图5所示,设备巡检管理平台502包括巡检管理/指导装置5021和数据库5022。巡检管理/指导装置5021和数据库5022可以由一个设备实现,也可以由不同设备实现。
如图6所示,巡检管理/指导装置5021和数据库5022由不同设备实现,巡检管理/指导装置5021由计算机实现,数据库部署在服务器上,服务器可以在本地,也可以布置在云端。巡检管理/指导装置5021和数据库5022之间通过网络和/或线缆连接并相互通信;巡检管理/指导装置5021和数据库5022之间还设置有网络防护墙。如图6所示,巡检管理/指导装置5021可以包括设备信息查询模块,设备维护过程指导模块,设备维护管理模块,可视化界面,BIM相关软件,摄像机,离线数据库等,所述设备维护过程指导模块包括AR应用程序,所述BIM指的是建筑信息模型,英文全称为Building Information Modeling,所述BIM相关软件可以是3ds Max。
例如,图3中所示变压器的三维模型可以利用3ds Max事先建立好,并且还可以用3ds Max制作变压器的巡检指导动画,然后存储在数据库5022中。
巡检管理/指导装置5021的实现和模块划分也可以根据具体实现不同于图6所示。图6仅为本发明实施例提供的设备巡检管理平台502的一种可能实现,并不作为对本发明的限定。
图8示例性的表示了部署和/或执行本发明的基于AR的设备巡检系统及方法的电子设备的结构示意图。电子设备800通常具有一个或多个处理器801、存储器802、输入输出I/O接口803和网络通信接口804以及未在图示中表示的其他部分,例如包括但不限于摄像头、电力系统、GPS定位模块、调节按键等。
如图8,这些部件之间通过通信总线进行互连。通信总线包括使得系统部件互连并控制各部件之间通信的电路,所述电路指的是芯片组。
I/O接口803可以包括显示屏,例如触控式显示屏。I/O接口803还可以包括音/视频输入输出接口、键盘/鼠标输入输出设备、触控板、传感器中的一个或多个,所述传感器可以是光学传感器、加速度传感器、陀螺仪、触敏传感器等。
存储器802包括随机存取存储器,诸如DRAM、SRAM、DDR RAM等;还包括闪存、磁盘、或者其他非易失性固态存储介质等。
存储器802还用于存储电子设备800所执行的计算机程序、模块、指令、数据结构、数据或者他们的子集合。如图8以可选的方式表示了操作系统、通信模块、图形模块、语音模块、视频模块、触觉反馈模块、系统状态以及一个或者多个应用程序APP等。应用程序APP例如可以是提供给用户的化学实验仿真程序、中医望诊/切诊训练程序、车间操作培训程序等。
网络通信接口804,用于电子设备800与网络连通,实现网络数据通信,以发送和接收数据。网络通信接口804可以是有线网络通信接口,无线网络通信接口,或者两者的结合。
处理器801运行存储器802中存储的计算机程序,以实现本发明实施例提供的虚实融合实现方法中相关的操作和步骤,具体细节可参考上述图1至图4所示,在此不再一一赘述。
参考上述,本发明实施例还提供一种包括用于由电子设备的一个或多个处理器执行的一个或多个程序的非易失性计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由所述一个或多个处理器执行时使所述电子设备执行根据前述任意实施例的方法。
参考上述,本发明实施例还提供一种电子设备,该电子设备包括处理单元,该处理单元被配置为执行本文所述的基于AR的设备巡检方法和过程中的任一个。
参考上述,本发明实施例还提供了一种电子设备,该电子设备包括一个或多个处理器和存储用于由该一个或多个处理器执行的一个或多个程序的存储器,该一个或多个程序包括用于执行本文所描述的基于AR的设备巡检方法和过程中的任一个的指令。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种基于增强现实AR的设备巡检系统及方法,其特征在于,所述设备巡检系统包括:AR设备,所述AR设备用于收集目标设备的标识相关信息并通过网络上传至设备巡检管理平台;设备巡检管理平台,所述设备巡检管理平台根据所述目标设备的标识相关信息查询对应的巡检指导虚拟信息并通过网络下载至AR设备;
所述设备巡检管理平台包括以下模块:
标识获取模块,所述标识获取模块用于获取现实场景中目标设备的设备标识;信息获取模块,所述信息获取模块根据所述目标设备的设备标识,获取用于远程指导所述目标设备巡检的虚拟信息;远程指导模块,所述远程指导模块用于将所述虚拟信息叠加在现实场景上呈现给巡检人员,并远程指导巡检人员完成所述目标设备的巡检;记录上报模块,所述记录上报模块用于上报所述目标设备的巡检记录;
基于所述设备巡检系统,所述基于增强现实AR的设备巡检方法为:
S1:标识获取模块通过AR设备获取现实场景中目标设备的设备标识并传输至信息获取模块;
S2:信息获取模块根据所述目标设备的设备标识,从所述设备巡检管理平台的数据库中查询用于远程指导所述目标设备巡检的虚拟信息并传输至远程指导模块;
S3:远程指导模块将所述虚拟信息通过AR设备叠加在现实场景上呈现给巡检人员,并远程指导所述巡检人员完成所述目标设备的巡检;
S4:完成所述目标设备的巡检后,巡检人员将本次巡检记录通过AR设备上传至记录上报模块,记录上报模块将所述巡检记录生成并保存至所述设备巡检管理平台的数据库。
2.根据权利要求1所述基于增强现实AR的设备巡检系统及方法,其特征在于,所述巡检记录包括巡检时间、巡检人员、关键性能指标、问题/故障信息。
3.根据权利要求1所述基于增强现实AR的设备巡检系统及方法,其特征在于,所述虚拟信息包括所述目标设备的三维模型、所述目标设备的巡检指导、所述目标设备的维护信息中的任意一个或多个。
4.根据权利要求3所述基于增强现实AR的设备巡检系统及方法,其特征在于,所述目标设备的巡检指导包括巡视项目、巡视顺序和关键性能指标中的任意一个或多个。
5.根据权利要求4所述基于增强现实AR的设备巡检系统及方法,其特征在于,所述目标设备的巡检指导还包括操作指导文件、操作指导动画、视频、图片、语音提示、实时语音通话、实时视频通话中的任意一个或多个。
6.根据权利要求3所述基于增强现实AR的设备巡检系统及方法,其特征在于,所述目标设备的维护信息包括设备型号、设备位置、设备名称、供应商信息、维护责任人、维护历史记录中的任意一个或多个。
7.根据权利要求1所述基于增强现实AR的设备巡检系统及方法,其特征在于,实现所述设备巡检管理平台的电子设备包括处理器、存储器、I/O接口和网络通信接口;
所述处理器、所述存储器、所述I/O接口和所述网络通信接口相互连接;
所述处理器执行存储在所述存储器中的计算机程序并通过I/O接口和网络通信接口与AR设备进行双向信息传输,以实现所述权利要求1至6任一项所述基于增强现实AR的设备巡检系统及方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110122606.2A CN113222184A (zh) | 2021-01-29 | 2021-01-29 | 基于增强现实ar的设备巡检系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110122606.2A CN113222184A (zh) | 2021-01-29 | 2021-01-29 | 基于增强现实ar的设备巡检系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113222184A true CN113222184A (zh) | 2021-08-06 |
Family
ID=77084504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110122606.2A Pending CN113222184A (zh) | 2021-01-29 | 2021-01-29 | 基于增强现实ar的设备巡检系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113222184A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113709672A (zh) * | 2021-08-25 | 2021-11-26 | 云知声(上海)智能科技有限公司 | 基于ar的巡检系统及其巡检方法 |
CN113920610A (zh) * | 2021-09-01 | 2022-01-11 | 国网河北省电力有限公司营销服务中心 | 基于ar技术的电力设备巡检方法及系统 |
CN114779679A (zh) * | 2022-03-23 | 2022-07-22 | 北京英智数联科技有限公司 | 一种增强现实巡检系统及方法 |
CN114881267A (zh) * | 2022-06-06 | 2022-08-09 | 成都智谷耘行信息技术有限公司 | 一种基于铁路供电多源数据融合的指挥系统和方法 |
CN114995449A (zh) * | 2022-06-21 | 2022-09-02 | 华能(广东)能源开发有限公司海门电厂 | 一种基于电子地图的机器人巡检设计方法及系统 |
CN115190151A (zh) * | 2022-07-12 | 2022-10-14 | 武汉钢铁有限公司 | 电力巡检方法、系统、装置及电子设备 |
CN115576434A (zh) * | 2022-12-09 | 2023-01-06 | 深圳先进技术研究院 | 基于ar的设备操作指导方法、系统及相关设备 |
CN116389534A (zh) * | 2023-06-06 | 2023-07-04 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 基于混合现实的设备巡检方法、系统、装置、设备及介质 |
CN116563967A (zh) * | 2023-04-13 | 2023-08-08 | 中冶南方(武汉)自动化有限公司 | 一种基于ar的地下综合管廊智能辅助巡检方法及系统 |
CN116767319A (zh) * | 2023-06-08 | 2023-09-19 | 北京交通大学 | 基于mr设备的巡检及维护方法、系统及计算机设备 |
CN117213468A (zh) * | 2023-11-02 | 2023-12-12 | 北京亮亮视野科技有限公司 | 飞机机外巡检方法、装置和电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171817A (zh) * | 2018-01-10 | 2018-06-15 | 上海市地下空间设计研究总院有限公司 | 基于mr或ar的巡检方法、mr或ar设备及巡检系统 |
CN110400388A (zh) * | 2019-07-02 | 2019-11-01 | 上海德衡数据科技有限公司 | 一种基于增强现实的智能巡检系统 |
-
2021
- 2021-01-29 CN CN202110122606.2A patent/CN113222184A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171817A (zh) * | 2018-01-10 | 2018-06-15 | 上海市地下空间设计研究总院有限公司 | 基于mr或ar的巡检方法、mr或ar设备及巡检系统 |
CN110400388A (zh) * | 2019-07-02 | 2019-11-01 | 上海德衡数据科技有限公司 | 一种基于增强现实的智能巡检系统 |
Non-Patent Citations (2)
Title |
---|
岳志录;王文忻;李东旭;: "增强现实技术在核电仪控系统运维中的应用研究", 工业控制计算机, no. 09 * |
李大勇;杨畅;张永伍;陆小荣;: "基于AR技术的变电站智能巡检系统设计与实现", 微型电脑应用, no. 08 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113709672B (zh) * | 2021-08-25 | 2024-03-08 | 云知声(上海)智能科技有限公司 | 基于ar的巡检系统及其巡检方法 |
CN113709672A (zh) * | 2021-08-25 | 2021-11-26 | 云知声(上海)智能科技有限公司 | 基于ar的巡检系统及其巡检方法 |
CN113920610A (zh) * | 2021-09-01 | 2022-01-11 | 国网河北省电力有限公司营销服务中心 | 基于ar技术的电力设备巡检方法及系统 |
CN114779679A (zh) * | 2022-03-23 | 2022-07-22 | 北京英智数联科技有限公司 | 一种增强现实巡检系统及方法 |
CN114881267A (zh) * | 2022-06-06 | 2022-08-09 | 成都智谷耘行信息技术有限公司 | 一种基于铁路供电多源数据融合的指挥系统和方法 |
CN114995449A (zh) * | 2022-06-21 | 2022-09-02 | 华能(广东)能源开发有限公司海门电厂 | 一种基于电子地图的机器人巡检设计方法及系统 |
CN115190151A (zh) * | 2022-07-12 | 2022-10-14 | 武汉钢铁有限公司 | 电力巡检方法、系统、装置及电子设备 |
CN115576434A (zh) * | 2022-12-09 | 2023-01-06 | 深圳先进技术研究院 | 基于ar的设备操作指导方法、系统及相关设备 |
CN115576434B (zh) * | 2022-12-09 | 2023-04-25 | 深圳先进技术研究院 | 基于ar的设备操作指导方法、系统及相关设备 |
CN116563967A (zh) * | 2023-04-13 | 2023-08-08 | 中冶南方(武汉)自动化有限公司 | 一种基于ar的地下综合管廊智能辅助巡检方法及系统 |
CN116389534A (zh) * | 2023-06-06 | 2023-07-04 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 基于混合现实的设备巡检方法、系统、装置、设备及介质 |
CN116767319A (zh) * | 2023-06-08 | 2023-09-19 | 北京交通大学 | 基于mr设备的巡检及维护方法、系统及计算机设备 |
CN116767319B (zh) * | 2023-06-08 | 2024-03-26 | 北京交通大学 | 基于mr设备的巡检及维护方法、系统及计算机设备 |
CN117213468A (zh) * | 2023-11-02 | 2023-12-12 | 北京亮亮视野科技有限公司 | 飞机机外巡检方法、装置和电子设备 |
CN117213468B (zh) * | 2023-11-02 | 2024-04-05 | 北京亮亮视野科技有限公司 | 飞机机外巡检方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113222184A (zh) | 基于增强现实ar的设备巡检系统及方法 | |
Dini et al. | Application of augmented reality techniques in through-life engineering services | |
CN109246195B (zh) | 一种融合增强现实、虚拟现实的管网智能管控方法及系统 | |
US11481999B2 (en) | Maintenance work support system and maintenance work support method | |
CN107610217B (zh) | 一种核电设备虚拟识别展示系统和方法 | |
García-Pereira et al. | A collaborative augmented reality annotation tool for the inspection of prefabricated buildings | |
US8225226B2 (en) | Virtual control panel | |
US20130010068A1 (en) | Augmented reality system | |
Bellalouna | The augmented reality technology as enabler for the digitization of industrial business processes: case studies | |
CN106340217A (zh) | 基于增强现实技术的制造装备智能系统及其实现方法 | |
CN109064133A (zh) | 一种基于bim+ar的工程全过程管理系统 | |
CN110109535A (zh) | 增强现实生成方法及装置 | |
KR102418994B1 (ko) | 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법 | |
Corneli et al. | Augmented reality and deep learning towards the management of secondary building assets | |
WO2019107420A1 (ja) | 設備管理システム | |
CN114299390A (zh) | 一种确定维修部件演示视频的方法及装置、安全帽 | |
CN112085232A (zh) | 一种基于增强现实技术的运检系统及方法 | |
CN113688290A (zh) | 一种车辆底盘交互式电子维修系统 | |
CN112669484A (zh) | 一种地下管网监测系统和方法 | |
CN112037340A (zh) | 基于增强现实技术的隧道衬砌病害查看方法及穿戴式设备 | |
US11395102B2 (en) | Field cooperation system and management device | |
Bellalouna | Digitization of industrial engineering processes using the augmented reality technology: industrial case studies | |
Bellalouna | Industrial use cases for augmented reality application | |
CN114567535B (zh) | 一种基于增强现实的产品交互与故障诊断方法 | |
CN110751734B (zh) | 一种适用于工作现场的混合现实助手系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |