CN115469745A - 一种基于ar技术的机房设备故障处理方法和系统 - Google Patents

一种基于ar技术的机房设备故障处理方法和系统 Download PDF

Info

Publication number
CN115469745A
CN115469745A CN202211102293.5A CN202211102293A CN115469745A CN 115469745 A CN115469745 A CN 115469745A CN 202211102293 A CN202211102293 A CN 202211102293A CN 115469745 A CN115469745 A CN 115469745A
Authority
CN
China
Prior art keywords
equipment
expert
guidance
fault
maintenance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211102293.5A
Other languages
English (en)
Inventor
李建路
于国际
朱珠
陆信欣
王振乾
王林
何伟明
李柯
昌艳
余少锋
盘晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Communication Branch of Peak Regulation and Frequency Modulation Power Generation of China Southern Power Grid Co Ltd
Original Assignee
Information Communication Branch of Peak Regulation and Frequency Modulation Power Generation of China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Communication Branch of Peak Regulation and Frequency Modulation Power Generation of China Southern Power Grid Co Ltd filed Critical Information Communication Branch of Peak Regulation and Frequency Modulation Power Generation of China Southern Power Grid Co Ltd
Priority to CN202211102293.5A priority Critical patent/CN115469745A/zh
Publication of CN115469745A publication Critical patent/CN115469745A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种基于AR技术的机房设备故障处理方法和系统,包括以下步骤:识别待检修设备;获取所述待检修设备的运维数据,并基于所述运维数据获取故障类型;建立与远程专家的音视频沟通链接,将现场设备视频画面实时传输至远程专家,远程专家给出检修指导;根据检修指导对待检修设备进行检修。本发明通过AR智能穿戴设备将实时运维画面推送给技术专家,便于专家直观了解现场设备状况,进而为检修人员提供针对性的检修指导;检修指导以多种形式传输至现场检修人员,使现场检修人员能直观地了解检修指导,有利于提高检修人员的检修技能和工作效率、减少误操作,提高了设备检修的效率。

Description

一种基于AR技术的机房设备故障处理方法和系统
技术领域
本发明属于机房设备检修技术领域,具体涉及一种基于AR技术的机房设备故障处理方法和系统。
背景技术
随着电网智能化建设的不断深入与推进,“云平台、大数据、物联网、移动终端、智能化”等新技术的应用越来越广泛,信息化、数字化建设覆盖电力系统整个生产过程。在数字化和信息化的电力系统中,电力信通机房设备参数和运行数据直接影响整个电力信通网络系统的正常工作,因此,为了确保电厂的正常运行,电力系统机房设备出现故障时及时有效的对设备进行检修显得尤为重要。
目前,通常采用安排驻场人员进行设备的检修和运维,由于驻厂人员普遍工作时间短,人员的工作经验和技能尚存在不足。如果电厂出现重大的信息通信设备紧急故障,需要员工快速对故障做出判断,及时采取相应措施进行处理,在处理过程中,难免会遇到疑难问题,电厂驻守的人员由于经验和技能的欠缺,无法及时准确判断故障点,造成设备故障处理延迟,极大的影响运维效率。
电力信通机房检修现阶段主要存在问题是:信息通信机房的检修人员检修过程中无法随时调取与设备相关的各类文本、图纸、照片、视频等指导资料,会影响检修速度和检修质量;指导资料缺乏现场代入感,不利于提升检修人员的工作效率;当现场工作人员遇到问题需要连线技术专家进行支持时,由于缺乏直观的检修指导界面,技术专家通常是通过语音的方式给与检修指导,缺乏画面感和代入感,使得实际指导效果受限于现场人员的经验水平,极大影响检修效率。
发明内容
为克服上述现有技术的不足,本发明提供一种基于AR技术的机房设备故障处理方法和系统,解决现有故障检修时存在的检修效率低及专家指导效果不佳的问题。
基于本发明的一方面,提供一种基于AR技术的机房设备故障处理方法,包括以下步骤:
通过AR智能穿戴设备识别待检修设备;
获取所述待检修设备的运维数据,并基于所述运维数据获取故障类型;
通过AR智能穿戴设备建立与远程专家的视频沟通链接,将AR智能穿戴设备拍摄到的现场设备视频画面实时传输至远程专家,远程专家根据视频画面内容和故障类型给出检修指导;
根据检修指导对待检修设备进行检修。
在上述技术方案中,根据设置的识别规则识别待检修设备类型和型号,从而确定需要检修的设备;获取该待检修设备的运维数据,根据运维数据判断设备的故障类型,也可以根据检修人员的经验判断故障类型;当检修人员需要远程专家指导时,构建与远程专家的沟通链接,AR智能穿戴设备将实时现场画面传输给远程专家,远程专家通过现场画面更直观的了解设备具体情况,并给出直观具体的检修指导;检修人员根据专家的检修指导对设备进行现场检修。
具体地,在通过AR智能穿戴设备识别待检修设备前还包括:
创建机房设备的三维仿真模型;所述三维仿真模型包括基础模型和精确模型;基础模型包括设备的整体形状、参数、色彩及材质信息,精确模型包括设备内部各零部件的形状、尺寸、色彩、材质及装配约束信息。
首先通过扫描仪获取机房设备的3D点云数据并导入3dMax软件,制作机房设备的基础三维模型,然后采用PhotosShop软件对所述基础三维模型进行贴图,即可完成基础模型的创建。
精准模型的创建过程为:根据现场扫描、测量和设备机械设计图获取机房设备内部零件的尺寸数据;根据现场影像资料获取机房设备的装配关系数据;将设备内部零件的尺寸数据和装配关系数据导入SolidWorks软件,制作机房设备的精确三维模型;采用PhotosShop软件对所述精确三维模型进行贴图。
将所述三维仿真模型导入虚拟现实平台,将真实设备的运维数据与三维仿真模型进行匹配。
通过虚拟现实平台创建虚拟交互界面,利用视点追踪技术将虚拟交互界面叠加到真实场景中进行展示。在检修过程中,检修指导被呈现与虚拟交互界面上,然后被叠加到真实场景中的设备上,从而更直观地指导检修人员对设备的各组件进行有序的检修。
具体地,在所述获取故障类型后还包括:根据故障类型调取对应的操作手册,并将所述操作手册中的内容展现在虚拟交互界面上。根据故障类型从数据库中调取与之对应的操作手册,操作手册中包含的文字说明或视频指导被呈现在虚拟交互界面上,检修人员可以很方便的获取指导信息。
具体地,所述AR智能穿戴设备上设置有摄像头,所述摄像头用于扫描和拍摄现场画面。检修人员只需穿戴上AR智能穿戴设备进入现场即可完成对设备的识别,同时利用AR智能穿戴设备上的摄像头拍摄现场设备画面,并将视频画面传输至远程专家;检修人员通过AR智能穿戴设备可直接查看虚拟交互界面上的内容,便于检修人员释放双手。
具体地,所述现场人员根据操作手册对待检修设备进行检修具体包括:
将操作手册内的操作步骤展示在虚拟交互界面上,并叠加到真实场景中的设备上进行展示;
将操作手册内的工具模型展示在虚拟交互界面上,并叠加到真实场景中的设备上进行展示;
现场操作人员在操作步骤展示页面和操作工具模型的引导下对待检修设备进行检修。
具体地,所述专家的检修指导至少包括以下形式中的一种:语音指导、实时标注、AR标注、指导图片、冻屏标注、指导文件和白板涂鸦。通过多样化的形式进行检修指导,以便面对多样化的故障情形,从而提升方法的适用性。
具体地,所述AR标注具体包括:
专家提出AR标注请求;
AAR智能穿戴设备围绕目标设备移动,完成对目标目标设备及其周围环境的扫描;
远程专家在视频画面上进行AR标注操作,并将AR标注信息传输至AR智能穿戴设备上;
AR标注信息显示于虚拟交互界面上的视频画面上。
当专家与现场运维工作人员在沟通过程中,需要对现场人员的工作逐步进行指导,可以使用AR标注技术,基于强大的即时地图构建与跟踪技术(SLAM)在3D空间中进行标注和指导,使协作更高效。专家首先需要对开启摄像头的眼镜端的检修人员发起AR标注。发起后,被标注终端需要按照提示扫描周围环境,围绕目标物体缓慢的大范围移动,扫描完成会看到扫描成功的提示。现场端扫描成功后专家就可以根据页面上的提示进行AR标注操作。
具体地,所述AR标注的标注形式包括:虚拟箭头标注、圆圈标注、标签标注、图片标注、和通用标识标注。根据不同的故障情形采用对应的形式进行标注,方便现场检修人员更加清晰的明确标注意图。在所述AR标注中将生成的虚拟箭头、圆圈、标签、图片和通用标识叠加到真实场景中的设备上。通过将虚拟箭头、圆圈、标签等叠加到真实场景中的设备上,方便检修人员直观的明确被标注的设备构件,从而快速准确的找到待操作的设备构件。
具体地,所述AR智能穿戴设备包括AR眼镜和交互手柄。可通过交互手柄对虚拟交互界面进行单击、拖动、缩放等操作,实现虚拟信息的获取、三维模型的拖动等功能。
基于本发明的另一方面,提供一种基于AR技术的机房设备故障处理系统,采用上述的基于AR技术的机房设备故障处理方法来实现,包括:
数据采集单元:用于采集设备的三维模型数据和运维数据;
现场端:包括AR智能穿戴设备,用于识别设备类型和拍摄现场视频;虚拟交互界面,用于将操作手册和专家的检修指导呈现给检修人员查看;现场端通讯单元,用于与数据库和专家端构建网络通讯;
数据库:用于存储机房设备的三维模型数据及对应的运维数据和操作手册;
专家端:包括专家端通讯单元,用于与现场端构建网络通讯;视频展现单元,用于查看现场端传输的视频画面;指导单元,用于给出检修指导。
在上述技术方案中,将采集到的三维模型数据和运维数据传输至数据库储存,数据库预先存储有各设备的操作手册;当检修人员穿戴AR智能穿戴设备进入检修现场时,AR智能穿戴设备识别待检修设备,并根据待检修设备类型从数据库中调取运维数据,根据运维数据判断故障类型;根据故障类型从数据库调取对应的操作手册,并将操作手册中的内容展现在虚拟交互界面上;当现场端的检修检修人员需要远程专家支持时,通过现场端的通讯单元与专家端的通信单元构建网络通讯,AR智能穿戴设备拍摄现场端视频并传输至专家端的视频展现单元,专家通过视频展现单元查看现场端传输的视频画面,并根据设备具体情况在指导单元给出检修指导,检修指导通过通讯单元传输至现场端的虚拟交互界面上展示。
与现有技术相比,本发明的有益效果在于:
本发明通过AR智能穿戴设备识别待检修设备,并获取待检修设备的运维数据,根据运维数据判断设备的故障类型,当现场设备出现紧急故障需要快速处理时,检修人员可随时联系远端专家进行远程协助,通过AR智能穿戴设备将实时运维画面推送给技术专家,便于专家直观了解现场设备状况,且为检修人员提供具有针对性的直观的检修指导;检修指导以多种形式传输至现场检修人员,使现场检修人员能直观地了解检修指导,有利于提高检修人员的检修技能和工作效率、减少误操作,提高了设备检修的效率。
本发明还可以根据故障类型从数据库中调取该故障类型对应的操作手册展现在虚拟交互界面上,以指导检修人员实施检修操作,便于检修人员随时调取与设备检修相关的指导资料,且将操作手册中的内容叠加到现实场景中,方便检修人员直观查看检修指导。
附图说明
图1为本发明实施例一种基于AR技术的机房设备故障处理方法的流程示意图;
图2为本发明实施例一种基于AR技术的机房设备故障处理系统的结构示意图。
具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述,显然,所描述发实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例,都属于本发明所保护的范围。
实施例
如图1所示,本实施例提供一种基于AR技术的机房设备故障处理方法,包括:
(1)创建机房设备的三维仿真模型。所述三维仿真模型包括基础模型和精确模型;基础模型包括设备的整体形状、参数、色彩及材质信息,精确模型包括设备内部各零部件的形状、尺寸、色彩、材质及装配约束信息。
首先通过扫描仪获取机房设备的3D点云数据并导入3dMax软件,制作机房设备的基础三维模型,然后采用PhotosShop软件对所述基础三维模型进行贴图,即可完成基础模型的创建。
精准模型的创建过程为:根据现场扫描、测量和设备机械设计图获取机房设备内部零件的尺寸数据;根据现场影像资料获取机房设备的装配关系数据;将设备内部零件的尺寸数据和装配关系数据导入SolidWorks软件,制作机房设备的精确三维模型;采用PhotosShop软件对所述精确三维模型进行贴图。
数据采集(样件的表面数字化)是进行产品逆向建模的第一步,设计资料收集:在工程实施中,实地测量是获取建模数据的主要手段,而对于不具备测量条件的建构筑物和设备来说,相关图纸、竣工资料及厂家资料的收集显得尤为重要,直接影响项目建设的质量和进度。通过资料收集,可以确定模型种类、数量、位置及对应名称,为后续建模,尤其是设备实体零部件拆分做好准备。
空间数据准确获取:在建立通信机房和主要信通设备的三维模型过程中,如何准确测量复杂建构筑物及大型设备的空间数据是本工程的一个重点。因此,在三维激光扫描测量阶段,需制定详细的三维激光扫描方案,设计合适的扫描路线,确定采样密度、设站数及设站位置,以确保可以准确、有效、快速地采集复杂建构筑物及设备的空间数据。
扫描、获取点云数据:在作业现场针对需要进行数据化研究的设备的本体至零件(最小不可拆分单元)使用手持激光扫描仪进行扫描。在各零件上粘贴反光标,安置并启动三维激光扫描仪,在扫描前,需要对系统参数进行设置。系统参数包括取景选项(球的直径、快速扫描标靶的模式、自动拍照)、单位(包括角度单位和长度单位)、视频模式(场景为实时或者拍照模式)、系统语言(无中文)。设置完成后,运用三维激光扫描仪对设备零件进行全方位扫描。
同时,用相机拍摄各零部件的多角度照片,采集信通机房设备的图像资料,以便于在逆向建模时,作为零件建模特征的参考对照和零件材质、颜色的识别。
三维激光扫描仪连接电脑设备,通过配套的点云生产软件,即时生成零件点云数据。建立文件夹,将生成的点云数据和拍摄的对应零件的图像资料命名保存。
点云处理:一个零件扫描完成之后,首先对点云进行观察,与零件实体进行对照,看获取的点云数据是否符合零件的特征,如果扫描点云与实际模型差别较大,需要放弃此次扫描,删除此次扫描数据,进行二次扫描,直到扫描点云与实际模型特征相符。
由于零件复杂程度的不同,扫描时分辨率和扫描次数都有所不同,复杂模型通常都需要多角度、多次数的全方位扫描,因此,也会形成一个零件具有多个点云的状况。此时,我们就需要对同一零件的点云数据进行拼接处理。
(2)将所述三维仿真模型导入虚拟现实平台Unity3D,将真实设备的运维数据与三维仿真模型进行匹配。
具体地,所述运维数据包括设备运行状态及历史运维信息。
设备运行状态可以与新通过设备监测系统的接口建立链接,实现实时监测量的获取及运行实时数据的可视化监测,以解决有效信息获取时间长、维修延期等问题。通过实时数据通信系统和后台数据库的支持可以将设备传感器的各类参数进行收集,在进行前端显示之前可以由系统数据处理层进行数据可视化处理,将单纯的数字参数等进行可视化图表绘制,以三维热力图、柱形图、动态图表等形式进行直观展现。可以有效的加快数据信息的传递,提高工作效率。
(3)通过虚拟现实平台创建虚拟交互界面,利用视点追踪技术将虚拟交互界面叠加到真实场景中进行展示。视点追踪技术主要实现虚实三维环境精准定位匹配,在已采集的现场环境中,快速扫描并识别现场设备的特征信息,即时并准确的识别所扫描设备的三维数据信息,通过计算处理,提取出所匹配的数据信息,然后进行配准,使得虚拟模型和真实空间环境进行叠加,由于用户佩戴AR智能穿戴设备在机房工作的时候根据任务需要和场景特点会伴随一定的头部自由运动,从而引起用户视点视角发生变化,因此需要实时追踪用户视点的运动为虚实融合提供对齐参考,达到以完整的虚拟三维模型来与真实环境进行精准匹配定位,从而辅助运维人员进行设备检修。
(4)通过AR智能穿戴设备识别待检修设备。预先添加设备特征点数据:特征点数据为标识码或OCR标识数据。录入设备信息与设备特征点是一对一关系,当识别到设备时,通过特征点在进行匹配并找出设备属性信息。当在工作人员穿戴AR智能穿戴设备进入检修现场时,利用AR智能穿戴设备上的高清摄像机对设备的OCR标示数据或标识码进行扫描来识别设备。
(5)根据识别到的设备信息,获取被识别的待检修设备的运维数据,并基于所述运维数据获取故障类型。
(6)通过AR智能穿戴设备建立与远程专家的视频沟通链接,将AR智能穿戴设备拍摄到的现场设备视频画面实时传输至远程专家,远程专家根据视频画面内容和故障类型给出检修指导。
当现场检修人员需要远程专家指导时,通过AR智能穿戴设备与远程专家构建视频通话,AR智能穿戴设备上的摄像头拍摄现场设备的实时视频,并将实时视频传输至远程专家,远程专家基于实时视频、设备运维数据或检修人员的描述给出检修指导,给出检修指导的方式包括:语音指导、实时标注、AR标注、指导图片、冻屏标注、指导文件和白板涂鸦。
当专家在沟通过程中,需要快速指示现场运维员工某个具体具体内容时,可以使用实时标注功能提升效率。在视频过程中点击进入实时标注模式。此时可以设置标注颜色,以区别于背景颜色或其他人的标注颜色。被标注者可以在屏幕中看到对应的标注点,同时支持多人标注。在多人模式下点击视频画面,所有参与用户都可以实时查看到该标注的位置及标注人。
当专家在沟通过程中,点击对应按钮进入冻屏模式,在多人模式下冻屏后所有成员都会锁定该屏幕,并同步展示屏幕绘画过程。当沟通过程中,现场检修人员面临的环境始终处于动态时,如进行基于工厂流水线机器人的培训,可以通过冻屏功能截取某一时刻的画面来沟通,事半功倍的进行协作。冻屏通用操作可以控制画笔的颜色、撤回上一步、清空、保存图片和关闭。此外还可以在冻屏过程中可以调整画笔的粗细。
远程专家根据需要选取对应的指导图片和指导文件,指导图片和指导文件通过网络传输至现场端的工作人员,指导图片和指导文件在AR智能穿戴设备的虚拟交互界面上展示,以供现场工作人员读取。
所述AR标注具体包括:
专家提出AR标注请求;
AR智能穿戴设备围绕目标设备移动,完成对目标目标设备及其周围环境的扫描;
远程专家在视频画面上进行AR标注操作,并将AR标注信息传输至AR智能穿戴设备上;
AR标注信息显示于虚拟交互界面上的视频画面上。
当专家与现场运维工作人员在沟通过程中,需要对现场人员的工作逐步进行指导,可以使用AR标注技术,基于强大的即时地图构建与跟踪技术(SLAM)在3D空间中进行标注和指导,使协作更高效。专家首先需要对开启摄像头的眼镜端的检修人员发起AR标注。发起后,被标注终端需要按照提示扫描周围环境,围绕目标物体缓慢的大范围移动,扫描完成会看到扫描成功的提示。现场端扫描成功后专家就可以根据页面上的提示进行AR标注操作。
具体地,所述AR标注的标注形式包括:虚拟箭头标注、圆圈标注、标签标注、图片标注、和通用标识标注。根据不同的故障情形采用对应的形式进行标注,方便现场检修人员更加清晰的明确标注意图。在所述AR标注中将生成的虚拟箭头、圆圈、标签、图片和通用标识叠加到真实场景中的设备上。通过将虚拟箭头、圆圈、标签等叠加到真实场景中的设备上,方便检修人员直观的明确被标注的设备构件,从而快速准确的找到待操作的设备构件。
(7)根据专家的检修指导对待检修设备进行检修。
作为一种优选的实施方案,在获取故障类型后调取操作手册,并将所述操作手册中的内容展现在AR智能穿戴设备的虚拟交互界面上;具体为:
将操作手册内的操作步骤展示在虚拟交互界面上,并叠加到真实场景中的设备上进行展示;
将操作手册内的工具模型展示在虚拟交互界面上,并叠加到真实场景中的设备上进行展示;
根据操作步骤展示页面和操作工具模型的引导下对待检修设备进行检修。
作为一种优选的实施方案,检修人员可调取设备的三维模型,并将所述三维模型展示在AR智能穿戴设备的虚拟交互界面上进行可视化展示,以供检修人员查看,检修人员可在现场以虚实结合的方式进行匹配操作。
AR智能穿戴设备上配置了3D深度摄像头,用于扫描机组设备,环境感应摄像头以及光感摄像头,使用环境感知摄像头捕获真实环境图像并从中提取特征点,之后匹配相邻帧图像的特征点,通过特征点相对位置的变化来反向推出穿戴设备转动的角度和产生的位移,从而计算出人物的运动。研究操作人员佩戴AR智能穿戴设备之后在空间中的运动关系,来设计虚拟场景与真实场景叠加的临界点。
在深度摄像头采集的深度信息后,穿戴设备对真实环境进行三维重建。原理为利用深度相机采集的深度信息对三维重建的刻画,可以类比为雕塑,对一个完整的立方体利用其深度信息进行不断的雕刻完善。通过在不同角度获取的深度信息,在不同的角度雕刻立方体使之成为想要的样子,完成三维重建。
视点追踪技术主要实现虚实三维环境精准定位匹配,在已采集的现场环境中,快速扫描并识别现场信通设备的特征信息,即时并准确的识别所扫描设备的三维数据信息,通过计算处理,提取出所匹配的数据信息,然后进行配准,使得虚拟模型和真实空间环境进行叠加,由于用户佩戴AR眼镜等可穿戴设备在机房工作的时候根据任务需要和场景特点会伴随一定的头部自由运动,从而引起用户视点视角发生变化,因此需要实时追踪用户视点的运动为虚实融合提供对齐参考,达到以完整的虚拟三维模型来与真实环境进行精准匹配定位,从而辅助运维人员进行设备检修。
AR系统在进行虚实场景融合的时候需要根据用户视点视角与真实场景的相对关系调整虚拟对象的姿态及比例等参数从而使虚拟对象正确的叠加到真实场景图像上。用户佩戴AR眼镜等可穿戴设备在待检修设备旁,通过AR眼镜识别特殊标识图片,生成虚拟三维数字模型。用户通过虚拟交互界面,可以选择不同的信息进行查看。
目前稳定的视点追踪技术一般基于可以确定描述的特征点,而部分工作场景的环境特征纹理比较贫乏,场景多由线和面的元素构成,因此需要针对贫纹理特征的现场环境视点追踪技术进行研究。本实施例针对纹理贫乏的问题拟采用基于边缘的vSLAM(visualSimultaneouslyLocalizationandMapping基于视觉的同时定位与地图构建)技术进行视点定位和环境感知。vSLAM通过对相机视频流图像中的特征进行追踪匹配,利用相机成像光学模型和多视角几何约束关系,运用各种数值优化算法可以同时对相机视野中的图像特征进行三维地图信息计算并确定自身在此三维地图中的姿态位置及运动轨迹。
出vSLAM系统由Tracking、Mapping和LoopClosing三个核心模块构成,分别负责相机定位、地图建立和闭环检测。基于边缘的vSLAM系统在初始化的时候首先对第一个关键帧中的边缘特征随机生成深度图,然后基于此深度图对后续普通帧进行边缘特征追踪与匹配,根据匹配结果重新修正关键帧中的深度图数据,随着普通帧的读入形成了滚动优化的机制,使关键帧的深度图数据从随机值趋于正确值,完成初始化。
作为一种优选的实施方案,现场检修工作由检修人员根据专家的检修指导实施。
实施例2
如图2所示,本实施例还提供一种基于基于AR技术的机房设备故障处理系统,包括:
数据采集单元:用于采集设备的三维模型数据和运维数据。
现场端:包括AR智能穿戴设备,用于识别设备类型和拍摄现场视频;虚拟交互界面,用于将操作手册和专家的检修指导呈现给检修人员查看;现场端通讯单元,用于与数据库和专家端构建网络通讯。
数据库:用于存储机房设备的三维模型数据及对应的运维数据、操作手册和设备特征点数据。
专家端:包括专家端通讯单元,用于与现场端构建网络通讯,及从数据库中获取设备运维数据;视频展现单元,用于查看现场端传输的视频画面;指导单元,用于给出检修指导。
所述现场端还用于通过AR智能穿戴设备识别待检修设备。
所述现场端还用于从数据库中获取运维数据,并基于所述运维数据获取故障类型。
所述现场端AR智能穿戴设备还用于建立与远程专家的沟通链接,将AR智能穿戴设备拍摄到的现场设备视频画面实时传输至远程专家。
所述专家端的指导单元还用于供远程专家根据视频画面内容和故障类型给出检修指导。
所述现场端还用于接收远程专家的检修指导,并根据检修指导对待检修设备进行检修。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案。

Claims (9)

1.一种基于AR技术的机房设备故障处理方法,其特征在于,包括以下步骤:
通过AR智能穿戴设备识别待检修设备;
获取所述待检修设备的运维数据,并基于所述运维数据获取故障类型;
通过AR智能穿戴设备建立与远程专家的视频沟通链接,将AR智能穿戴设备拍摄到的现场设备视频画面实时传输至远程专家,远程专家根据视频画面内容和故障类型给出检修指导;
根据检修指导对待检修设备进行检修。
2.根据权利要求1所述的一种基于AR技术的机房设备故障处理方法,其特征在于,在通过AR智能穿戴设备识别待检修设备前还包括:
创建机房设备的三维仿真模型;
将所述三维仿真模型导入虚拟现实平台,将真实设备的运维数据与三维仿真模型进行匹配;
通过虚拟现实平台创建虚拟交互界面,利用视点追踪技术将虚拟交互界面叠加到真实场景中进行展示。
3.根据权利要求1所述的一种基于AR技术的机房设备故障处理方法,其特征在于,在所述获取故障类型后还包括:根据故障类型调取对应的操作手册,并将所述操作手册中的内容展现在虚拟交互界面上。
4.根据权利要求3所述的一种基于AR技术的机房设备故障处理方法,其特征在于,所述AR智能穿戴设备上设置有摄像头,所述摄像头用于扫描和拍摄现场画面。
5.根据权利要求2所述的一种基于AR技术的机房设备故障处理方法,其特征在于,所述现场人员根据操作手册对待检修设备进行检修具体包括:
将操作手册内的操作步骤展示在虚拟交互界面上,并叠加到真实场景中的设备上进行展示;
将操作手册内的工具模型展示在虚拟交互界面上,并叠加到真实场景中的设备上进行展示;
现场操作人员在操作步骤和工具模型的引导下对待检修设备进行检修。
6.根据权利要求1所述的一种基于AR技术的机房设备故障处理方法,其特征在于,所述远程专家的检修指导至少包括以下形式中的一种:语音指导、实时标注、AR标注、指导图片、冻屏标注、指导文件和白板涂鸦。
7.根据权利要求6所述的一种基于AR技术的机房设备故障处理方法,其特征在于,所述AR标注具体包括:
专家提出AR标注请求;
AR智能穿戴设备围绕目标设备移动,完成对目标目标设备及其周围环境的扫描;
远程专家在视频画面上进行AR标注操作,并将AR标注信息传输至AR智能穿戴设备上;
AR标注信息显示于虚拟交互界面上。
8.根据权利要求4所述的一种基于AR技术的机房设备故障处理方法,其特征在于,所述AR智能穿戴设备包括AR眼镜和交互手柄。
9.一种基于AR技术的机房设备故障处理系统,采用权利要求1至8中任一项所述的基于AR技术的机房设备故障处理方法来实现,其特征在于,所述系统包括:
数据采集单元:用于采集设备的三维模型数据和运维数据;
现场端:包括AR智能穿戴设备,用于识别设备类型和拍摄现场视频;虚拟交互界面,用于将操作手册和专家的检修指导呈现给检修人员查看;现场端通讯单元,用于与数据库和专家端构建网络通讯;
数据库:用于存储机房设备的三维模型数据及对应的运维数据和操作手册;
专家端:包括专家端通讯单元,用于与现场端构建网络通讯;视频展现单元,用于查看现场端传输的视频画面;指导单元,用于给出检修指导。
CN202211102293.5A 2022-09-09 2022-09-09 一种基于ar技术的机房设备故障处理方法和系统 Pending CN115469745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211102293.5A CN115469745A (zh) 2022-09-09 2022-09-09 一种基于ar技术的机房设备故障处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211102293.5A CN115469745A (zh) 2022-09-09 2022-09-09 一种基于ar技术的机房设备故障处理方法和系统

Publications (1)

Publication Number Publication Date
CN115469745A true CN115469745A (zh) 2022-12-13

Family

ID=84369337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211102293.5A Pending CN115469745A (zh) 2022-09-09 2022-09-09 一种基于ar技术的机房设备故障处理方法和系统

Country Status (1)

Country Link
CN (1) CN115469745A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116301390A (zh) * 2023-05-24 2023-06-23 中科航迈数控软件(深圳)有限公司 机床装配指导方法、装置、ar眼镜及存储介质
CN117692610A (zh) * 2024-02-02 2024-03-12 建龙西林钢铁有限公司 一种ar车间巡检系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116301390A (zh) * 2023-05-24 2023-06-23 中科航迈数控软件(深圳)有限公司 机床装配指导方法、装置、ar眼镜及存储介质
CN116301390B (zh) * 2023-05-24 2023-09-15 中科航迈数控软件(深圳)有限公司 机床装配指导方法、装置、ar眼镜及存储介质
CN117692610A (zh) * 2024-02-02 2024-03-12 建龙西林钢铁有限公司 一种ar车间巡检系统
CN117692610B (zh) * 2024-02-02 2024-04-26 建龙西林钢铁有限公司 一种ar车间巡检系统

Similar Documents

Publication Publication Date Title
CN111526118B (zh) 一种基于混合现实的远程操作引导系统及方法
CN115469745A (zh) 一种基于ar技术的机房设备故障处理方法和系统
US10977868B2 (en) Remote collaboration methods and systems
US20220398844A1 (en) Shared Augmented Reality Session Recording and Playback
Machado et al. Conceptual framework for integrating BIM and augmented reality in construction management
Wang et al. An augmented reality based system for remote collaborative maintenance instruction of complex products
CN110610547B (zh) 基于虚拟现实的座舱实训方法、系统及存储介质
CN101231752B (zh) 无标记真三维全景显示与交互装置
CN110599603A (zh) 基于增强现实的机械设备可视化交互与设备状态监控系统及其方法
JP2012181688A (ja) 情報処理装置、情報処理方法、情報処理システムおよびプログラム
CN106707810A (zh) 基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法
CN115469744A (zh) 一种基于ar技术的机房设备巡检作业方法
CN116911823A (zh) 一种基于ar眼镜的变电站的巡检交互方法、系统
CN114662714A (zh) 基于ar设备的机房运维管理系统及方法
CN113222184A (zh) 基于增强现实ar的设备巡检系统及方法
CN113011723A (zh) 一种基于增强现实的远程装备维保系统
Leutert et al. Projector-based augmented reality for telemaintenance support
CN117333644A (zh) 一种虚拟现实的显示画面生成方法、装置、设备和介质
CN114169546A (zh) 一种基于深度学习的mr远程协同装配系统及方法
CN110142769B (zh) 基于人体姿态识别的ros平台在线机械臂示教系统
Chantziaras et al. An augmented reality-based remote collaboration platform for worker assistance
CN110751734A (zh) 一种适用于工作现场的混合现实助手系统
Gao et al. Real-time visual representations for mixed reality remote collaboration
CN113407035A (zh) 一种基于mr混合现实技术的通信设施检修操作系统
WO2019187772A1 (ja) 建造物管理システム、学習装置、位置判定装置、及び位置判定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination