CN112929384A - 基于空间锚点的ar智慧点巡检系统 - Google Patents

基于空间锚点的ar智慧点巡检系统 Download PDF

Info

Publication number
CN112929384A
CN112929384A CN202110243569.0A CN202110243569A CN112929384A CN 112929384 A CN112929384 A CN 112929384A CN 202110243569 A CN202110243569 A CN 202110243569A CN 112929384 A CN112929384 A CN 112929384A
Authority
CN
China
Prior art keywords
anchor
equipment
glasses
point
cabinet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110243569.0A
Other languages
English (en)
Inventor
徐鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruifeng Baoli Beijing Technology Co ltd
Original Assignee
Ruifeng Baoli Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruifeng Baoli Beijing Technology Co ltd filed Critical Ruifeng Baoli Beijing Technology Co ltd
Priority to CN202110243569.0A priority Critical patent/CN112929384A/zh
Publication of CN112929384A publication Critical patent/CN112929384A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/1013Network architectures, gateways, control or user entities
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20Checking timed patrols, e.g. of watchman
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/55Push-based network services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/02Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10Small scale networks; Flat hierarchical networks
    • H04W84/12WLAN [Wireless Local Area Networks]

Abstract

本发明涉及巡检系统技术领域,尤其涉及基于空间锚点的AR智慧点巡检系统,包括流媒体服务器、应用服务器、机房自身服务器、计算机、移动终端、随身WiFi路由器和AR眼镜,流媒体服务器、应用服务器、机房自身服务器、计算机、移动终端和随身WiFi路由器之间通过互联网相连接,随身WiFi路由器为AR眼镜提供数据接入服务,所述流媒体服务器搭载音视频流媒体服务,包括提供双向实时语音、高清视频画面、低延迟的技术特性,业务上提供多专家会诊模式、历史画面储存,本AR智慧点巡检,是为企业日常设备点巡检及故障处理提供便利,在遇到难以解决的问题时,可通过远程专家协作快速准确的解决问题,提高现场工程师点巡检效率,降低点巡检成本。

Description

基于空间锚点的AR智慧点巡检系统
技术领域
本发明涉及巡检系统技术领域,尤其涉及基于空间锚点的AR智慧点巡检系统。
背景技术
AR技术的目标是借助光电显示技术、交互技术、计算机图形技术和可视化技术等,产生现实环境中不存在的虚拟对象,并通过注册技术将虚拟对象准确地“放置”在真实环境中,使用户处于一种融合的环境中,不能区分真实和虚拟,用户所感知到的只是一个真实和虚拟相融合的唯一存在的世界,并能与之交互因此,一个典型的系统一般应包含以下几个组成部分①用户②真实场景获取模块,根据所采用透视方式的不同,分为视频式和光学式两种③跟踪注册模块,实时获取用户视点位置和相机位置,并据此来计算虚拟物体从虚拟坐标系到世界坐标系的坐标转换④虚拟场景生成模块,根据跟踪注册数据和用户的交互活动,在视平面上绘制和渲染虚拟物体⑤人机交互模块,实时捕获和识别用户的交互活动⑥虚实融合与显示模块,将虚拟场景与真实场景的视频进行合并处理,并最终显示给用户。
三维跟踪注册技术:增强现实的目标是通过向真实场景中添加虚拟物体来加强对真实世界的感知。因此,如何确定虚拟物体的空间位姿信息,并据此将其精确地“放置”到真实场景中,即三维跟踪注册技术,就成为了系统的关键技术之一,也是一切后续工作的基础和前提。因此,跟踪注册的高精度一直是增强现实研究者们追求的目标之一。目前,定位技术可以分为绝对定位技术和相对定位技术,比较常用的跟踪系统主要有计算机视觉跟踪、光学式跟踪、超声跟踪、惯性跟踪、磁力跟踪、机械式跟踪、全球卫星定位系统等。
点巡检管理系统:对设备关键部位的定期检查、记录和分析进行管理,降低设备运行故障率。点巡检管理系统提供专业设备点巡检平台,通过对设备重要位置的巡检,检测,收集设备运行状况,可以掌握设备故障的初期信息,以便及时采取对策,将故障消灭在萌芽阶段,避免设备的保养维修不足或保养检修过剩,提高设备的利用率,运行的可靠性、降低维修成本。
现在的点巡检管理系统问题:资源不均:资深工程师分配不均,配比严重失调;沟通困难:远程专家与现场工程师以电话等方式进行沟通,沟通困难且复杂细节难以精准说明;无法解放双手:手持PDA进行点巡检,双手被占用。无法高效处理现场问题;反应速度慢:现场紧急情况难以快速实时高效精准的解决问题;成本较高:到现场维修成本高,差旅费用、人员费用等居高不下;数据采集难:平时采集的数据多为结果性数据;工作过程性数据难以采集;且数据单一化;管理杂乱:不能对现场服务进行系统化管理,平台化管理数据追溯难,且管理混乱。
发明内容
本发明的目的是为了解决现有技术中存在的缺点,而提出的基于空间锚点的AR智慧点巡检系统。
为了实现上述目的,本发明采用了如下技术方案:
基于空间锚点的AR智慧点巡检系统,包括流媒体服务器、应用服务器、机房自身服务器、计算机、移动终端、随身WiFi路由器和AR眼镜,流媒体服务器、应用服务器、机房自身服务器、计算机、移动终端和随身WiFi路由器之间通过互联网相连接,随身WiFi路由器为AR眼镜提供数据接入服务,所述流媒体服务器搭载音视频流媒体服务,包括提供双向实时语音、高清视频画面、低延迟的技术特性,业务上提供多专家会诊模式、历史画面储存;所述应用服务器提供整个所有业务流程的系统,为接入的计算机、AR眼镜、移动终端备提供数据接入服务,其作为连接流媒体服务器和外部其他服务器的数据中转和桥梁作用,还包括3D可视化所有相关业务功能;所述计算机用于进行远程控制和远程指导;所述移动终端用于进行远程指导以及远程数据查看;所述AR眼镜内安装有智慧点巡检系统。
优选的,所述AR眼镜内安装有智慧点巡检系统,智慧点巡检系统通过调取Hololens空间识别能力,将整个机房进行网格构建录入,佩戴眼镜者通过移动视角控制眼镜摄像头拍摄位置,对机房现场的环境进行空间锚点扫描录入,眼镜佩戴者在对应录入位置稍作停留,对机房地面、墙壁、立柱、机柜、设备等进行扫描录入;眼镜佩戴者到达录入点,需进行短暂停留给予眼镜建立网格的时间;全部网格扫描建立完成后,即可在网格基础上部署空间位置锚点、设备锚点、媒体锚点等定位点,锚点放置完成后点击保存上传即完成空间锚点录入。
优选的,所述空间锚点录入包括以下步骤:
S1、首先用户佩戴AR眼镜设备,进入AR智慧运维软件,初始界面为扫码登录页面,用户扫描环境录入人员二维码进行录入;
S2、用户佩戴AR眼镜在机房环境中走动进行空间网格构建,眼镜中会自动出现三角面网格数据,该三角面网格会与现实环境贴合叠加显示,网格会构建出整个机房及对应机柜的轮廓、结构数据;用户通过查看判断三角面网格是否与现实环境贴合叠加,如发现未贴合则通过移动眼镜摄像头位置,让AR眼镜多角度查看该位置,从而构建更精准的网格数据,使网格数据与现实环境更贴合;
S3、网格数据构建完成后,用户可在AR眼镜可视化界面中选择定位锚点,定位锚点包括三维坐标轴,并将锚点三维坐标轴放置于三角面网格上,定位锚点包含以下三种:空间定位锚点、设备定位锚点、媒体定位锚点,其中空间定位锚点记作定位Anchor,设备定位锚点记作设备Anchor,媒体定位锚点记作媒体Anchor;
S4、在可视化界面中通过手势点击选择“定位Anchor”,选择完成后走到机房中的一个角落放置“定位Anchor”,作为三维空间中的坐标原点,通过手势操作旋转、移动“定位Anchor”到合适位置;
S5、在可视化界面中通过手势点击选择“设备Anchor”,选择完成后走到机房中需要录入的一列机柜面前,并在当前列首个机柜进行“设备Anchor”放置;
S6、“设备Anchor”放置完成后,用手势点击红色球,会弹出机柜设备调整界面,然后调节机柜设备框到合适大小并命名;
S7、然后点击增加按钮可以增加红色球数量,通过手势拖拽移动红色球到该列最后一个机柜中间的位置,如果录入错误可以通过点击删除回到上一个红色球的位置;
S8、在可视化界面中选择“媒体Anchor”,然后在需要放置“媒体Anchor”的用手势点击,即可将“媒体Anchor”放置到该位置上,通过手势操作X/Y/Z轴进行“媒体Anchor”锚点位置调整;
S9、调整到合适位置后,在可视化界面上点击保存上传,然后可以将录入完成的网格数据及锚点信息存储到服务器中,存储的数据格式为.OBJ,该格式可导出进行二次编辑,通常AR眼镜录入的环境无需二次编辑,即可直接使用。
优选的,所述S4中,定位Anchor,通过定位Anchor用来确定整个空间的初始位置,即坐标原点,通过手势点击拖拽坐标轴可进行旋转,定位Anchor共有三个轴向,分别为X轴、Y轴、Z轴;用户通过手势点击任意球进行拖拽位移,Z轴与X轴形成的夹角可以覆盖机房地面,将Z轴拖拽到正对的墙壁顶到头,拖拽球过程需判断现实环境中是否有岔路口,如有岔路口则增加一个球作为岔路节点,将X轴拖拽到正对的墙壁顶到头,拖拽球过程需判断现实环境中是否有岔路口,如有岔路口则增加一个球作为岔路节点。
优选的,所述S5中,用手势点击地面网格需要放置设备Anchor的位置,“设备Anchor”即可放置到该位置上,通过手势拖拽旋转设备锚点轴的朝向,使X轴方向与该列机柜平行,并将X轴方向对应到该列机柜首个机柜正前方中间的位置上。
优选的,所述S6中,机柜设备框调节,在界面下方有四个功能按钮,功能按钮从上一至下二排序依次为:删除、增加、适配机柜、机柜命名,右侧白色球为设备框调节手柄;首先点击机柜命名按钮,可对机柜进行命名,设备调节框最上方会出现软键盘,通过手势点击录入名称;该列首个机柜录入的名称结尾为“1”;然后点击适配机柜按钮调整设备框的长和宽,首先点击下方第一步按钮,接着拖动右侧白色手柄调整1U的高度,然后点击到下一步调整设备框宽度,通过肉眼判断设备框与设备贴合程度,确定设备框的高度、长度位置,调节完成后点击确定即可保存。
优选的,所述S6中,设置好机柜的长宽后,后续生成的所有锚点设备框都会以第一次调节完成的为主;并且算法会根据1U为单位,结合资产列表计算出每个设备在机柜中的对应位置。
优选的,所述计算机包括台式电脑和笔记本电脑,所述移动终端包括手机和平板。
本发明的有益效果是:
1、本AR智慧点巡检,是为企业日常设备点巡检及故障处理提供便利,在遇到难以解决的问题时,可通过远程专家协作快速准确的解决问题,提高现场工程师点巡检效率,降低点巡检成本。
2、解放双手:传统点巡检过程中,点巡检工程师需要手持设备,无法进行维修操作。智慧点巡检系统可以解放点巡检工程师的双手,可一边接受专家的指导,一边双手操作维修,指导维修两不误。
3、提高效率:传统点巡检过程中,专家需要再现场对单个点巡检工程师进行指导。而在智慧点巡检系统中,专家可以通过Web端与多融工程师连接,并对其进行指导,提高了专家的指导效率,也同时提高了点巡检工程师的作业效率。
4、作业标准化:传统点巡检过程中,点巡检工程师根据自身经验及想法执行点巡检任务。而在智慧点巡检系统中,点巡检工程师可以获取到完整流程的作业指导书,根据步骤进行操作,实现作业标准化。
5、大数据分析:通过专家与点巡检工程师的沟通,形成了历史点巡检视频记录,及点巡检过程中沟通的信息与资料。这些点巡检数据为大数据分析提供了基础,逐步形成故障知识库,在点巡检过程中为工程师智能推送合适的解决方案。
6、AI辅助提高效率:通过人工智能技术,运维人员佩戴AR眼镜识别现场设备,后台AI自动标出故障点。提高了运维效率与准确性。
7、便携性高:AR眼镜小巧便携,体积仅有ipad的二分之一,工程师可以携带AR智能眼镜到巡检任意位置,佩戴后非常贴合面部,移动过程中不会造成AR智能眼镜掉落的情况。
附图说明
图1为本发明提出的基于空间锚点的AR智慧点巡检系统的拓扑图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
参照图1,基于空间锚点的AR智慧点巡检系统,包括流媒体服务器、应用服务器、机房自身服务器、计算机、移动终端、随身WiFi路由器和AR眼镜,流媒体服务器、应用服务器、机房自身服务器、计算机、移动终端和随身WiFi路由器之间通过互联网相连接,随身WiFi路由器为AR眼镜提供数据接入服务,所述流媒体服务器搭载音视频流媒体服务,包括提供双向实时语音、高清视频画面、低延迟的技术特性,业务上提供多专家会诊模式、历史画面储存;所述应用服务器提供整个所有业务流程的系统,为接入的计算机、AR眼镜、移动终端备提供数据接入服务,其作为连接流媒体服务器和外部其他服务器的数据中转和桥梁作用,还包括3D可视化所有相关业务功能;所述计算机用于进行远程控制和远程指导;所述移动终端用于进行远程指导以及远程数据查看;所述AR眼镜内安装有智慧点巡检系统。
进一步的,AR眼镜内安装有智慧点巡检系统,智慧点巡检系统通过调取Hololens空间识别能力,将整个机房进行网格构建录入,佩戴眼镜者通过移动视角控制眼镜摄像头拍摄位置,对机房现场的环境进行空间锚点扫描录入,眼镜佩戴者在对应录入位置稍作停留,对机房地面、墙壁、立柱、机柜、设备等进行扫描录入;眼镜佩戴者到达录入点,需进行短暂停留给予眼镜建立网格的时间;全部网格扫描建立完成后,即可在网格基础上部署空间位置锚点、设备锚点、媒体锚点等定位点,锚点放置完成后点击保存上传即完成空间锚点录入。
进一步的,空间锚点录入包括以下步骤:
S1、首先用户佩戴AR眼镜设备,进入AR智慧运维软件,初始界面为扫码登录页面,用户扫描环境录入人员二维码进行录入;
S2、用户佩戴AR眼镜在机房环境中走动进行空间网格构建,眼镜中会自动出现三角面网格数据,该三角面网格会与现实环境贴合叠加显示,网格会构建出整个机房及对应机柜的轮廓、结构数据;用户通过查看判断三角面网格是否与现实环境贴合叠加,如发现未贴合则通过移动眼镜摄像头位置,让AR眼镜多角度查看该位置,从而构建更精准的网格数据,使网格数据与现实环境更贴合;
S3、网格数据构建完成后,用户可在AR眼镜可视化界面中选择定位锚点,定位锚点包括三维坐标轴,并将锚点三维坐标轴放置于三角面网格上,定位锚点包含以下三种:空间定位锚点、设备定位锚点、媒体定位锚点,其中空间定位锚点记作定位Anchor,设备定位锚点记作设备Anchor,媒体定位锚点记作媒体Anchor;
S4、在可视化界面中通过手势点击选择“定位Anchor”,选择完成后走到机房中的一个角落放置“定位Anchor”,作为三维空间中的坐标原点,通过手势操作旋转、移动“定位Anchor”到合适位置;
S5、在可视化界面中通过手势点击选择“设备Anchor”,选择完成后走到机房中需要录入的一列机柜面前,并在当前列首个机柜进行“设备Anchor”放置;
S6、“设备Anchor”放置完成后,用手势点击红色球,会弹出机柜设备调整界面,然后调节机柜设备框到合适大小并命名;
S7、然后点击增加按钮可以增加红色球数量,通过手势拖拽移动红色球到该列最后一个机柜中间的位置,如果录入错误可以通过点击删除回到上一个红色球的位置;
S8、在可视化界面中选择“媒体Anchor”,然后在需要放置“媒体Anchor”的用手势点击,即可将“媒体Anchor”放置到该位置上,通过手势操作X/Y/Z轴进行“媒体Anchor”锚点位置调整;
S9、调整到合适位置后,在可视化界面上点击保存上传,然后可以将录入完成的网格数据及锚点信息存储到服务器中,存储的数据格式为.OBJ,该格式可导出进行二次编辑,通常AR眼镜录入的环境无需二次编辑,即可直接使用。
进一步的,S4中,定位Anchor,通过定位Anchor用来确定整个空间的初始位置,即坐标原点,通过手势点击拖拽坐标轴可进行旋转,定位Anchor共有三个轴向,分别为X轴、Y轴、Z轴;用户通过手势点击任意球进行拖拽位移,Z轴与X轴形成的夹角可以覆盖机房地面,将Z轴拖拽到正对的墙壁顶到头,拖拽球过程需判断现实环境中是否有岔路口,如有岔路口则增加一个球作为岔路节点,将X轴拖拽到正对的墙壁顶到头,拖拽球过程需判断现实环境中是否有岔路口,如有岔路口则增加一个球作为岔路节点。
进一步的,S5中,用手势点击地面网格需要放置设备Anchor的位置,“设备Anchor”即可放置到该位置上,通过手势拖拽旋转设备锚点轴的朝向,使X轴方向与该列机柜平行,并将X轴方向对应到该列机柜首个机柜正前方中间的位置上。
进一步的,S6中,机柜设备框调节,在界面下方有四个功能按钮,功能按钮从上一至下二排序依次为:删除、增加、适配机柜、机柜命名,右侧白色球为设备框调节手柄;首先点击机柜命名按钮,可对机柜进行命名,设备调节框最上方会出现软键盘,通过手势点击录入名称;该列首个机柜录入的名称结尾为“1”;然后点击适配机柜按钮调整设备框的长和宽,首先点击下方第一步按钮,接着拖动右侧白色手柄调整1U的高度,然后点击到下一步调整设备框宽度,通过肉眼判断设备框与设备贴合程度,确定设备框的高度、长度位置,调节完成后点击确定即可保存。
进一步的,S6中,设置好机柜的长宽后,后续生成的所有锚点设备框都会以第一次调节完成的为主;并且算法会根据1U为单位,结合资产列表计算出每个设备在机柜中的对应位置。
进一步的,计算机包括台式电脑和笔记本电脑,所述移动终端包括手机和平板。
本实施例中,首先通过API对接点巡检现场后台的故障告警数据,结合空间锚点录入中定位Anchor,进行路线的导览;
通过空间锚点录入中网购构建AR眼镜可以判断自身在空间中的位置,以及空间锚点录入中的设备Anchor,可以确定出现场每个设备的位置,以AR眼镜当前位置为起点,以每个设备的设备Anchor为终点,形成虚拟导览路径,导航用户快速到达故障地点。
通过空间锚点录入并结合三维空间注册技术,在点巡检现场快速确定出设备的位置,用户佩戴AR眼镜到达设备位置后,使用物体识别技术,识别出设备轮廓、结构等数据,识别成功后可调取后台中该设备的对应信息数据,并叠加显示到物理空间中对应设备上。
传统一线员工运维过程中,查看设备信息时需要使用笨重的笔记本电脑调看查找资产表,浪费了大量时间,工作效率极低;并且需随身携带纸质的巡检表单,占用了双手,在操作设备时也带来诸多不便,甚至一线员工在不去现场的情况下将纸质的巡检表单全部勾选,导致设备运维过程形同虚设,对设备稳定运转留下了隐患。
(1)一线员工佩戴AR眼镜,身临其境的查看设备信息及运维流程,无需使用纸质巡检表单,通过AR眼镜即可将信息叠加显示到机柜设备上,使一线员工身临其境的看信息,虚拟信息尽收眼底;一线员工通过AR眼镜可以身临其境的查看巡检流程,巡检流程一步步呈现在眼前,避免了大量查阅纸质资料而浪费时间,提升了一线员工的运维效率。
(2)一线员工在自身能力不足的情况下,无法独立完成运维任务,这时可以发起请求,与二线专家远程通讯,专家通过箭头标注等形式,一线员工直接查看设备问题之所在,如同专家身临其境的指导一般。
(3)系统可通过对接现有人员管理系统让一线员工快速登录,也可以通过账号密码的形式进行系统登录。
(4)一线员工通过AR眼镜的展示功能,可查看多种格式的数据内容,包括但不限于图片资料、视频资料、PDF解决方案、3D模型等内容,这些数据通过云管理平台进行统一管理,眼镜端进行最终展示,用户可根据需求自行决定要查看的内容。
一线员工可以进行放大缩小的操作,使员工清晰的看到界面内容,员工也可通过自身走近设备,实现近大远小的查看。虚拟AR运维界面出现在实现正前方遮挡一线员工视线时,一线员工可以拖拽界面将其移动到其他地方,从而避免了实现的遮挡。
一线员工进入到软件后,界面中会出现摄像头扫描画面,这时候我们可以拿出工牌扫描工程师二维码进行登录,登录成功后会显示登录成功弹窗,及登录工程师名称。(此处工程师二维码,通过管理平台编辑生成。)
系统可通过对接现有人员管理系统让一线员工快速登录,也可以通过账号密码的形式进行系统登录。
一线员工登录成功后,可查看机房总览数据,展示的数据包括(但不限于):实时机房总体布局和运行状态、设备故障报警、动环指标是否正常、安防状态、温度湿度、资产数目、设备状态统计等运维数据。
一线员工进入系统后,通过AR智能眼镜设备可以查看规章制度,以强调一线员工的工作规范,强调工作中需要注意的相关事项,规章制度查看完毕后即可进入机房运维,从而进行下一步工作。
一线员工佩戴AR智能眼镜走到设备前,身临其境的查看设备详细参数,虚拟设备参数叠加显示到真实设备上,一线员工一目了然的查看这些设备参数,无需到后台查询设备号、翻阅大量资料等。
一线员工佩戴AR眼镜进入机房运维,然后点击故障报警UI按钮;并且给一线员工工作效率带来极大提升。
一线员工AR眼镜中出现审批界面,一线员工发出审批请求,待领导进行确认,领导回复确认后,一线员工方可进行机房运维,如果领导回复拒绝,则员工无法进行运维。
点击故障名称后,一线员工脚下会生成虚拟路径,可以将一线员工快速导航到故障地点,并且一线员工可在AR眼镜中查看机房平面图,实时查看当前所在机房中的位置,从而提高了员工的处理效率。
一线员工到达故障地点后,可在故障设备上找到故障标识,点击该标识即可查看详细故障原因,从而对故障进行处理;
在一线员工遇到无法解决的问题时,可以从故障库中调取查看解决方案、发起远程协作,请求专家帮助,处理结束后点击完成即可生成维修记录单。
一线员工点击远程协作按钮,即可进入专家列表界面,通过呼叫在线专家,即可与专家建立连接,一线员工可与专家进行音视频通讯,查看专家发送的文字信息、图片、PDF资料、标注的问题点等内容,如同专家身临其境指导一线员工。
一线员工完成故障处理后,即可将该条故障告警消除,并且可以生成统计数据。可查看资源类型、告警类型、使用的解决方案、维修开始时间、维修耗时、维修人员等统计数据。
专家身临其境的指导一线员工处理故障,专家可以查看一线员工的第一视角实时画面,一线员工看到什么,专家也一样可以看到什么,如同专家亲临现场一般的体验。通过箭头标注、资料发送等方式,二线专家身临其境般手把手指导一线员工。
传统运维厂商当无法派遣人员到现场进行维护时,与一线员工沟通问题只能通过手机等设备,不能够清楚的描述问题。同时,员工手持手机占用了双手,使其无法对设备进行操作,并且无法实时结合图文资料使一线员工更易理解现场问题。通过AR智慧运维系统,厂商可以身临其境的协助支持一线员工处理问题,如同在现场亲身维护一般,提高了运维效率。
领导收到一线员工的审批请求后,可在领导端进行统一审批,领导可以批复同意或者不同意,批复同意则员工可进行机房运维,回复不同意则员工无法进行机房运维。
领导可以通过AR智慧运维系统,点击查看不同运维场景的现场情况,及人员处理状态、工程完成情况等。领导如同亲临现场一般,身临其境得监督指导一线员工与专家的运维处理过程。多处的运维画面以轮播的形式在界面中播放,领导可以随时选择查看专家或一线员工第一视角画面,从而达到监督指导的目的。
领导通过AR眼镜身临其境的查看数据中心的三维模型,并且可以在空间中查看介绍视频、政绩政要等内容。领导无需到达现场即可身临其境的可以从不同角度尽情观看园区外貌、重点设备、设备实时数据等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (8)

1.基于空间锚点的AR智慧点巡检系统,其特征在于,包括流媒体服务器、应用服务器、机房自身服务器、计算机、移动终端、随身WiFi路由器和AR眼镜,流媒体服务器、应用服务器、机房自身服务器、计算机、移动终端和随身WiFi路由器之间通过互联网相连接,随身WiFi路由器为AR眼镜提供数据接入服务,所述流媒体服务器搭载音视频流媒体服务,包括提供双向实时语音、高清视频画面、低延迟的技术特性,业务上提供多专家会诊模式、历史画面储存;所述应用服务器提供整个所有业务流程的系统,为接入的计算机、AR眼镜、移动终端备提供数据接入服务,其作为连接流媒体服务器和外部其他服务器的数据中转和桥梁作用,还包括3D可视化所有相关业务功能;所述计算机用于进行远程控制和远程指导;所述移动终端用于进行远程指导以及远程数据查看;所述AR眼镜内安装有智慧点巡检系统。
2.根据权利要求1所述的基于空间锚点的AR智慧点巡检系统,其特征在于,所述AR眼镜内安装有智慧点巡检系统,智慧点巡检系统通过调取Hololens空间识别能力,将整个机房进行网格构建录入,佩戴眼镜者通过移动视角控制眼镜摄像头拍摄位置,对机房现场的环境进行空间锚点扫描录入,眼镜佩戴者在对应录入位置稍作停留,对机房地面、墙壁、立柱、机柜、设备等进行扫描录入;眼镜佩戴者到达录入点,需进行短暂停留给予眼镜建立网格的时间;全部网格扫描建立完成后,即可在网格基础上部署空间位置锚点、设备锚点、媒体锚点等定位点,锚点放置完成后点击保存上传即完成空间锚点录入。
3.根据权利要求2所述的基于空间锚点的AR智慧点巡检系统,其特征在于,所述空间锚点录入包括以下步骤:
S1、首先用户佩戴AR眼镜设备,进入AR智慧运维软件,初始界面为扫码登录页面,用户扫描环境录入人员二维码进行录入;
S2、用户佩戴AR眼镜在机房环境中走动进行空间网格构建,眼镜中会自动出现三角面网格数据,该三角面网格会与现实环境贴合叠加显示,网格会构建出整个机房及对应机柜的轮廓、结构数据;用户通过查看判断三角面网格是否与现实环境贴合叠加,如发现未贴合则通过移动眼镜摄像头位置,让AR眼镜多角度查看该位置,从而构建更精准的网格数据,使网格数据与现实环境更贴合;
S3、网格数据构建完成后,用户可在AR眼镜可视化界面中选择定位锚点,定位锚点包括三维坐标轴,并将锚点三维坐标轴放置于三角面网格上,定位锚点包含以下三种:空间定位锚点、设备定位锚点、媒体定位锚点,其中空间定位锚点记作定位Anchor,设备定位锚点记作设备Anchor,媒体定位锚点记作媒体Anchor;
S4、在可视化界面中通过手势点击选择“定位Anchor”,选择完成后走到机房中的一个角落放置“定位Anchor”,作为三维空间中的坐标原点,通过手势操作旋转、移动“定位Anchor”到合适位置;
S5、在可视化界面中通过手势点击选择“设备Anchor”,选择完成后走到机房中需要录入的一列机柜面前,并在当前列首个机柜进行“设备Anchor”放置;
S6、“设备Anchor”放置完成后,用手势点击红色球,会弹出机柜设备调整界面,然后调节机柜设备框到合适大小并命名;
S7、然后点击增加按钮可以增加红色球数量,通过手势拖拽移动红色球到该列最后一个机柜中间的位置,如果录入错误可以通过点击删除回到上一个红色球的位置;
S8、在可视化界面中选择“媒体Anchor”,然后在需要放置“媒体Anchor”的用手势点击,即可将“媒体Anchor”放置到该位置上,通过手势操作X/Y/Z轴进行“媒体Anchor”锚点位置调整;
S9、调整到合适位置后,在可视化界面上点击保存上传,然后可以将录入完成的网格数据及锚点信息存储到服务器中,存储的数据格式为.OBJ,该格式可导出进行二次编辑,通常AR眼镜录入的环境无需二次编辑,即可直接使用。
4.根据权利要求3所述的基于空间锚点的AR智慧点巡检系统,其特征在于,所述S4中,定位Anchor,通过定位Anchor用来确定整个空间的初始位置,即坐标原点,通过手势点击拖拽坐标轴可进行旋转,定位Anchor共有三个轴向,分别为X轴、Y轴、Z轴;用户通过手势点击任意球进行拖拽位移,Z轴与X轴形成的夹角可以覆盖机房地面,将Z轴拖拽到正对的墙壁顶到头,拖拽球过程需判断现实环境中是否有岔路口,如有岔路口则增加一个球作为岔路节点,将X轴拖拽到正对的墙壁顶到头,拖拽球过程需判断现实环境中是否有岔路口,如有岔路口则增加一个球作为岔路节点。
5.根据权利要求3所述的基于空间锚点的AR智慧点巡检系统,其特征在于,所述S5中,用手势点击地面网格需要放置设备Anchor的位置,“设备Anchor”即可放置到该位置上,通过手势拖拽旋转设备锚点轴的朝向,使X轴方向与该列机柜平行,并将X轴方向对应到该列机柜首个机柜正前方中间的位置上。
6.根据权利要求3所述的基于空间锚点的AR智慧点巡检系统,其特征在于,所述S6中,机柜设备框调节,在界面下方有四个功能按钮,功能按钮从上一至下二排序依次为:删除、增加、适配机柜、机柜命名,右侧白色球为设备框调节手柄;首先点击机柜命名按钮,可对机柜进行命名,设备调节框最上方会出现软键盘,通过手势点击录入名称;该列首个机柜录入的名称结尾为“1”;然后点击适配机柜按钮调整设备框的长和宽,首先点击下方第一步按钮,接着拖动右侧白色手柄调整1U的高度,然后点击到下一步调整设备框宽度,通过肉眼判断设备框与设备贴合程度,确定设备框的高度、长度位置,调节完成后点击确定即可保存。
7.根据权利要求6所述的基于空间锚点的AR智慧点巡检系统,其特征在于,所述S6中,设置好机柜的长宽后,后续生成的所有锚点设备框都会以第一次调节完成的为主;并且算法会根据1U为单位,结合资产列表计算出每个设备在机柜中的对应位置。
8.根据权利要求1所述的基于空间锚点的AR智慧点巡检系统,其特征在于,所述计算机包括台式电脑和笔记本电脑,所述移动终端包括手机和平板。
CN202110243569.0A 2021-03-05 2021-03-05 基于空间锚点的ar智慧点巡检系统 Pending CN112929384A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110243569.0A CN112929384A (zh) 2021-03-05 2021-03-05 基于空间锚点的ar智慧点巡检系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110243569.0A CN112929384A (zh) 2021-03-05 2021-03-05 基于空间锚点的ar智慧点巡检系统

Publications (1)

Publication Number Publication Date
CN112929384A true CN112929384A (zh) 2021-06-08

Family

ID=76173431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110243569.0A Pending CN112929384A (zh) 2021-03-05 2021-03-05 基于空间锚点的ar智慧点巡检系统

Country Status (1)

Country Link
CN (1) CN112929384A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421356A (zh) * 2021-07-01 2021-09-21 北京华信傲天网络技术有限公司 一种对复杂环境中设备的巡检系统和方法
CN114115277A (zh) * 2021-11-26 2022-03-01 中国建设银行股份有限公司 一种基于巡检机器人的巡检管理方法及相关设备
CN115334062A (zh) * 2022-06-30 2022-11-11 浙江工业大学 一种基于混合现实技术的数字化工厂巡检系统
CN115755407A (zh) * 2022-11-24 2023-03-07 广州烽云信息科技有限公司 一种5g智慧机房布局侦测巡检设备及控制方法
CN116700693A (zh) * 2023-08-02 2023-09-05 北京格如灵科技有限公司 Hololens锚点定位存储方法、系统、设备及介质
CN115334062B (zh) * 2022-06-30 2024-05-03 浙江工业大学 一种基于混合现实技术的数字化工厂巡检系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421356A (zh) * 2021-07-01 2021-09-21 北京华信傲天网络技术有限公司 一种对复杂环境中设备的巡检系统和方法
CN114115277A (zh) * 2021-11-26 2022-03-01 中国建设银行股份有限公司 一种基于巡检机器人的巡检管理方法及相关设备
CN115334062A (zh) * 2022-06-30 2022-11-11 浙江工业大学 一种基于混合现实技术的数字化工厂巡检系统
CN115334062B (zh) * 2022-06-30 2024-05-03 浙江工业大学 一种基于混合现实技术的数字化工厂巡检系统
CN115755407A (zh) * 2022-11-24 2023-03-07 广州烽云信息科技有限公司 一种5g智慧机房布局侦测巡检设备及控制方法
CN115755407B (zh) * 2022-11-24 2023-08-04 广州烽云信息科技有限公司 一种5g智慧机房布局侦测巡检设备及控制方法
CN116700693A (zh) * 2023-08-02 2023-09-05 北京格如灵科技有限公司 Hololens锚点定位存储方法、系统、设备及介质
CN116700693B (zh) * 2023-08-02 2023-10-27 北京格如灵科技有限公司 Hololens锚点定位存储方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN112929384A (zh) 基于空间锚点的ar智慧点巡检系统
US11398080B2 (en) Methods for augmented reality applications
KR102520183B1 (ko) 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법
US20220398844A1 (en) Shared Augmented Reality Session Recording and Playback
Machado et al. Conceptual framework for integrating BIM and augmented reality in construction management
CN111382214B (zh) 一种基于3dgis bim的综合管廊运维管理系统
Chi et al. Research trends and opportunities of augmented reality applications in architecture, engineering, and construction
KR102289745B1 (ko) 실시간 현장 작업 모니터링 방법 및 시스템
CN110865708B (zh) 虚拟内容载体的交互方法、介质、装置和计算设备
CN107533767A (zh) 机器人的增强的配置和控制
US20060265664A1 (en) System, method and computer program product for user interface operations for ad-hoc sensor node tracking
CN111222190B (zh) 一种古建筑管理系统
CN111858799B (zh) 一种核电厂用全景图像动态标注定位方法、系统及设备
CN112578907A (zh) 一种基于ar实现远程指导作业的方法、装置
Klinker et al. Distributed user tracking concepts for augmented reality applications
CN114299390A (zh) 一种确定维修部件演示视频的方法及装置、安全帽
Corneli et al. Augmented reality and deep learning towards the management of secondary building assets
CN110428069A (zh) 电力工器具智能管理方法、系统、设备和介质
CN109298781A (zh) 基于ar的留言处理方法、装置、设备及计算机存储介质
WO2023132555A1 (en) Augmented reality-based construction site management method and server
Arnold et al. An image recognition system aimed at search activities using cyber search and rescue dogs
CN106231260A (zh) 基于三维模型的变电站视频监控方法、装置以及系统
Ekren et al. Augmented reality in Industry 4.0: enabling technologies and the potential for SMEs
KR102467017B1 (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법
US20230351706A1 (en) Scanning interface systems and methods for building a virtual representation of a location

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination