CN113297945A - 基于混合现实空间定位的室内设备巡检辅助方法及系统 - Google Patents
基于混合现实空间定位的室内设备巡检辅助方法及系统 Download PDFInfo
- Publication number
- CN113297945A CN113297945A CN202110542641.XA CN202110542641A CN113297945A CN 113297945 A CN113297945 A CN 113297945A CN 202110542641 A CN202110542641 A CN 202110542641A CN 113297945 A CN113297945 A CN 113297945A
- Authority
- CN
- China
- Prior art keywords
- equipment
- current
- inspection
- label information
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 204
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 239000011521 glass Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Computer Graphics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请涉及一种基于混合现实空间定位的室内设备巡检辅助方法及系统,其方法包括利用检测设备检测巡检人员是否进入当前设备房间,若是,则记录巡检路线上的巡检设备数量值,巡检设备数量值的初始值为零;采集当前设备的标签图像;对标签图像中的标签区域进行识别,若识别成功,则获取当前设备的当前标签信息,且巡检设备数量值加一;根据巡检设备数量值获取预设巡检设备的预设标签信息;将当前标签信息和预设标签信息进行对比,若不相同,则利用Hololens移动设备发出巡检路线偏离提示,巡检设备数量值减一,并且返回利用Hololens移动设备上的摄像头采集当前设备的标签图像的步骤。本申请具有提示巡检人员是否偏离巡检路线的效果。
Description
技术领域
本申请涉及设备巡检的技术领域,尤其是涉及一种基于混合现实空间定位的室内设备巡检辅助方法及系统。
背景技术
混合现实(Mixed Reality,简称MR)指的是对现实世界和虚拟世界进行合并,并产生新的可视化环境,该技术通过在虚拟环境中引入现实场景信息,在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路。随着MR技术的发展,还常用MR技术对设备或用户进行定位。
在设备巡检领域,例如,室内设备巡检,设备集中于室内,且每个设备均有自己的固定位置,巡检人员需要对室内的多个设备进行定期巡检。
部分巡检工作,对巡检点即设备的巡检顺序有要求,需要按照规定的巡检路线进行巡检,但是在巡检过程中,可能会出现巡检人员偏离巡检路线的情况。因此,亟需一种基于混合现实空间定位的室内设备巡检辅助方法,以提示巡检人员已偏离巡检路线。
发明内容
为了提示巡检人员是否偏离巡检路线,本申请提供一种基于混合现实空间定位的室内设备巡检辅助方法及系统。
第一方面,本申请提供一种基于混合现实空间定位的室内设备巡检辅助方法,采用如下的技术方案:
一种基于混合现实空间定位的室内设备巡检辅助方法,包括:
利用检测设备检测巡检人员是否进入当前设备房间,若是,则记录巡检路线上的巡检设备数量值,所述巡检设备数量值的初始值为零;
利用Hololens移动设备上的摄像头采集当前设备的标签图像;
对所述标签图像中的标签区域进行识别,若识别成功,则获取所述当前设备的当前标签信息,且所述巡检设备数量值加一;
根据所述巡检设备数量值获取所述巡检路线上的预设巡检设备的预设标签信息;
将所述当前标签信息和所述预设标签信息进行对比,若所述当前标签信息和所述预设标签信息不相同,则利用所述Hololens移动设备发出巡检路线偏离提示,所述巡检设备数量值减一,并且返回所述利用Hololens移动设备上的摄像头采集当前设备的标签图像的步骤。
通过采用上述技术方案,利用当前设备的当前标签信息和预设巡检设备的预设标签信息,确定巡检人员欲检测的当前设备是否为符合巡检顺序的设备,如果不是,则及时向巡检人员发出巡检路线偏离提示,以警示巡检人员欲检测的当前设备不符合巡检路线上的设备的巡检顺序,从而减少巡检错误,减小漏检和重复巡检,提高巡检效率。
优选的,在所述利用检测设备检测巡检人员是否进入当前设备房间之后还包括:
利用所述Hololens移动设备打开所述当前设备房间的虚拟模型界面,利用所述虚拟模型界面显示虚拟巡检路线和各个设备的虚拟模型;
在所述利用Hololens移动设备上的摄像头采集当前设备的标签图像之前还包括:
将待检测设备以第一预设方式在所述虚拟模型界面中进行特殊显示。
通过采用上述技术方案,待检测设备为符合巡检顺序的设备,虚拟巡检路线和待检测设备的特殊显示对巡检人员起到指示引导作用,使得巡检人员能够准确且快速地找到待检测设备,从而进一步提高巡检效率。
优选的,在所述利用所述Hololens移动设备打开所述当前设备房间的虚拟模型界面之后还包括:
采用视觉SLAM与IMU相结合的方式对所述巡检人员进行实时定位,并将所述巡检人员的位置显示于所述虚拟模型界面中。
通过采用上述技术方案,利用虚拟模型界面显示巡检人员的实时位置,使得巡检人员能够及时了解自己的所在位置,有利于巡检人员准确且快速地找到待检测设备。
优选的,若所述当前标签信息和所述预设标签信息相同,则判定所述当前设备为所述待检测设备;还包括:
在确定所述当前标签信息和所述预设标签信息相同的同时,在所述虚拟模型界面中,取消所述当前设备以所述第一预设方式进行的特殊显示,并将所述当前设备以第二预设方式进行特殊显示。
通过采用上述技术方案,利用第二预设方式对当前设备进行特殊显示,以提示巡检人员正在检测的设备的所在位置。
优选的,在所述判定所述当前设备为所述待检测设备之后还包括:
利用Hololens移动设备打开所述当前设备的巡检表单界面,利用所述巡检表单界面记录所述当前设备的检测数据。
通过采用上述技术方案,利用巡检表单界面记录检测数据属于电子记录,相比于纸质记录,电子记录具有易保存和记录效率高等优点。
优选的,在确定所述当前标签信息和所述预设标签信息相同的同时,开始计时,计时值的初始值为零;
利用所述巡检表单界面确定所述当前设备的检测数据是否填写完成,若是,计时暂停,并记录当前的计时值;
将所述当前的计时值与时间阈值进行对比;
若所述当前的计时值不小于所述时间阈值,则判定所述当前设备检测完成,同时,在所述虚拟模型界面中,取消所述当前设备以所述第二预设方式进行的特殊显示,并将所述当前设备以第三预设方式进行特殊显示;
若所述当前的计时值小于所述时间阈值,则判定对所述当前设备的检测时间不足,利用所述Hololens移动设备发出检测时间不足提示;
确定所述巡检人员是否继续检测所述当前设备,若是,则继续计时,并返回所述利用所述巡检表单界面确定所述当前设备的检测数据是否填写完成的步骤。
通过采用上述技术方案,在巡检过程中,可能会存在巡检人员为减少自身工作而敷衍检测设备的情况,通过记录巡检时间来判断巡检人员是否敷衍检测设备,若检测时间不足,则判定巡检人员存在敷衍检测设备的情况,若检测时间充足,则判定巡检人员不存在敷衍检测设备的情况,通过此种方式,能够有效监督巡检人员,提高巡检质量。
优选的,在所述判定所述当前设备检测完成之后还包括:
判断所述巡检设备数量值是否等于巡检数量阈值,若是,则判定所述当前设备房间巡检完成;
若否,则将下一巡检设备作为所述待检测设备,返回所述将待检测设备以第一预设方式在所述虚拟模型界面中进行特殊显示的步骤。
优选的,在所述判定所述当前设备为所述待检测设备之后还包括:
利用所述Hololens移动设备打开设备界面,利用所述设备界面查看所述当前设备的三维图像,所述三维图像上标注有设备信息和零部件信息。
通过采用上述技术方案,巡检人员能够利用三维图像快速了解当前设备的设备信息和零部件信息,从而减小巡检人员的巡检负担,提高巡检效率。
优选的,在所述判定所述当前设备为所述待检测设备之后还包括:
利用所述Hololens移动设备打开指导手册界面,利用所述指导手册界面查看关于所述当前设备的检测步骤。
通过采用上述技术方案,巡检人员能够利用指导手册界面快速了解关于当前设备的检测步骤,并按照检测步骤进行巡检,不仅能够减小巡检人员的巡检负担,提高巡检效率,还能够减小巡检人员检测步骤错误的可能性。
第二方面,本申请提供一种基于混合现实空间定位的室内设备巡检辅助系统,采用如下的技术方案:
一种基于混合现实空间定位的室内设备巡检辅助系统,包括:
记录模块,用于利用检测设备检测巡检人员是否进入当前设备房间,若是,则记录巡检路线上的巡检设备数量值,所述巡检设备数量值的初始值为零;
采集模块,用于利用Hololens移动设备上的摄像头采集当前设备的标签图像;
第一获取模块,用于对所述标签图像中的标签区域进行识别,若识别成功,则获取所述当前设备的当前标签信息,且所述巡检设备数量值加一;
第二获取模块,用于根据所述巡检设备数量值获取所述巡检路线上的预设巡检设备的预设标签信息;
提示模块,用于将所述当前标签信息和所述预设标签信息进行对比,若所述当前标签信息和所述预设标签信息不相同,则利用所述Hololens移动设备发出巡检路线偏离提示,所述巡检设备数量值减一,并且返回所述采集模块。
通过采用上述技术方案,利用当前设备的当前标签信息和预设巡检设备的预设标签信息,确定巡检人员欲检测的当前设备是否为符合巡检顺序的设备,如果不是,则及时向巡检人员发出巡检路线偏离提示,以警示巡检人员欲检测的当前设备不符合巡检路线上的设备的巡检顺序,从而减少巡检错误,减小漏检和重复巡检,提高巡检效率。
综上所述,本申请包括以下至少一种有益技术效果:
1.通过向巡检人员发出巡检路线偏离提示,警示巡检人员欲检测的当前设备不符合巡检路线上的设备的巡检顺序,从而减少巡检错误,减小漏检和重复巡检,提高巡检效率;
2.通过记录巡检时间来判断巡检人员是否敷衍检测设备,能够有效监督巡检人员,提高巡检质量;
3.巡检人员能够利用三维图像快速了解当前设备的设备信息和零部件信息,从而减小巡检人员的巡检负担,提高巡检效率。
附图说明
图1是本申请实施例的基于混合现实空间定位的室内设备巡检辅助方法的流程示意图。
图2是本申请实施例的基于混合现实空间定位的室内设备巡检辅助系统的结构框图。
图3是本申请实施例的巡检辅助设备的结构示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
本具体实施例仅仅是对本申请的解释,其并不是对本申请的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本申请的权利要求范围内都受到专利法的保护。
本申请实施例提供一种基于混合现实空间定位的室内设备巡检辅助方法,如图1所示,该方法包括(步骤S101~S106):
步骤S101:利用检测设备检测巡检人员是否进入当前设备房间,若是,则转入步骤S102。
本申请实施例中,检测设备可以为安装在当前设备房间门口的人脸识别装置或刷卡装置等,用于识别巡检人员的身份,并确定巡检人员是否进入当前设备房间。例如,利用人脸识别装置对欲进入的人员进行身份识别,若该人员为巡检人员,则记录该巡检人员的身份,并判定该巡检人员已进入当前设备房间。
步骤S102:记录巡检路线上的巡检设备数量值,巡检设备数量值的初始值为零。
本申请实施例中,在确定巡检人员已进入当前设备房间的同时,记录巡检设备数量值的初始值为零。其中,巡检设备数量值为巡检人员已检测完成的设备的数量值与正在检测的当前设备的数量值的和。
步骤S103:利用Hololens移动设备上的摄像头采集当前设备的标签图像。
其中,Hololens移动设备为巡检人员佩戴的Hololens眼镜,Hololens眼镜是一种常用的MR设备;标签为预先设置在设备上的实体标签,具体可以为粘合在设备表面上数字标签,每一台设备均对应一个独立的数字标签,标签图像指的是包含数字标签的图像。
在巡检人员进入当前设备房间后,打开Hololens眼镜上的摄像头,利用摄像头对准当前设备上的标签,采集标签图像。
步骤S104:对标签图像中的标签区域进行识别并判断是否识别成功,若是,则转入步骤S105。
具体的,将获取的标签图像输入至训练好的神经网络模型中,训练好的神经网络模型对标签图像中的标签区域进行识别。
步骤S105:获取当前设备的当前标签信息,且巡检设备数量值加一。
其中,当前标签信息为上述中数字标签所含信息,由设备房间的房间号和设备号组成。例如,房间号为03,设备号为01,则当前标签信息为03-01。
本申请实施例中,若巡检人员刚进入设备房间,且对设备房间中的其中一台设备识别成功,则判定巡检人员已检测完成的设备的数量值为0,正在检测的当前设备的数量值为1,根据对上述中对步骤S102的解释,巡检设备数量值为1。
步骤S106:根据巡检设备数量值获取巡检路线上的预设巡检设备的预设标签信息。
本申请实施例中,在巡检工作中,对巡检点即设备的巡检顺序有要求,预设巡检设备指的是按照巡检顺序的当前需检测的设备。
例如,巡检顺序为:标签信息为03-01的设备至标签信息为03-02的设备,标签信息为03-02的设备至标签信息为03-04的设备,标签信息为03-04的设备至标签信息为03-03的设备。若巡检设备数量值为1,则预设巡检设备的预设标签信息为03-01。
步骤S107:将当前标签信息和预设标签信息进行对比,判断当前标签信息和预设标签信息是否相同,若否,则转入步骤S108;若是,则转入步骤S109。
步骤S108:利用Hololens移动设备发出巡检路线偏离提示,巡检设备数量值减一,并且返回步骤S103。
对上述步骤S107和步骤S108进行举例:当前标签信息为03-02,预设标签信息为03-01,显而易见的,当前标签信息和预设标签信息不相同,判定巡检人员偏离巡检路线,利用Hololens眼镜发出巡检路线偏离提示。
步骤S109:判定巡检路线正确,返回步骤S103。
下面对上述各步骤进行进一步拓展和说明:
预先采用Hololens眼镜的深度摄像功能对获取当前设备房间的内部进行全方位的空间扫描,建立当前设备房间的空间模型;在空间扫面过程中,利用空间锚点对当前设备房间中的每个设备进行位置标注,并且对每个设备进行全方位的图像采集,建立各个设备的虚拟模型和三维图像。
在步骤S101之后,利用Hololens眼镜打开当前设备房间的虚拟模型界面,虚拟模型界面以空间模型为基础,将预设的虚拟巡检路线和当前设备房间中的各个设备的虚拟模型叠加融合在空间模型中。巡检人员能够利用虚拟模型界面显示当前设备房间的虚拟巡检路线和各个设备的虚拟模型。
为提示巡检人员待检测设备的所在位置,在步骤S103之前,将待检测设备以第一预设方式在虚拟模型界面中进行特殊显示。例如,在待检测设备的虚拟模型旁边显示一个指定待检测设备的箭头符号。
在打开当前设备房间的虚拟模型界面之后,还采用视觉SLAM与IMU相结合的方式对巡检人员进行实时定位,将巡检人员的位置显示于虚拟模型界面中,以方便巡检人员进行巡检。具体的,建立巡检人员的人员模型并在虚拟模型界面中进行显示,人员模型的所在位置代表巡检人员的所在位置,还可以在人员模型上标注对应的巡检人员的姓名。其中,视觉SLAM与IMU相结合的方式为MR技术领域常用的现有技术,在此不再赘述。
在步骤S107中,若当前标签信息和预设标签信息相同,则判定当前设备为待检测设备即表示巡检路线正确,同时在虚拟模型界面中,取消当前设备以第一预设方式进行的特殊显示,并将当前设备以第二预设方式进行特殊显示。具体的,将当前设备的虚拟模型旁边的箭头符号取消,并将当前设备的虚拟模型变为绿色,其他的设备的虚拟模型均为蓝色。
值得注意的是,所有设备的虚拟模型在初始显示时均为蓝色,即当巡检人员刚进入当前设备房间,还未进行设备检测时,所有设备的虚拟模型均为蓝色。
上述中当前设备房间的空间模型、当前设备房间的虚拟巡检路线、当前设备房间中的各个设备的虚拟模型、人员模型的所在位置、人员模型上的巡检人员的姓名以及指定待检测设备的箭头符号均可以在后台进行展示,方便监管人员查看巡检人员的巡检情况。
优选的,在确定当前标签信息和预设标签信息相同的同时,还开始进行计时,计时值的初始值为零。在确定当前标签信息和预设标签信息相同即判定当前设备为待检测设备之后,Hololens移动设备上的摄像头自动关闭,以节省电量,当需要再次使用时,巡检人员重新打开摄像头即可。另外,在确定当前标签信息和预设标签信息相同即判定当前设备为待检测设备之后,巡检人员能够利用Hololens眼镜能够打开指导手册界面、设备界面、数据界面和巡检表单界面。
巡检人员能够利用指导手册界面查看对当前设备进行检测的步骤。还能够利用设备界面查看当前设备的三维图像,三维图像上标注有设备信息和零部件信息。其中,设备信息包括但不限于包括设备名称和型号,零部件信息包括但不限于包括设备零件的名称和型号。也可点击触发按钮或者通过控制手势对三维图像进行拆解,查看三维图像的内部零件,内部零件上也标注有对应的零部件信息。
巡检人员能够利用数据界面查看当前设备的历史数据和当前运行数据,有利于巡检人员快速了解当前设备的情况。还能够利用巡检表单界面记录当前设备的检测数据。
利用巡检表单界面确定当前设备的检测数据是否填写完成,具体的,点击巡检表单界面上的完成按钮,确定当前设备的检测数据已填写完成,若未点击,则判定填写未完成。
值得注意的是,上述中的虚拟模型界面、巡检表单界面、设备界面和指导手册界面均为预先设置的Hololens交互界面。
上述中,在确定当前标签信息和预设标签信息相同的同时,还开始进行计时,计时值的初始值为零;在确定当前设备的检测数据已填写完成的同时,计时暂停,并记录当前的计时值。
将当前的计时值与时间阈值进行对比:
(1)若当前的计时值不小于时间阈值,则判定当前设备检测完成,同时,在虚拟模型界面中,取消当前设备以第二预设方式进行的特殊显示,并将当前设备以第三预设方式进行特殊显示。例如,当前设备的虚拟模型由绿色变为为蓝色,且将该设备的虚拟模型上叠加显示一个对勾符号,以提示巡检人员和/或后台的监管人员该设备检测完成。
在判定当前设备检测完成之后,判断巡检设备数量值是否等于巡检数量阈值,若是,则判定当前设备房间巡检完成,此时巡检人员可以离开当前设备房间;若否,则将下一巡检设备作为待检测设备,返回将待检测设备以第一预设方式在虚拟模型界面中进行特殊显示的步骤。
(2)若当前的计时值小于时间阈值,则判定对当前设备的检测时间不足,利用Hololens眼镜发出检测时间不足提示。
在确定当前设备的检测时间不足之后,确定巡检人员是否继续检测当前设备。具体的,显示是否继续检测当前设备的显示框,若巡检人员点击“是”,则继续计时,并返回利用巡检表单界面确定当前设备的检测数据是否填写完成的步骤,若巡检人员点击“否”,则当前设备的虚拟模型变为红色,以提示后台的监管人员。
为了更好地实施以上方法,如图2所示,本申请实施例还提供了一种基于混合现实空间定位的室内设备巡检辅助系统,该系统主要包括:
记录模块201,用于利用检测设备检测巡检人员是否进入当前设备房间,若是,则记录巡检路线上的巡检设备数量值,巡检设备数量值的初始值为零;
采集模块202,用于利用Hololens移动设备上的摄像头采集当前设备的标签图像;
第一获取模块203,用于对标签图像中的标签区域进行识别,若识别成功,则获取当前设备的当前标签信息,且巡检设备数量值加一;
第二获取模块204,用于根据巡检设备数量值获取巡检路线上的预设巡检设备的预设标签信息;
提示模块205,用于将当前标签信息和预设标签信息进行对比,若当前标签信息和预设标签信息不相同,则利用Hololens移动设备发出巡检路线偏离提示,巡检设备数量值减一,并且返回采集模块202。
上述实施例提供的方法中的各种变化方式和具体实例同样适用于本实施例的基于混合现实空间定位的室内设备巡检辅助系统,通过前述对基于混合现实空间定位的室内设备巡检辅助方法的详细描述,本领域技术人员可以清楚的知道本实施例中的基于混合现实空间定位的室内设备巡检辅助系统的实施方法,为了说明书的简洁,在此不再详述。
为了更好地执行上述方法的程序,本申请实施例还提供一种巡检辅助设备,如图3所示,巡检辅助设备300包括存储器301和处理器302。
其中,存储器301可用于存储指令、程序、代码、代码集或指令集。存储器301可以包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如对标签图像中的标签区域进行识别等)以及用于实现上述实施例提供的基于混合现实空间定位的室内设备巡检辅助方法的指令等;存储数据区可存储上述实施例提供的基于混合现实空间定位的室内设备巡检辅助方法中涉及到的数据等。
处理器302可以包括一个或者多个处理核心。处理器302通过运行或执行存储在存储器301内的指令、程序、代码集或指令集,调用存储在存储器301内的数据,执行本申请的各种功能和处理数据。处理器302可以为特定用途集成电路(Application SpecificIntegrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(ProgrammableLogic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器和微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器302功能的电子器件还可以为其它,本申请实施例不作具体限定。
本申请实施例提供一种计算机可读存储介质,例如包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该计算机可读存储介质存储有能够被处理器加载并执行上述实施例的基于混合现实空间定位的室内设备巡检辅助方法的计算机程序。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
Claims (10)
1.一种基于混合现实空间定位的室内设备巡检辅助方法,其特征在于,包括:
利用检测设备检测巡检人员是否进入当前设备房间,若是,则记录巡检路线上的巡检设备数量值,所述巡检设备数量值的初始值为零;
利用Hololens移动设备上的摄像头采集当前设备的标签图像;
对所述标签图像中的标签区域进行识别,若识别成功,则获取所述当前设备的当前标签信息,且所述巡检设备数量值加一;
根据所述巡检设备数量值获取所述巡检路线上的预设巡检设备的预设标签信息;
将所述当前标签信息和所述预设标签信息进行对比,若所述当前标签信息和所述预设标签信息不相同,则利用所述Hololens移动设备发出巡检路线偏离提示,所述巡检设备数量值减一,并且返回所述利用Hololens移动设备上的摄像头采集当前设备的标签图像的步骤。
2.根据权利要求1所述的方法,其特征在于,在所述利用检测设备检测巡检人员是否进入当前设备房间之后还包括:
利用所述Hololens移动设备打开所述当前设备房间的虚拟模型界面,利用所述虚拟模型界面显示虚拟巡检路线和各个设备的虚拟模型;
在所述利用Hololens移动设备上的摄像头采集当前设备的标签图像之前还包括:
将待检测设备以第一预设方式在所述虚拟模型界面中进行特殊显示。
3.根据权利要求2所述的方法,其特征在于,在所述利用所述Hololens移动设备打开所述当前设备房间的虚拟模型界面之后还包括:
采用视觉SLAM与IMU相结合的方式对所述巡检人员进行实时定位,并将所述巡检人员的位置显示于所述虚拟模型界面中。
4.根据权利要求2或3所述的方法,其特征在于,若所述当前标签信息和所述预设标签信息相同,则判定所述当前设备为所述待检测设备;还包括:
在确定所述当前标签信息和所述预设标签信息相同的同时,在所述虚拟模型界面中,取消所述当前设备以所述第一预设方式进行的特殊显示,并将所述当前设备以第二预设方式进行特殊显示。
5.根据权利要求4所述的方法,其特征在于,在所述判定所述当前设备为所述待检测设备之后还包括:
利用Hololens移动设备打开所述当前设备的巡检表单界面,利用所述巡检表单界面记录所述当前设备的检测数据。
6.根据权利要求5所述的方法,其特征在于,在确定所述当前标签信息和所述预设标签信息相同的同时,开始计时,计时值的初始值为零;
利用所述巡检表单界面确定所述当前设备的检测数据是否填写完成,若是,计时暂停,并记录当前的计时值;
将所述当前的计时值与时间阈值进行对比;
若所述当前的计时值不小于所述时间阈值,则判定所述当前设备检测完成,同时,在所述虚拟模型界面中,取消所述当前设备以所述第二预设方式进行的特殊显示,并将所述当前设备以第三预设方式进行特殊显示;
若所述当前的计时值小于所述时间阈值,则判定对所述当前设备的检测时间不足,利用所述Hololens移动设备发出检测时间不足提示;
确定所述巡检人员是否继续检测所述当前设备,若是,则继续计时,并返回所述利用所述巡检表单界面确定所述当前设备的检测数据是否填写完成的步骤。
7.根据权利要求6所述的方法,其特征在于,在所述判定所述当前设备检测完成之后还包括:
判断所述巡检设备数量值是否等于巡检数量阈值,若是,则判定所述当前设备房间巡检完成;
若否,则将下一巡检设备作为所述待检测设备,返回所述将待检测设备以第一预设方式在所述虚拟模型界面中进行特殊显示的步骤。
8.根据权利要求4所述的方法,其特征在于,在所述判定所述当前设备为所述待检测设备之后还包括:
利用所述Hololens移动设备打开设备界面,利用所述设备界面查看所述当前设备的三维图像,所述三维图像上标注有设备信息和零部件信息。
9.根据权利要求4所述的方法,其特征在于,在所述判定所述当前设备为所述待检测设备之后还包括:
利用所述Hololens移动设备打开指导手册界面,利用所述指导手册界面查看关于所述当前设备的检测步骤。
10.一种基于混合现实空间定位的室内设备巡检辅助系统,其特征在于,包括:
记录模块,用于利用检测设备检测巡检人员是否进入当前设备房间,若是,则记录巡检路线上的巡检设备数量值,所述巡检设备数量值的初始值为零;
采集模块,用于利用Hololens移动设备上的摄像头采集当前设备的标签图像;
第一获取模块,用于对所述标签图像中的标签区域进行识别,若识别成功,则获取所述当前设备的当前标签信息,且所述巡检设备数量值加一;
第二获取模块,用于根据所述巡检设备数量值获取所述巡检路线上的预设巡检设备的预设标签信息;
提示模块,用于将所述当前标签信息和所述预设标签信息进行对比,若所述当前标签信息和所述预设标签信息不相同,则利用所述Hololens移动设备发出巡检路线偏离提示,所述巡检设备数量值减一,并且返回所述采集模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110542641.XA CN113297945A (zh) | 2021-05-18 | 2021-05-18 | 基于混合现实空间定位的室内设备巡检辅助方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110542641.XA CN113297945A (zh) | 2021-05-18 | 2021-05-18 | 基于混合现实空间定位的室内设备巡检辅助方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113297945A true CN113297945A (zh) | 2021-08-24 |
Family
ID=77322718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110542641.XA Pending CN113297945A (zh) | 2021-05-18 | 2021-05-18 | 基于混合现实空间定位的室内设备巡检辅助方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113297945A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114584403A (zh) * | 2022-05-07 | 2022-06-03 | 中国长江三峡集团有限公司 | 一种发电厂巡检设备认证管理系统和方法 |
CN115334062A (zh) * | 2022-06-30 | 2022-11-11 | 浙江工业大学 | 一种基于混合现实技术的数字化工厂巡检系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104182480A (zh) * | 2014-08-05 | 2014-12-03 | 四川大学 | 一种可导入巡检路径的手持式工业设备巡检仪的实现方法 |
CN104978775A (zh) * | 2014-04-04 | 2015-10-14 | 江苏中科泛联物联网科技股份有限公司 | 一种基于多传感器智能终端的巡检方法和系统 |
CN106570541A (zh) * | 2016-11-07 | 2017-04-19 | 成都科曦科技有限公司 | 一种基于移动手持设备和标签扫描的逻辑防错防漏巡检系统及方法 |
WO2017097902A1 (de) * | 2015-12-11 | 2017-06-15 | Sms Group Gmbh | Mobile visuelle assistenz in hütten-, walz-, schmiede- und röhrenwerken |
CN108875857A (zh) * | 2017-05-12 | 2018-11-23 | 杭州海康威视数字技术股份有限公司 | 巡检方法、装置及系统 |
CN110246235A (zh) * | 2019-06-18 | 2019-09-17 | 广州供电局有限公司 | 一种基于Hololens混合现实技术的配电房现场巡检方法及系统 |
CN110443907A (zh) * | 2019-06-28 | 2019-11-12 | 北京市政建设集团有限责任公司 | 巡检任务处理方法和巡检任务处理服务器 |
CN110634197A (zh) * | 2018-06-05 | 2019-12-31 | 陕西钧冠电子科技有限公司 | 一种巡检设备及基于语音数据提醒巡检路线的方法 |
-
2021
- 2021-05-18 CN CN202110542641.XA patent/CN113297945A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104978775A (zh) * | 2014-04-04 | 2015-10-14 | 江苏中科泛联物联网科技股份有限公司 | 一种基于多传感器智能终端的巡检方法和系统 |
CN104182480A (zh) * | 2014-08-05 | 2014-12-03 | 四川大学 | 一种可导入巡检路径的手持式工业设备巡检仪的实现方法 |
WO2017097902A1 (de) * | 2015-12-11 | 2017-06-15 | Sms Group Gmbh | Mobile visuelle assistenz in hütten-, walz-, schmiede- und röhrenwerken |
CN106570541A (zh) * | 2016-11-07 | 2017-04-19 | 成都科曦科技有限公司 | 一种基于移动手持设备和标签扫描的逻辑防错防漏巡检系统及方法 |
CN108875857A (zh) * | 2017-05-12 | 2018-11-23 | 杭州海康威视数字技术股份有限公司 | 巡检方法、装置及系统 |
CN110634197A (zh) * | 2018-06-05 | 2019-12-31 | 陕西钧冠电子科技有限公司 | 一种巡检设备及基于语音数据提醒巡检路线的方法 |
CN110246235A (zh) * | 2019-06-18 | 2019-09-17 | 广州供电局有限公司 | 一种基于Hololens混合现实技术的配电房现场巡检方法及系统 |
CN110443907A (zh) * | 2019-06-28 | 2019-11-12 | 北京市政建设集团有限责任公司 | 巡检任务处理方法和巡检任务处理服务器 |
Non-Patent Citations (1)
Title |
---|
岳志录等: "增强现实技术在核电仪控系统运维中的应用研究", 《工业控制计算机》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114584403A (zh) * | 2022-05-07 | 2022-06-03 | 中国长江三峡集团有限公司 | 一种发电厂巡检设备认证管理系统和方法 |
CN114584403B (zh) * | 2022-05-07 | 2022-07-19 | 中国长江三峡集团有限公司 | 一种发电厂巡检设备认证管理系统和方法 |
CN115334062A (zh) * | 2022-06-30 | 2022-11-11 | 浙江工业大学 | 一种基于混合现实技术的数字化工厂巡检系统 |
CN115334062B (zh) * | 2022-06-30 | 2024-05-03 | 浙江工业大学 | 一种基于混合现实技术的数字化工厂巡检系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2973111B1 (en) | Unified data collection and reporting interface for equipment | |
CN113297945A (zh) | 基于混合现实空间定位的室内设备巡检辅助方法及系统 | |
CN116363125B (zh) | 基于深度学习的电池模组外观缺陷检测方法及系统 | |
CN105931311A (zh) | 一种设备巡检系统及其巡检方法 | |
CN112508109B (zh) | 一种图像识别模型的训练方法及装置 | |
CN113361539A (zh) | 一种井下巡检机器人的仪表读取方法、装置及电子设备 | |
CN112100039B (zh) | 一种设备故障报警方法及系统 | |
CN103592447A (zh) | 检测或检查实验室工作站的工作区域上的实验室用品的排列的方法和装置 | |
CN111064935B (zh) | 一种智慧工地人员姿态检测方法及系统 | |
CN115376074A (zh) | 输电线路监拍装置识别效果评估方法及系统 | |
EP3923184A2 (en) | Method and system for vehicle parking detection, electronic device and storage medium | |
CN116363397A (zh) | 设备故障排查方法、装置及巡检系统 | |
CN108805121B (zh) | 一种车牌检测定位方法、装置、设备及计算机可读介质 | |
CN115438945A (zh) | 基于电力设备巡检的风险识别方法、装置、设备及介质 | |
CN115631169A (zh) | 产品检测方法、装置、电子设备及存储介质 | |
CN114638096A (zh) | 一种程序变量间的逻辑展示方法、装置、设备及存储介质 | |
CN113706721A (zh) | 一种基于增强现实技术的电梯检验方法及系统 | |
CN113128881A (zh) | 测量仪表的操作考评方法、设备及存储介质 | |
CN111753633A (zh) | 目标检测方法及装置 | |
CN113177452B (zh) | 一种基于图像处理与射频技术的封样方法及装置 | |
CN116524425B (zh) | 基于图像识别的实验室器皿药品残留检测方法及检测装置 | |
CN117606480A (zh) | 一种数据中心巡检方法、装置、设备及存储介质 | |
JP7193303B2 (ja) | データ記録システム | |
CN116863196A (zh) | 一种电力作业培训和生产安全监督测距告警方法及系统 | |
CN118172779A (zh) | 一种表针识别的方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210824 |