CN115567695B - 基于可穿戴设备的巡检方法、装置、系统、设备及介质 - Google Patents

基于可穿戴设备的巡检方法、装置、系统、设备及介质 Download PDF

Info

Publication number
CN115567695B
CN115567695B CN202211563960.XA CN202211563960A CN115567695B CN 115567695 B CN115567695 B CN 115567695B CN 202211563960 A CN202211563960 A CN 202211563960A CN 115567695 B CN115567695 B CN 115567695B
Authority
CN
China
Prior art keywords
virtual
information
target object
space
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211563960.XA
Other languages
English (en)
Other versions
CN115567695A (zh
Inventor
金迪
马国平
胡旭波
孙晨航
江剑枫
谢潜
赵纪宗
钟良亮
杨志义
戴晓红
邵栋栋
谢宇哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical Ningbo Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority to CN202211563960.XA priority Critical patent/CN115567695B/zh
Publication of CN115567695A publication Critical patent/CN115567695A/zh
Application granted granted Critical
Publication of CN115567695B publication Critical patent/CN115567695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于可穿戴设备的巡检方法、装置、系统、设备及介质，包括基于可穿戴设备获取巡检区域中目标对象的图像信息，基于预设的虚拟数据库与虚实空间坐标系，结合空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象；获取远程指导人员对所述虚实融合目标对象的交互信息，并将所述交互信息叠加在所述虚实融合目标对象上，得到远程指导信息，并将所述远程指导信息反馈至所述可穿戴设备；并将远程指导信息反馈至所述可穿戴设备，其中，巡检人员用于通过所述可穿戴设备根据所述远程指导信息对所述目标对象进行故障判断和/或故障维修。本发明可通过远程协作，现场人员可借助头盔完成第一视角分享，让远程专家快速感知现场状况。

Description

基于可穿戴设备的巡检方法、装置、系统、设备及介质
技术领域
本发明涉及巡检技术领域，尤其涉及一种基于可穿戴设备的巡检方法、装置、系统、设备及介质。
背景技术
随着一系列相关的政策和标准陆续落地，各地开始启动系统试点，逐步建设了如电力图像AI分析、智能传感、物联网平台等成果。但是目前整体任务仍然艰巨，现场作业需求仍然存在，例如电力设备长期处于带电运行状态且受到环境因素的影响，往往会出现包括机械损伤、温度升高或者局部电场畸变等各种各样的故障特征。对电力设备的状态进行监控，并根据监控设备感知到的状态进行分析和诊断，对于发现事故隐患，及早采取措施、避免恶性后果、确保电网安全可靠运行具有极其重要的意义。日益增长的供电稳定需求、电网安全以及设备可靠要求，仍然需要具备“先进传感、智能计算、云端协同”的智能终端需求。
在现代电力工业中电力巡检是电力部门日常工作中的一种，巡线工作做得有效，可及时发现设备存在的缺陷，避免重大事故发生。但是巡检任务往往重复性高，机械性强，且巡检过程中多数情况下还是通过手工记录巡检结果，无法有效保障巡检数据准确性，从而导致线路基础数据难以管理，无法形成科学有效的历史记录，标准化作业难以落到实处。对于电力线路检修工作人员来说，在高空作业时双手是最为重要的必须因素，在检修任务中需要不断使用不同工具还要依靠运维检修经验来决策判断高空作业时遇到的疑难杂症，如何有效帮助在高危高技能要求下的一线运维检修人员解决实际工作所需的支持变的非常关键。另一方面，电力现场发生故障问题时现场的运维人员如果无法准确判断故障原因和制定解决方案，往往需要专家前往支持，但是专家支持往往因为人员不足、长途出差等问题无法有效的解决故障处理的及时性问题，最终反应出来的就是高成本的支持，低时效的服务。
发明内容
本发明实施例提供一种基于可穿戴设备的巡检方法、装置、系统、设备及介质，能够至少解决现有技术中的部分问题，即巡检过程中多数情况下还是通过手工记录巡检结果，无法有效保障巡检数据准确性，以及无法有效的解决故障处理的及时性问题。
本发明实施例的第一方面，
提供一种基于可穿戴设备的巡检方法，包括：
基于可穿戴设备获取巡检区域中目标对象的图像信息，基于预设的虚拟数据库与虚实空间坐标系，结合空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象；
获取远程指导人员对所述虚实融合目标对象的交互信息，并将所述交互信息叠加在所述虚实融合目标对象上，得到远程指导信息，并将所述远程指导信息反馈至所述可穿戴设备，其中，所述交互信息包括语音信息、标定信息、编码信息以及文字信息中至少一种；
将所述远程指导信息反馈至所述可穿戴设备，其中，巡检人员用于通过所述可穿戴设备根据所述远程指导信息对所述目标对象进行故障判断和/或故障维修。
在一种可选的实施方式中，
所述基于可穿戴设备获取巡检区域中目标对象的图像信息，基于预设的虚拟数据库与虚实空间坐标系，结合空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象包括：
基于所述目标对象的图像信息，提取所述图像信息中所述目标对象的图像特征和轮廓信息，根据所述图像特征和所述轮廓信息通过模式识别从所述虚拟数据库中进行图像匹配，获取与所述目标对象对应的虚拟对象；
通过所述虚实空间坐标系将所述虚拟对象进行虚实坐标转换，将所述虚拟对象在虚拟空间中的虚拟坐标转换为物理空间中的所述目标对象的实际坐标；
结合所述空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象。
在一种可选的实施方式中，
所述结合所述空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象包括：
基于所述虚拟数据库判断所述虚拟对象中是否包含所述虚拟数据库中预设的关键部件，
若包含所述关键部件，
通过所述关键部件对应的空间关键点确定所述关键部件的空间基准点坐标，基于所述空间基准点坐标通过所述虚实空间坐标系设定所述虚拟对象在物理空间的空间锚点，并根据预先获取的所述虚拟对象的属性信息，构建与所述目标对象对应的虚实融合目标对象；
若不包含所述关键部件，
通过所述虚拟数据库中预设的填充对象，预先获取的所述虚拟对象的属性信息，构建与所述目标对象对应的虚实融合目标对象。
在一种可选的实施方式中，
所述构建与所述目标对象对应的虚实融合目标对象之后，还包括：
分别获取所述虚拟对象和所述目标对象在所述虚拟空间中的第一空间坐标和第二空间坐标，确定所述第一空间坐标和所述第二空间坐标的空间坐标偏差；
基于所述空间坐标偏差，对所述第一空间坐标进行三维几何变换，并确定所述空间坐标偏差对应的偏差矩阵；
根据所述偏差矩阵对所述第一空间坐标进行空间坐标调整，以使所述第一空间坐标和所述第二空间坐标在所述虚拟空间中对齐。
在一种可选的实施方式中，
所述获取远程指导人员对所述虚实融合目标对象的交互信息，并将所述交互信息叠加在所述虚实融合目标对象上包括：
获取所述远程指导人员通过语音、标定、编码以及文字中至少一种方式对所述虚实融合目标对象进行交互的交互信息，其中，所述交互信息以不遮挡且与所述虚实融合目标对象连接的方式进行显示；
从虚拟数据库提取与所述交互信息对应的交互标记，并根据所述交互信息与所述虚实融合目标对象的对应关系，以及所述交互标记的空间位置与所述虚实融合目标对象的空间位置，将所述交互标记以不遮挡所述虚实融合目标对象中任意位置的方式进行叠加。
在一种可选的实施方式中，
还包括：
若所述远程指导人员为多个，且均对同一虚实融合目标对象进行交互，则获取所述远程指导人员的身份信息对应的等级信息；
所述远程指导人员对所述虚实融合目标对象进行交互后，锁定当前交互操作对应的交互信息；
若下一远程指导人员的等级高于已经进行过交互的远程指导人员的等级，则解除更低等级的远程指导人员的交互信息的锁定状态；
若下一远程指导人员的等级低于已经进行过交互的远程指导人员的等级，则保持更高等级的远程指导人员的交互信息的锁定状态。
本发明实施例的第二方面，
提供一种基于可穿戴设备的巡检装置，包括：
虚实融合单元，用于基于可穿戴设备获取巡检区域中目标对象的图像信息，基于预设的虚拟数据库与虚实空间坐标系，结合空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象；
远程指导单元，用于获取远程指导人员对所述虚实融合目标对象的交互信息，并将所述交互信息叠加在所述虚实融合目标对象上，得到远程指导信息，并将所述远程指导信息反馈至所述可穿戴设备，其中，所述交互信息包括语音信息、标定信息、编码信息以及文字信息中至少一种；
故障维护单元，用于将所述远程指导信息反馈至所述可穿戴设备，其中，巡检人员用于通过所述可穿戴设备根据所述远程指导信息对所述目标对象进行故障判断和/或故障维修。
本发明实施例的第三方面，
提供一种基于可穿戴设备的巡检系统，所述基于可穿戴设备的巡检系统包括如前所述的基于可穿戴设备的巡检装置，所述基于可穿戴设备的巡检系统还包括信息采集单元、信号传输单元、语音单元、信息交互单元、处理单元，
所述语音单元获取巡检人员的语音指令并发送至所述处理单元；
所述处理单元解析所述语音指令得到指令信息，并响应所述指令信息控制所述信息采集单元采集巡检信息，并将所述巡检信息经由所述信号传输单元传输至后台服务器；
所述信号传输单元接收所述后台服务器反馈的巡检交互信息，并转发至所述信息交互单元；
所述信息交互单元将所述巡检交互信息叠加在所述巡检信息上，进行增强现实显示，以使所述巡检人员对所述巡检信息对应的实际场景进行故障判断和/或响应所述巡检交互信息进行故障维修。
本发明实施例的第四方面，
提供一种设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本发明实施例的第五方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
当巡检人员遇到难以作出决策的巡检项目或者遭遇紧急事故需要处理，而以其自身的知识经验和现有的数据信息无法解决现场问题时，可通过远程协作，现场人员可借助头盔完成第一视角分享，让远程专家快速感知现场状况，专家可以通过PC端或者手机端，在知悉现场状况之后远程控制，提供解决方案，远端专家可以在实时共享的画面上进行问题标注，通过端到端分享、音视频沟通等，快速赋能一线人员，提升解决问题的时效性。
附图说明
图1为本发明实施例基于可穿戴设备的巡检方法的流程示意图；
图2为本发明实施例基于可穿戴设备的巡检装置的结构示意图；
图3为本发明实施例基于可穿戴设备的巡检系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。
取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明实施例基于可穿戴设备的巡检方法的流程示意图，如图1所示，所述方法包括：
S101、基于可穿戴设备获取巡检区域中目标对象的图像信息，基于预设的虚拟数据库与虚实空间坐标系，结合空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象；
其中，本发明的可穿戴设备可以包括带有虚拟现实/增强现实显示以及获取外部图像的头戴式设备，用于获取巡检区域中的目标对象的图像信息，并且后续以增强现实的方式显示对图像信息处理后的反馈信息，从而使得巡检人员能够通过可穿戴设备实现图像获取与图像接收，并进行图像显示，解放双手，提高作业安全和作业效率。
本发明的巡检区域和目标对象可以包括配电网中故障率较高的区域，目标对象可以包括经常发生故障的设备，例如，绝缘子等等。
本发明的虚拟数据库可以包括预设的目标对象的图形符号，例如常用的设备的图形符号，以及常用的维修标志的图形符号等，并且还可以将常用的目标对象的图形符号进行编码化，通过特定编码输出对应的图形符号。此外，虚拟数据库还可以包括预设的目标对象的图像特征，并且将图像特征与图形符号建立对应关系，通过图像特征匹配对应的图形符号。
本发明的虚实空间坐标系可以包括物理空间坐标系和虚拟空间坐标系，其中，物理空间主要包含用户头部和物理对象实体，与其对应的物理空间坐标系即真实世界坐标系；虚拟空间主要包括虚拟对象和虚拟光标，与其对应的虚拟空间坐标系用于描述虚拟物体在虚拟世界中的绝对位置。
本发明的空间三维融合算法用于将虚实空间坐标系中对应的目标进行三维融合，从而构建与目标对象对应的虚实融合目标对象。
在一种可选的实施方式中，
所述基于可穿戴设备获取巡检区域中目标对象的图像信息，基于预设的虚拟数据库与虚实空间坐标系，结合空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象的方法包括：
基于所述目标对象的图像信息，提取所述图像信息中所述目标对象的图像特征和轮廓信息，根据所述图像特征和所述轮廓信息通过模式识别从所述虚拟数据库中进行图像匹配，获取与所述目标对象对应的虚拟对象；
通过所述虚实空间坐标系将所述虚拟对象进行虚实坐标转换，将所述虚拟对象在虚拟空间中的虚拟坐标转换为物理空间中的所述目标对象的实际坐标；
结合所述空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象。
示例性地，在提取到目标对象的图像信息之后，需要利用事先确定好的对应关系来将图像信息和三维模型对应起来，才能够输入正确的虚拟模型，实现增强；可选地，可以利用事先做好的图像模板去和采集的图像进行匹配，然后得出匹配结果，识别出对应的目标对象。其中，通过图像特征和轮廓信息两种特征，并且结合模式识别从虚拟数据库中进行图像匹配，能够进一步增加匹配的准确度。其中，图像特征能够保证图像的唯一性，而轮廓信息对于电网中部分较为相似的对象，能够进一步提高匹配的效率，筛除部分图像特征相似，但是轮廓区别较大的对象。
可选地，通过所述虚实空间坐标系将所述虚拟对象进行虚实坐标转换，将所述虚拟对象在虚拟空间中的虚拟坐标转换为物理空间中的所述目标对象的实际坐标可以包括：
设定虚拟空间坐标系中一点为p[x,y,z],通过引入旋转矩阵，将虚拟空间坐标系中任意点进行矩阵转换，通过任意一个位置矢量进行空间旋转，进行虚实坐标转换，具体地，
q=[V+xi+yj+zk+u],其中，[ i,j,k]表示虚拟空间坐标系中点 p对应的物理空间坐标系中的坐标， V表示刻度因子， u表示矢量坐标。
通过空间坐标转换，能够将虚拟空间坐标系中的对象与物理空间坐标系中的对象进行位置对应。
在一种可选的实施方式中，
所述结合所述空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象的方法包括：
基于所述虚拟数据库判断所述虚拟对象中是否包含所述虚拟数据库中预设的关键部件，
若包含所述关键部件，
通过所述关键部件对应的空间关键点确定所述关键部件的空间基准点坐标，基于所述空间基准点坐标通过所述虚实空间坐标系设定所述虚拟对象在物理空间的空间锚点，并根据预先获取的所述虚拟对象的属性信息，构建与所述目标对象对应的虚实融合目标对象；
若不包含所述关键部件，
通过所述虚拟数据库中预设的填充对象，预先获取的所述虚拟对象的属性信息，构建与所述目标对象对应的虚实融合目标对象。
示例性地，实际应用中，关键部件出现故障所带来的危害和严重程度远远超过普通部件，并且关键部件在故障检测中占比更高，因此，可以优先检测虚拟对象中是否包含所述虚拟数据库中预设的关键部件，其中，关键部件可以是巡检人员根据部件所发挥作用的重要程度，造价高低以及历史经验判断，并且在虚拟数据库中打上相应的标签。
可选地，若虚拟对象中包含所述虚拟数据库中预设的关键部件，则通过所述关键部件对应的空间关键点确定所述关键部件的空间基准点坐标，其中，可以通过角点检测算法确定空间基准点坐标，也即，识别出关键部件的几个关键点，并且进行空间坐标转换，将空间基准点坐标转换为成像坐标，并且结合物理空间的空间锚点，加上虚拟对象的属性信息，其中，虚拟对象的属性信息可以包括虚拟对象的颜色、材质、形状等，能够表征虚拟对象特征的信息，将虚拟对象锚定在物理空间坐标系中进行虚实融合显示，构建目标对象对应的虚实融合目标对象。通过结合虚拟对象的属性信息，所获得的虚实融合目标对象能够更加真实，对于后续的故障判断能够减少图像显示所带来的误差。
可选地，若虚拟对象中不包含所述虚拟数据库中预设的关键部件，则表明此部分对故障判断所起作用较少，为降低数据处理压力和提高信息传输效率，可以通过虚拟数据库中预设的填充对象，预先获取的所述虚拟对象的属性信息，构建与所述目标对象对应的虚实融合目标对象。也即，可以通过抽象的形状表示，例如，方块或者球状物对非关键部件进行填充，并且加上虚拟对象的属性信息，既可以表明非关键部件的位置，还可以提高虚实融合目标对象的真实性。
通过判断所述虚拟对象中是否包含所述虚拟数据库中预设的关键部件，能够对虚拟对象进行区分判断，对于关键部件，进行针对性处理，提高其在整体信息中的占比，也能够有利于提高故障判断的准确度；而对于非关键部件，则通过通用内容进行填充，降低处理的数据压力。
在一种可选的实施方式中，
所述构建与所述目标对象对应的虚实融合目标对象之后，所述方法还包括：
分别获取所述虚拟对象和所述目标对象在所述虚拟空间中的第一空间坐标和第二空间坐标，确定所述第一空间坐标和所述第二空间坐标的空间坐标偏差；
基于所述空间坐标偏差，对所述第一空间坐标进行三维几何变换，并确定所述空间坐标偏差对应的偏差矩阵；
根据所述偏差矩阵对所述第一空间坐标进行空间坐标调整，以使所述第一空间坐标和所述第二空间坐标在所述虚拟空间中对齐。
示例性地，虚拟对象和目标对象在最后得到的虚实融合目标对象中，从视觉上看并非完全重合的，或多或少存在偏差，虚拟对象所生成的位置与目标对象的实际位置存在偏差，一方面是因为坐标系转换过程中存在一定程度的偏差，另一方面是人眼瞳距存在差异，两个坐标系之间的偏差矩阵并非完全通用的。
通过分别获取虚拟对象和所述目标对象在所述虚拟空间中的第一空间坐标和第二空间坐标，确定所述第一空间坐标和所述第二空间坐标的空间坐标偏差，通过对空间坐标的偏差进行调整，以使所述第一空间坐标和所述第二空间坐标在所述虚拟空间中对齐。
示例性地，若空间坐标偏差存在空间平移量，可以通过平移变换消除平移量，消除平移量后，可以通过旋转变换进一步消除空间坐标偏差。示例性地，虚拟对象的第一空间坐标可以表示为 A（ x a ,y a ,z a ）,目标对象的第二空间坐标可以表示为 B(x b ,y b ,z b )，
通过平移变换消除平移量可以如下所示：
其中，（ t x ,t y ,t z ）表示第一空间坐标和第二空间坐标关于 xyz轴的空间偏移量。
通过旋转变换消除空间坐标偏差可以包括：
分别将第一空间坐标和第二空间坐标绕 xyz轴进行旋转，确定对应的旋转变换矩阵 R x (m)、 R y (n)、 R z (k)。其中， m、n、k分别表示第一空间坐标和第二空间坐标 xyz轴的偏移量。
根据所得到的旋转变换矩阵，绕任意轴旋转特定的角度，并对旋转后的矩阵进行逆变化，得到偏差消除旋转变换矩阵：
其中，表示偏差消除旋转变换矩阵， T表示平移变换矩阵。
根据所述偏差矩阵对所述第一空间坐标进行空间坐标调整，以使所述第一空间坐标和所述第二空间坐标在所述虚拟空间中对齐。
通过偏差矩阵对第一空间坐标和第二空间坐标进行坐标调整，使所述第一空间坐标和所述第二空间坐标在所述虚拟空间中对齐，将虚拟对象所生成的位置与目标对象的实际位置完全对齐，提高最后的成像效果，消除因为坐标偏差导致的误标记或者视觉偏差导致的错误故障认定。
S102、获取远程指导人员对所述虚实融合目标对象的交互信息，并将所述交互信息叠加在所述虚实融合目标对象上，得到远程指导信息，并将所述远程指导信息反馈至所述可穿戴设备；
示例性地，本发明实施例的交互信息可以包括语音、标定、编码或者文字中至少一种，其中，交互信息以不遮挡且与虚实融合目标对象连接的方式进行显示。
可选地，语音可以包括通过选定某一部件后，进行问题描述或者给出解决方案，最后交互信息以语音条的方式进行显示；标定信息可以包括箭头、自定义标记等能够指明目标对象的方式，标定信息可以起到提醒的作用，用以提示巡检人员注意所标定的部件；编码可以包括与虚拟数据库对应的虚拟对象，也即，通过编码直接调用虚拟数据库中虚拟对象，省去了每次重新进行交互的繁琐步骤；文字可以直接以文字的方式进行问题描述或者给出解决方案，直接明确，能够进一步减少巡检人员的操作步骤。
在一种可选的实施方式中，
所述获取远程指导人员对所述虚实融合目标对象的交互信息，并将所述交互信息叠加在所述虚实融合目标对象上的方法包括：
获取所述远程指导人员通过语音、标定、编码以及文字中至少一种方式对所述虚实融合目标对象进行交互的交互信息，其中，所述交互信息以不遮挡且与所述虚实融合目标对象连接的方式进行显示；
从虚拟数据库提取与所述交互信息对应的交互标记，并根据所述交互信息与所述虚实融合目标对象的对应关系，以及所述交互标记的空间位置与所述虚实融合目标对象的空间位置，将所述交互标记以不遮挡所述虚实融合目标对象中任意位置的方式进行叠加。
示例性地，可以根据交互信息与虚实融合目标对象的对应关系，交互标记的空间位置与所述虚实融合目标对象的空间位置，将所述交互标记以不遮挡所述虚实融合目标对象中任意位置的方式进行叠加。可选地，根据交互信息的空间位置，将其与对应的虚实融合目标对象的空间位置进行空间绑定，也即将交互信息链接到对应的虚实融合目标对象上，并且通过虚实融合目标对象的其它部件的空间位置，对交互信息的空间位置进行调整，以使交互标记以不遮挡所述虚实融合目标对象中任意位置。
在一种可选的实施方式中，
所述方法还包括：
若所述远程指导人员为多个，且均对同一虚实融合目标对象进行交互，则获取所述远程指导人员的身份信息对应的等级信息；
所述远程指导人员对所述虚实融合目标对象进行交互后，锁定当前交互操作对应的交互信息；
若下一远程指导人员的等级高于已经进行过交互的远程指导人员的等级，则解除更低等级的远程指导人员的交互信息的锁定状态；
若下一远程指导人员的等级低于已经进行过交互的远程指导人员的等级，则保持更高等级的远程指导人员的交互信息的锁定状态。
示例性地，在实际应用过程中，本发明可以支持多方参与，并且可以根据远程指导人员的身份信息确定其对应的等级信息，其中，不同等级信息对应的修改权限不同，具体地，等级越高的远程指导人员的修改权限越高，其可以修改等级更低的远程指导人员的交互信息，并且可以锁定交互信息，以防其他人随意更改，但是等级更低的远程指导人员则无权更改等级更高的远程指导人员的交互信息。
此外，远程指导人员进行交互后，可以锁定当前交互操作对应的交互信息，防止交互信息被误改，提高交互信息的安全性。
S103、将所述远程指导信息反馈至所述可穿戴设备，其中，巡检人员用于通过所述可穿戴设备根据所述远程指导信息对所述目标对象进行故障判断和/或故障维修。
当巡检人员遇到难以作出决策的巡检项目或者遭遇紧急事故需要处理，而以其自身的知识经验和现有的数据信息无法解决现场问题时，可通过远程协作，现场人员可借助头盔完成第一视角分享，让远程专家快速感知现场状况，专家可以通过PC端或者手机端，在知悉现场状况之后远程控制，提供解决方案，远端专家可以在实时共享的画面上进行问题标注，通过端到端分享、音视频沟通等，快速赋能一线人员，提升解决问题的时效性。
本发明实施例的第二方面，
提供一种基于可穿戴设备的巡检装置，图2为本发明实施例基于可穿戴设备的巡检装置的结构示意图，包括：
虚实融合单元，用于基于可穿戴设备获取巡检区域中目标对象的图像信息，基于预设的虚拟数据库与虚实空间坐标系，结合空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象；
远程指导单元，用于获取远程指导人员对所述虚实融合目标对象的交互信息，并将所述交互信息叠加在所述虚实融合目标对象上，得到远程指导信息，并将所述远程指导信息反馈至所述可穿戴设备，其中，所述交互信息包括语音信息、标定信息、编码信息以及文字信息中至少一种；
故障维护单元，用于将所述远程指导信息反馈至所述可穿戴设备，其中，巡检人员用于通过所述可穿戴设备根据所述远程指导信息对所述目标对象进行故障判断和/或故障维修。
本发明实施例的第三方面，
提供一种基于可穿戴设备的巡检系统，图3为本发明实施例基于可穿戴设备的巡检系统的结构示意图，所述基于可穿戴设备的巡检系统包括如前所述的基于可穿戴设备的巡检装置，所述基于可穿戴设备的巡检系统还包括信息采集单元、信号传输单元、语音单元、信息交互单元、处理单元，
所述语音单元获取巡检人员的语音指令并发送至所述处理单元；
所述处理单元解析所述语音指令得到指令信息，并响应所述指令信息控制所述信息采集单元采集巡检信息，并将所述巡检信息经由所述信号传输单元传输至后台服务器；
所述信号传输单元接收所述后台服务器反馈的巡检交互信息，并转发至所述信息交互单元；
所述信息交互单元将所述巡检交互信息叠加在所述巡检信息上，进行增强现实显示，以使所述巡检人员对所述巡检信息对应的实际场景进行故障判断和/或响应所述巡检交互信息进行故障维修。
在一种可选的实施方式中，
所述基于可穿戴设备的巡检系统还包括电场感知单元和振动传感单元，
所述电场感知单元基于所采集的电场信号变化情况，经由所述信号传输单元传输至后台服务器，所述后台服务器绘制巡检区域的位置信息图，确定巡检区域各个位置点对应的安全距离，并所述信号传输单元传输至所述处理器；
若巡检人员所在位置与所述巡检区域中任一位置点的距离小于所述安全距离，则通过所述振动传感单元进行报警，其中，所述振动传感单元进行报警为向增加所述安全距离的方向振动。
当巡检人员进行巡检区域时，电场传感器在高压交变磁场中会产生相应的感应电流，感应电流通过A/D转换模块与预先计算好的安全距离进行比较，当感应电流小于历史数据中设定值时，说明工作人员在安全范围内，则此时不需要报警；若感应电流大于历史数据中设定值时，则进行相应报警，并且头盔中的振动传感器进行工作，向增加安全距离的方向进行振动，能够有效地提醒巡检人员。
在一种可选的实施方式中，
所述后台服务器还用于：
将巡检区域划分为多个电场区域，通过所述电场感知单元所采集的电场信号变化情况，确定所述多个电场区域对应的电场等级；
根据所述电场等级，确定所述多个电场区域的位置信息图到各个预设位置的匹配距离，将所述匹配距离的最大值作为安全距离。
本公开实施例的巡检系统对应的平台包括：
接入层：在安全保障和标准规范的基础上，把AR眼镜使用设备接入，并接入其他系统的主要相关数据。
数据层：通过标准协议接口和各资源系统对接，完成数据的整合，分为基础数据资源池、实时数据资源池、业务数据资源池、文件管理存储数据池，是信息的交互和资源的共享的基础。
支撑层：主要包括基础支撑业务服务和算法支撑服务，其中基础支撑包括系统、OCR识别、物体识别、图片识别等基础模块，算法主要包括OCR识别、物体识别、智能测温等。
业务层：将各类数据根据企业需求进行重新梳理整合，负责设备的智能巡检、数字工单、远程协作、知识库、专家管理、远程服务、员工培训应用等。
展现层：主要通过数字调度中心大屏显示系统，各值班室用户终端等，将具体的业务应用展现给企业管理部门的各个用户。支持C/S客户端、B/S客户端展示。
基于所述巡检系统对应的平台的工作方法包括：
通过视觉AI的加持，AR智能终端可以自动识别仪表数据、数显表数据、开关状态等信息，并自动上传，形成巡检记录，减少员工参与输入，保证数据获取的准确性，如实判断设备运行状态，提高员工巡检效率。当发现异常时，可通过语音输入，描述异常信息，形成一条异常记录，AR头盔支持90分贝高噪声下的精准语音识别，保证语音输入准确性。在巡检的全过程中，头盔端支持全程录像/拍照留底，并形成可查询的巡检记录，且我们头盔端可以定期提示巡检人员对上次问题进行复查，形成对比记录，组成完整的整改链。其中，云存储实现视频图像资源的存储及调用；XR数字化管理平台实现企业信息化集成与联动，以及物联网数据的存储及调用；视频综合平台完成视频解码上墙和图像的拼接控制；服务器支撑XR数字化管理平台，并通过网络键盘进行视频切换和控制，通过高清大屏对高清视频进行实时展现。
平台系统通过AR智能终端，以第一人称视角进行前后方远程协作，后端调度管理中心、管理人员、专家通过实时音视频、AR动态标注、资料分享等功能，协助现场高效处理疑难问题。打破时间、地点、人物交流的限制，实时对故障情况进行交流，利用第一视角的优势和第一时间掌握的现场情况，通过专家解答给出问题处置的最优方案、避免现场误操作带来的风险。在大幅消减现场安全风险的同时，提高解决问题的效率和准确性。本应用支持头盔端、手机端和电脑端发起协作空间需求，在协作空间内实现多人通话功能，协助需求方快速高效地形成协作团队，处置现场遇到的问题。系统采用先进的实时音视频技术，最高支持1080p分辨率，画面延迟小于300ms，支持跨平台使用，根据网络动态调整码率和帧率。通过主动降噪和回声消除处理，声音清晰并且不容易啸叫。系统支持同时16方协同工作，48方纯语音互动，200方观众模式。
当巡检人员遇到难以作出决策的巡检项目或者遭遇紧急事故需要处理，而以其自身的知识经验和现有的数据信息无法解决现场问题时，可通过远程协作，现场人员可借助头盔完成第一视角分享，让远程专家快速感知现场状况，专家可以通过PC端或者手机端，在知悉现场状况之后远程控制，提供解决方案，远端专家可以在实时共享的画面上进行问题标注，通过端到端分享、音视频沟通等，快速赋能一线人员，提升解决问题的时效性。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所发明的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于可穿戴设备的巡检方法，其特征在于，包括：
基于可穿戴设备获取巡检区域中目标对象的图像信息，基于预设的虚拟数据库与虚实空间坐标系，结合空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象；
获取远程指导人员对所述虚实融合目标对象的交互信息，并将所述交互信息叠加在所述虚实融合目标对象上，得到远程指导信息，其中，所述交互信息包括语音信息、标定信息、编码信息以及文字信息中至少一种；
将所述远程指导信息反馈至所述可穿戴设备，其中，巡检人员用于通过所述可穿戴设备根据所述远程指导信息对所述目标对象进行故障判断和/或故障维修；
所述基于可穿戴设备获取巡检区域中目标对象的图像信息，基于预设的虚拟数据库与虚实空间坐标系，结合空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象包括：
基于所述目标对象的图像信息，提取所述图像信息中所述目标对象的图像特征和轮廓信息，根据所述图像特征和所述轮廓信息通过模式识别从所述虚拟数据库中进行图像匹配，获取与所述目标对象对应的虚拟对象；
通过所述虚实空间坐标系将所述虚拟对象进行虚实坐标转换，将所述虚拟对象在虚拟空间中的虚拟坐标转换为物理空间中的所述目标对象的实际坐标；
结合所述空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象；
所述结合所述空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象包括：
基于所述虚拟数据库判断所述虚拟对象中是否包含所述虚拟数据库中预设的关键部件，其中，所述关键部件包括巡检人员根据部件所发挥作用的重要程度，造价高低以及历史经验判断，并且在虚拟数据库中打上相应的标签；
若包含所述关键部件，
通过所述关键部件对应的空间关键点确定所述关键部件的空间基准点坐标，基于所述空间基准点坐标通过所述虚实空间坐标系设定所述虚拟对象在物理空间的空间锚点，并根据预先获取的所述虚拟对象的属性信息，构建与所述目标对象对应的虚实融合目标对象；
若不包含所述关键部件，
通过所述虚拟数据库中预设的填充对象，预先获取的所述虚拟对象的属性信息，构建与所述目标对象对应的虚实融合目标对象；
所述构建与所述目标对象对应的虚实融合目标对象之后，还包括：
分别获取所述虚拟对象和所述目标对象在所述虚拟空间中的第一空间坐标和第二空间坐标，确定所述第一空间坐标和所述第二空间坐标的空间坐标偏差；
基于所述空间坐标偏差，对所述第一空间坐标进行三维几何变换，并确定所述空间坐标偏差对应的偏差矩阵；
根据所述偏差矩阵对所述第一空间坐标进行空间坐标调整，以使所述第一空间坐标和所述第二空间坐标在所述虚拟空间中对齐；
还包括：
若所述远程指导人员为多个，且均对同一虚实融合目标对象进行交互，则获取所述远程指导人员的身份信息对应的等级信息；
所述远程指导人员对所述虚实融合目标对象进行交互后，锁定当前交互操作对应的交互信息；
若下一远程指导人员的等级高于已经进行过交互的远程指导人员的等级，则解除更低等级的远程指导人员的交互信息的锁定状态；
若下一远程指导人员的等级低于已经进行过交互的远程指导人员的等级，则保持更高等级的远程指导人员的交互信息的锁定状态。
2.根据权利要求1所述的基于可穿戴设备的巡检方法，其特征在于，所述获取远程指导人员对所述虚实融合目标对象的交互信息，并将所述交互信息叠加在所述虚实融合目标对象上包括：
获取所述远程指导人员通过语音、标定、编码以及文字中至少一种方式对所述虚实融合目标对象进行交互的交互信息，其中，所述交互信息以不遮挡且与所述虚实融合目标对象连接的方式进行显示；
从虚拟数据库提取与所述交互信息对应的交互标记，并根据所述交互信息与所述虚实融合目标对象的对应关系，以及所述交互标记的空间位置与所述虚实融合目标对象的空间位置，将所述交互标记以不遮挡所述虚实融合目标对象中任意位置的方式进行叠加。
3.一种基于可穿戴设备的巡检装置，其特征在于，包括：
虚实融合单元，用于基于可穿戴设备获取巡检区域中目标对象的图像信息，基于预设的虚拟数据库与虚实空间坐标系，结合空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象；
远程指导单元，用于获取远程指导人员对所述虚实融合目标对象的交互信息，并将所述交互信息叠加在所述虚实融合目标对象上，得到远程指导信息，并将所述远程指导信息反馈至所述可穿戴设备，其中，所述交互信息包括语音信息、标定信息、编码信息以及文字信息中至少一种；
故障维护单元，用于将所述远程指导信息反馈至所述可穿戴设备，其中，巡检人员用于通过所述可穿戴设备根据所述远程指导信息对所述目标对象进行故障判断和/或故障维修；
所述虚实融合单元还用于：
基于所述目标对象的图像信息，提取所述图像信息中所述目标对象的图像特征和轮廓信息，根据所述图像特征和所述轮廓信息通过模式识别从所述虚拟数据库中进行图像匹配，获取与所述目标对象对应的虚拟对象；
通过所述虚实空间坐标系将所述虚拟对象进行虚实坐标转换，将所述虚拟对象在虚拟空间中的虚拟坐标转换为物理空间中的所述目标对象的实际坐标；
结合所述空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象；
所述虚实融合单元还用于：
基于所述虚拟数据库判断所述虚拟对象中是否包含所述虚拟数据库中预设的关键部件，其中，所述关键部件包括巡检人员根据部件所发挥作用的重要程度，造价高低以及历史经验判断，并且在虚拟数据库中打上相应的标签；
若包含所述关键部件，
通过所述关键部件对应的空间关键点确定所述关键部件的空间基准点坐标，基于所述空间基准点坐标通过所述虚实空间坐标系设定所述虚拟对象在物理空间的空间锚点，并根据预先获取的所述虚拟对象的属性信息，构建与所述目标对象对应的虚实融合目标对象；
若不包含所述关键部件，
通过所述虚拟数据库中预设的填充对象，预先获取的所述虚拟对象的属性信息，构建与所述目标对象对应的虚实融合目标对象；
虚实融合单元还用于：
分别获取所述虚拟对象和所述目标对象在所述虚拟空间中的第一空间坐标和第二空间坐标，确定所述第一空间坐标和所述第二空间坐标的空间坐标偏差；
基于所述空间坐标偏差，对所述第一空间坐标进行三维几何变换，并确定所述空间坐标偏差对应的偏差矩阵；
根据所述偏差矩阵对所述第一空间坐标进行空间坐标调整，以使所述第一空间坐标和所述第二空间坐标在所述虚拟空间中对齐；
所述装置还包括等级判断单元，用于：
若所述远程指导人员为多个，且均对同一虚实融合目标对象进行交互，则获取所述远程指导人员的身份信息对应的等级信息；
所述远程指导人员对所述虚实融合目标对象进行交互后，锁定当前交互操作对应的交互信息；
若下一远程指导人员的等级高于已经进行过交互的远程指导人员的等级，则解除更低等级的远程指导人员的交互信息的锁定状态；
若下一远程指导人员的等级低于已经进行过交互的远程指导人员的等级，则保持更高等级的远程指导人员的交互信息的锁定状态。
4.一种基于可穿戴设备的巡检系统，其特征在于，所述基于可穿戴设备的巡检系统包括如权利要求3所述的基于可穿戴设备的巡检装置，所述基于可穿戴设备的巡检系统还包括信息采集单元、信号传输单元、语音单元、信息交互单元、处理单元，
所述语音单元获取巡检人员的语音指令并发送至所述处理单元；
所述处理单元解析所述语音指令得到指令信息，并响应所述指令信息控制所述信息采集单元采集巡检信息，并将所述巡检信息经由所述信号传输单元传输至后台服务器；
所述信号传输单元接收所述后台服务器反馈的巡检交互信息，并转发至所述信息交互单元；
所述信息交互单元将所述巡检交互信息叠加在所述巡检信息上，进行增强现实显示，以使所述巡检人员对所述巡检信息对应的实际场景进行故障判断和/或响应所述巡检交互信息进行故障维修。
5.一种设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至2中任意一项所述的基于可穿戴设备的巡检方法。
6.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至2中任意一项所述的基于可穿戴设备的巡检方法。
CN202211563960.XA 2022-12-07 2022-12-07 基于可穿戴设备的巡检方法、装置、系统、设备及介质 Active CN115567695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211563960.XA CN115567695B (zh) 2022-12-07 2022-12-07 基于可穿戴设备的巡检方法、装置、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211563960.XA CN115567695B (zh) 2022-12-07 2022-12-07 基于可穿戴设备的巡检方法、装置、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN115567695A CN115567695A (zh) 2023-01-03
CN115567695B true CN115567695B (zh) 2023-04-07

Family

ID=84769945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211563960.XA Active CN115567695B (zh) 2022-12-07 2022-12-07 基于可穿戴设备的巡检方法、装置、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN115567695B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215130A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 一种基于增强现实的产品维修方法和系统
CN109635957A (zh) * 2018-11-13 2019-04-16 广州裕申电子科技有限公司 一种基于ar技术的设备维修辅助方法和系统
CN113378461A (zh) * 2021-06-08 2021-09-10 中国人民解放军陆军工程大学 基于互联网和混合现实的工程机械故障诊断示教方法
CN115437507A (zh) * 2022-11-07 2022-12-06 中科航迈数控软件(深圳)有限公司 基于ar眼镜的设备维修指导方法、系统及相关设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223710B2 (en) * 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
US10229541B2 (en) * 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
AU2017101911A4 (en) * 2016-06-15 2021-07-22 Dotty Digital Pty Ltd A system, device, or method for collaborative augmented reality
CN107426508A (zh) * 2017-07-14 2017-12-01 福建铁工机智能机器人有限公司 一种利用ar实现远程安保巡查的方法
CN107645651A (zh) * 2017-10-12 2018-01-30 北京临近空间飞艇技术开发有限公司 一种增强现实的远程指导方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215130A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 一种基于增强现实的产品维修方法和系统
CN109635957A (zh) * 2018-11-13 2019-04-16 广州裕申电子科技有限公司 一种基于ar技术的设备维修辅助方法和系统
CN113378461A (zh) * 2021-06-08 2021-09-10 中国人民解放军陆军工程大学 基于互联网和混合现实的工程机械故障诊断示教方法
CN115437507A (zh) * 2022-11-07 2022-12-06 中科航迈数控软件(深圳)有限公司 基于ar眼镜的设备维修指导方法、系统及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李大勇 ; 杨畅 ; 张永伍 ; 陆小荣 ; .基于AR技术的变电站智能巡检系统设计与实现.微型电脑应用.2020,(第08期),全文 . *

Also Published As

Publication number Publication date
CN115567695A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
US9898867B2 (en) System and method for augmented reality display of hoisting and rigging information
CN107578487A (zh) 一种基于增强现实智能设备的巡检系统
CN111612933A (zh) 基于边缘云服务器的增强现实智能巡检系统
CN111722714A (zh) 一种基于ar技术的数字化变电站计量运检辅助方法
CN112085232A (zh) 一种基于增强现实技术的运检系统及方法
CN112578907A (zh) 一种基于ar实现远程指导作业的方法、装置
CN112306233A (zh) 一种巡检方法、系统和巡检管理平台
KR20140108428A (ko) 착용형 디스플레이 기반 원격 협업 장치 및 방법
CN111127974A (zh) 一种变电站作业虚拟现实与增强现实三维应用服务平台
CN112153267B (zh) 基于ar智能眼镜的人眼视角局限空间作业远程监护系统
CN111815000A (zh) 一种电力场景的重现方法、系统及计算机可读存储介质
CN110796754A (zh) 一种基于图像处理技术的机房巡检方法
CN111710032B (zh) 变电站三维模型的构建方法、装置、设备和介质
CN115567695B (zh) 基于可穿戴设备的巡检方法、装置、系统、设备及介质
CN113379943A (zh) 一种基于5g通讯的ar巡检系统
CN113283347A (zh) 装配作业指导方法、装置、系统、服务器及可读存储介质
CN115797824A (zh) 一种基于人工智能的无人机电力施工违章识别方法和装置
CN112224444B (zh) 一种基于多源数据融合的整机试验监控装置及方法
CN113596517B (zh) 一种基于混合现实的图像冻结标注方法及系统
CN114187131A (zh) 一种基于智能眼镜终端的水泥工厂安全管理系统
CN114363375A (zh) 一种基于5g通讯的电气柜ar智能巡检系统及方法
CN114154032A (zh) 变电站三维可视化立体巡检方法、系统、装置及存储介质
CN113407035A (zh) 一种基于mr混合现实技术的通信设施检修操作系统
CN114825616A (zh) Ar第一视角远程诊断方法以及装置、存储介质、电子装置
CN112348967A (zh) 一种电力设备三维模型与实时视频无缝融合的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant