CN116911823A - 一种基于ar眼镜的变电站的巡检交互方法、系统 - Google Patents
一种基于ar眼镜的变电站的巡检交互方法、系统 Download PDFInfo
- Publication number
- CN116911823A CN116911823A CN202310817544.6A CN202310817544A CN116911823A CN 116911823 A CN116911823 A CN 116911823A CN 202310817544 A CN202310817544 A CN 202310817544A CN 116911823 A CN116911823 A CN 116911823A
- Authority
- CN
- China
- Prior art keywords
- glasses
- inspection
- equipment
- video
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 144
- 239000011521 glass Substances 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000003993 interaction Effects 0.000 title claims abstract description 21
- 230000003190 augmentative effect Effects 0.000 title abstract description 7
- 230000006854 communication Effects 0.000 claims abstract description 31
- 238000004891 communication Methods 0.000 claims abstract description 29
- 230000002159 abnormal effect Effects 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 15
- 230000004886 head movement Effects 0.000 claims description 10
- 238000012423 maintenance Methods 0.000 claims description 8
- 230000004424 eye movement Effects 0.000 claims description 7
- 230000000149 penetrating effect Effects 0.000 claims description 7
- 210000001508 eye Anatomy 0.000 claims description 6
- 210000001747 pupil Anatomy 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 13
- 238000002372 labelling Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 208000013407 communication difficulty Diseases 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Computer Graphics (AREA)
- Entrepreneurship & Innovation (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Emergency Management (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供了一种基于AR眼镜的变电站的巡检交互方法、系统,巡检人员佩戴AR眼镜后通过AR眼镜自动与周围预设范围内的巡检设备建立通信连接;通过AR眼镜自动识别设备,展示该设备的巡检信息;AR眼镜获取巡检现场的设备作业的视频数据;对实时视频进行图像识别,得到该巡检设备的异常状态;或获取实时视频中的特征信息,将该特征信息与预设特征数据进行比对,输出分析结果;若AR眼镜检测到设备的异常状态、异常的分析结果,则同时在AR眼镜端和远程监控端进行警报提示;AR眼镜对视频数据进行虚实融合后得到增强视频;巡检人员在增强视频上进行标注得到标注视频,AR眼镜将标注视频传输至远程指导端。
Description
技术领域
本发明涉及AR巡检领域,尤其涉及一种基于AR眼镜的变电站的巡检交互方法、系统。
背景技术
目前在换流(变电)站的巡检作业方面仍然采用传统的人工模式,受制于现场作业人员对规程制度的认识、对作业标准的掌握以及自身的经验,作业安全及质量无法根本保证,由于巡视作业过程中缺乏对设备缺陷异常的有效提示,针对设备缺陷隐患的专项巡视质量不高;作业指导书无法完全承载所有作业风险管控要求,且人员经验需要积累过程,曾经出现的小空开分合顺序错误、交直流搭接等误操作以及习惯性违章行为,无法及时在人员作业过程中有效提醒或制止;常规作业监督仪或手机等无法完全解放作业人员双手,使得前方人员与后方专家、团队有效沟通及技术支持不够顺畅。
发明内容
为了克服上述技术缺陷,本发明的目的在于提供一种巡检效率高、巡检质量高的基于AR眼镜的变电站的巡检交互方法、系统。
本发明公开了一种基于AR眼镜的变电站的巡检交互方法,包括:巡检人员佩戴所述AR眼镜后通过所述AR眼镜自动与周围预设范围内的巡检设备建立通信连接;通过所述AR眼镜自动识别设备,展示该设备的巡检信息;所述巡检信息包括设备状态、巡检项目、巡检步骤、历史故障信息、维修记录;所述AR眼镜获取巡检现场的设备作业的视频数据;对所述实时视频进行图像识别,得到该巡检设备的异常状态;或获取所述实时视频中的特征信息,将该特征信息与预设特征数据进行比对,输出分析结果;若所述AR眼镜检测到设备的所述异常状态、异常的所述分析结果,则同时在所述AR眼镜端和远程监控端进行警报提示;所述AR眼镜对所述视频数据进行虚实融合后得到增强视频;巡检人员在所述增强视频上进行标注得到标注视频,所述AR眼镜将所述标注视频传输至所述远程指导端。
优选的,所述巡检人员佩戴所述AR眼镜在作业时,所述AR眼镜自动识别设备,展示该设备的巡检项目和巡检步骤包括:巡检人员佩戴所述AR眼镜在作业时,所述AR眼镜自动识别设备,展示该设备的巡检任务单;所述AR眼镜还自动匹配该设备的作业指导书,根据作业指导书的标准作业规范,呈现全息影像进行作业指引,提示作业流程。
优选的,所述通过所述AR眼镜自动识别设备,展示该设备的巡检信息包括:所述AR眼镜根据巡检人员的头部运动和眼部运动的方位和角度来获取巡检人员的视线内的若干所述巡检设备中的主巡检设备;过所述AR眼镜的摄像头捕获所述主巡检设备的实时图像,根据所述实时图像建立三维虚拟图像;并在所述AR眼镜上以三维虚拟图像的方式展示所述通信连接后的主巡检设备。
优选的,所述AR眼镜根据巡检人员的头部运动和眼部运动的方位和角度来获取巡检人员的视线内的若干所述巡检设备中的主巡检设备包括:通过所述AR眼镜的陀螺仪获取头部运动的方向和角度,通过所述头部运动的方向和角度来确定巡检人员的视线范围;通过所述AR眼镜的眼动模块获取双眼瞳孔的像素坐标和AR眼镜的显示屏上注视点的像素坐标,并转换为世界坐标系下的坐标,根据世界坐标系下的双眼瞳孔的像素坐标和显示屏上注视点的像素坐标确定双眼视线向量,双眼视线向量的交点即为巡检人员的所述视线范内的注视目标,将所述注视目标定为所述主巡检设备。
优选的,所述通过所述AR眼镜的摄像头捕获所述主巡检设备的实时图像,根据所述实时图像建立三维虚拟图像包括:通过所述实时图像获取预存资料库中与所述实时图像相匹配的设备图像建模;分析所述设备图像建模与所述实时图像之间的差异;将差异融入所述设备图像建模内形成所述三维虚拟图像。
优选的,所述将差异融入所述设备图像建模内形成所述三维虚拟图像后还包括:对所述三维虚拟图像进行渲染增强获得增强后的三维虚拟图像。
优选的,所述AR眼镜对所述视频数据进行虚实融合后得到增强视频包括:设定虚拟数据包,所述虚拟数据包中包括若干视频的预设内容;通过AR眼镜采集拍摄的真实数据;对所述虚拟数据和所述真实数据进行几何变换以实现其相互之间的配齐,最终得到融合后的增强视频。
优选的,所述巡检人员在所述增强视频上进行标注得到标注视频包括:获取所述增强视频的目的帧,对每个所述目的帧进行进行标注,得到带有标注内容的标注视频;巡检人员对所述增强视频进行冻屏,在冻屏上进行标注得到所述标注视频。
优选的,还包括:通过所述AR眼镜的定位装置实时获取巡检人员的定位,并同步将所述定位形成巡检轨迹;在地图上显示所述巡检轨迹。
本发明还公开了一种基于AR眼镜的变电站的巡检交互系统,包括AR眼镜和远程监控端;所述AR眼镜包括中央处理模块、大视场穿透式微显示模块、通信和定位模块、数据采集模块;巡检人员佩戴所述AR眼镜后通过所述通信和定位模块自动与周围预设范围内的巡检设备建立通信连接;通过所述数据采集模块自动识别设备,并通过所述大视场穿透式微显示模块展示该设备的巡检信息;所述巡检信息包括设备状态、巡检项目、巡检步骤、历史故障信息、维修记录;所述数据采集模块获取巡检现场的设备作业的视频数据;并通过所述中央处理模块对所述实时视频进行图像识别,得到该巡检设备的异常状态;或通过所述中央处理模块获取所述实时视频中的特征信息,将该特征信息与预设特征数据述分析结果,则同时在所述AR眼镜端和远程监控端进行警报提示;所述中央处理模块对所述视频数据进行虚实融合后得到增强视频;巡检人员在所述增强视频上进行标注得到标注视频,所述AR眼镜通过所述通信和定位模块将所述标注视频传输至所述远程指导端。
采用了上述技术方案后,与现有技术相比,具有以下有益效果:
1.巡检人员通过佩戴所述AR眼镜可以实现巡检环境识别、人员定位和主设备感知,使得巡检人员进入巡检区域后,随着巡检人员沿巡检路线行进,其佩戴的AR眼镜能够自动呈现当前所处位置附近的设备的设备状态、巡检项目、巡检步骤、维修记录等信息,全息、全方位展示,从而智能指导巡检作业;并且能快速提示设备相关故障报告记录、缺陷信息分析等信息,并实时呈现给巡检人员;
2.基于AR眼镜实现了前方巡检人员和后方支持专家之间的实时通讯,并采用现实增强的视频进行沟通,巡检人员和专家人员可以在视频上进行标注,还采用了同步定位和地图构建方法来对巡检人员进行实时定位,降低多人多部门多地同步作业时沟通难度,提高沟通效率,提升了巡检效果。
附图说明
图1为本发明提供的基于AR眼镜的变电站的巡检交互方法的流程图;
图2为本发明提供的基于AR眼镜的变电站的巡检交互系统的模块框图。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。因此,“模块”与“部件”可以混合地使用。
参见附图1,本发明公开了一种基于AR眼镜的变电站的巡检交互方法,包括:
S100、巡检人员佩戴AR眼镜后通过AR眼镜自动与周围预设范围内的巡检设备建立通信连接;通过AR眼镜自动识别设备,展示该设备的巡检信息;巡检信息包括设备状态、巡检项目、巡检步骤、历史故障信息、维修记录;
S200、AR眼镜获取巡检现场的设备作业的视频数据;对实时视频进行图像识别,得到该巡检设备的异常状态;或获取实时视频中的特征信息,将该特征信息与预设特征数据进行比对,输出分析结果;若AR眼镜检测到设备的异常状态、异常的分析结果,则同时在AR眼镜端和远程监控端进行警报提示;
S300、AR眼镜对视频数据进行虚实融合后得到增强视频;巡检人员在增强视频上进行标注得到标注视频,AR眼镜将标注视频传输至远程指导端。
需要说明的是,本发明的S100-S300仅仅是为了后续的详细描述提供索引,而并不限制上述步骤之间的先后关系,其之间可以是先后关系也可以是并列关系,并且当为先后关系时,其先后顺序也并不受上述S100-S300的数字限制。
本发明用于变电站的巡检过程,主要包括智能识别设备、显示设备信息、自动故障检测、故障报警、视频标注的远程指导等过程。
对于步骤S100,巡检人员进入巡检区域后,随着巡检人员沿巡检路线行进,其佩戴的AR眼镜能够自动连接当前所处位置附近的设备,通过通信连接可以接收设备信息,用于后面的设备状态等信息的获取。这里的设备信息包括但不限于设备状态(运行参数等)、巡检项目、巡检步骤、历史故障信息、维修记录等。进一步的,还可以获取设备操作指南、常见问题等设备知识锦囊信息库。
具体的,巡检人员佩戴AR眼镜在作业时,AR眼镜自动识别设备,展示该设备的巡检任务单。AR眼镜还自动匹配该设备的作业指导书,根据作业指导书的标准作业规范,呈现全息影像进行作业指引,提示作业流程。其中,作业流程可以是在一幅全息影像中文字展示各个步骤,也可以是多个显示各个步骤的不同的全息影像。进一步的,当作业流程未完成时,则在AR眼镜端进行警报提示。
较佳的,在获取设备信息之前,需要确认获取哪台设备的信息,即在巡检人员的视线范围内确定出主巡检设备。本发明无需巡检人员手动操作,也无需语音指令,直接通过检测巡检人员的头部方位和角度、以及眼球的方位和角度,即可确定出若干巡检设备中的主巡检设备,解放了巡检人员双手,在巡检人员进行其他手动操作或语音交谈中也可以选定主巡检设备。
具体的,首先通过AR眼镜的陀螺仪获取头部运动的方向和角度,通过头部运动的方向和角度来确定巡检人员的视线范围。接着,则通过AR眼镜的眼动模块获取双眼瞳孔的像素坐标和AR眼镜的显示屏上注视点的像素坐标,并转换为世界坐标系下的坐标,根据世界坐标系下的双眼瞳孔的像素坐标和显示屏上注视点的像素坐标确定双眼视线向量,双眼视线向量的交点即为巡检人员的视线范内的注视目标,该注视目标即认为是主巡检设备。
进一步的,为了保证所检测识别的主巡检设备与巡检人员真实所注视的巡检设备一致,在AR眼镜认定主巡检设备之后还需想巡检人员进行确认。具体的:AR眼镜询问巡检人员发送是否确认主巡检设备;预设时间段内(例如五秒)通过陀螺仪检测巡检人员是否存在点头运动,若是,则确认该主巡检设备;若否,则再次询问。当询问次数超过三次,则重新获取主巡检设备。
较佳的,为了在通信连接的基础上进一步保证连接的设备所显示的信息(设备身份)与该设备的真实信息(设备身份)一致,本发明还通过AR眼镜对主巡检设备进行识别匹配,以进行主巡检设备的唯一性认定。匹配识别包括但不限于二维图像识别、点云识别、OCR识别、二维码识别。
对于二维图像识别,主要适用于无文字、无条码的场景,具体包括如下步骤:通过图像特征点匹配的方式识别巡检及检修场景中存在的画面,例如变电站的变压器,接着根据所识别的画面的特征点信息计算画面的空间姿态,例如所识别的变压器为倾斜放置,此时所捕捉的画面和常规放置状态下的画面则不同,此时就需要通过空间姿态计算来识别出该图像的确是变压器。
由于3D空间特点位置,具有特定的朝向,其空间的点云特征有所区别,从而可以唯一判定现场。对于点云识别,具体包括如下步骤:通过AR眼镜的摄像头捕获待识别场景的图像;通过点云识别算法,从待识别场景的图像中采集待识别场景的点云信息;通过点云信息匹配确认预存资料库中与点云信息相匹配的主巡检设备。
对于设备的显示,相比于现有技术的直接拍摄获取巡检场景的视频,巡检人员通过拍摄的实际画面来观察巡检现场和巡检设备,而本发明建立巡检设备的三维虚拟图像,光线、色彩更佳,从而观感更佳。具体的,通过实时图像获取预存资料库中与实时图像相匹配的设备图像建模;分析设备图像建模与实时图像之间的差异;将差异融入设备图像建模内形成三维虚拟图像。
较佳的,将差异融入设备图像建模内形成三维虚拟图像后还包括:对三维虚拟图像进行渲染增强获得增强后的三维虚拟图像。
对于步骤S200,则是本发明的AR眼镜对设备运行异常的自动分析、识别。其中,包括对所捕获的设备照片进行图像识别,通过单纯的图像识别来获取设备的异常,例如开关、走线形式等。该设备照片则是来自于所捕获的实时视频或者直接捕获的实时图片。还可以对所捕获的实时视频进行特征点分析,具体则是获取实时视频中的特征信息,将该特征信息与预设特征数据进行比对,输出分析结果。前者可以用于比较简单、单纯的异常,所用到的技术也是单纯的图像识别;后者则是用于较为复杂的异常情况,此时需要借助预存的知识数据库,将目前设备的特征信息与知识数据库中的信息进行联合分析,从而输出分析结果。当发现异常,即使进行报警,该报警功能不仅针对于现场巡检人员,还可针对于后台(远程监控端)。
巡检人员佩戴AR眼镜在作业时,AR眼镜还可以展示该设备的历史故障信息,提示巡检人员特别注意该历史故障信息。并且,推送该历史故障信息后,AR眼镜也会自动对该故障信息进行分析识别,若依然存在该故障信息,则发送警报信息,且该警报信息的警报等级高于一般警报的等级。
通常,远程监控端也可以在巡检过程中向AR眼镜端发送提示信息或是报警信息,当远程监控端向AR眼镜推送警报信息时,则将该警报信息在AR眼镜上置顶显示,以提示巡检人员及时处理。
对于步骤S300,则是通过视频沟通来提高巡检现场与后端专家之间的沟通效率,且沟通的视频为经过巡检人员标注后的视频,巡检中的问题、需要注意的点以及相关图示标识都将可以在视频上进行显示,使得双方的沟通更加高效。并且,为了使得视频数据更加清晰,帮助后端专家能更清楚的观察到现场的各个细节,本发明还对视频数据进行显示增强,使得视频质量更高。
其中,AR眼镜对视频数据进行虚实融合后得到增强视频具体包括:设定虚拟数据包,虚拟数据包中包括若干视频的预设内容;通过AR眼镜采集拍摄的真实数据;对虚拟数据和真实数据进行几何变换以实现其相互之间的配齐,最终得到融合后的增强视频。
对视频数据进行虚实融合过程,将输出以多媒体的方式在终端呈现给用户,使得各终端间传递的AR信息实时的显示在不同终端上。主要包括软件和硬件两部分。虚实融合软件部分的关键在于虚实之间的配准(亦称为对齐),其目的是建立虚拟信息和真实信息(相机观测到的或者AR眼镜中透过镜片观测到的真实世界)之间的几何变换。硬件部分取决于终端设备,对于大部分成熟的终端形态,比如手机、PC、平板,由于采用的实际是视频透视的AR显示方式,虚实融合可以由上述软件部分来实现。对于另一部分的AR眼镜,采用自然的光学透视方式。
接着对于增强视频进行标注,一种优选的,可获取增强视频的目的帧,对每个目的帧进行进行标注,从而得到带有标注内容的标注视频。
上述标注方式主要适用于AR眼镜端将视频进行标注后发送至后端专家。本发明还提供了后端专家将对接收到的视频进行标注后再反馈给前端巡检人员,具体的,可以在视频中用矩形框来标记视频中的物体,该矩形框标记信息将以叠加方式显示在AR眼镜佩戴者的视野中;当AR眼镜的镜头视角晃动时,已被标记的物体一直保持在AR镜头捕捉的画面中时,已进行的矩形标记会实时跟踪被标记物体,在镜头画面中灵活移动;跟踪标记模块便于后端专家对巡检现场的工作人员远程讲解指导操作被标记的物体,提升了沟通效率。
当在沟通过程中,面临的环境始终处于动态时,可以通过冻屏功能截取某一时刻的画面来沟通,事半功倍的进行协作。一种冻屏标注的具体实施方式:选择一位成员的视频为全屏后,点击冻屏按钮即可进入冻屏模式。冻屏后,所有通话成员都会看到冻屏截取的图片,并同步展示屏幕涂鸦的过程与内容。其通用操作和普通标注基本一致,可以控制画笔的颜色、撤回上一步、全部删除、保存截图和退出。此外还可以在冻屏过程中可以调整画笔的粗细。
除了冻屏标注,还包括实时标注。当在沟通过程中,需要快速沟通的具体内容时,可以使用实时标注提升效率,如需要双方明确一个仪表的具体按钮等。选择一位成员的视频为全屏后,点击界面上的“实时标注”即可进入实时标注模式。可以设置自己的标注颜色,以区别于背景颜色或其他人标注的颜色。被标注者可以在屏幕中看到对应的标注点,同时支持多人标注。
标注可以包括形状标注、文字标注、通用标识标注、和图片标注。
较佳的,本发明还可以通过AR眼镜实时获取巡检人员的定位,同时联合巡检人员在本次巡检过程中的所有定位形成巡检人员的巡检轨迹,对于远程控制端,可以在小地图上实时看到巡检人员的移动轨迹。
在巡检过程中还可通过AR眼镜操作或者语音指令实现对巡检过程的拍照、录像等记录,所产生的图片、视频文件可保存于AR眼镜本地存储空间,也可以通过网络回传至后台存储空间,形成过程记录档,可实现巡检作业的记录与回溯,并形成巡检知识库。
本发明还公开了一种基于AR眼镜的变电站的巡检交互系统,包括AR眼镜和远程监控端;AR眼镜包括中央处理模块、大视场穿透式微显示模块、通信和定位模块、数据采集模块。中央处理模块,可以满足其传感器数据采集、图像处理、图像增强显示、空间定位、数据传输等功能的计算。大视场穿透式微显示模块,可以实现图像的在现实场景下的增强现实,其使用大广角及高分辨率的设计方式,为使用这提供良好的视觉感受。数据采集模块,为产品提供姿态传感器用于获取角度、方位等信息。通信和定位模块,为产品提供基础的数据交互,提供LET、北斗、蓝牙、WiFi等模块,实现不同场景下的数据同步,支持USB扩展接口。还包括电源管理模块:对产品整体的电源进行控制及管理,确保电池安全高效的使用。
对于本发明的巡检过程,巡检人员佩戴AR眼镜后通过通信和定位模块自动与周围预设范围内的巡检设备建立通信连接;通过数据采集模块自动识别设备,并通过大视场穿透式微显示模块展示该设备的巡检信息;巡检信息包括设备状态、巡检项目、巡检步骤、历史故障信息、维修记录。数据采集模块获取巡检现场的设备作业的视频数据;并通过中央处理模块对实时视频进行图像识别,得到该巡检设备的异常状态;或通过中央处理模块获取实时视频中的特征信息,将该特征信息与预设特征数据进行比对,输出分析结果;若数据采集模块检测到设备的异常状态、异常的分析结果,则同时在AR眼镜端和远程监控端进行警报提示。中央处理模块对视频数据进行虚实融合后得到增强视频;巡检人员在增强视频上进行标注得到标注视频,AR眼镜通过通信和定位模块将标注视频传输至远程指导端。
除了硬件,还需要软件的支持,软件主要包括系统层、服务层和应用层组成,系统层提供基于GPU加速的3D图形引擎和图形界面、高性能多媒体处理、摄像头、北斗导航定位系统、无线传输、有线传输等基础功能。服务层提供实时跟踪注册、虚实场景三维重建、实时渲染增强现实专用服务。应用层提供基于增强现实技术的应用服务,承载应用安装与卸载、运行计算等,可以以APP的形式完成由应用开发者设计开发的应用功能。
应当注意的是,本发明的实施例有较佳的实施性,且并非对本发明作任何形式的限制,任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例,但凡未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰,均仍属于本发明技术方案的范围内。
Claims (10)
1.一种基于AR眼镜的变电站的巡检交互方法,其特征在于,包括:
巡检人员佩戴所述AR眼镜后通过所述AR眼镜自动与周围预设范围内的巡检设备建立通信连接;
通过所述AR眼镜自动识别设备,展示该设备的巡检信息;所述巡检信息包括设备状态、巡检项目、巡检步骤、历史故障信息、维修记录;
所述AR眼镜获取巡检现场的设备作业的视频数据;对所述实时视频进行图像识别,得到该巡检设备的异常状态;或获取所述实时视频中的特征信息,将该特征信息与预设特征数据进行比对,输出分析结果;若所述AR眼镜检测到设备的所述异常状态、异常的所述分析结果,则同时在所述AR眼镜端和远程监控端进行警报提示;
所述AR眼镜对所述视频数据进行虚实融合后得到增强视频;巡检人员在所述增强视频上进行标注得到标注视频,所述AR眼镜将所述标注视频传输至所述远程指导端。
2.根据权利要求1所述的变电站的巡检交互方法,其特征在于,所述巡检人员佩戴所述AR眼镜在作业时,所述AR眼镜自动识别设备,展示该设备的巡检项目和巡检步骤包括:
巡检人员佩戴所述AR眼镜在作业时,所述AR眼镜自动识别设备,展示该设备的巡检任务单;
所述AR眼镜还自动匹配该设备的作业指导书,根据作业指导书的标准作业规范,呈现全息影像进行作业指引,提示作业流程。
3.根据权利要求1所述的变电站的巡检交互方法,其特征在于,所述通过所述AR眼镜自动识别设备,展示该设备的巡检信息包括:
所述AR眼镜根据巡检人员的头部运动和眼部运动的方位和角度来获取巡检人员的视线内的若干所述巡检设备中的主巡检设备;
过所述AR眼镜的摄像头捕获所述主巡检设备的实时图像,根据所述实时图像建立三维虚拟图像;并在所述AR眼镜上以三维虚拟图像的方式展示所述通信连接后的主巡检设备。
4.根据权利要求3所述的变电站的巡检交互方法,其特征在于,所述AR眼镜根据巡检人员的头部运动和眼部运动的方位和角度来获取巡检人员的视线内的若干所述巡检设备中的主巡检设备包括:
通过所述AR眼镜的陀螺仪获取头部运动的方向和角度,通过所述头部运动的方向和角度来确定巡检人员的视线范围;
通过所述AR眼镜的眼动模块获取双眼瞳孔的像素坐标和AR眼镜的显示屏上注视点的像素坐标,并转换为世界坐标系下的坐标,根据世界坐标系下的双眼瞳孔的像素坐标和显示屏上注视点的像素坐标确定双眼视线向量,双眼视线向量的交点即为巡检人员的所述视线范内的注视目标,将所述注视目标定为所述主巡检设备。
5.根据权利要求3所述的变电站的巡检交互方法,其特征在于,所述通过所述AR眼镜的摄像头捕获所述主巡检设备的实时图像,根据所述实时图像建立三维虚拟图像包括:
通过所述实时图像获取预存资料库中与所述实时图像相匹配的设备图像建模;
分析所述设备图像建模与所述实时图像之间的差异;
将差异融入所述设备图像建模内形成所述三维虚拟图像。
6.根据权利要求5所述的变电站的巡检交互方法,其特征在于,所述将差异融入所述设备图像建模内形成所述三维虚拟图像后还包括:
对所述三维虚拟图像进行渲染增强获得增强后的三维虚拟图像。
7.根据权利要求1所述的变电站的巡检交互方法,其特征在于,所述AR眼镜对所述视频数据进行虚实融合后得到增强视频包括:
设定虚拟数据包,所述虚拟数据包中包括若干视频的预设内容;
通过AR眼镜采集拍摄的真实数据;
对所述虚拟数据和所述真实数据进行几何变换以实现其相互之间的配齐,最终得到融合后的增强视频。
8.根据权利要求1所述的变电站的巡检交互方法,其特征在于,所述巡检人员在所述增强视频上进行标注得到标注视频包括:
获取所述增强视频的目的帧,对每个所述目的帧进行进行标注,得到带有标注内容的标注视频;
巡检人员对所述增强视频进行冻屏,在冻屏上进行标注得到所述标注视频。
9.根据权利要求1所述的变电站的巡检交互方法,其特征在于,还包括:
通过所述AR眼镜的定位装置实时获取巡检人员的定位,并同步将所述定位形成巡检轨迹;
在地图上显示所述巡检轨迹。
10.一种基于AR眼镜的变电站的巡检交互系统,其特征在于,包括AR眼镜和远程监控端;所述AR眼镜包括中央处理模块、大视场穿透式微显示模块、通信和定位模块、数据采集模块;
巡检人员佩戴所述AR眼镜后通过所述通信和定位模块自动与周围预设范围内的巡检设备建立通信连接;
通过所述数据采集模块自动识别设备,并通过所述大视场穿透式微显示模块展示该设备的巡检信息;所述巡检信息包括设备状态、巡检项目、巡检步骤、历史故障信息、维修记录;
所述数据采集模块获取巡检现场的设备作业的视频数据;并通过所述中央处理模块对所述实时视频进行图像识别,得到该巡检设备的异常状态;或通过所述中央处理模块获取所述实时视频中的特征信息,将该特征信息与预设特征数据进行比对,输出分析结果;若所述数据采集模块检测到设备的所述异常状态、异常的所述分析结果,则同时在所述AR眼镜端和远程监控端进行警报提示;
所述中央处理模块对所述视频数据进行虚实融合后得到增强视频;巡检人员在所述增强视频上进行标注得到标注视频,所述AR眼镜通过所述通信和定位模块将所述标注视频传输至所述远程指导端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310817544.6A CN116911823A (zh) | 2023-07-05 | 2023-07-05 | 一种基于ar眼镜的变电站的巡检交互方法、系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310817544.6A CN116911823A (zh) | 2023-07-05 | 2023-07-05 | 一种基于ar眼镜的变电站的巡检交互方法、系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116911823A true CN116911823A (zh) | 2023-10-20 |
Family
ID=88359462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310817544.6A Pending CN116911823A (zh) | 2023-07-05 | 2023-07-05 | 一种基于ar眼镜的变电站的巡检交互方法、系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116911823A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117213468A (zh) * | 2023-11-02 | 2023-12-12 | 北京亮亮视野科技有限公司 | 飞机机外巡检方法、装置和电子设备 |
CN117311563A (zh) * | 2023-11-28 | 2023-12-29 | 西安大地测绘股份有限公司 | 一种基于ar的公路违法用地监测方法及系统 |
CN117499596A (zh) * | 2023-11-15 | 2024-02-02 | 岳阳华润燃气有限公司 | 一种基于智能ar眼镜的燃气场站巡检系统及方法 |
CN117577294A (zh) * | 2024-01-12 | 2024-02-20 | 南方医科大学珠江医院 | 一种用于层流仓内的智能病床监控系统 |
CN117640914A (zh) * | 2024-01-26 | 2024-03-01 | 启智芯联(南京)信息软件开发有限公司 | 基于ar视频和多方实时协作的远程设备维护方法及系统 |
CN117671814A (zh) * | 2023-12-07 | 2024-03-08 | 深圳市金地楼宇科技有限公司 | 一种基于AIoT技术的空间可视化巡更方法及系统 |
CN117692610A (zh) * | 2024-02-02 | 2024-03-12 | 建龙西林钢铁有限公司 | 一种ar车间巡检系统 |
-
2023
- 2023-07-05 CN CN202310817544.6A patent/CN116911823A/zh active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117213468A (zh) * | 2023-11-02 | 2023-12-12 | 北京亮亮视野科技有限公司 | 飞机机外巡检方法、装置和电子设备 |
CN117213468B (zh) * | 2023-11-02 | 2024-04-05 | 北京亮亮视野科技有限公司 | 飞机机外巡检方法、装置和电子设备 |
CN117499596A (zh) * | 2023-11-15 | 2024-02-02 | 岳阳华润燃气有限公司 | 一种基于智能ar眼镜的燃气场站巡检系统及方法 |
CN117311563A (zh) * | 2023-11-28 | 2023-12-29 | 西安大地测绘股份有限公司 | 一种基于ar的公路违法用地监测方法及系统 |
CN117311563B (zh) * | 2023-11-28 | 2024-02-09 | 西安大地测绘股份有限公司 | 一种基于ar的公路违法用地监测方法及系统 |
CN117671814A (zh) * | 2023-12-07 | 2024-03-08 | 深圳市金地楼宇科技有限公司 | 一种基于AIoT技术的空间可视化巡更方法及系统 |
CN117577294A (zh) * | 2024-01-12 | 2024-02-20 | 南方医科大学珠江医院 | 一种用于层流仓内的智能病床监控系统 |
CN117577294B (zh) * | 2024-01-12 | 2024-05-10 | 南方医科大学珠江医院 | 一种用于层流仓内的智能病床监控系统 |
CN117640914A (zh) * | 2024-01-26 | 2024-03-01 | 启智芯联(南京)信息软件开发有限公司 | 基于ar视频和多方实时协作的远程设备维护方法及系统 |
CN117640914B (zh) * | 2024-01-26 | 2024-04-05 | 启智芯联(南京)信息软件开发有限公司 | 基于ar视频和多方实时协作的远程设备维护方法及系统 |
CN117692610A (zh) * | 2024-02-02 | 2024-03-12 | 建龙西林钢铁有限公司 | 一种ar车间巡检系统 |
CN117692610B (zh) * | 2024-02-02 | 2024-04-26 | 建龙西林钢铁有限公司 | 一种ar车间巡检系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116911823A (zh) | 一种基于ar眼镜的变电站的巡检交互方法、系统 | |
CN103941746B (zh) | 无人机巡检图像处理系统及方法 | |
CN110047150B (zh) | 一种基于增强现实的复杂设备操作运行在位仿真系统 | |
CN110865917A (zh) | 基于ar技术的电力机房巡检作业方法、系统及应用 | |
CN112153267B (zh) | 基于ar智能眼镜的人眼视角局限空间作业远程监护系统 | |
US20170213085A1 (en) | See-through smart glasses and see-through method thereof | |
CN109358754B (zh) | 一种混合现实头戴显示系统 | |
CN110458897A (zh) | 多摄像头自动标定方法及系统、监控方法及系统 | |
CN113115008B (zh) | 一种管廊主从操作巡检系统及方法 | |
CN114662714A (zh) | 基于ar设备的机房运维管理系统及方法 | |
CN106707810A (zh) | 基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法 | |
CN110490339A (zh) | 一种基于增强现实的汽车维修辅助系统及方法 | |
CN106060523B (zh) | 全景立体图像采集、显示方法及相应的装置 | |
CN112887651A (zh) | 一种基于ar的远程指挥方法及系统 | |
CN112085232A (zh) | 一种基于增强现实技术的运检系统及方法 | |
CN109445596B (zh) | 一种一体式混合现实头戴显示系统 | |
CN109523041A (zh) | 核电站管理系统 | |
CN116384963A (zh) | 一种基于ar设备的设备巡检指导方法 | |
CN116912722A (zh) | 一种基于ar设备的设备巡检过程的远程沟通方法、系统 | |
CN116824102A (zh) | 一种基于ar设备的设备智能巡检方法 | |
EP3701357B1 (en) | Multi-layer viewing system and method | |
US20180082119A1 (en) | System and method for remotely assisted user-orientation | |
CN210491052U (zh) | 一种基于双目视觉的现场施工监测系统 | |
JP2010218568A (ja) | 通信車両表示装置 | |
WO2019085945A1 (zh) | 探测装置、探测系统和探测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |