CN111722714A - 一种基于ar技术的数字化变电站计量运检辅助方法 - Google Patents

一种基于ar技术的数字化变电站计量运检辅助方法 Download PDF

Info

Publication number
CN111722714A
CN111722714A CN202010553943.2A CN202010553943A CN111722714A CN 111722714 A CN111722714 A CN 111722714A CN 202010553943 A CN202010553943 A CN 202010553943A CN 111722714 A CN111722714 A CN 111722714A
Authority
CN
China
Prior art keywords
detection
equipment
inspection
glasses
app
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010553943.2A
Other languages
English (en)
Other versions
CN111722714B (zh
Inventor
丁超
张秋雁
欧家祥
张俊玮
王蓝苓
胡厚鹏
王扬
李航峰
王懿
张昌翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Power Grid Co Ltd
Original Assignee
Guizhou Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Power Grid Co Ltd filed Critical Guizhou Power Grid Co Ltd
Priority to CN202010553943.2A priority Critical patent/CN111722714B/zh
Publication of CN111722714A publication Critical patent/CN111722714A/zh
Application granted granted Critical
Publication of CN111722714B publication Critical patent/CN111722714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/042Backward inferencing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Molecular Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Public Health (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Toxicology (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)

Abstract

本发明公开了一种基于AR技术的数字化变电站计量运检辅助方法,该方法为:工作人员在数字化变电站运检过程中,穿戴AR智能眼镜,通过采集现场设备二维码、现场设备照片和视频、现场设备参数和工作人员语音信息发送至手机运检APP终端离线分析,或手机运检APP终端上传至Web后台系统进行网络云分析得出解决方案,再下发指令到AR智能眼镜指导工作人员进行故障处理和下一步运检工作。本发明通过将AR眼镜、手机运检APP端和Web后台系统通过无线和有线方式连接在一起,实现数据信息交互,提高巡检作业的安全性、实时性,推动智能变电站实现全面自动化的发展进程通过增强现实的方式进行呈现,对数字化变电站的计量运检工作具有较大的应用价值。

Description

一种基于AR技术的数字化变电站计量运检辅助方法
技术领域
本发明涉及一种基于AR技术的数字化变电站计量运检辅助方法,属于变电站巡检方法技术领域。
背景技术
数字化(智能)变电站,由于采用光纤数字化通讯,整个计量装置相比传统变电站,相关设备及运检维护工作已经发生较大变化,当前计量专业人员面临诸多困难。目前,少数企业仍停留在以人工的方式方法登记、统计设备信息来进行管理工作的状态,部分企业正在使用较高级的电子PDA手持设备进行巡检,这就会造成以下几个问题:
(1)出现漏检,巡检过程工作量非常巨大,设备漏检及数据管理差错缺失不可避免;
(2)数据实时性差,巡检人员无法实时获得巡检标准信息,更难定位缺陷,管理部门无法及时得到巡检的统计分析结果,不能保证管理的准确性和连贯性;
(3)数据孤立,缺乏关联,巡检过程中产生大量数据,但是巡检数据孤立,没有智能化关联分析,不能有效的预防式管理安全隐患;
(4)人员素质要求过高,随着数字化(智能)变电站的普及,电力运检难度进一步加大,对现场运检人员专业知识要求更高,使运检人工成本提高和错误率增加。
发明内容
本发明要解决的技术问题是:提供一种基于AR技术的数字化变电站计量运检辅助方法,实现自动采集信息并处理给出故障诊断和排查意见、辅助运检人员检查参数信息并上传后台分析出结果和检查信息汇总后台便于管理人员查看。解决了因数字化(智能)变电站采用光纤数字化通讯,整个计量装置相比传统变电站,相关设备及运检维护工作已经发生较大变化导致当前计量专业人员面临诸多的困难,改变当前计量巡检工作方式,辅助计量人员完成工作,提升安全主动警示,规范了现场操作和数据汇总,提高计量运检效率。
本发明采取的技术方案为:一种基于AR技术的数字化变电站计量运检辅助方法,该方法为:工作人员在数字化变电站运检过程中,穿戴AR智能眼镜,通过采集现场设备二维码、现场设备照片和视频、现场设备参数和工作人员语音信息发送至手机运检APP终端离线分析,或手机运检APP终端上传至Web后台系统进行网络云分析得出解决方案,再下发指令到AR智能眼镜指导工作人员进行故障处理和下一步运检工作。
工作人员穿戴的AR智能眼镜和手机运检APP终端通过有线连接方式,手机运检APP终端用于供电和书籍传输,实现数据信息交互,减少无线连接数据传输的延迟问题和数字化变电站信号弱问题;有线连接方式还让智能手机充当AR智能眼镜的电源功能,解决了眼镜自带电池穿戴沉重问题和电池发热影响用户体验问题; AR智能眼镜用于指导工作人员运检工作通过语音下达指令和眼镜投射手机运检APP端界面。
采集设备图片分析故障:采集设备图片分析故障:采集至少5000张设备上的目标样本图片,包括所有故障图片和正常情况图片,进行数据清洗和框选类别标注,利用图像以及标注框训练YOLO深度神经网络模型,模型训练完成后对运维现场传来的图像进行运维设备上目标的检测,给出目标包围框,根据常见运维故障及运维数据和经验,建立专家知识库进行存储,再通过计算机语言和逻辑判断将各类故障编码和解决方案建立数据映射,手机运检APP终端离线分析采集图片的设备故障是将训练后的图像识别库下载到APP中,在APP本地素材库里找到配置文件进行解析,然后进行向导式的故障运维知识指导和流程跳转,若本地没有素材,则去云端下载更新到本地服务器,采集到的数字化变电站内互感器、采集单元、合并单元、交换机、电能表、测试仪器的图片,找出故障所在。
深度神经网络检测模型在训练阶段,深度网络在三种不同的尺度上进行检测,对于输入图像,先归一化到416×616的大小,深度网络在三个尺度等级上进行预测,深度网络是通过分别将输入图像的尺寸下采样32、16和8倍精确地给出,网络的基本组件为卷积、批量归一化和带泄露的截断线性单元,第一次检测由第82层进行,图像由网络前81层下采样,得到13×13×255的检测特征图,然后,来自层79的特征经过几个卷积层2倍上采样到26×26的大小并且与来自层61的特征映射深度连接产生26×26×255的检测特征图,进行第二次检测,第三次检测在第106层进行,采用第二次检测方法得到特征图的尺寸为52×52×255。
运维对象的故障诊断:APP扫描设备条形码开始工单排查,后台接口收到APP上传图像识别通知,接口上传的信息包括:客户端及其链路socket id、图片信息和检测类别;后台接口调用图像识别检测动态库,传递需要检测的图片信息及检测类别,图像检测动态里根据故障检测模型detectConfig .xml找到相应检测场景下的方法method做处理,异步回调返回结果;回调返回结果:图像识别检测动态库检测出结果会保存更新至结构体,在YOLO检测算法进程里调用java回调函数返回结构体;结构体中包含每次检测的结果。
采集语音信息为:工作人员在完成一项检测任务后,系统询问该项任务是否完成,工作人员通过语音与AR眼镜实施交互执行到下一步检测工作,省去在手机运检APP端的操作,以解放双手给现场工作提供便利。在无网络情况下,识别工作人员的语音指令是通过与安装在手机运检APP中的语音包进行比对识别,或将语音发送至web后台系统通过云端语音库识别语音指令,在云端识别时识别度会更高。
一种基于AR技术的数字化变电站计量运检辅助方法,具体步骤如下:
步骤(A),工作人员来到运检现场后通过手机运检APP端登录个人用户信息;
步骤(B),AR智能眼镜通过语音和影像投射先提醒工作人员做好测试前准备和安全预警(包括哪些危险点分析);
步骤(C),工作人员穿戴AR智能眼镜扫描待测现场设备二维码,设备信息和待测工作显示在手机运检APP端上并将影像投射至AR智能眼镜显示端;
步骤(D),在AR眼镜语音提示下拍摄设备外观照片发送至手机运检APP端并上传Web后台系统进行图像分析出故障后,指导现场工作人员进行处理;
步骤(E),处理完上一步骤后,AR眼镜指导工作人员进行设备参数检查,在步骤提示下工作人员将工频实验电压、持续时间、比差、角差的设备参数值通过语音或手机输入方式采集到手机运检APP中再上传至web后台系统,web后台系统将采集到的参数值与正确标准值做比对分析是否正确,若有误,通过反向推理的方式确定故障所在并指导现场工作人员去处理故障点;
步骤(F),在完成测试后,语音输入“测试结束”,AR眼镜会提示整理好现场设备,在整理完成后离开现场。
步骤(B)测试前准备为工作员在开始检查测试前将本次检测的任务分工、验收内容、进度要求、作业标准、安全注意事项通过AR眼镜语音提示和影像投射告知。
步骤(B)安全预警为揉合在运检过程步骤里的:扫描某个设备二维码开始检查工作时,巡检步骤里提示有哪些设备和端子不能动,以及按键不能操作,不进行测距,只是提示安全距离、操作安全和周边环境安全。
步骤(C)获取设备信息为通过导入某个变电站里的ICD形成SCD,或者直接导入SCD文件,解析SCD文件后,建立计量设备(MU、电表、测控、互感器)的信息台账,保存虚端子信息入库(需要在web端和APP端在线或离线都需要展示虚端子图),再通过二维码信息将待检测设备匹配到该设备信息下。
本发明的有益效果:与现有技术相比,本发明实现自动采集信息并处理给出故障诊断和排查意见、辅助运检人员检查参数信息并上传后台分析出结果和检查信息汇总后台便于管理人员查看,解决了因数字化(智能)变电站采用光纤数字化通讯,整个计量装置相比传统变电站,相关设备及运检维护工作已经发生较大变化导致当前计量专业人员面临诸多的困难,改变当前计量巡检工作方式,辅助计量人员完成工作,提升安全主动警示,规范了现场操作和数据汇总,提高计量运检效率。
附图说明
图 1 为本发明系统框图。
图2 为本发明AR眼镜机构示意图。
图3 为本发明流程示意图。
具体实施方式
下面结合附图及具体的实施例对本发明进行进一步介绍。
实施例1:如图1-3示,一种基于AR技术的数字化变电站计量运检辅助方法,该方法为:工作人员在数字化变电站运检过程中,穿戴AR智能眼镜,通过采集现场设备二维码、现场设备照片和视频、现场设备参数和工作人员语音信息发送至手机运检APP终端离线分析,或手机运检APP终端上传至Web后台系统进行网络云分析得出解决方案,再下发指令到AR智能眼镜指导工作人员进行故障处理和下一步运检工作。
工作人员穿戴的AR智能眼镜和手机运检APP终端通过有线连接方式,手机运检APP终端用于供电和书籍传输,实现数据信息交互,减少无线连接数据传输的延迟问题和数字化变电站信号弱问题;有线连接方式还让智能手机充当AR智能眼镜的电源功能,解决了眼镜自带电池穿戴沉重问题和电池发热影响用户体验问题; AR智能眼镜用于指导工作人员运检工作通过语音下达指令和眼镜投射手机运检APP端界面。
采集设备图片分析故障:采集设备图片分析故障:采集至少5000张设备上的目标样本图片,包括所有故障图片和正常情况图片,进行数据清洗和框选类别标注,利用图像以及标注框训练YOLO深度神经网络模型,模型训练完成后对运维现场传来的图像进行运维设备上目标的检测,给出目标包围框,根据常见运维故障及运维数据和经验,建立专家知识库进行存储,再通过计算机语言和逻辑判断将各类故障编码和解决方案建立数据映射,手机运检APP终端离线分析采集图片的设备故障是将训练后的图像识别库下载到APP中,在APP本地素材库里找到配置文件进行解析,然后进行向导式的故障运维知识指导和流程跳转,若本地没有素材,则去云端下载更新到本地服务器,采集到的数字化变电站内互感器、采集单元、合并单元、交换机、电能表、测试仪器的图片,找出故障所在。
深度神经网络检测模型在训练阶段,深度网络在三种不同的尺度上进行检测,对于输入图像,先归一化到416×616的大小,深度网络在三个尺度等级上进行预测,深度网络是通过分别将输入图像的尺寸下采样32、16和8倍精确地给出,网络的基本组件为卷积、批量归一化和带泄露的截断线性单元,第一次检测由第82层进行,图像由网络前81层下采样,得到13×13×255的检测特征图,然后,来自层79的特征经过几个卷积层2倍上采样到26×26的大小并且与来自层61的特征映射深度连接产生26×26×255的检测特征图,进行第二次检测,第三次检测在第106层进行,采用第二次检测方法得到特征图的尺寸为52×52×255。
运维对象的故障诊断:APP扫描设备条形码开始工单排查,后台接口收到APP上传图像识别通知,接口上传的信息包括:客户端及其链路socket id、图片信息和检测类别;后台接口调用图像识别检测动态库,传递需要检测的图片信息及检测类别,图像检测动态里根据故障检测模型detectConfig .xml找到相应检测场景下的方法method做处理,异步回调返回结果;回调返回结果:图像识别检测动态库检测出结果会保存更新至结构体,在YOLO检测算法进程里调用java回调函数返回结构体;结构体中包含每次检测的结果。
采集语音信息为:工作人员在完成一项检测任务后,系统询问该项任务是否完成,工作人员通过语音与AR眼镜实施交互执行到下一步检测工作,省去在手机运检APP端的操作,以解放双手给现场工作提供便利。在无网络情况下,识别工作人员的语音指令是通过与安装在手机运检APP中的语音包进行比对识别,或将语音发送至web后台系统通过云端语音库识别语音指令,在云端识别时识别度会更高。
变电站巡检是保证变电站安全运行,提高供电可靠性、安全性的一项基础工作。目前AR技术与变电站巡检能够做到可靠性与安全性统一,AR头盔相当于照相机、摄像机、对话机、红外测温仪、测距仪、手机、移动作业设备等一系列设备,通过AR设备开展变压器检修,已实现输变配设备状态信息全景展示与运行维护操作动态交互,一方面通过可视化的路径规划,能提高检修维护的标准化操作水平,大幅降低安全生产的隐患;另一方面通过远程实时通讯与即时后台咨询,可显著提高检修的工作效率。
一种基于AR技术的数字化变电站计量运检辅助方法,具体步骤如下:
步骤(A),工作人员来到运检现场后通过手机运检APP端登录个人用户信息;
步骤(B),AR智能眼镜通过语音和影像投射先提醒工作人员做好测试前准备和安全预警(包括哪些危险点分析);
步骤(C),工作人员穿戴AR智能眼镜扫描待测现场设备二维码,设备信息和待测工作显示在手机运检APP端上并将影像投射至AR智能眼镜显示端;
步骤(D),在AR眼镜语音提示下拍摄设备外观照片发送至手机运检APP端并上传Web后台系统进行图像分析出故障后,指导现场工作人员进行处理;
步骤(E),处理完上一步骤后,AR眼镜指导工作人员进行设备参数检查,在步骤提示下工作人员将工频实验电压、持续时间、比差、角差的设备参数值通过语音或手机输入方式采集到手机运检APP中再上传至web后台系统,web后台系统将采集到的参数值与正确标准值做比对分析是否正确,若有误,通过反向推理的方式确定故障所在并指导现场工作人员去处理故障点;
步骤(F),在完成测试后,语音输入“测试结束”,AR眼镜会提示整理好现场设备,在整理完成后离开现场。
步骤(B)测试前准备为工作员在开始检查测试前将本次检测的任务分工、验收内容、进度要求、作业标准、安全注意事项通过AR眼镜语音提示和影像投射告知。
步骤(B)安全预警为揉合在运检过程步骤里的:扫描某个设备二维码开始检查工作时,巡检步骤里提示有哪些设备和端子不能动,以及按键不能操作,不进行测距,只是提示安全距离、操作安全和周边环境安全。
步骤(C)获取设备信息为通过导入某个变电站里的ICD形成SCD,或者直接导入SCD文件,解析SCD文件后,建立计量设备(MU、电表、测控、互感器)的信息台账,保存虚端子信息入库(需要在web端和APP端在线或离线都需要展示虚端子图),再通过二维码信息将待检测设备匹配到该设备信息下。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内,因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于AR技术的数字化变电站计量运检辅助方法,其特征在于:该方法为:工作人员在数字化变电站运检过程中,穿戴AR智能眼镜,通过采集现场设备二维码、现场设备照片和视频、现场设备参数和工作人员语音信息发送至手机运检APP终端离线分析,或手机运检APP终端上传至Web后台系统进行网络云分析得出解决方案,再下发指令到AR智能眼镜指导工作人员进行故障处理和下一步运检工作。
2.根据权利要求1所述的一种基于AR技术的数字化变电站计量运检辅助方法,其特征在于:工作人员穿戴的AR智能眼镜和手机运检APP终端通过有线连接方式,手机运检APP终端用于供电和书籍传输,AR智能眼镜用于指导工作人员运检工作通过语音下达指令和眼镜投射手机运检APP端界面。
3.根据权利要求1所述的一种基于AR技术的数字化变电站计量运检辅助方法,其特征在于:采集设备图片分析故障:采集至少5000张设备上的目标样本图片,包括所有故障图片和正常情况图片,进行数据清洗和框选类别标注,利用图像以及标注框训练YOLO深度神经网络模型,模型训练完成后对运维现场传来的图像进行运维设备上目标的检测,给出目标包围框,根据常见运维故障及运维数据和经验,建立专家知识库进行存储,再通过计算机语言和逻辑判断将各类故障编码和解决方案建立数据映射,手机运检APP终端离线分析采集图片的设备故障是将训练后的图像识别库下载到APP中,在APP本地素材库里找到配置文件进行解析,然后进行向导式的故障运维知识指导和流程跳转,若本地没有素材,则去云端下载更新到本地服务器,采集到的数字化变电站内互感器、采集单元、合并单元、交换机、电能表、测试仪器的图片,找出故障所在。
4.根据权利要求3所述的一种基于AR技术的数字化变电站计量运检辅助方法,其特征在于:深度神经网络检测模型在训练阶段,深度网络在三种不同的尺度上进行检测,对于输入图像,先归一化到416×616的大小,深度网络在三个尺度等级上进行预测,深度网络是通过分别将输入图像的尺寸下采样32、16和8倍给出,网络的基本组件为卷积、批量归一化和带泄露的截断线性单元,第一次检测由第82层进行,图像由网络前81层下采样,得到13×13×255的检测特征图,然后,来自层79的特征经过几个卷积层2倍上采样到26×26的大小并且与来自层61的特征映射深度连接产生26×26×255的检测特征图,进行第二次检测,第三次检测在第106层进行,采用第二次检测方法得到特征图的尺寸为52×52×255。
5.根据权利要求3所述的一种基于AR技术的数字化变电站计量运检辅助方法,其特征在于:运维对象的故障诊断:APP扫描设备条形码开始工单排查,后台接口收到APP上传图像识别通知,接口上传的信息包括:客户端及其链路socket id、图片信息和检测类别;后台接口调用图像识别检测动态库,传递需要检测的图片信息及检测类别,图像检测动态里根据故障检测模型detectConfig .xml找到相应检测场景下的方法method做处理,异步回调返回结果;回调返回结果:图像识别检测动态库检测出结果会保存更新至结构体,在YOLO检测算法进程里调用java回调函数返回结构体;结构体中包含每次检测的结果。
6.根据权利要求1所述的一种基于AR技术的数字化变电站计量运检辅助方法,其特征在于:采集语音信息为:工作人员在完成一项检测任务后,系统询问该项任务是否完成,工作人员通过语音与AR眼镜实施交互执行到下一步检测工作,在无网络情况下,识别工作人员的语音指令是通过与安装在手机运检APP中的语音包进行比对识别,或将语音发送至web后台系统通过云端语音库识别语音指令。
7.根据权利要求1所述的一种基于AR技术的数字化变电站计量运检辅助方法,其特征在于:具体步骤如下:
步骤(A),工作人员来到运检现场后通过手机运检APP端登录个人用户信息;
步骤(B),AR智能眼镜通过语音和影像投射先提醒工作人员做好测试前准备和安全预警;
步骤(C),工作人员穿戴AR智能眼镜扫描待测现场设备二维码,设备信息和待测工作显示在手机运检APP端上并将影像投射至AR智能眼镜显示端;
步骤(D),在AR眼镜语音提示下拍摄设备外观照片发送至手机运检APP端并上传Web后台系统进行图像分析出故障后,指导现场工作人员进行处理;
步骤(E),处理完上一步骤后,AR眼镜指导工作人员进行设备参数检查,在步骤提示下工作人员将工频实验电压、持续时间、比差、角差的设备参数值通过语音或手机输入方式采集到手机运检APP中再上传至web后台系统,web后台系统将采集到的参数值与正确标准值做比对分析是否正确,若有误,通过反向推理的方式确定故障所在并指导现场工作人员去处理故障点;
步骤(F),在完成测试后,语音输入“测试结束”,AR眼镜会提示整理好现场设备,在整理完成后离开现场。
8.根据权利要求5所述的一种基于AR技术的数字化变电站计量运检辅助方法,其特征在于:步骤(B)测试前准备为工作员在开始检查测试前将本次检测的任务分工、验收内容、进度要求、作业标准、安全注意事项通过AR眼镜语音提示和影像投射告知。
9.根据权利要求5所述的一种基于AR技术的数字化变电站计量运检辅助方法,其特征在于:步骤(B)安全预警为揉合在运检过程步骤里的:扫描某个设备二维码开始检查工作时,巡检步骤里提示有哪些设备和端子不能动,以及按键不能操作,不进行测距,只是提示安全距离、操作安全和周边环境安全。
10.根据权利要求5所述的一种基于AR技术的数字化变电站计量运检辅助方法,其特征在于:步骤(C)获取设备信息为通过导入某个变电站里的ICD形成SCD,或者直接导入SCD文件,解析SCD文件后,建立计量设备的信息台账,保存虚端子信息入库,再通过二维码信息将待检测设备匹配到该设备信息下。
CN202010553943.2A 2020-06-17 2020-06-17 一种基于ar技术的数字化变电站计量运检辅助方法 Active CN111722714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010553943.2A CN111722714B (zh) 2020-06-17 2020-06-17 一种基于ar技术的数字化变电站计量运检辅助方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010553943.2A CN111722714B (zh) 2020-06-17 2020-06-17 一种基于ar技术的数字化变电站计量运检辅助方法

Publications (2)

Publication Number Publication Date
CN111722714A true CN111722714A (zh) 2020-09-29
CN111722714B CN111722714B (zh) 2023-10-13

Family

ID=72567190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010553943.2A Active CN111722714B (zh) 2020-06-17 2020-06-17 一种基于ar技术的数字化变电站计量运检辅助方法

Country Status (1)

Country Link
CN (1) CN111722714B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112290546A (zh) * 2020-10-27 2021-01-29 海南电网有限责任公司电力科学研究院 一种基于人机共融的变电站一次设备故障判别方法
CN112379523A (zh) * 2020-11-23 2021-02-19 徐梓杨 一种应用于发电厂设备检查的智能佩戴眼镜系统
CN112613619A (zh) * 2020-11-30 2021-04-06 重庆电子工程职业学院 车间内煤气区域安全作业管理系统
CN112616047A (zh) * 2020-11-13 2021-04-06 贵州电网有限责任公司 基于ar的机房作业现场指导及远程协助调度系统
CN112734969A (zh) * 2020-12-08 2021-04-30 国网辽宁省电力有限公司锦州供电公司 一种可穿戴式智能设备在输电作业中的应用方法
CN113126556A (zh) * 2021-04-20 2021-07-16 东方电子股份有限公司 基于地理区域模型的变电站维护辅助系统及方法
CN113160615A (zh) * 2021-03-03 2021-07-23 上海凌苇智能科技合伙企业(有限合伙) 一种基于ar技术实现无人机起飞前安全检测方法及系统
CN113313346A (zh) * 2021-04-19 2021-08-27 贵州电网有限责任公司 一种基于ar眼镜的人工智能调度操作的可视化实现方法
CN113361498A (zh) * 2021-08-09 2021-09-07 景网技术有限公司 一种智慧城市前端故障设备远程判断及修复方法、系统
CN113408751A (zh) * 2021-05-26 2021-09-17 深圳市富能新能源科技有限公司 工作运维方法、设备以及存储介质
CN113472071A (zh) * 2021-06-02 2021-10-01 台州宏创电力集团有限公司科技分公司 一种变电站智能虚拟辅助机器人控制方法
CN113705836A (zh) * 2021-08-31 2021-11-26 国网山东省电力公司微山县供电公司 一种用于电网现场作业指导的系统及装置
CN113963363A (zh) * 2021-10-15 2022-01-21 蒂姆维澳(上海)网络技术有限公司 一种基于ar技术的检测方法及装置
CN114152444A (zh) * 2021-10-20 2022-03-08 中国航发四川燃气涡轮研究院 一种发动机台架安装和排故的便携式辅助系统及使用方法
CN114202718A (zh) * 2021-10-29 2022-03-18 广东卓维网络有限公司 一种基于人工智能的安全监控方法和装置
CN114304798A (zh) * 2021-11-13 2022-04-12 国网辽宁省电力有限公司电力科学研究院 一种融合智能穿戴装备的电力巡检作业系统与巡检流程
CN115033503A (zh) * 2022-05-24 2022-09-09 南京航空航天大学 一种基于增强现实的设备控制方法
CN115170993A (zh) * 2022-09-08 2022-10-11 浙江百诺数智环境科技股份有限公司 基于ar采集分析的废气处理设备现场检查方法及系统
CN115209098A (zh) * 2022-06-14 2022-10-18 国网河北省电力有限公司高邑县供电分公司 基于ai技术的反窃电现场检查辅助眼镜及其使用方法
CN117036650A (zh) * 2023-08-04 2023-11-10 国网冀北综合能源服务有限公司 一种基于ar眼镜的电网维护导航方法、介质及系统
CN117522644A (zh) * 2024-01-08 2024-02-06 国网江苏省电力有限公司苏州供电分公司 自主编辑变电检修作业培训系统及变电检修作业执行方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104319891A (zh) * 2014-10-31 2015-01-28 国家电网公司 用于智能变电站过程层的检修运维装置及方法
CN106780151A (zh) * 2017-01-04 2017-05-31 国网江苏省电力公司电力科学研究院 基于可穿戴增强现实的变电站双向智能巡检系统及方法
EP3301783A1 (en) * 2016-09-29 2018-04-04 Kyland Technology Co., Ltd. Protection and control system for intelligent substation based on industrial internet architecture
CN108628654A (zh) * 2018-03-30 2018-10-09 周瑞佳 基于增强现实和物联网的电子手册系统
CN108879440A (zh) * 2018-06-20 2018-11-23 国网山东省电力公司济宁供电公司 基于可穿戴增强现实显示终端和云平台的智能检修系统及方法
US20190191805A1 (en) * 2017-12-22 2019-06-27 State Grid Hunan Electric Power Company Limited Wearable equipment for substation maintenance mobile inspection and application method thereof
CN209545248U (zh) * 2018-11-21 2019-10-25 国网安徽省电力有限公司宿州供电公司 一种可视化运维的智能变电站系统
CN110610542A (zh) * 2019-08-19 2019-12-24 国网天津市电力公司 变电站设备状态监测全景分析系统
CN110689148A (zh) * 2019-10-14 2020-01-14 贵州电网有限责任公司 一种基于ar技术的计量设备故障检测方法
US20200026257A1 (en) * 2018-07-23 2020-01-23 Accenture Global Solutions Limited Augmented reality (ar) based fault detection and maintenance
CN110728670A (zh) * 2019-10-14 2020-01-24 贵州电网有限责任公司 一种基于ar技术的低压设备运维方法
CN111091609A (zh) * 2019-12-11 2020-05-01 云南电网有限责任公司保山供电局 一种基于三维动态建模的变电站现场作业管控系统和方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104319891A (zh) * 2014-10-31 2015-01-28 国家电网公司 用于智能变电站过程层的检修运维装置及方法
EP3301783A1 (en) * 2016-09-29 2018-04-04 Kyland Technology Co., Ltd. Protection and control system for intelligent substation based on industrial internet architecture
CN106780151A (zh) * 2017-01-04 2017-05-31 国网江苏省电力公司电力科学研究院 基于可穿戴增强现实的变电站双向智能巡检系统及方法
US20190191805A1 (en) * 2017-12-22 2019-06-27 State Grid Hunan Electric Power Company Limited Wearable equipment for substation maintenance mobile inspection and application method thereof
CN108628654A (zh) * 2018-03-30 2018-10-09 周瑞佳 基于增强现实和物联网的电子手册系统
CN108879440A (zh) * 2018-06-20 2018-11-23 国网山东省电力公司济宁供电公司 基于可穿戴增强现实显示终端和云平台的智能检修系统及方法
US20200026257A1 (en) * 2018-07-23 2020-01-23 Accenture Global Solutions Limited Augmented reality (ar) based fault detection and maintenance
CN209545248U (zh) * 2018-11-21 2019-10-25 国网安徽省电力有限公司宿州供电公司 一种可视化运维的智能变电站系统
CN110610542A (zh) * 2019-08-19 2019-12-24 国网天津市电力公司 变电站设备状态监测全景分析系统
CN110689148A (zh) * 2019-10-14 2020-01-14 贵州电网有限责任公司 一种基于ar技术的计量设备故障检测方法
CN110728670A (zh) * 2019-10-14 2020-01-24 贵州电网有限责任公司 一种基于ar技术的低压设备运维方法
CN111091609A (zh) * 2019-12-11 2020-05-01 云南电网有限责任公司保山供电局 一种基于三维动态建模的变电站现场作业管控系统和方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
孙海渤;岳红原;魏刚;唐健;胡龙;: "基于混合现实技术的变电站智能运检辅助系统的设计与实现", 工业控制计算机 *
张秋雁; 张俊玮; 丁超; 钱威; 黎世华: "AR技术在用电信息采集系统运维中的应用", 自动化与仪表 *
张秋雁;张俊玮;丁超;王蓝苓;黎世华;张驰;张海永;钱威: "基于增强现实与人工智能融合的低压集抄运维技术研究", 电力设备管理 *
王永明; 黄春红; 李鹏; 李宽宏; 林力辉: "智能眼镜在变电站电力设备智能巡检中的应用分析", 科技视界 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112290546B (zh) * 2020-10-27 2022-12-02 海南电网有限责任公司电力科学研究院 一种基于人机共融的变电站一次设备故障判别方法
CN112290546A (zh) * 2020-10-27 2021-01-29 海南电网有限责任公司电力科学研究院 一种基于人机共融的变电站一次设备故障判别方法
CN112616047A (zh) * 2020-11-13 2021-04-06 贵州电网有限责任公司 基于ar的机房作业现场指导及远程协助调度系统
CN112379523A (zh) * 2020-11-23 2021-02-19 徐梓杨 一种应用于发电厂设备检查的智能佩戴眼镜系统
CN112613619A (zh) * 2020-11-30 2021-04-06 重庆电子工程职业学院 车间内煤气区域安全作业管理系统
CN112613619B (zh) * 2020-11-30 2024-04-09 重庆电子工程职业学院 车间内煤气区域安全作业管理系统
CN112734969A (zh) * 2020-12-08 2021-04-30 国网辽宁省电力有限公司锦州供电公司 一种可穿戴式智能设备在输电作业中的应用方法
CN113160615A (zh) * 2021-03-03 2021-07-23 上海凌苇智能科技合伙企业(有限合伙) 一种基于ar技术实现无人机起飞前安全检测方法及系统
CN113313346A (zh) * 2021-04-19 2021-08-27 贵州电网有限责任公司 一种基于ar眼镜的人工智能调度操作的可视化实现方法
CN113126556A (zh) * 2021-04-20 2021-07-16 东方电子股份有限公司 基于地理区域模型的变电站维护辅助系统及方法
CN113408751A (zh) * 2021-05-26 2021-09-17 深圳市富能新能源科技有限公司 工作运维方法、设备以及存储介质
CN113472071A (zh) * 2021-06-02 2021-10-01 台州宏创电力集团有限公司科技分公司 一种变电站智能虚拟辅助机器人控制方法
CN113472071B (zh) * 2021-06-02 2024-08-20 台州宏创电力集团有限公司科技分公司 一种变电站智能虚拟辅助机器人控制方法
CN113361498A (zh) * 2021-08-09 2021-09-07 景网技术有限公司 一种智慧城市前端故障设备远程判断及修复方法、系统
CN113361498B (zh) * 2021-08-09 2021-11-09 景网技术有限公司 一种智慧城市前端故障设备远程判断及修复方法、系统
CN113705836A (zh) * 2021-08-31 2021-11-26 国网山东省电力公司微山县供电公司 一种用于电网现场作业指导的系统及装置
CN113963363A (zh) * 2021-10-15 2022-01-21 蒂姆维澳(上海)网络技术有限公司 一种基于ar技术的检测方法及装置
CN113963363B (zh) * 2021-10-15 2024-06-11 蒂姆维澳(上海)网络技术有限公司 一种基于ar技术的检测方法及装置
CN114152444A (zh) * 2021-10-20 2022-03-08 中国航发四川燃气涡轮研究院 一种发动机台架安装和排故的便携式辅助系统及使用方法
CN114152444B (zh) * 2021-10-20 2023-09-15 中国航发四川燃气涡轮研究院 一种发动机台架安装和排故的便携式辅助系统及使用方法
CN114202718A (zh) * 2021-10-29 2022-03-18 广东卓维网络有限公司 一种基于人工智能的安全监控方法和装置
CN114304798A (zh) * 2021-11-13 2022-04-12 国网辽宁省电力有限公司电力科学研究院 一种融合智能穿戴装备的电力巡检作业系统与巡检流程
CN115033503A (zh) * 2022-05-24 2022-09-09 南京航空航天大学 一种基于增强现实的设备控制方法
CN115033503B (zh) * 2022-05-24 2024-04-12 南京航空航天大学 一种基于增强现实的设备控制方法
CN115209098A (zh) * 2022-06-14 2022-10-18 国网河北省电力有限公司高邑县供电分公司 基于ai技术的反窃电现场检查辅助眼镜及其使用方法
CN115170993A (zh) * 2022-09-08 2022-10-11 浙江百诺数智环境科技股份有限公司 基于ar采集分析的废气处理设备现场检查方法及系统
CN117036650A (zh) * 2023-08-04 2023-11-10 国网冀北综合能源服务有限公司 一种基于ar眼镜的电网维护导航方法、介质及系统
CN117036650B (zh) * 2023-08-04 2024-03-12 国网冀北综合能源服务有限公司 一种基于ar眼镜的电网维护导航方法、介质及系统
CN117522644A (zh) * 2024-01-08 2024-02-06 国网江苏省电力有限公司苏州供电分公司 自主编辑变电检修作业培训系统及变电检修作业执行方法
CN117522644B (zh) * 2024-01-08 2024-04-02 国网江苏省电力有限公司苏州供电分公司 自主编辑变电检修作业培训系统及变电检修作业执行方法

Also Published As

Publication number Publication date
CN111722714B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN111722714A (zh) 一种基于ar技术的数字化变电站计量运检辅助方法
CN113689013A (zh) 一种变压器智能监测与运维系统
CN110472858B (zh) 一种建设工程监理信息管理方法
CN110865917A (zh) 基于ar技术的电力机房巡检作业方法、系统及应用
CN108627520A (zh) 一种非均质固体材料外观质量的在线检测系统和方法
CN111431284B (zh) 一种基于bim技术的变电站智能化管控系统
CN111161445A (zh) 一种电力巡检系统
CN111062504A (zh) 一种基于ar技术的智能配电站运维系统及方法
CN105891763A (zh) 一种电能表运行故障智能处理系统及其方法
CN112085232A (zh) 一种基于增强现实技术的运检系统及方法
CN108090530A (zh) 一种基于二维码识别技术的电力设备信息管理系统和方法
CN110796754A (zh) 一种基于图像处理技术的机房巡检方法
CN111340457A (zh) 基于人工智能的建筑消防审核验收平台系统及其方法
CN110728381A (zh) 一种基于rfid和数据处理的发电厂智能巡检方法及系统
CN112365623A (zh) 一种电力巡检系统
CN113177614A (zh) 一种城市轨道交通供电开关柜图像识别系统及方法
CN112165167A (zh) 一种智能变电站继电保护检修辅助系统及方法
CN110047164A (zh) 机电设备巡检管理系统
CN116681993B (zh) 智能光纤配线调度管理系统及其方法
CN116277001B (zh) 一种基于数字孪生的连铸机器人管理方法及其系统
CN113129469A (zh) 一种巡检监控方法和系统以及计算机可读存储介质
CN116405638A (zh) 基于多元传感器的智能巡检装置、巡检系统及巡检方法
CN115880803A (zh) 一种智能巡检系统及方法
CN210428558U (zh) 一种电力光缆巡检线路智能辅助系统
CN112542892B (zh) 变电站调控一体化控制方法及控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant