CN117522644B - 自主编辑变电检修作业培训系统及变电检修作业执行方法 - Google Patents

自主编辑变电检修作业培训系统及变电检修作业执行方法 Download PDF

Info

Publication number
CN117522644B
CN117522644B CN202410022694.2A CN202410022694A CN117522644B CN 117522644 B CN117522644 B CN 117522644B CN 202410022694 A CN202410022694 A CN 202410022694A CN 117522644 B CN117522644 B CN 117522644B
Authority
CN
China
Prior art keywords
job
client
standardized
glasses
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410022694.2A
Other languages
English (en)
Other versions
CN117522644A (zh
Inventor
潘晓明
廖坤玉
胡旭东
邓立晨
夏东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority to CN202410022694.2A priority Critical patent/CN117522644B/zh
Publication of CN117522644A publication Critical patent/CN117522644A/zh
Application granted granted Critical
Publication of CN117522644B publication Critical patent/CN117522644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • G06Q50/2057Career enhancement or continuing education service
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种自主编辑变电检修作业培训系统及变电检修作业执行方法,系统包括服务器、第一客户端、第二客户端和AR眼镜,第一客户端提供自主编辑模板,以设计多种标准化作业的流程信息并上传到服务器;第二客户端向服务器请求下载与一目标作业对应的标准化作业的流程信息;第二客户端或AR眼镜的扬声器播放目标作业对应的标准化作业的流程信息,且AR眼镜的显示屏显示流程的当前步骤;利用AR眼镜的摄像头采集执行变电检修作业的图像和/或视频信息,并通过第二客户端上传至服务器;服务器为每一个目标作业生成作业记录以供复盘,作业记录包括通过参照标准化作业的流程信息,对执行变电检修作业的图像和/或视频信息进行合规性分析。

Description

自主编辑变电检修作业培训系统及变电检修作业执行方法
技术领域
本发明涉及变电检修领域,尤其涉及一种自主编辑变电检修作业培训系统及变电检修作业执行方法。
背景技术
目前,变电站检修作业存在以下问题:一是传统的变电站安措执行由一人执行,由另外一人监护,安措的规范性完全依赖检修人员的技术自觉,安措的顺序依赖作业人员的经验,同时也缺乏第三方的即时指导和监督;二是巡检工作缺少现场流程指南,设备的数据、图片和视频的采集归档费时费力;三是由于老员工的讲述能力有限,经验传授即兴发挥,缺乏经验知识融合的有效手段;四是学和做分离,一般都是脱离变电站现场进行检修作业的学习,在实际作业中再做操作,检修作业具有危险性,导致学员不敢完全放手去做,导致新进青年员工的成长周期较长;五是没有复盘纠正的手段,无法在操作结束后,再检验操作过程是否符合标准,因而可能会固化出不符合标准的行为习惯。
员工的成长周期长的现状已经越来越难以适应变电站数量和检修业务与日俱增的趋势。
目前出现了利用AR眼镜辅助标准化作业,但是该功能仅针对固定的作业场景,多数用于远程专家诊断,不具备普适性,难以满足变电检修中内容繁多的各种作业。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案,其并不必然属于本专利申请的现有技术,也不必然会给出技术教导;在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的目的是提供一种可自主编辑的变电检修作业培训系统,结合AR眼镜可以指导执行各种变电检修作业,并能够在操作结束后进行复盘检验。
为达到上述目的,本发明采用的技术方案如下:
一种自主编辑变电检修作业培训系统,包括服务器及以下模块:
第一客户端,其被配置为提供自主编辑模板,以设计多种标准化作业的流程信息,并上传到所述服务器;
第二客户端,其被配置为向所述服务器请求下载与一目标作业对应的标准化作业的流程信息;
AR眼镜,其被配置为与所述第二客户端进行数据交互,包括:第二客户端或所述AR眼镜的扬声器播放所述目标作业对应的标准化作业的流程信息,且所述AR眼镜的显示屏显示流程的当前步骤;利用AR眼镜的摄像头采集执行变电检修作业的图像和/或视频信息,并通过所述第二客户端上传至所述服务器;
所述服务器被配置为为每一个目标作业生成可通过所述第二客户端查看和/或下载的作业记录,所述作业记录包括通过参照标准化作业的流程信息,对所述执行变电检修作业的图像和/或视频信息进行作业效率分析和/或合规性分析。
进一步地,承前所述的任一技术方案或多个技术方案的组合,所述第一客户端被配置为满足分级过程指导,包括将标准化作业的流程信息设计为多级过程指导,每一级过程指导的步骤支持图文指导、文本输入、检查项中的一种或多种数据类型;
若在执行变电检修作业过程中选择图文指导的数据类型,则所述AR眼镜和/或第二客户端通过图片和文字指导作业人员前往相应变电设备以开展相应作业;
若在执行变电检修作业过程中选择文本输入的数据类型,则通过所述AR眼镜和/或第二客户端记录执行作业中的相关参数;
若在执行变电检修作业过程中选择检查项的数据类型,则通过所述AR眼镜和/或第二客户端定义必须执行的作业步骤,并对其作业过程进行图像采集以作确认。
进一步地,承前所述的任一技术方案或多个技术方案的组合,所述第一客户端被配置为能够对各级过程指导的步骤进行在线编辑、删除和调序;以及能够采用积木模块拼接的方式以每一级过程指导为单元进行复制。
进一步地,承前所述的任一技术方案或多个技术方案的组合,所述第一客户端针对每一个标准化作业的流程信息配置有启用操作按钮,仅在一标准化作业的流程信息对应的启用操作按钮被激活的情况下,所述第二客户端能够查看到该标准化作业的流程信息。
进一步地,承前所述的任一技术方案或多个技术方案的组合,所述服务器还被配置为为各个标准化作业的流程信息生成对应的作业码;
响应于所述第二客户端和/或AR眼镜扫描所述作业码,则所述第二客户端和AR眼镜直接进入该作业码相关联的标准化作业的流程。
进一步地,承前所述的任一技术方案或多个技术方案的组合,所述AR眼镜配置有麦克风和AI语音模块,所述AI语音模块被配置为根据所述麦克风采集的语音指令触发所述AR眼镜的摄像头和/或显示屏,包括:
若所述麦克风采集到记录指令,则所述AI语音模块触发所述摄像头进入拍照或录像模式;
若所述麦克风采集到的扫码指令,则所述AI语音模块触发所述摄像头进入扫描模式;
若所述麦克风采集到的不同的页面控制指令,则所述AI语音模块触发所述显示屏显示相应的页面。
进一步地,承前所述的任一技术方案或多个技术方案的组合,由系统预设的语音指令库分为全局语音指令库和模块语音指令库,其中,所述模块语音指令库包括分别针对进入标准化作业的过程指导后的所述图文指导、文本输入、检查项的指令;
所述全局语音指令库包括进入标准化作业的过程指导之前,或者在切换标准化作业的不同级过程指导之间作出的触发所述AR眼镜的摄像头和/或显示屏的指令;
所述AI语音模块根据当前是否处于进入标准化作业的过程指导的状态确定所述模块语音指令库或全局语音指令库作为识别语音指令的依据。
进一步地,承前所述的任一技术方案或多个技术方案的组合,所述AI语音模块被配置为对所述麦克风采集到的语音信号进行检测,包括:
对语音信号进行分帧与加窗处理,得到多帧语音信号;
对相邻两帧语音信号进行交并比计算:IOU=(IJ)/(IJ),其中,IJ分别为相邻两帧语音信号,IOU为信号IJ的交并比;
若IOU的计算结果大于预设的阈值,则将信号IJ作为不同分析目标;否则将信号IJ作为同一分析目标。
进一步地,承前所述的任一技术方案或多个技术方案的组合,所述AI语音模块还被配置为对检测到的各个分析目标进行语音分析,包括:
引入梅尔频率倒谱系数作为语音信号的特征参数:P 0=1125ln(1+P 1/700),其中,P 0表示以梅尔为单位的语音信号感知频率,P 1表示分析目标的实际语音信号频率。
进一步地,承前所述的任一技术方案或多个技术方案的组合,本发明提供的自主编辑变电检修作业培训系统还包括培训视频数据库;
若执行变电检修作业的图像和/或视频信息的作业效率分析和/或合规性分析结果达到预设水平,则将该图像和/或视频信息存储到所述培训视频数据库。
进一步地,承前所述的任一技术方案或多个技术方案的组合,所述第一客户端为web端,所述第二客户端为移动端,所述web端与移动端通过5G网络进行数据交互;
和/或,所述AR眼镜为无源头戴式人机交互设备,其通过数据连接线与安装所述第二客户端的智能移动终端连接,以由所述智能移动终端供电并与所述第二客户端进行数据交互。
进一步地,承前所述的任一技术方案或多个技术方案的组合,采用5G公有云的网络部署,使业务交互、数据管理和后台运维在公有云端进行处理;
通过web端和/或移动端的权限设置及服务器端的加密来实现业务安全;及
通过使用云服务商提供的防火墙、网关、SLB的安全机制和/或采用安全校验和加解密的通讯协议来实现网络安全。
根据本发明的另一方面,本发明提供了一种变电检修作业执行方法,包括以下步骤:
确定待执行的变电检修作业的流程大类,并基于第一客户端提供的自主编辑模板来编辑标准化作业的多级过程指导信息;
对各级过程指导确定其对应的步骤,并基于第一客户端提供的自主编辑模板来编辑每一级过程指导的图文指导、文本输入、检查项中的一种或多种的数据,以生成标准化作业的流程信息;
在第二客户端下载待执行的变电检修作业对应的标准化作业的流程信息;
基于AR眼镜和第二客户端播放所述标准化作业的流程信息,执行变电检修作业,并利用摄像头拍摄执行作业时的图像和/或视频;
将拍摄执行作业时的图像和/或视频通过所述第二客户端上传至服务器;
所述服务器通过参照标准化作业的流程信息,对所述执行作业时的图像和/或视频信息进行作业效率分析和/或合规性分析,以生成作业记录;
通过所述第二客户端查看和/或下载所述作业记录。
进一步地,承前所述的任一技术方案或多个技术方案的组合,基于所述AR眼镜的AI语音模块,语音操控执行所述标准化作业的流程,包括以下步骤中的一种或多种:
发出扫码语音指令,则触发所述AR眼镜的摄像头进入扫描模式,若扫描到服务器为标准化作业预生成的作业码,并匹配到与之关联的标准化作业的流程信息,则所述第二客户端和AR眼镜直接进入该关联的标准化作业的流程;
发出记录指令,则触发所述AR眼镜的摄像头进入摄像模式,以获得执行作业时的图像和/或视频信息;
发出页面操作指令,则触发所述AR眼镜的显示屏显示相应的页面;
发出查看指令,则触发显示执行作业时的图像和/或视频信息;
发出输入指令,则触发所述AI语音模块将语音信息转为文字以作记录。
本发明提供的技术方案带来的有益效果如下:
a. 通过图文、文字和语音指导生成线性标准作业流程,满足检修内部不同小专业的人员培训需求,可覆盖适用于变电检修专业全部的工作场景;
b. 以语音和手势控制方式全景实时地采集二次设备的图片、视频和文字等信息,解放作业人员的双手;
c. 改变了学和做分离的培训模式,通过“边学边做、同步指导、学做一体”培训模式,以实景培训缩短作业人员的培养周期;
d. 执行过程中的视频、标记等信息同步传回系统供分析判别,进行每一步的效率分析,实施分析作业人员的工作状态,方便接受培训的作业人员及时自查操作的合规性;
e. 100%合规的标准化作业操作视频可以输出作为培训视频,丰富培训资源。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一个示例性实施例提供的自主编辑变电检修作业培训系统的框架示意图;
图2为本发明的一个示例性实施例提供的变电检修作业执行方法的流程示意图;
图3为本发明的一个示例性实施例提供的系统的两个客户端在标准化作业中的交互;
图4为本发明的一个示例性实施例提供的标准化作业的列表界面图;
图5为基于图4查看标准化作业的详情的界面图;
图6为本发明的一个示例性实施例提供的标准化作业的多级过程指导设计框架图;
图7为在图4中点击编辑操作按钮后跳转的编辑界面图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本发明的一个实施例中,提供了一种自主编辑变电检修作业培训系统,如图1所示,系统包括服务器及以下模块:
第一客户端,其被配置为提供自主编辑模板,以设计多种标准化作业的流程信息,并上传到所述服务器;
第二客户端,其被配置为向所述服务器请求下载与一目标作业对应的标准化作业的流程信息;下载完成后即可跟随标准化作业流程进行作业并记录。
AR眼镜,其被配置为与所述第二客户端进行数据交互,包括:第二客户端或所述AR眼镜的扬声器播放所述目标作业对应的标准化作业的流程信息,且所述AR眼镜的显示屏显示流程的当前步骤;利用AR眼镜的摄像头采集执行变电检修作业的图像和/或视频信息,并通过所述第二客户端上传至所述服务器;
所述服务器被配置为为每一个目标作业生成可通过所述第二客户端查看和/或下载的作业记录,所述作业记录包括通过参照标准化作业的流程信息,对所述执行变电检修作业的图像和/或视频信息进行作业效率分析和/或合规性分析。
通过查看/下载作业记录,就可以查看执行变电检修作业的图像和/或视频信息,能够让作业人员分析自己作业过程是否符合标准的环节。
其中,第一客户端为web端,第二客户端为移动端,所述web端与移动端通过5G网络进行数据交互;AR眼镜为无源头戴式人机交互设备,其通过数据连接线与安装所述第二客户端的智能移动终端(比如智能手机、平板电脑等)连接,以由所述智能移动终端供电并与所述第二客户端进行数据交互,不包含电池和无线辐射,易于清洁,坚固耐用;硬件上采用低功耗专用VPU芯片,检测识别速度快,精度高。本实施例采用5G公有云的网络部署,使业务交互、数据管理和后台运维在公有云端进行处理,用户只需要在互联网的环境下使用AR眼镜和web客户端就可以使用平台的所有功能,保证数据具有低时延、高带宽的数据传输特性;通过web端和/或移动端的权限设置及服务器端的加密来实现业务安全;及通过使用云服务商提供的防火墙、网关、SLB的安全机制和/或采用安全校验和加解密的通讯协议来实现网络安全,并且云端服务器配置了严格的账户管理。以上从部署方式、业务安全、网络安全三方面确保数据传输安全可靠。
本实施例中AR眼镜采用5G网络,数据传输速度能够解决上千套设备同时接入系统时的数据带宽问题,适应检修作业快速准确的要求。
Web端提供自主编辑模板,根据工作场景参照标准作业流程或自有作业,将线性标准作业流程添加到系统中,附加图片或视频进行指导培训。检修作业人员从手机端下载标准作业接受培训,执行后将过程中的视频、标记等信息传回系统供分析判别,系统同时可进行每一步的效率分析,实施分析作业人员的工作状态,方便接受培训的作业人员及时自查操作的合规性。100%合规的标准化作业操作视频可以输出作为培训视频。
本实施例中标准化作业的设计满足分级过程指导,即将标准化作业的流程信息设计为多级过程指导,如图6所示为二级过程指导,每一级过程指导的步骤支持图文指导、文本输入、检查项中的一种或多种数据类型,用户在执行变电检修作业时可以选择其中一种或多种作为指导依据。
每一个被新增的标准化作业都会出现在如图4所示的标准作业列表中,使用高级搜索功能可以按名称、备注、创建人和创建时间进行筛选。对其中一个标准化作业执行查看详情的操作,就可以跳转到如图5所示的界面。自主编辑生成标准化作业的步骤参见图3中的web端标准化作业:(1)先根据作业的流程分类提供章节流程添加功能;(2)再在每类章节流程中添加详细的步骤,添加时先进行步骤类型的选择,包括图文指导、文本输入、检查项三种,分别对应通过图片和文字指导作业人员前往相应变电设备或间隔开展相应作业、通过文本输入记录相关参数、检查相应设备的状态拍照记录等功能;(3)通过拖拽类型、输入文字生成相应步骤;(4)可拖拽自由更换已生成步骤间的顺序。支持点击相应步骤或章节弹出编辑或删除按钮的功能,并能显示每个章节流程中步骤数。
以图5为例,“220kV线路保护安全措施”的标准化作业的设计先分为四个章节:状态记录、出口回路二次安措、电压电流回路安措、信号回路安措;点击状态记录这一章节,可以显示其对应的多个步骤;比如当点击或鼠标悬停在步骤3上,步骤3的右侧会出现编辑和删除的按钮,还可以通过拖拽的方式对步骤进行调序,适应不同设备、不同型号保护装置的作业执行;并且在界面上右侧栏会有相应的图文指导、文本输入、检查项的添加按钮。当每个章节下的每个步骤都添加相应的数据类型的数据后,该标准化作业的流程就设计完成了。
在一个实施例中,还能够采用积木模块拼接的方式以每一级过程指导为单元进行复制,比如可以将整个“220kV线路保护安全措施”的标准化作业为单元进行复制,然后调整个别章节或章节下的个别步骤以形成新的标准化作业;也可以以一个章节为单元进行复制,也可以对某一章节下的一个或多个步骤(带着其对应的图文指导、文本输入、检查项的数据)进行复制,使得在创建一个新标准化作业时可以采用现有的一些模块,提高设计效率。
Web端针对每一个标准化作业的流程信息配置有启用操作按钮,仅在一标准化作业的流程信息对应的启用操作按钮被激活的情况下,所述第二客户端能够查看到该标准化作业的流程信息。一种方式是在图4的界面上设置启用按钮,另一种方式是在图4的界面上设置并点击编辑操作按钮,以跳转到图7的界面中,进一步可以修改标准作业名称、作业码、备注、是否全程录像、是否启用等信息。如果选择不全程录像,则在相应的作业报告中没有视频内容。
如上所述,用户在执行变电检修作业时可以选择图文指导、文本输入、检查项中的一种作为执行检修的指导依据,比如:若在执行变电检修作业过程中选择图文指导的数据类型(支持附件上传,可以定义执行时长,可以选择是否需要拍照确认),则所述AR眼镜和/或第二客户端通过图片和文字指导作业人员前往相应变电设备以开展相应作业;若在执行变电检修作业过程中选择文本输入的数据类型(需要数据记录的步骤选择此项,可以定义执行时长,可以选择是否需要拍照确认),则通过所述AR眼镜和/或第二客户端记录执行作业中的相关参数;若在执行变电检修作业过程中选择检查项的数据类型(此为最常用数据类型,定义必须执行的步骤内容,且必须拍照确认),则通过所述AR眼镜和/或第二客户端定义必须执行的作业步骤,并对其作业过程进行图像采集以作确认。
变电检修作业执行方法如图2所示,包括以下步骤:
确定待执行的变电检修作业的流程大类,并基于第一客户端提供的自主编辑模板来编辑标准化作业的多级过程指导信息;
对各级过程指导确定其对应的步骤,并基于第一客户端提供的自主编辑模板来编辑每一级过程指导的图文指导、文本输入、检查项中的一种或多种的数据,以生成标准化作业的流程信息;
在第二客户端下载待执行的变电检修作业对应的标准化作业的流程信息;
基于AR眼镜和第二客户端播放所述标准化作业的流程信息,执行变电检修作业,并利用摄像头拍摄执行作业时的图像和/或视频;
将拍摄执行作业时的图像和/或视频通过所述第二客户端上传至服务器;
所述服务器通过参照标准化作业的流程信息,对所述执行作业时的图像和/或视频信息进行作业效率分析和/或合规性分析,以生成作业记录;根据工作场景参照标准作业流程或自有作业,最后将过程视频和过程中打点记录进行上传供分析决策。
通过所述第二客户端查看和/或下载所述作业记录。作业记录列表页面可以查看用户本人的作业记录的缩略图和一些其他信息,并且可以通过高级搜索进行检索过滤。可以修改作业的名称、备注等;企业管理员可以看到整个企业组内的作业记录,并且可以进行标记和删除操作;普通用户可以看到自己的标准作业记录。点击高级搜索,可以通过识别码或者名称等过滤标准作业。
点击具体的作业进入作业详情页面,页面分为作业详情页和作业报告页。作业详情页分为四部分:作业详情、作业效率分析、作业位置和作业流程报告。作业详情中可查看视频、调整进度、通过右键“另存为”下载;作业位置可以在地图上看到每个打点标记的位置信息;作业流程报告可以看到所有的信息记录结果和过程打点记录,并支持图片下载,如果该标准作业打开了过程录像,点击播放按钮可以播放对应节点的视频;作业报告页是作业记录的表格形式,点击“打印”按钮可以下载pdf报告。
AR眼镜的摄像头和显示屏处于人眼前端的位置,便于取景和观看;镜片组件与镜架之间采用磁吸式设计,便于佩戴和收纳;AR眼镜采用新型集成化主控芯片,内嵌矢量处理器,支持本地化的深度学习和计算机视觉计算;配置扬声器和麦克风,实现声音交互;配备物理按键,实现快捷操作;所有功能由固件驱动,通过设备服务程序实现,围绕“解放双手,提高效率,远程协作,智能识别”进行设计和优化。具体地,基于所述AR眼镜的AI语音模块,语音操控执行所述标准化作业的流程,包括以下步骤中的一种或多种:
发出扫码语音指令,则触发所述AR眼镜的摄像头进入扫描模式,若扫描到服务器为标准化作业预生成的作业码,并匹配到与之关联的标准化作业的流程信息,则所述第二客户端和AR眼镜直接进入该关联的标准化作业的流程;
发出记录指令,则触发所述AR眼镜的摄像头进入摄像模式,以获得执行作业时的图像和/或视频信息;
发出页面操作指令,则触发所述AR眼镜的显示屏显示相应的页面;
发出查看指令,则触发显示执行作业时的图像和/或视频信息;
发出输入指令,则触发所述AI语音模块将语音信息转为文字以作记录。
本发明提供的自主编辑变电检修作业培训系统还包括培训视频数据库;若执行变电检修作业的图像和/或视频信息的作业效率分析和/或合规性分析结果达到预设水平,则将该图像和/或视频信息存储到所述培训视频数据库,实现录制标准化作业的教学视频的功能,丰富培训资源。
如图7所示,所述服务器还被配置为为各个标准化作业的流程信息生成对应的作业码;这个作业码应该具有唯一可识别性,使其与一标准化作业一一对应。将作业码以二维码或条形码的方式打印出来,贴在相应的设备边上;利用第二客户端(移动端)或AR眼镜扫描所述作业码,则可以选择所述第二客户端和AR眼镜直接进入该作业码相关联的标准化作业的流程,以便于对该设备进行变电检修。比如可以通过短按AR眼镜上的按钮直接进入该作业码相关联的标准化作业的流程,或者长按该按钮以重新扫码。如果没有匹配到标准作业,则会给出未匹配到标准作业模板的提示。当匹配到过程记录,短按眼镜按钮即可开始工作和全程录像,进入作业后按步骤提示进行作业,在作业过程中可以进入下一步、查看附件和打点记录,作业过程中也可以进行扫码获取内容,如果是文字内容可以直接记录,如果是链接可以在手机端查看进入标准作业后。过程记录内容会给用户语音读出,用户可以通过手机界面、语音、头动进行交互。
在本发明的一个实施例中,所述AR眼镜还配置有AI语音模块,所述AI语音模块被配置为根据所述麦克风采集的语音指令触发所述AR眼镜的摄像头和/或显示屏,语音控制的准确高效,能够准确识别和响应语音指令,通过移动端语音控制流程运转,执行标准化作业步骤,实时拍照记录执行结果,解放作业人员双手。具体包括:
若所述麦克风采集到记录指令,比如“小亮记录”,则所述AI语音模块触发所述摄像头进入拍照或录像模式,以对当前设备或执行动作进行打点标记;
若所述麦克风采集到的扫码指令,比如“开启扫码”,则所述AI语音模块触发所述摄像头进入扫描模式;
若所述麦克风采集到的不同的页面控制指令,则所述AI语音模块触发所述显示屏显示相应的页面,比如“更多操作”,则弹出更多操作界面;比如“到下一步”,则跳转到下一个步骤。
在一具体的实施例中,由系统预设的语音指令库分为全局语音指令库和模块语音指令库,其中,所述模块语音指令库包括分别针对进入标准化作业的过程指导后的所述图文指导、文本输入、检查项的指令;比如,在图文指导中说出“查看附件”,则可以查看该步骤附带的图片或视频,说出“小亮拍照”,则可以拍照记录以作确认;在文本输入中说出“输入内容”,则可以将语音转化成文字以记录发现的问题;在检查项中说出“小亮拍照”,则启动摄像头进行拍照记录。
所述全局语音指令库包括进入标准化作业的过程指导之前,或者在切换标准化作业的不同级过程指导之间作出的触发所述AR眼镜的摄像头和/或显示屏的指令;比如说出“小亮记录”,即可打点标记;说出“开启扫码”,即可在任务中扫码;说出“更多操作”,即可弹出更多操作界面;说出“到下一步”,即可跳转到下一个步骤。
所述AI语音模块根据当前是否处于进入标准化作业的过程指导的状态确定所述模块语音指令库或全局语音指令库作为识别语音指令的依据,本实施例的语音控制采取全局语音和模块语音相结合的设计思路来提高语音识别和响应准确率。
此外,本实施例中,服务器还对各个标准化作业设有专家联系人,当在执行作业过程中,可以显示联系人的联系方式,供检修人员向专家发起指导请求。
系统的语音控制主要由语音信号检测和语音信号分析这两个步骤来实现。
首先,所述AI语音模块被配置为对所述麦克风采集到的语音信号进行检测,包括:
第一步、对语音信号进行分帧与加窗处理,得到多帧语音信号;分帧就是对语音信号进行分段,为确保语音信号的连续性,需要控制前后两帧语音信号重合度在5%以上;加窗就是对每帧语音信号进行加权运算,可以有效避免语音帧出现截断效应。
第二步、对相邻两帧语音信号进行交并比计算:IOU=(IJ)/(IJ),其中,IJ分别为相邻两帧语音信号,IOU为信号IJ的交并比;
若IOU的计算结果大于预设的阈值,则将信号IJ作为不同分析目标;否则将信号IJ作为同一分析目标。
根据上式对各帧语音信号进行检测之后,需要对语音信号进行分析,语音信号分析是语音控制技术的关键,只有分析出可以代表语音信号本质特征的参数,才可以进一步精准识别、控制语音信号。语音信号属于非平稳态过程,其特征参数具有多变性,本实施例中的AI语音模块还被配置为对检测到的各个分析目标进行语音分析,包括:
引入梅尔频率倒谱系数作为语音信号的特征参数:P 0=1125ln(1+P 1/700),其中,P 0表示以梅尔为单位的语音信号感知频率,P 1表示分析目标的实际语音信号频率。通过梅尔频率倒谱系数的计算公式来选取合理、有效的语音信号特征参数进行分析,并将分析结果当做人机交互功能的语义内容,可以有效提高语音识别的精准性。
目前检修培训的做法主要有两种,一即操作手册可视化,通过PSS系统将现有的巡检内容(如文字、图片、视频、3D动画)进行编辑,排序形成标准化的巡检流程,转化成可视化巡检资料,可快速更新迭代巡检资料,传输给智能眼镜终端,实时指引巡检人员如何完成标准规范的完成巡检工作;二即根据企业制度编辑软件定义,采集巡检过程中巡检人员的所有工作过程中的标准步骤节点数据,通过大数据分析巡检流程,智能化自动生成标准化巡检流程。相比于目前检修培训的做法,本实施例所设计的检修作业培训系统不局限于某项特定的作业或行业工作,而是自主编辑模板,采取灵活创建的思路,设计图文指导、文本输入和检查项三大类作业编辑工具,支持用户根据作业流程和作业规范,支持用户将需要的线性作业流程添加到系统中,设计标准化作业,并且在步骤保存后,可通过鼠标滑动悬停到相应步骤,支持编辑、删除和鼠标拖动调序,适应不同设备、不同型号保护装置的作业执行。基于5G设备和AR眼镜的自主编辑标准化检修作业培训系统具有良好的作业普适性和使用便捷性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种自主编辑变电检修作业培训系统,其特征在于,包括服务器及以下模块:
第一客户端,其被配置为提供自主编辑模板,以设计多种标准化作业的流程信息,并上传到所述服务器;所述第一客户端被配置为满足分级过程指导,包括将标准化作业的流程信息设计为多级过程指导,每一级过程指导的步骤支持图文指导、文本输入、检查项中的一种或多种数据类型;所述第一客户端被配置为能够对各级过程指导的步骤进行在线编辑、删除和调序;以及能够采用积木模块拼接的方式以每一级过程指导为单元进行复制;通过以下步骤实现自主编辑标准化作业:先根据作业的流程分类提供章节流程添加功能;再在每类章节流程中添加详细的步骤,添加时先进行步骤类型的选择,包括图文指导、文本输入、检查项三种,分别对应通过图片和文字指导作业人员前往相应变电设备或间隔开展相应作业、通过文本输入记录相关参数、检查相应设备的状态拍照记录等功能;通过拖拽类型、输入文字生成相应步骤;可拖拽自由更换已生成步骤间的顺序;
第二客户端,其被配置为向所述服务器请求下载与一目标作业对应的标准化作业的流程信息;
AR眼镜,其被配置为与所述第二客户端进行数据交互,包括:第二客户端或所述AR眼镜的扬声器播放所述目标作业对应的标准化作业的流程信息,且所述AR眼镜的显示屏显示流程的当前步骤;利用AR眼镜的摄像头采集执行变电检修作业的图像和/或视频信息,并通过所述第二客户端上传至所述服务器;
所述服务器被配置为为每一个目标作业生成可通过所述第二客户端查看和/或下载的作业记录,所述作业记录包括通过参照标准化作业的流程信息,对所述执行变电检修作业的图像和/或视频信息进行作业效率分析和/或合规性分析;
若在执行变电检修作业过程中选择图文指导的数据类型,则所述AR眼镜和/或第二客户端通过图片和文字指导作业人员前往相应变电设备以开展相应作业;若在执行变电检修作业过程中选择文本输入的数据类型,则通过所述AR眼镜和/或第二客户端记录执行作业中的相关参数;若在执行变电检修作业过程中选择检查项的数据类型,则通过所述AR眼镜和/或第二客户端定义必须执行的作业步骤,并对其作业过程进行图像采集以作确认;
所述第一客户端针对每一个标准化作业的流程信息配置有启用操作按钮,仅在一标准化作业的流程信息对应的启用操作按钮被激活的情况下,所述第二客户端能够查看到该标准化作业的流程信息;
所述服务器还被配置为为各个标准化作业的流程信息生成对应的作业码,响应于所述第二客户端和/或AR眼镜扫描所述作业码,则所述第二客户端和AR眼镜直接进入该作业码相关联的标准化作业的流程。
2.根据权利要求1所述的自主编辑变电检修作业培训系统,其特征在于,所述服务器还被配置为为各个标准化作业的流程信息生成对应的作业码;
响应于所述第二客户端和/或AR眼镜扫描所述作业码,则所述第二客户端和AR眼镜直接进入该作业码相关联的标准化作业的流程。
3.根据权利要求1所述的自主编辑变电检修作业培训系统,其特征在于,所述AR眼镜配置有麦克风和AI语音模块,所述AI语音模块被配置为根据所述麦克风采集的语音指令触发所述AR眼镜的摄像头和/或显示屏,包括:
若所述麦克风采集到记录指令,则所述AI语音模块触发所述摄像头进入拍照或录像模式;
若所述麦克风采集到的扫码指令,则所述AI语音模块触发所述摄像头进入扫描模式;
若所述麦克风采集到的不同的页面控制指令,则所述AI语音模块触发所述显示屏显示相应的页面。
4.根据权利要求3所述的自主编辑变电检修作业培训系统,其特征在于,由系统预设的语音指令库分为全局语音指令库和模块语音指令库,其中,所述模块语音指令库包括分别针对进入标准化作业的过程指导后的所述图文指导、文本输入、检查项的指令;
所述全局语音指令库包括进入标准化作业的过程指导之前,或者在切换标准化作业的不同级过程指导之间作出的触发所述AR眼镜的摄像头和/或显示屏的指令;
所述AI语音模块根据当前是否处于进入标准化作业的过程指导的状态确定所述模块语音指令库或全局语音指令库作为识别语音指令的依据。
5.根据权利要求3所述的自主编辑变电检修作业培训系统,其特征在于,所述AI语音模块被配置为对所述麦克风采集到的语音信号进行检测,包括:
对语音信号进行分帧与加窗处理,得到多帧语音信号;
对相邻两帧语音信号进行交并比计算:IOU=(IJ)/(IJ),其中,IJ分别为相邻两帧语音信号,IOU为信号IJ的交并比;
若IOU的计算结果大于预设的阈值,则将信号IJ作为不同分析目标;否则将信号IJ作为同一分析目标。
6.根据权利要求5所述的自主编辑变电检修作业培训系统,其特征在于,所述AI语音模块还被配置为对检测到的各个分析目标进行语音分析,包括:
引入梅尔频率倒谱系数作为语音信号的特征参数:P 0=1125ln(1+P 1/700),其中,P 0表示以梅尔为单位的语音信号感知频率,P 1表示分析目标的实际语音信号频率。
7.根据权利要求1所述的自主编辑变电检修作业培训系统,其特征在于,还包括培训视频数据库;
若执行变电检修作业的图像和/或视频信息的作业效率分析和/或合规性分析结果达到预设水平,则将该图像和/或视频信息存储到所述培训视频数据库。
8.根据权利要求1至7中任一项所述的自主编辑变电检修作业培训系统,其特征在于,所述第一客户端为web端,所述第二客户端为移动端,所述web端与移动端通过5G网络进行数据交互;
和/或,所述AR眼镜为无源头戴式人机交互设备,其通过数据连接线与安装所述第二客户端的智能移动终端连接,以由所述智能移动终端供电并与所述第二客户端进行数据交互。
9.根据权利要求8所述的自主编辑变电检修作业培训系统,其特征在于,采用5G公有云的网络部署,使业务交互、数据管理和后台运维在公有云端进行处理;
通过web端和/或移动端的权限设置及服务器端的加密来实现业务安全;及
通过使用云服务商提供的防火墙、网关、SLB的安全机制和/或采用安全校验和加解密的通讯协议来实现网络安全。
10.一种基于权利要求1至9中任一项所述的自主编辑变电检修作业培训系统的变电检修作业执行方法,其特征在于,包括以下步骤:
确定待执行的变电检修作业的流程大类,并基于第一客户端提供的自主编辑模板来编辑标准化作业的多级过程指导信息;
对各级过程指导确定其对应的步骤,并基于第一客户端提供的自主编辑模板来编辑每一级过程指导的图文指导、文本输入、检查项中的一种或多种的数据,以生成标准化作业的流程信息;
在第二客户端下载待执行的变电检修作业对应的标准化作业的流程信息;
基于AR眼镜和第二客户端播放所述标准化作业的流程信息,执行变电检修作业,并利用摄像头拍摄执行作业时的图像和/或视频;
将拍摄执行作业时的图像和/或视频通过所述第二客户端上传至服务器;
所述服务器通过参照标准化作业的流程信息,对所述执行作业时的图像和/或视频信息进行作业效率分析和/或合规性分析,以生成作业记录;
通过所述第二客户端查看和/或下载所述作业记录。
11.根据权利要求10所述的变电检修作业执行方法,其特征在于,基于所述AR眼镜的AI语音模块,语音操控执行所述标准化作业的流程,包括以下步骤中的一种或多种:
发出扫码语音指令,则触发所述AR眼镜的摄像头进入扫描模式,若扫描到服务器为标准化作业预生成的作业码,并匹配到与之关联的标准化作业的流程信息,则所述第二客户端和AR眼镜直接进入该关联的标准化作业的流程;
发出记录指令,则触发所述AR眼镜的摄像头进入摄像模式,以获得执行作业时的图像和/或视频信息;
发出页面操作指令,则触发所述AR眼镜的显示屏显示相应的页面;
发出查看指令,则触发显示执行作业时的图像和/或视频信息;
发出输入指令,则触发所述AI语音模块将语音信息转为文字以作记录。
CN202410022694.2A 2024-01-08 2024-01-08 自主编辑变电检修作业培训系统及变电检修作业执行方法 Active CN117522644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410022694.2A CN117522644B (zh) 2024-01-08 2024-01-08 自主编辑变电检修作业培训系统及变电检修作业执行方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410022694.2A CN117522644B (zh) 2024-01-08 2024-01-08 自主编辑变电检修作业培训系统及变电检修作业执行方法

Publications (2)

Publication Number Publication Date
CN117522644A CN117522644A (zh) 2024-02-06
CN117522644B true CN117522644B (zh) 2024-04-02

Family

ID=89749843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410022694.2A Active CN117522644B (zh) 2024-01-08 2024-01-08 自主编辑变电检修作业培训系统及变电检修作业执行方法

Country Status (1)

Country Link
CN (1) CN117522644B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782138A (zh) * 2019-10-10 2020-02-11 福建京力信息科技有限公司 一种基于移动互联ar技术开展工程质量通病治理平台
CN110992758A (zh) * 2019-12-02 2020-04-10 广东电网有限责任公司 一种基于虚拟现实技术的配网不停电作业培训系统
CN111722714A (zh) * 2020-06-17 2020-09-29 贵州电网有限责任公司 一种基于ar技术的数字化变电站计量运检辅助方法
CN113408761A (zh) * 2021-07-14 2021-09-17 喻海帅 基于vr虚拟现实技术的通信基础设施检修技能实训系统
CN114139968A (zh) * 2021-12-03 2022-03-04 四川奇焓科技有限公司 基于人工智能与知识图谱的电动列车装备检修实训考评系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782138A (zh) * 2019-10-10 2020-02-11 福建京力信息科技有限公司 一种基于移动互联ar技术开展工程质量通病治理平台
CN110992758A (zh) * 2019-12-02 2020-04-10 广东电网有限责任公司 一种基于虚拟现实技术的配网不停电作业培训系统
CN111722714A (zh) * 2020-06-17 2020-09-29 贵州电网有限责任公司 一种基于ar技术的数字化变电站计量运检辅助方法
CN113408761A (zh) * 2021-07-14 2021-09-17 喻海帅 基于vr虚拟现实技术的通信基础设施检修技能实训系统
CN114139968A (zh) * 2021-12-03 2022-03-04 四川奇焓科技有限公司 基于人工智能与知识图谱的电动列车装备检修实训考评系统

Also Published As

Publication number Publication date
CN117522644A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
US10192583B2 (en) Video editing using contextual data and content discovery using clusters
JP6893606B2 (ja) 画像のタグ付け方法、装置及び電子機器
US10074402B2 (en) Recording and providing for display images of events associated with power equipment
CN104115225B (zh) 利用去间隙成比例缩略图的双时间线的视频编辑软件
US20150279426A1 (en) Learning Environment Systems and Methods
KR20060128022A (ko) 사용성 테스트를 실시하기 위한 자동화 시스템 및 방법
CN111193890B (zh) 会议记录解析装置、方法和会议记录播放系统
CN101489073B (zh) 信息处理装置以及信息处理方法
JP3895892B2 (ja) マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体
US11037604B2 (en) Method for video investigation
CN108364653B (zh) 语音数据处理方法及处理装置
US20130094697A1 (en) Capturing, annotating, and sharing multimedia tips
CN110502117A (zh) 电子终端中的截图方法以及电子终端
CN105808231B (zh) 录制与播放脚本的系统及方法
CN106713859A (zh) 一种图片视觉监控搜索系统及其搜索方法
CN111881320A (zh) 一种视频查询方法、装置、设备及可读存储介质
CN117522644B (zh) 自主编辑变电检修作业培训系统及变电检修作业执行方法
CN109697235A (zh) 一种思维导图的自动转化方法及储存介质
CN111629267B (zh) 音频标注方法、装置、设备及计算机可读存储介质
EP3885987A1 (en) Systems and methods for creating a story board with forensic video analysis on a video repository
US11163822B2 (en) Emotional experience metadata on recorded images
CN109299345B (zh) 多通道人机环境测试数据同步平台项目预览系统和方法
CN112306601A (zh) 一种应用交互方法、装置、电子设备及存储介质
CN108280184B (zh) 一种基于智能笔的试题摘录方法、系统及智能笔
CN114245193A (zh) 显示控制方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant