CN112967402A - 基于全息影像的开关设备交互式培训系统 - Google Patents

基于全息影像的开关设备交互式培训系统 Download PDF

Info

Publication number
CN112967402A
CN112967402A CN202110145474.5A CN202110145474A CN112967402A CN 112967402 A CN112967402 A CN 112967402A CN 202110145474 A CN202110145474 A CN 202110145474A CN 112967402 A CN112967402 A CN 112967402A
Authority
CN
China
Prior art keywords
holographic image
holographic
server
image terminal
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110145474.5A
Other languages
English (en)
Inventor
李中旗
陈富国
闫亚刚
孙鹏
王大伟
吴军辉
杨卫国
蔡杰
李忠富
朱润东
赵营
侯永帅
杜坤
冯诏璠
赵张林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Pinggao Group Co Ltd
Henan Pinggao Electric Co Ltd
Original Assignee
State Grid Corp of China SGCC
Pinggao Group Co Ltd
Henan Pinggao Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Pinggao Group Co Ltd, Henan Pinggao Electric Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202110145474.5A priority Critical patent/CN112967402A/zh
Publication of CN112967402A publication Critical patent/CN112967402A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes

Abstract

本发明涉及基于全息影像的开关设备交互式培训系统,该系统包括教师端全息影像终端、学员端全息影像终端、交换机、服务器、与全息影像终端匹配的动作捕捉装置、3D眼镜、手持式控制设备,教师端全息影像终端、学员端全息影像终端分别与交换机通信连接,交换机与服务器通信连接,服务器与各动作捕捉装置通信连接,各动作捕捉装置获取各3D眼镜的定位信息,服务器根据该信息,通过交换机控制相应的全息影像终端进行开关设备的全息展示,实现人机交互;教师端全息影像终端控制连接学员端全息影像终端,用于进行学员端全息影像终端的控制管理。本发明的培训系统以全息形式直观地操作全息影像终端中开关设备的三维模型,有效提高学员的实操技能水平。

Description

基于全息影像的开关设备交互式培训系统
技术领域
本发明属于高压开关设备技术领域,具体涉及基于全息影像的开关设备交互式培训系统。
背景技术
开关类设备作为电力系统中重要的开断元件,随着电网规模的不断扩大,也将大量在电网中使用。在电网设备规模快速增长的同时,外部运行环境也日趋复杂,而开关设备作为电力系统中的关键主设备之一,一旦发生故障将会引起局部地区停电,严重时甚至会使电网发生大面积瘫痪,破坏电力系统的正常运行,造成经济的重大损失。为提升运维检修人员对开关设备的运维检修技能水平,通常需要对这些人员进行技能培训。
现有技术中存在一些用于训练运维检修人员的培训系统,这些培训系统在一定程度上提升了电力开关设备业务培训效果,但尚存在一些技术不足:
(1)申请公布号为CN111240490A,申请公布日2020-06-05的专利申请文件公开了一种基于VR虚-拟沉浸及环幕互动的设备绝缘试验培训系统,该系统通过VR虚拟现实的方式,实现了电力设备模型虚拟运维检修功能,但该方式为沉浸式,学员不能长期佩戴VR头盔,否则会出现程度不一的眩晕等情况,影响学员的培训效果。
(2)申请公布号为CN206441389U,申请公布日2017-08-25的专利申请文件公开了一种基于全息投影技术的电力仿真培训平台,该培训平台属于传统的电力仿真培训系统,以二维平面的视觉来完成相应的拆解、装配,不具备三维立体操作功能,且交互方式交互单一,系统操作界面友好性不高,培训效果较差。
发明内容
本发明的目的是提供一种基于全息影像的开关设备交互式培训系统,用于解决现有培训系统的培训效率低、培训效果差的问题,以及传统采用真实高压开关设备进行操作培训导致的安全性差和培训成本高的问题。
基于上述目的,一种基于全息影像的开关设备交互式培训系统的技术方案如下:
包括:教师端全息影像终端,学员端全息影像终端,交换机,服务器,与各全息影像终端匹配的动作捕捉装置、带定位装置的3D眼镜、手持式控制设备,其中,教师端全息影像终端、学员端全息影像终端分别与交换机通信连接,交换机与服务器通信连接,服务器与各动作捕捉装置通信连接,各动作捕捉装置用于获取各3D眼镜的定位信息,所述的服务器用于获取各动作捕捉装置的定位信息,通过交换机控制相应的全息影像终端进行开关设备的三维模型的全息展示,实现人机交互;
所述的教师端全息影像终端控制连接学员端全息影像终端,用于进行学员端全息影像终端的控制管理;所述的服务器与手持式控制设备通信连接,用于获取用户的控制指令,根据该控制指令控制开关设备的相应部件进行动作,并控制学员端全息影像终端进行3D动作展示。
上述技术方案的有益效果是:
通过本发明构建的培训系统,在三维虚拟环境中进行操作训练,确保了学员的人身安全,并以全息形式直观地操作全息影像终端中开关设备的三维模型,有效提高学员的实操技能水平,全面提升培训效果,解决了高压开关设备传统培训高危险与高成本的问题。
进一步的,为了确定手持式控制是否在可控范围,各手持式控制设备中均设置有定位装置,用于定位手持式控制设备的位置信息;各动作捕捉装置用于获取对应匹配的手持式控制设备的位置信息,将位置信息发送给服务器,服务器用于根据所述位置信息,确定手持式控制设备是否在可控范围。
进一步的,为了提高培训效果,所述的培训系统还包括3D投影机,及与该投影机配合使用的投影显示幕布,3D投影机与服务器通信连接,用于获取服务器中的数据,并向投影显示幕布上投影,进行全息展示。
进一步的,为了保证动作捕捉效果,各动作捕捉装置通安装在对应匹配的全息影像终端上。
附图说明
图1是本发明实施例中的开关设备交互式培训系统示意图;
图2是本发明实施例中开关设备交互式培训系统中服务器的软件构成示意图;
图3是本发明实施例中的开关设备交互式培训流程示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明。
本实施例提出一种基于全息影像的开关设备交互式培训系统,系统的硬件结构如图1所示,包括教师端全息影像终端,学员端全息影像终端L1~Ln,与各全息影像终端一一匹配的动作捕捉装置K1~K(n+1),交换机,服务器,3D投影机,带定位装置的3D眼镜(即3D头戴式成像设备),控制手柄(手持式控制设备)。
其中,教师端全息影像终端、学员端全息影像终端L1~Ln分别与交换机通信连接,交换机与服务器通信连接,服务器中部署有三个软件子系统,分别是:动作捕捉子系统、桌面全息子系统、分布式多人协同子系统,如图2所示。教师端全息影像终端和学员端全息影像终端用于通过交换机获取服务器的数据,在终端上进行全息展示。
本系统还包括一个与3D投影机配合使用的投影显示幕布,3D投影机与服务器通信连接,用于获取服务器中的数据,然后向投影显示幕布上投影,进行全息展示,方便教师向学员进行教学展示。
本系统中,3D眼镜和控制手柄的配置数量为n+1套,其中,其中一套3D眼镜和控制手柄与教师端全息影像终端匹配,剩余每一套3D眼镜和控制手柄与每个学员端全息影像终端进行匹配,用于实现用户与系统之间的人机交互,如开关设备三维解剖、虚拟装配、维修等。
本系统中,动作捕捉装置为n+1套,每套装置安装在对应匹配的教师端/学员端全息影像终端上,用于在学员带上3D眼镜后,获取各3D眼镜的定位信息,以确定学员的动作如头向左移、右移的距离和方位,服务器用于获取各动作捕捉装置的定位信息,通过交换机控制相应的全息影像终端进行开关设备的三维模型的全息展示,实现人机交互。
具体的,如图1所示,以其中一套3D眼镜、控制手柄、动作捕捉装置与一个学员端全息影像终端匹配为例,学员佩戴好3D眼镜并拿起控制手柄后,进行设备检修培训,动作捕捉装置利用设置在3D眼镜上的定位装置(小白球)进行定位,获取定位信息,例如学员头部的左移或右移信息,服务器根据该定位信息进行判断,若判定为学员未移动,则控制全息影像终端显示开关设备的三维模型不动;若判定为学员左移设定距离,则控制全息影像终端显示开关设备的三维模型相应的左移设定距离;同理,若判定为学员(及3D眼镜)右移设定距离,则控制终端显示三维模型时相应的右移设定距离即可。学员通过控制手柄进行控制操作,服务器与各控制手柄通信连接,用于从控制手柄处获取用户的控制指令,根据该控制指令控制相应部件进行动作,并控制学员端全息影像终端进行3D动作展示。
本系统中,各手持式控制设备中均设置有定位装置,用于定位手持式控制设备的位置信息;各动作捕捉装置用于获取对应匹配的手持式控制设备的位置信息,将位置信息发送给服务器,服务器用于根据设备的位置信息,确定手持式控制设备是否在可控范围。若判定在可控范围,则允许该设备进行操作作业;若判定为超出可控范围,即不在可控范围,则进行超出可控范围的提示,或者不提示,直接不允许进行操作作业。
本系统中,带定位装置的3D眼镜为现有装置,采用的型号为:峰米DLP-LINK;本系统中使用的动作捕捉装置也为现有装置,采用的型号为:NOLO CV1 Air VR定位交互套装。
图1中,教师端全息影像终端通信连接各学员端全息影像终端,用于获取各学员端全息影像终端的账户信息以及考核信息,方便进行各学员端全息影像终端的考核管理和账户管理。本实施例的教师端全息影像终端,还用于获取服务器中存储的三维模型库、课件案例库等进行管理,包括三维模型的增加与删减,课件案例的编辑及修改,考试的编排等。
本实施例的教师端全息影像终端和学员端全息影像终端进行全息展示的过程为:获取服务器中存储的模块化开关设备中各种结构及零部件的三维模型,通过虚拟现实平台OpenVRP渲染引擎生成全息3D立体影像,将运维检修实操、带电检测、典型缺陷模拟等课件内容以全息形式呈现在眼前。
本实施例的开关设备交互式培训系统,实现的培训内天包括对开关设备进行虚拟装配、维修检修、试验检测、故障模拟的实操训练。培训分为以下两种情况:
一种是老师利用教师端全息影像终端、3D投影机和投影显示幕布进行培训内容的讲解与演示,让学员在各自的全息影像终端上完成相应的作业任务。
另一种协同作业,几个学员分别通过各自的全息影像终端,进入同一个虚拟作业场景中,协同完成一个作业任务;当然,也可以是教师与几个学员在同一个虚拟场景中,协同完成一个作业任务。
本实施例中,进行的作业任务需要系统中的服务器、动作捕捉装置、教师端和学员端全息影像终端共同实现,基本流程如图3所示,以虚拟装配开关设备的某部件为例,首先,需要各学员在各自的全息影像终端进行账号登录,由教师在教师端全息影像终端选择装配开关设备零部件的作业任务,在各学员端全息影像终端上显示三维立体的开关设备和作业场景,各学员佩戴好3D眼镜,并手持控制手柄,进行开关设备零部件的装配作业,服务器通过控制手柄获取控制指令,控制各全息影像终端进行相应三维立体展示,实现人机交互,达到培训的目的。
为了验证本系统的可行性,本发明针对ZF27-1100(L)组合电器(GIS)、GXL5-1100(L)管道母线(GIL)、KYN28A-12开关柜、ZFN13-40.5充气柜共4种开关设备为研究对象,采用Autodesk 3ds MAX建模工具对上述4种开关设备进行三维仿真模型,采用Unity3D虚拟引擎开发平台对上述4种开关设备的三维模型渲染、光照、粒子特效、纹理贴图、骨骼动画、音频文件等内容进行开发,再通过C#实现整个系统的开发。
然后,开展开关设备的运维检修与全息影像深度融合技术研究,将开关设备的平面抽象概念形象立体化,三维画面悬浮在镜面成像达到全息投影的效果,利用光学动作捕捉技术实现跟踪眼部、手部位置,实现开关设备的人机交互。然后,研究并编制基于全息影像技术的开关设备维修检修实操教学课件库,包括以上4种开关设备的三维结构剖析、红外热像检漏、超声波局部放电检测、特高频局放带电检测、开关柜一次元器件(如电流互感器、熔断器、避雷器)检修与更换、手车检修与更换、三工位传动轴更换、电压互感器连接电缆安装共10个方面的虚拟装配、拆解、维修与检修等实操全息教学课件库制作、使用、学习、考核、管理等内容。
搭建好软件系统后,搭建如图1所示的硬件系统,进行现场试验,结果表明,学员可通过该系统可以不断学习设备的运维检修知识,提升业务水平,提高运维效率,降低了成本。
本发明的培训系统具有以下优点:
(1)采用全息影像、图像识别、人机交互、动作捕捉等技术,实现高压开关设备的虚拟装配、维修检修、试验检测、故障模拟等方面的虚拟三维仿真,在三维虚拟环境中进行高压开关设备的装配、拆解、维修、检修、试验等过程的演示和操作,使学员能够直观地操作开关设备模型。
(2)搭建了开关设备典型运维检修作业应用场景及系统,在三维虚拟环境中进行操作训练,确保了学员的人身安全,以全息形式直观地操作开关设备的三维模型,有效提高学员的实操技能水平,全面提升培训效果,解决了高压开关设备传统培训高危险与高成本的问题。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。

Claims (4)

1.基于全息影像的开关设备交互式培训系统,其特征在于,包括:教师端全息影像终端,学员端全息影像终端,交换机,服务器,与各全息影像终端匹配的动作捕捉装置、带定位装置的3D眼镜、手持式控制设备,其中,教师端全息影像终端、学员端全息影像终端分别与交换机通信连接,交换机与服务器通信连接,服务器与各动作捕捉装置通信连接,各动作捕捉装置用于获取各3D眼镜的定位信息,所述的服务器用于获取各动作捕捉装置的定位信息,通过交换机控制相应的全息影像终端进行开关设备的三维模型的全息展示,实现人机交互;
所述的教师端全息影像终端控制连接学员端全息影像终端,用于进行学员端全息影像终端的控制管理;所述的服务器与手持式控制设备通信连接,用于获取用户的控制指令,根据该控制指令控制开关设备的相应部件进行动作,并控制学员端全息影像终端进行3D动作展示。
2.根据权利要求1所述的基于全息影像的开关设备交互式培训系统,其特征在于,各手持式控制设备中均设置有定位装置,用于定位手持式控制设备的位置信息;各动作捕捉装置用于获取对应匹配的手持式控制设备的位置信息,将位置信息发送给服务器,服务器用于根据所述位置信息,确定手持式控制设备是否在可控范围。
3.根据权利要求1所述的基于全息影像的开关设备交互式培训系统,其特征在于,所述的培训系统还包括3D投影机,及与该投影机配合使用的投影显示幕布,3D投影机与服务器通信连接,用于获取服务器中的数据,并向投影显示幕布上投影,进行全息展示。
4.根据权利要求1或2所述的基于全息影像的开关设备交互式培训系统,其特征在于,各动作捕捉装置通安装在对应匹配的全息影像终端上。
CN202110145474.5A 2021-02-02 2021-02-02 基于全息影像的开关设备交互式培训系统 Pending CN112967402A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110145474.5A CN112967402A (zh) 2021-02-02 2021-02-02 基于全息影像的开关设备交互式培训系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110145474.5A CN112967402A (zh) 2021-02-02 2021-02-02 基于全息影像的开关设备交互式培训系统

Publications (1)

Publication Number Publication Date
CN112967402A true CN112967402A (zh) 2021-06-15

Family

ID=76272052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110145474.5A Pending CN112967402A (zh) 2021-02-02 2021-02-02 基于全息影像的开关设备交互式培训系统

Country Status (1)

Country Link
CN (1) CN112967402A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437824A (zh) * 2023-12-13 2024-01-23 江西拓世智能科技股份有限公司 演讲训练方法及相关装置
CN117437824B (zh) * 2023-12-13 2024-05-14 江西拓世智能科技股份有限公司 演讲训练方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154003A (zh) * 2017-06-01 2017-09-12 三峡大学 基于虚拟现实的传统手工艺保护与培训系统
WO2018006377A1 (zh) * 2016-07-07 2018-01-11 深圳狗尾草智能科技有限公司 实时互动动画的全息投影系统、方法及人工智能机器人
CN110189562A (zh) * 2019-06-24 2019-08-30 广东电网有限责任公司 一种电力设备全息3d教学系统及方法
CN110444066A (zh) * 2019-07-15 2019-11-12 贵州电网有限责任公司 基于全息教师及环幕互动的电气设备绝缘试验培训系统
CN111880666A (zh) * 2020-09-03 2020-11-03 徐明德 一种新型互动数码媒体融合展示集成设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018006377A1 (zh) * 2016-07-07 2018-01-11 深圳狗尾草智能科技有限公司 实时互动动画的全息投影系统、方法及人工智能机器人
CN107154003A (zh) * 2017-06-01 2017-09-12 三峡大学 基于虚拟现实的传统手工艺保护与培训系统
CN110189562A (zh) * 2019-06-24 2019-08-30 广东电网有限责任公司 一种电力设备全息3d教学系统及方法
CN110444066A (zh) * 2019-07-15 2019-11-12 贵州电网有限责任公司 基于全息教师及环幕互动的电气设备绝缘试验培训系统
CN111880666A (zh) * 2020-09-03 2020-11-03 徐明德 一种新型互动数码媒体融合展示集成设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
伊恩•克鲁克等: "《虚拟现实辅助机械设计》", pages: 256 - 33 *
马梦朝等: "配电网设备全息投影交互培训系统研究", 《国网技术学院学报》, vol. 19, no. 01, 28 February 2016 (2016-02-28), pages 40 - 44 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437824A (zh) * 2023-12-13 2024-01-23 江西拓世智能科技股份有限公司 演讲训练方法及相关装置
CN117437824B (zh) * 2023-12-13 2024-05-14 江西拓世智能科技股份有限公司 演讲训练方法及相关装置

Similar Documents

Publication Publication Date Title
CN111526118B (zh) 一种基于混合现实的远程操作引导系统及方法
CN102881202A (zh) 基于虚拟现实的有载分接开关检修实训方法
CN114612640A (zh) 一种基于混合现实技术的天基态势仿真系统
CN111738459A (zh) 基于ar技术的通信调运检全息专家系统
CN110827602A (zh) 一种基于vr+ar技术的电缆接头制作和运维技能培训装置及方法
CN111986334A (zh) Hololens和CAVE结合的虚拟体验系统及方法
Arendarski et al. Maintenance of complex machines in electric power systems using virtual reality techniques
CN105825272B (zh) 一种变电站的管理系统以及管理方法
Rosendo et al. Towards the development of a 3D serious game for training in power network maintenance
CN117409625A (zh) 一种基于混合现实的变电设备培训系统及方法
CN113128716A (zh) 作业指导交互方法及系统
Guo et al. Virtual environment conception for CBM of hydro-electric generating Units
CN112967402A (zh) 基于全息影像的开关设备交互式培训系统
Pan et al. Application of virtual reality technology in the maintenance of steam turbine
Schlueter Remote maintenance assistance using real-time augmented reality authoring
Nasyrov et al. Creation of interactive virtual reality scenarios as a training and education tool
CN116580610A (zh) 一种虚拟变电站运维vr培训与实景实训系统
Zhang et al. Design and application of electric power skill training platform based on virtual reality technology
CN114970177A (zh) 基于cave的沉浸式舰船动力仿真交互系统
KR20210091484A (ko) 전력기기의 가상 현실화면 처리장치 및 가상 현실화면 제공방법
Bi et al. Application of augmented reality (AR) technology in low-voltage line interruption training and power grid emergency training
Peng et al. Design and realization of augmented reality based operation training system for operation and maintenance personnel of intelligent transformer substation
Rocha et al. Augmented Reality Applied to Reducing Risks in Work Safety in Electric Substations.
Buriol et al. A virtual reality training platform for live line maintenance of power distribution networks
De Castro et al. ATreVEE IN: Using natural interaction in procedure simulator for training in the electricity sector

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination