CN110827602A - 一种基于vr+ar技术的电缆接头制作和运维技能培训装置及方法 - Google Patents

Abstract

本发明公开了一种基于VR+AR技术的电缆接头制作和运维技能培训装置及方法，由理论学习，电缆接头制作模拟、故障检修，考核评估四个部分组成。利用VR及AR技术所创造出的模拟环境高度还原电力作业现场，工作人员可以在不存在任何危险的状态下完成不同业务的模拟操作训练。本发明将有效解决传统电缆接头仿真模拟的不足，通过建立技术知识可视化界面和操作技能教学仿真环境，使受训人员能快速熟悉现场，熟练地进行各种操作，同时利用ST‑GCN算法进行人员动作行为识别分析，规范标准化人员操作，从而有效提高一线工作人员的业务水平。

Description

一种基于VR+AR技术的电缆接头制作和运维技能培训装置及 方法

技术领域

本发明涉及AR/VR以及深度学习技术领域，具体涉及一种基于VR+AR技术的电缆接头制作和运维技能培训装置及方法。

背景技术

近年来，电力电缆的应用非常广泛，主要是因为它的低成本和自身的一些优良特点，但与此同时，电力电缆也暴露出一些问题，其中最显著的问题就是后期维护工作难度较大。电力系统与我们的生活密不可分，其中电缆接头更是它的重要组成部分之。电缆接头制作流程复杂，难度高，不易掌握，并且电缆接头故障占据电缆故障和隐患的80％以上，一旦发生故障将直接影响着整个电力系统的安全运行。目前普遍应用的电缆接头制作及检修赋能主要是实施正面教育，规范员工行为，员工被动接受教育，而且模式不成体系，缺乏完善的科学论证，师资水平依然有限。其方式可分为两部分：理论学习、实操训练。传统理论学习环节，知识内容全面，理论性很强，但是不够形象生动，互动性不足，与生产实际相结合的效果不佳；而在实操训练环节，学员能够见到实际的作业对象，但是实操训练容易受到作业场地、作业装置的差异性、天气等因素制约，实操的机会和作业项目受到限制，赋能的实际效果不够理想，并且这种方式也不适合多人同时进行，仅依靠传统方式开展工作人员专业技能训练已不适应当前电网快速发展的需要。

发明内容

本发明的目的在于提供一种基于VR+AR技术的电缆接头制作和运维技能培训装置及方法，以克服现有技术存在的缺陷，本发明可以高度还原电力作业现场，工作人员可以在不存在任何危险的状态下完成不同业务的模拟操作训练。

为达到上述目的，本发明采用如下技术方案：

一种基于VR+AR技术的电缆接头制作和运维技能培训装置，包括理论学习模块、电缆接头制作模拟模块、电缆接头故障检修模块以及考核评估模块；

所述理论学习模块用于介绍电缆接头的制作流程、电缆接头的运维知识以及维修中应注意的问题；

所述电缆接头制作模拟模块基于VR技术，构建了不同电压等级下电缆接头的制作流程，实现电缆接头制作的人机交互；

所述电缆接头故障检修模块首先基于AR技术构建不同电压等级下电缆沟道内电缆接头的实景，进而基于VR+AR技术实现电缆接头常见故障模拟，并实现故障判断、故障分析、故障消除的引导性人机交互；

所述考核评估模块用于在操作人员通过前期理论学习、模拟操作的基础上，进行人员动作的识别分析，并对照标准操作进行分析、打分。

进一步地，所述电缆接头制作模拟模块基于VR技术建立包含3D动画、声音以及振动的虚拟环境系统，操作人员进行虚拟观摩及交互式的模拟操作训练时，将操作过程和结果通过仿真动画的形式可视化地呈现给操作人员。

进一步地，所述考核评估模块运用ST-GCN算法进行基于人体骨架关键点的人员动作的识别分析。

进一步地，运用ST-GCN算法进行基于人体骨架关键点的人员动作的识别分析具体为：首先制作基于大量标准操作动作数据的训练集，用训练集的视频特征训练分类器；其次对人员培训中的动作进行识别分类。

一种基于VR+AR技术的电缆接头制作和运维技能培训方法，包括以下步骤：

步骤一：操作人员通过理论学习模块学习电缆接头的制作流程、电缆接头的运维知识以及维修中应注意的问题；

步骤二：操作人员通过电缆接头制作模拟模块进行虚拟观摩及交互式的模拟操作训练，将操作过程和结果通过仿真动画的形式可视化地呈现给操作人员；

步骤三：操作人员通过电缆接头故障检修模块实现电缆接头常见故障模拟，并实现故障判断、故障分析、故障消除；

步骤四：在操作人员通过前期理论学习、模拟操作的基础上，通过考核评估模块进行人员动作的识别分析，对照标准操作进行分析、打分，与此同时，操作人员进入理论考试系统，答题完毕后会显示所得分数排名以及错误题目及正确答案，并将错误操作的正确动作画面显示给操作人员来进行校正。

与现有技术相比，本发明具有以下有益的技术效果：

本发明可以高度还原电力作业现场，工作人员可以在不存在任何危险的状态下完成不同业务的模拟操作训练。有效解决了传统电缆接头仿真模拟的不足，通过建立技术知识可视化界面和操作技能教学仿真环境，使受训人员能快速熟悉现场，熟练地进行各种操作，同时利用ST-GCN算法进行人员动作行为识别分析，规范标准化人员操作，从而有效提高一线工作人员的业务水平。

附图说明

图1为本发明实施例公开的装置整体结构示意图；

图2为本发明实施例公开的VR技术的工作原理图；

图3为本发明实施例公开的AR技术的工作原理图；

图4为本发明实施例公开的OpenPose的体系结构图；

图5为本发明实施例公开的ST-GCN网络模型框架；

图6为本发明实施例公开的装置硬件组成图。

具体实施方式

下面结合附图对本发明作进一步的描述：

参见图1至图6，一种基于VR+AR技术的电缆接头制作和运维技能培训装置，其中涉及到了时空图卷积网络(Spatial Temporal Graph Convolutional Networks，ST-GCN)进行动作行为识别分析。包括理论学习模块，电缆接头制作模拟模块，电缆接头故障检修模块，考核评估模块四个模块，在研究电缆接头制作及日常运维的基础上，结合最先进的计算机技术和网络技术，在仿真服务器上建立一个集理论学习、操作模拟、人员考核评估等多项功能为一体的仿真模拟装置，结合现代计算机VR及AR技术，深度学习领域的ST-GCN算法，辅以多种表现形式(包括实景录像视频、Flash动画等)，建立技术知识可视化界面和操作技能教学仿真环境，多角度阐述技术要点，并通过动作行为识别分析进行规范化操作培训。

基于VR技术的电缆接头制作模块开发。VR仿真基于“虚拟现实”技术，非常适合应用于复杂和危险工作环境下的仿真培训，特别适合电网实践操作模拟，受训人员以头戴式设备为主要输入工具，通过动作捕捉套件捕捉全身动作，就可以在虚拟场景中重构全身动作，体验亲手操作的感受。本发明的电缆接头制作模拟模块基于VR技术，针对不同的电缆电压等级，构建相对应的制作流程。通过应用计算机图形技术、多媒体技术、传感器技术、网络技术、立体显示技术以及仿真技术、人机交互技术等，模仿真实的电缆接头制作工作条件，生成多源信息融合的交互式三维动态视景和实体行为，使学员可以严格按照真实的情境来学习和训练如何处理工作中的实际问题，体现VR技术特有的沉浸感、交互性和想象性。

基于AR技术的电缆接头实景构建。增强现实技术将真实世界影像与设备模拟影像合成在用户的视觉角度上，通过运动相机或可穿戴显示装置的实时连续标定，将三维虚拟对象稳定一致地投影到用户视口中，达到“实中有虚”的表现效果，提高了用户体验感和可信度。电缆接头实景构建基于AR技术，通过全息投影，在透明光学元器件中把电缆接头信息叠加在现实世界的可视范围内，例如电缆接头的内部结构、电缆接头零件图等，电力工作人员佩戴AR眼镜等智能可穿戴设备，通过图像识别和增强现实技术，可以直观、快速的从云端业务大数据获取到不同电压等级下电缆接头的属性及参数，对现场工作人员开展试验、巡视、检查、维护等工作提供支持。

基于VR+AR技术的电缆接头常见故障模拟。本发明通过将虚拟现实技术与增强现实技术相结合，实现了对电缆接头常见故障的模拟，在新的可视化环境里，基于AR技术构建的物理电缆接头实景和基于VR实现的虚拟环境共存，并实时互动，实现了对电缆接头常见故障，例如发热，着火，击穿等的模拟，通过人机实时交互，可以引导学员实现对接头故障的准确判断，分析及消除，大大增强了用户体验的真实感，使学员可以在较短时间内掌握电缆接头的运维技能。电缆接头故障检修模块基于AR技术构建不同电压等级下电缆沟道内电缆接头的实景，将虚拟现实技术与增强现实技术相结合，实现电缆接头常见故障模拟，故障判断、故障分析、故障消除的引导性人机交互程序，通过人机实时交互，引导学员实现对接头故障的准确判断，分析及消除，使学员可以在短时间内掌握电缆接头的运维技能。

考核评估模块利用时空图卷积网络(ST-GCN)进行人员动作识别，对照标准操作进行分析、打分，并通过网络训练，找出出现频率较高的错误操作进行重点纠正培训；于此同时，学员进入理论考试系统，答题完毕后会显示所得分数排名，以及错误题目及正确答案，并将错误操作的正确动作画面显示给考核人员来进行校正。

本发明研制的基于深度学习领域的考核评估模块，主要运用ST-GCN算法进行基于人体骨架关键点的人员动作的识别分析。时空图卷积网络算法基于人类关节位置的时间序列表示而对动态骨骼建模，并将图卷积扩展为时空图卷积网络而捕捉这种时空的变化关系。基于骨骼的数据可以从运动捕捉设备或视频的姿态估计算法中获得。通常来说，数据是一系列的帧，每一帧都有一组联合坐标。给定2D或3D坐标系下的身体关节序列，我们就能构造一个时空图。其中，人体关节对应图的节点，人体身体结构的连通性和时间上的连通性对应图的两类边。因此，ST-GCN的输入是图节点的联合坐标向量。这可以被认为是一个基于图像的CNN模拟，其中输入由2D图像网格上的像素强度矢量形成。对输入数据应用多层的时空图卷积操作，可以生成更高级别的特征图。然后，它将被标准的SoftMax分类器分类到相应的动作类别，整个模型用反向传播进行端对端方式的训练。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于VR+AR技术的电缆接头制作和运维技能培训装置及方法。参见图1，其工作原理是，在研究电缆接头制作及日常运维的基础上，通过结合最先进的计算机技术、网络技术以及深度学习领域的ST-GCN算法，在仿真服务器上实现了理论学习、操作模拟、人员考核评估等多项功能。其中，理论学习模块详细介绍了电缆接头的制作流程，以及电缆接头的运维知识，维修中应注意的问题等内容；操作模拟主要包括电缆接头制作模拟及电缆接头运维操作，制作模拟模块基于VR技术，构建了不同电压等级下电缆接头的制作流程，实现电缆接头制作的人机交互；运维模拟模块首先基于AR技术构建不同电压等级下电缆沟道内电缆接头的实景，进而基于VR+AR技术实现电缆接头常见故障(发热、着火、击穿)模拟，并实现故障判断、故障分析、故障消除的引导性人机交互程序；考核评估是在受训人员通过前期理论学习、模拟操作的基础上，通过ST-GCN算法进行人员动作的识别分析，对照标准操作进行分析、打分，与此同时，学员进入理论考试系统，答题完毕后会显示所得分数排名，以及错误题目及正确答案，并将错误操作的正确动作画面显示给考核人员来进行校正。考试系统能够检查和记录操作的正确性并自动对学员操作予以评价，供公司人资部以及各地市公司参考。

下面结合实施例和具体实施方式对本发明作出进一步详细的说明。

实施例1

参见图1，研究基于VR技术的电缆接头制作模块。参见图2基于VR技术的电缆接头制作，在本项目中存在两种模式：虚拟观摩和模拟操作。本发明中，基于VR技术建立了一个包含3D动画、声音以及振动的虚拟环境系统，可通过视觉、听觉、触觉等形式反馈给操作人员。支持操作人员进行虚拟观摩及交互式的模拟操作训练，将操作过程和结果通过仿真动画的形式可视化地呈现出来，有效提高了学员的理论知识水平和实际操作经验。

实施例2

参见图3，研制基于AR技术电缆接头实景构建模块。基于增强现实技术构建的不同电压等级下电缆沟道内电缆接头的实景为电力工作人员开展试验、巡视、检查、维护等工作提供了有力支持，增强现实具有3个重要特性，也是其3大关键技术所在：①三维注册技术，即利用自动跟踪技术将虚拟模型和真实物体精确地对准；②虚实融合显示技术，使虚拟模型和真实世界中的物体共存于用户的视野中；③人机实时交互技术，用户可以与视野中的真实物体和虚拟物体进行实时的交互。

实施例3

研制基于VR+AR技术的电缆接头故障检修模块，包含三种故障情景模拟。虚拟现实的主要科学问题包括建模方法、表现技术、人机交互及设备这三大类，但目前来说存在一系列问题，主要问题包括建模工作量大，模拟成本高，与现实世界匹配程度不够以及可信度等，通过将AR技术与VR技术相结合，可以合并现实世界和虚拟世界而产生的新的可视化环境，在新的可视化环境里，物理和数字对象共存，并实时互动，是AR、VR技术的阶段性终极形态，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，实现电缆接头常见故障(发热、着火、击穿)模拟，并实现故障判断、故障分析、故障消除的引导性人机交互装置。

实施例4

研制基于深度学习领域的考核评估模块，主要运用ST-GCN算法进行基于人体骨架关键点的人员动作的识别分析。首先制作基于大量标准操作动作数据的训练集，用训练集的视频特征训练分类器。其次对人员培训中的动作进行识别分类，具体步骤如下所述：

1.参见图4，利用OpenPose方法对视频中人体进行姿态估计，提取视频中基于骨骼的数据，并在骨骼序列上构建时空图。其中涉及到如下算法：令和

表示图中的某个人k的两个关键点j₁和j₂对应的真实像素点，如果一个像素点p位于一个躯干上，值L^* _c,k(p)表示一个从关键点j₁到关键点j₂的单位向量，对于不在躯干上的像素点对应的向量则是零向量。下面这个公式给出了the groundtruth part affinity vector，对于图像中的一个点p其值L^* _c,k(p)的值如下：

其中，

表示这个躯干对应的单位方向向量。属于这个躯干上的像素点满足下面的不等式：

其中σ_l表示像素点之间的距离，躯干长度为

v_⊥表示垂直于v的向量。整张图像的the groundtruth part affinity field取图像中所有人对应的affinityfield的平均值，其中n_c(p)是图像中k个人在像素点p对应的非零向量的个数。

在预测的时候，我们用候选关键点对之间的PAF来衡量这个关键点对是不是属于同一个人。具体地，对于两个候选关键点对应的像素点

和

我们去计算这个PAF，如下式所示：

其中，p(u)表示两个像素点

和

之间的像素点：

使用时空卷积图去形成多层骨骼序列的表达。构建骨骼时空图G(V,E),帧数为T，关节点数为N。节点矩阵集合V＝{v_ti|t＝1,...,T,i＝1,...N}，包括骨骼序列上的所有的关节点。当ST-GCN作为输入的时候，关键点上的第t帧、第i个关节点的特征向量F(v_ti)是由坐标点坐标以及置信度组成。使用两步构建骨骼序列的时空图。第一步，帧与帧之间的边表示人体对应骨骼点的时序关系；第二步，在每一帧内部，按照人体的自然骨架连接关系构造空间图；

2.参见图5，应用多层时空图卷积操作(ST-GCN)，并逐渐在图像上生成更高级的特征图，具体算法如下：在骨架序列时空动态进行建模，将空间图CNN扩展到空间时间域。也就是说，将邻域的概念扩展为也包含时间连接的关节：

参数Γ控制时间范围以包含在邻居图中，因此可以称为时间内核大小。为了完成ST图上的卷积运算，还需要sampling function与weight function，sampling function与空间图唯一的情况相同，并且权重功能，或者特别是标签图l_ST。因为时间轴是有序的，所以直接修改标签映射l_ST，以便根据v_ti生成一个空间时间邻域：

通过图的邻接矩阵A与单位矩阵I表示单帧内的骨骼点的链接。ST-GCN的表示如下：

这里Λⁱⁱ＝∑_j(Α^ij+Ι^ij)。这里，多个输出通道的权重矢量被堆叠以形成权重矩阵W。实际上，在时空下，输入的特征图作为张量(C,V,T)维度。

将数据集中视频作为测试集，利用标准的Softmax分类器，基于标准动作训练好的分类器对测试集中的视频进行分类。最后，针对经过分类的人员动作与标准动作进行对照分析、打分，进行校正考核。于此同时，学员进入理论考试系统，答题完毕后会显示所得分数排名，以及错误题目及正确答案，并将错误操作的正确动作画面显示给考核人员来进行校正。

实施例5.

参见图6，研制基于VR+AR技术的电缆接头制作和运维模拟运行装置，包含一套VR眼镜和一套AR眼镜，与教员机、训练人员机配套使用。模拟装置硬件配置上遵循开放性、可靠性和灵活性的原则。硬件设备选取应当符合国际标准、具有当前国内先进水平、并在仿真行业中被广泛采用和认可的设备，以保证装置运行的可靠性。装置硬件物理结构主要包含仿真服务器(集成理论学习模块、电缆接头制作模拟模块、电缆接头故障检修模块以及考核评估模块)、教员机、仿真调度服务器、训练人员机、局域网互连设备、投影仪以及打印机等教学设备。

实施效果

通过实际的模拟培训，网络训练测试，本发明的基于VR+AR技术的电缆接头制作和运维技能培训方法，可以在不存在任何危险的状态下完成不同业务的模拟操作训练，同时利用ST-GCN算法进行人员动作行为识别分类。将分类精确度与人员动作评估分数一一对照，设定满分为10分，做如下假设，见表1：

表1分类精确度与人员动作评估分数对照表

精确度(P)	90％≤P<100％	80％≤P<90％	70％≤P<80％	60％≤P<70％	P<60％
						得分	10	9	8	7	2

培训初期，工作人员动作分类精确度的分布概率如表2所示：

表2培训初期工作人员动作分类精确度的分布概率

精确度(P)	90％≤P<100％	80％≤P<90％	70％≤P<80％	60％≤P<70％	P<60％
						分布概率	0.14	0.25	0.23	0.17	0.22

从表2可以发现，培训初期，工作人员动作标准程度一般，有接近40％的操作较为不规范。经过一段时间的培训，在与标准动作对比规范工作人员操作后，人员动作分类精确度的分布概率如表3所示：

表3培训后人员动作分类精确度的分布概率

精确度(P)	90％≤P<100％	80％≤P<90％	70％≤P<80％	60％≤P<70％	P<60％
						分布概率	0.42	0.31	0.18	0.07	0.02

从表3可以发现，经过一段时间的培训，工作人员操作标准化有了大大的提高，评估得分在八分以上的人员更是达到了90％以上。因此可以得出，本发明的基于VR+AR技术的电缆接头制作和运维技能培训装置及方法能够有效地提高一线工作人员的业务水平，具有较强的实用意义。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于VR+AR技术的电缆接头制作和运维技能培训装置，其特征在于，包括理论学习模块、电缆接头制作模拟模块、电缆接头故障检修模块以及考核评估模块；

所述理论学习模块用于介绍电缆接头的制作流程、电缆接头的运维知识以及维修中应注意的问题；

所述电缆接头制作模拟模块基于VR技术，构建了不同电压等级下电缆接头的制作流程，实现电缆接头制作的人机交互；

所述电缆接头故障检修模块首先基于AR技术构建不同电压等级下电缆沟道内电缆接头的实景，进而基于VR+AR技术实现电缆接头常见故障模拟，并实现故障判断、故障分析、故障消除的引导性人机交互；

所述考核评估模块用于在操作人员通过前期理论学习、模拟操作的基础上，进行人员动作的识别分析，并对照标准操作进行分析、打分。

2.根据权利要求1所述的一种基于VR+AR技术的电缆接头制作和运维技能培训装置，其特征在于，所述电缆接头制作模拟模块基于VR技术建立包含3D动画、声音以及振动的虚拟环境系统，操作人员进行虚拟观摩及交互式的模拟操作训练时，将操作过程和结果通过仿真动画的形式可视化地呈现给操作人员。

3.根据权利要求1所述的一种基于VR+AR技术的电缆接头制作和运维技能培训装置，其特征在于，所述考核评估模块运用ST-GCN算法进行基于人体骨架关键点的人员动作的识别分析。

4.根据权利要求3所述的一种基于VR+AR技术的电缆接头制作和运维技能培训装置，其特征在于，运用ST-GCN算法进行基于人体骨架关键点的人员动作的识别分析具体为：首先制作基于大量标准操作动作数据的训练集，用训练集的视频特征训练分类器；其次对人员培训中的动作进行识别分类。

5.一种基于VR+AR技术的电缆接头制作和运维技能培训方法，采用权利要求1所述的一种基于VR+AR技术的电缆接头制作和运维技能培训装置，其特征在于，包括以下步骤：

步骤一：操作人员通过理论学习模块学习电缆接头的制作流程、电缆接头的运维知识以及维修中应注意的问题；

步骤二：操作人员通过电缆接头制作模拟模块进行虚拟观摩及交互式的模拟操作训练，将操作过程和结果通过仿真动画的形式可视化地呈现给操作人员；

步骤三：操作人员通过电缆接头故障检修模块实现电缆接头常见故障模拟，并实现故障判断、故障分析、故障消除；

步骤四：在操作人员通过前期理论学习、模拟操作的基础上，通过考核评估模块进行人员动作的识别分析，对照标准操作进行分析、打分，与此同时，操作人员进入理论考试系统，答题完毕后会显示所得分数排名以及错误题目及正确答案，并将错误操作的正确动作画面显示给操作人员来进行校正。

Images