CN116225213A - 一种电网元宇宙系统及构建方法 - Google Patents

Abstract

本发明涉及增强现实技术领域，具体涉及一种电网元宇宙系统及构建方法，该系统包括：包括电网端设备、运维服务设备、用户端设备和力反馈设备；运维服务设备，包括电网端设备控制和环境信息采集处理模块、混合现实融合和建模处理模块、遥操作控制和力反馈处理模块；用户端设备包括MR头显、手持遥控操作设备；手持遥控操作设备包括多个映射关节和两个手爪控制器组成，多个映射关节分别对应作业机器人的机械手的多个轴，手爪控制器末端设有手柄。本发明可以将虚拟环境信息与摄像头实时图像相结合通过用户端设备反馈给工作人员，通过手持遥控操作设备、力反馈设备和作业机器人让工作人员不出门就可以完成生产作业，提升电网的智能化水平。

Description

一种电网元宇宙系统及构建方法

技术领域

本发明涉及增强现实技术领域，具体涉及一种电网元宇宙系统及构建方法。

背景技术

传统电网运行维护依靠人工参与，消耗的大量的人力物理，而且还存在大量的安全隐。现有的数字孪生电网在于将电网端数据回传回总服务器，进行数据分析后以枯燥的数据和报表的形式展示给工作人员，同时现阶段仅能实现监测电网的功能。电网的很多作业已经可以实现远程操作，很多现场数据也被采集了，但是使用率非常低，采集到的现场数据未能被充分有效使用起来。现有的虚拟显示设备交互方式单一，且应用到电力系统更是少之又少，因此迫切需要一种系统可以建立起工作人员和电网之间的交互，实现不去现场也可进行现场作业，提升电网的智能化水平。

发明内容

为解决现有技术所存在的技术问题，本发明提供一种电网元宇宙系统及构建方法，通过运维服务设备将真实电网场景和虚拟物体之间重叠之后，将虚拟环境信息与摄像头实时图像相结合通过用户端设备反馈给工作人员，通过手持遥控操作设备、力反馈设备和作业机器人让工作人员不出门就可以完成生产作业，提升电网的智能化水平。

本发明的第一个目的在于提供一种电网元宇宙系统。

本发明的第二个目的在于提供一种电网元宇宙系统构建方法。

本发明的第一个目的可以通过采取如下技术方案达到：

一种电网元宇宙系统，包括电网端设备、运维服务设备、用户端设备和力反馈设备，其中：

电网端设备包括电网端监测设备和电网端交互设备，电网端监测设备用于采集现场场景数据；电网端交互设备包括作业机器人，作业机器人用于执行电网端的作业任务操作和采集作业环境的信息；

运维服务设备，包括电网端设备控制和环境信息采集处理模块、混合现实融合和建模处理模块、遥操作控制和力反馈处理模块，电网端设备控制和环境信息采集处理模块用于对电网端设备的控制，对现场场景数据进行处理和序列化；混合现实融合和建模处理模块，用于将现场场景数据和电网端设备数据融合成三维实景视频流，通过用户端设备传送给工作人员；遥操作控制和力反馈处理模块用于采集手持遥控操作设备的控制信号和力反馈设备的反馈力信号；

用户端设备包括MR头显、手持遥控操作设备，MR头显包括控制器、与控制器相连的显示设备、无线通信模块、虚拟按键、声音采集器、位姿追踪器、定位装置；手持遥控操作设备包括多个映射关节和两个手爪控制器组成，多个映射关节分别对应作业机器人的机械手的多个轴，手爪控制器末端设有手柄。

本发明的第二个目的可以通过采取如下技术方案达到：

一种电网元宇宙系统构建方法，所述方法包括：

通过电网端监测设备采集基础场景数据信息，在运维服务设备的虚拟数据上选取需要搭建混合现实场景的地点，将基础场景数据信息渲染之后构建到虚拟场景中，通过运维服务器中的3D模型搭建虚拟电网场景，将虚拟电网场景嵌入到操作界面的视觉信息，渲染过后通过用户端设备展示给工作人员；

工作人员通过MR头显设备连接到运维服务设备，工作人员从运维服务设备选取人体3D模型作为自己的虚拟替身，该虚拟替身显示于虚拟场景中，当用户肢体、嘴巴、表情发生变化或移动时，虚拟替身也作出相应的变化或移动；

通过力反馈设备和作业机器人的控制系统和传感器系统构建工作人员与作业机器人在现实世界与虚拟世界的映射，通过手持遥控操作设备在虚拟场景中控制虚拟替身对作业机器人进行操作控制。

本发明与现有技术相比，具有如下优点和有益效果：

本发明提供了一种电网元宇宙系统及构建方法，通过运维服务设备将真实电网场景和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。将力、距离等虚拟环境信息与摄像头实时图像相结合通过用户端设备反馈给工作人员，将虚拟环境引入到现场场景中，同时在虚拟世界、现实世界、工作人员之间建立信息通路，增强工作人员的沉浸感和交互体验，通过手持遥控操作设备、力反馈设备和作业机器人让工作人员不出门就可以完成生产作业，提升电网的智能化水平。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明实施例中的电网元宇宙系统结构框图；

图2是本发明实施例中的手持遥控操作设备结构示意图；

图中标号为：1-映射关节，2-手爪控制器。

具体实施方式

下面将结合附图和实施例，对本发明技术方案做进一步详细描述，显然所描述的实施例是本发明一部分实施例，而不是全部的实施例，本发明的实施方式并不限于此。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明提供了电网元宇宙系统通过运维服务设备将真实电网场景和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。将力、距离等虚拟环境信息与摄像头实时图像相结合通过用户端设备反馈给工作人员。将虚拟环境引入到现场场景中，同时在虚拟世界、现实世界、工作人员之间建立信息通路，增强工作人员的沉浸感和交互体验，根据电网端设备的数据充通过遥控技术、混合现实技术让工作人员不出门就可以完成生产作业，提升电网的智能化水平。

如图1-2所示，一种电网元宇宙系统，电网元宇宙系统包括电网端设备、运维服务设备、用户端设备和力反馈设备，其中：

电网端设备包括电网端监测设备和电网端交互设备，电网端监测设备用于采集现场场景数据，场景数据包括温度、湿度、风力、天气、周围环境图像等。电网端监测设备包括摄像头、双目相机、全景摄像头、红外测温传感器、激光传感器、气体传感器和超声传感器等。其中，摄像头设备采集电网设备和部分环境的图像信息，超声传感器用于采集距离信息，温湿度传感器采集环境的温度、湿度，气体传感器用于采集集电缆沟内气体成分。

电网端交互设备包括作业机器人、喊话器、照明灯等，喊话器用于远程喊话，照明灯安用于补充现场光照。作业机器人用于执行电网端的作业任务操作和采集作业环境的信息，作业任务包括紧固螺丝、清洁灰尘、清除障碍物等。

作业机器人包括机器人本体、机械手、运动导轨、作业工具和传感器系统，运动导轨安装于电网杆塔、电缆管廊等设备设施上，机器人本体在运动导轨上运动以到达预定的工作位置，机器人本体搭载机械手，作业工具安装于机械手末端，用于完成作业操作。传感器系统安装于机械手末端，必要时配备视觉升降台。传感器系统包括ToF视觉传感器或深度视觉传感器、机器人关节角度触感器、激光雷达、超声波雷达、摄像头和气象站等。传感器系统用于采集作业环境的信息，包括作业环境的三维实体信息、作业机器人自身的姿态、视觉信息和环境气象信息等，并以环境重构的方式显示在工作人员的头显设备中。

运维服务设备，包括电网端设备控制和环境信息采集处理模块、混合现实融合和建模处理模块、遥操作控制和力反馈处理模块。其中，电网端设备控制和环境信息采集处理模块用于对作业机器人、电网端监测设备的控制，对现场场景数据进行处理和序列化等工作。混合现实融合和建模处理模块，用于将现场场景数据和电网端设备融合成三维实景视频流，通过用户端设备传送给工作人员。遥操作控制和力反馈处理模块用于采集手持遥控操作设备的控制信号和力反馈设备的反馈力信号。

力反馈设备，用于获取作业机器人的传感器系统的状态反馈，再现工作人员对环境力觉的感知，当工作人员使用手持遥控操作设备与虚拟环境交互时，力反馈设备通过传感器实时测量工作人员的行为(包括位置、姿态和速度等)，并将数据传输给运维服务设备，同时机械手上安装的力传感器将力信息传送给虚拟环境，虚拟环境产生的大量矢量力数据通过力反馈设备反作用于工作人员，使工作人员感受到与操作真实物体相同的力觉感受。

用户端设备包括MR头显、手持遥控操作设备，MR头显包括控制器、与控制器相连的显示设备、无线通信模块、虚拟按键、声音采集器、位姿追踪器、定位装置等。MR头显用于显示现场实际场景、显示预定的虚拟场景、显示现实与虚拟结合的场景，现实场景来源于电网端监测类设备采集数据，虚拟场景来源于运维服务设备预先设定数据，现实与虚拟结合的场景包含现场场景与虚拟场景的叠加，也包括现场场景与虚拟场景的过滤。虚拟按键包括电网端交互执行类设备控制按钮、电网端监测类设备开关按钮，当工作人员通过位姿追踪设备点击按钮后虚拟替身手也会执行相应操作。

MR头显设备用于显示作业机器人的机械手末端摄像头的视觉信息，形成临场效果，同时检测工作人员的头部姿态，将工作人员头部的运动映射到机械手末端摄像头，提供身临其境的操控感，方便工作人员调整视角。

如图2所示，手持遥控操作设备包括多个映射关节1和两个手爪控制器2组成，多个映射关节分别对应作业机器人的机械手的多个轴，手爪控制器末端设有手柄，手柄用于UI交互、云台控制、作业机器人的机械手使能等。

手持遥控操作设备采用主从臂作业方式，工作人员双手分别手持两个手爪控制器，带动控制映射系统各个关节运动，关节角度经过信息处理单元解算，将控制指令发送至作业机器人，作业机器人的机械手做出相应动作。

优选地、手持遥控操作设备的自由度数与作业机器人的机械手的实际自由度数相吻合，工作人员通过控制手爪控制器末端的手柄的位置将机械手实时操作位置的关节动作映射给机器人，以保证机器人操控的实时性和准确性。操控系统的实时性通过专用链路通信设备可保持在较低延迟下，力反馈信息则通过头显和振动机制反馈给工作人员。

位姿追踪设备，用于将人手的动作通过虚拟人手的行为传递给交互执行设备，例如可以遥控带电作业机器人开展带电检修工作，控制现场打印机打出相应内容并利用机械臂进行粘贴、控制喊话器打开关闭、摄像头打开关闭、照明灯打开关闭等。

MR头显设备的声音采集器用于将工作人员的声音传递给电网端设备，通过喊话器向现场发送指令或者通知，也可通过视频电话与现场进行直接对话。MR头显设备会将视屏流接到显示屏上，同时显示屏具有录播功能，将MR头显中看到的画面保存下来。

MR头显设备具有连接后台云端的功能，通过连接后台云端实现云打印、云识别等功能，将MR头显中看到的画面物理保存下来，将一些设备现场的设备信息二维码、资产编号二维码等信息识别出来。

在电网架空领域的实施例中，摄像头设备安装于架空线杆/塔上，方向朝向线航，可360水平旋转，180度俯仰转动，采集电网设备和部分环境信息。超声传感器安装于杆塔、以及架空线航上，用于采集距离信息。执行设备中机器人安装于杆塔上靠近绝缘子位置，并在杆塔上安装机器人运行轨道，机器人可在运行轨道上移动从而完成不同工作任务，工作任务包括紧固螺丝、清洁灰尘、清除障碍物等。喊话器安装于杆塔中上部，通过控制器可利用喊话器实现远程喊话功能。

在电网电缆管廊领域的实施例中：摄像头设备安装于电缆沟上方，方向朝向电缆方向，可360水平旋转，180度俯仰转动，采集电网设备和部分环境信息。超声传感器安装于电缆沟以及电缆线航上，用于采集距离信息。温度、湿度传感器安装于电缆沟内壁，采集环境信息。气体传感器安装于电缆沟顶部用于收集电缆沟内气体成分。执行设备中机器人安装于电缆沟内壁，并在电缆沟内壁上安装机器人运行轨道，机器人可在运行轨道上移动从而完成不同工作任务，工作任务包括清洁灰尘、清除障碍物等。喊话器安装于杆塔中上部，通过控制器可利用喊话器实现远程喊话功能。照明灯安装于电缆沟内壁，通过控制器可利用照明灯实现电缆沟内光线补充。

工作人员通过用户端设备连接到运维服务设备，在运维服务设备的虚拟数据上选取需要搭建混合现实场景的地点，将电网端设备信号、电力设施数据、环境数据和地理数据分别接入运维服务设备进行虚拟场景构建，电力设备模型则放置于混合现实场景的地点上，进行混合现实的渲染，渲染过后接入用户端设备展示给工作人员。工作人员从运维服务设备选取人体3D模型作为自己的虚拟替身，该虚拟替身显示于虚拟场景中，当工作人员肢体、嘴巴、表情发生变化或移动时，虚拟替身也作出相应的变化或移动。

两个或多个工作人员可同时进入同一虚拟场景，并在虚拟场景内进行交互。两个或多个工作人员可不在同一个地点，交互方式为当一个人进行电网端设备操作时，其他人的虚拟环境中也做出相应的操作。另外当一个人触碰另一个人时，另一个人位置设备的力传感设备产生反应，从而产生感知进行肢体动作交互。

实施例2：

基于实施例1中的电网元宇宙系统，本实施例还提供一种电网元宇宙系统的构建方法，包括步骤：

通过电网端监测设备采集基础场景数据信息，在运维服务设备的虚拟数据上选取需要搭建混合现实场景的地点，将基础场景数据信息渲染之后构建到虚拟场景中，通过运维服务器中的3D模型搭建虚拟电网场景，将虚拟电网场景嵌入到操作界面的视觉信息，渲染过后通过用户端设备展示给工作人员；

工作人员通过MR头显设备连接到运维服务设备，工作人员从运维服务设备选取人体3D模型作为自己的虚拟替身，该虚拟替身显示于虚拟场景中，当工作人员肢体、嘴巴、表情发生变化或移动时，虚拟替身也作出相应的变化或移动；

通过力反馈设备和作业机器人的控制系统和传感器系统构建工作人员与作业机器人在现实世界与虚拟世界的映射，通过手持遥控操作设备在虚拟场景中控制虚拟替身对作业机器人进行操作控制。采用这种操控方式，可以有效避免眩晕感，并提供最全面的环境信息，有助于操控过程的效率提升。

运维服务器中的3D模型包含电力设备3D模型、电力设施3D模型、人体3D模型、地图数据、环境3D模型和电网端设备3D模型、用户端设备3D模型，电力设备3D模型，包括电力电缆3D模型、架空线3D模型、断路器3D模型、隔离开关3D模型、变压器3D模型、DTU无线终端设备3D模型、FTU配电开关监控终端3D模型、避雷器3D模型、杆塔3D模型、跌落式熔断器3D模型、电表3D模型、终端3D模型、监控模块3D模型等。电力设施3D模型包括电缆管廊3D模型、开关房3D模型、防水浸设施3D模型、防鼠设施3D模型、防尘设施3D模型、防盗设施3D模型等。地图数据包括杆塔号、配电站位置、台架位置、开关房位置、管廊路径、开关位置、架空线位置、道路、街道、重要工作人员所在位置、村庄、城镇、建筑等。环境3D模型包含文字或二维码标识、天气、外力施工点、树障隐患、安全距离、积水深度、火灾、塌方等数据。电网端设备3D模型包括摄像头3D模型、双目相机3D模型、全景摄像头3D模型、红外测温传感器3D模型、激光传感器3D模型和超声传感器3D模型；照明灯3D模型、喊话器3D模型、清洗枪3D模型、激光炮3D模型、打印机3D模型、带电作业机器人3D模型和视频通话设备3D模型。用户端设备3D模型包括MR头显3D模型、控制器3D模型、电源模块3D模型、通信模块3D模型、位姿追踪设备3D模型、声音采集设备3D模型、显示屏幕3D模型。

运维服务设备将电网端设备控制和环境信息采集处理模块对电网端监测设备采集的基础场景数据信息进行融合处理，通过混合现实融合和建模处理模块进行虚拟电网场景的基础搭建，调用运维服务器中的3D模型融入到虚拟电网场景中，包括温度、湿度、风力、天气、周围环境等模型，将现场环境1:1的成像到虚拟环境中。

优选地，结合电网运行指导书将一些设备的安全距离等约束情况，加入到虚拟环境中，框处电力设备的安全运行边界信息。

虚拟环境搭建完成后，电网工作人员可通过工作人员设备进入虚拟环境，接入虚拟环境后，会将人体3D模型同步建立到虚拟世界电网场景中，手握控制设备的工作人员进行什么操作，虚拟人物将同步进行操作。例如工作人员仰头，摄像头会跟随仰视，将工作人员想要看到的东西展示出来；工作人员拿起清洁抹布，机器人也会拿起清洁抹布，进行清洁工作；工作人员通过打开的照明灯，可方便工作人员看清楚管廊信息；工作人员发现现场有其他人或者机械进入电网保护范围内后，对其进行讲话，驱逐其离开，如若有需要可通过视频进行现场细节沟通；当现场机器人距离带电设备安全距离不足时，虚拟世界会显示红灯提醒工作人员，位姿设备也会震动提醒工作人员。

整个作业过程会呈现在工作人员端的显示屏上，监护人可对工作人员的整个作业过程进行监护，保证电网安全运行。显示屏上设置有紧急停止按钮，监护人可通过该按钮直接停止工作人员的一切操作。显示屏中可显示每次进入虚拟世界的数据对比，自动分析电网的运行环境变化，并形成报告，指导操作人员进行相应作业。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种电网元宇宙系统，其特征在于，包括电网端设备、运维服务设备、用户端设备和力反馈设备，其中：

电网端设备包括电网端监测设备和电网端交互设备，电网端监测设备用于采集现场场景数据；电网端交互设备包括作业机器人，作业机器人用于执行电网端的作业任务操作和采集作业环境的信息；

运维服务设备，包括电网端设备控制和环境信息采集处理模块、混合现实融合和建模处理模块、遥操作控制和力反馈处理模块，电网端设备控制和环境信息采集处理模块用于对电网端设备的控制，对现场场景数据进行处理和序列化；混合现实融合和建模处理模块，用于将现场场景数据和电网端设备数据融合成三维实景视频流，通过用户端设备传送给工作人员；遥操作控制和力反馈处理模块用于采集手持遥控操作设备的控制信号和力反馈设备的反馈力信号；

用户端设备包括MR头显、手持遥控操作设备，MR头显包括控制器、显示设备、无线通信模块、虚拟按键、声音采集器、位姿追踪器、定位装置，显示设备、无线通信模块、虚拟按键、声音采集器、位姿追踪器、定位装置均与控制器连接；手持遥控操作设备包括多个映射关节和两个手爪控制器组成，多个映射关节分别对应作业机器人的机械手的多个轴，手爪控制器末端设有手柄。

2.根据权利要求1所述的一种电网元宇宙系统，其特征在于，所述电网端监测设备，包括摄像头、双目相机、全景摄像头、红外测温传感器、激光传感器、气体传感器和超声传感器。

3.根据权利要求1所述的一种电网元宇宙系统，其特征在于，所述作业机器人包括机器人本体、机械手、运动导轨、作业工具和传感器系统，机器人本体在运动导轨上运动，机器人本体搭载机械手，作业工具安装于机械手末端，传感器系统安装于机械手末端。

4.根据权利要求3所述的一种电网元宇宙系统，其特征在于，所述传感器系统包括ToF视觉传感器或深度视觉传感器、机器人关节角度触感器、激光雷达、超声波雷达、摄像头和气象站。

5.根据权利要求3所述的一种电网元宇宙系统，其特征在于，所述电网端交互设备还包括电网端的喊话器、照明灯等，喊话器用于远程喊话，照明灯安用于补充作业现场光照。

6.根据权利要求3所述的一种电网元宇宙系统，其特征在于，所述手持遥控操作设备的自由度数与作业机器人的机械手的自由度数相吻合，工作人员通过控制手爪控制器末端的手柄的位置将机械手实时操作位置的关节动作映射给作业机器人。

7.根据权利要求6所述的一种电网元宇宙系统，其特征在于，所述MR头显设备用于显示作业机器人的机械手末端摄像头的视觉信息，检测工作人员的头部姿态，将工作人员头部的运动映射到机械手末端摄像头。

8.一种电网元宇宙系统的构建方法，其特征在于，包括步骤：

通过电网端监测设备采集基础场景数据信息，在运维服务设备的虚拟数据上选取需要搭建混合现实场景的地点，将基础场景数据信息渲染之后构建到虚拟场景中，通过运维服务器中的3D模型搭建虚拟电网场景，将虚拟电网场景嵌入到操作界面的视觉信息，渲染过后通过用户端设备展示给工作人员；

工作人员通过MR头显设备连接到运维服务设备，工作人员从运维服务设备选取人体3D模型作为自己的虚拟替身，该虚拟替身显示于虚拟场景中，当用户肢体、嘴巴、表情发生变化或移动时，虚拟替身也作出相应的变化或移动；

通过力反馈设备和作业机器人的控制系统和传感器系统构建工作人员与作业机器人在现实世界与虚拟世界的映射，通过手持遥控操作设备在虚拟场景中控制虚拟替身对作业机器人进行操作控制。

9.根据权利要求8所述的一种电网元宇宙系统的构建方法，其特征在于，所述运维服务器中的3D模型包括电力设备3D模型、电力设施3D模型、人体3D模型、地图数据、环境3D模型和电网端设备3D模型、用户端设备3D模型。

10.根据权利要求9所述的一种电网元宇宙系统的构建方法，其特征在于，所述通过运维服务器中的3D模型搭建虚拟电网场景，将虚拟电网场景嵌入到操作界面的视觉信息，包括：根据电网运行指导书将电力设备的安全距离加入到虚拟环境中，框处电力设备的安全运行边界信息。

Images