CN114784701A - 配电网带电作业自主导航方法、系统、设备及存储介质 - Google Patents

Abstract

本发明公开了一种配电网带电作业自主导航方法、系统、设备及存储介质，包括：获取配电网带电作业机器人的环境状态参数；将获取得到的配电网带电作业机器人的环境状态参数输入到训练后的配电网带电作业机器人的控制模型中，得配电网带电作业机器人的控制信息，根据所述配电网带电作业机器人的控制信息对配电网带电作业机器人进行控制，完成配电网带电作业自主导航，其中，所述配电网带电作业机器人的控制模型通过配电网带电作业数字孪生系统生成的环境状态参数样本进行训练，该方法、系统、设备及存储介质能够提高配电网带电作业的准确性。

Description

配电网带电作业自主导航方法、系统、设备及存储介质

技术领域

本发明属于配电网作业技术领域，涉及一种配电网带电作业自主导航方法、系统、设备及存储介质。

背景技术

配电网是保障人民用电安全的基础条件，对构建和谐、稳定的电力生产环境有着积极重大的意义。我国实际运行的配电线路超过40万条，长度超过300万公里。其中，电缆约占15％，架空线路仍然是配电网的主网架，而且在今后相当长时间内不会有大的改变。目前，配电网运维作业的传统人工操作存在人员有限、需长期培训、劳动强度大、安全风险高、误操作隐患大等诸多不足。可灵活控制的机械臂为配电网带电作业提供了新的解决方案，国内外均对配电网带电作业机器人开展了大量的研发工作。但现有10kV配电网带电作业机器人多为主从式人工操作型机器人，作业时需要操作员站立于升起的绝缘斗内，通过操作控制杆来控制机械臂完成作业，其定位方式主要为摄像机观察或操作员目测观察。现有作业方式存在以下问题：机器人本体与高压线本体直接接触操作员近距离作业，需要考虑电气安全问题；主从式的操作方式对控制精度要求高，人工操作需要熟练的技术作为支撑；为保持安全作业距离常选择远距离作业路径，从而降低作业效率；以目测观察和固定摄像机拍摄易造成障碍遮挡视线，无法准确把握距离信息，造成臂体碰线等危险。

为进一步适应复杂多变的配电网10kV线路场景，已有研究机构和人员试图基于配电网带电作业机器人，利用基于搜索的空间路径规划与基于深度强化学习的训练学习来开展机械臂作业的自主控制、避障及路径规划，其搜索空间及训练环境的准确性直接影响最终效果，参考图1，然而现有技术中存在训练过程中训练样本困难，同时样本数目较少，从而影响配电网带电作业的准确性。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种配电网带电作业自主导航方法、系统、设备及存储介质，该方法、系统、设备及存储介质能够提高配电网带电作业的准确性。

为达到上述目的，本发明采用如下技术方案：

本发明一方面，本发明提供了一种配电网带电作业自主导航方法，包括：

获取配电网带电作业机器人的环境状态参数；

将获取得到的配电网带电作业机器人的环境状态参数输入到训练后的配电网带电作业机器人的控制模型中，得配电网带电作业机器人的控制信息，根据所述配电网带电作业机器人的控制信息对配电网带电作业机器人进行控制，完成配电网带电作业自主导航，其中，所述配电网带电作业机器人的控制模型通过配电网带电作业数字孪生系统生成的环境状态参数样本进行训练。

本发明所述配电网带电作业自主导航方法进一步的改进在于：

所述将获取得到的配电网带电作业机器人的环境状态参数输入到训练后的配电网带电作业机器人的控制模型中之间还包括：

建立配电网带电作业数字孪生系统；

建立配电网带电作业机器人的控制模型；

通过所述配电网带电作业数字孪生系统生成环境状态参数样本；

利用生成的所述环境状态参数样本对所述配电网带电作业机器人的控制模型进行训练。

所述建立配电网带电作业数字孪生系统的具体过程为：

对配电网带电作业目标进行三维建模，以形成配电网带电作业场景数据孪生体；

对配电网带电作业机器人中的移动机构、作业臂支撑平台、作业臂、视觉传感器及激光雷达进行三维建模，以形成配电网带电作业机器人数字孪生体；

建立物理引擎，其中，所述物理引擎用于配电网带电作业场景数字孪生体及配电网带电作业机器人数字孪生体在虚拟空间内的动态仿真；

建立交互接口，其中，所述交互接口用于配电网带电作业数字孪生系统与配电网带电作业机器人的控制模型之间静态约束及动态变量的交互。

所述静态约束包括配电网带电作业场景的空间位置信息、配电网带电作业目标的空间位置信息及作业臂尺寸信息。

所述动态变量包括作业臂支撑平台的空间位置信息、机械臂末端的位置信息及机械臂距作业目标的相对距离信息。

所述机械臂末端的位置信息为：

其中，M_x、M_y及M_z为机械臂末端在三维空间xyz中的坐标，M_{init_x}、M_{init_y}及M_{init_z}为机械臂末端在三维空间xyz中的起始点坐标，L₁、L₂及L₃为六自由度机械臂的三个关节长度；θ₁、θ₂及θ₃为以三个关节原点为顶点，z轴为轴，半顶角为θ₁、θ₂及θ₃的圆锥面；

及

为以z轴为边并与坐标平面zOx构成角

及

的半平面。

机械臂距作业目标的相对距离根据作业目标的空间坐标与机械臂末端坐标的向量表示为：

其中，L向量的模为作业臂末端距作业目标的相对距离。

本发明二方面，本发明提供了一种配电网带电作业自主导航系统，包括：

获取模块，用于获取配电网带电作业机器人的环境状态参数；

导航模块，用于将获取得到的配电网带电作业机器人的环境状态参数输入到训练后的配电网带电作业机器人的控制模型中，得配电网带电作业机器人的控制信息，根据所述配电网带电作业机器人的控制信息对配电网带电作业机器人进行控制，完成配电网带电作业自主导航，其中，所述配电网带电作业机器人的控制模型通过配电网带电作业数字孪生系统生成的环境状态参数样本进行训练。

本发明三方面，本发明提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述配电网带电作业自主导航方法的步骤。

本发明四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述配电网带电作业自主导航方法的步骤

本发明具有以下有益效果：

本发明所述的配电网带电作业自主导航方法、系统、设备及存储介质在具体操作时，利用配电网带电作业数字孪生系统生成的环境状态参数样本对配电网带电作业机器人的控制模型进行训练，解决现有技术中获取训练样本困难以及样本数目较少的问题，在导航时，将获取得到的配电网带电作业机器人的环境状态参数输入到训练后的配电网带电作业机器人的控制模型中，得配电网带电作业机器人的控制信息，并以此对配电网带电作业机器人进行控制，以提高配电网带电作业的准确性，操作简单、方便，实用性极强。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为智能控制算法模块模型训练及运行的示意图；

图2为配电网带电作业数字孪生系统的构建流程图；

图3为本发明的方法流程图；

图4为配电网带电作业机器人的控制模型的训练示意图；

图5为本发明的系统流程图。

其中，1为获取模块、2为导航模块、3为第一建立模块、4为第二建立模块、5为生成模块、6为训练模块。

具体实施方式

下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。

参考图2、图3及图4，本发明所述的配电网带电作业自主导航方法包括以下步骤：

1)构建配电网带电作业数字孪生系统；

所述配电网带电作业数字孪生系统包括配电网带电作业场景数字孪生体、配电网带电作业机器人数字孪生体、物理引擎及交互接口：

11)配电网带电作业场景数字孪生体

对配电网带电作业的目标进行三维建模，等比例复制真实现场对象，以形成配电网带电作业场景数据孪生体，其中，所述作业目标包括配电网中的杆塔、线路及引流线、线夹和避雷器；

12)配电网带电作业机器人数字孪生体

建立配电网带电作业机器人中的移动机构、作业臂支撑平台、作业臂、视觉传感器及激光雷达的三维模型，以形成配电网带电作业机器人数字孪生体。

所述移动机构包括斗臂车及轮式底盘，用于实现作业臂在作业场景内的移动；

所述作业臂支撑平台用于固定作业臂并实现坐标系的标定及转换；

所述作业臂的三维模型需要进行等比例复制，并具备物理特性，支持物理引擎建模及仿真；

所述视觉传感器包括深度视觉摄像头及高清摄像头，在进行三维建模时，需要进行等比例复制并具备功能特性，支持在物理引擎中开展图像采集功能；

所述激光雷达包括多线式激光雷达及2/3D激光雷达，在进行三维建模时，需要进行等比例复制并具备功能特性，支持在物联引擎中开展点云扫描及测距。

13)建立物理引擎

基于v-rep或gazebo等开源软件，实现等比例复制的配电网带电作业场景数字孪生体及配电网带电作业机器人数字孪生体在虚拟空间内的动态仿真，实现对作业臂与环境的刚性碰撞反应、相对位置测距、视觉图像及三维点云的模拟。

14)建立交互接口

通过交互接口实现配电网带电作业数字孪生系统与控制模型之间静态约束及动态变量的交互；

所述静态约束包括作业场景空间位置信息、作业目标空间位置信息及作业臂尺寸信息，具体为：

141)作业场景空间位置信息，以x,y,z三维坐标进行作业场景空间位置的定位，以场景Scene构建笛卡尔坐标系S(x,y,z)，即三维空间内任一位置均具有唯一坐标；

142)作业目标空间位置信息，以作业目标Target的基点对应作业场景Scene空间坐标系开展标定，即作业目标的精准坐标表示为(T_x,T_y,T_z)；

142)作业臂尺寸信息，以六自由度机械臂Manipulate的三个主要臂尺寸为静态参数L₁、L₂及L₃。

所述动态参数包括作业臂支撑平台空间的位置信息、机械臂末端的坐标信息及机械臂距作业目标的相对距离信息：

143)作业臂支撑平台空间位置信息，以移动平台的实时移动距离；

144)机械臂末端的坐标可表示为(M_x,M_y,M_z)，同时根据机械臂的自由度，需根据其动作实时测算机械臂末端的空间坐标，需利用球极坐标系进行换算；

则机械臂末端的位置可以根据机械臂动作指令的旋转角度计算为：

其中，M_x、M_y及M_z为机械臂末端在三维空间xyz中的坐标，M_{init_x}、M_{init_y}及M_{init_z}为机械臂末端在三维空间xyz中的起始点坐标，L₁、L₂及L₃为六自由度机械臂的三个关节长度；θ₁、θ₂及θ₃为以三个关节原点为顶点，z轴为轴，半顶角为θ₁、θ₂及θ₃的圆锥面；

及

为以z轴为边并与坐标平面zOx构成角

及

的半平面。

145)机械臂距作业目标的相对距离

机械臂距作业目标的相对距离根据作业目标的空间坐标与机械臂末端坐标的向量表示为：

其中，L向量的模即为作业臂末端距作业目标的相对距离。

2)建立配电网带电作业机器人的控制模型；

例如，基于深度强化学习算法建立配电网带电作业机器人的控制模型；

3)对配电网带电作业机器人的控制模型进行训练；

具体过程为：

31)对配电网带电作业数字孪生系统进行数据同步，并采样得到当前时刻的环境状态信息s_t，然后输入到所述控制模型中；

32)以relu为激活函数，控制模型输出当前时刻决策a_t；

33)根据当前时刻决策a_t，机械臂执行动作指令；

34)配电网带电作业数字孪生系统根据机械臂的实际动作，同步动态参数，并采样得到下一时刻环境状态s_t+1；

35)根据当前时刻决策a_t以及下一时刻环境状态s_t+1，依据奖励判断机制得到奖励得分r_t；

36)判断训练是否结束，当训练结束，则控制模型训练结束，保存控制模型的参数，否则，则根据策略链τ＝(s₀,a₀,r₀,s₁,a₁,r₁,...,s_t-1,a_t-1,r_t-1,s_t),以值函数或策略梯度的方式计算梯度后进行控制模型参数的更新。

4)利用训练后的配电网带电作业机器人的控制模型对配电网带电作业机器人进行控制，实现配电网带电作业自主导航。

需要说明的是，本发明基于配电网带电作业数字孪生系统对控制模型进行训练，最终实现配电网带电作业机械臂的自动控制，具体的，采用配电网带电作业数字孪生系统生成训练样本，解决现有技术中训练样本获取困难，训练样本数量较少的问题，以提高控制的准确性。

实施例二

参考图5，本发明所述的配电网带电作业自主导航系统，包括：

获取模块1，用于获取配电网带电作业机器人的环境状态参数；

导航模块2，用于将获取得到的配电网带电作业机器人的环境状态参数输入到训练后的配电网带电作业机器人的控制模型中，得配电网带电作业机器人的控制信息，根据所述配电网带电作业机器人的控制信息对配电网带电作业机器人进行控制，完成配电网带电作业自主导航，其中，所述配电网带电作业机器人的控制模型通过配电网带电作业数字孪生系统生成的环境状态参数样本进行训练。

本发明所述配电网带电作业自主导航系统还包括：

第一建立模块3，用于建立配电网带电作业数字孪生系统，所述配电网带电作业数字孪生系统包括配电网带电作业场景数据孪生体、配电网带电作业机器人数字孪生体、物理引擎及交互接口；

第二建立模块4，用于建立配电网带电作业机器人的控制模型；

生成模块5，用于通过所述配电网带电作业数字孪生系统生成环境状态参数样本；

训练模块6，用于利用生成的所述环境状态参数样本对所述配电网带电作业机器人的控制模型进行训练。

本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

实施例三

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述电力系统有功安全校正控制方法的步骤，其中，所述存储器可能包含内存，例如高速随机存储器，也可能还包括非易失性存储器，例如，至少一个磁盘存储器等；处理器、网络接口、存储器通过内部总线互相连接，该内部总线可以是工业标准体系结构总线、外设部件互连标准总线、扩展工业标准结构总线等，总线可以分为地址总线、数据总线、控制总线等。存储器用于存放程序，具体地，程序可以包括程序代码、所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

实施例四

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述电力系统有功安全校正控制方法的步骤，具体地，所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器可以包括随机存储存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器可以包括只读存储器(ROM)、硬盘、闪存、光盘、磁盘等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种配电网带电作业自主导航方法，其特征在于，包括：

获取配电网带电作业机器人的环境状态参数；

将获取得到的配电网带电作业机器人的环境状态参数输入到训练预训练好的配电网带电作业机器人的控制模型中，得到配电网带电作业机器人的控制信息，根据所述配电网带电作业机器人的控制信息对配电网带电作业机器人进行控制，完成配电网带电作业自主导航，其中，所述预训练好的配电网带电作业机器人的控制模型通过配电网带电作业数字孪生系统生成的环境状态参数样本训练获得。

2.根据权利要求1所述的配电网带电作业自主导航方法，其特征在于，所述将获取得到的配电网带电作业机器人的环境状态参数输入到训练后的配电网带电作业机器人的控制模型中之前还包括：

建立配电网带电作业数字孪生系统；

建立配电网带电作业机器人的控制模型；

通过所述配电网带电作业数字孪生系统生成环境状态参数样本；

利用生成的所述环境状态参数样本对所述配电网带电作业机器人的控制模型进行训练。

3.根据权利要求2所述的配电网带电作业自主导航方法，其特征在于，所述建立配电网带电作业数字孪生系统的具体过程为：

对配电网带电作业目标进行三维建模，形成配电网带电作业场景数据孪生体；

对配电网带电作业机器人中的移动机构、作业臂支撑平台、作业臂、视觉传感器及激光雷达进行三维建模，形成配电网带电作业机器人数字孪生体；

建立物理引擎，其中，所述物理引擎用于配电网带电作业场景数字孪生体及配电网带电作业机器人数字孪生体在虚拟空间内的动态仿真；

建立交互接口，其中，所述交互接口用于配电网带电作业数字孪生系统与配电网带电作业机器人的控制模型之间静态约束及动态变量的交互。

4.根据权利要求3所述的配电网带电作业自主导航方法，其特征在于，所述静态约束包括配电网带电作业场景的空间位置信息、配电网带电作业目标的空间位置信息及作业臂尺寸信息。

5.根据权利要求3所述的配电网带电作业自主导航方法，其特征在于，所述动态变量包括作业臂支撑平台的空间位置信息、机械臂末端的位置信息及机械臂距作业目标的相对距离信息。

6.根据权利要求5所述的配电网带电作业自主导航方法，其特征在于，所述机械臂末端的位置信息为：

其中，M_x、M_y及M_z为机械臂末端在三维空间xyz中的坐标，M_{init_x}、M_{init_y}及M_{init_z}为机械臂末端在三维空间xyz中的起始点坐标，L₁、L₂及L₃为六自由度机械臂的三个关节长度；θ₁、θ₂及θ₃为以三个关节原点为顶点，z轴为轴，半顶角为θ₁、θ₂及θ₃的圆锥面；

及

为以z轴为边并与坐标平面zOx构成角

及

的半平面。

7.根据权利要求6所述的配电网带电作业自主导航方法，其特征在于，机械臂距作业目标的相对距离根据作业目标的空间坐标与机械臂末端坐标的向量表示为：

其中，L向量的模为作业臂末端距作业目标的相对距离。

8.一种配电网带电作业自主导航系统，其特征在于，包括：

获取模块(1)，用于获取配电网带电作业机器人的环境状态参数；

导航模块(2)，用于将获取得到的配电网带电作业机器人的环境状态参数输入到训练后的配电网带电作业机器人的控制模型中，得配电网带电作业机器人的控制信息，根据所述配电网带电作业机器人的控制信息对配电网带电作业机器人进行控制，完成配电网带电作业自主导航，其中，所述配电网带电作业机器人的控制模型通过配电网带电作业数字孪生系统生成的环境状态参数样本进行训练。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述配电网带电作业自主导航方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述配电网带电作业自主导航方法的步骤。

Images