CN113298386A - 一种分布式多目标深度确定性值网络机器人能量管理方法 - Google Patents

Abstract

本发明提出一种分布式多目标深度确定性值网络机器人能量管理方法，该方法能提高巡检机器人的充电效率，获得巡检机器人的最优工作路径。该方法由分布式多目标深度确定性值网络组成；通过多目标深度确定性网络获得巡检机器人的最优充电效率和最优工作路径；多个巡检机器人之间采用一致性协议交换巡检机器人的电量和巡检机器人的位置。该分布式多目标深度确定性值网络机器人能量管理方法减少巡检机器人在工作中的能量损耗，缩短巡检机器人到达工作地点的时间。

Description

一种分布式多目标深度确定性值网络机器人能量管理方法

技术领域

本发明属于电力系统中机器人巡检领域，涉及一种机器人能量管理方法，适用于电力系统的智能巡检机器人的能量管理。

背景技术

变电站作为电力系统中重要是组成部分，涉及电力系统经济调度和电力系统调控。巡检机器人在电力系统的大规模使用推动了电力系统巡检的智能化发展。机器学习发展迅速，在机器人的应用逐渐普遍。深度确定性值网络通过强化学习和三值网络的结合，能够提高强化学习在学习过程的学习效率和精度。通过标准化全精度权重和量化三元值权重，通过量化训练三元值权重，通过最小化损失函数不断优化，得到最优的三值网络，进而控制强化学习的下一步动作，得到更好的学习效果。

在电力系统的电力巡检中，多巡检机器人构成了一个复杂的调度问题，各巡检机器人通过一致性协议交换电量和机器人所处位置来实现巡检机器人的分布式调度。通过多目标深度确定性网络来优化巡检机器人的充电效率和工作路径，实现巡检机器人能量的最优管理，提高巡检机器人的工作效率，提高巡检机器人的能量利用率。

发明内容

本发明提出一种分布式多目标深度确定性值网络机器人能量管理方法。将智能巡检机器人应用于电力系统的巡检中，能够解决人工巡检所带来的问题，提高电力系统的自动化水平。将能量管理技术应用于智能巡检机器人中，能够提高智能巡检机器人的工作效率和续航能力。本发明采用分布式多目标深度确定性值网络的方法对巡检机器人的能量进行管理，实现巡检机器人的最优能量管理。

所提方法步骤如下。

步骤1：巡检机器人通过自身的传感器获得巡检机器人的工作状态；

步骤2：得到的巡检机器人的充电效率和工作路径作为多目标深度确定性值网络的状态输入；

采用强化学习来构造深度确定性值策略，S是状态空间，A是动作空间，R为奖励函数，P为转移概率；在环境下，一个智能体会学习并得到一个策略π；强化学习过程获得的总奖励为：

其中，R_all为强化学习过程获得的总奖励；T为交互结束时前进的步数；r(s_i,a_i)为在状态s_i下执行动作a_i所获得的收益；强化学习在环境中的长期收益会通过折扣参数γ来调控：

其中，γⁱ为在第i次交互时的折扣参数值；

为在折扣参数γ控制下强化学习过程获得的总奖励；

步骤3：通过贝尔曼方程来寻找最优的动作价值函数；

其中，Q*(s_t,a_t)为第t次交互时在状态s_t执行动作a_t获得的最优动作价值函数；Q*(s_t+1,a_t'₊₁)为第t+1次交互时状态s_t+1执行动作a_t'₊₁获得的最优动作价值函数；α为学习率；

该动作价值网络的损失值为：

L(θ^Q)＝(r(s_t,a_t)+γQ'(s_t+1,a_t+1|θ^Q')-Q(s_t,a_t|θ^Q))² (4)

其中，L(θ^Q)为损失函数值；Q'(s_t+1,a_t+1|θ^Q')为目标价值网络Q值矩阵，Q(s_t,a_t|θ^Q)为网络同步权重Q值矩阵；

通过策略梯度来更网络同步权重Q值矩阵：

其中，θ^Q和θ^μ为网络参数；a＝μ(s_t,ν)为动作网络对应的映射；μ(s_t|θ^μ)为动作网络；

为梯度运算符；更新Q值矩阵的同时，更新全精度权重；三值网络将全精度权重W量化为{-W_l，0，W_l}；三值网络表示为：

其中，

为第t时刻三值网络的权重；W_l为正权重；-W为负权重；Δl为阈值；

为权重分界点；

三值网络的阈值为：

权重为：

其中，

为权重分界点对应的损失函数值；

为当权重值大于阈值之后的损失函数值；

步骤4：利用损失函数来判断优化结果能否获得巡检机器人的充电效率和巡检机器人的最短工作路径；

通过多目标深度确定性值网络来优化巡检机器人的充电效率巡检机器人的充电效率为：

其中，η为巡检机器人的充电效率；I_out为巡检机器人工作时的放电电流；T_work为巡检机器人的工作时间；I_in为充电电流；T_charge为充电时间；

通过多目标深度确定性值网络来优化巡检机器人的充电效率巡检机器人的工作路径为：

s_load＝∑v_robot×T_work (10)

其中，s_load为巡检机器人工作所走的总路程；v_robot为巡检机器人的移动速度；

步骤5：若巡检机器人没有获得最大的奖励值，则重复步骤1-4；若巡检机器人获得最大的奖励值，则执行步骤6；

步骤6：输出最终三值网络并将动作发送给巡检机器人；

步骤7：各巡检机器人之间采用一致性协议交换电量和所在位置，实现多巡检机器人的分布式调度。

附图说明

图1是本发明方法的机器人分布式调度图。

图2是本发明方法的深度确定性值网络图。

图3是本发明方法的巡检机器人能量管理系统图。

图4是本发明方法的巡检机器人巡检工作示意图。

具体实施方式

本发明提出的一种分布式多目标深度确定性值网络机器人能量管理方法，结合附图详细说明如下：

图1是本发明方法的机器人分布式调度图。本发明采用三个巡检机器人来进行分布式架构的搭建，巡检机器人在工作过程中，巡检机器人1与巡检机器人2采用电池电量和机器人所处的位置进行一致性协议交换；巡检机器人2和巡检机器人3采用电池电量和机器人所处的位置进行一致性协议交换；巡检机器人3和巡检机器人1采用电池电量和机器人所处的位置进行一致性协议交换；构成了巡检机器人的分布式调度网络。

图2是本发明方法的深度确定性值网络图。深度确定性值网络包括全精度权重，标准化全精度权重，中间三元值权重，训练量化，最终三值网络，损失函数。

图3是本发明方法的巡检机器人能量管理系统图。智能巡检机器人通过功率传输驱动电机转动，实现巡检机器人的移动。在充电的过程中，通过直流/直流变化将电能传输到超级电容器，实现巡检机器人的充电。巡检机器人的工作电流和超级电容器经过产生的电流采用深度确定性值网络计算输出电流来实现对巡检机器人的电流控制环控制。电流控制环和电压控制环控制巡检机器人的驱动电路来实现机器人的移动。通过深度确定性值网络优化巡检机器人的工作电流来实现巡检机器人的能量管理。

图4是本发明方法的巡检机器人巡检工作示意图。当巡检机器人投入变电站进行巡检工作时，巡检机器人的运行状态通过显示屏显示工作状态。巡检机器人通过显示屏的电量显示来判断是否需要进行充电。当电量不足时，巡检机器人会进行搜索最近的充电桩，巡检机器人进行充电。采用巡检机器人的分布式调度将另一台巡检机器人投入巡检作业。巡检机器人充满电后，投入电力设备的巡检。巡检机器人在充电的过程中，采用深度确定值网络优化充电效率，获得最优的充电效率，减少电能的损耗。当巡检机器人充满电之后，投入电力巡检的作业中，在工作的过程中，采用深度确定性值网络优化最优的运行路径，减少运行过程中的电能损耗。

Claims (1)

1.一种分布式多目标深度确定性值网络机器人能量管理方法，其特征在于，其步骤如下：

步骤1：巡检机器人通过自身的传感器获得巡检机器人的工作状态；

步骤2：得到的巡检机器人的充电效率和工作路径作为多目标深度确定性值网络的状态输入；

采用强化学习来构造深度确定性值策略，S是状态空间，A是动作空间，R为奖励函数，P为转移概率；在环境下，一个智能体会学习并得到一个策略π；强化学习过程获得的总奖励为：

其中，R_all为强化学习过程获得的总奖励；T为交互结束时前进的步数；r(s_i,a_i)为在状态s_i下执行动作a_i所获得的收益；强化学习在环境中的长期收益会通过折扣参数γ来调控：

其中，γⁱ为在第i次交互时的折扣参数值；

为在折扣参数γ控制下强化学习过程获得的总奖励；

步骤3：通过贝尔曼方程来寻找最优的动作价值函数；

其中，Q*(s_t,a_t)为第t次交互时在状态s_t执行动作a_t获得的最优动作价值函数；Q*(s_t+1,a′_t+1)为第t+1次交互时状态s_t+1执行动作a′_t+1获得的最优动作价值函数；α为学习率；

该动作价值网络的损失值为：

L(θ^Q)＝(r(s_t,a_t)+γQ'(s_t+1,a_t+1|θ^Q')-Q(s_t,a_t|θ^Q))² (4)

其中，L(θ^Q)为损失函数值；Q'(s_t+1,a_t+1|θ^Q')为目标价值网络Q值矩阵，Q(s_t,a_t|θ^Q)为网络同步权重Q值矩阵；

通过策略梯度来更网络同步权重Q值矩阵：

其中，θ^Q和θ^μ为网络参数；a＝μ(s_t,ν)为动作网络对应的映射；μ(s_t|θ^μ)为动作网络；

为梯度运算符；更新Q值矩阵的同时，更新全精度权重；三值网络将全精度权重W量化为{-W_l，0，W_l}；三值网络表示为：

其中，

为第t时刻三值网络的权重；W_l为正权重；-W为负权重；Δl为阈值；

为权重分界点；

三值网络的阈值为：

权重为：

其中，

为权重分界点对应的损失函数值；

为当权重值大于阈值之后的损失函数值；

步骤4：利用损失函数来判断优化结果能否获得巡检机器人的充电效率和巡检机器人的最短工作路径；

通过多目标深度确定性值网络来优化巡检机器人的充电效率巡检机器人的充电效率为：

其中，η为巡检机器人的充电效率；I_out为巡检机器人工作时的放电电流；T_work为巡检机器人的工作时间；I_in为充电电流；T_charge为充电时间；

通过多目标深度确定性值网络来优化巡检机器人的充电效率巡检机器人的工作路径为：

s_load＝∑v_robot×T_work (10)

其中，s_load为巡检机器人工作所走的总路程；v_robot为巡检机器人的移动速度；

步骤5：若巡检机器人没有获得最大的奖励值，则重复步骤1-4；若巡检机器人获得最大的奖励值，则执行步骤6；

步骤6：输出最终三值网络并将动作发送给巡检机器人；

步骤7：各巡检机器人之间采用一致性协议交换电量和所在位置，实现多巡检机器人的分布式调度。

Images