CN113036772A - 一种基于深度强化学习的配电网拓扑电压调节方法 - Google Patents

Abstract

本发明公开一种基于深度强化学习的配电网拓扑电压调节方法，属于配网电压调节技术领域；调节方法包括：采集配电网历史运行数据作为深度强化学习模型的学习样本数据、根据深度强化学习对于基于拓扑的配电网调压问题进行建模、输入当前状态，基于深度强化学习中的Q值网络，根据动作策略从配电网当前闭合支路中选择一条支路断开、根据潮流计算结果计算奖励，并得到下一状态，将当前状态、动作、奖励以及下一状态保存以供Q值网络的训练、深度强化学习智能体根据记忆池中的数据进行Q值网络的参数更新，直到得到学习终止条件；缓解了传统配网调压资源逐渐满足不确定性电网调压需求的问题，节省外部调节设备的建设成本，保证电网安全经济运行。

Description

一种基于深度强化学习的配电网拓扑电压调节方法

技术领域

本公开属于配网电压调节技术领域，具体涉及一种基于深度强化学习的配电网拓扑电压调节方法。

背景技术

传统的配电网电压调节主要依赖于外部安装的设备，包括变电站有载调压器、智能逆变器和并联电容器等，并且只有智能逆变器被用于在线电压调节；近年来配电网中飞速发展的分布式电源加大了配电网调压的压力，导致出现已有调压资源无法完全满足在线调压需求的情况，而随着智能电网的发展出现了灵活性拓扑结构这一新型在线调节资源，可作为配电网的一种在线调节资源。

发明内容

针对现有技术的不足，本公开的目的在于提供一种基于深度强化学习的配电网拓扑电压调节方法，解决了现有配网电压调节资源的不足的问题。

本公开的目的可以通过以下技术方案实现：

一种基于深度强化学习的配电网拓扑电压调节方法，其特征在于，

步骤1：采集配电网历史运行数据作为深度强化学习模型的学习样本数据，包括分布式电源出力、负荷水平数据；

步骤2：根据深度强化学习对于基于拓扑的配电网调压问题进行建模，包括状态、动作、Q值网络结构以及奖励函数的定义；

步骤3：输入当前状态，基于深度强化学习中的Q值网络，根据ε-greedy动作策略从配电网当前闭合支路中选择一条支路断开；

步骤4：根据图论计算当前配电网拓扑下所述步骤2断开支路所对应的基本割集，选择基本割集中的最优支路断开，根据潮流计算结果计算奖励，并得到下一状态，将当前状态、动作、奖励以及下一状态保存以供Q值网络的训练；

步骤5：深度强化学习智能体根据记忆池中的数据进行Q值网络的参数更新，直到得到学习终止条件。

进一步地，在所述步骤2中的状态定义过程中，将状态表示为以下形式：

s＝(G,P_net,Q_net)

where G＝(V,L)

P_net＝P_load+P_dg+P_dlc

Q_net＝Q_load+Q_dg+Q_cap

式中，s为智能体的状态，G为当前网络拓扑结构，Pnet为网络节点上的有功，包括有功负荷Pload，新能源有功出力Pdg以及直接负荷控制Pdlc。Qnet为网络节点上的无功功率，包括无功负荷Qload，新能源无功出力Qdg以及并联电容器无功值Qcap。

进一步地，在所述步骤2中的动作定义包括两部分：

1)基于Q值网络从当前配电网拓扑中的闭合支路集中选择一条断开；

2)基于潮流计算从该闭合支路的基本割集中选择一条使得控制目标函数最低的支路闭合；所述目标函数的计算如下：

式中，f1,f2及f3为目标函数的三个组成部分，分别为电压偏移量、变动的开关数即网损。α,β,δ为权重系数，vi为节点电压，

为节点标准电压，

为各线路初始状态，s_i为拓扑调节后各线路的状态，r_ij为各线路电阻，P_ij,Q_ij为闭合支路上的有功无功功率。

进一步地，所述Q值网络结构Q值网络共包括三层集合图卷积神经网络，集合图卷积神经网络对配电网中的图数据进行特征挖掘，其中每层集合图卷积神经网络后还加上了一层多层感知器；

进一步地，Q值网络的输入信息包括节点特征矩阵和节点邻接矩阵，将第三层集合图卷积神经网络的节点邻接矩阵改成线路邻接矩阵，其取值具有如下形式：

式中，LAM为线路邻接矩阵，le为第e条线路，ni表示第i个节点，Lon为闭合支路集，Loff为断开支路集。

进一步地，所述奖励函数机制分为以下几个步骤：

第一步：输入当前状态s＝{NAM,LAM,NFM}，基于Q值网络从闭合支路集合选择一条断开，其中NAM为节点邻接矩阵，NFM为节点特征矩阵；

第二步：根据目标函数将断开支路基本割集的最优支路闭合；

第三步：如果断开的支路与闭合的支路为同一条支路，则给智能体一个较大奖励，终止本次迭代学习，转第五步，奖励与当前所计算得到的目标函数值负相关；

第四步：如果断开的支路与闭合的支路不是同一条支路，则智能体奖励值为0，并且继续迭代学习，转第五步；

第五步：输出新的状态s′＝{NAM′,LAM′,NFM′}。

进一步地，步骤3中ε-greedy动作策略具体为：

其中，A表示开关的动作空间，a表示开关的动作，P表示随机生成的在(0,1)内的数，Q(s,a)表示第i个开关在环境s、动作a下的Q值，a^r表示随机选择的动作。

本公开的有益效果：提供了一种基于深度强化学习的配电网拓扑调压方法，所给出的电压调节方法在完成电压控制目标的前提下，提高了拓扑资源的利用效率，规避了大量外接调压资源的投入，提高了电网运行控制的经济性。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于深度强化学习的配电网拓扑调压总体框架图；

图2为Q值网络结构图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

如图1-2所示，一种基于深度强化学习的配电网拓扑调压方法包括以下步骤：

步骤1：采集配电网历史运行数据作为深度强化学习模型的学习样本数据，包括分布式电源出力、负荷水平数据；

步骤2、根据深度强化学习对于基于拓扑的配电网调压问题进行建模，包括状态、动作、神经网络结构以及奖励函数的定义；

其中，步骤2包括：

深度强化学习的Q值迭代更新公式

根据新环境与奖励更新知识：

式中，α、β分别为学习、折扣因子，0＜α，β＜1；R为第k+1次迭代的奖励函数，s_k为第k次迭代中的环境，a为动作，Q(s,a)分别为智能体在状态s、动作a下对应的Q值，

为智能体在状态s下所有动作对应Q值的最大值；

状态定义。将状态表示为以下形式：

s＝(G,P_net,Q_net)

where G＝(V,L)

P_net＝P_load+P_dg+P_dlc

Q_net＝Q_load+Q_dg+Q_cap

式中，s为智能体的状态，G为当前网络拓扑结构，Pnet为网络节点上的有功，包括有功负荷Pload，新能源有功出力Pdg以及直接负荷控制Pdlc。Qnet为网络节点上的无功功率，包括无功负荷Qload，新能源无功出力Qdg以及并联电容器无功值Qcap。

动作定义。将动作定义为两部分：一是基于Q值网络从当前配电网拓扑中的闭合支路集中选择一条断开，二是基于潮流计算从该闭合支路的基本割集中选择一条使得控制目标函数最低的支路闭合，目标函数的计算如下：

式中，f1,f2及f3为目标函数的三个组成部分，分别为电压偏移量、变动的开关数即网损。α,β,δ为权重系数，vi为节点电压，

为节点标准电压，

为各线路初始状态，s_i为拓扑调节后各线路的状态，r_ij为各线路电阻，P_ij,Q_ij为闭合支路上的有功无功功率。

Q值网络结构。集合图卷积神经网络(GCN,Graph Convolution Network)对配电网中的图数据进行特征挖掘，将深度强化学习中的Q值网络的结构设计如图2所示。Q值网络共包括三层GCN，其中每层GCN后还加上了一层多层感知器(MLP，Multilayer Perceptron)。Q值网络的输入信息包括节点特征矩阵(NFM,Node Feature Matrix)和节点邻接矩阵(NAM,Node Adjacency Matrix)。为了使最终输出线路的特征，即线路特征矩阵(LFM,LineFeature Matrix)，将第三层GCN的节点邻接矩阵改成线路邻接矩阵(LAM,Line AdjacencyMatrix)，其取值具有如下形式：

式中，le为第e条线路，ni表示第i个节点，Lon为闭合支路集，Loff为断开支路集。

5)奖励函数机制分为以下几个步骤：

第一步：输入当前状态s＝{NAM,LAM,NFM}，基于Q值网络从闭合支路集合选择一条断开；

第二步：根据目标函数将断开支路基本割集的最优支路闭合；

第三步：如果断开的支路与闭合的支路为同一条支路，则给智能体一个较大奖励，终止本次迭代学习，转第五步，奖励与当前所计算得到的目标函数值负相关；

第四步：如果断开的支路与闭合的支路不是同一条支路，则智能体奖励值为0，并且继续迭代学习，转第五步；

第五步：输出新的状态s′＝{NAM′,LAM′,NFM′}。

其中，步骤3中ε-greedy动作策略具体为：

其中，A表示开关的动作空间，a表示开关的动作，P表示随机生成的在(0,1)内的数，Q(s,a)表示第i个开关在环境s、动作a下的Q值，a^r表示随机选择的动作。

步骤3、输入当前状态，基于深度强化学习中的Q值网络，根据ε-greedy动作策略从配电网当前闭合支路中选择一条支路断开；

步骤4、根据图论计算当前配电网拓扑下步骤2断开支路所对应的基本割集，选择基本割集中的最优支路断开，根据潮流计算结果计算奖励，并得到下一状态，将当前状态、动作、奖励以及下一状态保存以供Q值网络的训练；

步骤5、深度强化学习智能体根据记忆池中的数据进行Q值网络的参数更新，直到得到学习终止条件。

下面就一个具体实施例进行介绍；

步骤1中选取IEEE14、33节点以及141节点配电网络为仿真对象，其中网络中负荷数据来源于Pecan Streetpot数据库。对于三个网络的参数设置如表1：

表1为设置的相关参数：

为了验证提出算法的优越性，将其与两种启发式算法与一种最优化方法进行对比，启发式算法包括粒子群算法(particle swarm optimization，PSO)与遗传算法(genetic algorithm，GA)，最优化方法为基于二阶锥优化(second-order coneoptimization,SOCP)的最优化方法，四种算法各求解10次，统计10次求解结果于表2-4。

表2为14节点网络求解结果

表3为33节点网络求解结果

表4为141节点网络求解结果

如表2所示，四种方法都能找到14节点网络的最优解，表3的结果表明，对于33节点网络，SOCP方法得到了最优解，而GA方法得到了最差解。但是，表格4表明，由于决策变量规模的增大，SOCP方法不能在20分钟内得到141节点网络的结果。对于三个网络，所提出的基于深度强化学习的方法总是能获得较好的结果。从计算时间的角度来看，该方法的优势更加明显，特别是对于较大的网络。在GA、PSO和SOCPA算法中，计算时间随着网络规模的增大而迅速增加；例如，PSO方法分别需要30.53秒和400.53秒才能找到14节点和141节点网络的解决方案。而GA方法所需的时间比PSO少，但求得解质量稍差。值得注意的是，我们提出的基于DRL的方法对所有网络大小要求不到3秒。其速度的主要原因是，无论是SOCP方法还是启发式算法(包括PSO和GA)都不能使用先验知识。对于每个电压调节问题，这些方法都是从头开始搜索解，这需要大量计算时间。相比之下，我们的DRL算法将基于历史训练数据离线学习，并将这些学习信息保存在Q网络中。在解决在线问题时，基于DRL的方法能够根据离线时所学和保存的知识，快速找到最优的解决方案。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (6)

1.一种基于深度强化学习的配电网拓扑电压调节方法，其特征在于，

步骤1：采集配电网历史运行数据作为深度强化学习模型的学习样本数据，包括分布式电源出力、负荷水平数据；

步骤2：根据深度强化学习对于基于拓扑的配电网调压问题进行建模，包括状态、动作、Q值网络结构以及奖励函数的定义；

步骤3：输入当前状态，基于深度强化学习中的Q值网络，根据ε-greedy动作策略从配电网当前闭合支路中选择一条支路断开；

步骤4：根据图论计算当前配电网拓扑下所述步骤2断开支路所对应的基本割集，选择基本割集中的最优支路断开，根据潮流计算结果计算奖励，并得到下一状态，将当前状态、动作、奖励以及下一状态保存以供Q值网络的训练；

步骤5：深度强化学习智能体根据记忆池中的数据进行Q值网络的参数更新，直到得到学习终止条件。

2.根据权利要求1所述的一种基于深度强化学习的配电网拓扑调压方法，其特征在于，在所述步骤2中的状态定义过程中，将状态表示为以下形式：

s＝(G,P_net,Q_net)

where G＝(V,L)

P_net＝P_load+P_dg+P_dlc

Q_net＝Q_load+Q_dg+Q_cap

式中，s为智能体的状态，G为当前网络拓扑结构，Pnet为网络节点上的有功，包括有功负荷Pload，新能源有功出力Pdg以及直接负荷控制Pdlc。Qnet为网络节点上的无功功率，包括无功负荷Qload，新能源无功出力Qdg以及并联电容器无功值Qcap。

3.根据权利要求1所述的一种基于深度强化学习的配电网拓扑调压方法，其特征在于，在所述步骤2中的动作定义包括两部分：

1)基于Q值网络从当前配电网拓扑中的闭合支路集中选择一条断开；

2)基于潮流计算从该闭合支路的基本割集中选择一条使得控制目标函数最低的支路闭合；所述目标函数的计算如下：

式中，f1,f2及f3为目标函数的三个组成部分，分别为电压偏移量、变动的开关数即网损。α,β,δ为权重系数，vi为节点电压，

为节点标准电压，

为各线路初始状态，s_i为拓扑调节后各线路的状态，r_ij为各线路电阻，P_ij,Q_ij为闭合支路上的有功无功功率。

4.根据权利要求1所述的一种基于深度强化学习的配电网拓扑调压方法，其特征在于，所述Q值网络结构Q值网络共包括三层集合图卷积神经网络，集合图卷积神经网络对配电网中的图数据进行特征挖掘，其中每层集合图卷积神经网络后还加上了一层多层感知器；

Q值网络的输入信息包括节点特征矩阵和节点邻接矩阵，将第三层集合图卷积神经网络的节点邻接矩阵改成线路邻接矩阵，其取值具有如下形式：

式中，LAM为线路邻接矩阵，le为第e条线路，ni表示第i个节点，Lon为闭合支路集，Loff为断开支路集。

5.根据权利要求4所述的一种基于深度强化学习的配电网拓扑调压方法，其特征在于，所述奖励函数机制分为以下几个步骤：

第一步：输入当前状态s＝{NAM,LAM,NFM}，基于Q值网络从闭合支路集合选择一条断开，其中NAM为节点邻接矩阵，NFM为节点特征矩阵；

第二步：根据目标函数将断开支路基本割集的最优支路闭合；

第三步：如果断开的支路与闭合的支路为同一条支路，则给智能体一个较大奖励，终止本次迭代学习，转第五步，奖励与当前所计算得到的目标函数值负相关；

第四步：如果断开的支路与闭合的支路不是同一条支路，则智能体奖励值为0，并且继续迭代学习，转第五步；

第五步：输出新的状态s′＝{NAM′,LAM′,NFM′}。

6.根据权利要求1所述的一种基于深度强化学习的配电网拓扑调压方法，其特征在于，步骤3中ε-greedy动作策略具体为：

其中，A表示开关的动作空间，a表示开关的动作，P表示随机生成的在(0,1)内的数，Q(s,a)表示第i个开关在环境s、动作a下的Q值，a^r表示随机选择的动作。

Images