CN114362151A - 一种基于深度强化学习和级联图神经网络的潮流收敛性调整方法 - Google Patents

一种基于深度强化学习和级联图神经网络的潮流收敛性调整方法 Download PDF

Info

Publication number
CN114362151A
CN114362151A CN202111590885.1A CN202111590885A CN114362151A CN 114362151 A CN114362151 A CN 114362151A CN 202111590885 A CN202111590885 A CN 202111590885A CN 114362151 A CN114362151 A CN 114362151A
Authority
CN
China
Prior art keywords
neural network
convergence
power
node
power flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111590885.1A
Other languages
English (en)
Other versions
CN114362151B (zh
Inventor
朱禹泓
周永智
韦巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111590885.1A priority Critical patent/CN114362151B/zh
Publication of CN114362151A publication Critical patent/CN114362151A/zh
Application granted granted Critical
Publication of CN114362151B publication Critical patent/CN114362151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/04—Circuit arrangements for ac mains or ac distribution networks for connecting networks of the same frequency but supplied from different sources
    • H02J3/06—Controlling transfer of power between connected networks; Controlling sharing of load between connected networks
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Power Engineering (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种基于深度强化学习和级联图神经网络的潮流收敛性调整方法，采用级联图神经网络，通过该网络的数据拟合当前潮流数据与潮流收敛概率的非线性映射关系，同时利用该网络所得的潮流收敛概率作为深度强化学习的奖赏函数设计参照之一。强化学习可通过不断进行动作(潮流调整动作)与环境(当前潮流参数)的交互，通过环境的对于动作的奖赏学习到可调整的动作策略，并利用深度学习构建当前环境下不同动作与动作最终价值之间的非线性映射关系。本方法将前述级联图神经网络得到的潮流收敛概率作为奖赏函数的设计参考之一，最终得到潮流收敛性调整策略，对保障电力系统安全稳定运行有着重要意义。

Description

一种基于深度强化学习和级联图神经网络的潮流收敛性调整 方法
技术领域
本发明属于电力系统技术领域，涉及电气工程中的不收敛潮流调整方法，尤其是一种基于深度强化学习和级联图神经网络的潮流收敛性调整方法。
背景技术
电力系统关系国计民生，潮流计算的准确性是电力系统各个计算环节最重要、最基本的前提。随着并网的可再生能源比例的不断提高、电动汽车等新型负载的不断接入，我国电网的复杂程度和负荷水平也日益提高，潮流计算不收敛的问题时有发生。潮流不收敛的本质是潮流方程组无解或陷入病态解，人工调整潮流不收敛问题往往采用试凑等方法。随着电网复杂程度的不断提供，这种依赖于人工经验的方法存在效率低下、费时费力等缺陷。因此，实现不收敛潮流自动调整对保障电力系统安全稳定运行具有重要意义。
发明内容
本发明所要解决的技术问题是克服上述现有技术存在的不足，提供一种基于深度强化学习和级联图神经网络的潮流收敛性调整方法。采用级联图神经网络，通过该网络的数据拟合当前潮流数据与潮流收敛概率的非线性映射关系，同时利用该网络所得的潮流收敛概率作为深度强化学习的奖赏函数设计参照之一。强化学习可通过不断进行动作(潮流调整动作)与环境(当前潮流参数)的交互，通过环境对于动作的奖赏学习到可调整的动作策略，并利用深度学习构建当前环境下不同动作与动作最终价值之间的非线性映射关系。但是，由于大电网具有复杂性，只依靠潮流是否收敛作为奖赏函数将使得奖赏函数过于稀疏。因此，本发明将前述级联图神经网络得到的潮流收敛概率作为奖赏函数的设计参考之一，最终得到潮流收敛性调整策略。
为此，本发明采用如下的技术方案：一种基于深度强化学习和级联图神经网络的潮流收敛性调整方法，具体为：将不收敛的潮流样本输入至一训练好的Q神经网络，获得调整动作使潮流样本收敛。其中，所述Q神经网络训练时的奖赏函数包括通过一训练好的级联图神经网络获得的潮流收敛概率值。
进一步地，所述Q神经网络训练的步骤为：
步骤一，获取标记为收敛或不收敛的潮流样本组成训练集。
步骤二，设计一级联图神经网络，并以潮流样本数据为输入，潮流收敛概率值为输出在步骤一所得训练集上利用梯度下降法训练获得级联图神经网络；该网络可以拟合潮流数据与潮流收敛概率之间的非线性映射关系；
步骤三，设计用于潮流计算收敛的Q神经网络的环境、状态空间、动作空间和奖赏函数，根据所述状态空间、动作空间和奖赏函数利用步骤一所得训练集通过深度Q学习(deep Q-learning,DQN)训练用于潮流计算收敛的Q神经网络。其中，该网络可以拟合当前潮流参数下不同的动作值与最终的奖赏值之间的非线性映射关系。所述奖赏函数包含根据步骤二得到的级联图神经网络输出的每个样本的潮流收敛概率值。
进一步地，所述步骤一中，获取标记为收敛或不收敛的潮流样本组成训练集具体为：首先利用现有收敛的初始潮流样本数据，随机改变发电机与负荷的功率大小，得到大量的潮流样本，并利用潮流求解器得到潮流样本是否收敛的标签。
具体地：
通过蒙特卡洛法，基于初始潮流参数在0-k范围内随机调整系统中所有的发电机与负荷的功率大小，并利用潮流求解器得到改变后潮流参数下潮流计算结果是否收敛，并重复该动作M次以得到M个潮流样本数据。其中，随机调整发电机与负荷的功率大小的过程如下式所示：
Figure BDA0003429870830000031
Figure BDA0003429870830000032
Figure BDA0003429870830000033
Figure BDA0003429870830000034
其中,
Figure BDA0003429870830000035
分别表示随机调整后的发电机i的有功功率、无功功率、随机调整后的负荷j的有功功率、无功功率；
Figure BDA0003429870830000036
分别表示随机调整前的发电机i的有功功率、无功功率、随机调整前的负荷j的有功功率、无功功率；
Figure BDA0003429870830000037
分别表示第m个样本获取过程中根据蒙特卡洛法得到的在0-k范围内的随机数。
进一步地，强化学习在应用到电力系统潮流调整时，其模型主要由四部分组成：环境、状态空间、动作空间和奖赏函数。
对于n个包含发电机的节点的电力系统而言，其状态空间可以用维度为n×3的矩阵s表示：
Figure BDA0003429870830000038
其中，Pt i、Qt i、Tt i分别表示第t个时间步时包含发电机的节点i上发电机的有功功率、无功功率和节点类型。
类似的，其动作空间也可以用维度为n×3的矩阵a表示：
Figure BDA0003429870830000039
其中,ΔPt i、ΔQt i、ΔTt i分别表示第t个时间步时包含发电机的节点i上发电机的有功功率、无功功率和节点类型的改变值。ΔPt i与ΔQt i为连续值，ΔTt i为离散值。
然后，对ΔPt i与ΔQt i进行离散化，即在0-Pi max之间将动作空间分成K等分。
进一步地，奖赏函数的设计是决定算法能否收敛、算法性能表现好坏至关重要的因素。潮流调整的最终目的是使得不收敛潮流在调整后收敛，但仅仅以潮流能否收敛作为奖赏函数的设计参照将使得奖赏函数过于稀疏，增加算法收敛的难度，并增加算法收敛于局部最优值的风险。本发明采用的奖赏函数包括2部分：第一部分是基于潮流计算的收敛结果给出的奖赏；第二部分是基于步骤2中所提级联神经网络计算出的潮流收敛概率给出的奖赏。奖赏函数如下式所示：
Figure BDA0003429870830000041
式中，Ro(·)分别对应第o个部分的奖赏函数；wo表示第o部分奖赏的权重；r11、r12分别潮流计算收敛、不收敛时的奖赏值；pt和pt+1分别表示在时间步t时执行动作前后潮流收敛的概率，由步骤2中所述级联神经网络计算所得；fo表示第o部分奖赏计算式所用的激活函数。其中，r11、r12、wo均为预设值的超参数。
进一步地，所述级联图神经网络由两层GCN层、三层全连接层组成。
进一步地，所述GCN层的前向传递函数表示为：
Figure BDA0003429870830000042
Figure BDA0003429870830000043
Figure BDA0003429870830000051
其中，X和Y分别是GCN层的输入与输出；A是系统拓扑的邻接矩阵(adjacencymatrix,AM)；
Figure BDA0003429870830000055
是系统拓扑的度矩阵(degree matrix,DM)；W是GCN层的可训练参数矩阵；I是单位矩阵；fσ(·)是激活函数。
进一步地，对于一个两层的GCN，其前向传递公式如下式所示：
Figure BDA0003429870830000052
Figure BDA0003429870830000053
其中，XGCN和YGCN分别是两层GCN的输入与输出；W1和W2分别是第一层和第二层GCN的可训练参数矩阵。
进一步地，级联图神经网络的输入是潮流样本数据组成的特征矩阵，其中的每一行代表了系统中相应节点的电气特征；电气特征包括每个节点对应的发电机、负荷的有功功率、无功功率，节点电压的幅值、相角以及节点类型，节点类型为平衡节点、PQ节点、PV节点。则X是一个维数为N×7的矩阵，N为系
统的节点数。A、
Figure BDA0003429870830000056
I的均为维数为N×N的矩阵。
进一步地，GCN的输出输入至全连接层(fully connected,FC)，以得到最终的潮流收敛概率。所述全连接层的前向传递公式如下式所示：
Figure BDA0003429870830000054
其中，XFC (l)和YFC (l)分别为第l层全连接层层的输入输出；W(l) FC和b(l)分别为第l层FC层的权重矩阵和偏置矩阵，是可训练的参数。
与普通的神经网络分类器不同，本发明的级联图神经网络的输出并非是一个二进制的分类结果，而是输出当前电力系统状态(输入)下潮流收敛的概率。执行某一潮流调整动作后的潮流收敛概率变化将作为深度强化学习中奖赏函数的设计参考。
最终训练后得到的Q网络即为潮流调整方法的策略函数，它可以拟合当前潮流参数与执行不同动作后得到的最终奖赏预期的非线性映射关系，并通过贪婪算法选取最优的动作作为调整策略。
本发明的有益效果是：本发明将级联图神经网络得到的潮流收敛概率作为奖赏函数的设计参考之一，从而得到潮流收敛性调整策略，该方法相比于仅仅以潮流能否收敛作为奖赏函数的设计参照，丰富了奖赏函数，降低算法收敛的难度，并减小了算法收敛于局部最优值的风险。结果表明，本发明方法可以加快收敛的速度。
附图说明
图1为级联神经网络的结构图；
图2为DQN的实现流程图。
图3为训练级联图神经网络过程中准确率指标的变化关系图。
图4为训练级联图神经网络过程中交叉熵指标的变化关系图。
具体实施方式
本发明提出了一种基于深度强化学习和级联图神经网络的潮流收敛性调整方法，具体为：将不收敛的潮流样本输入至一训练好的Q神经网络，获得调整动作使潮流样本收敛。其中，训练的步骤为：
步骤一，获取标记为收敛或不收敛的潮流样本组成训练集；
优选地，具体通过如下方法获取：
通过蒙特卡洛法，基于初始潮流参数随机在0-k范围内随机调整系统中所有的发电机与负荷的功率大小，并利用潮流求解器得到改变后潮流参数下潮流计算结果是否收敛，并重复该动作M次以得到M个潮流样本数据。其中，随机调整发电机与负荷的功率大小的过程如下式所示：
Figure BDA0003429870830000071
Figure BDA0003429870830000072
Figure BDA0003429870830000073
Figure BDA0003429870830000074
其中,
Figure BDA0003429870830000075
分别表示随机调整后的发电机i的有功功率、无功功率、随机调整后的负荷j的有功功率、无功功率；
Figure BDA0003429870830000076
分别表示随机调整前的发电机i的有功功率、无功功率、随机调整前的负荷j的有功功率、无功功率；
Figure BDA0003429870830000077
分别表示第m个样本获取过程中根据蒙特卡洛法得到的在0-k范围内的随机数。
步骤二，设计一级联的图神经网络，并以潮流样本数据为输入，潮流收敛概率值为输出在步骤一所得训练集上利用梯度下降法训练获得级联图神经网络；
步骤三，设计用于潮流计算收敛的Q神经网络的环境、状态空间、动作空间和奖赏函数，根据所述状态空间、动作空间和奖赏函数利用步骤一所得训练集训练用于潮流计算收敛的Q神经网络。其中，所述奖赏函数包含根据步骤二得到的级联图神经网络输出的每个样本的潮流收敛概率值。
以下结合说明书附图对本发明作进一步说明。
实施例1
本实施例提供一种基于深度强化学习和级联图神经网络的电力系统潮流收敛性调整方法。本实施例完成于一台配置为Inter Core i9-10885H CPU@2.40GHz、16.0GB内存和NVIDIA GTX 1080GPU的个人电脑中。程序使用Python 3.8.8编写，涉及深度学习部分使用框架为Tensorflow 2.6.0，涉及强化学习部分使用框架为Gym 0.20.0,涉及潮流计算部分使用基于Python的潮流计算模块Pypower 5.1.15。
本实施例选取IEEE 9节点系统作为研究对象。IEEE 9节点系统包含9个节点，其中三个节点包含发电机，三个节点包含负荷，三个节点既没有负荷也没有发电机。
首先，先训练Q神经网络：
根据步骤一所述内容，在0-4倍之间随机改变发电机与负荷的功率，并重复该过程100,000次。最终得到收敛的潮流数据38937组，不收敛数据61603组。
然后，根据步骤2，设计级联图神经网络，本实施例中的结构及参数如图2和表1所示，并在Tensorflow 2.6.0中构建该级联图神经网络，利用步骤一所得潮流数据训练该神经网络。训练过程中使用Adam优化器，学习率设为0.001，batch-size设为256，最大epoch数设为200。在训练过程中，样本进一步切分为训练样本、验证样本和测试样本，占比分别为70％、15％和15％。由于潮流样本数据中不存在明显的样本均衡性问题，本文采用在测试样本中的准确率(accuracy,ACC)和损失函数交叉熵(cross entropy,CE)作为评价指标，并结果如图3和图4所示。
表1级联神经网络的超参数表
Figure BDA0003429870830000081
再然后，根据步骤三设计环境、状态空间、动作空间和奖赏函数，如表2所示。
表2强化学习模型组成部分与潮流调整问题的对应关系
Figure BDA0003429870830000091
具体地，本实施例中状态空间可构建如下式所示：
Figure BDA0003429870830000092
其中，Pt i、Qt i、Tt i分别表示第t个时间步时包含发电机的节点i上发电机的有功功率、无功功率和节点类型。
类似的，其动作空间也可以用维度为3×3的矩阵a表示：
Figure BDA0003429870830000093
其中,ΔPt i、ΔQt i、ΔTt i分别表示第t个时间步时包含发电机的节点i上发电机的有功功率、无功功率和节点类型的改变值。ΔPt i与ΔQt i为连续值，ΔTt i为离散值。
将ΔPt i与ΔQt i离散化，离散间距为0.01。即每次动作可以在[0,0.01,0.02,0.03,…3.98,3.99,4.00]倍中调整发包含发电机的节点i上发电机的有功功率、无功功率。
奖赏函数如下式所示：
Figure BDA0003429870830000101
式中，Ri(·)分别对应四个部分的奖赏函数；pt和pt+1分别表示在时间步t时执行动作前后潮流收敛的概率，由步骤2中所述级联神经网络计算所得；在tensorflow中构建由三层全连接层级联构成的Q神经网络，并将其可训练参数随机初始初始化。
如流程图2所示，通过深度Q学习方法训练Q神经网络，最终得到潮流调整策略。
通过以下过程说明根据该潮流收敛性调整策略的调整过程。待调整的不收敛潮流数据如表3所示，基于所提方法的调整过程如表4所示。
表3待调整不收敛潮流数据
Figure BDA0003429870830000102
表4基于本方法的不收敛潮流数据调整过程
Figure BDA0003429870830000103
根据表4调整后，潮流最终收敛。
进一步地，为比较所提基于级联图神经的奖赏函数对算法训练速度的影响，其结果如表5所示。图中，算法A即本发明方法，算法B为不使用所提基于级联图神经的奖赏函数，其余设置与算法A相同。由比较结果可知，本发明基于级联图神经的奖赏函数可以加速算法的训练。
表5算法A与算法B训练速度对比
Figure BDA0003429870830000111
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。

Claims (9)

1.一种基于深度强化学习和级联图神经网络的潮流收敛性调整方法，其特征在于，具体为：将不收敛的潮流样本输入至一训练好的Q神经网络，获得调整动作使潮流样本收敛。其中，所述Q神经网络训练时的奖赏函数包括通过一训练好的级联图神经网络获得的潮流收敛概率值。
2.根据权利要求1所述的方法，其特征在于，所述Q神经网络训练的步骤为：
步骤一，获取标记为收敛或不收敛的潮流样本组成训练集。
步骤二，设计一级联的图神经网络，并以潮流样本数据为输入，潮流收敛概率值为输出在步骤一所得训练集上利用梯度下降法训练获得级联图神经网络；
步骤三，设计用于潮流计算收敛的Q神经网络的环境、状态空间、动作空间和奖赏函数，根据所述状态空间、动作空间和奖赏函数利用步骤一所得训练集训练用于潮流计算收敛的Q神经网络。其中，所述奖赏函数包含根据步骤二得到的级联图神经网络输出的每个样本的潮流收敛概率值。
3.根据权利要求2所述的方法，其特征在于，所述步骤一中，获取标记为收敛或不收敛的潮流样本组成训练集具体为：首先利用现有收敛的初始潮流，随机改变发电机与负荷的功率大小，得到大量的潮流样本，并利用潮流求解器得到潮流样本是否收敛的标签。
4.根据权利要求2所述的方法，其特征在于，奖赏函数具体为：
Figure FDA0003429870820000011
式中，Ro(·)分别对应o个部分的奖赏函数；wo表示第o部分奖赏的权重；r11、r12分别为潮流计算收敛、不收敛时的奖赏值；pt和pt+1分别表示在时间步t时执行动作前后潮流收敛的概率，由步骤2中所述级联神经网络计算所得；fo表示第o部分奖赏计算式所用的激活函数，st为在时间步t时的状态空间，at为在时间步t时的动作空间。
5.根据权利要求2所述的方法，其特征在于，所述状态空间为由电力系统中每个包含发电机的节点中发电机的有功功率、无功功率和节点类型组成的矩阵；所述动作空间为电力系统每个包含发电机的节点中发电机的有功功率、无功功率和节点类型的改变值组成的矩阵。
6.根据权利要求1所述的方法，其特征在于，所述级联图神经网络由两层GCN层、三层全连接层组成。
7.根据权利要求6所述的方法，其特征在于，所述GCN层的前向传递函数表示为：
Figure FDA0003429870820000021
Figure FDA0003429870820000022
Figure FDA0003429870820000023
其中，X和Y分别是GCN层的输入与输出；A是系统拓扑的邻接矩阵；
Figure FDA0003429870820000024
是系统拓扑的度矩阵；W是GCN层的可训练参数矩阵；I是单位矩阵；fσ(·)是激活函数。
8.根据权利要求2所述的方法，其特征在于，所述级联的图神经网络是潮流样本数据组成的特征矩阵，其中的每一行代表了系统中相应节点的电气特征；电气特征包括对应的节点的发电机、负载的有功功率、无功功率，节点电压的幅值、相角以及节点类型，节点类型为平衡节点、PQ节点、PV节点。
9.根据权利要求7所述的方法，其特征在于，所述全连接层的前向传递公式如下式所示：
Figure FDA0003429870820000025
其中，XFC (l)和YFC (l)分别为第l层全连接层层的输入输出；W(l) FC和b(l)分别为第l层FC层的权重矩阵和偏置矩阵，是可训练的参数。
CN202111590885.1A 2021-12-23 2021-12-23 一种基于深度强化学习和级联图神经网络的潮流收敛性调整方法 Active CN114362151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111590885.1A CN114362151B (zh) 2021-12-23 2021-12-23 一种基于深度强化学习和级联图神经网络的潮流收敛性调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111590885.1A CN114362151B (zh) 2021-12-23 2021-12-23 一种基于深度强化学习和级联图神经网络的潮流收敛性调整方法

Publications (2)

Publication Number Publication Date
CN114362151A true CN114362151A (zh) 2022-04-15
CN114362151B CN114362151B (zh) 2023-12-12

Family

ID=81101021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111590885.1A Active CN114362151B (zh) 2021-12-23 2021-12-23 一种基于深度强化学习和级联图神经网络的潮流收敛性调整方法

Country Status (1)

Country Link
CN (1) CN114362151B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660324A (zh) * 2022-10-09 2023-01-31 浙江大学 基于图强化学习的电网多断面越限调控方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110304045A (zh) * 2019-06-25 2019-10-08 中国科学院自动化研究所 智能驾驶横向换道决策方法、系统和装置
CN111478331A (zh) * 2020-03-17 2020-07-31 中国电力科学研究院有限公司 一种用于调整电力系统潮流收敛的方法及系统
CN111612126A (zh) * 2020-04-18 2020-09-01 华为技术有限公司 强化学习的方法和装置
CN112560210A (zh) * 2020-12-16 2021-03-26 北京百度网讯科技有限公司 用于调整电网结构的方法、相关装置及计算机程序产品
CN113240105A (zh) * 2021-03-30 2021-08-10 浙江大学 一种基于图神经网络池化的电网稳态判别方法
US20210367426A1 (en) * 2019-11-16 2021-11-25 State Grid Zhejiang Electric Power Co., Ltd. Taizhou power supply company Method for intelligently adjusting power flow based on q-learning algorithm

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110304045A (zh) * 2019-06-25 2019-10-08 中国科学院自动化研究所 智能驾驶横向换道决策方法、系统和装置
US20210367426A1 (en) * 2019-11-16 2021-11-25 State Grid Zhejiang Electric Power Co., Ltd. Taizhou power supply company Method for intelligently adjusting power flow based on q-learning algorithm
CN111478331A (zh) * 2020-03-17 2020-07-31 中国电力科学研究院有限公司 一种用于调整电力系统潮流收敛的方法及系统
CN111612126A (zh) * 2020-04-18 2020-09-01 华为技术有限公司 强化学习的方法和装置
CN112560210A (zh) * 2020-12-16 2021-03-26 北京百度网讯科技有限公司 用于调整电网结构的方法、相关装置及计算机程序产品
CN113240105A (zh) * 2021-03-30 2021-08-10 浙江大学 一种基于图神经网络池化的电网稳态判别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王甜婧 等: "基于知识经验和深度强化学习的大电网潮流计算收敛自动调整方法", 《中国电机工程学报》, vol. 40, no. 08, pages 2396 - 2405 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660324A (zh) * 2022-10-09 2023-01-31 浙江大学 基于图强化学习的电网多断面越限调控方法和系统
CN115660324B (zh) * 2022-10-09 2023-06-13 浙江大学 基于图强化学习的电网多断面越限调控方法和系统

Also Published As

Publication number Publication date
CN114362151B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
Fathi et al. Intelligent MPPT for photovoltaic panels using a novel fuzzy logic and artificial neural networks based on evolutionary algorithms
CN110535146B (zh) 基于深度确定策略梯度强化学习的电力系统无功优化方法
Xiao et al. An improved combination approach based on Adaboost algorithm for wind speed time series forecasting
CN113363998B (zh) 一种基于多智能体深度强化学习的配电网电压控制方法
CN107681664A (zh) 一种基于内点法的分布式电源并网优化潮流计算方法
CN108462184B (zh) 一种电力系统线路串补优化配置方法
CN109412161B (zh) 一种电力系统概率潮流计算方法及系统
CN105186499A (zh) 一种配电网多目标概率最优潮流模糊建模与求解方法
CN110808581B (zh) 一种基于dbn-svm的主动配电网电能质量预测方法
CN106355330A (zh) 基于径向基神经网络预测模型的多响应参数优化方法
CN106372426A (zh) 基于主成分分析与神经网络的多响应参数优化方法
Yin et al. Data‐driven approach for real‐time distribution network reconfiguration
CN113489015A (zh) 一种基于强化学习的配电网多时间尺度无功电压控制方法
Li et al. Day-ahead optimal dispatch strategy for active distribution network based on improved deep reinforcement learning
CN114362151A (zh) 一种基于深度强化学习和级联图神经网络的潮流收敛性调整方法
Xu et al. Short-term wind power forecasting based on Elman neural network with particle swarm optimization
CN108694475B (zh) 基于混合模型的短时间尺度光伏电池发电量预测方法
CN105633971B (zh) 一种基于帝国主义竞争算法的智能配电网随机潮流方法
CN108551177B (zh) 基于灵敏度分析的直流受端系统暂态切负荷控制优化方法
CN116599860B (zh) 一种基于强化学习的网络流量灰色预测方法
CN117540638A (zh) 一种光伏电站等值建模方法、介质及系统
CN116093995B (zh) 一种配电系统多目标网络重构方法及系统
CN115622056B (zh) 一种基于线性加权和选解法的储能优化配置方法及系统
Liu et al. Deep reinforcement learning-based voltage control method for distribution network with high penetration of renewable energy
Yulin et al. Distribution network reactive power optimization based on ant colony optimization and differential evolution algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant