CN115065066A - 局域能源互联网无功补偿协同优化方法和装置 - Google Patents
局域能源互联网无功补偿协同优化方法和装置 Download PDFInfo
- Publication number
- CN115065066A CN115065066A CN202210651628.2A CN202210651628A CN115065066A CN 115065066 A CN115065066 A CN 115065066A CN 202210651628 A CN202210651628 A CN 202210651628A CN 115065066 A CN115065066 A CN 115065066A
- Authority
- CN
- China
- Prior art keywords
- local energy
- energy internet
- compensation
- network
- state data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000005457 optimization Methods 0.000 title claims abstract description 35
- 230000002787 reinforcement Effects 0.000 claims abstract description 71
- 238000004088 simulation Methods 0.000 claims description 32
- 230000001052 transient effect Effects 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010248 power generation Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000011217 control strategy Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000005431 greenhouse gas Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
- H02J3/16—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by adjustment of reactive power
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
- Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本公开涉及一种局域能源互联网无功补偿协同优化方法和装置。通过获取局域能源互联网中各个节点的实时状态数据，并且输入所述实时状态数据至预先构建的多主体强化学习模型，得到各个无功补偿装置的补偿容量，其中，所述无功补偿装置设置在所述局域能源互联网中的关键节点上；在各个无功补偿装置中投入相应的所述补偿容量，对所述局域能源互联网进行无功补偿。本公开提供的实施方案中，通过训练多主体强化学习模型，并将局域能源互联网中各个节点的实时状态数据输入至该模型中，得到各个无功补偿装置的补偿容量，可以实现局域能源互联网中全局的电压稳定性控制，可以保障局域能源互联网供电的效率和供电可靠性。
Description
技术领域
本公开涉及能源互联网技术领域，特别是涉及一种局域能源互联网无功补偿协同优化方法和装置。
背景技术
减少温室气体的排放、推动绿色低碳能源的发展至关重要。因此，局域能源互联网因其对光伏、风电等可再生清洁能源的消纳能力成为目前电力能源系统的发展方向。但是，由于在变化的天气条件下，光伏、风电等可再生能源发电的波动性和随机性，局域能源互联网运行过程中将会产生电压稳定性问题。
在传统的方法中，通常需要在局域能源互联网的关键节点处布置无功补偿装置，例如并联电抗器、静止无功补偿装置和静止无功发生器等。但是现有无功补偿装置的控制策略只能通过对直接相连的母线电压进行感知，保证该母线电压稳定，无法保证临近母线的电压稳定；同时，局域互联网内的各无功补偿装置采用独立的控制策略，无法协同工作来保证整个局域能源互联网的电压稳定，尤其是在发生局部故障的情况下。
发明内容
基于此，有必要针对上述技术问题，提供一种能够实现局域能源互联网中全局电压稳定的局域能源互联网无功补偿协同优化方法和装置。
第一方面，本公开提供了一种局域能源互联网无功补偿协同优化方法。所述方法包括：
获取局域能源互联网中各个节点的实时状态数据，所述状态数据包括有功功率、无功功率、三相电压和电网频率；
输入所述实时状态数据至预先构建的多主体强化学习模型，得到各个无功补偿装置的补偿容量，其中，所述无功补偿装置设置在所述局域能源互联网中的关键节点上；
在各个无功补偿装置中投入相应的所述补偿容量，对所述局域能源互联网进行无功补偿。
在其中一个实施例中，所述多主体强化学习模型采用包括如下方式构建得到：
在预先构建的局域能源互联网暂态仿真模型中，通过引入故障和增加扰动的方式模拟局域能源互联网的电压失稳过程；
获取局域能源互联网暂态仿真模型的所有节点在所述电压失稳过程中的状态数据；
根据所述状态数据和局域能源互联网的图结构模型构建多主体强化学习模型，并对所述多主体强化学习模型进行训练，所述图结构模型包括以局域能源互联网中的节点为所述图结构模型的节点，以局域能源互联网中传输线路和变压器为所述图结构模型的边。
在其中一个实施例中，所述在预先构建的局域能源互联网暂态仿真模型中，通过引入故障和增加扰动的方式模拟局域能源互联网的电压失稳过程包括：
获取局域能源互联网的网络结构，所述网络结构包括N个节点和M个关键节点，其中N>M，所述M个关键节点处安装有M个无功补偿装置；
根据节点参数和局域能源互联网的网络结构参数构建局域能源互联网暂态仿真模型；
分别在局域能源互联网暂态仿真模型中的每个母线和每个传输线路上引入故障和/或增加扰动。
在其中一个实施例中，所述分别在局域能源互联网暂态仿真模型中的每个母线和每个传输线路上引入故障和增加扰动包括：
分别在每个母线和每个传输线路上引入三相短路故障、单相接地故障、两相短路故障、两相接地故障中的任意一种；
分别在每个母线上增加负荷或者切除负荷。
在其中一个实施例中，所述根据所述状态数据和局域能源互联网的图结构模型构建多主体强化学习模型，并对所述多主体强化学习模型进行训练，包括：
构建包括门控循环单元网络、图注意力网络、策略网络和评价网络组成的多主体深度强化学习模型；
设置所述多主体深度强化学习模型中的参数，所述参数包括门控循环单元网络参数、图注意力网络参数、策略网络参数和评价网络参数；
根据每次训练过程中补偿后各节点的电压和无功补偿装置的补偿数量，构建奖励函数；
输入实时状态数据至所述多主体深度强化学习模型，训练所述多主体深度强化学习模型，所述多主体深度强化学习模型的输出为无功补偿装置的补偿容量。
在其中一个实施例中，所述门控循环单元网络参数包括门控循环单元的层数和每个门控循环单元的参数；
所述图注意力网络参数包括图注意力层个数、邻接矩阵尺寸和每个图注意力层的卷积核个数；
所述策略网络参数包括策略网络的层数，每层的类型和策略网络的输入输出尺寸；
评价网络参数包括评价网络的层数，每层的类型和评价网络的输入输出尺寸。
第二方面，本公开还提供了一种局域能源互联网无功补偿协同优化装置。
所述装置包括：
状态数据获取模块，用于获取局域能源互联网中各个节点的实时状态数据，所述状态数据包括有功功率、无功功率、三相电压和电网频率；
补偿容量得到模块，用于输入所述实时状态数据至预先构建的多主体强化学习模型，得到各个无功补偿装置的补偿容量，其中，所述无功补偿装置设置在所述局域能源互联网中的关键节点上；
无功补偿模块，用于在各个无功补偿装置中投入相应的所述补偿容量，对所述局域能源互联网进行无功补偿。
第三方面，本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本公开任一项实施例所述的方法。
第四方面，本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本公开任一项实施例所述的方法。
第五方面，本公开还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一项实施例所述的方法。
本公开提供的实施方案，通过获取局域能源互联网中各个节点的实时状态数据，并且输入所述实时状态数据至预先构建的多主体强化学习模型，得到各个无功补偿装置的补偿容量，其中，所述无功补偿装置设置在所述局域能源互联网中的关键节点上；在各个无功补偿装置中投入相应的所述补偿容量，对所述局域能源互联网进行无功补偿。本公开提供的实施方案中，通过训练多主体强化学习模型，并将局域能源互联网中各个节点的实时状态数据输入至该模型中，得到各个无功补偿装置的补偿容量，可以实现局域能源互联网中全局的电压稳定性控制，可以保障局域能源互联网供电的效率和供电可靠性。
附图说明
为了更清楚地说明本说明书实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中局域能源互联网无功补偿协同优化方法的应用环境图；
图2为一个实施例中局域能源互联网无功补偿协同优化方法的流程示意图；
图3为一个实施例中局域能源互联网无功补偿协同优化方法的流程示意图；
图4为一个实施例中局域能源互联网无功补偿协同优化方法的流程示意图；
图5为一个实施例中局域能源互联网无功补偿协同优化方法的流程示意图；
图6为一个实施例中局域能源互联网无功补偿协同优化方法的流程示意图；
图7为一个实施例中局域能源互联网无功补偿协同优化方法的流程示意图；
图8为一个实施例中局域能源互联网无功补偿协同优化方法中构建的多主体强化学习模型的正向和反向传播过程流程示意图；
图9为一个实施例中局域能源互联网无功补偿协同优化方法中门控循环单元网络的结构图；
图10为一个实施例中局域能源互联网无功补偿协同优化方法中图注意力网络的结构图；
图11为一个实施例中局域能源互联网无功补偿协同优化方法中图注意力网络中的每个图注意力层结构图；
图12为一个实施例中局域能源互联网无功补偿协同优化方法的流程示意图；
图13为一个实施例中局域能源互联网无功补偿协同优化装置的结构框图；
图14为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。
本公开实施例提供的局域能源互联网无功补偿协同优化方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102获取局域能源互联网中各个节点的实时状态数据，所述状态数据包括有功功率、无功功率、三相电压和电网频率；输入所述实时状态数据至预先构建的多主体强化学习模型，得到各个无功补偿装置的补偿容量，其中，所述无功补偿装置设置在所述局域能源互联网中的关键节点上，所述多主体强化学习模型可以在终端102中，也可以在服务器104中，在各个无功补偿装置中投入相应的所述补偿容量，对所述局域能源互联网进行无功补偿。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种局域能源互联网无功补偿协同优化方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S202，获取局域能源互联网中各个节点的实时状态数据，所述状态数据包括有功功率、无功功率、三相电压和电网频率。
其中，所述实时状态数据包括实时有功功率、实时无功功率、实时三相电压和实时电网频率。
具体地，可以获取局域能源互联网中各个节点的实时有功功率、实时无功功率、实时三相电压和实时电网频率。在一些实施方式中，实时状态数据可以表示为s∈RN×T×6，其中，s可以表示实时状态数据，T为数据在时域上的采样点，6为每个时刻实时状态数据的数量，R代表结合数据集。
S204，输入所述实时状态数据至预先构建的多主体强化学习模型，得到各个无功补偿装置的补偿容量，其中，所述无功补偿装置设置在所述局域能源互联网中的关键节点上。
其中，所述局域能源互联网中关键节点可以包括根据实际的局域能源互联网的设备情况安装有无功补偿装置的节点。
具体的，可以将实时状态数据输入至已经预先构建的多主体强化学习模型，得到安装在局域能源互联网的关键节点上的无功补偿装置的补偿容量。在一些实施方式中，以实时在线采集的局域能源互联网中各节点的实时状态数据为输入。在局域能源互联网出现电压失稳时，由多主体深度强化学习模型实时获取最优的多个无功补偿装置的补偿容量。
S206，在各个无功补偿装置中投入相应的所述补偿容量，对所述局域能源互联网进行无功补偿。
具体地，可以在各个无功补偿装置中投入相应的所述补偿容量，对局域能源互联网进行无功补偿，保障局域能源互联网的电压稳定。在一些实施方式中在软件系统中部署训练好的多主体深度强化学习模型，通过采集系统和数据传输接口接收局域能源互联网各节点的实时在线监测数据。然后，将所有节点的实时在线监测数据输入多主体深度强化学习模型，由策略网络输出M个无功补偿设备的最优无功补偿量oj,(j＝1,…,M)。进一步在各无功补偿设备投入oj大小的无功补偿量，以保障局域能源互联网的电压稳定。
上述局域能源互联网无功补偿协同优化方法中，通过训练多主体强化学习模型，并将局域能源互联网中各个节点的实时状态数据输入至该模型中，得到各个无功补偿装置的补偿容量，可以实现局域能源互联网中全局的电压稳定性控制，可以保障局域能源互联网供电的效率和供电可靠性。
在一个实施例中，如图3所示，所述多主体强化学习模型采用包括如下方式构建得到：
S302，在预先构建的局域能源互联网暂态仿真模型中，通过引入故障和增加扰动的方式模拟局域能源互联网的电压失稳过程。
具体地，可以在预先构建的局域能源互联网暂态仿真模型中引入故障和增加扰动的方式模拟局域能源互联网的电压失稳过程。
S304，获取局域能源互联网暂态仿真模型的所有节点在所述电压失稳过程中的状态数据。
具体地，可以在局域能源互联网的电压失稳过程中获取局域能源互联网暂态仿真模型的所有节点的状态数据，其中，所述状态数据包括有功功率、无功功率、三相电压和电网频率。在一些实施方式中，采样频率为100Hz，采样长度为50，那么，s∈RN×50×6，其中，s可以表示实时状态数据，6为每个时刻实时状态数据的数量，R代表结合数据集。
S306，根据所述状态数据和局域能源互联网的图结构模型构建多主体强化学习模型，并对所述多主体强化学习模型进行训练，所述图结构模型包括以局域能源互联网中的节点为所述图结构模型的节点，以局域能源互联网中传输线路和变压器为所述图结构模型的边。
具体地，可以根据状态数据和局域能源互联网的图结构模型构建多主体强化学习模型，并对所述多主体强化学习模型进行训练。在一些实施方式中，在局域能源互联网的图结构模型构建的过程中所利用到的邻接矩阵A可以表示为：
其中，ni为第i个局域能源互联网节点。
本实施例中，通过在预先构建的局域能源互联网暂态仿真模型中，引入故障和增加扰动的方式模拟局域能源互联网的电压失稳过程，并且获取局域能源互联网暂态仿真模型的所有节点在所述电压失稳过程中的状态数据，根据所述状态数据和局域能源互联网的图结构模型构建多主体强化学习模型，并对所述多主体强化学习模型进行训练，利用训练好的多主体强化学习模型得到各个无功补偿装置的补偿容量，可以实现局域能源互联网中全局的电压稳定性控制，可以保障局域能源互联网供电的效率和供电可靠性。
在一个实施例中，如图4所示，步骤S302在预先构建的局域能源互联网暂态仿真模型中，通过引入故障和增加扰动的方式模拟局域能源互联网的电压失稳过程包括以下步骤：
S402，获取局域能源互联网的网络结构，所述网络结构包括N个节点和M 个关键节点，其中N>M，所述M个关键节点处安装有M个无功补偿装置。
具体地，可以获取局域能源互联网中由N个节点互联的网络结构。在一些实施方式中，针对一个由N个发电设备、母线或者负载节点互联的局域能源互联网系统，可以根据节点间变压器和传输线路的连接关系，得到局域能源互联网的网络结构，其中，发电设备包括光伏、风力发电机、柴油发电机和热力发电厂等。
S404，根据节点参数和局域能源互联网的网络结构参数构建局域能源互联网暂态仿真模型。
具体地，可以根据节点参数和局域能源互联网的网络结构参数构建局域能源互联网暂态仿真模型。在一些实施方式中，可以根据节点所连接设备的类型、参数和功率信息，线路阻抗，以及变压器参数，构建局域能源互联网暂态仿真模型。然后根据局域能源互联网的无功补偿装置的实际配置情况，在暂态仿真模型的对应节点上增加无功补偿设备模型。其中，所述网络结构参数包括传输线路参数如长度、阻抗、回线数等，以及变压器参数如额定容量、额定电压、空载电流、短路损耗、空载损耗等。
S406，分别在局域能源互联网暂态仿真模型中的每个母线和每个传输线路上引入故障和/或增加扰动。
具体地，可以分别在局域能源互联网暂态仿真模型中的每个母线上引入故障和/或增加扰动。也可以分别在局域能源互联网的每个传输线路上引入故障和/ 或增加扰动。
本实施例中，通过构建局域能源互联网暂态仿真模型，并在所述局域能源互联网暂态仿真模型中的每个母线和每个传输线路上引入故障和/或增加扰动，以获取电压失稳过程中节点的实时状态数据，可以实现局域能源互联网中全局的电压稳定性控制，保障局域能源互联网供电的效率和供电可靠性。
在一个实施例中，如图5所示，步骤S406分别在局域能源互联网暂态仿真模型中的每个母线和每个传输线路上引入故障和增加扰动包括以下步骤：
S502，分别在每个母线和每个传输线路上引入三相短路故障、单相接地故障、两相短路故障、两相接地故障中的任意一种。
具体的，可以分别在每个母线上引入三相短路故障、单相接地故障、两相短路故障、两相接地故障中的任意一种，也可以分别在每个传输线路上引入三相短路故障、单相接地故障、两相短路故障、两相接地故障中的任意一种。在一些实施方式中，在设置三相短路故障、单相接地故障、两相短路故障、两相接地故障中的任意一种的时候，针对每种故障类型可以设置多种接地阻抗。
S504，分别在每个母线上增加负荷或者切除负荷。
具体地，可以分别在每个母线上增加负荷，也可以分别在每个母线上切除负荷。
本实施例中，通过分别在每个母线和每个传输线路上引入故障和分别在每个母线上增加负荷或者切除负荷，以获取电压失稳状态下的各个节点的实时状态数据，用来构建多主体强化学习模型，可以实现局域能源互联网中全局的电压稳定性控制，保障局域能源互联网供电的效率和供电可靠性。
在一个实施例中，如图6所示，步骤S306根据所述状态数据和局域能源互联网的图结构模型构建多主体强化学习模型，并对所述多主体强化学习模型进行训练，包括以下步骤：
S602，构建包括门控循环单元网络、图注意力网络、策略网络和评价网络组成的多主体深度强化学习模型。
S604，设置所述多主体深度强化学习模型中的参数，所述参数包括门控循环单元网络参数、图注意力网络参数、策略网络参数和评价网络参数。
具体地，可以通过门控循环单元网络、图注意力网络、策略网络和评价网络构建多主体深度强化学习模型，其中策略网络可以包括actor网络，评价网络可以包括critic网络。如图7所示，以所有局域能源互联网节点的实时状态数据为输入，首先，由并行的共享网络参数的门控循环单元网络H(θH)分别提取各节点数据中的时间序列相关的特征信息；其次，以局域能源互联网的图结构模型为基础，图注意力网络基于邻接矩阵A和注意力机制，对存在连接关系的节点信息进行信息融合和特征提取，具体步骤就是将门控循环单元网络提取到的特征数据作为图注意力网络的输入，输出安装有无功补偿装置的节点的特征。信息融合是指图注意力网络会根据邻接矩阵A，使用卷积操作，对有连接关系的节点的特征数据进行运算，以实现对存在连接关系的节点信息进行信息融合。注意力机制用以调节节点间连接关系的权重；然后，以图注意力网络得到的安装有无功补偿装置的节点的特征为输入，多主体强化学习actor网络π(·|s；θa)分别获取M个无功补偿装置的补偿策略；最后critic网络V(s；θc)以图注意力网络得到的所有节点的特征为输入，给出该策略的预期奖励函数的R值。
S606，根据每次训练过程中补偿后各节点的电压和无功补偿装置的补偿数量，构建奖励函数。
S608，输入实时状态数据至所述多主体深度强化学习模型，训练所述多主体深度强化学习模型，所述多主体深度强化学习模型的输出为无功补偿装置的补偿容量。
具体的，可以根据每次训练过程中补偿后各节点的电压和无功补偿装置的补偿数量，构建奖励函数输入实时状态数据至所述多主体深度强化学习模型，训练所述多主体深度强化学习模型，所述多主体深度强化学习模型的输出为无功补偿装置的补偿容量。在一些实施方式中，所构建的多主体强化学习模型的正向和反向传播过程如图8所示。多主体强化学习模型以局域能源互联网各节点的实时状态监测信息s为输入。首先由门控循环单元网络H(θH)提取数据中的时序特征，进而图注意力网络G(θG)结合拓扑结构对时序特征进行特征提取，得到各局域能源互联网节点的特征Fi,(i＝1,…,N)。actor网络π(·|s；θa)以配置有无功补偿装置的节点特征Fnj为输入，分别输出每个无功补偿装置的补偿动作oj，其中nj,(j＝1,…,M)为配置有无功补偿装置的节点的集合。critic网络V(s；θc) 以所有节点特征为输入，给出当前能源互联网状态的评价V(s)。在反向传播过程中，首先将无功补偿动作应用于局域能源互联网暂态仿真模型，获得对应的奖励R。误差由actor网络和critic网络计算，然后应用梯度下降法反向传递到图注意力网络和门控循环单元网络，进行参数更新。在训练过程中具体的正向和反向传播过程如下：
给定最大训练回合数，然后逐回合进行以下步骤：
1)根据初始的电压失稳过程节点状态数据集合，对数据集合中的每一个状态样本s，进行以下步骤：
a)将包含有N个节点监测数据的状态样本s送入门控循环单元网络 H(θH)和图神经网络G(θG)中进行特征提取，获得N个节点的特征 Fi,(i＝1,…,N)。
b)将安装有无功补偿设备信息
作为输入，利用actor网络π(·|s；θa)确定无功补偿动作oj。
c)在局域能源互联网暂态仿真模型中执行无功补偿动作oj，获得补偿后的局域能源互联网状态，并由奖励R函数计算出该动作的R值R(s)。
d)保存该状态样本s、oj,(j＝1,…,M)和R(s)。
2)将所有样本s代入门控循环单元网络H(θH)、图神经网络G(θG)和critic网络V(s；θc)计算得到价值函数的估计V(s)，并计算TD误差δ：
δ＝R(s)-V(s)
3)根据TD误差δ，更新actor网络参数、控循环单元网络参数θH和图神经网络参数θG：
4)根据均方差损失函数：ε(θc)＝δ2更新critic网络参数θc、控循环单元网络参数θH和图神经网络参数θG：
5)如果达到设置的最大回合数，结束训练，返回门控循环单元网络、图注意力网络、actor和critic网络的参数θH、θG、θa和θc。
本实施例中，通过构建由门控循环单元网络、图注意力网络、策略网络和评价网络组成的多主体深度强化学习模型，并构建奖励函数，输入实时状态数据至所述多主体深度强化学习模型，训练所述多主体深度强化学习模型，可以实现局域能源互联网中全局的电压稳定性控制，保障局域能源互联网供电的效率和供电可靠性。
在一个实施例中，所述门控循环单元网络参数包括门控循环单元的层数和每个门控循环单元的参数；
所述图注意力网络参数包括图注意力层个数、邻接矩阵尺寸和每个图注意力层的卷积核个数；
所述策略网络参数包括策略网络的层数，每层的类型和策略网络的输入输出尺寸；
评价网络参数包括评价网络的层数，每层的类型和评价网络的输入输出尺寸。
然后，设置多主体深度强化学习模型各部分的参数。其中，门控循环单元网络的结构如图9所示，其中GRU为门控循环单元。网络采用并行结构，对每个局域能源互联网节点，使用多个门控循环单元进行独立的数据特征提取，所有并行的门控循环单元共享同样的网络参数，即在图9中，颜色相同的门控循环单元具有相同的网络参数。门控循环单元网络参数包括门控循环单元的层数和每个门控循环单元的参数。每个门控循环单元通过更新门和遗忘门处理数据中的时序特征，其参数主要包括隐含神经元个数和时间步长。
图注意力网络参数包括图注意力层个数、邻接矩阵尺寸和每个图注意力层的卷积核个数。图注意力网络的结构如图10所示，由多个图注意力层连接而成，每个图注意力层以上一个图注意力层的输出为输入，直到得到最终的局域能源互联网的特征提取结果。图注意力网络中的每个图注意力层结构如图11所示，图卷积层以每个图节点的特征为输入，结合表征图结构的邻接矩阵，对图节点的特征进行图卷积运算。图卷积运算对有连接关系的节点的特征进行融合和特征提取，相较于普通的卷积神经网络或者全连接神经网络，提取到的特征能反映出图的结构信息。
策略网络和评价网络都采用全连接的神经网络结构，需要设置的参数包括包括网络的层数、每层的类型及输入输出尺寸。策略网络有M个策略输出，评价网络有1个输出作为策略评价。
在发明实施例中，奖励R函数的构建考虑了补偿后各节点的电压和无功补偿装置的补偿数量，具体的R函数公式如下：
其中N为局域能源互联网节点个数，Ui为第i个节点无功补偿后的标幺值电压， M为无功补偿设备数量，oj为多主体强化学习模型得到的第j个无功补偿装置的无功补偿量，α为无功补偿总量的权重。可以看出，各节点的标幺值电压越接近 1，奖励R函数的值越大，代表着无功补偿效果越好。
本实施例中，通过设置门控循环单元网络参数，图注意力网络参数，策略网络参数和评价网络参数，进而构建多主体深度强化学习模型，并对局域能源互联网进行无功补偿，可以实现局域能源互联网中全局的电压稳定性控制，保障局域能源互联网供电的效率和供电可靠性。
在一个实施例中，如图12所示，提供了一种局域能源互联网无功补偿协同优化方法，所述方法包括以下步骤：
S1202，获取局域能源互联网中各个节点的实时状态数据，所述状态数据包括有功功率、无功功率、三相电压和电网频率。
S1204，获取局域能源互联网的网络结构，所述网络结构包括N个节点和M 个关键节点，其中N>M，所述M个关键节点处安装有M个无功补偿装置。
S1206，根据节点参数和局域能源互联网的网络结构参数构建局域能源互联网暂态仿真模型。
S1208，分别在每个母线和每个传输线路上引入三相短路故障、单相接地故障、两相短路故障、两相接地故障中的任意一种。
S1210，分别在每个母线上增加负荷或者切除负荷。
S1212，获取局域能源互联网暂态仿真模型的所有节点在所述电压失稳过程中的状态数据。
S1214，构建包括门控循环单元网络、图注意力网络、策略网络和评价网络组成的多主体深度强化学习模型。
S1216，设置所述多主体深度强化学习模型中的参数，所述参数包括门控循环单元网络参数、图注意力网络参数、策略网络参数和评价网络参数。
S1218，根据每次训练过程中补偿后各节点的电压和无功补偿装置的补偿数量，构建奖励函数。
S1220，输入实时状态数据至所述多主体深度强化学习模型，训练所述多主体深度强化学习模型，所述多主体深度强化学习模型的输出为无功补偿装置的补偿容量。
S1222，利用训练好的多主体强化学习模型得到各个无功补偿装置的补偿容量。
S1224，在各个无功补偿装置中投入相应的所述补偿容量，对所述局域能源互联网进行无功补偿。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的局域能源互联网无功补偿协同优化方法的局域能源互联网无功补偿协同优化装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个局域能源互联网无功补偿协同优化装置实施例中的具体限定可以参见上文中对于局域能源互联网无功补偿协同优化方法的限定，在此不再赘述。
在一个实施例中，如图13所示，提供了一种局域能源互联网无功补偿协同优化装置1300，包括：状态数据获取模块1302、补偿容量得到模块1304和无功补偿模块1306，其中：
状态数据获取模块1302，用于获取局域能源互联网中各个节点的实时状态数据，所述状态数据包括有功功率、无功功率、三相电压和电网频率。
补偿容量得到模块1304，用于输入所述实时状态数据至训练好的多主体强化学习模型，得到各个无功补偿装置的补偿容量，其中，所述无功补偿装置设置在所述局域能源互联网中的关键节点上。
无功补偿模块1306，用于在各个无功补偿装置中投入相应的所述补偿容量，对所述局域能源互联网进行无功补偿。
上述局域能源互联网无功补偿协同优化装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储局域能源互联网无功补偿协同优化数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种局域能源互联网无功补偿协同优化方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种局域能源互联网无功补偿协同优化方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图14中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器 (Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory， DRAM)等。本公开所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本公开所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本公开专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开的保护范围应以所附权利要求为准。
Claims (10)
1.一种局域能源互联网无功补偿协同优化方法，其特征在于，所述方法包括：
获取局域能源互联网中各个节点的实时状态数据，所述状态数据包括有功功率、无功功率、三相电压和电网频率；
输入所述实时状态数据至预先构建的多主体强化学习模型，得到各个无功补偿装置的补偿容量，其中，所述无功补偿装置设置在所述局域能源互联网中的关键节点上；
在各个无功补偿装置中投入相应的所述补偿容量，对所述局域能源互联网进行无功补偿。
2.根据权利要求1所述的方法，其特征在于，所述多主体强化学习模型采用包括如下方式构建得到：
在预先构建的局域能源互联网暂态仿真模型中，通过引入故障和增加扰动的方式模拟局域能源互联网的电压失稳过程；
获取局域能源互联网暂态仿真模型的所有节点在所述电压失稳过程中的状态数据；
根据所述状态数据和局域能源互联网的图结构模型构建多主体强化学习模型，并对所述多主体强化学习模型进行训练，所述图结构模型包括以局域能源互联网中的节点为所述图结构模型的节点，以局域能源互联网中传输线路和变压器为所述图结构模型的边。
3.根据权利要求2所述的方法，其特征在于，所述在预先构建的局域能源互联网暂态仿真模型中，通过引入故障和增加扰动的方式模拟局域能源互联网的电压失稳过程包括：
获取局域能源互联网的网络结构，所述网络结构包括N个节点和M个关键节点，其中N>M，所述M个关键节点处安装有M个无功补偿装置；
根据节点参数和局域能源互联网的网络结构参数构建局域能源互联网暂态仿真模型；
分别在局域能源互联网暂态仿真模型中的每个母线和每个传输线路上引入故障和/或增加扰动。
4.根据权利要求3所述的方法，其特征在于，所述分别在局域能源互联网暂态仿真模型中的每个母线和每个传输线路上引入故障和增加扰动包括：
分别在每个母线和每个传输线路上引入三相短路故障、单相接地故障、两相短路故障、两相接地故障中的任意一种；
分别在每个母线上增加负荷或者切除负荷。
5.根据权利要求2所述的方法，其特征在于，所述根据所述状态数据和局域能源互联网的图结构模型构建多主体强化学习模型，并对所述多主体强化学习模型进行训练，包括：
构建包括门控循环单元网络、图注意力网络、策略网络和评价网络组成的多主体深度强化学习模型；
设置所述多主体深度强化学习模型中的参数，所述参数包括门控循环单元网络参数、图注意力网络参数、策略网络参数和评价网络参数；
根据每次训练过程中补偿后各节点的电压和无功补偿装置的补偿数量，构建奖励函数；
输入实时状态数据至所述多主体深度强化学习模型，训练所述多主体深度强化学习模型，所述多主体深度强化学习模型的输出为无功补偿装置的补偿容量。
6.根据权利要求5所述的方法，其特征在于，所述门控循环单元网络参数包括门控循环单元的层数和每个门控循环单元的参数；
所述图注意力网络参数包括图注意力层个数、邻接矩阵尺寸和每个图注意力层的卷积核个数；
所述策略网络参数包括策略网络的层数，每层的类型和策略网络的输入输出尺寸；
评价网络参数包括评价网络的层数，每层的类型和评价网络的输入输出尺寸。
7.一种局域能源互联网无功补偿协同优化装置，其特征在于，所述装置包括：
状态数据获取模块，用于获取局域能源互联网中各个节点的实时状态数据，所述状态数据包括有功功率、无功功率、三相电压和电网频率；
补偿容量得到模块，用于输入所述实时状态数据至预先构建的多主体强化学习模型，得到各个无功补偿装置的补偿容量，其中，所述无功补偿装置设置在所述局域能源互联网中的关键节点上；
无功补偿模块，用于在各个无功补偿装置中投入相应的所述补偿容量，对所述局域能源互联网进行无功补偿。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210651628.2A CN115065066A (zh) | 2022-06-10 | 2022-06-10 | 局域能源互联网无功补偿协同优化方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210651628.2A CN115065066A (zh) | 2022-06-10 | 2022-06-10 | 局域能源互联网无功补偿协同优化方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115065066A true CN115065066A (zh) | 2022-09-16 |
Family
ID=83200885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210651628.2A Pending CN115065066A (zh) | 2022-06-10 | 2022-06-10 | 局域能源互联网无功补偿协同优化方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115065066A (zh) |
-
2022
- 2022-06-10 CN CN202210651628.2A patent/CN115065066A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gandomkar et al. | A genetic–based tabu search algorithm for optimal DG allocation in distribution networks | |
| Zhao et al. | Deep learning based model-free robust load restoration to enhance bulk system resilience with wind power penetration | |
| Kamel et al. | Modeling and analysis of voltage and power control devices in current injections load flow method | |
| CN111079972A (zh) | 一种主动配电网可靠性规划方法、设备及介质 | |
| CN117394438B (zh) | 考虑通信基站可调节潜力的分布式光伏准入容量评估方法 | |
| Rahmani et al. | Non‐deterministic optimal power flow considering the uncertainties of wind power and load demand by multi‐objective information gap decision theory and directed search domain method | |
| CN116207739A (zh) | 配电网优化调度方法、装置、计算机设备和存储介质 | |
| CN114202229B (zh) | 基于深度强化学习的微电网的能量管理策略的确定方法 | |
| CN115204612A (zh) | 电力系统碳排放量的确定方法、装置、设备和存储介质 | |
| CN114417719A (zh) | 一种基于图注意力网络的配电网网格化方法及装置 | |
| Xu et al. | Online topology‐based voltage regulation: A computational performance enhanced algorithm based on deep reinforcement learning | |
| CN116526477B (zh) | 电网重构策略的确定方法、装置、计算机设备和存储介质 | |
| CN115065066A (zh) | 局域能源互联网无功补偿协同优化方法和装置 | |
| Hassan et al. | Optimizing photovoltaic models: A leader artificial ecosystem approach for accurate parameter estimation of dynamic and static three diode systems | |
| CN116191404A (zh) | 分布式电源发电预测方法、装置、电子设备及存储介质 | |
| Kubba et al. | An enhanced RCGA for a rapid and reliable load flow solution of electrical power systems | |
| CN114966203A (zh) | 电力系统谐波振荡的检测方法、装置和计算机设备 | |
| CN114741956A (zh) | 一种基于图神经网络的碳排放流追踪方法 | |
| Younes et al. | A new hybrid method for multi-objective economic power/emission dispatch in wind energy based power system | |
| CN116432626B (zh) | 面向条件控制断面约束的标准化解析方法、装置和设备 | |
| CN116316616B (zh) | 配电网的故障处理方案确定方法、装置和计算机设备 | |
| CN117638901A (zh) | 主电网与配电网的协同故障恢复方法、装置和设备 | |
| CN115796475A (zh) | 一种电网的规划方法、装置、计算机设备和存储介质 | |
| CN118214011A (zh) | 配电系统电压的调节方法、装置、计算机设备、存储介质 | |
| CN114386650A (zh) | 电网调度系统的控制方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |