CN115276067A - 一种适应配电网拓扑动态变化的分布式储能电压调节方法 - Google Patents
一种适应配电网拓扑动态变化的分布式储能电压调节方法 Download PDFInfo
- Publication number
- CN115276067A CN115276067A CN202211041574.4A CN202211041574A CN115276067A CN 115276067 A CN115276067 A CN 115276067A CN 202211041574 A CN202211041574 A CN 202211041574A CN 115276067 A CN115276067 A CN 115276067A
- Authority
- CN
- China
- Prior art keywords
- energy storage
- distributed energy
- network
- power
- topology
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/28—Arrangements for balancing of the load in a network by storage of energy
- H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
- H02J3/16—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by adjustment of reactive power
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/381—Dispersed generators
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
- H02J3/48—Controlling the sharing of the in-phase component
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
- H02J3/50—Controlling the sharing of the out-of-phase component
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
- H02J2300/20—The dispersed energy generation being of renewable origin
- H02J2300/22—The renewable source being solar energy
- H02J2300/24—The renewable source being solar energy of photovoltaic origin
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
- H02J2300/20—The dispersed energy generation being of renewable origin
- H02J2300/28—The renewable source being wind energy
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种适应配电网拓扑动态变化的分布式储能电压调节方法,涉及电网电压调节技术领域,包括:构建含分布式储能的电网电压调节模型,电网电压调节模型包括目标函数和约束条件;将电网电压调节模型建模为非中心部分可观马尔可夫决策过程;基于非中心部分可观马尔可夫决策过程,构建基于MADRL算法的策略模型;基于电压敏感性进行典型网络拓扑提取,利用电力系统的网络拓扑对策略模型进行离线训练得到最终电网电压调节模型,将该模型用于电网电压进行调节。本发明可快速改善配电网各节点的电压水平,稳定性高;能利用大量历史数据进行离线训练,快速且有效的应对不确情况,考虑了电网拓扑结构快速变化的场景,并且具有很强的拓扑泛化能力。
Description
技术领域
本发明涉及电网电压调节技术领域,具体而言,涉及一种适应配电网拓扑动态变化的分布式储能电压调节方法。
背景技术
为了顺应能源与电力行业脱碳的发展趋势,配电网越来越关注光伏和风力等可再生能源(RDG)。然而,这些可再生能源显著的不确定性和波动性给配电网的电压调节带来了极大的挑战,另外电网复杂多变的运行拓扑场景也会导致电压波动、越限等不良现象的发生。
传统的电压调节装置主要包括有载调压变压器、分接开关和并联补偿电容器组,通过改变配电网的潮流来调节电压。一方面,这些机械装置的电压调节能力与它们在配电网中的接入位置密切相关,无法有效调节馈线远端的电压,另一方面,这些设备因反应速度太慢而无法适应RDG和负荷的快速波动。传统的电压调节策略主要分为三类:基于最优潮流(OPF)的集中调节、基于局部电压和功率信息的局部调节和基于相邻控制器间协调的分布式调节。第一种策略需要强大的中央控制器来收集和计算大量的信息;第二种策略仅需要局部测量信息,但其性能依赖各种参数的设置;最后一种策略综合前两种策略的优点,在相邻控制器之间交换信息,迭代求出接近最优解。
以上这些基于模型驱动的电压调节方法需要准确的网络信息和参数,这在当今日益复杂的大型互联有源配电网是不切实际的。一方面,这些方法难以处理RDG和负载的随机变化。另一方面,建立能够准确描述某些非线性电力电子器件特性的系统模型非常困难。
发明内容
本发明在于提供一种适应配电网拓扑动态变化的分布式储能电压调节方法,其能够缓解上述问题。
为了缓解上述的问题,本发明采取的技术方案如下:
本发明提供了一种适应配电网拓扑动态变化的分布式储能电压调节方法,包括以下步骤:
S1、构建含分布式储能的电网电压调节模型,电网电压调节模型包括目标函数和约束条件,目标函数能在确保所有分布式储能(DES)后备容量的同时,使配电网各节点的电压保持在要求范围内;
S2、将电网电压调节模型建模为非中心部分可观马尔可夫决策过程;
S3、基于非中心部分可观马尔可夫决策过程,构建基于多智能体强化学习(MADRL)算法的策略模型;
S4、对电力系统的网络拓扑进行聚类,得到若干簇网络拓扑;
S5、利用各簇网络拓扑中电压敏感性最高的拓扑组成训练拓扑集,利用各簇网络拓扑中的其它拓扑组成测试拓扑集,训练拓扑集用于对策略模型进行训练,测试拓扑集用于验证训练好的策略模型;
S6、将训练拓扑集加入策略模型中智能体的状态集和观测集,使用所提MADRL算法对策略模型进行离线训练,得到最终电网电压调节模型;
S7、将配电网络包括实际网络拓扑在内的实时状态集输入最终电网电压调节模型,实时输出分布式储能的最优充放电功率,实现对对电网电压进行的实时调节。
在本发明的一较佳实施方式中,步骤S1中的目标函数为:
其中,PPV(i,t),PWT(i,t),PDES(i,t),PLoad(i,t),v(i,t)分别为节点i在时刻t的光伏出力功率,风电出力功率,储能充放电功率,负荷水平,节点电压;Soc(i,t)为节点i上分布式储能在时刻t的荷电状态;v0和Soc0分别为基准电压和分布式储能的初始荷电状态,T为一次电压调控的周期,N为网络中的结点数量。
在本发明的一较佳实施方式中,步骤S1中的约束条件为:
vmin≤v(i,t)≤vmax,
|PDES(i,t)|≤Pc/dc.max,
EDES(i,t+1)=EDES(i,t)(1-σsdr)+PDES(i,t)ηc,ifPDES(i,t)≥0,
EDES(i,t+1)=EDES(i,t)(1-σsdr)+PDES(i,t)/ηdc,ifPDES(i,t)≤0,
其中,PPV(i,t),PWT(i,t),PDES(i,t)分别为节点i在时刻t的光伏出力功率,风电出力功率,分布式储能充放电功率;PS(t)和QS(t)分别为系统平衡节点注入有功功率和无功功率;PLoad(i,t)和QLoad(i,t)分别为节点i在时刻t的负荷有功功率和无功功率;k为当前网络的拓扑结构,为满足配电网径向条件的拓扑的集合,V和E分别代表节点集合和支路集合;和分别为在当前网络拓扑k下节点i,j之间的支路电导和电纳,Vi为所有与节点i相邻的节点集合,θij为节点i与节点j之间的相角差,vmin和vmax分别为节点电压最小值和最大值;Pc/dc.max为分布式储能的最大充放电功率;σsdr,ηc和ηdc分别为分布式储能的自放电率,充电系数和放电系数,σsdr∈(0,1),ηc∈(0,1),ηdc∈(0,1);EDES(i,t)和EDES(i,t+1)分别为安装在节点i上的分布式储能当前时刻t和下一时刻t+1的容量,为分布式储能的最大容量。
在本发明的一较佳实施方式中,对于非中心部分可观马尔可夫决策过程,
其环境为含有风电、光伏、负荷及分布式储能的配电网络,
其智能体为可以与环境进行交互的分布式储能,
其区域集包括将整个环境划分成的若干控制区,每个控制区包括一个智能体和位于该控制区内的所有节点、支路、光伏、风电及负荷,
其拓扑集为所有满足配电网拓扑径向条件的网络拓扑的集合,
其状态集和观测集满足
其中,为智能体r的状态集,为智能体r的观测集,PLoad(i,t),PPV(i,t),PWT(i,t),Soc(i,t),v(i,t)分别为节点i在时刻t的负荷水平、光伏出力、风电出力、分布式储能Soc,电压,kt为当时刻t的网络拓扑。其动作集满足:
其奖励满足:
其中,rdt为所有智能体在时刻t的共同奖励,rdt1为节点电压的平均波动和最大波动,表征电压稳定指标,v(i,t)为节点i在时刻t的电压,v0为基准电压,N为网络中的结点数量,rdt2为分布式储能Soc的总变化量,表征分布式储能的后备容量指标,Soc(i,t)为节点i上分布式储能在时刻t的荷电状态,Soc0为分布式储能的初始荷电状态,VDES为安装分布式储能的节点集合,为电压稳定指标的奖励权重,rdone为一个负常数,代表当分布式储能Soc不在[0,1]范围内时智能体获得的一个极大惩罚项。
在本发明的一较佳实施方式中,策略模型通过评估与环境交互过程中获得的奖励更新动作和学习经验,最终输出分布式储能的最优充放电功率。
在本发明的一较佳实施方式中,策略模型包括actor网络、critic网络和target网络;
actor网络的行动探索表示为:
为智能体r在时刻t的动作集,为智能体r的动作函数,为以0为数学期望,为方差的正态分布噪声;在每一次智能体与环境交互过程中,以动作价值函数期望最大化为目标,通过实现梯度上升方法更新actor网络,目标函数表示为:
为智能体的critic网络参数,为所有智能体的状态集,为智能体r在时刻t的动作集,为智能体r外其它智能体的动作集,rdt为所有智能体在时刻t的共同奖励,γ为折扣系数;target网络中包括参数和分别与actor网络参数和critic网络参数相对应,target网络中的参数通过缓慢跟踪的方式更新到actor网络和critic网络,更新表达式如下:
其中,τ为跟踪系数,用于表征跟踪速度的快慢。
在本发明的一较佳实施方式中,步骤S6具体包括:
设置训练回合数N,每回合迭代步长T,电压稳定指标的奖励权重极大惩罚项rdone,拓扑集和当前时刻网络拓扑kt,分布式储能的初始Soc Soc0、最大充放电功率Pc/dc.max、最大容量冲放电系数ηc/ηdc、自放电率σsdr,MADRL算法的超参数:折扣系数γ,经验回放池小批量大小bsize,然后回合数由1到N进行迭代,每个回合迭代T个时间步,每回合实际拓扑为训练拓扑集中的随机一种拓扑,得到最终电网电压调节模型,每个回合的训练过程包括以下步骤:
7)若t=T,则本回合策略模型的训练过程结束,否则t=t+1,并跳转至步骤2)。
在本发明的一较佳实施方式中,电力系统的网络拓扑的聚类基于联络开关支路闭合重构实现;联络开关支路闭合重构在电网中某条支路因线路检修或故障而断开时进行。
在本发明的一较佳实施方式中,联络开关支路闭合重构过程中要满足三个条件:第一个条件是每次只闭合一条联络开关支路;第二个条件是闭合后的网络拓扑满足径向连通;第三个条件是闭合后潮流必须有解。
在本发明的一较佳实施方式中,网络拓扑k的电压敏感性VSk的计算公式如下:
其中,T为一次电压调控的时间周期,等于拓扑动态变化周期。
与现有技术相比,本发明的有益效果是:
本发明建立了含分布式储能的配电网电压调节模型,利用安装在配电网多个位置的多个DES进行电压调节,与单主体电压调节模型的现有技术相比具有更高的可靠性与稳定性;
本发明将含分布式储能的配电网电压调节模型建模为非中心部分可观马尔可夫决策过程(Dec-POMDP),在使用多智能体深度强化学习算法进行求解,并且不依赖复杂的系统模型和准确的网络参数,并且本技术能够利用大量的历史数据进行离线训练,训练完成后的在线运行速度大幅超过传统算法,并且能够快速且有效的应对负荷和新能源处理的不确定性,解决了传统方法中严重依赖复杂系统模型,准确网络参数,数据维度过高而收敛性差等问题;
本发明考虑电压敏感性将电网拓扑集分为训练拓扑集和测试拓扑集,其中将越高的电压敏感性视为电网中越典型的运行场景,快速实现拓扑聚类,并且用少数典型拓扑代表电网所有潜在拓扑;
本发明在配电网电压调节问题中基于电压敏感性考虑了电网拓扑结构快速变化的场景,在拓扑动态变化的数据集上具有良好的性能,具有很强的拓扑泛化能力,在保证多个DES后备容量的同时可以快速改善配电网各节点的电压水平,克服了现有的数据驱动算法不能有效应对环境快速变化的问题,更加符合实际配电网复杂多变的运行场景应用需求。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举本发明实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本发明所述适应配电网拓扑动态变化的分布式储能电压调节方法流程图;
图2是本发明MADDPG算法离线训练过程中的信息流图;
图3是本发明的拓扑聚类流程图;
图4是本发明中的策略模型每个回合的训练流程图;
图5是本发明动态拓扑下的电压调节效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参照图1~图4,本发明提供了一种适应配电网拓扑动态变化的分布式储能电压调节方法,具体如下:
S1、构建含分布式储能的电网电压调节模型,电网电压调节模型包括目标函数和约束条件。
目标函数在保证所有DES后备容量的同时,使配电网各节点的电压保持在要求范围内。
目标函数为:
其中,PPV(i,t),PWT(i,t),PDES(i,t),PLoad(i,t),v(i,t)分别为节点i在时刻t的光伏出力功率,风电出力功率,储能充放电功率,负荷水平,节点电压;Soc(i,t)为节点i上分布式储能在时刻t的荷电状态;v0和Soc0分别为基准电压和分布式储能的初始荷电状态;T为一次电压调控的时间周期,N为网络中的结点数量。
约束条件包括电网支路潮流约束、电网拓扑约束、节点电压约束、分布式储能充放电功率约束、分布式储能荷电状态(Soc)约束和分布式储能容量约束。
约束条件为:
vmin≤v(i,t)≤vmax,
|PDES(i,t)|≤Pc/dc.max,
EDES(i,t+1)=EDES(i,t)(1-σsdr)+PDES(i,t)ηc,ifPDES(i,t)≥0,
EDES(i,t+1)=EDES(i,t)(1-σsdr)+PDES(i,t)/ηdc,ifPDES(i,t)≤0,
其中,PPV(i,t),PWT(i,t),PDES(i,t)分别为节点i在时刻t的光伏出力功率,风电出力功率,分布式储能充放电功率;PS(t)和QS(t)分别为系统平衡节点注入有功功率和无功功率;PLoad(i,t)和QLoad(i,t)分别为节点i在时刻t的负荷有功功率和无功功率;k为当前网络的拓扑结构;为满足配电网径向条件的拓扑的集合,V和E分别代表节点集合和支路集合;和分别为在当前网络拓扑k下节点i,j之间的支路电导和电纳,Vi为所有与节点i相邻的节点集合,θij为节点i与节点j之间的相角差,vmin和vmax分别为节点电压最小和最大值,Pc/dc.max为分布式储能的最大充放电功率,σsdr,ηc和ηdc分别为分布式储能的自放电率,充电系数和放电系数,σsdr∈(0,1),ηc∈(0,1),ηdc∈(0,1);EDES(i,t)和EDES(i,t+1)分别为安装在节点i上的分布式储能当前时刻t和下一时刻t+1的容量,为分布式储能的最大容量。
S2、将电网电压调节模型建模为非中心部分可观马尔可夫决策过程。
对于非中心部分可观马尔可夫决策过程,
其环境为含有风电、光伏、负荷及分布式储能的配电网络,
其智能体为可以与环境进行交互的分布式储能,
其区域集包括将整个环境划分成的若干控制区,每个控制区包括一个智能体和位于该控制区内的所有节点、支路、光伏、风电及负荷,
其拓扑集为所有满足配电网拓扑径向条件的网络拓扑的集合,
其状态集和观测集满足
其中,为智能体r的状态集,为智能体r的观测集,PLoad(i,t),PPV(i,t),PWT(i,t),Soc(i,t),v(i,t)分别为节点i在时刻t的负荷水平、光伏出力、风电出力、储能Soc,电压,kt为当前时刻的网络拓扑。
其动作集满足:
其奖励满足:
其中,rdt为所有智能体在时刻t的共同奖励,rdt1为节点电压的平均波动和最大波动,表征电压稳定指标,v(i,t)为节点i在时刻t的电压,v0为基准电压,N为网络中的结点数量;;rdt2为分布式储能Soc的总变化量,表征分布式储能的后备容量指标,Soc(i,t)为节点i上分布式储能在时刻t的荷电状态,Soc0为分布式储能的初始荷电状态,VDES为安装分布式储能的节点集合;为电压稳定指标的奖励权重,rdone为一个负常数,代表当分布式储能Soc不在[0,1]范围内时智能体获得的一个极大惩罚项。
S3、基于非中心部分可观马尔可夫决策过程,构建基于MADRL算法的策略模型。
MADRL算法是一种基于actor-critic框架的多智能体深度强化学习算法,通过含有大量参数的神经网络作为智能体的actor网络和critic网络,通过评估与环境交互过程中获得的奖励来更新动作和学习经验,最终输出分布式储能的最优充放电功率。
MADDPG算法中每个智能体都有actor网络和critic网络,actor网络以智能体观测为输入,需要做出的动作为输出,critic网络以智能体状态和动作为输入,对actor网络决策的评价为输出。整个算法架构可以解释为使用actor网络进行策略探索,使用critic网络作为策略的评价者对actor网络的探索策略进行评估比较并得出最终的优质策略。
策略模型包括actor网络、critic网络和target网络。
actor网络的行动探索表示为:
其中,为智能体r在时刻t的动作集,为智能体r的动作函数,为以0为数学期望,为方差的正态分布噪声;在每一次智能体与环境交互过程中,以动作价值函数期望最大化为目标,通过实现梯度上升方法更新actor网络,目标函数表示为:
其中,为智能体的critic网络参数,为所有智能体的状态集,为智能体r在时刻t的动作集,为智能体r外其它智能体的动作集,rdt为所有智能体在时刻t的共同奖励,γ为折扣系数;target网络中包括参数和分别与actor网络参数和critic网络参数相对应,target网络中的参数通过缓慢跟踪的方式更新到actor网络和critic网络,更新表达式如下:
其中,τ为跟踪系数,用于表征跟踪速度的快慢。
S4、对电力系统的网络拓扑进行聚类,得到若干簇网络拓扑。
当配电网络中某条支路因线路检修或故障而断开时,电力系统中联络开关支路会有选择性的闭合重构以保证供电可靠性。联络开关支路的闭合重构不是盲目的,在闭合重构过程中要满足以下条件:每次只闭合一条联络开关支路;闭合后的电网拓扑要满足径向连通;闭合后潮流必须有解。以一个含有M条支路和N条联络开关支路的配电网为例,相同联络开关支路闭合的拓扑之间具有相似的电压分布水平,因此将相同联络开关支路闭合的拓扑结构聚为一簇,最终聚为N簇,见图3所示,包括以下步骤。
1)初始化支路m=1和联络开关支路n=1;
2)初始化网络拓扑;
3)断开支路m以模仿改支路故障或检修;
4)闭合联络开关支路n;
5)判断电网拓扑是否满足径向连通,如果满足进入步骤6),否则进入步骤11);
6)计算潮流;
7)判断潮流满足是否有解,如果满足进入步骤8),否则进入步骤11);
8)将此拓扑加入拓扑集;
9)将此拓扑加入簇n;
10)判断n是否满足n<N,如果满足进入步骤11),否则进入步骤13);
11)迭代n=n+1;
12)判断m是否满足m<M,如果满足进入步骤13),否则进入步骤14);
13)迭代m=m+1,并返回步骤2);
14)输出拓扑集和各个簇。
S5、利用各簇网络拓扑中电压敏感性最高的拓扑组成训练拓扑集,利用各簇网络拓扑中的其它拓扑组成测试拓扑集,训练拓扑集用于对策略模型进行训练,测试拓扑集用于验证训练好的策略模型。
在配电网实际运行中,设备检修和自然灾害等因素将导致电网拓扑频繁变化,而传统的大部分数据驱动方法中智能体的学习环境是固定的,无法有效描述配电网拓扑频繁变化的场景。不同拓扑下的电压分布水平不同,而电压分布水平与该拓扑中节点支路的物理连接关系相关,把所有拓扑首先按电压分布水平进行拓扑聚类,然后根据电压敏感性将其中的典型拓扑作为训练拓扑集,加入智能体的观测集进行训练,能够使智能体在少数典型拓扑的学习基础上适应绝大多数拓扑变化的情形,并且提升其在新拓扑上的泛化能力。
电压灵敏性反映了该拓扑结构下节点注入功率变化对节点电压的影响程度,不同拓扑下的电压敏感性不同,越高的电压敏感性代表越典型的运行场景,网络拓扑k的电压敏感性VSk的计算公式如下:
其中,T=24,为一次电压调控的时间周期,等于拓扑动态变化周期。
将每簇中电压敏感性最高的拓扑作为MADDPG算法的训练拓扑集,加入到智能体的观测集中,簇中其余拓扑作为算法的测试拓扑集,用于验证该算法在新的变化拓扑场景下的泛化能力。
S6、将训练拓扑集加入策略模型中智能体的状态集和观测集,使用所提MADRL算法对策略模型进行离线训练,得到最终电网电压调节模型,具体包括:
设置训练回合数N,每回合迭代步长T,电压稳定指标的奖励权重极大惩罚项rdone,拓扑集和当前时刻网络拓扑kt,分布式储能的初始Soc Soc0、最大充放电功率Pc/dc.max、最大容量冲放电系数ηc/ηdc、自放电率σsdr,MADRL算法的超参数:折扣系数γ,经验回放池小批量大小bsize,然后回合数由1到N进行迭代,每个回合迭代T个时间步,得到最终电网电压调节模型,如图4所示,每个回合的训练过程包括以下步骤:
7)若t=T,则本回合策略模型的训练过程结束,否则t=t+1,并跳转至步骤2)。
S7、将配电网络的实时状态集(包括实际网络拓扑)输入最终电网电压调节模型,实时输出分布式储能的最优充放电功率,实现对对电网电压进行的实时调节。
本发明的测试结果如图5所示。测试场景共10天,具体为:在数据集中随机选取10天进行测试,每天的数据集包括24小时的负荷需求数据,光伏、风电出力数据,其中在0、2、4、6、8天,从测试拓扑集中随机选取一种拓扑作为网络拓扑以模拟电网拓扑动态变化场景,每种拓扑持续两天,以天为周期验证分布式储能能否通过自趋优控制充放电功率实现各节点电压始终在安全范围内,图5给出节点11的电压分布,可以看出在拓扑频繁变化的场景下,分布式储能实时控制与电网的交换功率,保证各节点电压始终在约束范围内,验证了本发明的实时级计算速度和拓扑泛化能力。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种适应配电网拓扑动态变化的分布式储能电压调节方法,其特征在于,包括以下步骤:
S1、构建含分布式储能的电网电压调节模型,电网电压调节模型包括目标函数和约束条件,目标函数能在确保所有分布式储能后备容量的同时,使配电网各节点的电压保持在要求范围内;
S2、将电网电压调节模型建模为非中心部分可观马尔可夫决策过程;
S3、基于非中心部分可观马尔可夫决策过程,构建基于MADRL算法的策略模型;
S4、对电力系统的网络拓扑进行聚类,得到若干簇网络拓扑;
S5、利用各簇网络拓扑中电压敏感性最高的拓扑组成训练拓扑集,利用各簇网络拓扑中的其它拓扑组成测试拓扑集,训练拓扑集用于对策略模型进行训练,测试拓扑集用于验证训练好的策略模型;
S6、将训练拓扑集加入策略模型中智能体的状态集和观测集,使用MADRL算法对策略模型进行离线训练,得到最终电网电压调节模型;
S7、将配电网络包括实际网络拓扑在内的实时状态集输入最终电网电压调节模型,实时输出分布式储能的最优充放电功率,实现对电网电压的实时调节。
3.根据权利要求2所述适应配电网拓扑动态变化的分布式储能电压调节方法,其特征在于,步骤S1中的约束条件为:
vmin≤v(i,t)≤vmax,
|PDES(i,t)|≤Pc/dc.max,
EDES(i,t+1)=EDES(i,t)(1-σsdr)+PDES(i,t)ηc,ifPDES(i,t)≥0,
EDES(i,t+1)=EDES(i,t)(1-σsdr)+PDES(i,t)/ηdc,ifPDES(i,t)≤0,
其中,PPV(i,t),PWT(i,t),PDES(i,t)分别为节点i在时刻t的光伏出力功率,风电出力功率,分布式储能充放电功率;PS(t)和QS(t)分别为系统平衡节点注入有功功率和无功功率;PLoad(i,t)和QLoad(i,t)分别为节点i在时刻t的负荷有功功率和无功功率;k为当前网络的拓扑结构;为满足配电网径向条件的拓扑的集合,V和E分别代表节点集合和支路集合;和分别为在当前网络拓扑k下节点i,j之间的支路电导和电纳,Vi为所有与节点i相邻的节点集合,θij为节点i与节点j之间的相角差,vmin和vmax分别为节点电压最小值和最大值,Pc/dc.max为分布式储能的最大充放电功率;σsdr,ηc和ηdc分别为分布式储能的自放电率,充电系数和放电系数,σsdr∈(0,1),ηc∈(0,1),ηdc∈(0,1);EDES(i,t)和EDES(i,t+1)分别为安装在节点i上的分布式储能当前时刻t和下一时刻t+1的容量,为分布式储能的最大容量。
4.根据权利要求3所述适应配电网拓扑动态变化的分布式储能电压调节方法,其特征在于,对于非中心部分可观马尔可夫决策过程,
其环境为含有风电、光伏、负荷及分布式储能的配电网络,
其智能体为可以与环境进行交互的分布式储能,
其区域集包括将整个环境划分成的若干控制区,每个控制区包括一个智能体和位于该控制区内的所有节点、支路、光伏、风电及负荷,
其拓扑集为所有满足配电网拓扑径向条件的网络拓扑的集合,
其状态集和观测集满足
其中,为智能体r的状态集,为智能体r的观测集,PLoad(i,t),PPV(i,t),PWT(i,t),Soc(i,t),v(i,t)分别为节点i在时刻t的负荷水平、光伏出力、风电出力、分布式储能Soc、电压,kt为当时刻t的网络拓扑,
其动作集满足:
其奖励满足:
5.根据权利要求4所述适应配电网拓扑动态变化的分布式储能电压调节方法,其特征在于,策略模型通过评估与环境交互过程中获得的奖励更新动作和学习经验,最终输出分布式储能的最优充放电功率。
6.根据权利要求5所述适应配电网拓扑动态变化的分布式储能电压调节方法,其特征在于,策略模型包括actor网络、critic网络和target网络;
actor网络的行动探索表示为:
其中,为智能体r在时刻t的动作集,为智能体r的动作函数,为以0为数学期望,为方差的正态分布噪声;在每一次智能体与环境交互过程中,以动作价值函数期望最大化为目标,通过实现梯度上升方法更新actor网络,目标函数表示为:
其中,为智能体的critic网络参数,为所有智能体的状态集,为智能体r在时刻t的动作集,为智能体r外其它智能体的动作集,rdt为所有智能体在时刻t的共同奖励,γ为折扣系数;target网络中包括参数和分别与actor网络参数和critic网络参数相对应,target网络中的参数通过缓慢跟踪的方式更新到actor网络和critic网络,更新表达式如下:
其中,τ为跟踪系数,用于表征跟踪速度的快慢。
7.根据权利要求6所述适应配电网拓扑动态变化的分布式储能电压调节方法,其特征在于,步骤S6具体包括:
设置训练回合数N,每回合迭代步长T,电压稳定指标的奖励权重极大惩罚项rdone,拓扑集和当前时刻网络拓扑kt,分布式储能的初始Soc Soc0、最大充放电功率Pc/dc.max、最大容量冲放电系数ηc/ηdc、自放电率σsdr,MADRL算法的超参数:折扣系数γ,经验回放池小批量大小bsize,然后回合数由1到N进行迭代,每个回合迭代T个时间步,每回合实际拓扑为训练拓扑集中的随机一种拓扑,得到最终电网电压调节模型,每个回合的训练过程包括以下步骤:
7)若t=T,则本回合策略模型的训练过程结束,否则t=t+1,并跳转至步骤2)。
8.根据权利要求7所述适应配电网拓扑动态变化的分布式储能电压调节方法,其特征在于,电力系统的网络拓扑的聚类基于联络开关支路闭合重构实现;联络开关支路闭合重构在电网中某条支路因线路检修或故障而断开时进行。
9.根据权利要求8所述适应配电网拓扑动态变化的分布式储能电压调节方法,其特征在于,联络开关支路闭合重构过程中要满足三个条件:第一个条件是每次只闭合一条联络开关支路;第二个条件是闭合后的网络拓扑满足径向连通;第三个条件是闭合后潮流必须有解。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211041574.4A CN115276067A (zh) | 2022-08-29 | 2022-08-29 | 一种适应配电网拓扑动态变化的分布式储能电压调节方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211041574.4A CN115276067A (zh) | 2022-08-29 | 2022-08-29 | 一种适应配电网拓扑动态变化的分布式储能电压调节方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115276067A true CN115276067A (zh) | 2022-11-01 |
Family
ID=83755117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211041574.4A Pending CN115276067A (zh) | 2022-08-29 | 2022-08-29 | 一种适应配电网拓扑动态变化的分布式储能电压调节方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115276067A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115661617A (zh) * | 2022-12-28 | 2023-01-31 | 成都中轨轨道设备有限公司 | 一种面向遥感大数据的动态自适应分布式协同工作方法 |
-
2022
- 2022-08-29 CN CN202211041574.4A patent/CN115276067A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115661617A (zh) * | 2022-12-28 | 2023-01-31 | 成都中轨轨道设备有限公司 | 一种面向遥感大数据的动态自适应分布式协同工作方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112217202B (zh) | 考虑灵活性投资的分布式新能源、储能与配电网规划方法 | |
CN111209710B (zh) | 一种潮流计算收敛的自动调整方法及装置 | |
CN111736084B (zh) | 基于改进lstm神经网络的阀控铅酸蓄电池健康状态预测方法 | |
CN114362187B (zh) | 一种基于多智能体深度强化学习的有源配电网协同调压方法及系统 | |
CN112310980B (zh) | 交直流混联电网直流闭锁频率安全稳定评估方法及系统 | |
CN115986750B (zh) | 分层多智能体深度强化学习配电网电压调节方法 | |
Bui et al. | Real-time operation of distribution network: A deep reinforcement learning-based reconfiguration approach | |
CN115940294B (zh) | 多级电网实时调度策略调整方法、系统、设备及存储介质 | |
CN115640963A (zh) | 一种考虑投资运营模式的海上风电接入系统鲁棒规划方法 | |
CN115392697A (zh) | 一种数据-模型混合驱动的电力系统安全评估方法及系统 | |
CN115276067A (zh) | 一种适应配电网拓扑动态变化的分布式储能电压调节方法 | |
CN116760047A (zh) | 基于安全强化学习算法的配电网电压无功控制方法及系统 | |
CN116933619A (zh) | 基于强化学习的数字孪生配网故障场景生成方法及系统 | |
CN115169957A (zh) | 一种基于深度强化学习的配电网调度方法、装置及介质 | |
CN113872213B (zh) | 一种配电网电压自主优化控制方法及装置 | |
Sepehrzad et al. | Two-Stage experimental intelligent dynamic energy management of microgrid in smart cities based on demand response programs and energy storage system participation | |
Razmi et al. | Neural network based on a genetic algorithm for power system loading margin estimation | |
CN117277327A (zh) | 一种基于智能体的并网型微电网最优能量管理方法 | |
CN115133540B (zh) | 一种配电网无模型的实时电压控制方法 | |
CN111799820A (zh) | 一种电力系统双层智能混合零星云储能对抗调控方法 | |
Hu et al. | Energy management for microgrids using a reinforcement learning algorithm | |
CN115409282A (zh) | 一种水风光长期互补调度规则提取方法 | |
Alam et al. | Energy management by scheduling ESS with active demand response in low voltage grid | |
CN108281964A (zh) | 一种基于运行和网架风险的配电网运行方式优化方法 | |
CN113537646A (zh) | 电网设备停电检修方案制定方法、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |