CN113780622B - 基于多智能体强化学习的多微网配电系统分布式调度方法 - Google Patents

基于多智能体强化学习的多微网配电系统分布式调度方法 Download PDF

Info

Publication number
CN113780622B
CN113780622B CN202110892549.6A CN202110892549A CN113780622B CN 113780622 B CN113780622 B CN 113780622B CN 202110892549 A CN202110892549 A CN 202110892549A CN 113780622 B CN113780622 B CN 113780622B
Authority
CN
China
Prior art keywords
micro
distribution network
power
mgo
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110892549.6A
Other languages
English (en)
Other versions
CN113780622A (zh
Inventor
李捷
潘振宁
余涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110892549.6A priority Critical patent/CN113780622B/zh
Publication of CN113780622A publication Critical patent/CN113780622A/zh
Application granted granted Critical
Publication of CN113780622B publication Critical patent/CN113780622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/381—Dispersed generators
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/466—Scheduling the operation of the generators, e.g. connecting or disconnecting generators to meet a given demand
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/40—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation wherein a plurality of decentralised, dispersed or local energy generation technologies are operated simultaneously
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
    • Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Power Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Educational Administration (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了基于多智能体强化学习的多微网配电系统分布式调度方法，属于电力系统经济调度领域。包括以下步骤：步骤1、建立配网和微网的动态经济调度优化模型；步骤2、将调度优化问题转化为多智能体强化学习问题；步骤3、通过解析的方法，分别将配网和微网的调度目标最优值在不同的区域内映射成对应边界功率的分段二次函数；步骤4、将配网和微网的调度目标最优值对应边界功率的函数嵌入强化学习中，使各智能体策略配合实现分布式自主学习。该方法目的在于仅传递边界变量及函数，实现考虑随机性的配网和多微网的分布式自主学习，在保护各主体隐私的前提下使得全社会福利的最大化。

Description

基于多智能体强化学习的多微网配电系统分布式调度方法
技术领域
本发明属于电力系统经济调度领域，尤其涉及基于多智能体强化学习的多微网配电系统分布式调度方法。
背景技术
分布式可再生能源的高渗透下，多微网成为电力系统未来的发展趋势。然而，可再生能源的间歇性和随机性给配网和多微网间的经济调度带来了巨大的挑战。另一方面，配网和各微网属于不同的主体，协调不同主体间的经济调度的前提是保证各主体的隐私，集中式算法不再适用。因此，研究配网和多微网的分布式学习方法，对于充分利用各类能源的灵活性具有重大的意义。中国公开专利申请“一种基于分布式机器学习的智能电网实时经济调度方法(CN111242436A)”中公开了基于分布式学习的调度方法，但该方法仍需要将不同主体的信息集中起来进行训练，不能满足隐私性等需求。应用较广泛的分布式算法如交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)等在分布式优化上能取得较好的效果，但在分布式学习上，每进行一次学习，需要先多次迭代求取最优策略，耗费时间过多，且两个以上的算子的问题不能保证算法的收敛性。因此，需要研究新的适用于配网和多微网的分布式学习算法。
发明内容
本发明提供了基于多智能体强化学习的多微网配电系统分布式调度方法，目的在于仅传递边界变量及函数，实现配网和多微网的分布式自主学习。
本发明的目的至少通过如下技术方案之一实现。
本发明提供的基于多智能体强化学习的多微网配电系统分布式调度方法，包括以下步骤：
S1、建立配网和微网的动态经济调度优化模型；
S2、将调度优化问题转化为多智能体强化学习问题；
S3、通过解析的方法，分别将配网和微网的调度目标最优值在不同的区域内映射成对应边界功率的分段二次函数；
S4、嵌入强化学习中，使各智能体策略配合实现全局最优、只需传递边界参数的分布式自主学习。
进一步地，所述建立配网和微网的动态经济调度优化模型，包括配网的运行约束、微网的运行约束以及总成本最小化的目标函数。
其中，配网的潮流约束如下：
式中，i、j均为节点编号，Pij、Qij、rij和xij分别为节点ij间的有功传输功率、无功传输功率、电阻和电抗，Pi、Qi分别为节点i的有功功率、无功功率；NB为支路数；Pij,max和-Pij,max分别为节点ij间的最大和最小有功传输功率；Vi,max和Vi,min分别为节点i的最大和最小电压；δi(t)、Vi(t)分别为t时刻节点i的电压和相角，δj(t)、Vj(t)分别为t时刻节点j的电压和相角。
配网的发电机出力约束：
其中，为配网中的发电机在t+1时刻中发出的有功功率；/>和/>分别为配网发电机的上升速率限制和下降速率限制，PG,max和PG,min分别为发电机输出功率的上限和下限。
除了与外部大电网相连的节点，配电网内其它节点(包括与微网相连的节点)在t时刻的节点注入功率Pi,t如下：
式中，为t时刻节点i上的发电机的有功和无功出力；/>为t时刻配网向节点i上的连接的微电网传输的边界功率，该值为正表示配网向微网卖出功率，该值为负表示配网向微网买入功率；/>为t时刻节点i上的常规有功负荷。
建立微网的调度优化模型，假设微网包括储能，分布式电源，则微网的运行约束如下：
其中，储能约束如下：
储能充电放电不能同时进行，需满足以下约束：
式中：为t时刻储能的功率；/>为放电功率；/>为充电功率；/>为t时刻储能的电量；/>分别为功率和能量的上下限约束，η为充放电效率。
分布式电源中微燃机的运行约束与配网的发电机一样，包括爬坡约束与功率上下限约束：
其中，为微燃机在t+1时刻中发出的有功功率；vup和vdowm分别为微燃机的向上最大爬坡速率和向下最大爬坡速率，PDG,max和PDG,min分别为微燃机输出功率的上限和下限；
分布式电源中光伏发电和风机约束如下：
其中，Pt PV和Pt W分别为光伏和风机在t时刻发出的有功功率；Pt PV，max和Pt W，max分别为光伏和风机在t时刻发出的最大功率；
微电网与配电网之间传输的功率约束如下：
其中，Pt buy和Pt sell分别为微网在t时刻向上层电网买电和卖电的功率；为t时刻配网向连接的微电网传输的功率；Pt buy，max和Pt sell，max分别为微网在t时刻向上层电网买电和卖电的功率最大值，其中，Pt sell，max为负值；
微网的功率平衡约束如下：
式中，Pt CON为t时刻微网的常规负荷。
构建总成本最小、实现社会福利最大化的目标函数F，即
其中，FDNO、FMGO k分别是配电网和第k个微电网的运行成本，皆为二次函数；k指第k个微电网；xDNO、xMGO,k分别是配电网和第k个微电网的决策变量。
进一步地，步骤S2所述将调度优化问题转化为多智能体强化学习问题中，首先，在随机优化中，配网和多微网的动态经济调度的目标是考虑各类资源的随机性下，通过实时调度决策，使得调度周期内的总成本最小，即将实时调度描述成一个多阶段随机序贯决策问题：
其中，xt表示决策变量，χt表示可行域，E()表示取期望值运算，Ft表示t时刻的调度收益，M表示调度周期；
即根据贝尔曼的最优性原理，可将多时段的优化决策问题转化成递推问题，将式(10)转化成：
其中，St为配网和多微网t时刻所处的状态，F(St,xt)为配网和多微网在St状态时作了决策xt后产生的实时运行成本，Vt(St)为配网和多微网在St状态的值函数，Vt+1(St+1|St,xt,Wt)为配网和多微网在St状态的前提下，做出决策xt、接收外源信息Wt后t+1时刻的值函数，值函数的意义为后续状态对当前状态的影响；
由于在实际的电力系统中，配网和多微网分别属于不同的主体，如果将整个系统的值函数(10)进行训练，保证不了主体间的隐私需求，因此配网和各微网需要单独对自己的值函数进行训练，即
其中，DNO表示配网，为配网t时刻所处的状态；Ft DNO为配网在/>状态时作了决策/>后产生的实时运行成本，决策/>即配网各发电单元的出力、传输到各微网的功率；/>为配网在/>状态的值函数，/>为配网在/>状态的前提下，做出决策/>接收外源信息Wt DNO后t+1时刻的值函数，外源信息Wt DNO即配网中的各种预测信息；MGO表示微网，k表示第k个微网，/>为第k个微网t时刻所处的状态；/>为第k个微网在/>状态时作了决策/>后产生的实时运行成本，/>为第k个微网在/>状态的值函数，/>为第k个微网在/>状态的前提下，做出决/>接收外源信息/>后t+1时刻的值函数。
利用分段线性函数法拟合式(12)和(13)中的值函数，即
β代表段数，表示配网值函数第/>段的斜率，/>为每段线性凸函数的资源量；/>表示第k个微网值函数第/>段的斜率，/>为每段线性凸函数的资源量,ξ表示折算因子。
进一步地，步骤S3所述通过解析的方法，将配网和微网各自的调度目标最优值在不同的区域内映射成对应边界功率的分段二次函数中，解析的方法即根据多参数规划理论中的最优分割对配网向连接的k个微电网传输的边界功率PbMGO＝[PbMGO,1,PbMGO,2,PbMGO ,3,…,PbMGO,k]进行快速分区，在每个分区内，配网和微网各自的调度目标最优值与传输的边界功率存在唯一对应关系。首先，配网的模型(1)～(3)、(14)可以重构为
其中PDNO为配网中除了传输功率外的决策变量，即配网各发电单元的出力、潮流等；其中VDNO为目标函数关于PbMGO的表示符号；CDNO为目标函数关于PDNO的表示符号；QDNO为PDNO的二次系数矩阵，fDNO为PDNO的一次系数矩阵，rDNO为配网目标函数的常数项。GDNO、WDNO和SDNO均为形成配网运行约束的矩阵。
微网的模型(4)～(8)、(15)可以重构为
其中PMGO,k为第k个微网中除了边界功率PbMGO,k外的决策变量，即微网中分布式电源、储能等的出力；其中VMGO,k为目标函数关于PbMGO,k的表示符号；CMGO,k为目标函数关于PMGO,k的表示符号；QMGO,k为PMGO,k的二次系数矩阵，fMGO,k为PMGO,k的一次系数矩阵，rMGO,k为微网目标函数的常数项，GMGO,k、WMGO,k和SMGO,k分别为形成微网运行约束的矩阵；PbMGO,k为配网与第k个微网交互的边界功率。
给定边界功率PbMGO形成的多面体内的任意值PbMGO﹡，则公式(16)可以求得最优解，此时公式(16)中的约束分有效约束(18)和无效约束(19)，
配网运行约束矩阵中有效约束形成的矩阵；/>WI DNO、/>配网运行约束矩阵中无效约束形成的矩阵；其中A表示有效约束的下标，I表示无效约束的下标，根据多参数规划理论的最优分割理论，参数PbMGO形成的多面体可分割成有限的临界区域CR1，CR2，……CRN，在同一个临界区域内，有效约束和无效约束的类型及个数相同；
其中，在某一分区内，移除无效约束，则问题(16)的拉格朗日函数可以被写成
其中λ为有效约束(18)的拉格朗日乘子。使用一阶KKT条件可得
即
代入有效约束(18)中即得
即
由于在同一分区内，有效约束和无效约束的类型相同，上述推导不会改变，如此便将拉格朗日乘子λ表示成边界功率PbMGO的函数，将(24)代入(22)中，可得PDNO与边界功率PbMGO的映射关系，再代入式(16)中的目标函数，进而可得VDNO与PbMGO的映射关系。遍历所有的分区，则可得到每一分区对应的映射关系，即
是常数矩阵，/>是常数向量，/> 是常量，数值皆由PDNO与边界功率PbMGO的映射关系代入式(16)中推导而得。
微网的推理模型同理，不再赘述，即将第k个微网中的边界功率PbMGO,k分区之后，可得到VMGO,k关于PbMGO,k的映射关系：
是常数矩阵，/>是常数向量，/>是常量，数值皆由前述推导而得。
步骤4具体包括以下步骤：
S4.1、初始化配网和多微网为第n次迭代中的近似值函数，直接各值函数的分段斜率为0；生成n个训练样本TS1,TS2,…,TSn；令迭代次数g＝1；
S4.2、从t＝1,…,M,进行前推计算；
S4.3、令t＝1；
S4.4、根据最新的配网、微网等信息，各微网根据式(26)更新分区及映射函数。微网向配网传递CR及CR对应的函数，配网通过式(27)进行求解
得到配网各决策变量的最优决策，及各配网与多微网间的边界功率PbMGO,1,PbMGO ,2,PbMGO,3,…,PbMGO,k，并将边界功率传递给各微网。
S4.5、各微网根据边界功率映射得到决策变量的最优值。
S4.6、对配网的状态施加正负扰动，根据式(27)得到配网和多微网的最优解，并计算正负边际效益值。对每个微网的状态施加正负扰动，再次执行步骤4.4和4.5得到配网和多微网的最优解，并计算正负边际效益值。令t＝t+1，若t≤M，返回步骤4.4。若t>M，循环终止。
S4.7、根据正负边际效益值，配网和各微网利用凹自适应值估计法(concaveadaptive value estimation algorithm，CAVE)分别进行值函数的更新。令g＝g+1，若g≤n，返回步骤4.2。若g>n，迭代停止，得到收敛的值函数。
与现有技术相比，本发明能够实现的有益效果至少如下：
本发明在建立配网和微网的动态经济调度优化模型并将调度优化问题转化为多智能体强化学习问题后，分别将配网和微网的调度目标最优值在不同的区域内映射成对应边界功率的分段二次函数，并嵌入强化学习中，能够仅传递边界变量及函数，实现考虑随机性的配网和多微网的分布式自主学习，同时满足分布性与智能性，在保护各主体隐私的前提下使得全社会福利的最大化。
附图说明
图1为一种基于多智能体强化学习的配网和多微网分布式随机实时调度方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面将结合实施例以及附图，对本发明的具体实施进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的一种基于多智能体强化学习的配网和多微网分布式随机实时调度方法，如图1所示，包括以下步骤：
步骤1、建立配网和微网的动态经济调度优化模型；
步骤2、将调度优化问题转化为多智能体强化学习问题；
步骤3、通过解析的方法，将配网和微网各自的调度目标最优值在不同的区域内映射成对应边界功率的分段二次函数；
步骤4、嵌入强化学习中，使各智能体策略配合实现全局最优、只需传递边界参数的分布式自主学习。
在本发明其中一个实施例中，步骤1中的建立配网和微网的动态经济调度优化模型，包括配网的运行约束、微网的运行约束以及总成本最小化的目标函数。
其中，配网的运行约束包括配网的潮流约束和配网的发电机出力约束，
配网的潮流约束如下：
式中，i、j均为节点编号，Pij、Qij、rij和xij分别为节点i、j间的有功传输功率、无功传输功率、电阻和电抗，Pi、Qi分别为节点i的有功功率、无功功率；NB为支路数；Pij,max和-Pij,max分别为节点i、j间的最大和最小有功传输功率；Vi,max和Vi,min分别为节点i的最大和最小电压；δi(t)、Vi(t)分别为t时刻节点i的电压和相角，δj(t)、Vj(t)分别为t时刻节点j的电压和相角。
配网的发电机出力约束：
其中，为配网中的发电机在t+1时刻中发出的有功功率，Pt G为配网中的发电机在t时刻中发出的有功功率；/>和/>分别为配网发电机的上升速率限制和下降速率限制，PG,max和PG,min分别为发电机输出功率的上限和下限。
除了与外部大电网相连的节点，配电网内其它节点(包括与微网相连的节点)在t时刻的节点注入功率如下：
式中，为t时刻节点i上的发电机的有功和无功出力；/>为t时刻配网向节点i上的连接的微电网传输的边界功率，该值为正表示配网向微网卖出功率，该值为负表示配网向微网买入功率；/>为t时刻节点i上的常规有功负荷；
在本发明其中一个实施例中，建立微网的调度优化模型，假设微网包括储能和分布式电源，则微网的运行约束如下：
其中，储能约束如下：
储能充电放电不能同时进行，需满足以下约束：
式中：为t时刻储能的功率；/>为放电功率；/>为充电功率；/>为t时刻储能的电量；/>分别为功率和能量的上下限约束，η为充放电效率。
分布式电源中微燃机的运行约束与配网的发电机一样，包括爬坡约束与功率上下限约束：
其中，为微燃机在t+1时刻中发出的有功功率；vup和vdowm分别为微燃机的向上最大爬坡速率和向下最大爬坡速率，PDG,max和PDG,min分别为微燃机输出功率的上限和下限；
分布式电源中光伏发电和风机约束如下：
其中，Pt PV和Pt W分别为光伏和风机在t时刻发出的有功功率；Pt PV，max和Pt W，max分别为光伏和风机在t时刻发出的最大功率。
微电网与配电网之间传输的功率约束如下：
其中，Pt buy和Pt sell分别为微网在t时刻向上层电网买电和卖电的功率；为t时刻配网向连接的微电网传输的功率；Pt buy，max和Pt sell，max分别为微网在t时刻向上层电网买电和卖电的功率最大值，其中，Pt sell，max为负值。
微网的功率平衡约束如下：
式中，Pt CON为t时刻微网的常规负荷。
构建总成本最小、实现社会福利最大化的目标函数F，即
其中，FDNO、分别是配电网和第k个微电网的运行成本，皆为二次函数；k指第k个微电网；xDNO、xMGO,k分别是配电网和第k个微电网的决策变量。MGOs代表所有微电网的集合。
在本发明其中一个实施例中，步骤2包括以下步骤，将调度优化问题转化为多智能体强化学习问题。首先，在随机优化中，配网和多微网的动态经济调度的目标是考虑各类资源的随机性下，通过实时调度决策，使得调度周期内的总成本最小，即将实时调度描述成一个多阶段随机序贯决策问题：
其中，xt表示决策变量，χt表示可行域，E()表示取期望值运算，Ft表示t时刻的调度收益，M表示调度周期；
即根据贝尔曼的最优性原理，可将多时段的优化决策问题转化成递推问题，将式(10)转化成：
其中，Vt(St)为配网和多微网在St状态的值函数，St为配网和多微网t时刻所处的状态，F(St,xt)为配网和多微网在St状态时作了决策xt后产生的实时运行成本，Vt+1(St+1|St,xt,Wt)为配网和多微网在St状态的前提下，做出决策xt、接收外源信息Wt后t+1时刻的值函数，值函数的意义为后续状态对当前状态的影响；
由于在实际的电力系统中，配网和多微网分别属于不同的主体，如果将整个系统的值函数(10)进行训练，保证不了主体间的隐私需求，因此配网和各微网需要单独对自己的值函数进行训练，即
其中，DNO表示配网，为配网t时刻所处的状态；Ft DNO为配网在/>状态时作了决策/>后产生的实时运行成本，决策/>即配网各发电单元的出力、传输到各微网的功率；/>为配网在/>状态的值函数，/>为配网在/>状态的前提下，做出决策/>接收外源信息Wt DNO后t+1时刻的值函数，外源信息Wt DNO即配网中的各种预测信息；/>为第k个微网在/>状态的值函数，MGO表示微网，k表示第k个微网，/>为第k个微网t时刻所处的状态；/>为第k个微网在/>状态时作了决策/>后产生的实时运行成本，/>为第k个微网在/>状态的前提下，做出决/>接收外源信息/>后t+1时刻的值函数；
利用分段线性函数法拟合式(12)和(13)中的值函数，即
β代表段数，表示配网值函数第/>段的斜率，/>为每段线性凸函数的资源量；/>表示第k个微网值函数第/>段的斜率，/>为每段线性凸函数的资源量,ξ表示折算因子。
在本发明其中一个实施例中，所述步骤3中，通过解析的方法，将配网和微网各自的调度目标最优值在不同的区域内映射成对应边界功率的分段二次函数，解析的方法即根据多参数规划理论中的最优分割对配网向连接的k个微电网传输的边界功率PbMGO＝[PbMGO ,1,PbMGO,2,PbMGO,3,…,PbMGO,k]进行快速分区，在每个分区内，配网和微网各自的调度目标最优值与传输的边界功率存在唯一对应关系。首先，配网的模型(1)～(3)、(14)可以重构为
其中PDNO为配网中除了传输功率外的决策变量，即配网各发电单元的出力、潮流；其中VDNO为目标函数关于PbMGO的表示符号；CDNO为目标函数关于PDNO的表示符号；QDNO为PDNO的二次系数矩阵，fDNO为PDNO的一次系数矩阵，rDNO为配网目标函数的常数项。GDNO、WDNO和SDNO分别为形成约束(1)～(3)的矩阵。
微网的模型(4)～(8)、(15)可以重构为
其中PMGO,k为第k个微网中除了边界功率PbMGO,k外的决策变量，即微网中分布式电源、储能等的出力；其中VMGO,k为目标函数关于PbMGO,k的表示符号；CMGO,k为目标函数关于PMGO,k的表示符号；QMGO,k为PMGO,k的二次系数矩阵，fMGO,k为PMGO,k的一次系数矩阵，rMGO,k为微网目标函数的常数项。GMGO,k、WMGO,k和SMGO,k为形成微网运行约束的矩阵；PbMGO,k为配网与第k个微网交互的边界功率。
下文以配网的模型为例，描述配网目标函数与边界功率的映射关系，微网同理。
给定边界功率PbMGO形成的多面体内的任意值PbMGO﹡，则问题(16)可以求得最优解，此时(16)中的约束可以分有效约束(18)和无效约束(19)，
/>
配网运行约束矩阵中有效约束形成的矩阵；/>WI DNO、/>配网运行约束矩阵中无效约束形成的矩阵；其中A表示有效约束的下标，I表示无效约束的下标。根据多参数规划理论的最优分割理论，参数PbMGO形成的多面体可分割成有限的临界区域CR1，CR2，……CRN。在同一个临界区域内，有效约束和无效约束的类型及个数相同。
在本发明其中一个实施例中，在某一分区内，移除无效约束，则问题(16)的拉格朗日函数可以被写成
其中λ为有效约束(18)的拉格朗日乘子。使用一阶KKT条件可得
即
代入有效约束(18)中即得
即
由于在同一分区内，有效约束和无效约束的类型相同，上述推导不会改变，如此便将拉格朗日乘子λ表示成边界功率PbMGO的函数，将(24)代入(22)中，可得PDNO与边界功率PbMGO的映射关系，再代入式(16)中的目标函数，进而可得VDNO与PbMGO的映射关系。遍历所有的分区，则可得到每一分区对应的映射关系，即
是常数矩阵，/>是常数向量，/> 是常量，数值皆由PDNO与边界功率PbMGO的映射关系代入式(16)中推导而得。
将第k个微网中的边界功率PbMGO,k分区之后，得到VMGO,k关于PbMGO,k的映射关系：
是常数矩阵，/>是常数向量，/>是常量，数值皆由前述推导而得。
在本发明其中一个实施例中，步骤4中，将配网和微网各自的调度目标最优值对应边界功率的函数嵌入强化学习中，使各智能体策略配合实现全局最优、只需传递边界参数的分布式自主学习。
步骤S4具体包括以下步骤：
S4.1、初始化配网和多微网为第n次迭代中的近似值函数，直接各值函数的分段斜率为0；生成n个训练样本TS1,TS2,…,TSn；令迭代次数g＝1；
S4.2、从t＝1,…,M,进行前推计算；
S4.3、令t＝1；
S4.4、根据最新的配网、微网信息，各微网根据式(26)更新分区及映射函数。微网向配网传递CR及CR对应的函数，配网通过式(27)进行求解
得到配网各决策变量的最优决策，及各配网与多微网间的边界功率PbMGO,1,PbMGO ,2,PbMGO,3,…,PbMGO,k，并将边界功率传递给各微网。
S4.5、各微网根据边界功率映射得到决策变量的最优值。
S4.6、对配网的状态施加正负扰动，根据式(27)得到配网和多微网的最优解，并计算正负边际效益值。对每个微网的状态施加正负扰动，再次执行步骤4.4和4.5得到配网和多微网的最优解，并计算正负边际效益值。令t＝t+1，若t≤M，返回步骤4.4。若t>M，循环终止。
S4.7、根据正负边际效益值，配网和各微网利用凹自适应值估计法(concaveadaptive value estimation algorithm，CAVE)分别进行值函数的更新。令g＝g+1，若g≤n，返回步骤4.2。若g>n，迭代停止，得到收敛的值函数。
本发明实施例提供的方法该方法仅传递边界变量及函数，可以实现考虑随机性的配网和多微网的分布式自主学习，在保护各主体隐私的前提下使得全社会福利的最大化。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.基于多智能体强化学习的多微网配电系统分布式调度方法，其特征在于，包括以下步骤：
建立配网和微网的动态经济调度优化模型；
将调度优化问题转化为多智能体强化学习问题；
通过解析的方法，分别将配网和微网的调度目标最优值在不同的区域内映射成对应边界功率的分段二次函数；
将所述分段二次函数嵌入强化学习中，使各智能体策略配合实现分布式自主学习；
建立配网和微网的动态经济调度优化模型中，所述动态经济调度优化模型包括配网的运行约束、微网的运行约束以及总成本最小化的目标函数；
构建总成本最小、实现社会福利最大化的目标函数F，即
其中，FDNO、Fk MGO分别是配电网和第k个微电网的运行成本，皆为二次函数；k指第k个微电网；xDNO、xMGO,k分别是配电网和第k个微电网的决策变量，MGOs代表所有微电网的集合；
所述通过解析的方法，将配网和微网各自的调度目标最优值在不同的区域内映射成对应边界功率的分段二次函数中，解析的方法即根据多参数规划理论中的最优分割对配网向连接的k个微电网传输的边界功率PbMGO＝[PbMGO,1,PbMGO,2,PbMGO,3,…,PbMGO,k]进行分区，在每个分区内，配网和微网各自的调度目标最优值与传输的边界功率存在唯一对应关系，首先，将配网的模型重构为
其中，VDNO为目标函数关于PbMGO的表示符号；CDNO为目标函数关于PDNO的表示符号；PDNO为配网中除了传输功率外的决策变量，即配网各发电单元的出力和潮流；QDNO为PDNO的二次系数矩阵，fDNO为PDNO的一次系数矩阵，rDNO为配网目标函数的常数项，GDNO、WDNO和SDNO分别为形成配网运行约束的矩阵；
将微网的模型重构为
其中，VMGO,k为目标函数关于PbMGO,k的表示符号；PbMGO,k为配网与第k个微网交互的边界功率，CMGO,k为目标函数关于PMGO,k的表示符号；PMGO,k为第k个微网中除了边界功率PbMGO,k外的决策变量，即微网中分布式电源和储能的出力；QMGO,k为PMGO,k的二次系数矩阵，fMGO,k为PMGO,k的一次系数矩阵，rMGO,k为微网目标函数的常数项，GMGO,k、WMGO,k和SMGO,k均为形成微网运行约束的矩阵；T表示矩阵的转置；
给定边界功率PbMGO形成的多面体内的任意值PbMGO*，则公式(16)求得最优解，此时公式(16)中的约束分有效约束(18)和无效约束(19)，
为配网运行约束矩阵中有效约束形成的矩阵；/> 配网运行约束矩阵中无效约束形成的矩阵；其中A表示有效约束的下标，I表示无效约束的下标，根据多参数规划理论的最优分割理论，参数PbMGO形成的多面体可分割成有限的临界区域CR1，CR2，……CRN，在同一个临界区域内，有效约束和无效约束的类型及个数相同；
其中，在某一分区内，移除无效约束，则公式(16)的拉格朗日函数被写成
其中λ为有效约束(18)的拉格朗日乘子，使用一阶KKT条件得
即
代入有效约束(18)中即得
即
由于在同一分区内，有效约束和无效约束的类型相同，上述推导不会改变，如此便将拉格朗日乘子λ表示成边界功率PbMGO的函数，将公式(24)代入公式(22)中，得PDNO与边界功率PbMGO的映射关系，再代入式(16)中的目标函数，进而得VDNO与PbMGO的映射关系，遍历所有的分区，则得到每一分区对应的映射关系，即
是常数矩阵，/>是常数向量，/> 是常量；
将第k个微网中的边界功率PbMGO,k分区之后，得到VMGO,k关于PbMGO,k的映射关系：
是常数矩阵，/>是常数向量，是常量；
其中，将分段二次函数嵌入强化学习中，使各智能体策略配合实现全局最优、只需传递边界参数的分布式自主学习，包括：
S4.1、初始化配网和多微网为第n次迭代中的近似值函数，设置各近似值函数的分段斜率为0；生成n个训练样本TS1,TS2,…,TSn；令迭代次数g＝1；
S4.2、从t＝1,…M,进行前推计算；
S4.3、令t＝1；
S4.4、根据最新的配网、微网信息，各微网根据式(26)更新分区及映射函数，微网向配网传递区域CR及区域CR对应的函数，配网通过式(27)进行求解
V为成本最小化的目标函数，为配网在/>状态的值函数，VMGO,k为第k个微网目标函数关于PbMGO,k的表示符号；
得到配网各决策变量的最优决策，及各配网与多微网间的边界功率PbMGO,1,PbMGO,2,PbMGO,3,…,PbMGO,k，并将边界功率传递给各微网；
S4.5、各微网根据边界功率映射得到决策变量的最优值；
S4.6、对配网的状态施加正负扰动，根据式(27)得到配网和多微网的最优解，并计算正负边际效益值，对每个微网的状态施加正负扰动，再次执行S4.4和S4.5得到配网和多微网的最优解，并计算正负边际效益值；令t＝t+1，若t≤M，返回S4.4，若t>M，循环终止；
S4.7、根据正负边际效益值，配网和各微网分别进行值函数的更新，令g＝g+1，若g≤n，返回S4.2，若g>n，迭代停止，得到收敛的值函数。
2.根据权利要求1所述的基于多智能体强化学习的多微网配电系统分布式调度方法，其特征在于，所述配网的运行约束包括配网的潮流约束、配网的发电机出力约束；
其中，配网的潮流约束如下：
式中，i、j均为节点编号，Pij、Qij、rij和xij分别为节点ij间的有功传输功率、无功传输功率、电阻和电抗，Pi、Qi分别为节点i的有功功率、无功功率；NB为支路数；Pij,max和-Pij,max分别为节点ij间的最大和最小有功传输功率；Vi,max和Vi,min分别为节点i的最大和最小电压；δi(t)、Vi(t)分别为t时刻节点i的电压和相角，δj(t)、Vj(t)分别为t时刻节点j的电压和相角；
配网的发电机出力约束：
其中，为配网中的发电机在t+1时刻中发出的有功功率，Pt G为配网中的发电机在t时刻中发出的有功功率；/>和/>分别为配网发电机的上升速率限制和下降速率限制，PG ,max和PG,min分别为发电机输出功率的上限和下限；
除了与外部大电网相连的节点，配电网内其它节点在t时刻的节点注入功率Pi,t如下：
式中，为t时刻节点i上的发电机的有功和无功出力；/>为t时刻配网向节点i上的连接的微电网传输的边界功率，该值为正表示配网向微网卖出功率，该值为负表示配网向微网买入功率；/>为t时刻节点i上的常规有功负荷。
3.根据权利要求1所述的基于多智能体强化学习的多微网配电系统分布式调度方法，其特征在于，所述建立微网的调度优化模型中，假设微网包括储能和分布式电源，则微网的运行约束如下：
其中，储能约束如下：
储能充电放电不能同时进行，需满足以下约束：
式中：为t时刻储能的功率；/>为放电功率；Pi -为充电功率；/>为t时刻储能的电量；/>分别为功率和能量的上下限约束，η为充放电效率；
分布式电源中微燃机的运行约束包括爬坡约束与功率上下限约束：
其中，Pt DG为微燃机在t时刻中发出的有功功率；为微燃机在t+1时刻中发出的有功功率；vup和vdowm分别为微燃机的向上最大爬坡速率和向下最大爬坡速率，PDG,max和PDG,min分别为微燃机输出功率的上限和下限；
分布式电源中光伏发电和风机约束如下：
其中，Pt PV和Pt W分别为光伏和风机在t时刻发出的有功功率；Pt PV，max和Pt W，max分别为光伏和风机在t时刻发出的最大功率；
微电网与配电网之间传输的功率约束如下：
其中，Pt buy和Pt sell分别为微网在t时刻向上层电网买电和卖电的功率；Pbt MGO为t时刻配网向连接的微电网传输的功率；Pt buy，max和Pt sell，max分别为微网在t时刻向上层电网买电和卖电的功率最大值，其中，Pt sell，max为负值；
微网的功率平衡约束如下：
Pbt MGO+Pt W+Pt PV+Pt DG+Pt ESS＝Pt CON (8)
式中，Pt CON为t时刻微网的常规负荷。
4.根据权利要求1所述的基于多智能体强化学习的多微网配电系统分布式调度方法，其特征在于，所述将调度优化问题转化为多智能体强化学习问题中，首先，在随机优化中，配网和多微网的动态经济调度的目标是考虑各类资源的随机性下，通过实时调度决策，使得调度周期内的总成本最小，即将实时调度描述成一个多阶段随机序贯决策问题：
其中，xt表示决策变量，χt表示可行域，E[]表示取期望值运算，Ft表示t时刻的调度收益，M表示调度周期；
根据贝尔曼的最优性原理，将多时段的优化决策问题转化成递推问题，将式(10)转化成：
其中，Vt(St)为配网和多微网在St状态的值函数，St为配网和多微网t时刻所处的状态，F(St,xt)为配网和多微网在St状态时作了决策xt后产生的实时运行成本，ξ表示表示折算因子，Vt+1(St+1|St,xt,Wt)为配网和多微网在St状态的前提下，做出决策xt、接收外源信息Wt后t+1时刻的值函数；
配网和各微网单独对自己的值函数进行训练，即
其中，为配网在St DNO状态的值函数，DNO表示配网，/>为配网t时刻所处的状态；Ft DNO为配网在/>状态时作了决策/>后产生的实时运行成本，决策/>即配网各发电单元的出力和传输到各微网的功率；/>为配网在/>状态的前提下，做出决策/>和接收外源信息Wt DNO后t+1时刻的值函数，外源信息Wt DNO即配网中的各种预测信息；MGO表示微网，k表示第k个微网，/>为第k个微网t时刻所处的状态；/>为第k个微网在/>状态时作了决策/>后产生的实时运行成本，/>为第k个微网在/>状态的值函数，/>为第k个微网在/>状态的前提下，做出决策/>接收外源信息/>后t+1时刻的值函数，ξ表示表示折算因子；
利用分段线性函数法拟合式(12)和(13)中的值函数，即
β代表段数，表示配网值函数第rtDNO段的斜率，/>为每段线性凸函数的资源量；/>表示第k个微网值函数第/>段的斜率，/>为每段线性凸函数的资源量,ξ表示折算因子。
5.根据权利要求1所述的基于多智能体强化学习的多微网配电系统分布式调度方法，其特征在于，S4.7中，配网和各微网利用凹自适应值估计法分别进行值函数的更新。
CN202110892549.6A 2021-08-04 2021-08-04 基于多智能体强化学习的多微网配电系统分布式调度方法 Active CN113780622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110892549.6A CN113780622B (zh) 2021-08-04 2021-08-04 基于多智能体强化学习的多微网配电系统分布式调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110892549.6A CN113780622B (zh) 2021-08-04 2021-08-04 基于多智能体强化学习的多微网配电系统分布式调度方法

Publications (2)

Publication Number Publication Date
CN113780622A CN113780622A (zh) 2021-12-10
CN113780622B true CN113780622B (zh) 2024-03-12

Family

ID=78836900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110892549.6A Active CN113780622B (zh) 2021-08-04 2021-08-04 基于多智能体强化学习的多微网配电系统分布式调度方法

Country Status (1)

Country Link
CN (1) CN113780622B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114362221B (zh) * 2022-01-17 2023-10-13 河海大学 一种基于深度强化学习的区域智能电网分区评价方法
CN116632936B (zh) * 2023-04-28 2024-01-19 上海交通大学 分布式电源逆变器协同调节配电网电压的单参数规划方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108599373A (zh) * 2018-05-16 2018-09-28 山东大学 高比例可再生能源电力系统输配协调调度目标级联分析法
CN108631317A (zh) * 2018-05-29 2018-10-09 深圳供电局有限公司 一种含多源主体的主动配电网分布式动态最优潮流方法
CN110276698A (zh) * 2019-06-17 2019-09-24 国网江苏省电力有限公司淮安供电分公司 基于多智能体双层协同强化学习的分布式可再生能源交易决策方法
CN110728406A (zh) * 2019-10-15 2020-01-24 南京邮电大学 基于强化学习的多智能体发电优化调度方法
CN110929948A (zh) * 2019-11-29 2020-03-27 上海电力大学 基于深度强化学习的完全分布式智能电网经济调度方法
CN111030123A (zh) * 2019-12-31 2020-04-17 东北大学 一种基于边缘计算的多智能体负荷调控方法
CN111080022A (zh) * 2019-12-23 2020-04-28 国网四川省电力公司经济技术研究院 一种包含多利益主体的分区分布式协调优化方法
CN111179121A (zh) * 2020-01-17 2020-05-19 华南理工大学 基于专家系统与深度逆向强化学习的电网紧急控制方法
CN111429038A (zh) * 2020-04-25 2020-07-17 华南理工大学 一种基于强化学习的主动配电网实时随机优化调度方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108599373A (zh) * 2018-05-16 2018-09-28 山东大学 高比例可再生能源电力系统输配协调调度目标级联分析法
CN108631317A (zh) * 2018-05-29 2018-10-09 深圳供电局有限公司 一种含多源主体的主动配电网分布式动态最优潮流方法
CN110276698A (zh) * 2019-06-17 2019-09-24 国网江苏省电力有限公司淮安供电分公司 基于多智能体双层协同强化学习的分布式可再生能源交易决策方法
CN110728406A (zh) * 2019-10-15 2020-01-24 南京邮电大学 基于强化学习的多智能体发电优化调度方法
CN110929948A (zh) * 2019-11-29 2020-03-27 上海电力大学 基于深度强化学习的完全分布式智能电网经济调度方法
CN111080022A (zh) * 2019-12-23 2020-04-28 国网四川省电力公司经济技术研究院 一种包含多利益主体的分区分布式协调优化方法
CN111030123A (zh) * 2019-12-31 2020-04-17 东北大学 一种基于边缘计算的多智能体负荷调控方法
WO2021135332A1 (zh) * 2019-12-31 2021-07-08 东北大学 一种基于边缘计算的多智能体负荷调控方法
CN111179121A (zh) * 2020-01-17 2020-05-19 华南理工大学 基于专家系统与深度逆向强化学习的电网紧急控制方法
CN111429038A (zh) * 2020-04-25 2020-07-17 华南理工大学 一种基于强化学习的主动配电网实时随机优化调度方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于强化学习的增量配电网实时随机调度方法;李捷;余涛;潘振宁;;电网技术;20200728;第44卷(第09期);第3321-3332页 *

Also Published As

Publication number Publication date
CN113780622A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN109980685B (zh) 一种考虑不确定性的主动配电网分布式优化运行方法
Wang et al. Intelligent DC microgrid with smart grid communications: Control strategy consideration and design
CN105703369B (zh) 一种多能耦合输配网最优能量流建模及求解方法
CN113780622B (zh) 基于多智能体强化学习的多微网配电系统分布式调度方法
CN109950907B (zh) 含电力电子变压器的交直流混合配电网的调度方法及系统
CN110266038B (zh) 一种多虚拟电厂分布式协调调控方法
CN106058855A (zh) 协调储能与柔性负荷的主动配电网多目标优化调度方法
Fathy et al. Minimum hydrogen consumption based control strategy of fuel cell/PV/battery/supercapacitor hybrid system using recent approach based parasitism-predation algorithm
CN110265991B (zh) 一种直流微电网的分布式协调控制方法
Zhai et al. Robust model predictive control for energy management of isolated microgrids
CN106849162B (zh) 大量可再生能源并网的主动配电网自适应鲁棒优化方法
CN111276968A (zh) 基于奇异摄动的综合能源系统分布式趋同控制方法及系统
CN115333110A (zh) 基于admm的配电网-微电网群协同分布式优化调度方法及系统
CN113595133A (zh) 基于能源路由器的配电网-多微网系统及其调度方法
CN115545291A (zh) 基于主从博弈的集中式共享储能容量配置和定价方法
CN114447981A (zh) 一种基于冷链系统的智慧港口微电网及其分布式能源管理方法
CN104239960A (zh) 考虑抽水蓄能机组的发电计划优化方法
CN106611966A (zh) 多逆变器型交流微电网分布式经济性自动发电控制算法
CN111767621A (zh) 一种基于知识迁移q学习算法的多能源系统优化调度方法
CN113890114B (zh) 一种主配用多层级电网灵活调节能力挖掘方法
CN115719113A (zh) 基于有向不平衡拓扑的智能电网经济调度分布式加速优化方法
CN115222155A (zh) 基于交替方向乘子法的集中式共享储能优化配置方法
CN113837449A (zh) 虚拟电厂参与的电网系统集中优化调度方法
Wang et al. Economic dispatch of microgrid based on multi-agent system
Li et al. A Novel Graph Reinforcement Learning Approach for Stochastic Dynamic Economic Dispatch under High Penetration of Renewable Energy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant