CN115149586A - 一种分布式能源聚合调控与自主调控协同优化方法及系统 - Google Patents

一种分布式能源聚合调控与自主调控协同优化方法及系统 Download PDF

Info

Publication number
CN115149586A
CN115149586A CN202210916474.5A CN202210916474A CN115149586A CN 115149586 A CN115149586 A CN 115149586A CN 202210916474 A CN202210916474 A CN 202210916474A CN 115149586 A CN115149586 A CN 115149586A
Authority
CN
China
Prior art keywords
regulation
load
distributed
control
autonomous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210916474.5A
Other languages
English (en)
Other versions
CN115149586B (zh
Inventor
周振宇
潘超
汤中卫
田歌星
于海军
廖海君
张翔
李从非
贾璐瑞
陈亚鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202210916474.5A priority Critical patent/CN115149586B/zh
Publication of CN115149586A publication Critical patent/CN115149586A/zh
Application granted granted Critical
Publication of CN115149586B publication Critical patent/CN115149586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/466—Scheduling the operation of the generators, e.g. connecting or disconnecting generators to meet a given demand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
    • H02J3/14—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by switching loads on to, or off from, network, e.g. progressively balanced loading
    • H02J3/144—Demand-response operation of the power transmission or distribution network
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
    • H02J3/322—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means the battery being on-board an electric or hybrid vehicle, e.g. vehicle to grid arrangements [V2G], power aggregation, use of the battery for network load balancing, coordinated or cooperative battery charging
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/22—The renewable source being solar energy
    • H02J2300/24—The renewable source being solar energy of photovoltaic origin
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/28—The renewable source being wind energy
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2310/00—The network for supplying or distributing electric power characterised by its spatial reach or by the load
    • H02J2310/50—The network for supplying or distributing electric power characterised by its spatial reach or by the load for selectively controlling the operation of the loads
    • H02J2310/56—The network for supplying or distributing electric power characterised by its spatial reach or by the load for selectively controlling the operation of the loads characterised by the condition upon which the selective controlling is based
    • H02J2310/62—The condition being non-electrical, e.g. temperature
    • H02J2310/64—The condition being economic, e.g. tariff based load management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Power Engineering (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明提供一种分布式能源聚合调控与自主调控协同优化方法及系统，包含设备层，边缘层和云层；设备层将负荷与电源信息上传至边缘层，边缘层训练局部模型上传至云层并接收云层下发的全局模型，同时根据全局模型与局部模型向设备层下发聚合调控与自主调控指令。包括以下步骤：(1)提出区域电网分布式能源调控系统模型；(2)构建分布式光伏总出力成本和供电可靠性联合优化问题；(3)基于一致性算法增强联邦深度强化学习的负荷聚合调控与分布式光伏自主调控两阶段协同优化。本发明提高局部模型的训练和调控优化性能，实现了信息不确定性下的全局决策优化，实现了电网运行的经济性和可靠性的联合优化。

Description

一种分布式能源聚合调控与自主调控协同优化方法及系统
技术领域
本发明属于新型电力系统技术领域，具体涉及一种分布式能源聚合调控与自主调控协同优化方法及系统。
背景技术
随着新型电力系统的建设，大量风力发电机、屋顶光伏、智能家电、电动汽车和充电桩等分布式源荷储能源接入电网，对分布式能源调控提出了更高的要求。分布式能源具有关联复杂、容量小、位置分散等特点，可通过第三方聚合器或电网对其进行聚合调控，也可以通过内部和外部信息的交换实现自主调控。例如，分布式负荷可以聚合成一个大容量的可调控单元，来提供负荷转移和调峰等辅助服务。相应地，分布式光伏可充当智能体，根据可调控负荷量、出力成本以及出力约束自主调控实时功率输出。然而，在对分布式能源进行聚合调控和自主调控时，仍然面临着以下关键挑战。
第一，聚合调控与自主调控相互耦合。一方面，负荷聚合调控直接决定了分布式光伏自主调控的总出力值；另一方面，分布式光伏自主调控的出力值和出力成本也会影响负荷聚合调控优化所需的状态信息、奖励值与局部模型训练。因此，如何解决两者之间的耦合问题，实现聚合调控和自主调控的协同优化仍然是一个亟待解决的问题。
第二，供电可靠性与调控经济性之间的矛盾。一方面，电网调控目标已经从传统的发电成本最小化转向调控经济性最大化；另一方面，供电可靠性是保障民生的重要指标。然而，调控经济性与供电可靠性是一对矛盾的衡量指标。如果过分强调供电可靠性，势必在分布式光伏出力不足的情况下，增加分布式能源的出力以满足负荷需求，造成经济损失；否则，供电可靠性将受到威胁。因此，调控经济性与供电可靠性之间的矛盾是亟需考虑的另一个关键问题。
综上所述，电网发展现阶段迫切需要设计一种分布式能源聚合调控与自主调控协同优化方法及系统，提升电网运行的经济性和可靠性。
发明内容
本发明所要解决的技术问题：
1.分布式能源聚合与自主调控相互耦合问题
本发明构建了新型电力系统分布式能源的聚合调控与自主调控系统，将分布式能源调控优化问题解耦为两阶段协同优化问题，在第一阶段进行负荷聚合调控优化，第二阶段进行分布式能源自主调控优化，从而实现了分布式能源聚合调控和自主调控的协同优化。
2.供电可靠性与调控经济性之间的矛盾问题
本发明构建了综合考虑负荷需求与光伏出力的分布式能源调控模型，在供需平衡、电网运行可靠性、分布式光伏出力上下限的约束下，联合优化供电可靠性与调度经济性，最大限度地考虑了电网运营对二者需求的折衷。
具体的技术方案：
一种分布式能源聚合调控与自主调控协同优化系统，包含设备层，边缘层和云层；设备层将负荷与电源信息上传至边缘层；
边缘层根据设备层上传的负荷和电源信息训练局部模型，边缘层将训练后的局部模型上传至云层并接收云层下发的全局模型；局部模型用于边缘层进行区域电网内部负荷调度决策；全局模型用于汇集各个局部模型，并会及时的下发至各个边缘，实现边缘之间信息的共享；
边缘层根据全局模型与局部模型向设备层下发聚合调控与自主调控指令，聚合调控与自主调控指令用于控制分布式能源聚合调控和自主调控。
具体的，所述的设备层由分布式发电机、分布式负荷以及分布式储能器组成；所述的边缘层由区域电网调控控制器和现场边缘服务器组成，作为设备层和云层之间的桥梁；所述的云层包含中央云服务器支持的电网调控控制器，负责分布式的跨区域优化能源调控。
一种分布式能源聚合调控与自主调控协同优化方法，采用所述的系统，包括以下步骤：
(1)根据区域电网负荷和电源等信息，提出区域电网分布式能源调控系统模型；
(2)基于步骤(1)提出的分布式能源聚合调控模型，构建分布式光伏总出力成本和供电可靠性联合优化问题；
(3)设计基于一致性算法增强联邦深度强化学习的负荷聚合调控与分布式光伏自主调控两阶段协同优化方法，求解步骤(2)中的联合优化问题，实现分布式能源聚合调控与自主调控。
具体的，步骤(1)中，负荷和分布式光伏调控的场景由中央控制器、区域控制器、负荷和分布式光伏组成；配电网分为N个区域，集合定义为G；第n个区域电网Gn包含Mn个分布式光伏，集合定义为εn；总的调控时间包含T个时隙，集合为T；在每个时隙中，区域控制器收集本地信息，以实现汇总的负荷调控；然后，分布式光伏设备根据调控的负荷自主地调控输出功率；中央控制器从每个区域控制器收集本地模型，并实现全局汇总和分析。
步骤(1)中模型包括：
步骤(1)中模型包括：
电网负荷模型：每个区域电网的负荷是基本负荷和可调控负荷之和；基本负荷代表不可调控的能源需求，而可调控负荷是为了保证供电可靠性而进行的汇总和动态调控；
将区域电网Gn的最小和最大可调控负荷定义为
Figure BDA0003775753830000021
和
Figure BDA0003775753830000022
然后，Gn的调控负荷由以下公式给出：
Figure BDA0003775753830000031
其中ρn(t)∈[0,1]是Gn的计划负荷比例；Gn的总负荷，即Pn(t)，是基本负荷
Figure BDA0003775753830000032
和计划负荷
Figure BDA0003775753830000033
之和；
供电的可靠性模型：负荷需求调控不当不仅会造成能源供需的不平衡，影响分布式能源消耗，而且还会对电力供应可靠性造成潜在的威胁和压力；如果能源供应过剩，则可以避免不必要的负荷调控比例削减；供电可靠性，即Rn，根据计划负荷
Figure BDA0003775753830000034
与最大可调控负荷
Figure BDA0003775753830000035
的比率来衡量；
Gn
其中，
Figure BDA0003775753830000036
计划接入负荷，
Figure BDA0003775753830000037
和Gn为区域电网
Figure BDA0003775753830000038
的最小和最大可调控负荷，ρn(t)∈[0,1]为台区Gn的供电可靠性；Gn为可靠性相关系数。
分布式光伏自主调控的经济性模型：每个区域电网的总负荷由分布式光伏支持；将区域电网Gn中的第m个分布式光伏定义为
Figure BDA0003775753830000039
其输出功率为
Figure BDA00037757538300000310
Figure BDA00037757538300000311
的出力成本被建模为
Figure BDA00037757538300000312
的二次函数；Gn中自主分布式光伏调控的总成本是Mn分布式光伏的输出成本之和。
光伏出力成本函数可以近似描述为二次函数形式，如下所示：
Figure BDA00037757538300000313
其中，
Figure BDA00037757538300000314
为台区Gn中光伏单元
Figure BDA00037757538300000315
的出力成本函数；
Figure BDA00037757538300000316
分别为光伏单元
Figure BDA00037757538300000317
出力成本函数中的一次项、二次项与常数项系数。
根据各个光伏单元的出力成本函数可以得到区域电网总发电成本：
Figure BDA00037757538300000318
步骤(2)中，分布式能源调控的目标其公式为：
Figure BDA00037757538300000319
Figure BDA00037757538300000320
Figure BDA00037757538300000321
Figure BDA00037757538300000322
Figure BDA00037757538300000323
其中Vr是一个非负的权重；C1是预定负荷比例约束；ρn(t)被离散为K级；C2是瞬时供需平衡约束；C3是分布式光伏的输出功率约束，其中
Figure BDA00037757538300000324
和
Figure BDA00037757538300000325
分别是
Figure BDA00037757538300000326
的输出功率下限和上限；C4是区域电网运行的可靠性约束，其中Rn,min(t)代表Gn的最小可靠性要求。
步骤(3)，包括：
第一阶段负荷聚合调控优化；
每个区域电网的第一阶段优化问题可由状态空间、行动空间和奖励组成；状态空间定义为由供电可靠性、可调控负荷和分布式光伏输出成本参数的历史信息组成；行动空间定义为可选择的计划负荷比例的集合；奖励定义为供电可靠性和光伏输出成本之间的加权差；
每个区域控制器自身构建一个本地的负荷聚合调控模型，包括一个评估网络、一个目标网络和一个经验回放池；本地模型的训练是基于本地信息的；中央控制器从区域电网收集本地模型，基于联合聚合训练一个聚合负荷调控的全局模型，并及时将全局模型分发到每个区域电网；
第二阶段分布式光伏自主调控优化；
每个区域电网中的分布式光伏的通信拓扑结构被描述为一个无向图GFn＝(Vn,òn,An)，其中Vn代表节点的集合，即分布式光伏，騙n∈Vn×Vn代表边的集合，即分布式光伏之间的通信连接；
Figure BDA0003775753830000041
代表邻接矩阵，当
Figure BDA0003775753830000042
能与
Figure BDA0003775753830000043
通信时，
Figure BDA0003775753830000044
否则
Figure BDA0003775753830000045
所有能与
Figure BDA0003775753830000046
通信的分布式光伏被称为
Figure BDA0003775753830000047
的邻居节点，该集合被表示为
Figure BDA0003775753830000048
基于第一阶段获得的综合负荷调控决策，分布式光伏自主调控决策在构建的通信拓扑图的基础上被优化；分布式光伏与它的邻居交换增量成本，并迭代更新以达到共识收敛；每个分布式光伏的输出是根据共识收敛的增量成本确定的。
步骤(3)，具体过程包括：
步骤1：初始化
同时输入最小和最大可调控负荷作为分布式光伏的输出成本系数；初始化聚合的局部模型和全局模型的参数以及经验回放池；初始化每个分布式光伏机组的增量成本和产量以及自治的一致收敛条件分布式光伏调控；
步骤2：第一阶段负荷聚合调控决策
1)基于本地评估网络，Gn区域控制器采用贪婪策略来选择一个动作，获得聚合负荷调控决策，即ρn(t)并且计算调控负荷；
2)区域控制器计算总负荷Pn(t)基于基本负荷和计划负荷，以及将其传输到分布式光伏s；
步骤3：第二阶段分布式光伏自主调控决策
1)将
Figure BDA0003775753830000049
的增量成本定义为输出成本相对于输出功率
Figure BDA00037757538300000410
的导数；对每个分布式光伏的增量成本进行迭代更新，实现一致收敛，如下所示：
Figure BDA0003775753830000051
式中
Figure BDA0003775753830000052
表示第k次迭代中
Figure BDA0003775753830000053
的增量成本，
Figure BDA0003775753830000054
是输出的二次系数费用；
2)将增量成本的迭代精度定义为全部分布式光伏
Figure BDA0003775753830000055
的二次和；如果迭代精度满足一致收敛条件，则可以得到
Figure BDA0003775753830000056
的一致收敛的增量成本
Figure BDA0003775753830000057
Figure BDA0003775753830000058
的输出功率为：
Figure BDA0003775753830000059
否则，返回1)；
3)如果每个分布式光伏的输出功率满足其上下限约束，则得到最优决策，然后转到步骤4；如果
Figure BDA00037757538300000510
的输出功率
Figure BDA00037757538300000511
违反其上下限约束，将
Figure BDA00037757538300000512
放置与集合On，并重置
Figure BDA00037757538300000513
或
Figure BDA00037757538300000514
4)超出上下限约束会导致供需不平衡；因此，引入辅助变量，通过协助增量成本调整来重新优化光伏输出；
Figure BDA00037757538300000515
的辅助变量初始化为：
Figure BDA00037757538300000516
Figure BDA00037757538300000517
其中
Figure BDA00037757538300000518
是输出成本的线性系数；Ⅱ{x}是指示函数，其中当事件x为真时，Ⅱ{x}＝1，否Ⅱ{x}＝0；
5)对辅助变量进行类似(3)的迭代更新，直到迭代精度满足一致收敛条件；然后可以得到
Figure BDA00037757538300000519
的一致收敛辅助变量
Figure BDA00037757538300000520
和
Figure BDA00037757538300000521
6)基于获得的
Figure BDA00037757538300000522
和
Figure BDA00037757538300000523
计算新的增量成本为：
Figure BDA00037757538300000524
7)当
Figure BDA00037757538300000525
时，其输出功率为
Figure BDA00037757538300000526
或
Figure BDA00037757538300000527
当
Figure BDA00037757538300000528
其输出功率在新的增量成本
Figure BDA00037757538300000529
上进行调整，
Figure BDA00037757538300000530
的输出功率由下式给出：
Figure BDA00037757538300000531
8)重复3)-7)，直到所有分布式光伏机组输出功率均满足上下限约束；
步骤4：两阶段协同优化方法中调控模型更新
1)：每个区域控制器根据聚合的自主调控决策计算奖励，转移到下一个状态，并将转移存储到经验回放池中；转换包含当前状态、操作、奖励和下一个状态；
2)：区域控制器从经验回放池中随机选择几个过渡，并计算损失函数，损失函数定义为评估网络提供的估计Q值与目标网络提供的目标Q值之间的平方差的平均值；采用梯度下降法，基于损失函数对评价网络进行更新；评估网络的参数定期分配给目标网络；
3)：区域控制器将经过训练的本地模型上载到中央控制器，中央控制器通过联合聚合训练全局模型，并将其分发给区域控制器；
4)：进入下一个时隙，迭代执行所有四个阶段，直到整个优化周期结束。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
还提供一种分布式能源聚合调控与自主调控协同优化平台，所述平台包括所述计算机可读存储介质。
本发明具体的技术效果：
本发明所提系统由设备层、边缘层、云层组成。设备层各区域电网间的分布式能源通过本地通信网交换信息进行自主调控。边缘层部署区域电网控制器在多目标引导和多约束下，基于历史负荷数据训练局部调控优化模型，做出聚合调控决策，同时将本地模型上传至云层并接受云层下发的全局模型，从而提高局部模型的训练和调控优化性能。所提系统以分层结构无缝集成聚合调控和自主调控，实现二者协同优化。
本发明提出的两阶段协同优化方法，第一阶段负荷聚合调控，构建局部模型，局部模型通过目标网络和经验回放池来辅助估值网络的更新，并采用贪婪策略执行负荷聚合调控动作；第二阶段分布式光伏自主调控，根据第一阶段产生的负荷需求，分布式光伏彼此交换增量成本，通过迭代更新实现增量成本的一致性收敛，根据收敛的增量成本确定分布式光伏输出功率，实现自主调度优化。所提方法仅依靠本地信息优化聚合自主调控决策，实现了信息不确定性下的全局决策优化。同时所提方法以分布式光伏总出力成本和供电可靠性之间的加权差值最小为优化目标，实现了电网运行的经济性和可靠性的联合优化。
附图说明
图1为本发明分布式能源聚合调控与自主调控协同优化系统；
图2为本发明两阶段协同优化方法流程图；
图3为实施例供电可靠性；
图4为实施例分布式光伏的时间平均输出成本；
图5为实施例分布式光伏输出功率；
图6为实施例分布式光伏增量成本。
具体实施方式
本发明所提技术方案设计了一种分布式能源聚合调控与自主调控协同优化系统：设备层将负荷与电源信息上传至边缘层，边缘层训练局部模型上传至云层并接收云层下发的全局模型，同时根据全局模型与局部模型向设备层下发聚合调控与自主调控指令。基于上述分布式能源调控系统，本发明设计了基于一致性联邦学习的协同优化方法，汇聚可调度负荷参与新能源消纳的同时实现调整分布式光伏出力以适配负荷需求。
分布式能源聚合调控与自主调控协同优化系统如图1所示。该分层架构主要包含设备层，边缘层和云层。
设备层由光伏板和风力涡轮机等分布式发电机、道路灯和空调等分布式负荷以及电动汽车和能源蓄电池等分布式储能器组成。电气设备与海量具有通信和计算能力的智能终端相连接。智能终端负责运行、状态、故障、环境数据的实时收集和聚合。然后，设备层通过交流/直流(AC/DC)电力线载波、无线局域网(WLAN)、微功率无线、5G、4G、工业以太网等各种通信媒体与边缘层进行交互，用于任务卸载和调控指令接收。另一方面，这些设备也可以通过本地通信网络相互交换数据，做出自主调控决策。
边缘层由区域电网调控控制器和现场边缘服务器组成，作为设备层和云层之间的桥梁。每个区域控制器负责其区域内的分布式发电机、负荷和储能能源的调控。为了促进聚合调控，每个区域控制器在多目标引导和多约束下，基于历史负荷数据训练一个局部调控优化模型，做出聚合调控决策，并将决策分配到设备层。此外，区域控制器还通过4G/5G、卫星、光纤等远程通信网络与云层进行交互，用于本地模型上传和全局模型接收。
云层包含中央云服务器支持的电网调控控制器，负责分布式的跨区域优化能源调控。云层支持多种分布式能源调控功能，如光储充电一体化、跨区域能源交易、中期和长期的、日前的、日内的、实时的多时间尺度调控。具体来说，中央控制器基于区域控制器通过联邦聚合上传的本地模型，训练分布式能源调控的全局模型。然后，将训练后的全局模型分配给每个区域控制器，以提高局部模型的训练和调控优化性能。
本发明提出的分布式能源聚合调控与自主调控协同优化方法，主要由三个步骤构成。首先，提出区域电网分布式能源调控系统模型；其次，构建分布式光伏总出力成本和供电可靠性联合优化问题；最后，介绍基于一致性算法增强联邦深度强化学习的负荷聚合调控与分布式光伏自主调控两阶段协同优化方法。具体的：
(1)系统模型
负荷和分布式光伏调控的场景由中央控制器、区域控制器、负荷和分布式光伏组成。配电网分为N个区域，集合定义为G。第n个区域电网Gn包含Mn个分布式光伏，集合定义为εn。总的调控时间包含T个时隙，集合为T。在每个时隙中，区域控制器收集本地信息，以实现汇总的负荷调控。然后，分布式光伏设备根据调控的负荷自主地调控输出功率。中央控制器从每个区域控制器收集本地模型，并实现全局汇总和分析。
电网负荷模型：每个区域电网的负荷是基本负荷和可调控负荷之和。基本负荷代表不可调控的能源需求，而可调控负荷是为了保证供电可靠性而进行的汇总和动态调控。
将区域电网Gn的最小和最大可调控负荷定义为
Figure BDA0003775753830000081
和
Figure BDA0003775753830000082
然后，Gn的调控负荷由以下公式给出：
Figure BDA0003775753830000083
其中ρn(t)∈[0,1]是Gn的计划负荷比例。Gn的总负荷，即Pn(t)，是基本负荷
Figure BDA0003775753830000084
和计划负荷
Figure BDA0003775753830000085
之和。
供电的可靠性模型：负荷需求调控不当不仅会造成能源供需的不平衡，影响分布式能源消耗，而且还会对电力供应可靠性造成潜在的威胁和压力。如果能源供应过剩，则可以避免不必要的负荷调控比例削减。供电可靠性，即Rn，根据计划负荷
Figure BDA0003775753830000086
与最大可调控负荷
Figure BDA0003775753830000087
的比率来衡量。
分布式光伏自主调控的经济性模型：每个区域电网的总负荷由分布式光伏支持。将区域电网Gn中的第m个分布式光伏定义为
Figure BDA0003775753830000088
其输出功率为
Figure BDA0003775753830000089
Figure BDA00037757538300000810
的输出成本被建模为
Figure BDA00037757538300000811
的二次函数。Gn中自主分布式光伏调控的总成本是Mn分布式光伏的输出成本之和。
(2)问题提出
新型电力系统中的分布式能源调控的目标是通过集合负荷调控和自主分布式光伏调控的协同优化，使分布式光伏总出力成本和供电可靠性之间的加权差值最小，其公式为：
Figure BDA00037757538300000812
其中Vr是一个非负的权重。C1是预定负荷比例约束。ρn(t)被离散为K级。C2是瞬时供需平衡约束。C3是分布式光伏的输出功率约束，其中
Figure BDA00037757538300000813
和
Figure BDA00037757538300000814
分别是
Figure BDA00037757538300000815
的输出功率下限和上限。C4是区域电网运行的可靠性约束，其中Rn,min(t)代表Gn的最小可靠性要求。
(3)基于一致性算法增强联邦深度强化学习的负荷聚合调控与分布式光伏自主调控两阶段协同优化方法
本发明提出基于一致性算法增强联邦深度强化学习的负荷聚合调控与分布式光伏自主调控两阶段协同优化方法解决上述优化问题，即第一阶段的负荷聚合调控优化和第二阶段的分布式光伏自主调控优化。基于一致性算法增强联邦深度强化学习的负荷聚合调控与分布式光伏自主调控两阶段协同优化方法流程如图2所示。
第一阶段负荷聚合调控优化。每个区域电网的第一阶段优化问题可由状态空间、行动空间和奖励组成。状态空间定义为由供电可靠性、可调控负荷和分布式光伏输出成本参数的历史信息组成；行动空间定义为可选择的计划负荷比例的集合；奖励定义为供电可靠性和光伏输出成本之间的加权差。
在本发明所提的两阶段协同优化方法中，每个区域控制器自身构建一个本地的负荷聚合调控模型，包括一个评估网络、一个目标网络和一个经验回放池。本地模型的训练是基于本地信息的。特别是利用目标网络和经验回放池来协助评估网络更新，提高本地模型训练的效率和稳定性。中央控制器从区域电网收集本地模型，基于联合聚合训练一个聚合负荷调控的全局模型，并及时将全局模型分发到每个区域电网。
第二阶段分布式光伏自主调控优化。每个区域电网中的分布式光伏的通信拓扑结构被描述为一个无向图GFn＝(Vn,òn,An)，其中Vn代表节点的集合，即分布式光伏，騙n∈Vn×Vn代表边的集合，即分布式光伏之间的通信连接。
Figure BDA0003775753830000091
代表邻接矩阵，当
Figure BDA0003775753830000092
能与
Figure BDA0003775753830000093
通信时，
Figure BDA0003775753830000094
否则
Figure BDA0003775753830000095
所有能与
Figure BDA0003775753830000096
通信的分布式光伏被称为
Figure BDA0003775753830000097
的邻居节点，该集合被表示为
Figure BDA0003775753830000098
基于第一阶段获得的综合负荷调控决策，分布式光伏自主调控决策在构建的通信拓扑图的基础上被优化。分布式光伏与它的邻居交换增量成本，并迭代更新以达到共识收敛。每个分布式光伏的输出是根据共识收敛的增量成本确定的。
步骤具体实施过程如下：
步骤1：初始化
同时输入最小和最大可调控负荷作为分布式光伏的输出成本系数。初始化聚合的局部模型和全局模型的参数以及经验回放池。初始化每个分布式光伏机组的增量成本和产量以及自治的一致收敛条件分布式光伏调控。
步骤2：第一阶段负荷聚合调控决策
1)基于本地评估网络，Gn区域控制器采用贪婪策略来选择一个动作，获得聚合负荷调控决策，即ρn(t)并且计算调控负荷。
2)区域控制器计算总负荷Pn(t)基于基本负荷和计划负荷，以及将其传输到分布式光伏s。
步骤3：第二阶段分布式光伏自主调控决策
1)将
Figure BDA0003775753830000101
的增量成本定义为输出成本相对于输出功率
Figure BDA0003775753830000102
的导数。对每个分布式光伏的增量成本进行迭代更新，实现一致收敛，如下所示：
Figure BDA0003775753830000103
式中
Figure BDA0003775753830000104
表示第k次迭代中
Figure BDA0003775753830000105
的增量成本，
Figure BDA0003775753830000106
是输出的二次系数费用。
2)将增量成本的迭代精度定义为全部分布式光伏
Figure BDA0003775753830000107
的二次和。如果迭代精度满足一致收敛条件，则可以得到
Figure BDA0003775753830000108
的一致收敛的增量成本
Figure BDA0003775753830000109
Figure BDA00037757538300001010
的输出功率为：
Figure BDA00037757538300001011
否则，返回1)。
3)如果每个分布式光伏的输出功率满足其上下限约束，则得到最优决策，然后转到步骤4。如果
Figure BDA00037757538300001012
的输出功率
Figure BDA00037757538300001013
违反其上下限约束，将
Figure BDA00037757538300001014
放置与集合On，并重置
Figure BDA00037757538300001015
或
Figure BDA00037757538300001016
4)通过协助增量成本调整来重新优化光伏输出。
Figure BDA00037757538300001017
的辅助变量初始化为：
Figure BDA00037757538300001018
其中
Figure BDA00037757538300001019
是输出成本的线性系数。Ⅱ{x}是指示函数，其中当事件x为真时，Ⅱ{x}＝1，否Ⅱ{x}＝0，
5)对辅助变量进行类似(3)的迭代更新，直到迭代精度满足一致收敛条件。然后可以得到
Figure BDA00037757538300001020
的一致收敛辅助变量
Figure BDA00037757538300001021
和
Figure BDA00037757538300001022
6)基于获得的
Figure BDA00037757538300001023
和
Figure BDA00037757538300001024
计算新的增量成本为：
Figure BDA00037757538300001025
7)当
Figure BDA00037757538300001026
时，其输出功率为
Figure BDA00037757538300001027
或
Figure BDA00037757538300001028
当
Figure BDA00037757538300001029
其输出功率在新的增量成本
Figure BDA00037757538300001030
上进行调整，
Figure BDA00037757538300001031
的输出功率由下式给出：
Figure BDA00037757538300001032
8)重复3)-7)，直到所有分布式光伏机组输出功率均满足上下限约束。
步骤4：两阶段协同优化方法中调控模型更新
1)：每个区域控制器根据聚合的自主调控决策计算奖励，转移到下一个状态，并将转移存储到经验回放池中。转换包含当前状态、操作、奖励和下一个状态。
2)：区域控制器从经验回放池中随机选择几个过渡，并计算损失函数，损失函数定义为评估网络提供的估计Q值与目标网络提供的目标Q值之间的平方差的平均值。采用梯度下降法，基于损失函数对评价网络进行更新。评估网络的参数定期分配给目标网络。
3)：区域控制器将经过训练的本地模型上载到中央控制器，中央控制器通过联合聚合训练全局模型，并将其分发给区域控制器。
4)：进入下一个时隙，迭代执行所有四个阶段，直到整个优化周期结束。
本发明对上述提出的基于一致性算法增强联邦深度强化学习的负荷聚合调控与分布式光伏自主调控两阶段协同优化方法进行仿真实验，其中实验设置包括五个区域电网，每个电网包含6个分布式光伏机组。其中分布式光伏机组的输出下限和上限分别为：[2,2,1.5,1.5,1,0.8]kW和[3.6,3.6,3,1.8,1.4]kW。区域电网的最小和最大可调控负荷为[3,2,3,4,2]kW和[7,9,8,7,7]kW，基本的负荷功率为[7,5,8,6,5]kW。
本发明在实验中设置了两个算法进行对比验证，基于DQN的分布式能源调控算法(DQN-DRS)允许每个区域控制器在其区域内调控负荷，但是缺少中央控制器的协调控制，无法实现区域控制器之间的聚合调控。基于联邦DQN的分布式能源调控算法(FDQN-DRS)采用与本发明方法相同的聚合调控模型，但是未考虑分布式光伏之间的信息交互，无法实现分布式能源的自主调控。仿真结果表明，本发明提出两阶段协同优化算法优越性能优越，能够实现分布式能源聚合和自主调控的协同优化。
图3显示了供电可靠性，图4显示了分布式光伏的时间平均输出成本。当t＝100时，相比于DQN-DRS和FDQN-DRS，本发明所提两阶段协同优化算法的供电可靠性分别提高了29.88％和16.89％，同时降低了23.09％和17.03％的输出成本。原因是本发明所提两阶段协同优化算法采用了基于一致性迭代算法的分布式光伏自主调控和负荷聚合调控以平衡电网运行的可靠性和经济性。DQN-DRS和FDQN-DRS由于无法优化自主调控，无法解决负荷调控与分布式光伏输出之间的匹配问题，因此性能较差，其中DQN-DRS未考虑中央控制器的协调控制，缺少全局视角，因此性能最差。
图5和图6显示了区域电网G1分布式光伏的输出功率和增量成本。仅在几次迭代更新过后，每个光伏设备的输出功率都收敛到一个固定值，以及每个光伏的增量成本达到一致。然而，光伏设备的输出
Figure BDA0003775753830000111
和
Figure BDA0003775753830000112
即2.5kW和2.1kW，分别超过了上限1.8kW和1.4kW。因此，在第30次迭代中引入辅助变量用以调节增量成本并重新优化分布式光伏调控。分布式光伏的输出功率也仅需迭代5次便可收敛到一个新的固定值。

Claims (10)

1.一种分布式能源聚合调控与自主调控协同优化系统，其特征在于：包含设备层，边缘层和云层；
设备层将负荷与电源信息上传至边缘层；
边缘层根据设备层上传的负荷和电源信息训练局部模型，边缘层将训练后的局部模型上传至云层并接收云层下发的全局模型；局部模型用于边缘层进行区域电网内部负荷调度决策；全局模型用于汇集各个局部模型，并会及时的下发至各个边缘，实现边缘之间信息的共享；
边缘层根据全局模型与局部模型向设备层下发聚合调控与自主调控指令，聚合调控与自主调控指令用于控制分布式能源聚合调控和自主调控。
2.根据权利要求1所述的一种分布式能源聚合调控与自主调控协同优化系统，其特征在于：所述的设备层由分布式发电机、分布式负荷以及分布式储能器组成；所述的边缘层由区域电网调控控制器和现场边缘服务器组成；所述的云层包含中央云服务器支持的电网调控控制器，负责分布式的跨区域优化能源调控。
3.一种分布式能源聚合调控与自主调控协同优化方法，其特征在于，采用权利要求1或2所述的系统，包括以下步骤：
(1)根据区域电网负荷和电源等信息，构建区域电网分布式能源调控系统模型；
(2)基于步骤(1)提出的分布式能源聚合调控模型，构建分布式光伏总出力成本和供电可靠性联合优化问题；
(3)设计基于一致性算法增强联邦深度强化学习的负荷聚合调控与分布式光伏自主调控两阶段协同优化方法，求解步骤(2)中的联合优化问题，实现分布式能源聚合调控与自主调控。
4.根据权利要求3所述的一种分布式能源聚合调控与自主调控协同优化方法，其特征在于，步骤(1)中，负荷和分布式光伏调控的场景由中央控制器、区域控制器、负荷和分布式光伏组成；配电网分为N个区域，集合定义为G；第n个区域电网Gn包含Mn个分布式光伏，集合定义为εn；总的调控时间包含T个时隙，集合为T；在每个时隙中，区域控制器收集本地信息，以实现汇总的负荷调控；分布式光伏设备根据调控的负荷自主地调控输出功率；中央控制器从每个区域控制器收集本地模型，并实现全局汇总和分析。
5.根据权利要求4所述的一种分布式能源聚合调控与自主调控协同优化方法，其特征在于，步骤(1)中模型包括：
电网负荷模型：将区域电网Gn的最小和最大可调控负荷定义为
Figure FDA0003775753820000011
和
Figure FDA0003775753820000012
Gn的调控负荷由以下公式给出：
Figure FDA0003775753820000013
其中ρn(t)∈[0,1]是Gn的计划负荷比例；Gn的总负荷，即Pn(t)，是基本负荷
Figure FDA0003775753820000021
和计划负荷
Figure FDA0003775753820000022
之和；
供电的可靠性模型：供电可靠性，即Rn，根据计划负荷
Figure FDA0003775753820000023
与最大可调控负荷
Figure FDA0003775753820000024
的比率来衡量：
Figure FDA0003775753820000025
其中，
Figure FDA0003775753820000026
计划接入负荷，
Figure FDA0003775753820000027
和
Figure FDA0003775753820000028
为区域电网Gn的最小和最大可调控负荷，Rn(t)为台区Gn的供电可靠性；ξn为可靠性相关系数；
分布式光伏自主调控的经济性模型：将区域电网Gn中的第m个分布式光伏定义为
Figure FDA0003775753820000029
其输出功率为
Figure FDA00037757538200000210
的出力成本被建模为
Figure FDA00037757538200000211
的二次函数；Gn中自主分布式光伏调控的总成本是Mn分布式光伏的输出成本之和；
光伏出力成本函数为：
Figure FDA00037757538200000212
其中，
Figure FDA00037757538200000213
为台区Gn中光伏单元
Figure FDA00037757538200000214
的出力成本函数；
Figure FDA00037757538200000215
分别为光伏单元
Figure FDA00037757538200000216
出力成本函数中的一次项、二次项与常数项系数；
根据各个光伏单元的出力成本函数得到区域电网总发电成本：
Figure FDA00037757538200000217
6.根据权利要求3所述的一种分布式能源聚合调控与自主调控协同优化方法，其特征在于，步骤(2)中，分布式能源调控的目标，其公式为：
P1:
Figure FDA00037757538200000218
Figure FDA00037757538200000219
Figure FDA00037757538200000220
Figure FDA00037757538200000221
Figure FDA00037757538200000222
其中Vr是一个非负的权重；C1是预定负荷比例约束；ρn(t)被离散为K级；C2是瞬时供需平衡约束；C3是分布式光伏的输出功率约束，其中
Figure FDA00037757538200000223
和
Figure FDA00037757538200000224
分别是
Figure FDA00037757538200000225
的输出功率下限和上限；C4是区域电网运行的可靠性约束，其中Rn,min(t)代表Gn的最小可靠性要求。
7.根据权利要求3所述的一种分布式能源聚合调控与自主调控协同优化方法，其特征在于，步骤(3)，包括：
第一阶段负荷聚合调控优化；
每个区域电网的第一阶段优化问题可由状态空间、行动空间和奖励组成；状态空间定义为由供电可靠性、可调控负荷和分布式光伏输出成本参数的历史信息组成；行动空间定义为可选择的计划负荷比例的集合；奖励定义为供电可靠性和光伏输出成本之间的加权差；
每个区域控制器自身构建一个本地的负荷聚合调控模型，包括一个评估网络、一个目标网络和一个经验回放池；本地模型的训练是基于本地信息的；中央控制器从区域电网收集本地模型，基于联合聚合训练一个聚合负荷调控的全局模型，并及时将全局模型分发到每个区域电网；
第二阶段分布式光伏自主调控优化；
每个区域电网中的分布式光伏的通信拓扑结构被描述为一个无向图GFn＝(Vn,òn,An)，其中Vn代表节点的集合，即分布式光伏，
Figure FDA0003775753820000031
代表边的集合，即分布式光伏之间的通信连接；
Figure FDA0003775753820000032
代表邻接矩阵，当
Figure FDA0003775753820000033
能与
Figure FDA0003775753820000034
通信时，
Figure FDA0003775753820000035
否则
Figure FDA0003775753820000036
所有能与
Figure FDA0003775753820000037
通信的分布式光伏被称为
Figure FDA0003775753820000038
的邻居节点，该集合被表示为
Figure FDA0003775753820000039
基于第一阶段获得的综合负荷调控决策，分布式光伏自主调控决策在构建的通信拓扑图的基础上被优化；分布式光伏与它的邻居交换增量成本，并迭代更新以达到共识收敛；每个分布式光伏的输出是根据共识收敛的增量成本确定的。
8.根据权利要求3所述的一种分布式能源聚合调控与自主调控协同优化方法，其特征在于，步骤(3)，具体过程包括：
步骤1：初始化
同时输入最小和最大可调控负荷作为分布式光伏的输出成本系数；初始化聚合的局部模型和全局模型的参数以及经验回放池；初始化每个分布式光伏机组的增量成本和产量以及自治的一致收敛条件分布式光伏调控；
步骤2：第一阶段负荷聚合调控决策
1)基于本地评估网络，Gn区域控制器采用贪婪策略来选择一个动作，获得聚合负荷调控决策，即ρn(t)并且计算调控负荷；
2)区域控制器计算总负荷Pn(t)基于基本负荷和计划负荷，以及将其传输到分布式光伏s；
步骤3：第二阶段分布式光伏自主调控决策
1)将
Figure FDA00037757538200000310
的增量成本定义为输出成本相对于输出功率
Figure FDA00037757538200000311
的导数；对每个分布式光伏的增量成本进行迭代更新，实现一致收敛，如下所示：
Figure FDA0003775753820000041
式中
Figure FDA0003775753820000042
表示第k次迭代中
Figure FDA0003775753820000043
的增量成本，
Figure FDA0003775753820000044
是输出的二次系数费用；
2)将增量成本的迭代精度定义为全部分布式光伏
Figure FDA0003775753820000045
的二次和；如果迭代精度满足一致收敛条件，则可以得到
Figure FDA0003775753820000046
的一致收敛的增量成本
Figure FDA0003775753820000047
的输出功率为：
Figure FDA0003775753820000048
否则，返回1)；
3)如果每个分布式光伏的输出功率满足其上下限约束，则得到最优决策，然后转到步骤4；如果
Figure FDA0003775753820000049
的输出功率
Figure FDA00037757538200000410
违反其上下限约束，将
Figure FDA00037757538200000411
放置与集合On，并重置
Figure FDA00037757538200000412
或
Figure FDA00037757538200000413
4)通过协助增量成本调整来重新优化光伏输出；
Figure FDA00037757538200000414
的辅助变量初始化为：
Figure FDA00037757538200000415
Figure FDA00037757538200000416
其中
Figure FDA00037757538200000417
是输出成本的线性系数；Ⅱ{x}是指示函数，其中当事件x为真时，Ⅱ{x}＝1，否Ⅱ{x}＝0；
5)对辅助变量进行类似(3)的迭代更新，直到迭代精度满足一致收敛条件；然后可以得到
Figure FDA00037757538200000418
的一致收敛辅助变量
Figure FDA00037757538200000419
和
Figure FDA00037757538200000420
6)基于获得的
Figure FDA00037757538200000421
和
Figure FDA00037757538200000422
计算新的增量成本为：
Figure FDA00037757538200000423
7)当
Figure FDA00037757538200000424
时，其输出功率为
Figure FDA00037757538200000425
或
Figure FDA00037757538200000426
当
Figure FDA00037757538200000427
其输出功率在新的增量成本
Figure FDA00037757538200000428
上进行调整，
Figure FDA00037757538200000429
的输出功率由下式给出：
Figure FDA00037757538200000430
8)重复3)-7)，直到所有分布式光伏机组输出功率均满足上下限约束；
步骤4：两阶段协同优化方法中调控模型更新
1)：每个区域控制器根据聚合的自主调控决策计算奖励，转移到下一个状态，并将转移存储到经验回放池中；转换包含当前状态、操作、奖励和下一个状态；
2)：区域控制器从经验回放池中随机选择几个过渡，并计算损失函数，损失函数定义为评估网络提供的估计Q值与目标网络提供的目标Q值之间的平方差的平均值；采用梯度下降法，基于损失函数对评价网络进行更新；评估网络的参数定期分配给目标网络；
3)：区域控制器将经过训练的本地模型上载到中央控制器，中央控制器通过联合聚合训练全局模型，并将其分发给区域控制器；
4)：进入下一个时隙，迭代执行所有四个阶段，直到整个优化周期结束。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现权利要求3至8任意一项方法的步骤。
10.一种分布式能源聚合调控与自主调控协同优化平台，其特征在于，所述平台包括权利要求9所述计算机可读存储介质。
CN202210916474.5A 2022-08-01 2022-08-01 一种分布式能源聚合调控与自主调控协同优化方法及系统 Active CN115149586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210916474.5A CN115149586B (zh) 2022-08-01 2022-08-01 一种分布式能源聚合调控与自主调控协同优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210916474.5A CN115149586B (zh) 2022-08-01 2022-08-01 一种分布式能源聚合调控与自主调控协同优化方法及系统

Publications (2)

Publication Number Publication Date
CN115149586A true CN115149586A (zh) 2022-10-04
CN115149586B CN115149586B (zh) 2024-07-19

Family

ID=83414703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210916474.5A Active CN115149586B (zh) 2022-08-01 2022-08-01 一种分布式能源聚合调控与自主调控协同优化方法及系统

Country Status (1)

Country Link
CN (1) CN115149586B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116264403A (zh) * 2022-12-28 2023-06-16 国网浙江省电力有限公司桐乡市供电公司 一种大规模分布式光伏接入的低压配电网综合治理方法
CN116845974A (zh) * 2023-08-31 2023-10-03 广东电网有限责任公司中山供电局 一种分布式电源快速控制方法、装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565331A (zh) * 2020-11-02 2021-03-26 中山大学 一种基于边缘计算的端-边协同联邦学习优化方法
CN113055488A (zh) * 2021-03-23 2021-06-29 重庆邮电大学 多层联邦深度强化学习的车辆边缘协作缓存方法及系统
CN114219212A (zh) * 2021-11-12 2022-03-22 国网河北省电力有限公司 一种计及泛在电力物联与边缘计算的需求侧资源柔性调度方法
CN114626306A (zh) * 2022-03-22 2022-06-14 华北电力大学 一种园区分布式能源调控信息新鲜度保障方法及系统
CN114744687A (zh) * 2022-06-13 2022-07-12 深圳市科中云技术有限公司 一种虚拟电厂的能源调控方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565331A (zh) * 2020-11-02 2021-03-26 中山大学 一种基于边缘计算的端-边协同联邦学习优化方法
CN113055488A (zh) * 2021-03-23 2021-06-29 重庆邮电大学 多层联邦深度强化学习的车辆边缘协作缓存方法及系统
CN114219212A (zh) * 2021-11-12 2022-03-22 国网河北省电力有限公司 一种计及泛在电力物联与边缘计算的需求侧资源柔性调度方法
CN114626306A (zh) * 2022-03-22 2022-06-14 华北电力大学 一种园区分布式能源调控信息新鲜度保障方法及系统
CN114744687A (zh) * 2022-06-13 2022-07-12 深圳市科中云技术有限公司 一种虚拟电厂的能源调控方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周振宇等: "电力物联网5G 云–边–端协同框架与资源调度方法", 《电网技术》, vol. 46, no. 5, 31 May 2022 (2022-05-31), pages 1641 - 1651 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116264403A (zh) * 2022-12-28 2023-06-16 国网浙江省电力有限公司桐乡市供电公司 一种大规模分布式光伏接入的低压配电网综合治理方法
CN116264403B (zh) * 2022-12-28 2024-03-26 国网浙江省电力有限公司桐乡市供电公司 一种大规模分布式光伏接入的低压配电网综合治理方法
CN116845974A (zh) * 2023-08-31 2023-10-03 广东电网有限责任公司中山供电局 一种分布式电源快速控制方法、装置、设备和介质
CN116845974B (zh) * 2023-08-31 2024-01-23 广东电网有限责任公司中山供电局 一种分布式电源快速控制方法、装置、设备和介质

Also Published As

Publication number Publication date
CN115149586B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
Yamashita et al. A review of hierarchical control for building microgrids
Tan et al. Adaptive robust energy and reserve co-optimization of integrated electricity and heating system considering wind uncertainty
Hemmati Technical and economic analysis of home energy management system incorporating small-scale wind turbine and battery energy storage system
CN112072641B (zh) 一种源网荷储柔性协调控制和运行优化方法
Wang et al. Coordinated dispatch of virtual energy storage systems in LV grids for voltage regulation
JP7261507B2 (ja) 電気ヒートポンプ－熱電併給システムを最適化する調整方法及びシステム
Zong et al. Application of model predictive control for active load management in a distributed power system with high wind penetration
Cui et al. Economic storage sharing framework: Asymmetric bargaining-based energy cooperation
Meng et al. Coordinated dispatch of virtual energy storage systems in smart distribution networks for loading management
CN115149586B (zh) 一种分布式能源聚合调控与自主调控协同优化方法及系统
Xia et al. An autonomous real-time charging strategy for plug-in electric vehicles to regulate frequency of distribution system with fluctuating wind generation
CN109063992A (zh) 考虑区域综合能源系统优化运行的配电网扩展规划方法
CN111030188A (zh) 一种含分布式和储能的分层分级控制策略
Wang et al. Load curve smoothing strategy based on unified state model of different demand side resources
CN110826880A (zh) 一种大规模电动汽车接入的主动配电网优化调度方法
CN110474370B (zh) 一种空调可控负荷、光伏储能系统的协同控制系统及方法
CN107706932A (zh) 一种基于动态自适应模糊逻辑控制器的能量调度优化方法
CN111553544B (zh) 基于一致性算法的工业园区分布式综合需求响应方法
CN108830479A (zh) 一种计及电网全成本链的主配协同规划方法
Kou et al. A distributed energy management approach for residential demand response
CN115545541A (zh) 多区域综合能源系统调度方法、设备和存储介质
Dagdougui et al. Towards a concept of cooperating power network for energy management and control of microgrids
Lv et al. Data-based optimal microgrid management for energy trading with integral Q-learning scheme
Bolurian et al. Bi-level energy management model for the smart grid considering customer behavior in the wireless sensor network platform
Ferrarini et al. A distributed model predictive control approach for the integration of flexible loads, storage and renewables

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant