CN113890057A - 一种基于多微电网协同优化的控制方法及装置、储存介质 - Google Patents
一种基于多微电网协同优化的控制方法及装置、储存介质 Download PDFInfo
- Publication number
- CN113890057A CN113890057A CN202111097422.1A CN202111097422A CN113890057A CN 113890057 A CN113890057 A CN 113890057A CN 202111097422 A CN202111097422 A CN 202111097422A CN 113890057 A CN113890057 A CN 113890057A
- Authority
- CN
- China
- Prior art keywords
- power
- micro
- microgrid
- control
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000005457 optimization Methods 0.000 title claims abstract description 45
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000002787 reinforcement Effects 0.000 claims abstract description 34
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 230000008859 change Effects 0.000 claims abstract description 18
- 238000009826 distribution Methods 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 230000009471 action Effects 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 13
- 238000010248 power generation Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000010187 selection method Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 239000003795 chemical substances by application Substances 0.000 description 33
- 238000010586 diagram Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 238000011217 control strategy Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 208000013407 communication difficulty Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 239000002803 fossil fuel Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/24—Arrangements for preventing or reducing oscillations of power in networks
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/002—Flicker reduction, e.g. compensation of flicker introduced by non-linear load
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/24—Arrangements for preventing or reducing oscillations of power in networks
- H02J3/241—The oscillation concerning frequency
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/381—Dispersed generators
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/388—Islanding, i.e. disconnection of local power supply from the network
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
- H02J3/48—Controlling the sharing of the in-phase component
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
- H02J3/50—Controlling the sharing of the out-of-phase component
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开一种基于多微电网协同优化的控制方法及装置、储存介质，控制方法包括如下步骤：S1、分析微电网传统控制下垂原理、结构和系统功率分配机理；S2、建立基于MAS的分布系统控制框架；S3、设计基于Q学习算法的控制器，用于微型电源的能量管理；S4、研究新能源接入对孤岛微电网稳定运行的影响；S5、针对微电网频率偏差，提出基于强化学习的微电频率协同控制方法；S6、调节下垂参数，改变孤岛微电网输出功率，确定优化控制方式和策略，实现孤岛微电网多源有功协同。本发明能够保持电网频率电压的稳定，针对微电网等效惯量较低，系统频率受负荷变化影响大的问题，通过调节下垂参数改变分布式电源的输出功率，达到调节系统频率的目的。
Description
技术领域
本发明涉及微电网控制领域，具体的是一种基于多微电网协同优化的控制方法及装置、储存介质。
背景技术
随着化石燃料的匮乏和环境污染加剧，传统电网的缺陷日益明显，而以太阳能，风力等可再生能源作为发电基础的微电网开始迅速发展。为实现微电网可靠运行，必须合理有效地进行控制。随着微电网技术的不断发展，微电网的优化控制己成为重要的研究领域，研究微电网的优化控制有利于实现微电网经济性、可靠性及环境友好性。微电网相对外部大电网表现为单一的可控单元，同时满足用户对电能质量和供电可靠性、安全性的要求。为了增强微电网与配电网的协同能力，微电网内部DG的功率最优分配，提高清洁能源渗透率、电网运行的经济性和可靠性，微电网的优化控制问题研究显得尤为重要。
发展微电网及多微电网优化控制技术，可有效的对分布式发电进行管理，进而推进清洁能源的发展，促进节能减排，增加新能源的渗透率，同时改善网络构架增加系统的稳定性可靠性，但同时也会导致网络结构复杂化，集中式优化控制难以展开的问题。现有的微电网控制采用分层控制中的集中式控制，主要依赖中央控制器，随着微源个数的增加，中央控制器计算量越来越复杂，一旦中央控制器故障失灵将导致控制失败，甚至全网瘫痪。
发明内容
为解决上述背景技术中提到的不足，本发明的目的在于提供一种基于强化学习的独立多微网协同优化频率控制方法及装置、储存介质，能够保持电网频率电压的稳定，针对微电网等效惯量较低，系统频率受负荷变化影响大的问题，通过调节下垂参数改变分布式电源的输出功率，达到调节系统频率的目的。
本发明的目的可以通过以下技术方案实现：
S1、分析微电网传统下垂控制原理，微电网结构和系统功率分配机理；
S2、根据微电网系统协同优化控制架构机理，建立基于MAS的分布系统控制框架；
S3、根据强化学习原理设计基于Q学习算法的控制器，在步骤S2建立的分布系统控制框架的基础上，应用于微电网中各微型电源的能量管理；
S4、分析新能源接入对微电网稳定运行的影响，新能源通过电力电子变换技术调节输出功率与微电网同步，无法主动响应系统频率的变化，导致微电网频率偏差；
S5、针对微电网频率偏差，提出基于强化学习的微电频率协同控制方法，针对微电网频率偏差进行Q学习及反馈；
S6、根据步骤S5的控制方法调节下垂参数，改变孤岛微电网输出功率，确定基于多微电网协同优化的控制方式和策略，实现孤岛微电网多源有功协同。
一种基于多微电网协同优化的控制装置，包括存储器和处理器，存储器用于存储能够在所述处理器上运行的计算机程序；处理器用于在运行所述计算机程序时，执行上述的基于多微电网协同优化的控制方法。
一种具有处理器可执行的非易失程序代码的计算机可读储存介质，程序代码使处理器执行上述的基于多微电网协同优化的控制方法。
本发明的有益效果：
本发明提供的基于多微电网协同优化的控制方法，使得微电网控制系统具有快速、充足的调节能力，保证在负荷不断变化的情况下，系统能够跟随负荷的变化，保持电网频率电压的稳定。能够较好地稳定孤岛微电网的频率和电压，选取最优控制策略，达到满足要求的控制效果。研究了新能源接入对孤岛微电网稳定运行的影响，传统机组的关键调速参数能够适应于机组脱网、线路故障、负荷突变等高频敏感信号的干扰，兼顾新能源发电在低频段内的随机波动。从传统的下垂控制出发，研究多微网中受接入高比例光伏后对微网中电压的影响，在传统下垂控制的基础上采用Q学习算法来优化控制策略，实现了无功均分协同控制，减少系统无功环流，提高系统运行的稳定性。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明基于多微电网协同优化的控制方法的流程图；
图2是本发明分布式电源与公共母线连接示意图；
图3是本发明Q表的训练流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，一种基于多微电网协同优化的控制方法，包括以下步骤：
S1、分析微电网传统下垂控制原理，微电网结构和系统功率分配机理；
S2、根据微电网系统协同优化控制架构机理，建立基于MAS的分布系统控制框架；
S3、根据强化学习原理，设计基于Q学习算法的控制器，在步骤S2建立的分布系统控制框架的基础上，应用于微电网中各微型电源的能量管理；
S4、分析新能源接入对微电网稳定运行的影响，新能源通过电力电子变换技术调节输出功率与微电网同步，无法主动响应系统频率的变化，导致微电网频率偏差；
S5、针对微电网频率偏差，提出基于强化学习的微电频率协同控制方法，针对微电网频率偏差进行Q学习及反馈；
S6、根据步骤S5的控制方法调节下垂参数，改变孤岛微电网输出功率，确定基于多微电网协同优化的控制方式和策略，实现孤岛微电网多源有功协同。
步骤S1中阐述微电网传统下垂控制原理，探索微电网结构：
微电网结构由一些分布式电源和负荷构成，每个分布式电源单元通过电力电子接口和相应馈线接在公共母线上。微电网和大电网的状态通过二级中央控制器监测，根据运行需求，控制公共点静态开关切换微电网的孤岛模式和并网模式，并保证模式间的无缝切换。微电网在并网模式下的功率均分已经比较成熟，下文对孤岛模式进行展开研究。
步骤S1中探究系统功率分配机理：
一台分布式电源通过电力电子接口接入微电网的等效模型如图2所示。在孤岛运行模式下，各分布式单元根据自身输出有功和无功调整频率和电压幅值，保持微电网的稳定运行。
图2中，微源逆变器的输出侧接LCL滤波器，Udc为直流侧电压，Lf和Lf为滤波电感和电容，输出电抗器L的接入后线路参数可近似为感性。除此之外，常用的虚拟阻抗方法也可容易使得微源输出阻抗呈感性。因此忽略线路电阻，逆变器到公共母线的线路等效阻抗用ωL表示。记逆变器输出的视在功率为Si，则有：
式中：Xi为逆变电源的输出电抗；Ei为逆变电源输出电压幅值；δi为分布式微源输出电压与公共电压间的相角差。则第i台逆变单元的输出有功功率和无功功率分别为：
由上式可知，由于相角偏差δi很小，DG单元输出的有功功率Pi可以通过相角δi调节，无功功率Qi可以通过逆变单元输出电压幅值调节。因此，在并联逆变器无互联线通信时通常采用传统的下垂控制：
式中：ω*、E*分别为DG在空载下输出电压的角频率和幅值；ωi、Ei分别为的DG实际输出电压的角频率和幅值参考值；mp、nq分别为频率和电压的下垂增益；Pi、Qi分别为DG的输出有功和无功功率。
无功功率的表达式为：
由上式可知，各微源产生的无功功率与线路等效电抗、空载电压幅值、公共母线电压、功角和下垂增益有关。式中，微源的空载电压幅值、公共母线电压为公共变量，功角余弦值近似为1，下垂增益可根据微源的容量设置。
步骤S2中，分析微电网系统协同优化控制架构机理：
微电网是一个分布式系统，各种不同的微电源的特性决定了其控制方式不能用统一的策略来进行控制。因此，利用系统的模块化思想将整个微电网系统划分成多个子系统非常必要。由感知模块、信息处理模块、通讯模块、执行模块、任务表和知识库组成的微电网系统每一个子系统都能采用最有效的方法解决特定的问题，不必采用某一种统一的方法而让步于整个系统，从而达到分布式控制的目的。
为了能够灵活适应电网结构变化，并从全局统筹优化控制，逐渐将分布式控制引入电力系统领域。分布式协同技术具有无需集中控制器、通信难度小、结构适应性好、全局性好等优点，因而成为当前研究的热点之一。
有别于传统的依赖中央控制器完成通信控制功能的集中式控制方式，分布式协同控制能够结合现有的数据处理与信息通信技术，提出更切合实际的协同控制架构，增加分布式控制系统的灵活性，减少节点间的通信信息交互量，同时降低中央处理器的运行控制量。
总的来说，分布式协同控制有如下优点：1)无需中心控制器，系统可靠性增加；2)采用点对点的稀疏通信网络，网络的复杂度降低；3)网络拓扑适应性强，满足“即插即用”的功能，系统扩展性好；4)仅利用邻居的局部信息即可进行决策，并可得到全局最优值；5)全局目标可分散到本地控制器中求解，计算复杂度降低。
在微电网分层协同优化控制过程中，一次控制负责调节逆变器的输出电压，二次控制负责恢复由一次控制产生的频率、电压、无功功率的偏差，三次控制负责全局信息的优化和决策。其中，一次控制包括有功—频率和无功—电压下垂控制器、虚拟阻抗环、电压和电流控制器。
基于瞬时功率理论，计算包含直流分量和交流分量的有功功率和无功功率的瞬时值，其直流分量可以采用一阶低通滤波器获得，因此有
式中：s为拉普拉斯变量；ωc为截止频率；voα、voβ和ioα、ioβ分别为机端电压和电流的αβ分量。
为了减小线路阻感比对下垂控制器的影响，提高因逆变器个体差异而引起的系统内阻抗不同时，下垂控制器的功率分配效果，这里增加了虚拟阻抗环.与实际阻抗不同，虚拟阻抗没有功率损耗，可以保证有功功率和无功功率的解耦，改善传统下垂控制的性能.虚拟阻抗环按下式设计：
式中：uvα、uvβ为虚拟阻抗环的输出电压；Rv、Lv分别为虚拟电阻和虚拟电感；上标“+”和“-”分别表示正序和负序分量.这里仅考虑正序电流通过虚拟阻抗环，避免了负序电流在虚拟阻抗上的压降引起电压不平衡的增加。
在静止参考坐标下，比例谐振控制器能够更好地控制电压和电流，因此，本文选用比例谐振电压和电流控制器：
式中：kpv、kpi和krv、kri分别是电压和电流控制器的比例和谐振系数；ωcv、ωci分别是电压和电流控制器的截止频率。
步骤S2中建立基于MAS的分布协同控制框架：
MAS分布式控制是分散的，且单个子系统不能获取系统整体信息，为了实现共同的目标，需要系统中相邻子系统之间相互协同完成任务。基于子系统自身具有独立自主特性，每个子系统在协同过程中不受到其他子系统的影响。多子系统达到一致是实现系统控制的首要条件，因此多子系统通过一致性算法可以实现分布式控制。随着分布式电源大规模的接入，微源分布式特性越来越明显，多子系统的自治性、协同性、适应性可以解决分布式微源控制的问题。
在无集中控制器的情况下实现孤岛微电网的分布式协同频率控制，需要面临以下三个难题：1)如何实现本地控制；2)如何实现不同类型分布式微元的分布式协同控制；3)如何适应分布式微元的即插即用。传统控制策略很难解决以上难题，因此引入基于多子系统(MAS)的控制策略来解决孤网分布式频率控制中存在的特殊需求和困难。
基于MAS的协同控制就是多个子系统之间如何在有限资源和能力的情况下相互协同，共同的解决系统的整体任务的问题，研究出正确的控制策略，使得能力有限的单个子系统，通过大量子系统的协作完成单个子系统不可能完成的任务。
MAS是构建灵活、可扩展、容错性强、可重构的系统的一种途径。灵活是指对动态环境的反应能力，类似于自治，但又不同于自治。自治是子系统能够自动规划自己的行为，灵活就是指有多种可以规划的行为时，可以选择最合适的行为。可扩展性指可以轻松的添加新的功能。例如，对于一个状态监控系统，可能随时引入新的传感器获取新的状态数据。容错性指当系统的某些部分发生故障时，系统并不会全部瘫痪，系统仍然可以实现功能。可重构指系统在系统可以动态的改变结构适应环境的变化。
为解决传统集中式控制过度依赖中央控制器，通信结构复杂，结构适应性差等问题，将电网抽象成一个分布式多子系统系统，利用MAS的自治性、社会性、主动性和适应性处理各节点间的独立决策、通信和协同、通信拓扑的动态变化和分布式电源的即插即用操作等问题，从而实现分布式协同频率控制。
建立分布式多子系统系统主要包括两个步骤：
首先，将电网抽象成一个分布式多子系统系统，每个节点对应于一个子系统点，节点间的联络线对应于子系统间的通信线路(但通信设施独立于电网的物理结构。因此，即使相应线路断开，两个相邻的子系统之间的通信仍然能够继续进行)。每个节点子系统仅知道本地信息，无法直接访问全局信息，子系统点只能在正常操作条件下与其相邻的子系统进行通信。
然后，研究分布式多子系统系统架构下的信息交互方式，电源、负荷等节点监测自身的运行状态和控制信息，同时每个节点仅与其邻居节点进行信息交互，引入平均一致性算法交互获得全局关键信息，各节点结合本地信息和全局信息能够全面地制定协同决策，从而在分布式多子系统框架下实现全局协同控制。
步骤S3中介绍强化学习原理：
强化学习(Reinforcement Learning,RL)，又称为再励学习、评价学习等，是马尔可夫过程决策过程(Markov Decision Process,MDP)和动态优化方法的一个分支，它是一种在线学习和动态最优技术，学习过程中不需要提供精确的历史样本和系统经验知识，这是与监督学习、统计模式识别和人工神经网络不同的地方。强化学习通过利用所处环境中反馈的信息，自行学习执行一个任务，并且通过不断的试错学习进行自我改进，从长期的观点去构造控制函数，使得接受的长期函数值最大，因此可以应用在自动控制、多子系统中。
强化学习的基本框架主要由两大部分组成，分别为环境(World)和Agent，Agent由三部分组成，分别为输入模块I、强化模块R和策略模块P。输入模块将环境的状态描述成Agent的输入形式，这个过程可以用BOX结构方法、神经网络、模糊控制等方法实现；强化模块把环境的每一个状态量都赋予了一个值，这个值让Agent有一个控制目标，使得它在长期的奖励值最大；策略模块是一个Agent的核心部分，首先它将更新Agent的知识，然后根据动作选择策略选择一个动作作用于环境。
许多强化学习算法都是通过值函数估算的基础上寻找最优策略的，值函数通常是以某个状态(状态-动作对)作为目标函数的，由奖励信息来传递在给定状态下的Agent的动作的优劣性，而奖励信息的来源取决于Agent所采用的动作。而值函数有折扣报酬型和平均报酬型两类。折扣报酬型强化学习是通过引入折扣率来决定将来获得的奖励值对当前奖励值的影响，目标是希望找到一个最优策略使得折扣报酬的总和最大。而平均报酬型强化学习更加注重长期过程中的统计性收益问题，目标是找到平均期望报酬最大的最优策略。
多Agent强化学习是在单Agent强化学习的基础上发展起来的，但目前大多数多Agent学习方法还仅限于将单Agent的学习方法简单移植到多Agent领域。单Agent学习考虑的是提高自己的问题求解能力，体现的是个体的智能和适应性；而多Agent学习更多考虑的是如何提高整体的自适应能力，体现的是群体智能和社会性。单Agent学习和多Agent学习由于学习目的和社会特性的不同，导致了双方在学习过程的模型和算法的不同。
单Agent强化学习一般都是以马尔可夫决策过程为模型化的依据，在此基础上使用值迭代或者策略迭代的方法求解，单Agent强化学习常常是独立学习,在学习过程中认为环境是固定的，并不考虑Agent的行为间的相互关系,学习方式是集中式学习，不涉及过多的通信和交互。多Agent强化学习本质上是一个非固定的动态过程，继续使用马尔可夫决策过程来模型化已不合适，多Agent强化学习是群体学习，每个Agent不仅需要自己学习，也和其他Agent共享信息并获得他们的相关知识，涉及Agent之间的交互和通信。系统中每个Agent的学习和行为都会导致整个系统的变化，因此Agent在学习过程中，行为的确定不仅和当前的状态有关，同时也与其他Agent的状态和所采取的行为有关。通常多Agent系统的强化学习应该是分布、并行和容错的。
步骤S3中设计基于Q学习算法的控制器：
1)Q学习算法
Q学习算法是强化学习中最基本的一种算法，是1989年由瓦特金斯(Watkins)提出的。它是用一步方式决定策略，希望能找到一个最优策略使得期望的折扣报酬值最大。因Q学习算法不依赖于环境，因此可以用于未知环境的模型中，直接通过优化迭代计算状态-动作对值函数Q(m,n)来在线寻找最优策略。定义值函数为下式：
式中，m和m'分别为当前状态和下一状态，γ为折扣因子，代表下一个控制动作的奖励函数值对于折扣报酬总和值函数Q(m,n)的重要程度，Pmm'(m'|m,n)在状态m下采用动作m后转移到状态m'的概率，r(m,m',n)为在状态m采用动作n后转移到状态m'后得到的强化信号。
Q学习算法是通过不断的试错迭代过程中寻找最优策略的，设Qk为最优值函数Q*的第k次迭代，其迭代公式如下：
式中，0＜α＜1为动作值函数的学习率，其控制动作值的更新速度，α的大小指明了要给改善的更新部分多少的信任度，较大的α可以提高算法的收敛速度，较小的α可以保证算法的收敛稳定性。Q函数的实现主要是采用了lookup表格的方法表示，Q(m,n)(m∈M,n∈N)代表m状态下执行动作n的Q值，表的大小等于M×N的笛卡尔乘积中元素的个数，表中Q值的初始化可以任意给定，一般可设为0，并且在训练过程中Q值不会下降而且保持在0和最优值Q*区间内。
动作选择策略是Q学习控制算法的关键，常见的动作选择策略有Boltzmann分布来构造动作选择策略、伪随机方法和伪耗进方法。通过Boltzmann分布来构造动作选择策略时，其收敛的速度较快，但由于动作值函数需要不断地迭代，因此这种方法容易造成计算过程产生溢出而使计算出来错误。而伪随机方法和伪耗进方法的动作选择策略的收敛速度较慢，不宜采用。强化学习算法在动作选择策略上面临着搜索和利用的权衡问题，下式为定义的控制器选择策略函数，
上式指的是在当前状态下总是选择最高Q值的动作，称为贪婪策略，但是总是选择最高Q值动作的做法容易导致子系统总是沿着相同的路径搜索，从而未做到充分搜索空间而收敛于局部最优。
因此对于动作选择策略，用一种基于概率分布动作选择的追踪法来构造动作选择策略。在该策略下的初始阶段，各动作值被选择的概率都是相同的，随着动作值函数与性能指标的不断迭代，越高的Q值的动作被选中的概率就会越大，最终将以概率1收敛于值函数Q*代表的偏差最优策略。其动作策略更新公式为：
式中，ng为贪婪动作；Ak(m,n)为当前状态m下，第k次迭代时动作n被选择的概率；0＜η＜1，η的大小影响到概率迭代速度和Q学习算法的探索程度，η越接近1说明控制动作策略越趋于贪婪策略。
2)基于单步Q学习算法的控制器设计
基于强化学习算法来设计分布式电源控制器需要具体分析微电网系统的特性，以便合理地确定状态空间离散集M和控制动作集N。如果离散化程度太细，会使得状态-动作对维数过高，控制器将面临系统实时优化的“维数灾”问题，反之，减少状态动作维数和离散化类别又不利于改善频率品质，因此合理安排状态与动作空间的离散化十分关键。
微电网分布式电源控制器调频的状态输入即系统频率偏差Δf，因此将其作为状态离散划分的依据。我国规定，正常运行时(非故障情况下)电力系统频率应当保持在50±0.2Hz的范围之内，当采用现代自动装置时，频率偏差应不超过0.05～0.15Hz。根据以上电力安全工作规程原则，并考虑一定调节死区，可设置状态空间离散集为(-∞,-0.2),[-0.2,-0.15),[-0.15,-0.05),[-0.05,0.05],(0.05,0.15],(0.15,0.2],(0.2,+∞)Hz。对于上层控制器输出动作集，应为一组离散的总调节指令ΣΔP，通过分析微电网各能源可调容量和机组特性以及启发式仿真测试，可设置动作集为{-1,-0.5,-0.1,-0.05,-0.01,-0.001,0,0.001,0.01,0.05,0.1,0.5,1}MW。
根据以上微网频率考核标准制定奖励函数ri(k)为：
其中，当频率偏差位于调节死区[-0.05,0.05]Hz时，该区域内频率满足正常运行的最小误差要求，此时赋予(λ)控制器最大奖励值为0；当|Δf|分别介于系统正常控制区(0.05,0.15]Hz，辅助控制区(0.15,0.2]Hz，紧急控制区(0.2,+∞)Hz时，控制器将会获得相应的负奖励即惩罚值；μ1、μ2和μ3为各控制区域奖励函数对应的权值，确定奖励函数时应该注意，过大的奖励值会影响学习的收敛速度。最后，Q控制器学习步长即微电网调度端的控制周期。
步骤S4中研究新能源接入对孤岛微电网稳定运行的影响：
近年来，随着风电、光伏等新能源发电技术的快速发展，大规模新能源并网运行已成为传统火力发电形式的有效补充。特别是对于像深圳此类的特大型受端城市电网，新能源的接入将是缓解用电高峰期间电力供应紧张的有效措施之一。但是，新能源的接入将改变传统电网的结构、特性和运行方式，这将对电网进入局部孤网运行的控制带来新的挑战。同时，新能源作为新的发电单元，其自身的出力特性也将影响孤网关键参数的整定，对网源荷的协同控制提出了更高要求。
风电、光伏等此类新能源发电设备的基本原理是通过电力电子变换技术调节输出功率与电网同步，这种运行控制方式使得新能源出力与系统频率解耦，无法主动响应系统频率的变化。因此，新能源发电设备对系统的惯性水平贡献几乎为零，无法像传统机组一样利用自身惯性阻止频率的快速变化。所以，根据下式对于新能源接入的孤网系统总的有效惯量变小。
式中，Htot为孤网的惯性时间常数，N为孤网中传统机组的台数，Js,i、ps,i是传统机组的转动惯量和极对数，
是孤网的总装机容量。
此外，为追求新能源的最大化利用，新能源发电设备通常在最大功率点(maximumpower point,MPP)运行，不提供有功备用，因而无法在系统频率下降时提供类似传统机组的调频等辅助服务。
在此情况下，如果缺失的这部分惯性响应和频率调节能力得不到补充，小惯量孤网系统对高频信号的干扰更为敏感，即在扰动(机组脱网、线路故障、负荷突变)下的频率变化率增加、频率最低点降低、稳态频率偏差增大，发生频率稳定性问题更频繁。
电力系统稳定运行的前提是发电与用电的实时平衡，否则会引起系统电能质量下降，甚至会发生不稳定。为此，电力系统中往往需要配置一定的备用容量，以消除瞬时的功率不平衡。然而，新能源受气候条件的制约，其输出功率具有间歇性和随机性的特点。新能源出力的波动性将会加剧系统中的这种功率不平衡现象，尽管新能源发电预测准确性正在逐步提高，但超短期乃至实时预测仍然存在很大的不确定性，这意味着电力系统需要更大的旋转备用容量以实现可靠运行。以风力发电为例，现有研究表明，每增加1000MW的风电需要提供6.6MW/min的备用容量。所以，在新能源接入的孤网中，应设置更为科学的备用容量，以平衡新能源的功率波动。
在大规模新能源接入孤网的情况下，新能源功率波动主要集中在0～0.2Hz的低频段内。因此，孤网中传统机组的关键调速参数不仅要适应于机组脱网、线路故障、负荷突变等高频敏感信号的干扰，还要兼顾新能源发电在低频段内的随机波动。同时，还应充分考虑新能源设备、传统机组和负荷的动态特性，制定更为合理的网源荷协同控制策略。
步骤S5中针对微电网频率偏差，提出基于强化学习的微电频率协同控制方法：
微电网运行在孤岛模式时，等效惯量较低，在系统供需功率不平衡时，微电网运行频率就会产生较大的波动。现提出一种基于强化学习的孤岛微电网多源协同频率控制方法，提升孤岛微电网频率抗干扰性。针对微电网频率偏差进行Q学习及反馈，动态调节多个分布式电源的下垂控制参数以改变其输出功率，实现微电网内多源协同有功频率控制。
步骤S6中调节下垂参数，改变孤岛微电网输出功率，选取合理的优化控制方式和策略，实现孤岛微电网多源有功协同：
下垂控制是分布式电源并网最常用的控制方式，通过模仿传统发电机组的外特性，实现分布式电源对等控制的目的。
如果微电网孤岛运行时电源有功功率与负荷有功功率差额不大时，通过频率的一次调整可以使系统频率恢复到其允许范围内稳定运行；当有功功率差额较大时，运行频率偏移期望，仅靠一次调频还不能实现频率恢复，需要进行频率的二次调整。根据强化学习的原理设计有功功率的修正量，主要通过贪婪策略对微电网频率恢复过程中的每一步进行控制，在得到经过强化学习算法训练后的Q表后选取最优值，控制方程如下所示：
k＝k0-hS(S-S*-ΔS*)
通过调节系统的有功功率来实现对频率的调节，通过下图3所示的系统频率特性来分析系统调频的过程。
Q表的训练流程图如下图3所示，根据系统不同的运行频率定义状态个数，在每一次Q学习过程中，首先对系统次数的运行频率进行测量，确定系统目前处于那种状态Ki，并选取下垂参数修正量Si，之后再对下一时刻的系统运行频率进行测量，得到下一时刻的系统状态Ki+1，计算奖励函数r(Ki,Si)，对Q表进行更新。此时Q表更新方式为：
Qh+1(Ki,Si)＝QH(Ki,Si)+α(r(Ki,Si)+γmax QH(Ki+1,Si+1)-Qh(Ki,Si))
式中:Fi表示i时刻的系统状态，Pi表示i时刻选取的P*修正量。
在得到训练后的Q表Q*之后，根据贪婪策略对微电网频率恢复过程的每一步进行控制，根据每一时刻微电网的系统状态Ki，选取最优的S*修正量ΔS*，其选取方式为：
ΔS*＝arg max Q*(Ki,Si)。
一种基于多微电网协同优化的控制装置，包括存储器和处理器，存储器用于存储能够在所述处理器上运行的计算机程序；处理器用于在运行所述计算机程序时，执行上述的基于多微电网协同优化的控制方法。
一种具有处理器可执行的非易失程序代码的计算机可读储存介质，程序代码使处理器执行上述的基于多微电网协同优化的控制方法。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解:本领域技术人员阅读本发明后依然可对发明的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在发明待批的权利要求保护范围之内。
Claims (10)
1.一种基于多微电网协同优化的控制方法，其特征在于，包括如下步骤：
S1、分析微电网传统下垂控制原理，微电网结构和系统功率分配机理；
S2、根据微电网系统协同优化控制架构机理，建立基于MAS的分布系统控制框架；
S3、根据强化学习原理设计基于Q学习算法的控制器，在步骤S2建立的分布系统控制框架的基础上，应用于微电网中各微型电源的能量管理；
S4、分析新能源接入对微电网稳定运行的影响，新能源通过电力电子变换技术调节输出功率与微电网同步，无法主动响应系统频率的变化，导致微电网频率偏差；
S5、针对微电网频率偏差，提出基于强化学习的微电频率协同控制方法，针对微电网频率偏差进行Q学习及反馈；
S6、根据步骤S5的微电频率协同控制方法调节下垂参数，改变孤岛微电网输出功率，确定基于多微电网协同优化的控制方式和策略，实现孤岛微电网多源有功协同。
2.根据权利要求1所述的基于多微电网协同优化的控制方法，其特征在于，所述步骤S1中微电网结构包含分布式电源和负荷，所述分布式电源通过电力电子接口接入微电网，在孤岛运行模式下，各分布式单元根据自身输出有功和无功调整频率和电压幅值，所述负荷为非线性负载。
3.根据权利要求1所述的基于多微电网协同优化的控制方法，其特征在于，所述步骤S1中分析围绕微源逆变器系统功率分配机理，微源逆变器的输出侧接LCL滤波器，微源逆变器输出的视在功率Si为：
式(1)中：Xi为逆变电源的输出电抗；Ei为逆变电源输出电压幅值；δi为分布式微源输出电压与公共电压间的相角差；
则第i台逆变单元的输出有功功率和无功功率分别为：
并联逆变器无互联线通信时通常采用传统的下垂控制：
式(3)中：ω*、E*分别为DG在空载下输出电压的角频率和幅值；ωi、Ei分别为的DG实际输出电压的角频率和幅值参考值；mp、nq分别为频率和电压的下垂增益；Pi、Qi分别为DG的输出有功和无功功率；
将式(3)代入式(2)，得到无功功率的表达式为：
式(4)中，微源的空载电压幅值、公共母线电压为公共变量，功角余弦值近似为1，下垂增益可根据微源的容量设置。
4.根据权利要求1所述的基于多微电网协同优化的控制方法，其特征在于，所述步骤S2中微电网系统采用分层协同优化控制，在微电网分层协同优化控制过程中第一次控制负责调节逆变器的输出电压，第二次控制负责恢复由第一次控制产生的频率、电压、无功功率的偏差，第三次控制负责全局信息的优化和决策，其中，第一次控制包括有功-频率下垂控制器和无功-电压下垂控制器、虚拟阻抗环、电压和电流控制器；
基于瞬时功率理论，计算包含直流分量和交流分量的有功功率和无功功率的瞬时值，其直流分量采用一阶低通滤波器获得：
式(5)、(6)中：s为拉普拉斯变量；ωc为截止频率；voα、voβ和ioα、ioβ分别为机端电压和电流的αβ分量；
增加虚拟阻抗环减小线路阻感比，虚拟阻抗环按下式设计：
式(7)、(8)中：uvα、uvβ为虚拟阻抗环的输出电压；Rv、Lv分别为虚拟电阻和虚拟电感；上标“+”表示电流的正序分量；
在静止参考坐标下，电压和电流控制器控制电压和电流如下：
式(9)、(10)中：kpv、kpi和krv、kri分别是电压和电流控制器的比例和谐振系数；ωcv、ωci分别是电压和电流控制器的截止频率。
5.根据权利要求1所述的基于多微电网协同优化的控制方法，其特征在于，所述步骤S2中建立基于MAS的分布协同控制框架，具体包括以下步骤：
首先，将电网抽象成一个分布式多子系统系统，每个节点对应于一个子系统点，节点间的联络线对应于子系统间的通信线路，每个节点子系统仅知道本地信息，无法直接访问全局信息，子系统点只能与其相邻的子系统进行通信；
然后，根据分布式多子系统系统架构下的信息交互方式、电源负荷等节点监测自身的运行状态和控制信息，每个节点与其邻居节点进行信息交互，通过平均一致性算法交互获得全局关键信息，各节点结合本地信息和全局信息制定协同决策，在分布式多子系统框架下实现全局协同控制。
6.根据权利要求1所述的基于多微电网协同优化的控制方法，其特征在于，所述步骤S3中基于强化学习算法设计基于Q学习算法的控制器，具体分析微电网系统的特性，以确定状态空间离散集M和控制动作集N；
将微电网分布式电源控制器调频的状态输入作为状态离散划分的依据，设置状态空间离散集为(-∞,-0.2),[-0.2,-0.15),[-0.15,-0.05),[-0.05,0.05],(0.05,0.15],(0.15,0.2],(0.2,+∞)Hz，对于上层控制器输出动作集，应为一组离散的总调节指令ΣΔP，通过分析微电网各能源可调容量和机组特性以及启发式仿真测试，设置动作集为{-1,-0.5,-0.1,-0.05,-0.01,-0.001,0,0.001,0.01,0.05,0.1,0.5,1}MW；
根据以上微网频率考核标准制定奖励函数ri(k)为：
式(11)中，当频率偏差位于调节死区[-0.05,0.05]Hz时，该区域内频率满足正常运行的最小误差要求，此时赋予(λ)控制器最大奖励值为0；当|Δf|分别介于系统正常控制区(0.05,0.15]Hz，辅助控制区(0.15,0.2]Hz，紧急控制区(0.2,+∞)Hz时，控制器将会获得相应的负奖励为惩罚值；μ1、μ2和μ3为各控制区域奖励函数对应的权值；Q控制器学习步长为微电网调度端的控制周期。
7.根据权利要求1所述的基于多微电网协同优化的控制方法，其特征在于，所述步骤S4中新能源发电设备通过电力电子变换技术调节输出功率与电网同步，新能源接入的孤网系统总的有效惯量变小，具体如下：
式(12)中，Htot为孤网的惯性时间常数，N为孤网中传统机组的台数，Js,i、ps,i是传统机组的转动惯量和极对数，
是孤网的总装机容量。
8.根据权利要求1所述的基于多微电网协同优化的控制方法，其特征在于，所述步骤S6中微电网孤岛运行时电源有功功率与负荷有功功率有差额时，通过调频使系统频率恢复到其允许范围内稳定运行，根据强化学习的原理设计有功功率的修正量，通过贪婪策略对微电网频率恢复过程中的每一步进行控制，在得到经过强化学习算法训练后的Q表后选取最优值，控制方程如下所示：
k＝k0-hS(S-S*-ΔS*) (13)
根据系统不同的运行频率定义状态个数，在每一次Q学习过程中，首先对系统次数的运行频率进行测量，确定系统目前处于那种状态Ki，并选取下垂参数修正量Si，之后再对下一时刻的系统运行频率进行测量，得到下一时刻的系统状态Ki+1，计算奖励函数r(Ki,Si)，对Q表进行更新，此时Q表更新方式为：
Qh+1(Ki,Si)＝QH(Ki,Si)+α(r(Ki,Si)+γmaxQH(Ki+1,Si+1)-Qh(Ki,Si)) (14)；
式(14)中:Fi表示i时刻的系统状态，Pi表示i时刻选取的P*修正量；
在得到训练后的Q表Q*之后，根据贪婪策略对微电网频率恢复过程的每一步进行控制，根据每一时刻微电网的系统状态Ki，选取最优的S*修正量ΔS*，其选取方式为：
ΔS*＝argmaxQ*(Ki,Si) (15)。
9.一种基于多微电网协同优化的控制装置，其特征在于，包括存储器和处理器；所述存储器用于存储能够在所述处理器上运行的计算机程序；所述处理器用于在运行所述计算机程序时执行权利要求1-8任一项所述的控制方法。
10.一种具有处理器可执行的非易失程序代码的计算机可读储存介质，其特征在于，所述程序代码使所述处理器执行如权利要求1-8任一权项所述的基于多微电网协同优化的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111097422.1A CN113890057A (zh) | 2021-09-18 | 2021-09-18 | 一种基于多微电网协同优化的控制方法及装置、储存介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111097422.1A CN113890057A (zh) | 2021-09-18 | 2021-09-18 | 一种基于多微电网协同优化的控制方法及装置、储存介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113890057A true CN113890057A (zh) | 2022-01-04 |
Family
ID=79009802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111097422.1A Pending CN113890057A (zh) | 2021-09-18 | 2021-09-18 | 一种基于多微电网协同优化的控制方法及装置、储存介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113890057A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106487011A (zh) * | 2016-11-28 | 2017-03-08 | 东南大学 | 一种基于q学习的户用微电网能量优化方法 |
| CN108418246A (zh) * | 2018-03-21 | 2018-08-17 | 广东电网有限责任公司电力科学研究院 | 一种用于对虚拟同步机并网时的环流进行抑制的方法及系统 |
| CN109120014A (zh) * | 2018-10-26 | 2019-01-01 | 国网黑龙江省电力有限公司电力科学研究院 | 一种微电网频率电压功率协同补偿方法 |
| CN110474319A (zh) * | 2019-07-05 | 2019-11-19 | 湖北工业大学 | 基于多智能体的含可再生能源孤岛微电网协调控制的方法 |
| CN111064228A (zh) * | 2020-01-16 | 2020-04-24 | 江苏方天电力技术有限公司 | 考虑风速和负荷变化场景的风电机组下垂控制方法、系统及计算机设备 |
| CN111355234A (zh) * | 2020-03-18 | 2020-06-30 | 国网浙江嘉善县供电有限公司 | 一种基于强化学习的微电网频率控制方法 |
| CN111541274A (zh) * | 2020-05-27 | 2020-08-14 | 燕山大学 | 一种基于虚拟同步发电机特性的孤岛微电网控制策略 |
| CN113381405A (zh) * | 2021-06-21 | 2021-09-10 | 国网河北省电力有限公司经济技术研究院 | 一种计及频率恢复及电压调整的微电网就地反馈控制方法 |
-
2021
- 2021-09-18 CN CN202111097422.1A patent/CN113890057A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106487011A (zh) * | 2016-11-28 | 2017-03-08 | 东南大学 | 一种基于q学习的户用微电网能量优化方法 |
| CN108418246A (zh) * | 2018-03-21 | 2018-08-17 | 广东电网有限责任公司电力科学研究院 | 一种用于对虚拟同步机并网时的环流进行抑制的方法及系统 |
| CN109120014A (zh) * | 2018-10-26 | 2019-01-01 | 国网黑龙江省电力有限公司电力科学研究院 | 一种微电网频率电压功率协同补偿方法 |
| CN110474319A (zh) * | 2019-07-05 | 2019-11-19 | 湖北工业大学 | 基于多智能体的含可再生能源孤岛微电网协调控制的方法 |
| CN111064228A (zh) * | 2020-01-16 | 2020-04-24 | 江苏方天电力技术有限公司 | 考虑风速和负荷变化场景的风电机组下垂控制方法、系统及计算机设备 |
| CN111355234A (zh) * | 2020-03-18 | 2020-06-30 | 国网浙江嘉善县供电有限公司 | 一种基于强化学习的微电网频率控制方法 |
| CN111541274A (zh) * | 2020-05-27 | 2020-08-14 | 燕山大学 | 一种基于虚拟同步发电机特性的孤岛微电网控制策略 |
| CN113381405A (zh) * | 2021-06-21 | 2021-09-10 | 国网河北省电力有限公司经济技术研究院 | 一种计及频率恢复及电压调整的微电网就地反馈控制方法 |
Non-Patent Citations (3)
| Title |
|---|
| 姚建华等: "基于强化学习的孤岛微电网多源协调频率控制方法", 《电力建设》, vol. 41, no. 9, 30 September 2020 (2020-09-30), pages 69 - 75 * |
| 姚建华等: "基于强化学习的孤岛微电网多源协调频率控制方法", 《电力建设》, vol. 41, no. 9, pages 69 - 75 * |
| 沈珺等: "基于强化学习的多微电网分布式二次优化控制", 《电力系统自动化》, vol. 44, no. 5, 10 March 2020 (2020-03-10), pages 198 - 204 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Coordinated load frequency control of multi-area integrated energy system using multi-agent deep reinforcement learning | |
| Khooban et al. | A novel deep reinforcement learning controller based type-II fuzzy system: Frequency regulation in microgrids | |
| Hu et al. | Distributed adaptive droop control for optimal power dispatch in DC microgrid | |
| Zolfaghari et al. | Comprehensive review on the strategies for controlling the interconnection of AC and DC microgrids | |
| Pradhan et al. | Coordinated power management and control of standalone PV-hybrid system with modified IWO-based MPPT | |
| Zhou et al. | Event-based distributed active power sharing control for interconnected AC and DC microgrids | |
| Cui et al. | Reinforcement learning for optimal primary frequency control: A Lyapunov approach | |
| Zhang et al. | Online optimal generation control based on constrained distributed gradient algorithm | |
| Huang et al. | Distributed optimal co-multi-microgrids energy management for energy internet | |
| Mishra | Neural-network-based adaptive UPFC for improving transient stability performance of power system | |
| Sundaram et al. | Load frequency control using PID tuned ANN controller in power system | |
| CN108736519B (zh) | 一种光伏电站的虚拟同步发电机自适应控制方法及装置 | |
| Xi et al. | A virtual generation ecosystem control strategy for automatic generation control of interconnected microgrids | |
| Chen et al. | A unified time scale intelligent control algorithm for microgrid based on extreme dynamic programming | |
| CN111258211A (zh) | 一种基于模糊神经元pid的微电网频率控制系统及方法 | |
| Barbalho et al. | Deep reinforcement learning-based secondary control for microgrids in islanded mode | |
| Nguyen et al. | Cluster-based predictive PCC voltage control of large-scale offshore wind farm | |
| CN111725798A (zh) | 一种用于直流微电网集群的分布式经济调度预测控制方法 | |
| Ma et al. | Accurate power sharing and voltage regulation for AC microgrids: An event-triggered coordinated control approach | |
| Venkatesan et al. | Stability enhancement of PV powered microgrid using Levenberg-Marquardt algorithm based intelligent controller under grid-connected mode | |
| Egbomwan et al. | Twin delayed deep deterministic policy gradient (TD3) based virtual inertia control for inverter-interfacing DGs in microgrids | |
| Colak et al. | Fuzzy logic and artificial neural network based grid-interactive systems for renewable energy sources: a review | |
| Toro et al. | Droop-free control for networked microgrids | |
| Xia et al. | Optimal secondary control of islanded AC microgrids with communication time-delay based on multi-agent deep reinforcement learning | |
| Karthikeyan et al. | Load frequency control for three area system with time delays using fuzzy logic controller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |