CN114336704A - 一种区域能源互联网多智能体分布式控制及效率评测方法 - Google Patents
一种区域能源互联网多智能体分布式控制及效率评测方法 Download PDFInfo
- Publication number
- CN114336704A CN114336704A CN202111570310.3A CN202111570310A CN114336704A CN 114336704 A CN114336704 A CN 114336704A CN 202111570310 A CN202111570310 A CN 202111570310A CN 114336704 A CN114336704 A CN 114336704A
- Authority
- CN
- China
- Prior art keywords
- energy
- control
- agent
- efficiency evaluation
- power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 32
- 239000003795 chemical substances by application Substances 0.000 claims description 69
- 230000006870 function Effects 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000004146 energy storage Methods 0.000 claims description 19
- 239000000446 fuel Substances 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 16
- 230000008878 coupling Effects 0.000 claims description 15
- 238000010168 coupling process Methods 0.000 claims description 15
- 238000005859 coupling reaction Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000000354 decomposition reaction Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 13
- 238000013210 evaluation model Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 8
- 238000011217 control strategy Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 230000002787 reinforcement Effects 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 5
- 238000009795 derivation Methods 0.000 claims description 4
- 238000010248 power generation Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000011161 development Methods 0.000 description 11
- 238000012546 transfer Methods 0.000 description 11
- 238000005457 optimization Methods 0.000 description 9
- 230000005611 electricity Effects 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 230000033228 biological regulation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 230000006641 stabilisation Effects 0.000 description 4
- 238000011105 stabilization Methods 0.000 description 4
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 3
- 229910052799 carbon Inorganic materials 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005485 electric heating Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000003912 environmental pollution Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001808 coupling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B70/00—Technologies for an efficient end-user side electric power management and consumption
- Y02B70/30—Systems integrating technologies related to power network operation and communication or information technologies for improving the carbon footprint of the management of residential or tertiary loads, i.e. smart grids as climate change mitigation technology in the buildings sector, including also the last stages of power distribution and the control, monitoring or operating management systems at local level
- Y02B70/3225—Demand response systems, e.g. load shedding, peak shaving
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S20/00—Management or operation of end-user stationary applications or the last stages of power distribution; Controlling, monitoring or operating thereof
- Y04S20/20—End-user application control systems
- Y04S20/222—Demand response systems, e.g. load shedding, peak shaving
Landscapes
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种区域能源互联网多智能体分布式控制及效率评测方法，其特征在于，包括：基于观测器的容错抗扰控制方法、基于多智能体的分布式控制算法、多智能体能源互联网分层控制方法和区域能源互联网多智能体效率评测方法。
Description
技术领域
本发明涉及评价方法技术领域，具体涉及一种区域能源互联网多智能体分 布式控制及效率评测方法。
背景技术
新型电力系统建设需要以电网侧智能化为基础，同时推进电源侧清洁化和 用户侧电气化发展，其实现手段必然以电力为中心，同时兼顾清洁低碳高效和 数字智能互动的目标。然而，随着可再生能源的大量开发利用，全国范围内大 量电网已初步形成传统能源发电与可再生能源发电并存、集中式发电与分布式 发电协调发展的格局。尤其是用户侧从单一负荷逐步转变为集成多类型分布式 电源和多元储能高级形式，是一种具有极高经济价值的电网灵活性调节资源。
然而，传统上用户侧的分布式能源不参与系统控制，导致电力系统的惯量 降低，频率控制和动态调压能力不足；分布式能源波动性大、难于准确预测， 集中式的优化调度无法适应这种强不确定性，分散分布的分布式能源与大电网 相互之间未能形成互补协调机制。
开放互动是新型电力系统的重要特征之一，充分利用用户侧的多种类型分 布式能源，利用市场化和信息化手段提升电网控制灵活性，是解决“源、网、 荷”资源灵活互动的重要途径，具有“安全-经济-低碳”的特征，在未来将面 临非常广阔的市场应用前景和发展契机。
为此，区域能源互联网多智能体分布式控制及效率评测解决难题的关键突 破点。
发明内容
本发明的目的在于提供一种区域能源互联网多智能体分布式控制及效率 评测方法。
本发明的技术方案：
一种区域能源互联网多智能体分布式控制及效率评测方法，包括基于观测 器的容错抗扰控制方法，基于多智能体的分布式控制算法、多智能体能源互联 网分层控制方法和区域能源互联网多智能体效率评测方法。
进一步的，所述基于观测器的容错抗扰控制方法包括控制对象模型、基于 模型的残差生成器、基于残差生成器的容错控制架构以及获取容错控制架构中 矩阵Q参数的实现方法。
进一步的，所述控制对象模型包括线性时不变系统、互质分解和扰动作用 下系统；
所述基于残差生成器的容错控制架构包括标准反馈系统、内部稳定与尤拉参数化以及容错控制架构推导证明；
所述获取容错控制架构中矩阵Q参数的实现方法包括模型匹配、强化学习和梯 度下降。
进一步的，基于多智能体的分布式控制算法包括可控微源及柔性负荷的建 模，还有可控微源的约束条件。
进一步的，所述可控微源及柔性负荷的建模包括微型燃气机的成本建模、 燃料电池的成本建模和光伏、蓄电池储能联合模块的成本建模和柔性负荷的成 本建模；
可控微源的约束条件：包括可控微源功率平衡约束、可控微源功率输出约束和 柔性负荷功率约束。
进一步的，所述多智能体能源互联网分层控制方法层控制策略中权重系数 是实现三级分布式算法与一级控制连接的关键；设定的目标函数三级控制只考 虑有功功率，逆变器实际有功功率输出：
通过改变P0i、mpi改变输出功率P实际i；
采用下垂控制是为了实现各台互相并联的逆变器的输出功率可以按照负 荷侧要求合理分配，功率分配的环节靠调节下垂曲线参数P0i、mpi来实现；
f为下垂控制公式：
f＝f0+(P0-P)mp (3-63)
进一步的，下垂控制公式：
f＝f0+(P0-P)mp (3-63)
式中：f为下垂控制公式、mp为下垂系数；P0额定有功功率；P实际所 发有功功率；f0额定频率；P0i为被控对象功率，mpi为被控对象下垂系数；
进一步的，所述区域能源互联网多智能体效率评测方法包括多能流耦合集 成供能系统评价体系、多能流综合能源场景评价方法、各子系统及设备的能效 评估模型。
进一步的，所述多能流耦合集成供能系统评价体系包括评估标准及评估原 则确立、综合能源系统能效特点分析和指标选取及层次建立；
所述各子系统及设备的能效评估模型包括按能源类型进行子系统划分、能 源转换设备分类和各子系统及设备能效评估建模。
进一步的，所述多能流综合能源场景评价方法包括能源统一折算、各子系 统融合、多能源系统综合能效评估模型及算法和工程经济性提升策略。
本发明的有益效果：
围绕需求侧区域能源互联网中亟需解决的能量流优化调控、信息流互联互 济和价值流共享运营等问题，以综合能源系统为基础，重点研究解决需求侧能 源互联网中多能流耦合建模、多能互补优化控制、能效综合评价及优化等难题。
以贯通需求侧区域能源互联网的综合能源系统集群化统一运营为目标，基 于泛在物联网体系架构，建设面向区域能源互联网的智慧综合能源系统，对区 域能源互联网内主要供能设备实现“可观、可测”功能，具备对主要用能设备 的能效评价能力，成为区域能源互联网典型应用场景的支撑。
通过技术研究与项目示范打造区域级智慧综合能源系统运营典型样本，实 现可推广、可复制的典型综合能源系统运营模式，推动“云-边-端”技术在需 求侧能源互联网及区域级综合能源系统中应用，提升区域能源的可靠性分析、 故障诊断分析、弹性方案制定、项目运营、集群优化控制的全业务链能力，最 终实现需求侧能源互联网内和网间各能源系统的无缝对接。
用户侧区域能源互联网集群电/热可调节聚合资源的快速频率/功率响应 能力预测评估和评价精度>90％，规划设计模拟精度>90％；可调节资源聚合时间 <60s；电/热(冷)/气解耦协调运行控制精度95％；效率、寿命等剩余性能评 估技术精度>95％；并离网切换电压波动率<2％；用户侧就地消纳负荷率>85％；可 靠性提升和安全性评估误差<10％。
附图说明
图1是标准反馈控制系统的原理框图；
图2是标准反馈控制系统等效原理框图；
图3是基于残差生成器的容错控制架构图；
图4是模型匹配的原理框图；
图5是Agent-environment交互机制的原理框图；
图6是梯度下降示意图；
图7是多智能体微电网拓扑结构图；
图8是光伏蓄电池联合模块原理图；
图9是基于MAS无领导者一致性算法分布式控制步骤图；
图10是下垂控制原理图；
图11是基于MAS的分布式控制架构图；
图12是多能流耦合集成供能系统评价体系；
图13是多能流耦合集成供能系统的仿真算例拓扑结构图；
图14是多能流综合能源场景评价方法流程图；
图15是离线建模-在线评估运行可靠性评估模式流程图。
具体实施方式
本实施例提供一种区域能源互联网多智能体分布式控制及效率评测方法， 包括基于观测器的容错抗扰控制方法，基于多智能体的分布式控制算法、多智 能体能源互联网分层控制方法和区域能源互联网多智能体效率评测方法。 本实施例具体的，所述基于观测器的容错抗扰控制方法包括控制对象模型、基 于模型的残差生成器、基于残差生成器的容错控制架构以及获取容错控制架构 中矩阵Q参数的实现方法。
本实施例具体的，所述控制对象模型包括线性时不变系统、互质分解和扰 动作用下系统；
所述基于残差生成器的容错控制架构包括标准反馈系统、内部稳定与尤 拉参数化以及容错控制架构推导证明；
所述获取容错控制架构中矩阵Q参数的实现方法包括模型匹配、强化学习和梯 度下降。
本实施例具体的，基于多智能体的分布式控制算法包括可控微源及柔性负 荷的建模，还有可控微源的约束条件。
本实施例具体的，所述可控微源及柔性负荷的建模包括微型燃气机的成本 建模、燃料电池的成本建模和光伏、蓄电池储能联合模块的成本建模和柔性负 荷的成本建模；
可控微源的约束条件：包括可控微源功率平衡约束、可控微源功率输出 约束和柔性负荷功率约束。
本实施例具体的，所述多智能体能源互联网分层控制方法层控制策略中权 重系数是实现三级分布式算法与一级控制连接的关键；设定的目标函数三级控 制只考虑有功功率，逆变器实际有功功率输出：
通过改变P0i、mpi改变输出功率P实际i；
采用下垂控制是为了实现各台互相并联的逆变器的输出功率可以按照负 荷侧要求合理分配，功率分配的环节靠调节下垂曲线参数P0i、mpi来实现； f为下垂控制公式：
f＝f0+(P0-P)mp (3-63)
本实施例具体的，下垂控制公式：
f＝f0+(P0-P)mp (3-63)
式中：f为下垂控制公式、mp为下垂系数；P0额定有功功率；P实际所 发有功功率；f0额定频率；P0i为被控对象功率，mpi为被控对象下垂系数。
本实施例具体的，所述区域能源互联网多智能体效率评测方法包括多能 流耦合集成供能系统评价体系、多能流综合能源场景评价方法、各子系统及设 备的能效评估模型。
本实施例具体的，所述多能流耦合集成供能系统评价体系包括评估标准及 评估原则确立、综合能源系统能效特点分析和指标选取及层次建立；
所述各子系统及设备的能效评估模型包括按能源类型进行子系统划分、能 源转换设备分类和各子系统及设备能效评估建模。
本实施例具体的，所述多能流综合能源场景评价方法包括能源统一折算、 各子系统融合、多能源系统综合能效评估模型及算法和工程经济性提升策略。
1.1控制对象模型描述
1.1.1线性时不变系统描述
线性时不变系统有两种数学描述：传递函数表示法和状态空间表示法。
线性时不变系统输入输出关系可以表示为：
式中：u(z)为输入向量，y(z)为输出向量，Gyu(z)为传递函数。
离散的状态空间表达式如下所示：
式中：xk为状态向量，uk为输入向量，yk为输出向量A、B、C、D为相应 维数的常数矩阵。
传递函数和状态空间相互转换的关系式为：
Gyu(z)＝C(zI-A)-1B+D (4-3)
如果(A，B)是可控的，(C，A)是可观的，则称其为最小状态空间 实现。
1.1.2互质分解
对于一个真有理传递函数G(z)，如果存在左互质矩阵
使得
则式(4-4)称为G(z)在
上的左互质分解(Left Comprise Factorization，LCF)。
同样，如果存在右互质矩阵N(z)、
使得
G(z)＝N(z)M-1(z) (4-5)
则式(4-5)称为G(z)在
上的右互质分解(Right Comprise Factorization，RCF)。
所有的真有理传递函数G(z)均可以用左互质
和右互质 N(z),
进行上左分解与右分解。
对于被控对象G(z)最小状态空间实现：
取F和L使Ap+BpF和Ap-LCp稳定，定义：
存在X(z)、Y(z)、
使得
成立，则称式(4-10)为G(z)在
上的二重互质分解。
1.1.3扰动作用下系统描述
在实际的控制系统中，由于存在传感器测量误差、设备参数变化、噪声等因素， 通常会有未知干扰输入。扰动、故障与噪声的存在会减弱控制系统的输出性能， 使控制系统无法达到原来所预期的控制目标。考虑到上述未知的干扰，可以将 系统的输入-输出模型表示为：
xk+1＝Axk+Buk+Eddk+Effk+ξk
yk＝Cxk+Duk+Fddk+Fffk+vk (4-11)
式中：Ed与Fd代表具有合适矩阵维数的扰动系数矩阵，Ef与Ff代表具有合 适矩阵维数的故障系数矩阵，dk代表确定性的未知扰动输入向量，fk表示传 感器故障、执行器故障或者过程故障，ξk代表过程和测量噪声输入向量。系 统扰动、故障与噪声信号均可以反映在残差信号中，线性时不变系统的残差信 号可以通过残差生成技术获得。
1.2基于模型的残差生成器
在无扰动、故障与噪声的情况下，左互质分解的基本特性为：
由式(4-12)，系统的残差可以构造为：
当扰动、故障与噪声作用为零时，r＝0；当扰动、故障与噪声作用不为零时， r≠0。为了确定残差信号表达式的参数，可以采用基于数学模型的方法或基 于数据驱动的方法。
残差生成技术包括：基于数学模型的故障检测滤波器(Fault Detection Filter，FDF)、诊断观测器(Diagnostic Observer，DO)以及基于数据驱动的子空间 (Parity SpaceTechnique)等。
在仅仅已知输入输出信号的时候可以采用子空间的方法，而在能够获得控制系统精准数学模型的情况下可以采用基于数学模型的方法，故障检测滤波器(FDF) 就是直接建立系统的全阶状态观测器，该观测器的阶数和系统的阶数相同，会 造成很大的运算量。为了减轻运算负担，对全阶观测器进行降阶处理，需要建 立龙伯格类型的诊断观测器，对于图2-2所示系统表述为：
式中：rk为残差信号，L为观测器增益矩阵，以使A-LC稳定为选取原则。Txk为状态估计，
T是一个状态传输矩阵，并且有：
Ak＝TAT-1,Bk＝TB,Ck＝CT-1,Dk＝D
1.3基于残差生成器的容错控制架构
1.3.1标准反馈控制系统
为了满足系统的控制性能通常采用反馈控制结构。
标准的反馈控制系统如图1所示，由控制对象G(z)和控制器K(z)构成。其中， ω为参考给定信号，d为扰动信号，v为测量噪声信号，u为输入信号，y为 参考输入信号，e＝ω-y为跟踪误差信号，up和yp代表系统的实际输入与输 出信号。此外，误差e的残差re,k为：
该反馈系统控制图可以等效成图2所示的形式。
1.3.2内部稳定与尤拉参数化
对图所示的反馈控制系统，由[ω d]T到[u y]T，当满足：
该闭环系统是内部稳定的。
设K进行左、右互质分解能够得到：
如果令
V＝X,U＝Y，则有：
可以看出，对通过控制对象G(z)进行二重互质分解而求得使得系统内部稳定 的稳定化控制器。应用对控制对象的二重互质分解，引入自由参数Q，使：
可以获得所有稳定化控制器为：
式中：Q为自由参数，称式(4-20)为稳定化控制器的参数化形式，即尤拉参 数化(Youla parameterization)。
1.3.3容错控制架构推导证明
2008年Steven Ding教授对尤拉参数化进行进一步的研究，根据上述尤拉参 数化对图所示闭环反馈控制系统进行推导，稳定化控制器输入输出表达式为：
将上式两边同乘
有：
将上式拆分，有：
将上式
项移至等式右侧，有：
将上式两边同乘X(z)-1，有：
令
并将式(4-15)带入上式，有：
u(z)＝K0(z)e(z)+Q(z)r(z) (4-26)
由此可以得到，对于给定的稳定控制器K0(z)，通过引入反馈增益Q(z)矩阵， 得到的新的系统控制架构仍然是稳定的。该控制架构包含了能够反映系统扰动 与故障信息的残差信号，称其为基于残差生成器的容错控制架构，如图3所示。 该控制架构能够达到在不影响原系统稳定的前提下改善系统的输出性能的目 的，本文即将该容错控制架构应用到多智能体微电网变流器电能质量控制中。
1.4获取容错控制架构中矩阵Q参数的实现方法
通过前文分析可知，采用上述基于残差生成器的容错控制架构，通过特定算法 获得合适的参数化矩阵Q，就能够在保证系统稳定的同时改善扰动作用下系统 的输出性能，从而削弱扰动对系统的作用效果。下面介绍几种获取参数化矩阵 Q的具体实现方法。
1.4.1模型匹配
模型匹配问题描述如图4所示。传递函数矩阵T1是一个模型，三个传递函数矩 阵T2、T3、Q串联T2QT3与T1匹配。d为扰动输入，yd为扰动作用输出。
结合图3所示的容错控制架构，T1对应只有扰动作用的控制对象模型，T3对应 基于观测器的残差生成器模型，Q为需要设计的参数矩阵，T2对应只有控制 信号作用的控制对象模型。
从理论计算来讲，可以通过调整传递函数矩阵T1-T2QT3为零来计算出参数矩 阵Q，此时扰动信号d将不会对系统产生作用。但是要求传递函数矩阵T2、T3是可逆的，在实际情况中不一定能够满足。为了解决这个问题，将其转化为式 (4-27)的模型匹配问题。
min||T1-T2QT3|| (4-27)
即求得传递函数矩阵T1-T2QT3的最小值情况下的参数矩阵Q。
1.4.2强化学习
如图5所示，作为机器学习的方法之一的强化学习(Reinforcement Learning，RL)，是通过采用一边获得样例一边学习的形式，在获得样例之后将自己的模 型不断地进行更新，应用当前的模型激励与奖赏(Reward)对下一次行动 (Action)进行指导，下一次行动得到的奖赏继续指导模型的更新，不断重复 迭代直到模型收敛。
强化学习有行为主体(Agent)和环境(Environment)两大主体，主体既是学 习者又是决策者，通过学习者和环境的交互进而实现目标。
其中关键点在于在当前模型下如何选择下一步行动才有利于完善模型，有两方式：探索(Exploration)与开发(Exploitation)。探索即选择没有执行过的 行动进行来探索更多的可能，开发则是执行过的行动来完善模型机制。在不断 的尝试与测试中可确定出合适的参数矩阵Q。
1.4.3梯度下降
在求解无约束的优化问题时，梯度下降(Gradient Descent)法是常用的方法 之一。如图6所示，梯度下降的原理为：目标函数J(θ)关于参数θ梯度方向 (反方向)是目标函数下降最快的方向。
当目标函数为凸函数的时候，采用梯度下降方法可以得到全局最优解。但需要 选择合适的迭代步长。若步长太大，迭代速度快，容易错过最优解甚至导致迭 代不收敛；若步长过小，迭代速度慢，算法需要耗费很长的时间。算法的步长 经过多次运行后可得到最优值。此外，梯度下降法还需要选择合适的参数初始 值实现最优。
基于多智能体的分布式控制算法
2.1理论基础
多智能体网络拓扑结构以及内部连接关系可以用图G表示，对应于实际多智能 体微电网中表示各个分布式微源的通讯关系，图G定义为一个集合(V，E，A)， 每一个智能体可以用V来表示，
是边的集合，A为邻接矩阵，相邻智 能体之间的关系用A中元素aij表示。图G的Laplacian矩阵L定义为：
通信系数表示相邻智能体间通信关系的数学表达式，被定义为：
在图G中与节点i关联的所有的边数目的总和称为度，以节点i为起点称为i的出度，即
以节点i为终点称为i的入度，即
在多智能体系统中，出度代表 发送信息给邻居智能体，入度代表接受邻居智能体的信息。
另一种通讯系数被定义为：
式中：对于任意的i、j都属于V。
2.2微源的建模与约束
2.2.1可控微源及柔性负荷的建模
如图7所示多智能体微电网的结构示意图，微源包括微型燃气轮机、燃料电池、 光伏和蓄电池联合模块以及柔性负荷，每一个控制器对应一个智能体，公共耦 合端同样对应一个智能体，将多智能体微电网运行的状态通过通讯传输于其他 智能体。多智能体微电网中各个节点间通过能量、信息流动相互协调维持整个 系统的供需功率平衡；实现分布式控制优化策略，首先对多智能体微电网各个 单元模块进行成本建模，成本建模主要考虑发电机的运行效率，所用燃料价格， 后期维护设备所需费用等因素。
(1)微型燃气轮机的成本建模：
微型燃气轮机分布式电源也是传统的分布式电源，具有可靠性高、对环境污染小、使用寿命长、控制灵活、维护简单等优点，其成本函数主要包括维护费用 和燃料成本，建模如下：
式中PG1——微型燃气轮机输出功率，kW；
MG——每度电的维护费用，元；
FG——每千卡燃料的费用，元；
a、b、c——燃料消耗系数。
公式(3-5)可以简化为：
式中α1、β1、γ1——成本函数系数。
(2)燃料电池的成本建模：
燃料电池是直流型分布式发电单元，将自身存储的燃料和化学能转化电能，具 有转化效率高的特点并且减少对环境污染。燃料电池发电的成本主要由燃料成 本，维护成本以及运行效率决定。燃料电池的成本建模函数如下：
式中PG2——燃料电池的输出功率，kW；
MD——每度电的维护费用，元；
FD——燃料电池每度电的成本，元；
v2、u2、w2——损耗系数。
公式(3-7)可以简化为：
式中α2、β2、γ2——成本函数系数。
(3)光伏，蓄电池储能联合模块的成本建模：
太阳能发电和风力发电具有高度间歇性与波动性，若直接将此类新能源接入多智能体微电网中将会影响系统的稳定性。为了在多智能体微电网中得到可靠持 续的电力供应，将引入蓄电池储能装置，蓄电池储能装置具有功率响应较快、 可调频调压等特点，更重要的一点是当放电时蓄电池储能装置可以做电源，充 电时又可以做负荷其内部存储的电能可双向流动，但蓄电池储能装置的缺点是 使用寿命较短。现将光伏与蓄电池储能装置联合模块接入多智能体微电网，一 方面，使光伏所发功率变成可控，离网运行时蓄电池储能装置可以作为电源向 多智能体微电网提供电能，实现供需功率平衡；另一方面多智能体微电网并网 时可以调频调压，抑制可再生能源及负荷的波动，提供可靠持续稳定的功率实现削峰填谷。
光伏+蓄电池储能装置为可调度清洁能源，发电成本主要考虑维护费用，变流 器损耗，无燃料费用。光伏+蓄电池储能装置的成本函数建模如下：
式中PG3——光伏+蓄电池的输出功率，kW；
MB为每度电的维护费用,元；
v3、u3、w3为损耗系数。
公式(3-9)可以简化为：
式中α3、β3、γ3——成本函数系数。
如图8所示为光伏和储能联合模块的示意图，其中光伏、蓄电池分别先通过 DC-DC变流器，进行电压等级变换，再通过DC-AC接入多智能体微电网。
(4)柔性负荷的成本建模：
柔性负荷指在一定区间内波动变化或不同时间段发生转移的负荷，即可控负荷。柔性负荷具有双向调节能力实现负荷与电网双向互动，可以实现多智能体微电 网“即插即用”的特点。
建立柔性负荷的成本模型函数为：
式中PLi——柔性负荷消耗的功率，kW；
ai、bi、ci——成本函数系数。
2.2.2可控微源的约束条件
可控微源功率平衡约束：
∑PGi+∑PLj＝0 (3-12)
可控微源功率输出约束：
PGi,min≤PGi≤PGi,max (3-13)
柔性负荷功率约束：
PLi,min≤PL,i≤PLi,max (3-14)
可控微源增量成本模型：
可控微源的输出功率：
柔性负荷增量成本模型：
柔性负荷的输出功率：
此时，(3-13)、(3-14)输出功率约束修改为：
目标函数
目标函数为：
min Ctotal＝∑Ci(PGi)+∑Ci(PLi) (3-21)
经济调度是解决多智能体微电网经济最优运行控制问题的关键，本文设定目标是在满足约束的条件下降低总的发电成本，通过选取各个微源的增量成本为变 量，基于多智能体系统的框架下最终使全局控制变量达到一致且系统福利最大 化。
一致性算法
一致性算法中的各个节点是相互独立、平等的。一致性算法的拓扑结构中没有 可以收集总信息的节点，即不存在领导者，微源通过局部供需功率不匹配估计 值相互迭代更新达到全局一致的目标，实现完全分布式控制策略。
增量成本初始值为：
如图9所示，采用基于MAS无领导者一致性算法分布式控制步骤：
(1)建立组成多智能体微电网的各个分布式电源的成本模型，例如：微型燃 气轮机、蓄电池、柔性负荷等。计算各个微源的初始(t＝0)增量成本。
(2)确定多智能体微电网通讯拓扑结构，计算通讯系数D或M、N。
(3)根据实际多智能体微电网分布式协调优化控制，确立含有约束的目标函 数。
(4)微源采集自身及与其相连的所有微源当前时刻(t＝k)输出功率，计算 该微源局部供需功率不匹配值，从而得到下一时刻(t＝k+1)的增量成本， 带入增量成本公式，继而可求出下一时刻该微源的功率参考值。
(5)经过多个控制周期后，所有微源达到增量成本一致目标，得到经济最优 结果。
三、多智能体能源互联网分层控制方法
3.1.4一级控制策略
传统下垂控制是使逆变器的输出电压和频率与逆变器出口有功功率和无功功 率满足下垂曲线关系。传统下垂控制是按照微源的容量比例分配负荷，没有综 合考虑微源的成本，可能发电成本高的微源多承担负荷，而发电成本低的微源 承担负荷的能力小，从而造成系统不经济运行。传统下垂控制模仿电力系统一 次调频特性，当系统负荷增大时，底层微源逆变器输出的有功功率按下垂曲线 将增大，而负荷功率也因系统频率下降按频率特性减小，最终在这个负反馈过 程共同作用下达到新的平衡点b如图10所示。
下垂控制公式：
f＝f0+(P0-P)mp (3-63)
式中：mp为下垂系数；P0额定有功功率；P实际所发有功功率；f0额定频率。
E＝E0+(Q0-Q)nq (3-64)
式中：nq为下垂系数；Q0额定无功功率；Q实际所发无功功率；E0额定电压。 系统中各个微源应合理承担需求侧的负荷并且保证多智能体微电网的稳定运 行，传统下垂控制方法受到线路阻抗，有功、无功功率耦合作用影响，导致功 率分配精读差甚至影响系统稳定性，因此引入基于MAS分层控制策略改善系统 的运行状况。
本实施例提出的分层控制策略中权重系数是实现三级分布式算法与一级控制 连接的关键。针对本文设定的目标函数三级控制只考虑有功功率，由公式(3-63) 推导出逆变器实际有功功率输出：
通过改变P0i、mpi改变输出功率P实际i。
采用下垂控制的主要目的是为了实现各台互相并联的逆变器的输出功率可以 按照负荷侧要求合理分配，功率分配的环节主要靠调节下垂曲线参数P0i、mpi来实现。
当逆变器实际发出的功率满足公式(3-66)时，就可以完成一级控制与三级控 制结合实现系统最优的经济目标。将公式(3-65)带入公式(3-66)此时若存 在公式(3-67)比例的关系，公式(3-66)成立。
P实际1:P实际2:P实际3＝K1:K2:K3 (3-66)
权重系数：
下垂曲线中参数与权重系数的关系：
mp1K1＝mp2K2＝…＝mpiKi
底层三个逆变器并联，以第一个微源为基准(首先确定P01、mp1)按照公式 (3-59)权重系数比例去调整其他两个微源的实际输出：
本文二级控制中只考虑无功方面，改进原下垂公式(3-64)为(3-69)，利用 分布式算法求取的电压与各个微源的电压偏差调节以实现系统稳定运行。
如图11所示多智能体微电网分层控制架构，各个分布式逆变器采集增量成本、 局部估计供需功率不匹配等信息送入三级控制中完全分布式算法，对整个系统 优化求解出各个微源的最优值。由于一级控制采用分布式控制不存在领导者， 各个逆变器地位相同，三级控制算法计算各个微源的最优功率通过公式(3-58) 推导出底层相应逆变器的权重系数，从而调节相应的下垂曲线参数如公式 (3-66)。由于负荷是不可控的，为了积极响应系统中负荷变化，实时采取负 荷功率并将其值作为上层算法新的控制变量，再次送入分布式算法中进行优化 求解，重新更新权重系数不断修正下垂曲线最终在满足各个微源达到增量成本 一致的同时实现底层功率按经济最优分配。三级控制可以提高下垂控制的功率 分配精度降低系统运行成本，实现多智能体微电网经济运行。二级控制利用分 布式算法求取平均电压与底层各个逆变器电压值偏差进行调节，保证系统无功 平衡以及各个微源电压稳定在正常范围内。
四、区域能源互联网多智能体效率评测方法
1)多能流耦合集成供能系统评价体系
多能流耦合集成供能系统的评价体系可以从三个关键方面入手：能源相关 指标、经济相关指标和环境相关指标。其中，面对不同的评价对象或者同一对 象的不同发展阶段，三个指标的影响权重应该是不同的。以能源－经济－环境 为基础的体系强调了三者之间需要协调共存，能源是重要的物质基础，环境是 能源的载体，而经济的增长是发展目标。经济增长依靠能源的支持，而过度的 开发和利用能源会导致环境问题，从而影响经济的可持续发展。在此的基础上， 针对本文的具体问题，评价指标可以进一步的细化。具体的评价指标如图12 所示。
多能流耦合集成供能系统主要包含电网和热管网两大能源网络。其中，电 网包含光伏发电和风能发电作为可再生能源发电、电力储能系统以及电负荷； 热管网包含与电网实现能量转换的电热泵、热力储能系统以及热负荷。其中， 具体的系统参数和拓扑结构如图13所示。利用能源利用效率、可再生能源消 纳率、经济相关指标和环境相关指标，在IEEE33节点的耦合集成供能系统中， 母线连接了区域能量负荷和大电网以及集中供热系统。在某节点处，电热泵通 过将电能转换成热能对整个区域热负荷进行集中供热。与此同时，容量为热储 能单元可以在能量价格较低的时段将热能储存起来，在随后能量价格较高的时段再释放出来；或者在可再生能源较为充沛的时刻，当电储能充电达到容量上 限的时候，将多余的电能通过电热泵转换成热能储存在热储能中，以提高可再 生能源的消纳率。从能源相关指标、经济相关指标和环境相关指标等多个角度 入手，分析多能耦合集成供能系统运行的评价标准，分别考虑可再生能源消纳 率、系统购电成本以及碳排放量等具体指标。利用上述标准评价所提出的多能 流耦合集成供能系统稳定运行情况。
2)多能流综合能源场景评价方法研究
提出模型-数据混合驱动的运行可靠性评估思路，以模型驱动思想建立并 求解系统状态分析与校正模型，计及多供能子系统运行约束与耦合关联特性， 保证可靠性评估精度，为数据驱动提供训练标签；以数据驱动思想构建机器学 习模型和参数训练算法，挖掘系统状态与运行可靠性间复杂非线性关联关系， 实现运行可靠性实时评估。进一步地将模型-数据混合驱动的思想用于运行可 靠性评估的各个环节，形成综合能源系统运行可靠性评估的“离线建模-在线 评估”新模式，拟解决传统方法评估效率低下的问题。
3)首先，分析区域能源互联网个场景下各站点电、冷、气、热等能流特 点，结合能源品类差异、多能间的互补、可再生能源应用等因素，以能源系统 经济、高效、清洁发展为方向，构建含储能站的多站融合多能源系统综合能效 评估指标体系。
其次，考虑不同的供能、用能形式，根据能源类型对综合能源系统进行细 化分解，形成电、冷、气、热等多个供能子系统，按照入口能源对能源转换设 备进行分类，建立供能子系统和能源转换设备的能效评估模型。
最后，通过对多种不同品类能源统一折算方法的对比分析，形成面向多应 用场景的能源折算算法，基于综合能源系统拓扑结构、集中计量采集数据、能 源转换特性等，提出多站融合下多能源系统综合能效评估模型及算法，识别多 站融合综合能源系统经济性薄弱环节，以系统经济最优运行为优化目标，提出 多站融合工程经济性提升策略。、
本研究内容的技术路线如图14所示。“离线建模-在线评估”运行可靠性评估 模式如图15所示。
Claims (10)
1.一种区域能源互联网多智能体分布式控制及效率评测方法，其特征在于，包括：基于观测器的容错抗扰控制方法、基于多智能体的分布式控制算法、多智能体能源互联网分层控制方法和区域能源互联网多智能体效率评测方法。
2.根据权利要求1所述的一种区域能源互联网多智能体分布式控制及效率评测方法，其特征在于，所述基于观测器的容错抗扰控制方法包括控制对象模型、基于模型的残差生成器、基于残差生成器的容错控制架构以及获取容错控制架构中矩阵Q参数的实现方法。
3.根据权利要求2所述的一种区域能源互联网多智能体分布式控制及效率评测方法，其特征在于，所述控制对象模型包括线性时不变系统、互质分解和扰动作用下系统；
所述基于残差生成器的容错控制架构包括标准反馈系统、内部稳定与尤拉参数化以及容错控制架构推导证明；
所述获取容错控制架构中矩阵Q参数的实现方法包括模型匹配、强化学习和梯度下降。
4.根据权利要求1所述的一种区域能源互联网多智能体分布式控制及效率评测方法，其特征在于，基于多智能体的分布式控制算法包括可控微源及柔性负荷的建模，还有可控微源的约束条件。
5.根据权利要求4所述的一种区域能源互联网多智能体分布式控制及效率评测方法，其特征在于，所述可控微源及柔性负荷的建模包括微型燃气机的成本建模、燃料电池的成本建模和光伏、蓄电池储能联合模块的成本建模和柔性负荷的成本建模；
可控微源的约束条件：包括可控微源功率平衡约束、可控微源功率输出约束和柔性负荷功率约束。
6.根据权利要求4所述的一种区域能源互联网多智能体分布式控制及效率评测方法，其特征在于，所述多智能体能源互联网分层控制方法层控制策略中权重系数是实现三级分布式算法与一级控制连接的关键；设定的目标函数三级控制只考虑有功功率，逆变器实际有功功率输出：
其中，f为下垂控制公式，f0额定频率，P0i为被控对象功率，mpi为被控对象下垂系数；
通过改变P0i、mpi改变输出功率P实际i；
采用下垂控制是为了实现各台互相并联的逆变器的输出功率可以按照负荷侧要求合理分配，功率分配的环节靠调节下垂曲线参数P0i、mpi来实现。
7.根据权利要求6所述的一种区域能源互联网多智能体分布式控制及效率评测方法，其特征在于，下垂控制公式：
f＝f0+(P0-P)mp (3-63)
式中：f为下垂控制公式、mp为下垂系数；P0额定有功功率；P实际所发有功功率；f0为额定频率。
8.根据权利要求1所述的一种区域能源互联网多智能体分布式控制及效率评测方法，其特征在于，所述区域能源互联网多智能体效率评测方法包括多能流耦合集成供能系统评价体系、多能流综合能源场景评价方法、各子系统及设备的能效评估模型。
9.根据权利要求8所述的一种区域能源互联网多智能体分布式控制及效率评测方法，其特征在于，所述多能流耦合集成供能系统评价体系包括评估标准及评估原则确立、综合能源系统能效特点分析和指标选取及层次建立；
所述各子系统及设备的能效评估模型包括按能源类型进行子系统划分、能源转换设备分类和各子系统及设备能效评估建模。
10.根据权利要求1所述的一种区域能源互联网多智能体分布式控制及效率评测方法，其特征在于，所述多能流综合能源场景评价方法包括能源统一折算、各子系统融合、多能源系统综合能效评估模型及算法和工程经济性提升策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111570310.3A CN114336704A (zh) | 2021-12-21 | 2021-12-21 | 一种区域能源互联网多智能体分布式控制及效率评测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111570310.3A CN114336704A (zh) | 2021-12-21 | 2021-12-21 | 一种区域能源互联网多智能体分布式控制及效率评测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114336704A true CN114336704A (zh) | 2022-04-12 |
Family
ID=81054056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111570310.3A Pending CN114336704A (zh) | 2021-12-21 | 2021-12-21 | 一种区域能源互联网多智能体分布式控制及效率评测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114336704A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114862621A (zh) * | 2022-05-06 | 2022-08-05 | 重庆邮电大学 | 一种基于时变有向拓扑下智能电网频率调节分布式经济调度控制方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110957758A (zh) * | 2019-11-20 | 2020-04-03 | 国网河北省电力有限公司电力科学研究院 | 一种基于广域态势感知的综合能源能效评价与控制性能优化方法 |
-
2021
- 2021-12-21 CN CN202111570310.3A patent/CN114336704A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110957758A (zh) * | 2019-11-20 | 2020-04-03 | 国网河北省电力有限公司电力科学研究院 | 一种基于广域态势感知的综合能源能效评价与控制性能优化方法 |
Non-Patent Citations (4)
| Title |
|---|
| 丁丽: "基于多智能体系统微电网分布式控制研究", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑 * |
| 刘洪等: "计及能源品位差异的园区多能源系统综合能效评估", 电网技术 * |
| 汪洋: "基于容错控制架构的微电网变流器电能质量控制策略研究", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑 * |
| 程铭: "热—电耦合集成供能系统建模与能量优化调度", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114862621A (zh) * | 2022-05-06 | 2022-08-05 | 重庆邮电大学 | 一种基于时变有向拓扑下智能电网频率调节分布式经济调度控制方法 |
| CN114862621B (zh) * | 2022-05-06 | 2024-05-28 | 重庆邮电大学 | 一种基于时变有向拓扑下智能电网频率调节分布式经济调度控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fontenot et al. | Modeling and control of building-integrated microgrids for optimal energy management–a review | |
| Radhakrishnan et al. | A multi-agent based distributed energy management scheme for smart grid applications | |
| Khalid et al. | Efficient load frequency control of renewable integrated power system: A twin delayed DDPG-based deep reinforcement learning approach | |
| CN106058855A (zh) | 协调储能与柔性负荷的主动配电网多目标优化调度方法 | |
| Fan et al. | A load frequency coordinated control strategy for multimicrogrids with V2G based on improved MA-DDPG | |
| CN110676849B (zh) | 一种孤岛微电网群能量调度模型的构建方法 | |
| Ameur et al. | Intelligent optimization and management system for renewable energy systems using multi-agent | |
| CN114243727B (zh) | 一种基于广域感知预测的源网荷自趋优智能调控体系和实时控制优化技术方法 | |
| Li et al. | Distributed and real-time economic dispatch strategy for an islanded microgrid with fair participation of thermostatically controlled loads | |
| CN117254491A (zh) | 一种风光氢储微网系统时域滚动优化方法及系统 | |
| CN106786702B (zh) | 用于混合储能系统的全状态模型预测能量调度方法 | |
| Xing et al. | Energy management in microgrid and multi‐microgrid | |
| CN110011298B (zh) | 一种构建自治型可重构微网群系统的运行控制策略 | |
| Chen et al. | Reinforcement learning based two‐timescale energy management for energy hub | |
| CN114336704A (zh) | 一种区域能源互联网多智能体分布式控制及效率评测方法 | |
| Lu et al. | Advances in Model Predictive Control for Large-Scale Wind Power Integration in Power Systems: A Comprehensive Review | |
| Liu et al. | An AGC dynamic optimization method based on proximal policy optimization | |
| Xi et al. | Q-learning algorithm based multi-agent coordinated control method for microgrids | |
| Saadaoui et al. | Hybridization and energy storage high efficiency and low cost | |
| Du et al. | Deep reinforcement learning for adaptive frequency control of island microgrid considering control performance and economy | |
| CN118646003B (zh) | 基于一致性原理的多级协同配微能量管理方法及装置 | |
| Li et al. | A Cooperative Dispatch Algorithm for Hydrogen-Based Grid-Connection Microgrids: A Multi-Agent Reinforcement Learning Method | |
| Haidar et al. | Analysis of grid-connected solar PV system operation based on energy router concept | |
| Hu et al. | Safe Deep Reinforcement Learning-Based Real-Time Multi-Energy Management in Combined Heat and Power Microgrids | |
| Gbadega | Adaptive model predictive control of renewable energy-based micro-grid. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220412 |