CN115310259A - 基于软行动者-批评者的园区综合能源系统梯级优化方法 - Google Patents

Abstract

一种基于软行动者‑批评者的园区综合能源系统梯级优化方法：对园区综合能源系统内的负荷按能源品位进行划分：热负荷划分为高品位的蒸汽负荷、高温热负荷和低品位的中温热负荷；构建园区综合能源系统的燃气轮机与余热锅炉的热电联产模型、燃气锅炉的制热模型、变压器和换热器的转换模型、电热泵模型、尖峰加热器的转换模型和储能设备模型；建立园区综合能源系统的能源供需平衡模型；建立园区综合能源系统梯级优化模型；设计智能体的状态、动作和奖励函数，运用软行动者‑批评者对园区综合能源系统梯级优化模型进行求解，得到电力、天然气以及热力的优化运行结果。本发明实现了各品位能源的合理梯级利用，提升了能源利用效率。

Description

基于软行动者-批评者的园区综合能源系统梯级优化方法

技术领域

本发明涉及一种园区综合能源系统梯级优化方法。特别是涉及一种基于软行动者-批评者的园区综合能源系统梯级优化方法。

背景技术

低碳经济发展是全球为应对气候变化而提出的全新经济发展模式，能源利用效率的提高将助力全球能源系统的低碳化转型。综合能源系统耦合了电，热，气等多类能源形式，在运行过程中需要通过优化多类型能源设备出力实现综合能源系统经济运行，大大提高了能源利用效率。

现有研究从时空维度针对综合能源系统的协调优化运行提供了可行方案，但未从供能结构角度对提高能源转化效率深入探讨。从求解方法角度分析，现有研究所采用求解方法往往基于历史数据，依赖各类可再生能源出力以及用户负荷的精确预测，且对于大规模综合能源系统高维优化问题的求解速度较慢。

随着人工智能和电力系统及综合能源系统的融合日益紧密，将人工智能方法应用到综合能源系统优化运行领域，能够有效提升复杂系统应对多元不确定性的能力，从而提高综合能源系统运营的安全性和经济性。

发明内容

本发明所要解决的技术问题是，为了克服现有技术的不足，提供一种考虑多种能源品位的基于软行动者-批评者的园区综合能源系统梯级优化方法。

本发明所采用的技术方案是：一种基于软行动者-批评者的园区综合能源系统梯级优化方法，包括如下步骤：

1)对园区综合能源系统内的负荷按能源品位进行划分：将园区综合能源系统内的负荷分为电负荷、气负荷和热负荷，其中热负荷划分为高品位的蒸汽负荷、高温热负荷和低品位的中温热负荷；

2)构建园区综合能源系统的能源转换设备模型，包括有；燃气轮机与余热锅炉的热电联产模型、燃气锅炉的制热模型、变压器和换热器的转换模型、电热泵模型、尖峰加热器的转换模型和储能设备模型；

3)建立园区综合能源系统的能源供需平衡模型；

4)建立园区综合能源系统梯级优化模型，包括，以经济成本F最小为园区综合能源系统梯级优化模型的目标函数，以网络购能约束和设备运行约束为约束条件；

5)针对园区综合能源系统梯级优化模型设计智能体的状态、动作和奖励函数，运用软行动者-批评者对园区综合能源系统梯级优化模型进行求解，得到电力、天然气以及热力的优化运行结果。

步骤2)中：

(1)所述的燃气轮机与余热锅炉的热电联产模型为：

P_GT＝η_GT,eH_ngG_GT

H_GT,m＝η_GT,reη_HR(1-η_GT,e)H_ngG_GT

H_GT,st＝η_GT,st(1-η_GT,e)H_ngG_GT

其中，G_GT为燃气轮机的进气量；P_GT为燃气轮机发出的电功率；H_GT,m为余热锅炉通过回收燃气轮机的废气产生的中温热功率；H_GT,st为燃气轮机抽气蒸汽功率；η_GT,e，η_GT,re，η_GT,st分别为燃气轮机的发电效率、余热比例系数和抽气比例系数；η_HR为余热锅炉余热回收效率；H_ng为天然气的低位燃烧热值；

(2)燃气锅炉的制热模型为：

H_GB＝η_GBH_ngG_GB

其中，G_GB为燃气锅炉的进气量；H_GB为燃气锅炉产生的高温蒸汽所含热能；η_GB为燃气锅炉产热效率；

(3)变压器和换热器的转换模型为：

P_T＝η_TP_grid

H_HE＝η_HEH_grid

其中，P_grid和H_grid分别为购电功率和购热功率；P_T和H_HE分别为变压器的输出电功率和换热器的输出热功率；η_T和η_HE分别为变压器和换热器的转换效率；

(4)电热泵模型为：

H_HP＝C_HPP_HP

其中，P_HP，H_HP分别为电热泵耗电功率和制热功率；C_HP为电热泵能效比；

(5)尖峰加热器的转换模型为：

H_PLC,out＝η_PLCH_PLC,in

其中，H_PLC,in，H_PLC,out分别为尖峰加热器消耗的蒸汽功率和产生的高温热功率；η_PLC为尖峰加热器转换效率；

(6)储能设备模型为：

E_ES(t)＝E_ES(t-1)(1-δ_ES)+η_ESP_ES(t)Δt

E_GS(t)＝E_GS(t-1)(1-δ_GS)+η_GSG_GS(t)Δt

E_HS(t)＝E_HS(t-1)(1-δ_HS)+η_HSH_HS(t)Δt

其中，E_ES(t)，E_GS(t)，E_HS(t)分别为当前时刻的电储能能量状态、气储能能量状态和热储能能量状态；E_ES(t-1)，E_GS(t-1)，E_HS(t-1)分别为上一时刻的电储能能量状态、气储能能量状态和热储能能量状态；P_ES(t)，G_GS(t)，H_HS(t)分别为当前时刻的电储能充/放能功率、气储能充/ 放能功率和热储能充/放能功率；δ_ES，δ_GS，δ_HS分别为电储能自损率、气储能自损率和热储能自损率；η_ES,η_GS,η_HS分别为电储能的充/放能系数、气储能的充/放能系数和热储能的充/放能系数；Δt为时间间隔。

步骤3)中所述的园区综合能源系统的能源供需平衡模型表示为如下公式：

其中，L_e，L_g，L_m，L_h，L_st，L_l分别为电负荷、气负荷、中温热负荷、高温热负荷、蒸汽负荷和低温热负荷；P_grid，G_grid，H_grid分别为购电功率、购气功率和购热功率；P_wt和P_pv分别为风力发电功率和光伏发电功率；G_GT，H_HR，P_HP，G_GB，H_PLC,in分别为燃气轮机的进气量、余热锅炉收集的热功率、电热泵耗电功率、燃气锅炉的进气量和尖峰加热器消耗的蒸汽功率；P_ES，G_GS，H_HS分别为电储能充/放能功率、气储能充/放能功率和热储能充/放能功率；η_T，η_HE分别为变压器和换热器的转换效率；η_GT,e，η_GT,re，η_GT,st，η_HR，η_GB，η_PLC，C_HP分别为燃气轮机的发电效率、余热比例系数、抽气比例系数、余热锅炉余热回收效率、燃气锅炉产热效率、尖峰加热器转换效率和电热泵能效比；η_ES,η_GS,η_HS分别为电储能的充/放能系数、气储能的充/放能系数和热储能的充/放能系数；H_ng为天然气的低位燃烧热值。

步骤4)中所述的目标函数表示为：

其中，

分别为购能成本以及储能的充放电折旧成本；

购能成本

具体形式为：

其中，P_grid(t)，G_grid(t)，H_grid(t)分别为当前时刻的购电功率、购气功率和购热功率；ε_e(t)，ε_s(t)，ε_h(t)分别为当前时刻的购电单价、购气单价和购热单价；Δt为时间间隔；

储能充放电折旧成本

具体形式为：

其中，

分别为当前时刻的电储能充放能折旧成本、气储能充放能折旧成本和热储能充放能折旧成本；ρ_ES，ρ_GS，ρ_HS分别表示电储能的折旧系数、气储能的折旧系数和热储能的折旧系数；P_ES(t)，G_GS(t)，H_HS(t)分别为当前时刻的电储能充/放能功率、气储能充/放能功率和热储能充/放能功率。

步骤4)中所述的

(1)网络购能约束为：

其中，P_grid(t)，G_grid(t)，H_grid(t)分别为当前时刻的购电功率、购气功率和购热功率；

和

为购电功率上、下限；

和

为购气功率上、下限；

和

为购热功率上、下限；

(2)设备运行约束为：

其中，P_GT(t)，H_GB(t)，P_HP(t)，H_PLC,out(t)分别为当前时刻燃气轮机发出的电功率、燃气锅炉产生的高温蒸汽所含热能、电热泵耗电功率和尖峰加热器产生的高温热功率；E_ES(t)，E_GS(t)， E_HS(t)分别为当前时刻的电储能能量状态、气储能能量状态和热储能能量状态；

和

为燃气轮机发出电功率上、下限；

和

为燃气锅炉发出热功率上、下限；

和

为电热泵耗电功率上、下限；

和

为尖峰加热器产生的高温热功率上、下限；

和

为电储能的能量状态上、下限；

和

为气储能的能量状态上、下限；

和

为热储能的能量状态上、下限。

步骤5)中所述的针对园区综合能源系统梯级优化模型设计智能体的状态、动作和奖励函数，包括：

(1)智能体的状态s_t设计为：

s_t＝{L_e(t),L_g(t),L_m(t),L_h(t),L_st(t),P_wt(t),P_pv(t),E_ES(t),E_GS(t),E_HS(t),t}

其中，L_e(t)，L_g(t)，L_m(t)，L_h(t)，L_st(t)分别为当前时刻的电负荷、气负荷、中温热负荷、高温热负荷和蒸汽负荷；P_wt(t)和P_pv(t)分别为当前时刻的风力发电功率和光伏发电功率； E_ES(t)，E_GS(t)，E_HS(t)分别为当前时刻的电储能能量状态、气储能能量状态和热储能能量状态； t表示当前时刻；

(2)智能体的动作a_t设计为：

a_t＝{P_GT(t),P_HP(t),H_GB(t),H_PLC,out(t),P_ES(t),G_GS(t),H_HS(t),P_grid(t),G_grid(t),H_grid(t)}

其中，P_GT(t)，P_HP(t)，H_GB(t)，H_PLC,out(t)分别为当前时刻燃气轮机发出的电功率、电热泵耗电功率、燃气锅炉产生的高温蒸汽所含热能和尖峰加热器产生的高温热功率；P_ES(t)，G_GS(t)， H_HS(t)分别为当前时刻的电储能充/放能功率、气储能充/放能功率和热储能充/放能功率；P_grid(t)， G_grid(t)，H_grid(t)分别为当前时刻的购电功率、购气功率和购热功率；

(3)智能体的奖励函数r_t设计为：

其中，

分别为购能成本以及储能的充放电折旧成本；α₁，α₂分别为购能成本的权重和储能的充放电折旧成本的权重。

步骤5)中所述的运用软行动者-批评者对园区综合能源系统梯级优化模型进行求解，得到电力、天然气以及热力的优化运行结果，表示为在训练过程中寻找最优策略π^*：

其中，π为智能体策略；s_t为智能体的状态；a_t为智能体的动作；r_t为智能体的奖励函数；ρ_π为智能体依照智能体策略π生成的状态-动作组集合；H(π(·|s_t))为智能体依照智能体策略π输出的动作熵值；α为熵值对应参数。

本发明的基于软行动者-批评者的园区综合能源系统梯级优化方法，具有如下优点：

1、本发明所提出的园区综合能源系统梯级优化模型结合园区综合能源系统负荷多样化需求，从供能结构角度进行考虑，将负荷按能源品位进行划分，实现了各品位能源的合理梯级利用，提升了能源利用效率。

2、本发明所设计方法充分发挥了多能互补优势，提高了综合能源系统的经济性。

3、本发明所采用的软行动者-批评者方法能够对设备的连续动作进行优化控制，有效避免了动作空间的“维数灾”问题。

4、本发明所设计方法无需对源荷进行精准预测，能够有效提升复杂系统应对多元不确定性的能力，从而提高了综合能源系统运营的安全性。

5、本发明所提出的园区综合能源系统梯级优化运行方法可有效实现园区综合能源系统经济运行，对工程应用具有实际意义。

附图说明

图1是本发明基于软行动者-批评者的园区综合能源系统梯级优化方法的流程图；

图2是本发明实例中新能源出力曲线、负荷曲线和电价曲线示意图；

图3是本发明实例中电力优化运行结果示意图；

图4是本发明实例中天然气优化运行结果示意图；

图5是本发明实例中热力优化运行结果示意图。

具体实施方式

下面结合实施例和附图对本发明的基于软行动者-批评者的园区综合能源系统梯级优化方法做出详细说明。

如图1所示，本发明的基于软行动者-批评者的园区综合能源系统梯级优化方法，包括如下步骤：

1)对园区综合能源系统内的负荷按能源品位进行划分：将园区综合能源系统内的负荷分为电负荷、气负荷和热负荷，其中热负荷划分为高品位的蒸汽负荷、高温热负荷和低品位的中温热负荷；

2)构建园区综合能源系统的能源转换设备模型，包括有；燃气轮机与余热锅炉的热电联产模型、燃气锅炉的制热模型、变压器和换热器的转换模型、电热泵模型、尖峰加热器的转换模型和储能设备模型；其中：

(1)所述的燃气轮机与余热锅炉的热电联产模型为：

P_GT＝η_GT,eH_ngG_GT

H_GT,m＝η_GT,reη_HR(1-η_GT,e)H_ngG_GT

H_GT,st＝η_GT,st(1-η_GT,e)H_ngG_GT

其中，G_GT为燃气轮机的进气量；P_GT为燃气轮机发出的电功率；H_GT,m为余热锅炉通过回收燃气轮机的废气产生的中温热功率；H_GT,st为燃气轮机抽气蒸汽功率；η_GT,e，η_GT,re，η_GT,st分别为燃气轮机的发电效率、余热比例系数和抽气比例系数；η_HR为余热锅炉余热回收效率；H_ng为天然气的低位燃烧热值；

(2)燃气锅炉的制热模型为：

H_GB＝η_GBH_ngG_GB

其中，G_GB为燃气锅炉的进气量；H_GB为燃气锅炉产生的高温蒸汽所含热能；η_GB为燃气锅炉产热效率；

(3)变压器和换热器的转换模型为：

P_T＝η_TP_grid

H_HE＝η_HEH_grid

其中，P_grid和H_grid分别为购电功率和购热功率；P_T和H_HE分别为变压器的输出电功率和换热器的输出热功率；η_T和η_HE分别为变压器和换热器的转换效率；

(4)电热泵模型为：

H_HP＝C_HPP_HP

其中，P_HP，H_HP分别为电热泵耗电功率和制热功率；C_HP为电热泵能效比；

(5)尖峰加热器的转换模型为：

H_PLC,out＝η_PLCH_PLC,in

其中，H_PLC,in，H_PLC,out分别为尖峰加热器消耗的蒸汽功率和产生的高温热功率；η_PLC为尖峰加热器转换效率；

(6)储能设备模型为：

E_ES(t)＝E_ES(t-1)(1-δ_ES)+η_ESP_ES(t)Δt

E_GS(t)＝E_GS(t-1)(1-δ_GS)+η_GSG_GS(t)Δt

E_HS(t)＝E_HS(t-1)(1-δ_HS)+η_HSH_HS(t)Δt

其中，E_ES(t)，E_GS(t)，E_HS(t)分别为当前时刻的电储能能量状态、气储能能量状态和热储能能量状态；E_ES(t-1)，E_GS(t-1)，E_HS(t-1)分别为上一时刻的电储能能量状态、气储能能量状态和热储能能量状态；P_ES(t)，G_GS(t)，H_HS(t)分别为当前时刻的电储能充/放能功率、气储能充/ 放能功率和热储能充/放能功率；δ_ES，δ_GS，δ_HS分别为电储能自损率、气储能自损率和热储能自损率；η_ES,η_GS,η_HS分别为电储能的充/放能系数、气储能的充/放能系数和热储能的充/放能系数；Δt为时间间隔。

3)建立园区综合能源系统的能源供需平衡模型；所述的园区综合能源系统的能源供需平衡模型表示为如下公式：

其中，L_e，L_g，L_m，L_h，L_st，L_l分别为电负荷、气负荷、中温热负荷、高温热负荷、蒸汽负荷和低温热负荷；P_grid，G_grid，H_grid分别为购电功率、购气功率和购热功率；P_wt和P_pv分别为风力发电功率和光伏发电功率；G_GT，H_HR，P_HP，G_GB，H_PLC,in分别为燃气轮机的进气量、余热锅炉收集的热功率、电热泵耗电功率、燃气锅炉的进气量和尖峰加热器消耗的蒸汽功率；P_ES，G_GS，H_HS分别为电储能充/放能功率、气储能充/放能功率和热储能充/放能功率；η_T，η_HE分别为变压器和换热器的转换效率；η_GT,e，η_GT,re，η_GT,st，η_HR，η_GB，η_PLC，C_HP分别为燃气轮机的发电效率、余热比例系数、抽气比例系数、余热锅炉余热回收效率、燃气锅炉产热效率、尖峰加热器转换效率和电热泵能效比；η_ES,η_GS,η_HS分别为电储能的充/放能系数、气储能的充/放能系数和热储能的充/放能系数；H_ng为天然气的低位燃烧热值。

4)建立园区综合能源系统梯级优化模型，包括，以经济成本F最小为园区综合能源系统梯级优化模型的目标函数，以网络购能约束和设备运行约束为约束条件；其中，

(1)所述的目标函数表示为：

其中，

分别为购能成本以及储能的充放电折旧成本；

购能成本

具体形式为：

其中，P_grid(t)，G_grid(t)，H_grid(t)分别为当前时刻的购电功率、购气功率和购热功率；ε_e(t)，ε_s(t)，ε_h(t)分别为当前时刻的购电单价、购气单价和购热单价；Δt为时间间隔；

储能充放电折旧成本

具体形式为：

其中，

分别为当前时刻的电储能充放能折旧成本、气储能充放能折旧成本和热储能充放能折旧成本；ρ_ES，ρ_GS，ρ_HS分别表示电储能的折旧系数、气储能的折旧系数和热储能的折旧系数；P_ES(t)，G_GS(t)，H_HS(t)分别为当前时刻的电储能充/放能功率、气储能充/放能功率和热储能充/放能功率。

(2)所述的网络购能约束为：

其中，P_grid(t)，G_grid(t)，H_grid(t)分别为当前时刻的购电功率、购气功率和购热功率；

和

为购电功率上、下限；

和

为购气功率上、下限；

和

为购热功率上、下限；

(3)所述的设备运行约束为：

其中，P_GT(t)，H_GB(t)，P_HP(t)，H_PLC,out(t)分别为当前时刻燃气轮机发出的电功率、燃气锅炉产生的高温蒸汽所含热能、电热泵耗电功率和尖峰加热器产生的高温热功率；E_ES(t)，E_GS(t)， E_HS(t)分别为当前时刻的电储能能量状态、气储能能量状态和热储能能量状态；

和

为燃气轮机发出电功率上、下限；

和

为燃气锅炉发出热功率上、下限；

和

为电热泵耗电功率上、下限；

和

为尖峰加热器产生的高温热功率上、下限；

和

为电储能的能量状态上、下限；

和

为气储能的能量状态上、下限；

和

为热储能的能量状态上、下限。

5)针对园区综合能源系统梯级优化模型设计智能体的状态、动作和奖励函数，运用软行动者-批评者对园区综合能源系统梯级优化模型进行求解，得到电力、天然气以及热力的优化运行结果；其中，

(1)所述的针对园区综合能源系统梯级优化模型设计智能体的状态、动作和奖励函数，包括：

(1.1)智能体的状态s_t设计为：

s_t＝{L_e(t),L_g(t),L_m(t),L_h(t),L_st(t),P_wt(t),P_pv(t),E_ES(t),E_GS(t),E_HS(t),t}

其中，L_e(t)，L_g(t)，L_m(t)，L_h(t)，L_st(t)分别为当前时刻的电负荷、气负荷、中温热负荷、高温热负荷和蒸汽负荷；P_wt(t)和P_pv(t)分别为当前时刻的风力发电功率和光伏发电功率； E_ES(t)，E_GS(t)，E_HS(t)分别为当前时刻的电储能能量状态、气储能能量状态和热储能能量状态； t表示当前时刻；

(1.2)智能体的动作a_t设计为：

a_t＝{P_GT(t),P_HP(t),H_GB(t),H_PLC,out(t),P_ES(t),G_GS(t),H_HS(t),P_grid(t),G_grid(t),H_grid(t)}

其中，P_GT(t)，P_HP(t)，H_GB(t)，H_PLC,out(t)分别为当前时刻燃气轮机发出的电功率、电热泵耗电功率、燃气锅炉产生的高温蒸汽所含热能和尖峰加热器产生的高温热功率；P_ES(t)，G_GS(t)， H_HS(t)分别为当前时刻的电储能充/放能功率、气储能充/放能功率和热储能充/放能功率；P_grid(t)， G_grid(t)，H_grid(t)分别为当前时刻的购电功率、购气功率和购热功率；

(1.3)智能体的奖励函数r_t设计为：

其中，

分别为购能成本以及储能的充放电折旧成本；α₁，α₂分别为购能成本的权重和储能的充放电折旧成本的权重。

(2)所述的运用软行动者-批评者对园区综合能源系统梯级优化模型进行求解，得到电力、天然气以及热力的优化运行结果，表示为在训练过程中寻找最优策略π^*：

其中，π为智能体策略；s_t为智能体的状态；a_t为智能体的动作；r_t为智能体的奖励函数；ρ_π为智能体依照智能体策略π生成的状态-动作组集合；H(π(·|s_t))为智能体依照智能体策略π输出的动作熵值；α为熵值对应参数。

下面给出实例：

采用本发明基于软行动者-批评者的园区综合能源系统梯级优化方法，对图2所示的新能源出力曲线、负荷曲线和电价曲线进行梯级优化运行，得到如图3、图4、图5所示的优化运行结果。其中，

图3给出了电力优化运行结果，电价谷段时，电力负荷基本由风电及外网购电满足，燃气轮机发出少量电能，电热泵消耗较多电能用于发热，电储能充电以备后续电价升高。而在电价的平段以及峰段时，光伏发出部分电能，燃气轮机由于其热电联产带来的经济性在此时段几乎满出力运行，电热泵消耗少量电能，电储能放电赚取峰谷电价差。

图4给出了天然气优化运行结果，谷电价时燃气轮机由于较低负荷运行，消耗少量天然气，燃气锅炉消耗较多天然气，平电价以及峰电价时，燃气轮机消耗大量天然气而燃气锅炉消耗少量天然气。

图5给出了热力优化运行结果，高温热负荷完全由尖峰加热器满足，燃气轮机在谷电价时发出少量蒸汽热能并结合余热锅炉发出少量中温热能，在平电价以及峰电价时发出大量蒸汽热能以及中温热能，燃气锅炉在谷电价时发出大量蒸汽热能，在平电价和峰电价时发出少量蒸汽热能，部分蒸汽热能输入尖峰加热器用于生产高温热能，电热泵在谷电价时生产大量中温热能，在平电价和峰电价时生产少量中温热能，其余中温热能缺额从热力网购能补足。

Claims (7)

1.一种基于软行动者-批评者的园区综合能源系统梯级优化方法，其特征在于，包括如下步骤：

1)对园区综合能源系统内的负荷按能源品位进行划分：将园区综合能源系统内的负荷分为电负荷、气负荷和热负荷，其中热负荷划分为高品位的蒸汽负荷、高温热负荷和低品位的中温热负荷；

2)构建园区综合能源系统的能源转换设备模型，包括有；燃气轮机与余热锅炉的热电联产模型、燃气锅炉的制热模型、变压器和换热器的转换模型、电热泵模型、尖峰加热器的转换模型和储能设备模型；

3)建立园区综合能源系统的能源供需平衡模型；

4)建立园区综合能源系统梯级优化模型，包括，以经济成本F最小为园区综合能源系统梯级优化模型的目标函数，以网络购能约束和设备运行约束为约束条件；

5)针对园区综合能源系统梯级优化模型设计智能体的状态、动作和奖励函数，运用软行动者-批评者对园区综合能源系统梯级优化模型进行求解，得到电力、天然气以及热力的优化运行结果。

2.根据权利要求1所述的基于软行动者-批评者的园区综合能源系统梯级优化方法，其特征在于，步骤2)中：

(1)所述的燃气轮机与余热锅炉的热电联产模型为：

P_GT＝η_GT,eH_ngG_GT

H_GT,m＝η_GT,reη_HR(1-η_GT,e)H_ngG_GT

H_GT,st＝η_GT,st(1-η_GT,e)H_ngG_GT

其中，G_GT为燃气轮机的进气量；P_GT为燃气轮机发出的电功率；H_GT,m为余热锅炉通过回收燃气轮机的废气产生的中温热功率；H_GT,st为燃气轮机抽气蒸汽功率；η_GT,e，η_GT,re，η_GT,st分别为燃气轮机的发电效率、余热比例系数和抽气比例系数；η_HR为余热锅炉余热回收效率；H_ng为天然气的低位燃烧热值；

(2)燃气锅炉的制热模型为：

H_GB＝η_GBH_ngG_GB

其中，G_GB为燃气锅炉的进气量；H_GB为燃气锅炉产生的高温蒸汽所含热能；η_GB为燃气锅炉产热效率；

(3)变压器和换热器的转换模型为：

P_T＝η_TP_grid

H_HE＝η_HEH_grid

其中，P_grid和H_grid分别为购电功率和购热功率；P_T和H_HE分别为变压器的输出电功率和换热器的输出热功率；η_T和η_HE分别为变压器和换热器的转换效率；

(4)电热泵模型为：

H_HP＝C_HPP_HP

其中，P_HP，H_HP分别为电热泵耗电功率和制热功率；C_HP为电热泵能效比；

(5)尖峰加热器的转换模型为：

H_PLC,out＝η_PLCH_PLC,in

其中，H_PLC,in，H_PLC,out分别为尖峰加热器消耗的蒸汽功率和产生的高温热功率；η_PLC为尖峰加热器转换效率；

(6)储能设备模型为：

E_ES(t)＝E_ES(t-1)(1-δ_ES)+η_ESP_ES(t)Δt

E_GS(t)＝E_GS(t-1)(1-δ_GS)+η_GSG_GS(t)Δt

E_HS(t)＝E_HS(t-1)(1-δ_HS)+η_HSH_HS(t)Δt

其中，E_ES(t)，E_GS(t)，E_HS(t)分别为当前时刻的电储能能量状态、气储能能量状态和热储能能量状态；E_ES(t-1)，E_GS(t-1)，E_HS(t-1)分别为上一时刻的电储能能量状态、气储能能量状态和热储能能量状态；P_ES(t)，G_GS(t)，H_HS(t)分别为当前时刻的电储能充/放能功率、气储能充/放能功率和热储能充/放能功率；δ_ES，δ_GS，δ_HS分别为电储能自损率、气储能自损率和热储能自损率；η_ES,η_GS,η_HS分别为电储能的充/放能系数、气储能的充/放能系数和热储能的充/放能系数；Δt为时间间隔。

3.根据权利要求1所述的基于软行动者-批评者的园区综合能源系统梯级优化方法，其特征在于，步骤3)中所述的园区综合能源系统的能源供需平衡模型表示为如下公式：

其中，L_e，L_g，L_m，L_h，L_st，L_l分别为电负荷、气负荷、中温热负荷、高温热负荷、蒸汽负荷和低温热负荷；P_grid，G_grid，H_grid分别为购电功率、购气功率和购热功率；P_wt和P_pv分别为风力发电功率和光伏发电功率；G_GT，H_HR，P_HP，G_GB，H_PLC,in分别为燃气轮机的进气量、余热锅炉收集的热功率、电热泵耗电功率、燃气锅炉的进气量和尖峰加热器消耗的蒸汽功率；P_ES，G_GS，H_HS分别为电储能充/放能功率、气储能充/放能功率和热储能充/放能功率；η_T，η_HE分别为变压器和换热器的转换效率；η_GT,e，η_GT,re，η_GT,st，η_HR，η_GB，η_PLC，C_HP分别为燃气轮机的发电效率、余热比例系数、抽气比例系数、余热锅炉余热回收效率、燃气锅炉产热效率、尖峰加热器转换效率和电热泵能效比；η_ES,η_GS,η_HS分别为电储能的充/放能系数、气储能的充/放能系数和热储能的充/放能系数；H_ng为天然气的低位燃烧热值。

4.根据权利要求1所述的基于软行动者-批评者的园区综合能源系统梯级优化方法，其特征在于，步骤4)中所述的目标函数表示为：

其中，

分别为购能成本以及储能的充放电折旧成本；

购能成本

具体形式为：

其中，P_grid(t)，G_grid(t)，H_grid(t)分别为当前时刻的购电功率、购气功率和购热功率；ε_e(t)，ε_s(t)，ε_h(t)分别为当前时刻的购电单价、购气单价和购热单价；Δt为时间间隔；

储能充放电折旧成本

具体形式为：

其中，

分别为当前时刻的电储能充放能折旧成本、气储能充放能折旧成本和热储能充放能折旧成本；ρ_ES，ρ_GS，ρ_HS分别表示电储能的折旧系数、气储能的折旧系数和热储能的折旧系数；P_ES(t)，G_GS(t)，H_HS(t)分别为当前时刻的电储能充/放能功率、气储能充/放能功率和热储能充/放能功率。

5.根据权利要求1所述的基于软行动者-批评者的园区综合能源系统梯级优化方法，其特征在于，步骤4)中所述的

(1)网络购能约束为：

其中，P_grid(t)，G_grid(t)，H_grid(t)分别为当前时刻的购电功率、购气功率和购热功率；

和

为购电功率上、下限；

和

为购气功率上、下限；

和

为购热功率上、下限；

(2)设备运行约束为：

其中，P_GT(t)，H_GB(t)，P_HP(t)，H_PLC,out(t)分别为当前时刻燃气轮机发出的电功率、燃气锅炉产生的高温蒸汽所含热能、电热泵耗电功率和尖峰加热器产生的高温热功率；E_ES(t)，E_GS(t)，E_HS(t)分别为当前时刻的电储能能量状态、气储能能量状态和热储能能量状态；

和

为燃气轮机发出电功率上、下限；

和

为燃气锅炉发出热功率上、下限；

和

为电热泵耗电功率上、下限；

和

为尖峰加热器产生的高温热功率上、下限；

和

为电储能的能量状态上、下限；

和

为气储能的能量状态上、下限；

和

为热储能的能量状态上、下限。

6.根据权利要求1所述的基于软行动者-批评者的园区综合能源系统梯级优化方法，其特征在于，步骤5)中所述的针对园区综合能源系统梯级优化模型设计智能体的状态、动作和奖励函数，包括：

(1)智能体的状态s_t设计为：

s_t＝{L_e(t),L_g(t),L_m(t),L_h(t),L_st(t),P_wt(t),P_pv(t),E_ES(t),E_GS(t),E_HS(t),t}

其中，L_e(t)，L_g(t)，L_m(t)，L_h(t)，L_st(t)分别为当前时刻的电负荷、气负荷、中温热负荷、高温热负荷和蒸汽负荷；P_wt(t)和P_pv(t)分别为当前时刻的风力发电功率和光伏发电功率；E_ES(t)，E_GS(t)，E_HS(t)分别为当前时刻的电储能能量状态、气储能能量状态和热储能能量状态；t表示当前时刻；

(2)智能体的动作a_t设计为：

a_t＝{P_GT(t),P_HP(t),H_GB(t),H_PLC,out(t),P_ES(t),G_GS(t),H_HS(t),P_grid(t),G_grid(t),H_grid(t)}

其中，P_GT(t)，P_HP(t)，H_GB(t)，H_PLC,out(t)分别为当前时刻燃气轮机发出的电功率、电热泵耗电功率、燃气锅炉产生的高温蒸汽所含热能和尖峰加热器产生的高温热功率；P_ES(t)，G_GS(t)，H_HS(t)分别为当前时刻的电储能充/放能功率、气储能充/放能功率和热储能充/放能功率；P_grid(t)，G_grid(t)，H_grid(t)分别为当前时刻的购电功率、购气功率和购热功率；

(3)智能体的奖励函数r_t设计为：

其中，

分别为购能成本以及储能的充放电折旧成本；α₁，α₂分别为购能成本的权重和储能的充放电折旧成本的权重。

7.根据权利要求1所述的基于软行动者-批评者的园区综合能源系统梯级优化方法，其特征在于，步骤5)中所述的运用软行动者-批评者对园区综合能源系统梯级优化模型进行求解，得到电力、天然气以及热力的优化运行结果，表示为在训练过程中寻找最优策略π^*：

其中，π为智能体策略；s_t为智能体的状态；a_t为智能体的动作；r_t为智能体的奖励函数；ρ_π为智能体依照智能体策略π生成的状态-动作组集合；H(π(·|s_t))为智能体依照智能体策略π输出的动作熵值；α为熵值对应参数。

Images