CN114417695A - 多园区综合能源系统经济调度方法 - Google Patents

多园区综合能源系统经济调度方法 Download PDF

Info

Publication number
CN114417695A
CN114417695A CN202111443064.5A CN202111443064A CN114417695A CN 114417695 A CN114417695 A CN 114417695A CN 202111443064 A CN202111443064 A CN 202111443064A CN 114417695 A CN114417695 A CN 114417695A
Authority
CN
China
Prior art keywords
park
time
energy
natural gas
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111443064.5A
Other languages
English (en)
Inventor
高强
周洪青
王天群
朱逸芝
王海龙
黄堃
付明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nari Technology Co Ltd
Taizhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Nari Technology Co Ltd
Taizhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nari Technology Co Ltd, Taizhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical Nari Technology Co Ltd
Priority to CN202111443064.5A priority Critical patent/CN114417695A/zh
Publication of CN114417695A publication Critical patent/CN114417695A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Primary Health Care (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Human Resources & Organizations (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Water Supply & Treatment (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种多园区综合能源系统经济调度方法，包括如下步骤：根据综合能源系统经济调度模型，建立系统最小运行成本目标函数，并构建所述调度模型的约束条件；建立多智能体近端策略优化的状态观测空间、动作空间和奖励函数；将t时刻的状态变量和动作变量作为策略网络和动作网络的输入，采用策略梯度与时序差分方法，对MAPPO模型进行迭代训练，得到最优实时调度模型；根据最优实时调度模型对多园区综合能源系统进行调度。本发明采用多智能体深度强化学习方法去解决多园区综合能源系统经济调度问题，可以得到最优实时调度模型，实现综合能源系统的经济调度。

Description

多园区综合能源系统经济调度方法
技术领域
本发明属于电力调度技术领域，具体涉及能源互联网综合能源系统经济调度技术。
背景技术
随着全球经济的快速发展，能源工业因环境保护问题面临着很多挑战，通过多种能源的互补来提高能源利用效率、减少污染排放的综合能源系统为解决环境保护问题提出了新的思路。但由于单个园区综合能源系统构成的微网自身调节能力有限，而多个园区之间形成合作关系去制定合适的运行调度策略，不但能够增加对分布式可再生能源的消纳，还能提高各种能源的综合能效。因此，多园区综合能源系统联合调度是未来综合能源系统研究关键技术之一。
由于多园区综合能源系统联合调度的数据处理需要很庞大的计算，传统的调度模式存在时效性不足、调度策略优化程度不高等问题。
发明内容
本发明所要解决的技术问题就是提供一种多园区综合能源系统经济调度方法，解决调度模式存在时效性不足、调度策略优化程度不高等问题。
为解决上述技术问题，本发明采用如下技术方案：
多园区综合能源系统经济调度方法，包括如下步骤：
根据综合能源系统经济调度模型，建立系统最小运行成本目标函数，并构建所述综合能源系统经济调度模型的约束条件；
建立多智能体近端策略优化的状态观测空间、动作空间和奖励函数；
将t时刻的状态变量和动作变量作为策略网络和动作网络的输入，采用策略梯度与时序差分方法，对MAPPO模型进行迭代训练，得到最优实时调度模型；
根据最优实时调度模型对多园区综合能源系统进行调度。
优选的，园区综合能源系统中的发电装置包括风电场和CHP装置，产热装置包括燃气锅炉和电热泵，储能装置包括蓄电池、储气罐和储热罐，天然气产生装置为P2G装置。
优选的，综合能源系统经济调度模型中，各园区只与其相邻的园区进行能源和信息交互；园区间的能源交易包括内外两层的交易行为，内层交易行为是相邻园区之间进行能源的交易，外层交易行为是园区与市场进行能源的交易，当内层交易无法满足园区系统供给平衡时再进行外层交易。
优选的，所述综合能源系统经济调度模型中系统运行成本目标函数公式为：
Figure BDA0003384223260000021
Fsoc(t，i)＝|Psoc(t,i)|·α (2)
Figure BDA0003384223260000022
Figure BDA0003384223260000023
Figure BDA0003384223260000024
Figure BDA0003384223260000025
式中：F为系统运行的总成本；T为表示一个调度周期内所包括的调度时段数；n为园区数量；Fsoc(t，i)为园区i在t时刻蓄电池的充放电折旧成本；Fw(t,i)为园区i在t时刻调度计划弃风电量的惩罚项；Fe(t,i)为园区i在t时刻电能交易的总成本；Fg(t,i)为园区i在t时刻天然气交易的成本；
Figure BDA0003384223260000026
为园区i在一个调度周期内碳交易的成本；Psoc(t,i)为园区i在t时刻蓄电池充放电功率；α为蓄电池的折旧成本；
Figure BDA0003384223260000027
为园区i在t时刻的弃风功率；β为弃风惩罚因子；Pbuy(t,i)为园区i在t时刻从园区间购电功率；χ(t)为园区i从园区间交易电能的电价；
Figure BDA0003384223260000031
为园区i在t时刻从市场购电功率；χmarket(t)为t时刻市场电价；Psale(t,i)园区i在t时刻在园区间售电功率；
Figure BDA0003384223260000032
为园区i在t时刻向市场售电功率；Gbuy(t,i)为园区i在t时刻在园区间所购天然气体积；δ(i)为园区i从园区间交易天然气的价格；
Figure BDA0003384223260000033
为园区i在t时刻从市场所购天然气体积；δmarket(t)为t时刻市场交易天然气价格；Gsale(t,i)园区i在t时刻在园区间出售的天然气体积；
Figure BDA0003384223260000034
为园区i在t时刻向市场出售的天然气体积；GCHP(t,i)为园区i在t时刻CHP装置的天然气输入体积；εCHP(i)为园区i的CHP装置燃烧单位体积天然气产生CO2的效率；Gboiler为园区i在t时刻锅炉装置的天然气输入体积；εboiler(i)为园区i锅炉装置燃烧单位体积天然气产生CO2的效率；CP2G(t,i)为园区i在t时刻P2G装置消耗CO2体积；
Figure BDA0003384223260000035
为市场碳交易价格。
优选的，所述综合能源系统经济调度模型的约束条件为：
1)电力负荷平衡约束条件：
Figure BDA0003384223260000036
Figure BDA0003384223260000037
Figure BDA0003384223260000038
Figure BDA0003384223260000039
式中：Pw(t,i)园区i在t时刻的发电功率；Pdeal(t,i)为园区i在t时刻总交易电量；PP2G(t,i)为园区i在t时刻的P2G装置输入电功率；Ppump(t,i)为园区i在t时刻电热泵输入功率；Pload(t,i)为园区i在t时刻电力负荷功率；
Figure BDA00033842232600000310
为园区i在t时刻购买电量的最小值；
Figure BDA00033842232600000311
为园区i在t时刻购买电量的最大值；
Figure BDA00033842232600000312
为园区i在t时刻售卖电量的最小值；
Figure BDA00033842232600000313
为园区i在t时刻售卖电量的最大值。
2)热力负荷平衡约束条件：
Figure BDA0003384223260000041
式中：HCHP(t,i)为园区i在t时刻CHP装置产生的热功率；
Figure BDA0003384223260000042
为园区i电热泵装置电转热效率；Hboiler(t,i)为园区i在t时刻锅炉装置产生的热功率；Hpot(t,i)为园区i在t时刻储热装置充放热的热功率；γi为园区i在热量传输过程中的损失因子；Hload(t,i)为园区i在t时刻热负荷功率。
3)天然气网约束条件：
Figure BDA0003384223260000043
Figure BDA0003384223260000044
Figure BDA0003384223260000045
式中：GP2G(t,i)为园区i在t时刻P2G装置产气体积；Gpot(t,i)为园区i在t时刻储气罐充放气的体积；
Figure BDA0003384223260000046
为园区i在t时刻购买天然气的下限；
Figure BDA0003384223260000047
为园区i在t时刻购买天然气的上限；
Figure BDA0003384223260000048
为园区i在t时刻售卖天然气的下限；
Figure BDA0003384223260000049
为园区i在t时刻售卖天然气的上限。
4)蓄电池装置约束条件：
Figure BDA00033842232600000410
Figure BDA00033842232600000411
Figure BDA00033842232600000412
Figure BDA00033842232600000413
式中：
Figure BDA00033842232600000414
分为园区i在t时刻蓄电池充放电的下限、上限；Csoc(t,i)为园区i在t时刻蓄电池的荷电状态；ηsoc(i)为园区i蓄电池的充放电系数；Δt为一个时段；Qsoc(i)为园区i蓄电池的容量；
Figure BDA00033842232600000415
分别为园区i蓄电池荷电状态的下限和上限；ηch(i)为园区i蓄电池的充电效率，ηdis(i)为园区i蓄电池的放电效率。
5)P2G装置约束条件：
Figure BDA0003384223260000051
Figure BDA0003384223260000052
Figure BDA0003384223260000053
式中：
Figure BDA0003384223260000054
分别为园区i在t时刻P2G装置输入功率的下限和上限；m为热值与功率的换算值；λ(i)为园区P2G装置生产转换效率；
Figure BDA0003384223260000055
为天然气的燃烧热值；
Figure BDA0003384223260000056
为CO2的气态密度。
6)储热/气罐装置约束条件：
Figure BDA0003384223260000057
Figure BDA0003384223260000058
Figure BDA0003384223260000059
Figure BDA00033842232600000510
Figure BDA00033842232600000511
Gmin(i)≤Gpot(t,i)≤Gmax(i) (27)
Hmin(i)≤Hpot(t,i)≤Hmax(i) (28)
Figure BDA00033842232600000512
Figure BDA00033842232600000513
式中：G(t,i)为园区i在t时刻储气罐所储存的能量；H(t,i)为园区i在t时刻储热罐所储存的能量；
Figure BDA0003384223260000061
为园区i储气罐储能的效率；
Figure BDA0003384223260000062
为园区i储气罐放能的效率；
Figure BDA0003384223260000063
为园区i储热罐储能的效率；
Figure BDA0003384223260000064
为园区i储热罐放能的效率；SG(i)为园区i储气罐的储能水平；SH(i)为园区i储热罐的储能水平；Grated(i)为园区i储气罐的额定储能量；Hrated(i)为园区i储热罐的额定储能量；Gmin(i)、Gmax(i)分别为园区i储气罐充放气体积的下限和上限；Hmin(i)、Hmax(i)分别为园区i充放热功率的下限和上限；
Figure BDA0003384223260000065
分别为园区i储气罐储能水平的下限和上限；
Figure BDA0003384223260000066
分别为园区i储热罐储能水平的下限和上限。
7)CHP机组装置约束：
Figure BDA0003384223260000067
Figure BDA0003384223260000068
Figure BDA0003384223260000069
Figure BDA00033842232600000610
Figure BDA00033842232600000611
式中：σCHP(i)和
Figure BDA00033842232600000612
分为园区i的CHP装置将能量转化为电能、热能的效率；
Figure BDA00033842232600000613
与
Figure BDA00033842232600000614
与
Figure BDA00033842232600000615
与
Figure BDA00033842232600000616
分别是园区i的CHP装置输出电功率、输出热功率、输入天然气体积的下限和上限。
8)电热泵装置约束条件：
Hpump(t,i)＝Ppump(t,i)·τ(i) (36)
Figure BDA00033842232600000617
式中：τ(i)为园区i电热泵装置的热效率；
Figure BDA00033842232600000618
分别为园区i电热泵装置输入功率的下限和上限。
9)锅炉装置约束条件：
Figure BDA00033842232600000619
Figure BDA0003384223260000071
式中：υboiler(i)为园区i锅炉装置的将能量转化为热能的效率；
Figure BDA0003384223260000072
分别为园区i锅炉装置天然气输入量的下限和上限。
优选的，T＝96，系每隔15分钟将获取的实际状态观测值输入到MAPPO算法的神经网络中。
优选的，状态观测值包括：
1)各园区风电场出力数据；
2)各园区热、电负荷数据；
3)各园区储能装置的储能状态；
4)t时刻的实时电价、天然气价格；
状态观测空间S为：
Figure BDA0003384223260000073
Figure BDA0003384223260000074
优选的，动作空间A为：
Figure BDA0003384223260000075
Figure BDA0003384223260000076
所有智能体共享一个奖励函数，奖励函数r(t)为：
Figure BDA0003384223260000077
优选的，迭代训练流程为：将t时刻观测数据输入到MAPPO算法的神经网络中，生成动作
Figure BDA0003384223260000078
奖励r(t)和状态
Figure BDA0003384223260000079
通过
Figure BDA00033842232600000710
和
Figure BDA00033842232600000711
计算估计函数、优势函数；将
Figure BDA00033842232600000712
r(t)、
Figure BDA00033842232600000713
估计函数和优势函数储存到记忆池D中；随机打乱D中数据的顺序并从新编号，抽取部分数据以此计算神经网络参数的梯度；利用神经网络参数的梯度更新神经网络参数，完成一次迭代。
机器学习强大的数据处理能力使其在很多领域都有应用，特别是深度强化学习对解决随机序贯决策方面的问题有很好的实用性，因此，本发明采用多智能体深度强化学习方法去解决多园区综合能源系统经济调度问题，可以得到最优实时调度模型，实现综合能源系统的经济调度。
本发明的具体技术方案及其有益效果将会在下面的具体实施方式中结合附图进行详细的说明。
附图说明
下面结合附图和具体实施方式对本发明作进一步描述：
图1为本发明的调度模型的流程图；
图2为园区综合能源系统拓扑结构；
图3为多园区综合能源系统的能源交互网络物理框架。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出用MAPPO(多智能体近端策略优化)深度强化学习算法来解决多园区综合能源系统经济调度问题。首先建立考虑碳交易及多园区的综合能源系统经济调度模型，建立最小目标成本函数和约束条件，然后定义MAPPO算法神经网络的的状态空间、动作空间和奖励函数，将t时刻的各园区状态变量和动作变量作为策略网络和动作网络的输入，采用策略梯度与时序差分方法，对MAPPO模型进行迭代训练，得到最优实时调度模型，以实现综合能源系统的经济调度。
为实现上述目的，本发明提供了一种基于MAPPO的多园区综合能源系统经济调度方法，参考图1至图3所示，所述方法包括：
步骤1：建立考虑碳交易及多园区的综合能源系统经济调度模型；园区内装置包括电-热-气耦合调度系统和一些储能设备，各园区与相邻园区在制定相关协议后进行能源和有限信息交互，并在相邻园区之间建立能源交互网络作为园区能源的输入；园区之间的交易主要基于内外两层交易行为，外层交易是在园区间进行，外层交易是园区与市场进行交易，当内层交易无法满足园区供给平衡时再进行外层交易；
步骤2：基于所述调度模型建立系统最小运行成本目标函数；以系统一个调度周期内总运行成本最小为目标函数，运行包括园区弃风惩罚、蓄电池充放电折旧成本以及园区进行能源交易的成本；
步骤3：构建所述调度模型的约束条件；模型在满足电力负荷平衡、热力负荷平衡和天然气网平衡的同时，还需满足各种设备装置的平衡约束；
步骤4：基于所述调度模型，建立MAPPO的状态观测空间、动作空间和奖励函数；将每个园区看作一个智能体，多智能体之间采用集中式训练、分布式执行架构，一旦确定训练处最优的收敛策略，各智能体就可以基于各自局部观测做出最优决策。
步骤5：将t时刻的状态变量和动作变量作为策略网络和动作网络的输入，采用策略梯度与时序差分方法，对MAPPO模型进行迭代训练，得到t时刻的最优调度模型。
如图2所示，园区综合能源系统的发电装置包括风电场和CHP(热电联产)装置，产热装置包括燃气锅炉和电热泵，产生的热能通过换热站将能量传输给热力用户，储能装置包括蓄电池、储气罐和储热罐，天然气产生装置为P2G(电转气)装置。
各园区首先通过内部发电、产热装置达到内部供给平衡，当风电场发电功率和CHP最低运行模式下的发电功率大于负荷功率时，园区先在内部通过蓄电池、电热泵和P2G装置最大程度的消纳风电；若此时园区不需要天然气可储气罐储存生成的天然气，若热力负荷侧不需要热能则把多余的热能储存到储热罐中，同时也可以选择进行园区间的能源交易，如果通过这些手段仍然无法完全消纳风电时，风电场可选择弃掉部分风能达到供给平衡。
当园区需要进行能源交易时，可以通过图3所示的能源交互网络进行能源的交易，通过这样的协同调度策略达到园区内部的供给平衡，同时使运行成本最小。
基于上述园区综合能源系统模型，建立系统最小运行成本目标函数，目标函数为：
Figure BDA0003384223260000101
式中：F为系统运行的总成本；T为表示一个调度周期内所包括的调度时段数；n为园区数量；Fsoc(t，i)为园区i在t时刻蓄电池的充放电折旧成本；Fw(t,i)为园区i在t时刻调度计划弃风电量的惩罚项；Fe(t,i)为园区i在t时刻电能交易的总成本；Fg(t,i)为园区i在t时刻天然气交易的成本；
Figure BDA0003384223260000102
为园区i在一个调度周期内碳交易的成本。
其中，蓄电池充放电的折旧成本为：
Fsoc(t，i)＝|Psoc(t,i)|·α (2)
式中：Psoc(t,i)为园区i在t时刻蓄电池充放电功率；α为蓄电池的折旧成本。
当园区内风电场发电和CHP装置最低运行状态发电功率之和大于负荷功率时，蓄电池通过电网充电，当园区内风电场发电和CHP装置最低运行状态发电功率之和小于负荷功率时，蓄电池向电网放电；
园区弃风惩罚项为：
Figure BDA0003384223260000111
式中：
Figure BDA0003384223260000112
为园区i在t时刻的弃风功率；β为弃风惩罚因子。
当园区通过内部调节和外部交易无法完全消纳风电时，应当弃掉部分风能以满足系统供给平衡。
园区电能交易总成本为：
Figure BDA0003384223260000113
式中：Pbuy(t,i)为园区i在t时刻从园区间购电功率；χ(t)为园区i从园区间交易电能的电价；
Figure BDA0003384223260000114
为园区i在t时刻从市场购电功率；χmarket(t)为t时刻市场电价；Psale(t,i)园区i在t时刻在园区间售电功率；
Figure BDA0003384223260000115
为园区i在t时刻向市场售电功率。
园区天然气交易成本为：
Figure BDA0003384223260000116
式中：Gbuy(t,i)为园区i在t时刻在园区间所购天然气体积；δ(i)为园区i从园区间交易天然气的价格；
Figure BDA0003384223260000117
为园区i在t时刻从市场所购天然气体积；δmarket(t)为t时刻市场交易天然气价格；Gsale(t,i)园区i在t时刻在园区间出售的天然气体积；
Figure BDA0003384223260000118
为园区i在t时刻向市场出售的天然气体积。
园区碳交易成本为：
Figure BDA0003384223260000121
式中：GCHP(t,i)为园区i在t时刻CHP装置的天然气输入体积；εCHP(i)为园区i的CHP装置燃烧单位体积天然气产生CO2的效率；Gboiler为园区i在t时刻锅炉装置的天然气输入体积；εboiler(i)为园区i锅炉装置燃烧单位体积天然气产生CO2的效率；CP2G(t,i)为园区i在t时刻P2G装置消耗CO2体积；
Figure BDA0003384223260000122
为市场碳交易价格。
建立好系统的目标函数和各部分成本后，园区内负荷侧主要有热负荷和电负荷，通过满足热负荷和电力负荷的供给平衡来建立电力负荷平衡约束、热力负荷平衡约束和天然气网平衡约束。
当系统无法通过自身调度满足供给平衡时，园区通过交易来满足供给平衡，首先选择在园区间进行交易，当园区间的交易无法满足需求时，再进行市场交易；电力负荷平衡约束条件：
Figure BDA0003384223260000123
Figure BDA0003384223260000124
Figure BDA0003384223260000125
Figure BDA0003384223260000126
式中：Pw(t,i)园区i在t时刻的发电功率；Pdeal(t,i)为园区i在t时刻总交易电量；PP2G(t,i)为园区i在t时刻的P2G装置输入电功率；Ppump(t,i)为园区i在t时刻电热泵输入功率；Pload(t,i)为园区i在t时刻电力负荷功率；
Figure BDA0003384223260000127
为园区i在t时刻购买电量的最小值；
Figure BDA0003384223260000128
为园区i在t时刻购买电量的最大值；
Figure BDA0003384223260000129
为园区i在t时刻售卖电量的最小值；
Figure BDA00033842232600001210
为园区i在t时刻售卖电量的最大值。
当系统热力负荷很小且系统无法避免的产生一些热能时，储热罐从系统吸收热能并储存；当系统热力负荷侧需要热能时，储热罐释放之前储存的热能；
热力负荷平衡约束条件：
Figure BDA0003384223260000131
式中：HCHP(t,i)为园区i在t时刻CHP装置产生的热功率；
Figure BDA0003384223260000132
为园区i电热泵装置电转热效率；Hboiler(t,i)为园区i在t时刻锅炉装置产生的热功率；Hpot(t,i)为园区i在t时刻储热装置充放热的热功率；γi为园区i在热量传输过程中的损失因子；Hload(t,i)为园区i在t时刻热负荷功率。
园区天然气的输入主要包括市场天然气网、能源交互网络和自身P2G装置产生的天然气，消耗装置主要是CHP装置和燃气锅炉；当天然气消耗装置不需要天然气而P2G装置需要产生气体以降低运行成本时，生产的天然气储存到储气罐中；当园区需要天然气输入时，储气罐释放储存的天然气到天然气网中。
天然气网约束条件：
Figure BDA0003384223260000133
Figure BDA0003384223260000134
Figure BDA0003384223260000135
式中：GP2G(t,i)为园区i在t时刻P2G装置产气体积；Gpot(t,i)为园区i在t时刻储气罐充放气的体积；
Figure BDA0003384223260000136
为园区i在t时刻购买天然气的下限；
Figure BDA0003384223260000137
为园区i在t时刻购买天然气的上限；
Figure BDA0003384223260000138
为园区i在t时刻售卖天然气的下限；
Figure BDA0003384223260000139
为园区i在t时刻售卖天然气的上限。
然后通过电-气-热网的约束条件来确定园区各种设备的约束条件：
蓄电池装置约束条件：
Figure BDA00033842232600001310
Figure BDA0003384223260000141
Figure BDA0003384223260000142
Figure BDA0003384223260000143
式中：
Figure BDA0003384223260000144
分为园区i在t时刻蓄电池充放电的下限、上限；Csoc(t,i)为园区i在t时刻蓄电池的荷电状态；ηsoc(i)为园区i蓄电池的充放电系数；Δt为一个时段；Qsoc(i)为园区i蓄电池的容量；
Figure BDA0003384223260000145
分别为园区i蓄电池荷电状态的下限和上限；ηch(i)为园区i蓄电池的充电效率，ηdis(i)为园区i蓄电池的放电效率。
P2G装置约束条件：
Figure BDA0003384223260000146
Figure BDA0003384223260000147
Figure BDA0003384223260000148
式中：
Figure BDA0003384223260000149
分别为园区i在t时刻P2G装置输入功率的下限和上限；m为热值与功率的换算值；λ(i)为园区P2G装置生产转换效率；
Figure BDA00033842232600001410
为天然气的燃烧热值；
Figure BDA00033842232600001411
为CO2的气态密度。
储热/气罐装置约束条件：
Figure BDA00033842232600001412
Figure BDA00033842232600001413
Figure BDA0003384223260000151
Figure BDA0003384223260000152
Figure BDA0003384223260000153
Gmin(i)≤Gpot(t,i)≤Gmax(i) (65)
Hmin(i)≤Hpot(t,i)≤Hmax(i) (66)
Figure BDA0003384223260000154
Figure BDA0003384223260000155
式中：G(t,i)为园区i在t时刻储气罐所储存的能量；H(t,i)为园区i在t时刻储热罐所储存的能量；
Figure BDA0003384223260000156
为园区i储气罐储能的效率；
Figure BDA0003384223260000157
为园区i储气罐放能的效率；
Figure BDA0003384223260000158
为园区i储热罐储能的效率；
Figure BDA0003384223260000159
为园区i储热罐放能的效率；SG(i)为园区i储气罐的储能水平；SH(i)为园区i储热罐的储能水平；Grated(i)为园区i储气罐的额定储能量；Hrated(i)为园区i储热罐的额定储能量；Gmin(i)、Gmax(i)分别为园区i储气罐充放气体积的下限和上限；Hmin(i)、Hmax(i)分别为园区i充放热功率的下限和上限；
Figure BDA00033842232600001510
分别为园区i储气罐储能水平的下限和上限；
Figure BDA00033842232600001511
分别为园区i储热罐储能水平的下限和上限。
CHP机组装置约束：
Figure BDA00033842232600001512
Figure BDA00033842232600001513
Figure BDA00033842232600001514
Figure BDA00033842232600001515
Figure BDA00033842232600001516
式中：σCHP(i)和
Figure BDA0003384223260000161
分为园区i的CHP装置将能量转化为电能、热能的效率；
Figure BDA0003384223260000162
与
Figure BDA0003384223260000163
与
Figure BDA0003384223260000164
与
Figure BDA0003384223260000165
分别是园区i的CHP装置输出电功率、输出热功率、输入天然气体积的下限和上限。
电热泵装置约束条件：
Hpump(t,i)＝Ppump(t,i)·τ(i) (74)
Figure BDA0003384223260000166
式中：τ(i)为园区i电热泵装置的热效率；
Figure BDA0003384223260000167
分别为园区i电热泵装置输入功率的下限和上限。
锅炉装置约束条件：
Figure BDA0003384223260000168
Figure BDA0003384223260000169
式中：υboiler(i)为园区i锅炉装置的将能量转化为热能的效率；
Figure BDA00033842232600001610
分别为园区i锅炉装置天然气输入量的下限和上限。
建立好目标函数和约束条件后，定义MAPPO的状态空间S、动作空间A和奖励函数r(t)。
状态空间为：
Figure BDA00033842232600001611
Figure BDA00033842232600001612
动作空间A为：
Figure BDA00033842232600001613
Figure BDA00033842232600001614
所有智能体共享一个奖励函数，奖励函数r(t)为:
Figure BDA0003384223260000171
将t时刻观测到的Pw(t,i)、Pload(t,i)、Hload(t,i)、Csoc(t,i)、SG(i)、SH(i)、χmarket(t)和δmarket(t)数据输入到搭建好的MAPPO算法的神经网络中，进行迭代训练，得到此时刻的最优调度模型。
取T＝96，即一个调度周期内分为了96个时段，系统每隔15分钟更新一下调度策略。
t+1时刻也即t时刻的15分钟以后，将t+1时刻的Pw(t+1,i)、Pload(t+1,i)、Hload(t+1,i)、Csoc(t+1,i)、SG(i)、SH(i)、χmarket(t+1)和δmarket(t+1)观测值输入到MAPPO算法的神经网络中，得到t+1时刻的最优调度模型。
循环操作，输入下一时刻的观测状态值，得到一个调度周期内每个时段的最优调度模型。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。

Claims (9)

1.多园区综合能源系统经济调度方法，其特征在于，包括如下步骤：
根据综合能源系统经济调度模型，建立系统最小运行成本目标函数，并构建所述综合能源系统经济调度模型的约束条件；
建立多智能体近端策略优化的状态观测空间、动作空间和奖励函数；
将t时刻的状态变量和动作变量作为策略网络和动作网络的输入，采用策略梯度与时序差分方法，对MAPPO模型进行迭代训练，得到最优实时调度模型；
根据最优实时调度模型对多园区综合能源系统进行调度。
2.根据权利要求1所述的多园区综合能源系统经济调度方法，其特征在于：园区综合能源系统中的发电装置包括风电场和CHP装置，产热装置包括燃气锅炉和电热泵，储能装置包括蓄电池、储气罐和储热罐，天然气产生装置为P2G装置。
3.根据权利要求2所述的多园区综合能源系统经济调度方法，其特征在于：综合能源系统经济调度模型中，各园区只与其相邻的园区进行能源和信息交互；园区间的能源交易包括内外两层的交易行为，内层交易行为是相邻园区之间进行能源的交易，外层交易行为是园区与市场进行能源的交易，当内层交易无法满足园区系统供给平衡时再进行外层交易。
4.根据权利要求3所述的多园区综合能源系统经济调度方法，其特征在于：所述综合能源系统经济调度模型中系统运行成本目标函数公式为：
Figure FDA0003384223250000011
Fsoc(t，i)＝|Psoc(t,i)|·α (2)
Figure FDA0003384223250000012
Figure FDA0003384223250000013
Figure FDA0003384223250000014
Figure FDA0003384223250000021
式中：F为系统运行的总成本；T为表示一个调度周期内所包括的调度时段数；n为园区数量；Fsoc(t，i)为园区i在t时刻蓄电池的充放电折旧成本；Fw(t,i)为园区i在t时刻调度计划弃风电量的惩罚项；Fe(t,i)为园区i在t时刻电能交易的总成本；Fg(t,i)为园区i在t时刻天然气交易的成本；
Figure FDA0003384223250000022
为园区i在一个调度周期内碳交易的成本；Psoc(t,i)为园区i在t时刻蓄电池充放电功率；α为蓄电池的折旧成本；
Figure FDA0003384223250000023
为园区i在t时刻的弃风功率；β为弃风惩罚因子；Pbuy(t,i)为园区i在t时刻从园区间购电功率；χ(t)为园区i从园区间交易电能的电价；
Figure FDA0003384223250000024
为园区i在t时刻从市场购电功率；χmarket(t)为t时刻市场电价；Psale(t,i)园区i在t时刻在园区间售电功率；
Figure FDA0003384223250000025
为园区i在t时刻向市场售电功率；Gbuy(t,i)为园区i在t时刻在园区间所购天然气体积；δ(i)为园区i从园区间交易天然气的价格；
Figure FDA0003384223250000026
为园区i在t时刻从市场所购天然气体积；δmarket(t)为t时刻市场交易天然气价格；Gsale(t,i)园区i在t时刻在园区间出售的天然气体积；
Figure FDA0003384223250000027
为园区i在t时刻向市场出售的天然气体积；GCHP(t,i)为园区i在t时刻CHP装置的天然气输入体积；εCHP(i)为园区i的CHP装置燃烧单位体积天然气产生CO2的效率；Gboiler为园区i在t时刻锅炉装置的天然气输入体积；εboiler(i)为园区i锅炉装置燃烧单位体积天然气产生CO2的效率；CP2G(t,i)为园区i在t时刻P2G装置消耗CO2体积；
Figure FDA0003384223250000028
为市场碳交易价格。
5.根据权利要求4所述的多园区综合能源系统经济调度方法，其特征在于：所述综合能源系统经济调度模型的约束条件为：
1)电力负荷平衡约束条件：
Figure FDA0003384223250000029
Figure FDA00033842232500000210
Figure FDA0003384223250000031
Figure FDA0003384223250000032
式中：Pw(t,i)园区i在t时刻的发电功率；Pdeal(t,i)为园区i在t时刻总交易电量；PP2G(t,i)为园区i在t时刻的P2G装置输入电功率；Ppump(t,i)为园区i在t时刻电热泵输入功率；Pload(t,i)为园区i在t时刻电力负荷功率；
Figure FDA0003384223250000033
为园区i在t时刻购买电量的最小值；
Figure FDA0003384223250000034
为园区i在t时刻购买电量的最大值；
Figure FDA0003384223250000035
为园区i在t时刻售卖电量的最小值；
Figure FDA0003384223250000036
为园区i在t时刻售卖电量的最大值；
2)热力负荷平衡约束条件：
Figure FDA0003384223250000037
式中：HCHP(t,i)为园区i在t时刻CHP装置产生的热功率；
Figure FDA0003384223250000038
为园区i电热泵装置电转热效率；Hboiler(t,i)为园区i在t时刻锅炉装置产生的热功率；Hpot(t,i)为园区i在t时刻储热装置充放热的热功率；γi为园区i在热量传输过程中的损失因子；Hload(t,i)为园区i在t时刻热负荷功率；
3)天然气网约束条件：
Figure FDA0003384223250000039
Figure FDA00033842232500000310
Figure FDA00033842232500000311
式中：GP2G(t,i)为园区i在t时刻P2G装置产气体积；Gpot(t,i)为园区i在t时刻储气罐充放气的体积；
Figure FDA00033842232500000312
为园区i在t时刻购买天然气的下限；
Figure FDA00033842232500000313
为园区i在t时刻购买天然气的上限；
Figure FDA00033842232500000314
为园区i在t时刻售卖天然气的下限；
Figure FDA00033842232500000315
为园区i在t时刻售卖天然气的上限；
4)蓄电池装置约束条件：
Figure FDA0003384223250000041
Figure FDA0003384223250000042
Figure FDA0003384223250000043
Figure FDA0003384223250000044
式中：
Figure FDA0003384223250000045
分为园区i在t时刻蓄电池充放电的下限、上限；Csoc(t,i)为园区i在t时刻蓄电池的荷电状态；ηsoc(i)为园区i蓄电池的充放电系数；Δt为一个时段；Qsoc(i)为园区i蓄电池的容量；
Figure FDA0003384223250000046
分别为园区i蓄电池荷电状态的下限和上限；ηch(i)为园区i蓄电池的充电效率，ηdis(i)为园区i蓄电池的放电效率；
5)P2G装置约束条件：
Figure FDA0003384223250000047
Figure FDA0003384223250000048
Figure FDA0003384223250000049
式中：
Figure FDA00033842232500000410
分别为园区i在t时刻P2G装置输入功率的下限和上限；m为热值与功率的换算值；λ(i)为园区P2G装置生产转换效率；
Figure FDA00033842232500000411
为天然气的燃烧热值；
Figure FDA00033842232500000412
为CO2的气态密度；
6)储热/气罐装置约束条件：
Figure FDA00033842232500000413
Figure FDA00033842232500000414
Figure FDA0003384223250000051
Figure FDA0003384223250000052
Figure FDA0003384223250000053
Gmin(i)≤Gpot(t,i)≤Gmax(i) (27)
Hmin(i)≤Hpot(t,i)≤Hmax(i) (28)
Figure FDA0003384223250000054
Figure FDA0003384223250000055
式中：G(t,i)为园区i在t时刻储气罐所储存的能量；H(t,i)为园区i在t时刻储热罐所储存的能量；
Figure FDA0003384223250000056
为园区i储气罐储能的效率；
Figure FDA0003384223250000057
为园区i储气罐放能的效率；
Figure FDA0003384223250000058
为园区i储热罐储能的效率；
Figure FDA0003384223250000059
为园区i储热罐放能的效率；SG(i)为园区i储气罐的储能水平；SH(i)为园区i储热罐的储能水平；Grated(i)为园区i储气罐的额定储能量；Hrated(i)为园区i储热罐的额定储能量；Gmin(i)、Gmax(i)分别为园区i储气罐充放气体积的下限和上限；Hmin(i)、Hmax(i)分别为园区i充放热功率的下限和上限；
Figure FDA00033842232500000510
分别为园区i储气罐储能水平的下限和上限；
Figure FDA00033842232500000511
分别为园区i储热罐储能水平的下限和上限；
7)CHP机组装置约束：
Figure FDA00033842232500000512
Figure FDA00033842232500000513
Figure FDA00033842232500000514
Figure FDA00033842232500000515
Figure FDA00033842232500000516
式中：σCHP(i)和
Figure FDA0003384223250000061
分为园区i的CHP装置将能量转化为电能、热能的效率；
Figure FDA0003384223250000062
与
Figure FDA0003384223250000063
与
Figure FDA0003384223250000064
与
Figure FDA0003384223250000065
分别是园区i的CHP装置输出电功率、输出热功率、输入天然气体积的下限和上限；
8)电热泵装置约束条件：
Hpump(t,i)＝Ppump(t,i)·τ(i) (36)
Figure FDA0003384223250000066
式中：τ(i)为园区i电热泵装置的热效率；
Figure FDA0003384223250000067
分别为园区i电热泵装置输入功率的下限和上限；
9)锅炉装置约束条件：
Figure FDA0003384223250000068
Figure FDA0003384223250000069
式中：υboiler(i)为园区i锅炉装置的将能量转化为热能的效率；
Figure FDA00033842232500000610
分别为园区i锅炉装置天然气输入量的下限和上限。
6.根据权利要求5所述的多园区综合能源系统经济调度方法，其特征在于：T＝96，系每隔15分钟将获取的实际状态观测值输入到MAPPO算法的神经网络中。
7.根据权利要求5所述的多园区综合能源系统经济调度方法，其特征在于：状态观测值包括：
1)各园区风电场出力数据；
2)各园区热、电负荷数据；
3)各园区储能装置的储能状态；
4)t时刻的实时电价、天然气价格；
状态观测空间S为：
Figure FDA00033842232500000611
Figure FDA0003384223250000071
8.根据权利要求5所述的一种基于MAPPO的多园区综合能源系统经济调度方法，其特征在于：动作空间A为：
Figure FDA0003384223250000072
Figure FDA0003384223250000073
所有智能体共享一个奖励函数，奖励函数r(t)为：
Figure FDA0003384223250000074
9.根据权利要求5所述的一种基于MAPPO的多园区综合能源系统经济调度方法，其特征在于：迭代训练流程为：将t时刻观测数据输入到MAPPO算法的神经网络中，生成动作
Figure FDA0003384223250000075
奖励r(t)和状态
Figure FDA0003384223250000076
通过
Figure FDA0003384223250000077
和
Figure FDA0003384223250000078
计算估计函数、优势函数；将
Figure FDA0003384223250000079
r(t)、
Figure FDA00033842232500000710
估计函数和优势函数储存到记忆池D中；随机打乱D中数据的顺序并从新编号，抽取部分数据以此计算神经网络参数的梯度；利用神经网络参数的梯度更新神经网络参数，完成一次迭代。
CN202111443064.5A 2021-11-30 2021-11-30 多园区综合能源系统经济调度方法 Pending CN114417695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111443064.5A CN114417695A (zh) 2021-11-30 2021-11-30 多园区综合能源系统经济调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111443064.5A CN114417695A (zh) 2021-11-30 2021-11-30 多园区综合能源系统经济调度方法

Publications (1)

Publication Number Publication Date
CN114417695A true CN114417695A (zh) 2022-04-29

Family

ID=81264680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111443064.5A Pending CN114417695A (zh) 2021-11-30 2021-11-30 多园区综合能源系统经济调度方法

Country Status (1)

Country Link
CN (1) CN114417695A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455183A (zh) * 2023-11-09 2024-01-26 国能江苏新能源科技开发有限公司 一种基于深度强化学习的综合能源系统优化调度方法
CN117787609A (zh) * 2023-12-22 2024-03-29 南京东博智慧能源研究院有限公司 一种基于ct-td3算法的综合能源系统低碳经济调度策略

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455183A (zh) * 2023-11-09 2024-01-26 国能江苏新能源科技开发有限公司 一种基于深度强化学习的综合能源系统优化调度方法
CN117787609A (zh) * 2023-12-22 2024-03-29 南京东博智慧能源研究院有限公司 一种基于ct-td3算法的综合能源系统低碳经济调度策略

Similar Documents

Publication Publication Date Title
Xin-gang et al. Economic-environmental dispatch of microgrid based on improved quantum particle swarm optimization
CN109190824B (zh) 基于用户侧区域综合能源系统的联盟博弈优化运行方法
CN109165788B (zh) 一种冷热电联供系统的优化方法
Ju et al. A two-stage optimal coordinated scheduling strategy for micro energy grid integrating intermittent renewable energy sources considering multi-energy flexible conversion
Li et al. Coordinated scheduling for improving uncertain wind power adsorption in electric vehicles—Wind integrated power systems by multiobjective optimization approach
Jin et al. Game theoretical analysis on capacity configuration for microgrid based on multi-agent system
Bidgoli et al. Multi-stage optimal scheduling of multi-microgrids using deep-learning artificial neural network and cooperative game approach
CN110659830A (zh) 面向综合能源系统的多能源微网规划方法
CN114417695A (zh) 多园区综合能源系统经济调度方法
CN112068436B (zh) 工业园区的综合能源系统分层分布式控制方法及系统
CN114611772B (zh) 一种基于多智能体强化学习的多微网系统协同优化方法
CN111668878A (zh) 一种可再生微能源网的优化配置方法和系统
CN115587668A (zh) 多园区综合能源系统分布式协同优化调度方法
CN111353128A (zh) 一种基于非合作博弈的多能量枢纽优化运行方法
Dong et al. Hierarchical multi-objective planning for integrated energy systems in smart parks considering operational characteristics
Meng et al. Multi-objective optimal dispatching of demand response-enabled microgrid considering uncertainty of renewable energy generations based on two-level iterative strategy
CN115204562A (zh) 一种计及多能共享的互联微能源网分布式协同优化调度方法和系统
CN116432824A (zh) 基于多目标粒子群的综合能源系统优化方法及系统
CN115577909A (zh) 考虑价格型需求响应和v2g的园区综合能源系统调度方法
CN116681228A (zh) 一种考虑场景不确定性和碳排放的综合能源系统设备容量优化配置方法
Kang et al. Multi-objective sizing and real-time scheduling of battery energy storage in energy-sharing community based on reinforcement learning
CN115759589A (zh) 一种含高比例新能源的配电网数据驱动鲁棒扩展规划方法
CN116031935A (zh) 一种考虑电能交互和需求响应的并网型多微网系统运行调度优化方法
Zhou et al. Dynamic pricing of integrated energy service providers based on master-slave game
CN114819336A (zh) 一种多区域综合能源系统分布自治与协同优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination