CN115375015A - 基于多智能体强化学习的多能源优化方法、系统和介质 - Google Patents

基于多智能体强化学习的多能源优化方法、系统和介质 Download PDF

Info

Publication number
CN115375015A
CN115375015A CN202210949981.9A CN202210949981A CN115375015A CN 115375015 A CN115375015 A CN 115375015A CN 202210949981 A CN202210949981 A CN 202210949981A CN 115375015 A CN115375015 A CN 115375015A
Authority
CN
China
Prior art keywords
energy
agent
power
optimization
reinforcement learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210949981.9A
Other languages
English (en)
Inventor
李健
韩笑
傅凯
王新迎
马慧远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Beijing Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Beijing Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI, State Grid Beijing Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202210949981.9A priority Critical patent/CN115375015A/zh
Publication of CN115375015A publication Critical patent/CN115375015A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Supply And Distribution Of Alternating Current (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于多智能体强化学习的多能源优化方法、系统和介质，获取区域能源互联网数据；根据区域能源互联网数据设置区域能源互联网环境；将多智能体深度强化学习与区域能源互联网环境进行交互训练，在交互训练过程中引入注意力机制，得到多能源协同优化运行策略。本发明通过多智能体深度强化学习和注意力机制相结合，以集中训练分布执行的模式，利用人工智能算法，保护多主体利益隐私的同时，实现区域能源互联网运行优化，进一步提高多能源利用率，从而保证能源互联网安全、稳定、高效运行。

Description

基于多智能体强化学习的多能源优化方法、系统和介质
技术领域
本发明属于区域能源互联网领域，具体涉及一种基于多智能体强化学习的多能源优化方法、系统和介质。
背景技术
区域能源互联网是电力、天然气、热力及新能源等多种能源相耦合的综合能源系统，因此区域能源互联网运行优化问题，涉及到非线性、随机性、非凸性以及多目标问题求解问题，并且由于不同的能源体系中行业壁垒的存在，导致能源数据无法完全的交互，如何在多种能源的生产、传输、存储、消费等环节，更好的消纳可再生能源，同时提高多能源利用率，确保能源互联网多能源协同优化和系统安全、稳定、高效的运行，变得至关重要。
目前，清洁可再生能源大规模发展，区域能源互联网成为解决可再生能源就地消纳问题，实现能源网络紧密融合、提高整体系统能效的必然趋势。区域能源互联网具有更强的灵活性和可靠性，因此，获取能源供需信息，并实施快速合理优化策略，是控制多能源系统生产运行和实现能源的安全高效流动的关键。
区域能源互联网优化面临多种能源和多主体利益，目前应用于优化模型求解的方法，一般分为两方面，一类是为解决非凸非线性问题采用的传统非线性数学求解方法如序列二次规划算法，但是由于非线性数学优化属于局部最优搜索算法，所以非凸优化模型的全局最优性无法保证，并且计算求解时间较长；另一方面是启发类算法，如遗传算法和神经网络算法，然而启发式算法的构建，更多的是基于一种直观或经验的算法，所以无法保证给出最优解，只能求得一个近似最优解，并且区域能源互联网多主体之前的隐私信息无法保证。
目前的多智能体深度强化学习技术，指将深度学习和强化学习相结合，智能体以“试错”的方式进行学习，通过与区域能源互联网环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，强化学习中由区域能源互联网环境对智能体产生的协同优化决策动作的好坏做出一种评价，智能体依靠自身的经历进行学习，通过这种方式，智能体在动作-评价的环境中获得知识，改进协同优化动作方案以适应环境，如图1所示。当同时存在多个智能体与环境交互时，整个系统就变成一个多智能体系统，所有智能体根据当前的环境状态(或者是观测值)来同时选择并执行各自的动作，该各自动作带来的联合动作影响了环境状态的转移和更新，并决定了智能体获得的奖励反馈，从而达到最终的纳什均衡。
然而区域能源互联网运行优化，涉及多种能源形式的相互耦合和转化，决策结果大多集中在各种能源设备如发电机组、燃气轮机、电锅炉等设备出力多少，以满足系统的供需平衡和优化目标，但是对能源设备本身的工作效率关注较少，使得一些工作效率较低的能源出力设备为达到计划出力，造成能源浪费。其次，基于多智能体深度强化学习的区域能源互联网协同优化决策主要存在如下问题：1.区域能源互联网环境的不稳定性，每个智能体在做决策的同时，其他智能体也在采取动作，所有智能体的联合动作将导致环境状态的不断变化。2.智能体获取信息的局限性，智能体不一定能够获得全局的信息，存在智能体仅能获取局部的观测信息，多智能体之间的信息交互程度设置存在困难。3.区域能源互联网中各智能体的优化目标和奖励函数设置，以及如何达到纳什均衡存在一定困难。4.随着能源互联网环境模型的复杂程度增加，而导致智能体数量的增加，也会造成状态和动作空间过大,以至于无法进行有效的探索和训练，从而使得区域能源互联网的优化问题难以得到很好的解决。
发明内容
本发明的目的在于提供一种基于多智能体强化学习的多能源优化方法、系统和介质，以解决现有技术存在的缺陷，本发明通过多智能体深度强化学习和注意力机制相结合，以集中训练分布执行的模式，利用人工智能算法，保护多主体利益隐私的同时，实现区域能源互联网运行优化，进一步提高多能源利用率，从而保证能源互联网安全、稳定、高效运行。
为达到上述目的，本发明采用如下技术方案：
基于多智能体强化学习的多能源优化方法，包括：
获取区域能源互联网数据；
根据区域能源互联网数据设置区域能源互联网环境；
将多智能体深度强化学习与区域能源互联网环境进行交互训练，在交互训练过程中引入注意力机制，得到多能源协同优化运行策略。
进一步地，所述区域能源互联网数据包括电力系统参数、热力系统参数、天然气系统参数和可再生能源参数；
所述电力系统参数包括：系统频率、火力发电机组有功功率和无功功率、发电机组燃料输入量、电负荷消耗的有功功率和无功功率、电力系统网络节点数、系统电压幅值、相角以及电储能容量；
所述天然气系统参数包括：天然气管道稳态流量、节点气压和温度以及气负荷；
所述热力系统参数包括：电锅炉的功率和实际转换热量、燃气锅炉的功率和实际转换热量、热网中各节点气压和温度、管道中介质流量和热负荷；
所述可再生能源参数包括：风力发电机组有功功率以及光伏发电机组有功功率。
进一步地，所述区域能源互联网环境包括状态空间和动作空间；
所述状态空间如下式所示：
Figure BDA0003789137390000041
式中，Si,T为状态空间，T为当前所处调度时段，
Figure BDA0003789137390000042
为i子区域T时段火电机组有功功率，
Figure BDA0003789137390000043
为i子区域T时段火电机组燃煤输入，
Figure BDA0003789137390000044
为i子区域T时段不包含电锅炉的其他电负荷功率，
Figure BDA0003789137390000045
为i子区域T时段电储能电量，
Figure BDA0003789137390000046
为i子区域T时段电锅炉有功功率，
Figure BDA0003789137390000047
为i子区域T时段燃气锅炉燃气输入量，
Figure BDA0003789137390000048
为i子区域T时段风电有功功率，
Figure BDA0003789137390000049
为i子区域T时段光伏有功功率；
所述动作空间如下式所示：
Figure BDA00037891373900000410
式中，Ai,T为动作空间，
Figure BDA00037891373900000411
为i子区域T时段火电机组有功功率，
Figure BDA00037891373900000412
为i子区域T时段电储能有功功率，
Figure BDA00037891373900000413
为i子区域T时段电锅炉有功功率，
Figure BDA00037891373900000414
为i子区域T时段燃气锅炉燃气输入量，
Figure BDA00037891373900000415
为i子区域T时段风电有功功率，
Figure BDA00037891373900000416
为i子区域T时段光伏有功功率。
进一步地，所述将多智能体深度强化学习与区域能源互联网环境进行交互训练过程中，通过设置奖励机制使智能体获得最大奖赏目标，所述奖励机制包括优化目标函数、约束条件及奖励函数。
进一步地，所述优化目标函数如下式所示：
Figure BDA00037891373900000417
式中：Cin为区域能源互联网总体能源输入成本，
Figure BDA0003789137390000051
为区域能源互联网火力发电燃煤输入，α为燃煤成本系数，
Figure BDA0003789137390000052
为区域能源互联网天然气能源输入，β为燃气成本系数；
其中，
Figure BDA0003789137390000053
式中，n为区域能源互联网中子区域的个数，每个子区域对应一个智能体，m为子区域中设备数量，
Figure BDA0003789137390000054
为第i子区域第j个火力发电出力功率，
Figure BDA0003789137390000055
为第i子区域第j个火力发电机工作效率；
Figure BDA0003789137390000056
为i子区域在T时段第j个燃气锅炉天然气输入量，
Figure BDA0003789137390000057
为i子区域在T时段第j个不包括燃气锅炉的气负荷；
其中，
Figure BDA0003789137390000058
式中，
Figure BDA0003789137390000059
为i子区域T时段风电有功功率，
Figure BDA00037891373900000510
为i子区域T时段光伏有功功率，
Figure BDA00037891373900000511
为i子区域T时段电储能有功功率，
Figure BDA00037891373900000512
为i子区域T时段不包含电锅炉的其他电负荷功率，
Figure BDA00037891373900000513
为i子区域在T时段第j个电锅炉有功功率。
进一步地，所述约束条件包括：
1)满足电力系统、热力系统和天热气系统运行供需平衡；
2)电力系统、热力系统和天热气系统中各能量生产转换设备均在设备功率上下限范围内；电能、热能生产转换设备的爬坡率满足爬坡率上下限范围内；
3)电力系统满足系统节点电压标幺值在[0.95,1.05]之间。
7.根据权利要求6所述的基于多智能体强化学习的多能源优化方法，其特征在于，所述奖励函数表示如下：
R＝R1+R2+R3+R4+R5
式中，R为总奖励函数，R1为第一奖励函数，R2为第二奖励函数，R3为第三奖励函数，R4为第四奖励函数，R5为第五奖励函数，R2和R3中有一个满足条件时，另一个数值为0，R4和R5中有一个满足条件时，另一个数值为0；
Figure BDA0003789137390000061
Figure BDA0003789137390000062
式中，Lstep为强化学习算法迭代步长，v为系统节点电压标幺值，k1和k2为奖励系数，k3为惩罚系数，C1和C2分别为结果满足条件时的奖励常数值。
进一步地，所述将多智能体深度强化学习与区域能源互联网环境进行交互训练，具体为：
构建区域能源互联网优化运行算法模型框架；
设计多智能体深度强化学习算法；
基于区域能源互联网优化运行算法模型框架，利用多智能体深度强化学习算法生成多能源协同优化运行策略；
所述利用多智能体深度强化学习算法生成多能源协同优化运行策略，具体为：
初始化智能体训练网络参数，预设多智能体训练轮次；
随机初始化区域能源互联网环境，获得当前区域能源互联网状态数据；
将当前区域能源互联网状态数据输入多智能体中，各子区域智能体进行优化决策，生成联合决策动作，同时环境反馈奖励值和下一时刻状态数据；
将当前区域能源互联网状态数据、联合决策动作、奖励值和下一时刻状态数据存储到经验池中；
通过经验池中数据对智能体训练网络参数进行更新，循环训练直至满足约束条件收敛或训练轮次大于预设的多智能体训练轮次，生成多能源协同优化运行策略。
进一步地，所述在交互训练过程中引入注意力机制，具体为：
各个智能体将观测到的环境信息输入到注意力机制中，进行关键特征提取，并且将特征权重输入到各智能体价值网络中，所述关键特征为可控设备的工作转换效率；
各个智能体通过观测注意到其他智能体的可控设备情况后，调高工作转换效率高的可控设备能源输入，同时降低工作转换效率低的可控设备能源输入，达到每台可控设备的合理出力，实现能源互联网运行优化；
其中，工作转换效率高的可控设备指的是工作转换效果大于全部可控设备平均工作转换效率的可控设备；
工作转换效率低的可控设备指的是工作转换效果小于全部可控设备平均工作转换效率的可控设备。
基于注意力机制多智能体深度强化学习的多能源协同优化系统，包括：
数据获取模块：用于获取区域能源互联网数据；
环境设置模块：用于根据区域能源互联网数据设置区域能源互联网环境；
运行策略优化模块：用于将多智能体深度强化学习与区域能源互联网环境进行交互训练，在交互训练过程中引入注意力机制，得到多能源协同优化运行策略。
进一步地，所述数据获取模块中，区域能源互联网数据包括电力系统参数、热力系统参数、天然气系统参数和可再生能源参数；
所述电力系统参数包括：系统频率、火力发电机组有功功率和无功功率、发电机组燃料输入量、电负荷消耗的有功功率和无功功率、电力系统网络节点数、系统电压幅值、相角以及电储能容量；
所述天然气系统参数包括：天然气管道稳态流量、节点气压和温度以及气负荷；
所述热力系统参数包括：电锅炉的功率和实际转换热量、燃气锅炉的功率和实际转换热量、热网中各节点气压和温度、管道中介质流量和热负荷；
所述可再生能源参数包括：风力发电机组有功功率以及光伏发电机组有功功率。
进一步地，所述环境设置模块中，区域能源互联网环境包括状态空间和动作空间；
所述状态空间如下式所示：
Figure BDA0003789137390000081
式中，Si,T为状态空间，T为当前所处调度时段，
Figure BDA0003789137390000082
为i子区域T时段火电机组有功功率，
Figure BDA0003789137390000083
为i子区域T时段火电机组燃煤输入，
Figure BDA0003789137390000084
为i子区域T时段不包含电锅炉的其他电负荷功率，
Figure BDA0003789137390000085
为i子区域T时段电储能电量，
Figure BDA0003789137390000086
为i子区域T时段电锅炉有功功率，
Figure BDA0003789137390000087
为i子区域T时段燃气锅炉燃气输入量，
Figure BDA0003789137390000088
为i子区域T时段风电有功功率，
Figure BDA0003789137390000089
为i子区域T时段光伏有功功率；
所述动作空间如下式所示：
Figure BDA00037891373900000810
式中，Ai,T为动作空间，
Figure BDA0003789137390000091
为i子区域T时段火电机组有功功率，
Figure BDA0003789137390000092
为i子区域T时段电储能有功功率，
Figure BDA0003789137390000093
为i子区域T时段电锅炉有功功率，
Figure BDA0003789137390000094
为i子区域T时段燃气锅炉燃气输入量，
Figure BDA0003789137390000095
为i子区域T时段风电有功功率，
Figure BDA0003789137390000096
为i子区域T时段光伏有功功率。
进一步地，所述运行策略优化模块中，将多智能体深度强化学习与区域能源互联网环境进行交互训练过程中，通过设置奖励机制使智能体获得最大奖赏目标，所述奖励机制包括优化目标函数、约束条件及奖励函数。
进一步地，所述运行策略优化模块中，将多智能体深度强化学习与区域能源互联网环境进行交互训练，具体为：
构建区域能源互联网优化运行算法模型框架；
设计多智能体深度强化学习算法；
基于区域能源互联网优化运行算法模型框架，利用多智能体深度强化学习算法生成多能源协同优化运行策略；
所述利用多智能体深度强化学习算法生成多能源协同优化运行策略，具体为：
初始化智能体训练网络参数，预设多智能体训练轮次；
随机初始化区域能源互联网环境，获得当前区域能源互联网状态数据；
将当前区域能源互联网状态数据输入多智能体中，各子区域智能体进行优化决策，生成联合决策动作，同时环境反馈奖励值和下一时刻状态数据；
将当前区域能源互联网状态数据、联合决策动作、奖励值和下一时刻状态数据存储到经验池中；
通过经验池中数据对智能体训练网络参数进行更新，循环训练直至满足约束条件收敛或训练轮次大于预设的多智能体训练轮次，生成多能源协同优化运行策略。
进一步地，所述运行策略优化模块中，在交互训练过程中引入注意力机制，具体为：
各个智能体将观测到的环境信息输入到注意力机制中，进行关键特征提取，并且将特征权重输入到各智能体价值网络中，所述关键特征为可控设备的工作转换效率；
各个智能体通过观测注意到其他智能体的可控设备情况后，调高工作转换效率高的可控设备能源输入，同时降低工作转换效率低的可控设备能源输入，达到每台可控设备的合理出力，实现能源互联网运行优化；
其中，工作转换效率高的可控设备指的是工作转换效果大于全部可控设备平均工作转换效率的可控设备；
工作转换效率低的可控设备指的是工作转换效果小于全部可控设备平均工作转换效率的可控设备。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述基于多智能体强化学习的多能源优化方法的步骤。
与现有技术相比，本发明具有以下有益的技术效果：
本发明根据区域能源互联网运行特性，利用供需平衡原则和运行约束条件，采用多智能体深度强化学习引入注意力机制方式，实现区域能源互联网多能源多主体的人工智能算法协同互动，确保系统安全稳定运行，通过多智能体深度强化学习智能算法解决传统机理模型优化求解非凸非线性问题困难，实现多智能体非完全信息下多能源系统协同优化策略的自动快速生成。
进一步地，通过计算可控设备如火力发电机组、电锅炉、燃气轮机工作转换效率的方法，设计区域能源互联网可控设备的合理能源输入控制，避免同一单位内可控设备控制策略不够精细，导致工作效率低的影响。
进一步地，从可控设备的工作转换效率角度考虑区域能源互联网能源转换设备的控制问题，采用工作转换效率高的可控设备承担部分工作效率较低的可控设备出力，从而提升设备利用率，降低能源输入消耗，提高控制准确性，不仅提高了能源利用的经济效益，而且在节能环保低碳运行方面具有重要意义。
附图说明
说明书附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为现有多智能体深度强化学习技术示意图；
图2为本发明区域能源互联网优化运行模型算法框架示意图；
图3为本发明多智能体深度强化学习算法流程示意图；
图4为本发明多智能体深度强化学习引入注意力机制示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
本发明提供一种基于多智能体强化学习的多能源优化方法，通过多智能体深度强化学习方法求解区域能源互联网优化运行问题，并且在多智能体深度强化学习算法中引入注意力机制，通过智能体关注可控设备的工作转换效率，并且以提高工作转换效率较高可控设备出力，降低工作转换效率较低可控设备出力的方式，快速求解区域能源互联网多能源协同优化运行，提高多能源利用效率，主要包括七部分：
(1)获取区域能源互联网数据，主要包含电力系统、热力系统、天然气系统和可再生能源参数四个方面的参数数据，如下所示：
电力系统参数主要包括：系统频率、火力发电机组有功功率和无功功率、发电机组燃料输入量、电负荷消耗的有功功率和无功功率，电力系统网络节点数，系统电压幅值、相角以及电储能容量等参数。
天然气系统参数主要包括：天然气管道稳态流量、节点气压和温度、气负荷等参数。
热力系统参数主要包括：电锅炉的功率和实际转换热量、燃气锅炉的功率和实际转换热量、以及热网中各节点气压、温度、管道中介质流量和热负荷等参数。
可再生能源参数主要包括：风力发电机组有功功率，光伏发电机组有功功率。
(2)区域能源互联网环境设置，通过对区域能源互联网电气热等多类能源生产模式进行模型建立，为多智能体深度强化学习与环境的交互训练提供便利条件，同时确定区域能源互联网的状态空间和动作空间。
状态空间设置：
设定的每个区域的智能体的状态空间包括区域内火电机组有功功率、火电机组燃煤量、电负荷功率、电储能电量，电锅炉有功功率，燃气锅炉燃气输入量，风电有功功率，光伏有功功率，以及所处调度时段T。如下式所示：
Figure BDA0003789137390000131
式中：Si,T为状态空间，T为当前所处调度时段，
Figure BDA0003789137390000132
为i子区域T时段火电机组有功功率，
Figure BDA0003789137390000133
为i子区域T时段火电机组燃煤输入，
Figure BDA0003789137390000134
为i子区域T时段不包含电锅炉的其他电负荷功率，
Figure BDA0003789137390000135
为i子区域T时段电储能电量，
Figure BDA0003789137390000136
为i子区域T时段电锅炉有功功率，
Figure BDA0003789137390000137
为i子区域T时段燃气锅炉燃气输入量，
Figure BDA0003789137390000138
为i子区域T时段风电有功功率，
Figure BDA0003789137390000139
为i子区域T时段光伏有功功率。
动作空间设置：
设置区域内可控设备如火电机组有功功率、电锅炉有功功率燃气锅炉燃气输入量、风电有功功率、光伏有功功率和电储能电量为动作空间。如下式所示：
Figure BDA00037891373900001310
式中，Ai,T为动作空间，
Figure BDA00037891373900001311
为i子区域T时段火电机组有功功率，
Figure BDA00037891373900001312
为i子区域T时段电储能有功功率，
Figure BDA00037891373900001313
为i子区域T时段电锅炉有功功率，
Figure BDA00037891373900001314
为i子区域T时段燃气锅炉燃气输入量，
Figure BDA0003789137390000141
为i子区域T时段风电有功功率，
Figure BDA0003789137390000142
为i子区域T时段光伏有功功率。
(3)奖励机制设置，该部分主要阐述多智能体深度强化学习的奖励机制，使智能体获得最大的奖赏目标，引导智能体与环境进行交互获得最优策略动作，包含多智能体深度强化学习的优化目标函数、约束条件及奖励函数设置。
优化目标函数具体设置如下：
本发明以区域能源互联网能源消耗最低为优化目标，优化目标函数如下：
Figure BDA0003789137390000143
式中：Cin为区域能源互联网总体能源输入成本，
Figure BDA0003789137390000144
为区域能源互联网火力发电燃煤输入，α为燃煤成本系数，
Figure BDA0003789137390000145
为区域能源互联网天然气能源输入，β为燃气成本系数。
其中，公式(1)中：
Figure BDA0003789137390000146
式中，
Figure BDA0003789137390000147
为第i子区域第j个火力发电出力功率，
Figure BDA0003789137390000148
为第i子区域第j个火力发电机工作效率。
Figure BDA0003789137390000149
其中，n为区域能源互联网中子区域的个数，每个子区域对应一个智能体，m为子区域中设备数量，
Figure BDA00037891373900001410
为i子区域T时段风电有功功率，
Figure BDA00037891373900001411
为i子区域T时段光伏有功功率，
Figure BDA00037891373900001412
为i子区域T时段电储能有功功率，
Figure BDA00037891373900001413
为i子区域T时段不包含电锅炉的其他电负荷功率，
Figure BDA00037891373900001414
为i子区域第j个T时段电锅炉有功功率。
公式(1)中：
Figure BDA0003789137390000151
其中，
Figure BDA0003789137390000152
为i子区域在T时段第j个燃气锅炉天然气输入量，
Figure BDA0003789137390000153
为i子区域在T时段第j个不包括燃气锅炉的气负荷。
约束条件具体设置如下：
①系统平衡约束：满足电力系统、热力系统、天热气系统运行供需平衡；
②能量生产转换设备约束：各能量生产转换设备如火电机组出力、电锅炉出力、燃气锅炉出力、风电出力、光伏出力、电储能均在其设备功率上下限范围内；电能、热能生产转换设备，如火电机组、电锅炉、燃气锅炉的爬坡率满足爬坡率上下限范围内；
③系统稳定约束：电力系统满足系统节点电压标幺值在[0.95,1.05]之间。
由以上内容，奖励函数具体主要包含两部分：
第一、即在T时段区域能源互联网系统能源消耗越小，该时段给予各智能体的奖励越大。如下式所示：
Figure BDA0003789137390000154
式中，R1为第一奖励函数，k1为奖励系数。
第二、系统稳定约束：电力系统满足系统节点电压标幺值在[0.95,1.05]之间，奖励函数如下：
Figure BDA0003789137390000155
式中，R2为第二奖励函数，R3为第三奖励函数，R4为第四奖励函数，R5为第五奖励函数，k2奖励系数，k3为惩罚系数，C1和C2分别为结果满足条件时的奖励常数值。
最终奖励函数如下式：
R＝R1+R2+R3+R4+R5 (7)
其中，R为总奖励函数，R2和R3有一个满足条件时，另一个数值为0，R4和R5有一个满足条件时，另一个数值为0。
(4)多智能体深度强化学习算法流程设计，利用多智能体深度强化学习算法进行区域能源互联网多主体的划分，构建基于多智能体深度强化学习的区域能源互联网优化运行算法模型框架，利用多智能体深度强化学习算法进行区域能源互联网运行优化控制决策生成。
具体如图2所示，区域能源互联网为多智能体强化学习算法提供状态数据，然后由多智能体强化进行数据的输入，并且根据优化目标函数、奖励函数以及约束条件进行训练，生成控制决策反馈到区域能源互联网中运行。
区域能源互联网主要分为电力系统、热力系统和天然气系统，电力系统又分为传统火力发电和新能源发电，新能源发电包含风力发电和光伏发电，整个能源互联网系统运行逻辑是首先各个区域满足各自区域电、气、热负荷需求，如果本区域还有多余的能量剩余，可以提供给其他区域进行协同优化。
电力系统中优先进行风电、光伏消纳，满足电负荷和热力系统中电锅炉需求，多余电量可以存入电储能装置中，可控设备为传统火电发电机组和电锅炉设备。天然气系统一部分供给气负荷使用，另一部供给热力系统燃气锅炉设备供热，可控设备为燃气锅炉。通过不同能源系统之间和不能区域之间的能源协同互动，达到区域能源互联网优化运行。
本发明主要通过消纳新能源和控制传统火电机组，电锅炉、燃气轮机等可控设备，调节可控设备出力，一次达到能源优化目的。
其中，使用的多智能体强化学习流程设计如图3所示：
初始化智能体训练网络参数，预设智能体训练迭代的轮次M，通过随机初始化环境参数，获得当前区域能源互联网状态数据St，状态数据输入多智能体中，进行模型训练，生成联合决策动作A，每个智能体代表区域能源互联网中的一个子区域，该子区域包含冷热器等可控设备，动作策略通过智能体与环境的不断交互，环境生成相应的奖励值R和下一时刻的状态数据St+1，将{St，A，R，St+1}存储到经验池中，与此同时，通过存储在经验池中的数据，对智能体训练网络参数进行更新，从而使得累积的值函数期望值最大，最后当系统满足全部约束条件或训练轮次达到设置值时，结束模型训练，否则重复训练，直至满足收敛。
(5)在(4)中引入注意力机制，通过每个智能体向其他智能体查询关于它们的观察和操作的部分可观信息，实现高效率可调节能源利用。
在(4)中的多智能体深度强化学习算法中引入注意力机制，如图4所示，通过多个智能体将每个智能体观测到的环境信息输入到注意力机制中，进行关键特征提取，并且将特征权重输入到各智能体价值网络中，通过这种方式实现智能体对其他智能体关键特征的关注，从而引导多智能体对本区域的可控设备控制，提高能源利用率。
(6)可调节设备能源工作转换效率判断，根据区域能源互联网实际工况，计算每个可调节发电机、电锅炉和燃气轮机等可控设备工作转换效率，并根据全部可控设备的平均工作转换效率来区分高或低工作转换效率的可控设备，用于(5)的注意力机制下智能体重点关注特征信息。
采用可控设备发电机组工作转换效率，电锅炉工作转换效率和燃气轮机工作转换效率作为注意力机制关键特征，根据以下公式可以分别求得相应工作转换效率。
Figure BDA0003789137390000181
Figure BDA0003789137390000182
Figure BDA0003789137390000183
式中，
Figure BDA0003789137390000184
为第i子区域第j个火力发电机工作转换效率，
Figure BDA0003789137390000185
为第i子区域第j个火力发电出力功率，
Figure BDA0003789137390000186
为第i子区域第j个火力发电机燃煤输入量，
Figure BDA0003789137390000187
为第i子区域第j个电锅炉换热量，
Figure BDA0003789137390000188
为i子区域在T时段第j个电锅炉有功功率，
Figure BDA0003789137390000189
为第i子区域第j个燃气锅炉换热量，
Figure BDA00037891373900001810
为i子区域在T时段第j个燃气锅炉天然气输入量；
换热量可通过以下通式计算：
H＝CmΔT
式中：H为设备换热量，C为水比热容，ΔT为热力系统管道中水的初始温度和加热后的温度差。
将发电机组工作转换效率，电锅炉工作转换效率和燃气轮机工作转换效率返回给各个智能体，各个智能体通过观测注意到其他智能体的可控设备情况后，调高转换效率高的可控设备能源输入，同时降低转换效率低的可控设备能源输入，达到每台可控设备的合理出力，实现能源互联网运行优化，从而节省能源消耗。
以火力发电机组为例，区域中有10台发电机组，定义i子区域j台火电机组的工作转换效率为：
Figure BDA00037891373900001811
式中，
Figure BDA00037891373900001812
为第i子区域第j个火力发电机工作转换效率，
Figure BDA00037891373900001813
为第i子区域第j个火力发电出力功率，
Figure BDA00037891373900001814
为第i子区域第j个火力发电机燃煤输入量。
定义i子区域火电机组平均工作转换效率为所有火力发电机工作转换效率加和后除以总台数：
Figure BDA0003789137390000191
高于平均工作转换效率的机组为高工作转换效率火力发电机，低于平均工作转换效率的机组为低工作转换效率火力发电机。
如公式(8)，假设各个火力发电机有功出力一定，那么工作转换效率高的火力发电机，其消耗的燃煤输入量必然小。也就是说，如果同样的有功出力由工作转换效率高的火力发电机完成，其燃煤消耗要小于工作转换效率低的火力发电机。
根据火力发电机组工作转换效率的高低，提高工作转换效率高的火力发电机燃煤输入量，降低工作转换效率低的火力发电机燃煤输入量，调整后的单台火力发电机的燃煤输入量为：
Figure BDA0003789137390000192
式中，
Figure BDA0003789137390000193
为单台火力发电机调整后的燃煤输入量，
Figure BDA0003789137390000194
为单台火力发电机调整前的燃煤输入量，Δ为火力发电机组的调整量。
Δ＝(Δ1,Δ2,…,Δ10) (11)
所以在总有功出力不变的前提下，如果适当的增加工作转换效率高的火力发电机燃煤输入量，同时降低工作转换效率低的火力发电机燃煤输入量，则高效发电机增加的煤耗必然小于低效发电机降低的煤耗，从而达到调整后发电机组的燃煤输入量必然小于调整前的燃煤输入量。
如下式所示：
Figure BDA0003789137390000201
根据公式(8)至(12)所示的推理过程，电锅炉和燃气锅炉的调整原理依次类推，调高区域内工作效率较高的设备有功出力和天然气输入量。
调整量的控制策略，均由多智能体深度强化学习算法生成，最终实现多能源协同优化运行。
(7)结合(1)至(6)进行多智能体深度强化学习训练，生成多能源协同优化运行策略。
通过(1)至(4)构建了多智能体强化学习的状态空间、动作空间、奖励函数以及区域能源互联网运行优化框架，并且引入(5)和(6)的注意力机制，从而更好的引导多智能体的能源优化策略生成，最终实现区域能源互联网以能源消耗最低为目标函数的多智能体深度强化学习生成方法。
实施例二
基于多智能体强化学习的多能源优化系统，包括：
数据获取模块：用于获取区域能源互联网数据；区域能源互联网数据包括电力系统参数、热力系统参数、天然气系统参数和可再生能源参数；
所述电力系统参数包括：系统频率、火力发电机组有功功率和无功功率、发电机组燃料输入量、电负荷消耗的有功功率和无功功率、电力系统网络节点数、系统电压幅值、相角以及电储能容量；
所述天然气系统参数包括：天然气管道稳态流量、节点气压和温度以及气负荷；
所述热力系统参数包括：电锅炉的功率和实际转换热量、燃气锅炉的功率和实际转换热量、热网中各节点气压和温度、管道中介质流量和热负荷；
所述可再生能源参数包括：风力发电机组有功功率以及光伏发电机组有功功率。
环境设置模块：用于根据区域能源互联网数据设置区域能源互联网环境；区域能源互联网环境包括状态空间和动作空间；
所述状态空间如下式所示：
Figure BDA0003789137390000211
式中，Si,T为状态空间，T为当前所处调度时段，
Figure BDA0003789137390000212
为i子区域T时段火电机组有功功率，
Figure BDA0003789137390000213
为i子区域T时段火电机组燃煤输入，
Figure BDA0003789137390000214
为i子区域T时段不包含电锅炉的其他电负荷功率，
Figure BDA0003789137390000215
为i子区域T时段电储能电量，
Figure BDA0003789137390000216
为i子区域T时段电锅炉有功功率，
Figure BDA0003789137390000217
为i子区域T时段燃气锅炉燃气输入量，
Figure BDA0003789137390000218
为i子区域T时段风电有功功率，
Figure BDA0003789137390000219
为i子区域T时段光伏有功功率；
所述动作空间如下式所示：
Figure BDA00037891373900002110
式中，Ai,T为动作空间，
Figure BDA00037891373900002111
为i子区域T时段火电机组有功功率，
Figure BDA00037891373900002112
为i子区域T时段电储能有功功率，
Figure BDA00037891373900002113
为i子区域T时段电锅炉有功功率，
Figure BDA00037891373900002114
为i子区域T时段燃气锅炉燃气输入量，
Figure BDA00037891373900002115
为i子区域T时段风电有功功率，
Figure BDA00037891373900002116
为i子区域T时段光伏有功功率。
运行策略优化模块：用于将多智能体深度强化学习与区域能源互联网环境进行交互训练，通过设置奖励机制使智能体获得最大奖赏目标，所述奖励机制包括优化目标函数、约束条件及奖励函数，另外在交互训练过程中引入注意力机制，得到多能源协同优化运行策略。
其中，所述优化目标函数如下式所示：
Figure BDA0003789137390000221
式中：Cin为区域能源互联网总体能源输入成本，
Figure BDA0003789137390000222
为区域能源互联网火力发电燃煤输入，α为燃煤成本系数，
Figure BDA0003789137390000223
为区域能源互联网天然气能源输入，β为燃气成本系数；
其中，
Figure BDA0003789137390000224
式中，n为区域能源互联网中子区域的个数，每个子区域对应一个智能体，m为子区域中设备数量，
Figure BDA0003789137390000225
为第i子区域第j个火力发电出力功率，
Figure BDA0003789137390000226
为第i子区域第j个火力发电机工作效率；
Figure BDA0003789137390000227
为i子区域在T时段第j个燃气锅炉天然气输入量，
Figure BDA0003789137390000228
为i子区域在T时段第j个不包括燃气锅炉的气负荷；
其中，
Figure BDA0003789137390000229
式中，
Figure BDA00037891373900002210
为i子区域T时段风电有功功率，
Figure BDA00037891373900002211
为i子区域T时段光伏有功功率，
Figure BDA00037891373900002212
为i子区域T时段电储能有功功率，
Figure BDA00037891373900002213
为i子区域T时段不包含电锅炉的其他电负荷功率，
Figure BDA00037891373900002214
为i子区域在T时段第j个电锅炉有功功率。
所述约束条件包括：
1)满足电力系统、热力系统和天热气系统运行供需平衡；
2)电力系统、热力系统和天热气系统中各能量生产转换设备均在设备功率上下限范围内；电能、热能生产转换设备的爬坡率满足爬坡率上下限范围内；
3)电力系统满足系统节点电压标幺值在[0.95,1.05]之间。
所述奖励函数表示如下：
R＝R1+R2+R3+R4+R5
式中，R为总奖励函数，R1为第一奖励函数，R2为第二奖励函数，R3为第三奖励函数，R4为第四奖励函数，R5为第五奖励函数，R2和R3中有一个满足条件时，另一个数值为0，R4和R5中有一个满足条件时，另一个数值为0；
Figure BDA0003789137390000231
Figure BDA0003789137390000232
式中，Lstep为强化学习算法迭代步长，v为系统节点电压标幺值，k1和k2为奖励系数，k3为惩罚系数，C1和C2分别为结果满足条件时的奖励常数值。
另外，将多智能体深度强化学习与区域能源互联网环境进行交互训练，具体为：
构建区域能源互联网优化运行算法模型框架；
设计多智能体深度强化学习算法；
基于区域能源互联网优化运行算法模型框架，利用多智能体深度强化学习算法生成多能源协同优化运行策略；
所述利用多智能体深度强化学习算法生成多能源协同优化运行策略，具体为：
初始化智能体训练网络参数，预设多智能体训练轮次；
随机初始化区域能源互联网环境，获得当前区域能源互联网状态数据；
将当前区域能源互联网状态数据输入多智能体中，各子区域智能体进行优化决策，生成联合决策动作，同时环境反馈奖励值和下一时刻状态数据；
将当前区域能源互联网状态数据、联合决策动作、奖励值和下一时刻状态数据存储到经验池中；
通过经验池中数据对智能体训练网络参数进行更新，循环训练直至满足约束条件收敛或训练轮次大于预设的多智能体训练轮次，生成多能源协同优化运行策略。
在交互训练过程中引入注意力机制，具体为：
各个智能体将观测到的环境信息输入到注意力机制中，进行关键特征提取，并且将特征权重输入到各智能体价值网络中，所述关键特征为可控设备的工作转换效率；
各个智能体通过观测注意到其他智能体的可控设备情况后，调高工作转换效率高的可控设备能源输入，同时降低工作转换效率低的可控设备能源输入，达到每台可控设备的合理出力，实现能源互联网运行优化；
其中，工作转换效率高的可控设备指的是工作转换效果大于全部可控设备平均工作转换效率的可控设备；
工作转换效率低的可控设备指的是工作转换效果小于全部可控设备平均工作转换效率的可控设备。
相关术语解释
能源互联网：综合运用先进的电力电子技术，信息技术和智能管理技术，将大量由分布式能量采集装置，分布式能量储存装置和各种类型负载构成的新型电力网络节点互联起来，以实现能量双向流动的能量对等交换与共享网络。
能源互联网协同优化：协同优化是在优化每一子目标函数同时综合考虑其它子目标函数的结果，使子目标函数之间的优化结果能够一致。在能源互联网中一般优化目标包括降低系统运行成本、提高系统供能能效、降低系统环境成本等。
多智能体强化学习：强化学习(Reinforcement Learning,RL)，又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。强化学习是智能体(Agent)以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，强化学习中由环境对智能体产生动作的好坏作一种评价(通常为标量信号)，而不是告诉智能体如何去产生正确的动作。由于外部环境提供的信息很少，智能体必须靠自身的经历进行学习。通过这种方式，智能体在行动-评价的环境中获得知识，改进行动方案以适应环境。
当同时存在多个智能体与环境交互时，整个系统就变成一个多智能体系统。每个智能体仍然是遵循着强化学习的目标，也就是是最大化能够获得的累积回报，而此时环境全局状态的改变就和所有智能体的联合动作相关了。
智能体：强化学习把学习看作试探评价过程，Agent选择一个动作用于环境，环境接受该动作后状态发生变化，同时产生一个强化信号(奖或惩)反馈给Agent，Agent根据强化信号和环境当前状态再选择下一个动作，选择的原则是使受到正强化(奖)的概率增大。选择的动作不仅影响立即奖励值，而且影响环境下一时刻的状态及最终的奖励值。
动作空间：强化学习中智能体输出的动作集合。
状态空间：强化学习中智能体输入的环境运行状态集合。
奖励值：强化学习中由环境对智能体产生动作的好坏作一种评价。
集中训练分布执行：在训练时，所有的智能体采用集中式结构进行训练,每个智能体可以通过无限制开放的信道获得其他智能体的信息.在训练结束之后则执行分布式策略,每个智能体只能通过自身的观测和有限信道传来的其他智能体的信息，进行动作的选择。
注意力机制：起源于认知心理学和神经科学。人眼通过快速扫描聚焦于需要关注的目标位置，并对该区域投入更多的注意力，提取需要的细致的信息，并较少对其他区域的关注，抑制了信息的过载，这是人类可以利用有限资源从大量信息中快速筛选出有价值信息的一种能力。深度学习的注意力机制模拟了该过程，对于输入到神经网络的数据，通过学习，学会关注输入信息中的关键信息内容，在之后的预测或者推理过程中，对其重点关注或者利用。即在机器学习模型中嵌入的一种特殊结构，用来自动学习和计算输入数据对输出数据的贡献大小。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解:本领域技术人员阅读本发明后依然可对发明的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在发明待批的权利要求保护范围之内。

Claims (16)

1.基于多智能体强化学习的多能源优化方法，其特征在于，包括：
获取区域能源互联网数据；
根据区域能源互联网数据设置区域能源互联网环境；
将多智能体深度强化学习与区域能源互联网环境进行交互训练，在交互训练过程中引入注意力机制，得到多能源协同优化运行策略。
2.根据权利要求1所述的基于多智能体强化学习的多能源优化方法，其特征在于，所述区域能源互联网数据包括电力系统参数、热力系统参数、天然气系统参数和可再生能源参数；
所述电力系统参数包括：系统频率、火力发电机组有功功率和无功功率、发电机组燃料输入量、电负荷消耗的有功功率和无功功率、电力系统网络节点数、系统电压幅值、相角以及电储能容量；
所述天然气系统参数包括：天然气管道稳态流量、节点气压和温度以及气负荷；
所述热力系统参数包括：电锅炉的功率和实际转换热量、燃气锅炉的功率和实际转换热量、热网中各节点气压和温度、管道中介质流量和热负荷；
所述可再生能源参数包括：风力发电机组有功功率以及光伏发电机组有功功率。
3.根据权利要求2所述的基于多智能体强化学习的多能源优化方法，其特征在于，所述区域能源互联网环境包括状态空间和动作空间；
所述状态空间如下式所示：
Figure FDA0003789137380000011
式中，Si,T为状态空间，T为当前所处调度时段，
Figure FDA0003789137380000012
为i子区域T时段火电机组有功功率，
Figure FDA0003789137380000013
为i子区域T时段火电机组燃煤输入，
Figure FDA0003789137380000014
为i子区域T时段不包含电锅炉的其他电负荷功率，
Figure FDA0003789137380000021
为i子区域T时段电储能电量，
Figure FDA0003789137380000022
为i子区域T时段电锅炉有功功率，
Figure FDA0003789137380000023
为i子区域T时段燃气锅炉燃气输入量，
Figure FDA0003789137380000024
为i子区域T时段风电有功功率，
Figure FDA0003789137380000025
为i子区域T时段光伏有功功率；
所述动作空间如下式所示：
Figure FDA0003789137380000026
式中，Ai,T为动作空间，
Figure FDA0003789137380000027
为i子区域T时段火电机组有功功率，
Figure FDA0003789137380000028
为i子区域T时段电储能有功功率，
Figure FDA0003789137380000029
为i子区域T时段电锅炉有功功率，
Figure FDA00037891373800000210
为i子区域T时段燃气锅炉燃气输入量，
Figure FDA00037891373800000211
为i子区域T时段风电有功功率，
Figure FDA00037891373800000212
为i子区域T时段光伏有功功率。
4.根据权利要求2所述的基于多智能体强化学习的多能源优化方法，其特征在于，所述将多智能体深度强化学习与区域能源互联网环境进行交互训练过程中，通过设置奖励机制使智能体获得最大奖赏目标，所述奖励机制包括优化目标函数、约束条件及奖励函数。
5.根据权利要求4所述的基于多智能体强化学习的多能源优化方法，其特征在于，所述优化目标函数如下式所示：
Figure FDA00037891373800000213
式中：Cin为区域能源互联网总体能源输入成本，
Figure FDA00037891373800000214
为区域能源互联网火力发电燃煤输入，α为燃煤成本系数，
Figure FDA00037891373800000215
为区域能源互联网天然气能源输入，β为燃气成本系数；
其中，
Figure FDA00037891373800000216
式中，n为区域能源互联网中子区域的个数，每个子区域对应一个智能体，m为子区域中设备数量，
Figure FDA0003789137380000031
为第i子区域第j个火力发电出力功率，
Figure FDA0003789137380000032
为第i子区域第j个火力发电机工作效率；
Figure FDA0003789137380000033
为i子区域在T时段第j个燃气锅炉天然气输入量，
Figure FDA0003789137380000034
为i子区域在T时段第j个不包括燃气锅炉的气负荷；
其中，
Figure FDA0003789137380000035
式中，
Figure FDA0003789137380000036
为i子区域T时段风电有功功率，
Figure FDA0003789137380000037
为i子区域T时段光伏有功功率，
Figure FDA0003789137380000038
为i子区域T时段电储能有功功率，
Figure FDA0003789137380000039
为i子区域T时段不包含电锅炉的其他电负荷功率，
Figure FDA00037891373800000310
为i子区域在T时段第j个电锅炉有功功率。
6.根据权利要求5所述的基于多智能体强化学习的多能源优化方法，其特征在于，所述约束条件包括：
1)满足电力系统、热力系统和天热气系统运行供需平衡；
2)电力系统、热力系统和天热气系统中各能量生产转换设备均在设备功率上下限范围内；电能、热能生产转换设备的爬坡率满足爬坡率上下限范围内；
3)电力系统满足系统节点电压标幺值在[0.95,1.05]之间。
7.根据权利要求6所述的基于多智能体强化学习的多能源优化方法，其特征在于，所述奖励函数表示如下：
R＝R1+R2+R3+R4+R5
式中，R为总奖励函数，R1为第一奖励函数，R2为第二奖励函数，R3为第三奖励函数，R4为第四奖励函数，R5为第五奖励函数，R2和R3中有一个满足条件时，另一个数值为0，R4和R5中有一个满足条件时，另一个数值为0；
Figure FDA0003789137380000041
式中，Lstep为强化学习算法迭代步长，v为系统节点电压标幺值，k1和k2为奖励系数，k3为惩罚系数，C1和C2分别为结果满足条件时的奖励常数值。
8.根据权利要求4所述的基于多智能体强化学习的多能源优化方法，其特征在于，所述将多智能体深度强化学习与区域能源互联网环境进行交互训练，具体为：
构建区域能源互联网优化运行算法模型框架；
设计多智能体深度强化学习算法；
基于区域能源互联网优化运行算法模型框架，利用多智能体深度强化学习算法生成多能源协同优化运行策略；
所述利用多智能体深度强化学习算法生成多能源协同优化运行策略，具体为：
初始化智能体训练网络参数，预设多智能体训练轮次；
随机初始化区域能源互联网环境，获得当前区域能源互联网状态数据；
将当前区域能源互联网状态数据输入多智能体中，各子区域智能体进行优化决策，生成联合决策动作，同时环境反馈奖励值和下一时刻状态数据；
将当前区域能源互联网状态数据、联合决策动作、奖励值和下一时刻状态数据存储到经验池中；
通过经验池中数据对智能体训练网络参数进行更新，循环训练直至满足约束条件收敛或训练轮次大于预设的多智能体训练轮次，生成多能源协同优化运行策略。
9.根据权利要求4所述的基于多智能体强化学习的多能源优化方法，其特征在于，所述在交互训练过程中引入注意力机制，具体为：
各个智能体将观测到的环境信息输入到注意力机制中，进行关键特征提取，并且将特征权重输入到各智能体价值网络中，所述关键特征为可控设备的工作转换效率；
各个智能体通过观测注意到其他智能体的可控设备情况后，调高工作转换效率高的可控设备能源输入，同时降低工作转换效率低的可控设备能源输入，达到每台可控设备的合理出力，实现能源互联网运行优化；
其中，工作转换效率高的可控设备指的是工作转换效果大于全部可控设备平均工作转换效率的可控设备；
工作转换效率低的可控设备指的是工作转换效果小于全部可控设备平均工作转换效率的可控设备。
10.基于多智能体强化学习的多能源优化系统，其特征在于，包括：
数据获取模块：用于获取区域能源互联网数据；
环境设置模块：用于根据区域能源互联网数据设置区域能源互联网环境；
运行策略优化模块：用于将多智能体深度强化学习与区域能源互联网环境进行交互训练，在交互训练过程中引入注意力机制，得到多能源协同优化运行策略。
11.根据权利要求10所述的基于多智能体强化学习的多能源优化系统，其特征在于，所述数据获取模块中，区域能源互联网数据包括电力系统参数、热力系统参数、天然气系统参数和可再生能源参数；
所述电力系统参数包括：系统频率、火力发电机组有功功率和无功功率、发电机组燃料输入量、电负荷消耗的有功功率和无功功率、电力系统网络节点数、系统电压幅值、相角以及电储能容量；
所述天然气系统参数包括：天然气管道稳态流量、节点气压和温度以及气负荷；
所述热力系统参数包括：电锅炉的功率和实际转换热量、燃气锅炉的功率和实际转换热量、热网中各节点气压和温度、管道中介质流量和热负荷；
所述可再生能源参数包括：风力发电机组有功功率以及光伏发电机组有功功率。
12.根据权利要求11所述的基于多智能体强化学习的多能源优化系统，其特征在于，所述环境设置模块中，区域能源互联网环境包括状态空间和动作空间；
所述状态空间如下式所示：
Figure FDA0003789137380000061
式中，Si,T为状态空间，T为当前所处调度时段，
Figure FDA0003789137380000062
为i子区域T时段火电机组有功功率，
Figure FDA0003789137380000063
为i子区域T时段火电机组燃煤输入，
Figure FDA0003789137380000064
为i子区域T时段不包含电锅炉的其他电负荷功率，
Figure FDA0003789137380000065
为i子区域T时段电储能电量，
Figure FDA0003789137380000066
为i子区域T时段电锅炉有功功率，
Figure FDA0003789137380000067
为i子区域T时段燃气锅炉燃气输入量，
Figure FDA0003789137380000068
为i子区域T时段风电有功功率，
Figure FDA0003789137380000069
为i子区域T时段光伏有功功率；
所述动作空间如下式所示：
Figure FDA00037891373800000610
式中，Ai,T为动作空间，
Figure FDA0003789137380000071
为i子区域T时段火电机组有功功率，
Figure FDA0003789137380000072
为i子区域T时段电储能有功功率，
Figure FDA0003789137380000073
为i子区域T时段电锅炉有功功率，
Figure FDA0003789137380000074
为i子区域T时段燃气锅炉燃气输入量，
Figure FDA0003789137380000075
为i子区域T时段风电有功功率，
Figure FDA0003789137380000076
为i子区域T时段光伏有功功率。
13.根据权利要求11所述的基于多智能体强化学习的多能源优化系统，其特征在于，所述运行策略优化模块中，将多智能体深度强化学习与区域能源互联网环境进行交互训练过程中，通过设置奖励机制使智能体获得最大奖赏目标，所述奖励机制包括优化目标函数、约束条件及奖励函数。
14.根据权利要求13所述的基于多智能体强化学习的多能源优化系统，其特征在于，所述运行策略优化模块中，将多智能体深度强化学习与区域能源互联网环境进行交互训练，具体为：
构建区域能源互联网优化运行算法模型框架；
设计多智能体深度强化学习算法；
基于区域能源互联网优化运行算法模型框架，利用多智能体深度强化学习算法生成多能源协同优化运行策略；
所述利用多智能体深度强化学习算法生成多能源协同优化运行策略，具体为：
初始化智能体训练网络参数，预设多智能体训练轮次；
随机初始化区域能源互联网环境，获得当前区域能源互联网状态数据；
将当前区域能源互联网状态数据输入多智能体中，各子区域智能体进行优化决策，生成联合决策动作，同时环境反馈奖励值和下一时刻状态数据；
将当前区域能源互联网状态数据、联合决策动作、奖励值和下一时刻状态数据存储到经验池中；
通过经验池中数据对智能体训练网络参数进行更新，循环训练直至满足约束条件收敛或训练轮次大于预设的多智能体训练轮次，生成多能源协同优化运行策略。
15.根据权利要求13所述的基于多智能体强化学习的多能源优化系统，其特征在于，所述运行策略优化模块中，在交互训练过程中引入注意力机制，具体为：
各个智能体将观测到的环境信息输入到注意力机制中，进行关键特征提取，并且将特征权重输入到各智能体价值网络中，所述关键特征为可控设备的工作转换效率；
各个智能体通过观测注意到其他智能体的可控设备情况后，调高工作转换效率高的可控设备能源输入，同时降低工作转换效率低的可控设备能源输入，达到每台可控设备的合理出力，实现能源互联网运行优化；
其中，工作转换效率高的可控设备指的是工作转换效果大于全部可控设备平均工作转换效率的可控设备；
工作转换效率低的可控设备指的是工作转换效果小于全部可控设备平均工作转换效率的可控设备。
16.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述基于多智能体强化学习的多能源优化方法的步骤。
CN202210949981.9A 2022-08-09 2022-08-09 基于多智能体强化学习的多能源优化方法、系统和介质 Pending CN115375015A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210949981.9A CN115375015A (zh) 2022-08-09 2022-08-09 基于多智能体强化学习的多能源优化方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210949981.9A CN115375015A (zh) 2022-08-09 2022-08-09 基于多智能体强化学习的多能源优化方法、系统和介质

Publications (1)

Publication Number Publication Date
CN115375015A true CN115375015A (zh) 2022-11-22

Family

ID=84064289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210949981.9A Pending CN115375015A (zh) 2022-08-09 2022-08-09 基于多智能体强化学习的多能源优化方法、系统和介质

Country Status (1)

Country Link
CN (1) CN115375015A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116488154A (zh) * 2023-04-17 2023-07-25 海南大学 基于微电网的能源调度方法、系统、计算机设备及介质
CN117595346A (zh) * 2024-01-18 2024-02-23 国网冀北电力有限公司 基于强化学习的充放电策略网络训练方法和储能控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116488154A (zh) * 2023-04-17 2023-07-25 海南大学 基于微电网的能源调度方法、系统、计算机设备及介质
CN117595346A (zh) * 2024-01-18 2024-02-23 国网冀北电力有限公司 基于强化学习的充放电策略网络训练方法和储能控制方法
CN117595346B (zh) * 2024-01-18 2024-04-05 国网冀北电力有限公司 基于强化学习的充放电策略网络训练方法和储能控制方法

Similar Documents

Publication Publication Date Title
Li et al. Coordinated load frequency control of multi-area integrated energy system using multi-agent deep reinforcement learning
Abazari et al. Coordination strategies of distributed energy resources including FESS, DEG, FC and WTG in load frequency control (LFC) scheme of hybrid isolated micro-grid
Soliman et al. Supervisory energy management of a hybrid battery/PV/tidal/wind sources integrated in DC-microgrid energy storage system
Yang et al. Disturbance observer based fractional-order integral sliding mode frequency control strategy for interconnected power system
CN115375015A (zh) 基于多智能体强化学习的多能源优化方法、系统和介质
Xi et al. Automatic generation control based on multiple-step greedy attribute and multiple-level allocation strategy
CN111340274A (zh) 一种基于虚拟电厂参与的综合能源系统优化方法和系统
Li et al. Coordinated automatic generation control of interconnected power system with imitation guided exploration multi-agent deep reinforcement learning
Shen et al. Multi-timescale rolling optimization dispatch method for integrated energy system with hybrid energy storage system
Xi et al. A virtual generation ecosystem control strategy for automatic generation control of interconnected microgrids
CN113435793A (zh) 一种基于强化学习的微电网优化调度方法
Li et al. Low-carbon optimal learning scheduling of the power system based on carbon capture system and carbon emission flow theory
Zangeneh et al. A survey: Fuzzify parameters and membership function in electrical applications
Hu et al. Deep reinforcement learning based coordinated voltage control in smart distribution network
CN115795992A (zh) 一种基于运行态势虚拟推演的园区能源互联网在线调度方法
Zhang et al. A novel approach of energy and reserve scheduling for hybrid power systems: Frequency security constraints
CN117791643A (zh) 风光水火储协同博弈的电网智能调频方法及系统
An et al. Real-time optimal operation control of micro energy grid coupling with electricity-thermal-gas considering prosumer characteristics
Huang et al. A discrete optimal control model for the distributed energy system considering multiple disturbance inputs
CN116307071A (zh) 一种高比例光伏接入低压配电网方法
CN114943448A (zh) 一种微电网优化调度模型的构建方法和系统
Zhu et al. Environmental and economic scheduling for wind-pumped storage-thermal integrated energy system based on priority ranking
Hu et al. Optimal Energy Management in Microgrids Based on Reinforcement Learning
Du et al. Deep reinforcement learning for adaptive frequency control of island microgrid considering control performance and economy
Guo et al. A dynamic rolling dispatch for integrated energy system with a hybrid time scale framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination