CN115392373A - 基于深度强化学习的多区域综合能源系统能量管理方法 - Google Patents
基于深度强化学习的多区域综合能源系统能量管理方法 Download PDFInfo
- Publication number
- CN115392373A CN115392373A CN202211025701.1A CN202211025701A CN115392373A CN 115392373 A CN115392373 A CN 115392373A CN 202211025701 A CN202211025701 A CN 202211025701A CN 115392373 A CN115392373 A CN 115392373A
- Authority
- CN
- China
- Prior art keywords
- energy
- network
- energy management
- edge
- reinforcement learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 129
- 230000002787 reinforcement Effects 0.000 title claims abstract description 73
- 238000004146 energy storage Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000006854 communication Effects 0.000 claims abstract description 21
- 238000004891 communication Methods 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 239000007789 gas Substances 0.000 claims description 37
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 34
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims description 30
- 230000006399 behavior Effects 0.000 claims description 30
- 229910052799 carbon Inorganic materials 0.000 claims description 30
- 239000003795 chemical substances by application Substances 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 28
- 238000002485 combustion reaction Methods 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 24
- AMXOYNBUYSYVKV-UHFFFAOYSA-M lithium bromide Chemical compound [Li+].[Br-] AMXOYNBUYSYVKV-UHFFFAOYSA-M 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 239000003345 natural gas Substances 0.000 claims description 17
- 238000001816 cooling Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 14
- 230000005611 electricity Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 10
- 230000008901 benefit Effects 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 10
- 238000010248 power generation Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000010438 heat treatment Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000007175 bidirectional communication Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 239000000446 fuel Substances 0.000 claims description 3
- 238000005057 refrigeration Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 229910052739 hydrogen Inorganic materials 0.000 claims 1
- 239000001257 hydrogen Substances 0.000 claims 1
- 125000004435 hydrogen atom Chemical class [H]* 0.000 claims 1
- 101150067055 minC gene Proteins 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Tourism & Hospitality (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于深度强化学习的多区域综合能源系统能量管理方法，包括：构建多区域综合能源系统能量管理边缘计算架构；通过网络物理层中各子区域综合能源系统设置的传感器采集综合能源系统各类数据信息，并通过无线通信设备上传至边缘层中的边缘节点；将训练完成的深度强化学习模型部署在各个边缘节点上，根据网络物理层上传的信息生成能量管理策略，并反馈给网络物理层进行系统中冷热电源各自的出力控制和储能设备的能量输入、输出量控制；在边缘层和云层之间建立迭代学习机制，当实际和预期的能量管理性能存在出入时，云服务器根据各个边缘节点上报的数据和历史学习经验重新训练深度强化学习模型，并下发至各个边缘节点。
Description
技术领域
本发明属于综合能源系统技术领域，具体涉及一种基于深度强化学习的多区域综合能源系统能量管理方法。
背景技术
随着社会的不断发展进步，人类对于能源的需求不断增大，而石油、煤炭等传统化石能源日渐枯竭，发展环境友好的可再生能源、提高能源利用效率是当今世界共同关注的焦点。为实现区域综合能源的协调利用，需要对电、气、冷、热等多类异质能源进行多能互补，实现能源的协同耦合，进而提高能源利用效率。因此，如何高效地利用现有资源、实现能源的最优配置成为了人们关注的重点和亟待解决的问题。为了最大化资源的利用价值，构建高效、可靠的能源体系，能量管理系统应运而生。能量管理系统利用先进的监测技术和信息技术，通过实时监测设备产能和用户侧负荷，在满足用户需求的条件下提出一套设备产能优化调度的能量管理方案。
当多个区域综合能源系统距离较近时，多区域间互联有助于提升经济性与韧性，一个典型的多区域综合能源系统包括相联的多个区域，每个区域内包含电热冷系统，通过能源耦合元件相互耦合，使得不同能源形式之间相互影响。然而，目前的综合能源系统进行能量管理很少涉及多个区域之间的系统能量管理，无法实现多个区域综合能源系统的能量优化管理和系统优化控制，因此如何提高各个区域综合能源系统中各种能源之间的协同利用效率，保障多区域综合能源系统运行的经济性与可靠性是目前急需解决的问题。
基于上述技术问题，需要设计一种新的基于深度强化学习的多区域综合能源系统能量管理方法。
发明内容
本发明所要解决的技术问题是，克服现有技术的不足，提供一种基于深度强化学习的多区域综合能源系统能量管理方法，通过构建多区域综合能源系统能量管理边缘计算架构，实现边缘层和云层之间的信息传输通道，能够合理对设备进行通信控制和有效使用既有数据，以及建立区域综合能源系统件的等效模型，考虑系统运行成本，构建以系统运行成本最小化为目标函数和相关约束条件的能量管理模型，然后由云层依据能量管理模型和获取的数据信息完成深度强化学习模型的训练，并下发至各个边缘节点，产生能量管理策略，实现各元件设备出力最优控制和储能设备的能量输入、输出量最优控制。
为了解决上述技术问题，本发明的技术方案是：
本发明提供了一种基于深度强化学习的多区域综合能源系统能量管理方法，它包括：
构建包括网络物理层、边缘层和云层的多区域综合能源系统能量管理边缘计算架构；
通过网络物理层中各子区域综合能源系统设置的不同类型传感器采集综合能源系统运行数据、运行状态和环境信息，并通过无线通信设备上传至边缘层中就近设置的边缘节点等待处理；
将训练完成的深度强化学习模型部署在各个边缘节点上，根据网络物理层上传的信息生成能量管理策略，并反馈给网络物理层进行系统中冷热电源各自的出力控制和储能设备的能量输入、输出量控制；
其中，在边缘层和云层之间建立迭代学习机制，当深度强化学习模型实际的能量管理性能和预期的能量管理性能之间存在超出预设的出入时，边缘节点会通知相应的云服务器重新启动深度强化学习模型的训练过程；云服务器根据各个边缘节点上报的数据和历史学习经验重新训练深度强化学习模型，并下发至各个边缘节点。
进一步，所述多区域综合能源系统包括相关的多个区域，每个区域内包括各类能量存储和转化元件、能量传输网络和各类负荷构成，并与电网和燃气网进行电力和天然气交互；区域之间通过联络线或联络管道相连，实现电能、天然气的交互；各个区域的能量管理系统之间通过通讯网络相连，用于交换边界信息，实现各区域间能量协同管理；所述能量存储和转化元件包括分布式电源、冷热电三联供、电锅炉、燃气锅炉、冷机和储能装置；所述各类负荷包括电负荷、热负荷和冷负荷；
其中，所述分布式电源包括光伏发电和风机发电，用于供给系统电负荷，同时一部分电能输送至冷机或电锅炉，多余的电能存储至电储能设备；所述冷热电三联供包括溴化锂制冷机和燃气内燃机；所述储能装置包括电、热、冷储能装置；冷负荷由溴化锂制冷机供给，或由冷机制冷补充；热负荷由燃气内燃机供给，燃气锅炉和电锅炉产热作为补充；能量传输网络是按照能量传输介质分为电力总线、热力总线和冷却总线，并设定相同传输介质的能量会由能量源流向总线，流向负荷的能量会从总线流出，且系统能量管理需要满足电力总线能量平衡、热力总线能量平衡和冷却总线能量平衡。
进一步，所述构建包括网络物理层、边缘层和云层的多区域综合能源系统能量管理边缘计算架构，包括：
多区域综合能源系统能量管理边缘计算架构从下向上依次构建网络物理层、边缘层和云层；
所述网络物理层包括多种类型的传感器、执行器和无线通信设备，传感器用于采集多区域综合能源系统现场的实际数据和反馈能量管理性能，至少包括系统各类能量存储和转化元件的温度数据、压力数据、流量数据、燃料燃烧数据、储能装置释能和储能运行状态、各设备能量分配、转换或储存状态和室外环境信息的采集；执行器用于执行边缘层反馈的能量管理策略；无线通信设备包括WIFI、WLAN、4G、5G和蓝牙，用于网络物理层和边缘层之间数据双向通信；
所述边缘层包括依据多区域综合能源系统的位置就近设置多个边缘节点，边缘节点中设有基站、无线访问热点、轻量级边缘服务器，通过无线通信技术向网络物理层的设备下发能量管理策略，同时通过互联网上传历史数据至云层；
所述云层由多个重量级云服务器资源组成，用于大数据存储、处理、离线分析、强化学习模型构建和能量管理优化决策；以及用于调配计算资源和分配计算任务，缓解局部边缘节点的计算压力。
进一步，在所述深度强化学习模型训练之前，还包括：构建多区域综合能源系统能量管理优化模型；
多区域综合能源系统能量管理优化模型的目标是协调区域系统中各设备元件出力，获得最小化系统运行成本；所述系统运行成本包括与主网能量交互成本、消耗的天然气成本、设备启停成本和碳排放交易成本，表示为：
min Ci＝Cd,i+Cq,i+Cg,i+Co,i；
其中，Ci为区域i系统运行成本；Cd,i为该区域与主网能量交互成本；Cq,i为该区域消耗的天然气成本；Cg,i为该区域设备启停成本；Co,i为该区域碳排放交易成本；
多区域综合能源系统能量管理的约束条件至少包括：
热量平衡约束：
为区域i中燃气内燃机在t时段内产生的多余热量；
为区域i中燃气锅炉在t时段内天然气燃烧后产生的热量；
为区域i中电锅炉在t时段内产生的热量；
为区域i中溴化锂制冷机在t时段内所需要的的热量；
为区域i中用户在t时段内的热负荷；
为区域i中系统t时段内的热量传输损耗；
为区域i在t时段内与热网交换的热功率；
电量平衡约束：
为区域i系统在t时段内从公网购买的电量；
为区域i中燃气内燃机在时段t内的发电量；
为区域i中分布式电源在t时段内产生的电量；
为区域i中用户在t时段内的电负荷；
为区域i中冷机在t时段内消耗的电量；
为区域i中电锅炉在t时段内的耗电量；
为区域i中系统t时段内的电传输损耗；
冷功率平衡约束：
为区域i中溴化锂制冷机在时段t内产生的冷量；
为区域i中冷机在时段t内的制冷量；
为区域i中用户在时段t内消耗的冷负荷；
为区域i中系统t时段内由于传输而损失的冷量；
元件出力范围约束：
Pm,t、
分别为第m个设备在t时刻的出力及设备出力上、下限；
联络线上下限约束：
Pi JH,max、Pi JH,min分别为区域i系统与主网之间在t时刻的交换功率及功率上、下限。
进一步，所述深度强化学习模型的训练过程：
将多区域综合能源系统划分为k个智能体，并将所述多区域综合能源系统能量管理优化模型转化为马尔科夫决策过程，S为智能体当前时刻对应的状态，A为智能体对应的行为，O为智能体的观测值，R为智能体对应的回报；构造k个智能体的Actor本地网络和Critic本地网络；构造为全局Actor网络Actorglobal和全局Critic网络Criticglobal；
在云层上初始化k个智能体参数和初始化Actor-Critic本地网络、Actor-Criticglobal全局网络，包括智能体的状态S、行为A和执行行为后的奖励反馈误差TD_error；
初始化k个智能体参数，将状态S依次输入至对应的Actor网络中，并选择相应的行为A计算回报R，并转移到新的状态；
将状态S、行为A和新的状态输入Critic网络进行计算获得TD_error；
更新Actor-Critic本地网络和Actor-Criticglobal全局网络的参数和权重；
重复上述过程直至达到回合次数或智能体完成Actor-Criticglobal全局网络的训练目标，得到训练好的深度强化学习模型。
进一步，所述状态S包括各区域综合能源系统设备元件在t时刻的运行数据、各类负荷在t时刻的负荷需求、t时刻的电价、储能装置的状态；行为A包括各区域综合能源系统设备元件在t时刻的出力水平和储能设备在t时刻的能量输入、输出量；回报R是依据系统运行成本和约束条件进行设置。
进一步，所述每个智能体的Actor网络根据观测值输出每个行为的概率分布，通过采样选择行为；将每个智能体的行为反馈获得当前联合行为下的回报和下一时刻的观测值，将当前观测值、行为、回报及下一时刻观测值作为经验元组存入经验池中，用于计算局部Q值函数和对局部Q值函数进行权重的加权求和后生成全局Q值函数；
依据局部Q值函数计算损失函数，并对Critic网络进行参数更新；
依据局部Q值函数求期望获得V值函数，然后计算每个智能体在当前观测下采取当前行为所产生的优势函数，采用优势函数通过策略梯度对Actor网络进行参数更新。
进一步，所述将训练完成的深度强化学习模型部署在各个边缘节点上，根据网络物理层上传的信息生成能量管理策略，并反馈给网络物理层进行系统中冷热电源各自的出力控制和储能设备的能量输入、输出量控制，包括：
将训练完成的深度强化学习模型的参数从云层下载到边缘层，通过边缘节点重构深度强化学习模型结构和加载模型参数；
接收来自网络物理层上传的区域综合能源系统的局部状态信息，选择预测行为，输出相适应的能量管理策略；
将能量管理策略反馈给网络物理层进行系统中冷热电源各自的出力控制和储能设备的能量输入、输出量控制。
进一步，所述在边缘层和云层之间建立迭代学习机制，当深度强化学习模型实际的能量管理性能和预期的能量管理性能之间存在超出预设的出入时，边缘节点会通知相应的云服务器重新启动深度强化学习模型的训练过程，包括：
在边缘层和云层之间建立迭代学习机制，通过云端的深度强化学习模型训练机制，在不断试错、纠错中逐渐建立起自适应综合能源系统能量管理动态特性的决策能力，通过预设的评估标准验证模型的能量管理性能，当模型实际能量管理性能和预期的能量管理性能不相匹配时，重新启动云层深度强化学习模型的训练过程，调整学习参数，积累新的能量管理经验；
所述预设的评估标准验证模型包括系统执行能量管理策略后各个区域综合能源系统中元件出力评估、运行成本评估、碳排放量评估、运行效率评估多个评价指标，用来衡量执行能量管理策略后系统的运行改善状况。
本发明的有益效果是：
本发明通过构建包括网络物理层、边缘层和云层的多区域综合能源系统能量管理边缘计算架构；通过网络物理层中各子区域综合能源系统设置的不同类型传感器采集综合能源系统运行数据、运行状态和环境信息，并通过无线通信设备上传至边缘层中就近设置的边缘节点等待处理；将训练完成的深度强化学习模型部署在各个边缘节点上，根据网络物理层上传的信息生成能量管理策略，并反馈给网络物理层进行系统中冷热电源各自的出力控制和储能设备的能量输入、输出量控制；其中，在边缘层和云层之间建立迭代学习机制，当深度强化学习模型实际的能量管理性能和预期的能量管理性能之间存在超出预设的出入时，边缘节点会通知相应的云服务器重新启动深度强化学习模型的训练过程；云服务器根据各个边缘节点上报的数据和历史学习经验重新训练深度强化学习模型，并下发至各个边缘节点；通过构建多区域综合能源系统能量管理边缘计算架构，实现边缘层和云层之间的信息传输通道，能够合理对设备进行通信控制和有效使用既有数据，以及建立区域综合能源系统件的等效模型，考虑系统运行成本，构建以系统运行成本最小化为目标函数和相关约束条件的能量管理模型，然后由云层依据能量管理模型和获取的数据信息完成深度强化学习模型的训练，并下发至各个边缘节点，产生能量管理策略，实现各元件设备出力最优控制和储能设备的能量输入、输出量最优控制；将全局actor-critic学习任务分解为多个子任务，通过边缘计算的分布式计算环境实现多个actor-critic子任务的协同学习，每个局部actor-critic智能体在和实际场景反复交互中学习局部决策方法，再聚合所有局部智能体学习到的知识经验，通过全局值函数指导局部智能体的学习向着全局最优的方向演化；以及通过采用云边协同的处理机制能够满足数据离线学习与在线决策应用的需求。
其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于深度强化学习的多区域综合能源系统能量管理边缘计算架构示意图；
图2为本发明一种基于深度强化学习的多区域综合能源系统能量管理流程图；
图3为本发明区域综合能源系统示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
图1是本发明所涉及的一种基于深度强化学习的多区域综合能源系统能量管理边缘计算架构示意图。
图2是本发明所涉及的一种基于深度强化学习的多区域综合能源系统能量管理流程图。
图3是本发明所涉及的区域综合能源系统示意图。
如图1-3所示，本实施例1提供了一种基于深度强化学习的多区域综合能源系统能量管理方法，它包括：
构建包括网络物理层、边缘层和云层的多区域综合能源系统能量管理边缘计算架构；
通过网络物理层中各子区域综合能源系统设置的不同类型传感器采集综合能源系统运行数据、运行状态和环境信息，并通过无线通信设备上传至边缘层中就近设置的边缘节点等待处理；
将训练完成的深度强化学习模型部署在各个边缘节点上，根据网络物理层上传的信息生成能量管理策略，并反馈给网络物理层进行系统中冷热电源各自的出力控制和储能设备的能量输入、输出量控制；
其中，在边缘层和云层之间建立迭代学习机制，当深度强化学习模型实际的能量管理性能和预期的能量管理性能之间存在超出预设的出入时，边缘节点会通知相应的云服务器重新启动深度强化学习模型的训练过程；云服务器根据各个边缘节点上报的数据和历史学习经验重新训练深度强化学习模型，并下发至各个边缘节点。
在本实施例中，所述多区域综合能源系统包括相关的多个区域，每个区域内包括各类能量存储和转化元件、能量传输网络和各类负荷构成，并与电网和燃气网进行电力和天然气交互；区域之间通过联络线或联络管道相连，实现电能、天然气的交互；各个区域的能量管理系统之间通过通讯网络相连，用于交换边界信息，实现各区域间能量协同管理；所述能量存储和转化元件包括分布式电源、冷热电三联供、电锅炉、燃气锅炉、冷机和储能装置；所述各类负荷包括电负荷、热负荷和冷负荷；
其中，所述分布式电源包括光伏发电和风机发电，用于供给系统电负荷，同时一部分电能输送至冷机或电锅炉，多余的电能存储至电储能设备；所述冷热电三联供包括溴化锂制冷机和燃气内燃机；所述储能装置包括电、热、冷储能装置；冷负荷由溴化锂制冷机供给，或由冷机制冷补充；热负荷由燃气内燃机供给，燃气锅炉和电锅炉产热作为补充；能量传输网络是按照能量传输介质分为电力总线、热力总线和冷却总线，并设定相同传输介质的能量会由能量源流向总线，流向负荷的能量会从总线流出，且系统能量管理需要满足电力总线能量平衡、热力总线能量平衡和冷却总线能量平衡。
在本实施例中，所述构建包括网络物理层、边缘层和云层的多区域综合能源系统能量管理边缘计算架构，包括：
多区域综合能源系统能量管理边缘计算架构从下向上依次构建网络物理层、边缘层和云层；
所述网络物理层包括多种类型的传感器、执行器和无线通信设备，传感器用于采集多区域综合能源系统现场的实际数据和反馈能量管理性能，至少包括系统各类能量存储和转化元件的温度数据、压力数据、流量数据、燃料燃烧数据、储能装置释能和储能运行状态、各设备能量分配、转换或储存状态和室外环境信息的采集；执行器用于执行边缘层反馈的能量管理策略；无线通信设备包括WIFI、WLAN、4G、5G和蓝牙，用于网络物理层和边缘层之间数据双向通信；
所述边缘层包括依据多区域综合能源系统的位置就近设置多个边缘节点，边缘节点中设有基站、无线访问热点、轻量级边缘服务器，通过无线通信技术向网络物理层的设备下发能量管理策略，同时通过互联网上传历史数据至云层；
所述云层由多个重量级云服务器资源组成，用于大数据存储、处理、离线分析、强化学习模型构建和能量管理优化决策；以及用于调配计算资源和分配计算任务，缓解局部边缘节点的计算压力。
需要说明的是，边缘计算技术可以将采用信息本地计算处理，通过向云端传输处理后的关键信息或直接计算得到执行策略的方式，从根本上解决了通信的延时问题，保障了数据处理的实时性，同时减少了数据传输的带宽要求，降低了通信成本。边缘计算作为云计算的扩展和补充，将部分计算智能、数据处理、存储和服务从云端下发到网络边缘端，能够在数据源分析处理和重构知识，就近产生智能控制策略，避免大数据量、长距离通信可能引发的响应延迟，本发明除了进行能量管理之外，还包括其他任务，可以将一些计算负载大的任务部署在边缘计算架构的云端加快学习和重构知识，而一些对响应延迟敏感和计算量小的任务部署在边缘计算架构的边缘端进行快速决策。
采用基于边缘计算架构的协同多智能体演员-评论家方法，采用分散控制的分布式深度强化学习解决多区域综合能源系统能量管理问题，目标是将全局的学习任务分解为针对不同区域的局部学习子任务。
在本实施例中，在所述深度强化学习模型训练之前，还包括：构建多区域综合能源系统能量管理优化模型；
多区域综合能源系统能量管理优化模型的目标是协调区域系统中各设备元件出力，获得最小化系统运行成本；所述系统运行成本包括与主网能量交互成本、消耗的天然气成本、设备启停成本和碳排放交易成本，表示为：
min Ci＝Cd,i+Cq,i+Cg,i+Co,i；
其中，Ci为区域i系统运行成本；Cd,i为该区域与主网能量交互成本；Cq,i为该区域消耗的天然气成本；Cg,i为该区域设备启停成本；Co,i为该区域碳排放交易成本；
多区域综合能源系统能量管理的约束条件至少包括：
热量平衡约束：
为区域i中燃气内燃机在t时段内产生的多余热量；
为区域i中燃气锅炉在t时段内天然气燃烧后产生的热量；
为区域i中电锅炉在t时段内产生的热量；
为区域i中溴化锂制冷机在t时段内所需要的的热量；
为区域i中用户在t时段内的热负荷；
为区域i中系统t时段内的热量传输损耗；
为区域i在t时段内与热网交换的热功率；
电量平衡约束：
为区域i系统在t时段内从公网购买的电量；
为区域i中燃气内燃机在时段t内的发电量；
为区域i中分布式电源在t时段内产生的电量；
为区域i中用户在t时段内的电负荷；
为区域i中冷机在t时段内消耗的电量；
为区域i中电锅炉在t时段内的耗电量；
为区域i中系统t时段内的电传输损耗；
冷功率平衡约束：
为区域i中溴化锂制冷机在时段t内产生的冷量；
为区域i中冷机在时段t内的制冷量；
为区域i中用户在时段t内消耗的冷负荷；
为区域i中系统t时段内由于传输而损失的冷量；
元件出力范围约束：
Pm,t、
分别为第m个设备在t时刻的出力及设备出力上、下限；
联络线上下限约束：
Pi JH,max、Pi JH,min分别为区域i系统与主网之间在t时刻的交换功率及功率上、下限。
在本实施例中，所述深度强化学习模型的训练过程：
将多区域综合能源系统划分为k个智能体，并将所述多区域综合能源系统能量管理优化模型转化为马尔科夫决策过程，S为智能体当前时刻对应的状态，A为智能体对应的行为，O为智能体的观测值，R为智能体对应的回报；构造k个智能体的Actor本地网络和Critic本地网络；构造为全局Actor网络Actorglobal和全局Critic网络Criticglobal；
在云层上初始化k个智能体参数和初始化Actor-Critic本地网络、Actor-Criticglobal全局网络，包括智能体的状态S、行为A和执行行为后的奖励反馈误差TD_error；
初始化k个智能体参数，将状态S依次输入至对应的Actor网络中，并选择相应的行为A计算回报R，并转移到新的状态；
将状态S、行为A和新的状态输入Critic网络进行计算获得TD_error；
更新Actor-Critic本地网络和Actor-Criticglobal全局网络的参数和权重；
重复上述过程直至达到回合次数或智能体完成Actor-Criticglobal全局网络的训练目标，得到训练好的深度强化学习模型。
在本实施例中，所述状态S包括各区域综合能源系统设备元件在t时刻的运行数据、各类负荷在t时刻的负荷需求、t时刻的电价、储能装置的状态；行为A包括各区域综合能源系统设备元件在t时刻的出力水平和储能设备在t时刻的能量输入、输出量；回报R是依据系统运行成本和约束条件进行设置。
在本实施例中，所述每个智能体的Actor网络根据观测值输出每个行为的概率分布，通过采样选择行为；将每个智能体的行为反馈获得当前联合行为下的回报和下一时刻的观测值，将当前观测值、行为、回报及下一时刻观测值作为经验元组存入经验池中，用于计算局部Q值函数和对局部Q值函数进行权重的加权求和后生成全局Q值函数；
依据局部Q值函数计算损失函数，并对Critic网络进行参数更新；
依据局部Q值函数求期望获得V值函数，然后计算每个智能体在当前观测下采取当前行为所产生的优势函数，采用优势函数通过策略梯度对Actor网络进行参数更新。
需要说明的是，在训练时，采用经验回放算法打破连续样本间的序列相关性，提高样本使用率，强化学习中探索与执行的平衡用来完成，避免收敛到局部最优解；每个智能体分散训练自己的Actor，不会因为智能体数目增加而导致维数灾难的问题。除了本发明的多个分布式Critic网络之外，还可以通过一个集中的Critic网络来指导Actor网络，随着训练的进行能够适应彼此的动作。
在本实施例中，所述将训练完成的深度强化学习模型部署在各个边缘节点上，根据网络物理层上传的信息生成能量管理策略，并反馈给网络物理层进行系统中冷热电源各自的出力控制和储能设备的能量输入、输出量控制，包括：
将训练完成的深度强化学习模型的参数从云层下载到边缘层，通过边缘节点重构深度强化学习模型结构和加载模型参数；
接收来自网络物理层上传的区域综合能源系统的局部状态信息，选择预测行为，输出相适应的能量管理策略；
将能量管理策略反馈给网络物理层进行系统中冷热电源各自的出力控制和储能设备的能量输入、输出量控制。
在本实施例中，所述在边缘层和云层之间建立迭代学习机制，当深度强化学习模型实际的能量管理性能和预期的能量管理性能之间存在超出预设的出入时，边缘节点会通知相应的云服务器重新启动深度强化学习模型的训练过程，包括：
在边缘层和云层之间建立迭代学习机制，通过云端的深度强化学习模型训练机制，在不断试错、纠错中逐渐建立起自适应综合能源系统能量管理动态特性的决策能力，通过预设的评估标准验证模型的能量管理性能，当模型实际能量管理性能和预期的能量管理性能不相匹配时，重新启动云层深度强化学习模型的训练过程，调整学习参数，积累新的能量管理经验；
所述预设的评估标准验证模型包括系统执行能量管理策略后各个区域综合能源系统中元件出力评估、运行成本评估、碳排放量评估、运行效率评估多个评价指标，用来衡量执行能量管理策略后系统的运行改善状况。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (9)
1.一种基于深度强化学习的多区域综合能源系统能量管理方法，其特征在于，它包括：
构建包括网络物理层、边缘层和云层的多区域综合能源系统能量管理边缘计算架构；
通过网络物理层中各子区域综合能源系统设置的不同类型传感器采集综合能源系统运行数据、运行状态和环境信息，并通过无线通信设备上传至边缘层中就近设置的边缘节点等待处理；
将训练完成的深度强化学习模型部署在各个边缘节点上，根据网络物理层上传的信息生成能量管理策略，并反馈给网络物理层进行系统中冷热电源各自的出力控制和储能设备的能量输入、输出量控制；
其中，在边缘层和云层之间建立迭代学习机制，当深度强化学习模型实际的能量管理性能和预期的能量管理性能之间存在超出预设的出入时，边缘节点会通知相应的云服务器重新启动深度强化学习模型的训练过程；云服务器根据各个边缘节点上报的数据和历史学习经验重新训练深度强化学习模型，并下发至各个边缘节点。
2.根据权利要求1所述的多区域综合能源系统能量管理方法，其特征在于，所述多区域综合能源系统包括相关的多个区域，每个区域内包括各类能量存储和转化元件、能量传输网络和各类负荷构成，并与电网和燃气网进行电力和天然气交互；区域之间通过联络线或联络管道相连，实现电能、天然气的交互；各个区域的能量管理系统之间通过通讯网络相连，用于交换边界信息，实现各区域间能量协同管理；所述能量存储和转化元件包括分布式电源、冷热电三联供、电锅炉、燃气锅炉、冷机和储能装置；所述各类负荷包括电负荷、热负荷和冷负荷；
其中，所述分布式电源包括光伏发电和风机发电，用于供给系统电负荷，同时一部分电能输送至冷机或电锅炉，多余的电能存储至电储能设备；所述冷热电三联供包括溴化锂制冷机和燃气内燃机；所述储能装置包括电、热、冷储能装置；冷负荷由溴化锂制冷机供给，或由冷机制冷补充；热负荷由燃气内燃机供给，燃气锅炉和电锅炉产热作为补充；能量传输网络是按照能量传输介质分为电力总线、热力总线和冷却总线，并设定相同传输介质的能量会由能量源流向总线，流向负荷的能量会从总线流出，且系统能量管理需要满足电力总线能量平衡、热力总线能量平衡和冷却总线能量平衡。
3.根据权利要求1所述的多区域综合能源系统能量管理方法，其特征在于，所述构建包括网络物理层、边缘层和云层的多区域综合能源系统能量管理边缘计算架构，包括：
多区域综合能源系统能量管理边缘计算架构从下向上依次构建网络物理层、边缘层和云层；
所述网络物理层包括多种类型的传感器、执行器和无线通信设备，传感器用于采集多区域综合能源系统现场的实际数据和反馈能量管理性能，至少包括系统各类能量存储和转化元件的温度数据、压力数据、流量数据、燃料燃烧数据、储能装置释能和储能运行状态、各设备能量分配、转换或储存状态和室外环境信息的采集；执行器用于执行边缘层反馈的能量管理策略；无线通信设备包括WIFI、WLAN、4G、5G和蓝牙，用于网络物理层和边缘层之间数据双向通信；
所述边缘层包括依据多区域综合能源系统的位置就近设置多个边缘节点，边缘节点中设有基站、无线访问热点、轻量级边缘服务器，通过无线通信技术向网络物理层的设备下发能量管理策略，同时通过互联网上传历史数据至云层；
所述云层由多个重量级云服务器资源组成，用于大数据存储、处理、离线分析、强化学习模型构建和能量管理优化决策；以及用于调配计算资源和分配计算任务，缓解局部边缘节点的计算压力。
4.根据权利要求1所述的多区域综合能源系统能量管理方法，其特征在于，在所述深度强化学习模型训练之前，还包括：构建多区域综合能源系统能量管理优化模型；
多区域综合能源系统能量管理优化模型的目标是协调区域系统中各设备元件出力，获得最小化系统运行成本；所述系统运行成本包括与主网能量交互成本、消耗的天然气成本、设备启停成本和碳排放交易成本，表示为：
minCi＝Cd,i+Cq,i+Cg,i+Co,i；
其中，Ci为区域i系统运行成本；Cd,i为该区域与主网能量交互成本；Cq,i为该区域消耗的天然气成本；Cg,i为该区域设备启停成本；Co,i为该区域碳排放交易成本；
多区域综合能源系统能量管理的约束条件至少包括：
热量平衡约束：
为区域i中燃气内燃机在t时段内产生的多余热量；
为区域i中燃气锅炉在t时段内天然气燃烧后产生的热量；
为区域i中电锅炉在t时段内产生的热量；
为区域i中溴化锂制冷机在t时段内所需要的的热量；
为区域i中用户在t时段内的热负荷；
为区域i中系统t时段内的热量传输损耗；
为区域i在t时段内与热网交换的热功率；
电量平衡约束：
为区域i系统在t时段内从公网购买的电量；
为区域i中燃气内燃机在时段t内的发电量；
为区域i中分布式电源在t时段内产生的电量；
为区域i中用户在t时段内的电负荷；
为区域i中冷机在t时段内消耗的电量；
为区域i中电锅炉在t时段内的耗电量；
为区域i中系统t时段内的电传输损耗；
冷功率平衡约束：
为区域i中溴化锂制冷机在时段t内产生的冷量；
为区域i中冷机在时段t内的制冷量；
为区域i中用户在时段t内消耗的冷负荷；
为区域i中系统t时段内由于传输而损失的冷量；
元件出力范围约束：
Pm,t、
分别为第m个设备在t时刻的出力及设备出力上、下限；
联络线上下限约束：
Pi JH,max、Pi JH,min分别为区域i系统与主网之间在t时刻的交换功率及功率上、下限。
5.根据权利要求4所述的多区域综合能源系统能量管理方法，其特征在于，所述深度强化学习模型的训练过程：
将多区域综合能源系统划分为k个智能体，并将所述多区域综合能源系统能量管理优化模型转化为马尔科夫决策过程，S为智能体当前时刻对应的状态，A为智能体对应的行为，O为智能体的观测值，R为智能体对应的回报；构造k个智能体的Actor本地网络和Critic本地网络；构造为全局Actor网络Actorglobal和全局Critic网络Criticglobal；
在云层上初始化k个智能体参数和初始化Actor-Critic本地网络、Actor-Criticglobal全局网络，包括智能体的状态S、行为A和执行行为后的奖励反馈误差TD_error；
初始化k个智能体参数，将状态S依次输入至对应的Actor网络中，并选择相应的行为A计算回报R，并转移到新的状态；
将状态S、行为A和新的状态输入Critic网络进行计算获得TD_error；
更新Actor-Critic本地网络和Actor-Criticglobal全局网络的参数和权重；
重复上述过程直至达到回合次数或智能体完成Actor-Criticglobal全局网络的训练目标，得到训练好的深度强化学习模型。
6.根据权利要求5所述的多区域综合能源系统能量管理方法，其特征在于，所述状态S包括各区域综合能源系统设备元件在t时刻的运行数据、各类负荷在t时刻的负荷需求、t时刻的电价、储能装置的状态；行为A包括各区域综合能源系统设备元件在t时刻的出力水平和储能设备在t时刻的能量输入、输出量；回报R是依据系统运行成本和约束条件进行设置。
7.根据权利要求5所述的多区域综合能源系统能量管理方法，其特征在于，所述每个智能体的Actor网络根据观测值输出每个行为的概率分布，通过采样选择行为；将每个智能体的行为反馈获得当前联合行为下的回报和下一时刻的观测值，将当前观测值、行为、回报及下一时刻观测值作为经验元组存入经验池中，用于计算局部Q值函数和对局部Q值函数进行权重的加权求和后生成全局Q值函数；
依据局部Q值函数计算损失函数，并对Critic网络进行参数更新；
依据局部Q值函数求期望获得V值函数，然后计算每个智能体在当前观测下采取当前行为所产生的优势函数，采用优势函数通过策略梯度对Actor网络进行参数更新。
8.根据权利要求1所述的多区域综合能源系统能量管理方法，其特征在于，所述将训练完成的深度强化学习模型部署在各个边缘节点上，根据网络物理层上传的信息生成能量管理策略，并反馈给网络物理层进行系统中冷热电源各自的出力控制和储能设备的能量输入、输出量控制，包括：
将训练完成的深度强化学习模型的参数从云层下载到边缘层，通过边缘节点重构深度强化学习模型结构和加载模型参数；
接收来自网络物理层上传的区域综合能源系统的局部状态信息，选择预测行为，输出相适应的能量管理策略；
将能量管理策略反馈给网络物理层进行系统中冷热电源各自的出力控制和储能设备的能量输入、输出量控制。
9.根据权利要求1所述的多区域综合能源系统能量管理方法，其特征在于，所述在边缘层和云层之间建立迭代学习机制，当深度强化学习模型实际的能量管理性能和预期的能量管理性能之间存在超出预设的出入时，边缘节点会通知相应的云服务器重新启动深度强化学习模型的训练过程，包括：
在边缘层和云层之间建立迭代学习机制，通过云端的深度强化学习模型训练机制，在不断试错、纠错中逐渐建立起自适应综合能源系统能量管理动态特性的决策能力，通过预设的评估标准验证模型的能量管理性能，当模型实际能量管理性能和预期的能量管理性能不相匹配时，重新启动云层深度强化学习模型的训练过程，调整学习参数，积累新的能量管理经验；
所述预设的评估标准验证模型包括系统执行能量管理策略后各个区域综合能源系统中元件出力评估、运行成本评估、碳排放量评估、运行效率评估多个评价指标，用来衡量执行能量管理策略后系统的运行改善状况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211025701.1A CN115392373A (zh) | 2022-08-25 | 2022-08-25 | 基于深度强化学习的多区域综合能源系统能量管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211025701.1A CN115392373A (zh) | 2022-08-25 | 2022-08-25 | 基于深度强化学习的多区域综合能源系统能量管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115392373A true CN115392373A (zh) | 2022-11-25 |
Family
ID=84122916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211025701.1A Pending CN115392373A (zh) | 2022-08-25 | 2022-08-25 | 基于深度强化学习的多区域综合能源系统能量管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115392373A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993128A (zh) * | 2023-09-26 | 2023-11-03 | 国网江西省电力有限公司电力科学研究院 | 一种综合能源系统深度强化学习低碳调度方法及系统 |
| CN117041290A (zh) * | 2023-08-08 | 2023-11-10 | 广州融新智能科技有限公司 | 一种智能交通数据交互方法、平台及系统 |
| CN117273987A (zh) * | 2023-11-21 | 2023-12-22 | 天津风霖物联网科技有限公司 | 建筑自动化系统数据处理方法及系统 |
| CN117277423A (zh) * | 2023-11-22 | 2023-12-22 | 广东电网有限责任公司中山供电局 | 分布式电源云边端协同的实时电压控制方法及相关装置 |
| CN118017564A (zh) * | 2024-04-09 | 2024-05-10 | 深圳触觉智能科技有限公司 | 一种基于开源鸿蒙系统的储能方法 |
-
2022
- 2022-08-25 CN CN202211025701.1A patent/CN115392373A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117041290A (zh) * | 2023-08-08 | 2023-11-10 | 广州融新智能科技有限公司 | 一种智能交通数据交互方法、平台及系统 |
| CN117041290B (zh) * | 2023-08-08 | 2024-04-09 | 广州融新智能科技有限公司 | 一种智能交通数据交互方法、平台及系统 |
| CN116993128A (zh) * | 2023-09-26 | 2023-11-03 | 国网江西省电力有限公司电力科学研究院 | 一种综合能源系统深度强化学习低碳调度方法及系统 |
| CN116993128B (zh) * | 2023-09-26 | 2023-12-26 | 国网江西省电力有限公司电力科学研究院 | 一种综合能源系统深度强化学习低碳调度方法及系统 |
| CN117273987A (zh) * | 2023-11-21 | 2023-12-22 | 天津风霖物联网科技有限公司 | 建筑自动化系统数据处理方法及系统 |
| CN117273987B (zh) * | 2023-11-21 | 2024-02-02 | 天津风霖物联网科技有限公司 | 建筑自动化系统数据处理方法及系统 |
| CN117277423A (zh) * | 2023-11-22 | 2023-12-22 | 广东电网有限责任公司中山供电局 | 分布式电源云边端协同的实时电压控制方法及相关装置 |
| CN118017564A (zh) * | 2024-04-09 | 2024-05-10 | 深圳触觉智能科技有限公司 | 一种基于开源鸿蒙系统的储能方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115392373A (zh) | 基于深度强化学习的多区域综合能源系统能量管理方法 | |
| CN106230028B (zh) | 一种风电—抽水蓄能联合系统的多目标优化方法 | |
| JP5215822B2 (ja) | エネルギーシステム制御装置および制御方法 | |
| CN109978347B (zh) | 基于区块链技术的含分布式发电的社区能源自治方法 | |
| Qiu et al. | Tri-level mixed-integer optimization for two-stage microgrid dispatch with multi-uncertainties | |
| CN109636056B (zh) | 一种基于多智能体技术的多能源微网去中心化优化调度方法 | |
| Zhu et al. | A review of distributed energy system optimization for building decarbonization | |
| CN111293682A (zh) | 一种基于协同模型预测控制的多微网能量管理方法 | |
| CN109268134B (zh) | 分布式能源站及其控制方法 | |
| CN112380681A (zh) | 基于分布式优化的综合能源系统参数确定方法及相关装置 | |
| CN105244870A (zh) | 一种快速计算电网风电场弃风率及机组发电量的方法 | |
| CN113723793A (zh) | 园区综合能源系统的实现方法、装置、设备和介质 | |
| CN114444850A (zh) | 基于数字孪生的园区储能规划方法、装置、设备和介质 | |
| Yang | Multi‐objective optimization of integrated gas–electricity energy system based on improved multi‐object cuckoo algorithm | |
| Houwing et al. | Least-cost model predictive control of residential energy resources when applying μCHP | |
| CN115758763A (zh) | 一种计及源荷不确定性的多能流系统优化配置方法及系统 | |
| Zhu et al. | Monthly unit commitment model and algorithm with renewable energy generation considering system reliability | |
| CN109345030B (zh) | 多微网的综合能源系统热电能流分布式优化方法和装置 | |
| Fiorentino et al. | Internet of things for demand side management | |
| Giovanelli et al. | Distributed ICT architecture and an application for optimized automated demand response | |
| Fang et al. | Energy scheduling and decision learning of combined cooling, heating and power microgrid based on deep deterministic policy gradient | |
| CN115080907A (zh) | 综合能源系统的控制方法、装置及设备 | |
| CN114362258B (zh) | 机组组合及调度分布式事件触发强化学习优化方法及系统 | |
| Wang et al. | Review on Energy Storage Participation in Capacity Configuration and Scheduling Optimization in Modern Power System | |
| CN117408840B (zh) | 基于智慧能源管理平台的多能源调度管控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |