CN114611813B - 基于氢储能的社区热-冷水循环最优调度方法及系统 - Google Patents
基于氢储能的社区热-冷水循环最优调度方法及系统 Download PDFInfo
- Publication number
- CN114611813B CN114611813B CN202210277431.7A CN202210277431A CN114611813B CN 114611813 B CN114611813 B CN 114611813B CN 202210277431 A CN202210277431 A CN 202210277431A CN 114611813 B CN114611813 B CN 114611813B
- Authority
- CN
- China
- Prior art keywords
- energy storage
- reinforcement learning
- hydrogen energy
- cold water
- water circulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 title claims abstract description 84
- 239000001257 hydrogen Substances 0.000 title claims abstract description 84
- 229910052739 hydrogen Inorganic materials 0.000 title claims abstract description 84
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 79
- 238000004146 energy storage Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000002787 reinforcement Effects 0.000 claims abstract description 69
- 230000009471 action Effects 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 17
- 241000282461 Canis lupus Species 0.000 claims description 30
- 230000005611 electricity Effects 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 10
- 239000000446 fuel Substances 0.000 claims description 8
- 239000001301 oxygen Substances 0.000 claims description 8
- 229910052760 oxygen Inorganic materials 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 6
- 238000010438 heat treatment Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000007599 discharging Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 3
- 238000004891 communication Methods 0.000 claims 1
- 238000003062 neural network model Methods 0.000 description 4
- 238000005485 electric heating Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/04—Constraint-based CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/04—Power grid distribution networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E70/00—Other energy conversion or management systems reducing GHG emissions
- Y02E70/30—Systems combining energy storage with energy generation of non-fossil origin
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Physics (AREA)
- Entrepreneurship & Innovation (AREA)
- Computing Systems (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Fuel Cell (AREA)
Abstract
本发明提供一种基于氢储能的社区热‑冷水循环最优调度方法及系统，属于智能优化调度技术领域。该方法包括：确定调度的目标函数为能源使用费用成本；获取调度的约束条件；根据目标函数，建立基于氢储能的社区热‑冷水循环最优调度模型，该模型包括上层强化学习子模型和下层强化学习子模型；利用上层强化学习子模型获取氢储能装置在当前状态下的第一动作，并将第一动作和当前状态传输至下层强化学习子模型；基于约束条件、当前状态和氢储能装置的第一动作，利用下层强化学习子模型，对社区内的热‑冷水循环进行优化调度。本发明通过强化学习能够实时准确地进行社区内热‑冷水循环和氢储能的优化调度，最大程度降低热水供应费用成本。
Description
技术领域
本发明涉及智能优化调度技术领域，具体涉及一种基于氢储能的社区热-冷水循环最优调度方法及系统。
背景技术
峰谷电价也称“分时电价”。按高峰用电和低谷用电分别计算电费的一种电价制度。高峰用电，一般指用电单位较集中，供电紧张时的用电，如在白天，收费标准较高；低谷用电，一般指用电单位较少、供电较充足时的用电，如在夜间，收费标准较低。实行峰谷电价有利于促使用电单位错开用电时间，充分利用设备和能源。有很多国家都实行峰谷电价，峰谷之间的价差有的达50％。
但是，社区热水需求旺盛时段一般是在峰电时间，因此为了降低热水供应成本，需要提供一种能够利用谷电进行冷水加热的方案。另外，由于社区内的热水需求是实时变化的，目前都是通过预先加热并存储大量热水的方式来保证热水需求，由于存储热水时不管保温措施做的多么好，都会存在热量流失的问题，导致能源浪费，所以精准调控冷水加热设备的工作状态还可以进一步降低热水供应费用成本，但是目前尚未相关技术方案。
发明内容
因此，本发明实施例要解决的技术问题在于克服现有技术中的社区热-冷水循环无法利用谷电进行冷水加热和无法实时精确调控的缺陷，从而提供一种基于氢储能的社区热-冷水循环最优调度方法及系统。
为此，本发明提供一种基于氢储能的社区热-冷水循环最优调度方法，包括以下步骤：
确定基于氢储能的社区热-冷水循环调度的目标函数为能源使用费用成本，所述能源使用费用成本包括谷电时的电费成本和峰电时的电费成本；
获取基于氢储能的社区热-冷水循环调度的约束条件，所述约束条件包括各种不同用水环境下的温度舒适区间和环境温度、加热设备的最大功率和最小功率限制、氢储能装置的充电电流大小限制、充放电效率限制和容量限制；
根据所述目标函数，建立基于氢储能的社区热-冷水循环最优调度模型，所述基于氢储能的社区热-冷水循环最优调度模型包括上层强化学习子模型和下层强化学习子模型；
利用所述上层强化学习子模型获取氢储能装置在当前状态下的第一动作，并将所述第一动作和所述当前状态传输至所述下层强化学习子模型；
基于所述约束条件、所述当前状态和所述氢储能装置的所述第一动作，利用所述下层强化学习子模型，对社区内的热-冷水循环进行优化调度。
可选的，所述上层强化学习子模型的奖赏函数包括在一个峰电周期内所述氢储能装置内剩余能量的惩罚值。
可选的，所述氢储能装置包括电解槽、氢储罐和氢氧燃料电池，所述电解槽与电网连接，所述氢氧燃料电池与电加热设备连接，所述氢储罐分别与所述电解槽和所述氢氧燃料电池相连通。
可选的，所述下层强化学习网络子模型是根据SAC强化学习算法构件，包括一个控制网络和两个评价网络。
可选的，所述建立基于氢储能的社区热-冷水循环最优调度模型，包括：
利用训练好的所述上层强化学习子模型产生所述下层强化学习子模型在每一调度节点的奖励值、行为以及下一状态，每一调度节点的当前状态、行为、奖励值和下一状态组成的四元组作为一个正常样本；
对所述正常样本中的状态添加扰动后形成对抗样本；
将所述正常样本和所述对抗样本作为所述下层强化学习子模型的训练样本对所述下层强化学习子模型进行训练。
可选的，所述上层强化学习子模型使用深度强化学习方法；
所述建立基于氢储能的社区热-冷水循环最优调度模型，包括：
构建深度神经网络为所述上层强化学习子模型的值网络，所述深度神经网络为卷积神经网络，包括输入层、卷积层、全连接层和输出层，输入层为所述氢储能装置的当前状态，输出层为所述氢储能装置的所有状态的Q值估计。
可选的，所述建立基于氢储能的社区热-冷水循环最优调度模型，还包括：
利用预先获取的所述上层强化学习子模型的训练样本对所述上层强化学习子模型进行训练；
使用狼群优化算法更新所述深度神经网络的参数。
可选的，所述使用狼群优化算法更新深度神经网络的参数，包括：
获取所述深度神经网络当前的各层权值参数作为一个狼群中各狼群个体的初始位置，并作为当前最优个体；
配置狼群个体更新方式，具体可以包括移动的随机方向和距离；
获取猎物气味浓度，猎物气味浓度为所述Q值估计的准确率，准确率越高，猎物气味浓度值越大；
在狼群群体中找出感知猎物气味浓度最高的多个狼群个体作为最优个体，并保留最优狼群个体感知的猎物气味浓度和位置；
淘汰狼群群体中感知猎物气味浓度较小的多个狼群个体，并随机生成相同数量的新狼群个体，实现狼群群体的更新；
判断是否达到最大迭代次数，若达到则输出最优个体位置，即输出所述深度神经网络最优的各层权值参数；否则返回配置狼群个体更新方式的步骤。
本发明还提供一种基于氢储能的社区热-冷水循环最优调度系统，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的任一种方法。
本发明实施例的技术方案，具有如下优点：
本发明实施例提供的基于氢储能的社区热-冷水循环最优调度方法及系统中，氢储能装置用于在谷电时储存电能以供峰电时段加热水，从而降低社区内的电费成本，另外，还通过上层强化学习子模型对氢储能装置进行优化调度，并基于上层强化学习子模型对氢储能装置的优化调度，利用下层强化学习子模型对社区内的热-冷水循环进行优化调度，从而可以进一步降低热水供应费用成本。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中基于氢储能的社区热-冷水循环最优调度方法的一个具体示例的流程图；
图2为本发明实施例1中基于氢储能的社区热-冷水循环最优调度模型的训练方法的一个具体示例的流程图；
图3为本发明实施例2中基于氢储能的社区热-冷水循环最优调度系统的一个具体示例的原理框图；
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，本文所用的术语仅用于描述特定实施例的目的，而并非旨在限制本发明。除非上下文明确指出，否则如本文中所使用的单数形式“一”、“一个”和“该”等意图也包括复数形式。使用“包括”和/或“包含”等术语时，是意图说明存在该特征、整数、步骤、操作、元素和/或组件，而不排除一个或多个其他特征、整数、步骤、操作、元素、组件、和/或其他组合的存在或增加。术语“和/或”包括一个或多个相关列出项目的任何和所有组合。术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通；可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种基于氢储能的社区热-冷水循环最优调度方法，如图1所示，包括以下步骤：
S1：确定基于氢储能的社区热-冷水循环调度的目标函数为能源使用费用成本，所述能源使用费用成本包括谷电时的电费成本和峰电时的电费成本；
S2：获取基于氢储能的社区热-冷水循环调度的约束条件，所述约束条件包括各种不同用水环境下的温度舒适区间和环境温度、加热设备的最大功率和最小功率限制、氢储能装置的充电电流大小限制、充放电效率限制和容量限制；
S3：根据所述目标函数，建立基于氢储能的社区热-冷水循环最优调度模型，所述基于氢储能的社区热-冷水循环最优调度模型包括上层强化学习子模型和下层强化学习子模型；
S4：利用所述上层强化学习子模型获取氢储能装置在当前状态下的第一动作，并将所述第一动作和所述当前状态传输至所述下层强化学习子模型；
S5：基于所述约束条件、所述当前状态和所述氢储能装置的所述第一动作，利用所述下层强化学习子模型，对社区内的热-冷水循环进行优化调度。
本发明实施例提供的基于氢储能的社区热-冷水循环最优调度方法中，氢储能装置用于在谷电时储存电能以供峰电时段加热水，从而降低社区内的电费成本，另外，还通过上层强化学习子模型对氢储能装置进行优化调度，并基于上层强化学习子模型对氢储能装置的优化调度，利用下层强化学习子模型对社区内的热-冷水循环进行优化调度，从而可以进一步降低热水供应费用成本。
另外，所述约束条件还可以包括以下至少之一：氢储能装置的储能灵活裕度、网络损耗和电压偏差。
可选的，所述当前状态包括氢储能装置的充放电功率、荷电状态，电网供电功率。利用所述下层强化学习子模型，对社区内的热-冷水循环进行优化调度时的动作包括冷热水混合阀的开度调整。
可选的，所述上层强化学习子模型的奖赏函数包括在一个峰电周期内所述氢储能装置内剩余能量的惩罚值。具体来说，如果一个峰电周期过去了，氢储能装置内剩余的能量越多，对应的惩罚值越大。当然了，奖赏函数除了包括该惩罚值还可以包括其他的奖惩值，根据调度的需要确定。
可选的，所述氢储能装置包括电解槽、氢储罐和氢氧燃料电池，所述电解槽与电网连接，所述氢氧燃料电池与电加热设备连接，所述氢储罐分别与所述电解槽和所述氢氧燃料电池相连通。
具体的，所述氢储能装置的容量限制根据所述氢储罐的容量大小确定。
另外，所述约束条件还可以包括氢储能装置的等效SOC(State of Charge，荷电状态)状态，等效SOC状态表征氢储罐内剩余气体。
可选的，所述基于所述约束条件、所述当前状态和所述氢储能装置的所述第一动作，利用所述下层强化学习子模型，对社区内的热-冷水循环进行优化调度，包括：
利用策略值函数来描述优化调度过程的预期收益为：
Q(st，at)＝E{Rt|st，at} (1)
其中，Rt为当前时刻t获得的折扣后的未来收益综合，st，at为当前时刻t的状态和动作；
利用贝尔曼方程对上式(1)进行处理得到：
Q′(st，at)＝E(r(st，at)+γmaxQ′(st+1，at+1))
其中，r(st，at)为t时刻的回报值，maxQ′(st+1，at+1)为下一个状态时所采取动作的最大回报值；
建立贝尔曼方程逼近的强化学习单步算法为：
Q(st，at)←Q(st，at)+α(rt+1+γmaxQ′(st+1，at+1)-Q(st，at))
其中，rt+1为状态st+1采取动作at+1的瞬时回报值，α为学习率；
基于所述约束条件、所述当前状态和所述氢储能装置的所述第一动作，利用所述强化学习单步算法获取热-冷水循环优化调度时当前状态下的各个动作，并根据回报值对各个动作进行优选排序；
根据所述优选排序确定下一步的动作。
可选的，所述下层强化学习网络子模型是根据SAC强化学习算法构件，包括一个控制网络和两个评价网络。
可选的，所述基于所述约束条件、所述当前状态和所述氢储能装置的所述第一动作，利用所述下层强化学习子模型，对社区内的热-冷水循环进行优化调度之前，即步骤S5之前，还包括：
建立社区热水用水需求预测神经网络模型；
通过极限学习机训练所述社区热水用水需求预测神经网络模型；
利用所述社区热水用水需求预测神经网络模型预测当前调度周期内的社区热水用水需求，所述社区热水用水需求包括热水量需求和温度需求。
在利用所述下层强化学习子模型，对社区内的热-冷水循环进行优化调度时，还需要基于预测得到的当前调度周期内的社区热水用水需求进行调度。
上述的社区热水用水需求预测神经网络模型是基于社区内的历史热水用水需求数据进行训练得到的。
可选的，如图2所示，所述建立基于氢储能的社区热-冷水循环最优调度模型，即步骤S3，包括：
S31：利用训练好的所述上层强化学习子模型产生所述下层强化学习子模型在每一调度节点的奖励值、行为以及下一状态，每一调度节点的当前状态、行为、奖励值和下一状态组成的四元组作为一个正常样本；
S32：对所述正常样本中的状态添加扰动后形成对抗样本；
S33：将所述正常样本和所述对抗样本作为所述下层强化学习子模型的训练样本对所述下层强化学习子模型进行训练。
本发明实施例中，首先训练所述基于氢储能的社区热-冷水循环最优调度模型中的上层强化学习子模型，再利用训练好的所述上层强化学习子模型生成下层强化学习子模型的训练样本对下层强化学习子模型进行训练。
可选的，所述上层强化学习子模型使用深度强化学习方法；
所述建立基于氢储能的社区热-冷水循环最优调度模型，包括：
构建深度神经网络为所述上层强化学习子模型的值网络，所述深度神经网络为卷积神经网络，包括输入层、卷积层、全连接层和输出层，输入层为所述氢储能装置的当前状态，输出层为所述氢储能装置的所有状态的Q值估计。
具体的，所述卷积层可以为两层，所述深度神经网络各层的激活函数可以是ReLU函数。所述深度神经网络可以由两个架构相同的卷积神经网络构成。
可选的，所述建立基于氢储能的社区热-冷水循环最优调度模型，还包括：
利用预先获取的所述上层强化学习子模型的训练样本对所述上层强化学习子模型进行训练；
使用狼群优化算法更新所述深度神经网络的参数。
具体的，使用狼群优化算法更新深度神经网络的参数的过程可以为：
获取所述深度神经网络当前的各层权值参数作为一个狼群中各狼群个体的初始位置，并作为当前最优个体；
配置狼群个体更新方式，具体可以包括移动的随机方向和距离；
获取猎物气味浓度，猎物气味浓度为所述Q值估计的准确率，准确率越高，猎物气味浓度值越大；
在狼群群体中找出感知猎物气味浓度最高的多个狼群个体作为最优个体，并保留最优狼群个体感知的猎物气味浓度和位置；
淘汰狼群群体中感知猎物气味浓度较小的多个狼群个体，并随机生成相同数量的新狼群个体，实现狼群群体的更新；
判断是否达到最大迭代次数，若达到则输出最优个体位置，即输出所述深度神经网络最优的各层权值参数；否则返回配置狼群个体更新方式的步骤。
进一步的，所述狼群个体更新方式具体可以是：
Ln＝|rand[0,2]*Xn(T)-X(T)|
其中，Ln为第n个最优个体与猎物之间的距离，N为最优个体的数量，rand为随机函数，Xn(T)为当前次迭代时第n个最优个体的位置，X(T)、X(T+1)为狼群个体更新前后的位置，a为更新控制参数。
也就是说，每次迭代更新时，狼群个体的位置更新都是根据上一次迭代时n个最优个体的位置进行更新。
其他可选的具体实施方式中，还可以利用RMSProp优化算法更新所述深度神经网络的参数。
实施例2
本实施例提供一种基于氢储能的社区热-冷水循环最优调度系统30，如图3所示，包括：
一个或多个处理器301；
存储装置302，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器301执行时，使得所述一个或多个处理器301实现上述实施例1所述的任一种方法。
本发明实施例提供的基于氢储能的社区热-冷水循环最优调度系统中，氢储能装置用于在谷电时储存电能以供峰电时段加热水，从而降低社区内的电费成本，另外，还通过上层强化学习子模型对氢储能装置进行优化调度，并基于上层强化学习子模型对氢储能装置的优化调度，利用下层强化学习子模型对社区内的热-冷水循环进行优化调度，从而可以进一步降低热水供应费用成本。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (8)
1.一种基于氢储能的社区热-冷水循环最优调度方法，其特征在于，包括以下步骤：
确定基于氢储能的社区热-冷水循环调度的目标函数为能源使用费用成本，所述能源使用费用成本包括谷电时的电费成本和峰电时的电费成本；
获取基于氢储能的社区热-冷水循环调度的约束条件，所述约束条件包括各种不同用水环境下的温度舒适区间和环境温度、加热设备的最大功率和最小功率限制、氢储能装置的充电电流大小限制、充放电效率限制和容量限制；
根据目标函数，建立基于氢储能的社区热-冷水循环最优调度模型，所述基于氢储能的社区热-冷水循环最优调度模型包括上层强化学习子模型和下层强化学习子模型；
利用所述上层强化学习子模型获取氢储能装置在当前状态下的第一动作，并将所述第一动作和所述当前状态传输至所述下层强化学习子模型；所述当前状态包括氢储能装置的充放电功率、荷电状态，以及电网供电功率；
基于所述约束条件、所述当前状态和所述氢储能装置的所述第一动作，利用所述下层强化学习子模型，对社区内的热-冷水循环进行优化调度, 包括：
利用策略值函数来描述优化调度过程的预期收益为：
其中，
为当前时刻
获得的折扣后的未来收益综合，
为当前时刻
的状态和动作；
利用贝尔曼方程对上式进行处理得到：
其中，
为
时刻的回报值，
为下一个状态时所采取动作的最大回报值；
建立贝尔曼方程逼近的强化学习单步算法为：
其中，
为状态
采取动作
的瞬时回报值，
为学习率；
基于所述约束条件、所述当前状态和所述氢储能装置的所述第一动作，利用所述强化学习单步算法获取热-冷水循环优化调度时当前状态下的各个动作，并根据回报值对各个动作进行优选排序；
根据所述优选排序确定下一步的动作。
2.根据权利要求1所述的方法，其特征在于，所述上层强化学习子模型的奖赏函数包括在一个峰电周期内所述氢储能装置内剩余能量的惩罚值。
3.根据权利要求1所述的方法，其特征在于，所述氢储能装置包括电解槽、氢储罐和氢氧燃料电池，所述电解槽与电网连接，所述氢氧燃料电池与电加热设备连接，所述氢储罐分别与所述电解槽和所述氢氧燃料电池相连通。
4.根据权利要求1所述的方法，其特征在于，所述下层强化学习网络子模型是根据SAC强化学习算法构件，包括一个控制网络和两个评价网络。
5.根据权利要求1所述的方法，其特征在于，所述建立基于氢储能的社区热-冷水循环最优调度模型，包括：
利用训练好的所述上层强化学习子模型产生所述下层强化学习子模型在每一调度节点的奖励值、行为以及下一状态，每一调度节点的当前状态、行为、奖励值和下一状态组成的四元组作为一个正常样本；
对所述正常样本中的状态添加扰动后形成对抗样本；
将所述正常样本和所述对抗样本作为所述下层强化学习子模型的训练样本对所述下层强化学习子模型进行训练。
6.根据权利要求1所述的方法，其特征在于，所述上层强化学习子模型使用深度强化学习方法；
所述建立基于氢储能的社区热-冷水循环最优调度模型，包括：
构建深度神经网络为所述上层强化学习子模型的值网络，所述深度神经网络为卷积神经网络，包括输入层、卷积层、全连接层和输出层，输入层为所述氢储能装置的当前状态，输出层为所述氢储能装置的所有状态的Q值估计。
7.根据权利要求6所述的方法，其特征在于，所述建立基于氢储能的社区热-冷水循环最优调度模型，还包括：
利用预先获取的所述上层强化学习子模型的训练样本对所述上层强化学习子模型进行训练；
使用狼群优化算法更新所述深度神经网络的参数。
8.一种基于氢储能的社区热-冷水循环最优调度系统，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210277431.7A CN114611813B (zh) | 2022-03-21 | 2022-03-21 | 基于氢储能的社区热-冷水循环最优调度方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210277431.7A CN114611813B (zh) | 2022-03-21 | 2022-03-21 | 基于氢储能的社区热-冷水循环最优调度方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114611813A CN114611813A (zh) | 2022-06-10 |
| CN114611813B true CN114611813B (zh) | 2022-09-27 |
Family
ID=81864923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210277431.7A Active CN114611813B (zh) | 2022-03-21 | 2022-03-21 | 基于氢储能的社区热-冷水循环最优调度方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114611813B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465236A (zh) * | 2020-12-03 | 2021-03-09 | 上海电力大学 | 一种考虑综合满意度的社区综合能源系统调度方法 |
| CN113378456A (zh) * | 2021-05-21 | 2021-09-10 | 青海大学 | 多园区综合能源调度方法和系统 |
| EP3885850A1 (en) * | 2020-03-28 | 2021-09-29 | Tata Consultancy Services Limited | Multi-chiller scheduling using reinforcement learning with transfer learning for power consumption prediction |
| CN114091879A (zh) * | 2021-11-15 | 2022-02-25 | 浙江华云电力工程设计咨询有限公司 | 基于深度强化学习的多园区能源调度方法和系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013177700A1 (en) * | 2012-05-28 | 2013-12-05 | Hydrogenics Corporation | Electrolyser and energy system |
| CN110276698B (zh) * | 2019-06-17 | 2022-08-02 | 国网江苏省电力有限公司淮安供电分公司 | 基于多智能体双层协同强化学习的分布式可再生能源交易决策方法 |
| CN111181201B (zh) * | 2020-02-21 | 2021-06-11 | 清华大学 | 基于双层强化学习的多能园区调度方法及系统 |
| CN111564849B (zh) * | 2020-05-15 | 2021-11-02 | 清华大学 | 基于两阶段深度强化学习的电网无功电压控制方法 |
| US11610214B2 (en) * | 2020-08-03 | 2023-03-21 | Global Energy Interconnection Research Institute North America | Deep reinforcement learning based real-time scheduling of Energy Storage System (ESS) in commercial campus |
| CN113098007B (zh) * | 2021-04-25 | 2022-04-08 | 山东大学 | 基于分层强化学习的微电网分布式在线调度方法及系统 |
| CN113644749B (zh) * | 2021-07-23 | 2023-10-13 | 青海大学 | 热-氢双soc氢储能系统及优化方法 |
| CN113807564B (zh) * | 2021-07-28 | 2023-08-04 | 合肥工业大学 | 基于两阶段强化学习的园区微网负荷优化调度方法及系统 |
-
2022
- 2022-03-21 CN CN202210277431.7A patent/CN114611813B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3885850A1 (en) * | 2020-03-28 | 2021-09-29 | Tata Consultancy Services Limited | Multi-chiller scheduling using reinforcement learning with transfer learning for power consumption prediction |
| CN112465236A (zh) * | 2020-12-03 | 2021-03-09 | 上海电力大学 | 一种考虑综合满意度的社区综合能源系统调度方法 |
| CN113378456A (zh) * | 2021-05-21 | 2021-09-10 | 青海大学 | 多园区综合能源调度方法和系统 |
| CN114091879A (zh) * | 2021-11-15 | 2022-02-25 | 浙江华云电力工程设计咨询有限公司 | 基于深度强化学习的多园区能源调度方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 含储能系统的配电网电压调节深度强化学习算法;史景坚等;《电力建设》;20200301(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114611813A (zh) | 2022-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Data-driven configuration optimization of an off-grid wind/PV/hydrogen system based on modified NSGA-II and CRITIC-TOPSIS | |
| CN106936147B (zh) | 一种基于双层优化的微电网面向电蓄热锅炉的优化运行管理方法 | |
| CN109559035A (zh) | 一种考虑灵活性的城市配电网双层规划方法 | |
| CN113572157B (zh) | 一种基于近端策略优化的用户实时自治能量管理优化方法 | |
| CN110276698A (zh) | 基于多智能体双层协同强化学习的分布式可再生能源交易决策方法 | |
| CN108875992A (zh) | 一种考虑需求响应的虚拟电厂日前优化调度方法 | |
| CN107706932B (zh) | 一种基于动态自适应模糊逻辑控制器的能量调度优化方法 | |
| CN107067190A (zh) | 基于深度强化学习的微电网电能交易方法 | |
| CN114219195A (zh) | 一种区域综合能源容量优化控制方法 | |
| CN109285039A (zh) | 一种计及风光不确定性的电动汽车充电站电价制定方法 | |
| CN115907350B (zh) | 一种建筑综合能源系统的能量管理方法及系统 | |
| CN112508325A (zh) | 一种家庭微电网多时间尺度电能调度方法 | |
| Ren et al. | A data-driven DRL-based home energy management system optimization framework considering uncertain household parameters | |
| Harrold et al. | Battery control in a smart energy network using double dueling deep q-networks | |
| CN111047097A (zh) | 一种综合能源系统日中滚动优化方法 | |
| CN110991764A (zh) | 一种综合能源系统日前滚动优化方法 | |
| CH et al. | A novel on intelligent energy control strategy for micro grids with renewables and EVs | |
| CN114611813B (zh) | 基于氢储能的社区热-冷水循环最优调度方法及系统 | |
| CN103679292B (zh) | 一种智能微电网双电池电能协同优化方法 | |
| CN112883630A (zh) | 用于风电消纳的多微网系统日前优化经济调度方法 | |
| CN116579560A (zh) | 考虑多类型负荷需求响应的虚拟电厂能量分配方法 | |
| Zhang et al. | Transfer deep reinforcement learning-based large-scale V2G continuous charging coordination with renewable energy sources | |
| CN105844490A (zh) | 基于博弈论的用户与电力公司互动方法 | |
| CN115169839A (zh) | 一种基于数据-物理-知识联合驱动的供暖负荷调度方法 | |
| CN115036952A (zh) | 一种基于mpc的电动汽车参与负荷平抑的实时功率控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |