CN114707711A - 园区制冷机组多时间尺度最优调度方法及系统 - Google Patents

园区制冷机组多时间尺度最优调度方法及系统 Download PDF

Info

Publication number
CN114707711A
CN114707711A CN202210288617.2A CN202210288617A CN114707711A CN 114707711 A CN114707711 A CN 114707711A CN 202210288617 A CN202210288617 A CN 202210288617A CN 114707711 A CN114707711 A CN 114707711A
Authority
CN
China
Prior art keywords
action
state
refrigerating unit
determining
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210288617.2A
Other languages
English (en)
Other versions
CN114707711B (zh
Inventor
王海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terminus Technology Group Co Ltd
Original Assignee
Terminus Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terminus Technology Group Co Ltd filed Critical Terminus Technology Group Co Ltd
Priority to CN202210288617.2A priority Critical patent/CN114707711B/zh
Publication of CN114707711A publication Critical patent/CN114707711A/zh
Application granted granted Critical
Publication of CN114707711B publication Critical patent/CN114707711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

本发明提供一种园区制冷机组多时间尺度最优调度方法及系统,属于智能控制技术领域。该方法包括:获取园区制冷机组中的调度可控对象作为状态;构建制冷机组调度强化学习模型,确定强化学习奖赏函数和可选择的动作空间;分别利用制冷机组调度强化学习模型确定当前状态下选择不同的动作时多个时间尺度的回报值,回报值根据奖赏函数输出的奖赏值确定;根据多个时间尺度的回报值,确定当前状态下的最优动作;根据当前时刻园区制冷机组的状态和最优动作实施状态转移。本发明通过强化学习优化园区制冷机组的工作策略,使得园区制冷机组在实时满足制冷需求的情况下,最大程度降低功耗,实现低碳目标。

Description

园区制冷机组多时间尺度最优调度方法及系统
技术领域
本发明涉及智能控制技术领域,具体涉及一种园区制冷机组多时间尺度最优调度方法及系统。
背景技术
园区制冷机组在设计时未考虑制冷机组的动态特性,制冷机组的冷量负荷是时变的,但目前对机组的调控是非时变的,甚至是准静态的,由此在很大程度上影响了制冷系统冷量输配的效率。另外,制冷机组末端的冷量分配控制主要依靠手动完成,自动化程度偏低,阻碍了主动动态调控和人工智能运营技术的落地应用。最后,园区制冷机组设计时的假定工况往往和实际运行工况偏差较大,由此致使当前部分制冷机存在冷量供应不足,产生局部高温,而另一些制冷机出现冷量供应过剩,造成电能浪费,影响低碳目标的达成。
发明内容
因此,本发明实施例要解决的技术问题在于克服现有技术中的制冷机组需要手动控制、不能实时动态调节、易造成制冷需求不能得到满足和制冷过度导致电能浪费影响低碳目标的达成等缺陷,从而提供一种园区制冷机组多时间尺度最优调度方法及系统。
为此,本发明提供一种园区制冷机组多时间尺度最优调度方法,包括以下步骤:
获取园区制冷机组中的调度可控对象作为状态,所述调度可控对象包括制冷机组中的各个制冷机的各个功能部件的实际工作状态和工作功率,所述功能部件至少包括风机和压缩机;
构建制冷机组调度强化学习模型,确定强化学习奖赏函数和可选择的动作空间;所述奖赏函数至少与所述制冷机组的实际能耗和制冷对象的温度相关联;
分别利用所述制冷机组调度强化学习模型确定当前状态下选择不同的动作时多个时间尺度的回报值,所述回报值根据所述奖赏函数输出的奖赏值确定,所述动作为所述功能部件的工作状态的转换和/或实际工作功率的调整;
根据多个时间尺度的所述回报值,确定当前状态下的最优动作;
根据当前时刻所述园区制冷机组的状态和所述最优动作实施状态转移,以改变所述功能部件的实际工作状态和/或工作功率。
可选的,所述分别利用所述制冷机组调度强化学习模型确定当前状态下选择不同的动作时多个时间尺度的回报值,包括:
统计历史的制冷需求;
根据历史的制冷需求预测多个时间尺度的制冷需求;
根据多个时间尺度的制冷需求确定各个时间尺度的可选动作值;
基于可选动作值和当前状态预测制冷对象的温度变化;
根据预测的制冷对象的温度变化计算所述回报值。
可选的,分别利用所述制冷机组调度强化学习模型确定当前状态下选择不同的动作时多个时间尺度的回报值,包括:
将选择的所述动作实施后的各个所述功能部件的状态值和所述奖赏值输入至长短期记忆人工神经网络;
根据所述长短期记忆人工神经网络的输出确定多个时间尺度的所述回报值。
可选的,所述根据多个时间尺度的所述回报值,确定当前状态下的最优动作,包括:
获取多个时间尺度的所述回报值的加权求和值,时间尺度越短对应的权重值越大;
根据所述加权求和值,确定当前状态下的最优动作。
可选的,所述构建制冷机组调度强化学习模型,包括:
根据训练样本构建预测网络,输入为状态,输出为要执行的动作;
构建评判网络,输入为状态和动作,输出为输入动作的动作回报值;
在评判网络中计算得到动作回报值在当前状态下对于动作的第一梯度;
在预测网络中得到动作对于预测网络参数的第二梯度;
将所述第一梯度和所述第二梯度相乘得到回报值对于预测网络参数的梯度;
根据所述梯度更新所述预测网络和所述评判网络。
可选的,分别利用所述制冷机组调度强化学习模型确定当前状态下选择不同的动作时多个时间尺度的回报值之前,还包括:
初始化所述制冷机组调度强化学习模型的各相关参数和当前状态;
确定当前状态下可选的动作值;
根据所述当前状态和所述动作值以及历史数据,预测每一所述动作值执行后制冷对象的温度变化,根据变化后的温度和执行该动作值后的状态变化确定奖惩值和Q值;
根据得到的最优的所述奖惩值和所述Q值确定损失函数值;
根据所述损失函数值调整所述制冷机组调度强化学习模型各个参数。
可选的,所述根据所述梯度更新所述预测网络和所述评判网络,包括:
利用贝叶斯神经网络,根据所述梯度更新所述预测网络和所述评判网络。
可选的,所述分别利用所述制冷机组调度强化学习模型确定当前状态下选择不同的动作时多个时间尺度的回报值,包括:
从经验池中选取历史动作;
对所述历史动作按照预设的算法进行调整得到新的动作;
将从所述经验池中选取的全部或部分历史动作以及所述新的动作作为当前状态下可选的动作。
可选的,所述根据多个时间尺度的所述回报值,确定当前状态下的最优动作之后,还包括:
将所述最优动作及其对应的当前状态和所述回报值,加入所述经验池;
所述从经验池中选取历史动作,包括:
计算当前状态与所述经验池中的历史动作对应的状态的相似度;
选取相似度高的状态对应的历史动作。
本发明还提供一种园区制冷机组多时间尺度最优调度系统,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述的任一种方法。
本发明实施例的技术方案,具有如下优点:
本发明实施例提供的园区制冷机组多时间尺度最优调度方法及系统,通过强化学习优化园区制冷机组中的各个制冷机的各个功能部件的实际工作功率,从而使得园区制冷机组在实时满足制冷需求的情况下,能够最大程度降低功耗,进而实现低碳目标。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1中园区制冷机组多时间尺度最优调度方法的一个具体示例的流程图;
图2为本发明实施例1中动作选择的一个具体示例的流程图;
图3为本发明实施例2中园区制冷机组多时间尺度最优调度系统的一个具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,本文所用的术语仅用于描述特定实施例的目的,而并非旨在限制本发明。除非上下文明确指出,否则如本文中所使用的单数形式“一”、“一个”和“该”等意图也包括复数形式。使用“包括”和/或“包含”等术语时,是意图说明存在该特征、整数、步骤、操作、元素和/或组件,而不排除一个或多个其他特征、整数、步骤、操作、元素、组件、和/或其他组合的存在或增加。术语“和/或”包括一个或多个相关列出项目的任何和所有组合。术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是两个元件内部的连通;可以是无线连接,也可以是有线连接。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种园区制冷机组多时间尺度最优调度方法,如图1所示,包括以下步骤:
S1:获取园区制冷机组中的调度可控对象作为状态,所述调度可控对象包括制冷机组中的各个制冷机的各个功能部件的实际工作状态和工作功率,所述功能部件至少包括风机和压缩机;
其中,各个功能部件的实际工作功率小于或等于其最大工作功率,实际工作状态包括待机、停机和运行。
S2:构建制冷机组调度强化学习模型,确定强化学习奖赏函数和可选择的动作空间;所述奖赏函数至少与所述制冷机组的实际能耗和制冷对象的温度相关联;
具体的,所述奖赏函数可以包括所述制冷机组的实际能耗的倒数和制冷对象的温度偏差的惩罚值。
S3:分别利用所述制冷机组调度强化学习模型确定当前状态下选择不同的动作时多个时间尺度的回报值,所述回报值根据所述奖赏函数输出的奖赏值确定,所述动作为所述功能部件的工作状态的转换和/或实际工作功率的调整;
S4:根据多个时间尺度的所述回报值,确定当前状态下的最优动作;
S5:根据当前时刻所述园区制冷机组的状态和所述最优动作实施状态转移,以改变所述功能部件的实际工作状态和/或工作功率。
其中,所述制冷机组调度强化学习模型可以是基于DDPG(Deep DeterministicPolicy Gradient,深度确定性策略梯度模型)或Q-learning(Q学习)的模型。
本发明实施例中,通过强化学习优化园区制冷机组中的各个制冷机的各个功能部件的实际工作功率,从而使得园区制冷机组在实时满足制冷需求的情况下,能够最大程度降低功耗,进而实现低碳目标。
其中,最大的时间尺度可以是若干个小时,具体可以根据一天中气温变化的普遍规律(除了寒潮、降雨等造成的影响)确定。
可选的,所述奖赏函数为:
Figure BDA0003560832930000061
其中,r为奖惩值,a和b为权重值,n=1,2,3,…,N,N为所述制冷机组中的所有所述制冷机的所有所述功能部件的个数,Wn为第n个所述功能部件的功率,E(T)为制冷对象的温度偏差;ρ为可变参数,按照选取的动作进行状态转移后每一所述功能部件的实际工作功率与最大工作功率的大小关系不同,ρ的取值不同。
其中,制冷对象包括某一空间内的空气、某容纳空间内的液体等。
可选的,所述回报值的计算公式为:
Figure BDA0003560832930000062
其中,所述预设条件为任一功能部件的实际工作功率均小于最大工作功率且制冷对象的温度偏差在正常范围,r为所述奖赏值。
进一步可选的,所述分别利用所述制冷机组调度强化学习模型确定当前状态下选择不同的动作时多个时间尺度的回报值,包括:
统计历史的制冷需求;
根据历史的制冷需求预测多个时间尺度的制冷需求;
根据多个时间尺度的制冷需求确定各个时间尺度的可选动作值;基于可选动作值和当前状态预测制冷对象的温度变化;
根据预测的制冷对象的温度变化计算所述回报值。
预测温度变化可以基于一天中同一时间点的历史数据进行预测。
其他可选的具体实施方式中,所述分别利用所述制冷机组调度强化学习模型确定当前状态下选择不同的动作时多个时间尺度的回报值,包括:
将选择的所述动作实施后的各个所述功能部件的状态值和所述奖赏值输入至长短期记忆人工神经网络;
根据所述长短期记忆人工神经网络的输出确定多个时间尺度的所述回报值。
具体的,在将选择的所述动作实施后的各个所述功能部件的状态值和所述奖赏值输入至长短期记忆人工神经网络之前,还包括:
获取园区制冷机组工作时的相关历史数据;
从所述相关历史数据中提取出制冷机组中的各个制冷机的各个功能部件动作后(即切换工作状态和/或调整工作功率后)的实际工作状态和工作功率以及对应的奖赏值(具体可以根据上述方法计算得到);另外,还获取对应的多个时间尺度的回报值作为样本标签;具体的,多个时间尺度的回报值可以由人工根据预设的规则计算得到;
利用获取的样本及对应的样本标签对所述长短期记忆人工神经网络进行训练直至收敛。
之后,即可利用训练好的长短期记忆人工神经网络确定当前状态下选择不同的动作时多个时间尺度的回报值。
本发明实施例中,针对制冷机组中的各个制冷机所包括的功能部件数量较多的情况下,利用神经网络进行多个时间尺度的回报值计算,使得回报值的计算更加合理和准确。
具体的,可以通过以下方式训练所述长短期记忆人工神经网络:
从所述园区制冷机组的历史运行数据中提取各个功能部件的实际工作状态和工作功率以及制冷对象的温度,包括功能部件的实际工作状态和工作功率发生变化前后制冷对象的温度变化;
对上述提取的数据进行处理,获取多个时刻各个功能部件的实际工作状态和/或工作功率所对应的制冷对象的温度作为训练样本,该温度是指稳定下来的温度,与功能部件的状态和工作功率的变化时刻存在一定的延后性;
按照时间的顺序将所述训练样本输入至所述长短期记忆人工神经网络进行训练。
可选的,所述根据多个时间尺度的所述回报值,确定当前状态下的最优动作,包括:
获取多个时间尺度的所述回报值的加权求和值,时间尺度越短对应的权重值越大;
根据所述加权求和值,确定当前状态下的最优动作。
可选的,所述构建制冷机组调度强化学习模型,包括:
根据训练样本构建预测网络,输入为状态,输出为要执行的动作;
构建评判网络,输入为状态和动作,输出为输入动作的动作回报值;
在评判网络中计算得到动作回报值在当前状态下对于动作的第一梯度;
在预测网络中得到动作对于预测网络参数的第二梯度;
将所述第一梯度和所述第二梯度相乘得到回报值对于预测网络参数的梯度;
根据所述梯度更新所述预测网络和所述评判网络。
可选的,训练所述制冷机组调度强化学习模型的过程具体可以是:
初始化各相关参数和当前状态;
确定当前状态下可选的动作值;
根据所述当前状态和所述动作值以及历史数据,预测每一所述动作值执行后制冷对象的温度变化,根据变化后的温度和执行该动作值后的状态变化确定奖惩值和Q值;
根据得到的最优的所述奖惩值和所述Q值确定损失函数值;
根据所述损失函数值调整所述制冷机组调度强化学习模型各个参数。
本发明实施例中,通过训练使得制冷机组调度强化学习模型更加适合于园区制冷机组工作的优化。
可选的,所述根据所述梯度更新所述预测网络和所述评判网络,包括:
利用贝叶斯神经网络,根据所述梯度更新所述预测网络和所述评判网络。
具体的,将所述预测网络和所述评判网络的当前参数、以及所述贝叶斯神经网络的当前参数输入至所述贝叶斯神经网络,所述贝叶斯神经网络的输出即为所述预测网络和所述评判网络更新后的参数。
进一步的,所述贝叶斯神经网络是通过预先建立与训练得到,另外在训练完成后还可以包括测试过程。
可选的,如图2所示,所述分别利用所述制冷机组调度强化学习模型确定当前状态下选择不同的动作时多个时间尺度的回报值,即步骤S3,包括:
S31:从经验池中选取历史动作;
S32:对所述历史动作按照预设的算法进行调整得到新的动作;
S33:将从所述经验池中选取的全部或部分历史动作以及所述新的动作作为当前状态下可选的动作。
本发明实施例中,由于强化学习的动作对应多个功能部件的工作状态和工作功率,而且外界环境的变化对制冷对象的温度会产生的一定的影响,因此强化学的动作无法穷举,需要按照预设的算法产生新的动作。
可选的,所述根据多个时间尺度的所述回报值,确定当前状态下的最优动作之后,还包括:
将所述最优动作及其对应的当前状态和所述回报值,加入所述经验池;
所述从经验池中选取历史动作,包括:
计算当前状态与所述经验池中的历史动作对应的状态的相似度;
选取相似度高的状态对应的历史动作。
实施例2
本实施例提供一种园区制冷机组多时间尺度最优调度系统30,如图3所示,包括:
一个或多个处理器301;
存储装置302,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器301执行时,使得所述一个或多个处理器301实现上述的任一种方法。
本发明实施例提供的园区制冷机组多时间尺度最优调度系统,通过强化学习优化园区制冷机组中的各个制冷机的各个功能部件的实际工作功率,从而使得园区制冷机组在实时满足制冷需求的情况下,能够最大程度降低功耗,进而实现低碳目标。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种园区制冷机组多时间尺度最优调度方法,其特征在于,包括以下步骤:
获取园区制冷机组中的调度可控对象作为状态,所述调度可控对象包括制冷机组中的各个制冷机的各个功能部件的实际工作状态和工作功率,所述功能部件至少包括风机和压缩机;
构建制冷机组调度强化学习模型,确定强化学习奖赏函数和可选择的动作空间;所述奖赏函数至少与所述制冷机组的实际能耗和制冷对象的温度相关联;
分别利用所述制冷机组调度强化学习模型确定当前状态下选择不同的动作时多个时间尺度的回报值,所述回报值根据所述奖赏函数输出的奖赏值确定,所述动作为所述功能部件的工作状态的转换和/或实际工作功率的调整;
根据多个时间尺度的所述回报值,确定当前状态下的最优动作;
根据当前时刻所述园区制冷机组的状态和所述最优动作实施状态转移,以改变所述功能部件的实际工作状态和/或工作功率。
2.根据权利要求1所述的方法,其特征在于,分别利用所述制冷机组调度强化学习模型确定当前状态下选择不同的动作时多个时间尺度的回报值,包括:
将选择的所述动作实施后的各个所述功能部件的状态值和所述奖赏值输入至长短期记忆人工神经网络;
根据所述长短期记忆人工神经网络的输出确定多个时间尺度的所述回报值。
3.根据权利要求1所述的方法,其特征在于,所述根据多个时间尺度的所述回报值,确定当前状态下的最优动作,包括:
获取多个时间尺度的所述回报值的加权求和值,时间尺度越短对应的权重值越大;
根据所述加权求和值,确定当前状态下的最优动作。
4.根据权利要求1所述的方法,其特征在于,所述构建制冷机组调度强化学习模型,包括:
根据训练样本构建预测网络,输入为状态,输出为要执行的动作;
构建评判网络,输入为状态和动作,输出为输入动作的动作回报值;
在评判网络中计算得到动作回报值在当前状态下对于动作的第一梯度;
在预测网络中得到动作对于预测网络参数的第二梯度;
将所述第一梯度和所述第二梯度相乘得到回报值对于预测网络参数的梯度;
根据所述梯度更新所述预测网络和所述评判网络。
5.根据权利要求4所述的方法,其特征在于,所述根据所述梯度更新所述预测网络和所述评判网络,包括:
利用贝叶斯神经网络,根据所述梯度更新所述预测网络和所述评判网络。
6.根据权利要求1所述的方法,其特征在于,所述分别利用所述制冷机组调度强化学习模型确定当前状态下选择不同的动作时多个时间尺度的回报值,包括:
从经验池中选取历史动作;
对所述历史动作按照预设的算法进行调整得到新的动作;
将从所述经验池中选取的全部或部分历史动作以及所述新的动作作为当前状态下可选的动作。
7.根据权利要求6所述的方法,其特征在于,所述根据多个时间尺度的所述回报值,确定当前状态下的最优动作之后,还包括:
将所述最优动作及其对应的当前状态和所述回报值,加入所述经验池;
所述从经验池中选取历史动作,包括:
计算当前状态与所述经验池中的历史动作对应的状态的相似度;
选取相似度高的状态对应的历史动作。
8.一种园区制冷机组多时间尺度最优调度系统,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
CN202210288617.2A 2022-03-23 2022-03-23 园区制冷机组多时间尺度最优调度方法及系统 Active CN114707711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210288617.2A CN114707711B (zh) 2022-03-23 2022-03-23 园区制冷机组多时间尺度最优调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210288617.2A CN114707711B (zh) 2022-03-23 2022-03-23 园区制冷机组多时间尺度最优调度方法及系统

Publications (2)

Publication Number Publication Date
CN114707711A true CN114707711A (zh) 2022-07-05
CN114707711B CN114707711B (zh) 2022-09-16

Family

ID=82169725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210288617.2A Active CN114707711B (zh) 2022-03-23 2022-03-23 园区制冷机组多时间尺度最优调度方法及系统

Country Status (1)

Country Link
CN (1) CN114707711B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105353611A (zh) * 2015-10-27 2016-02-24 广州中国科学院沈阳自动化研究所分所 面向冷藏集装箱船的制冷功率平衡控制方法及其控制系统
US20190236446A1 (en) * 2018-01-29 2019-08-01 Lawrence Livermore National Security, Llc Optimization control technology for building energy conservation
US20190360711A1 (en) * 2018-05-22 2019-11-28 Seokyoung Systems Method and device for controlling power supply to heating, ventilating, and air-conditioning (hvac) system for building based on target temperature
US20200240668A1 (en) * 2019-01-29 2020-07-30 Urecsys- Urban Ecology Systems- Indoor Air Quality Management Ltd. Libraries, systems, and methods for minimizing air pollution in enclosed structures
US20200355391A1 (en) * 2017-04-25 2020-11-12 Johnson Controls Technology Company Predictive building control system with neural network based comfort prediction
CN112488452A (zh) * 2020-11-06 2021-03-12 中国电子科技集团公司第十八研究所 一种基于深度强化学习的能源系统管理多时间尺度最优决策方法
WO2021052686A1 (en) * 2019-09-16 2021-03-25 Siemens Gamesa Renewable Energy A/S Wind turbine control based on reinforcement learning
CN112700094A (zh) * 2020-12-22 2021-04-23 上海电力大学 一种基于mpc及loddlc的综合能源系统多时间尺度优化调度方法
US20210190361A1 (en) * 2019-04-02 2021-06-24 Lg Electronics Inc. Air conditioner
CN113723749A (zh) * 2021-07-20 2021-11-30 中国电力科学研究院有限公司 一种多园区综合能源系统协调调度方法及装置
CN113807564A (zh) * 2021-07-28 2021-12-17 合肥工业大学 基于两阶段强化学习的园区微网负荷优化调度方法及系统
CN114091879A (zh) * 2021-11-15 2022-02-25 浙江华云电力工程设计咨询有限公司 基于深度强化学习的多园区能源调度方法和系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105353611A (zh) * 2015-10-27 2016-02-24 广州中国科学院沈阳自动化研究所分所 面向冷藏集装箱船的制冷功率平衡控制方法及其控制系统
US20200355391A1 (en) * 2017-04-25 2020-11-12 Johnson Controls Technology Company Predictive building control system with neural network based comfort prediction
US20190236446A1 (en) * 2018-01-29 2019-08-01 Lawrence Livermore National Security, Llc Optimization control technology for building energy conservation
US20190360711A1 (en) * 2018-05-22 2019-11-28 Seokyoung Systems Method and device for controlling power supply to heating, ventilating, and air-conditioning (hvac) system for building based on target temperature
US20200240668A1 (en) * 2019-01-29 2020-07-30 Urecsys- Urban Ecology Systems- Indoor Air Quality Management Ltd. Libraries, systems, and methods for minimizing air pollution in enclosed structures
US20210190361A1 (en) * 2019-04-02 2021-06-24 Lg Electronics Inc. Air conditioner
WO2021052686A1 (en) * 2019-09-16 2021-03-25 Siemens Gamesa Renewable Energy A/S Wind turbine control based on reinforcement learning
CN112488452A (zh) * 2020-11-06 2021-03-12 中国电子科技集团公司第十八研究所 一种基于深度强化学习的能源系统管理多时间尺度最优决策方法
CN112700094A (zh) * 2020-12-22 2021-04-23 上海电力大学 一种基于mpc及loddlc的综合能源系统多时间尺度优化调度方法
CN113723749A (zh) * 2021-07-20 2021-11-30 中国电力科学研究院有限公司 一种多园区综合能源系统协调调度方法及装置
CN113807564A (zh) * 2021-07-28 2021-12-17 合肥工业大学 基于两阶段强化学习的园区微网负荷优化调度方法及系统
CN114091879A (zh) * 2021-11-15 2022-02-25 浙江华云电力工程设计咨询有限公司 基于深度强化学习的多园区能源调度方法和系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
YUAN WANG等: "A Long-Short Term Memory Recurrent Neural Network Based Reinforcement Learning Controller for Office Heating Ventilation and Air Conditioning Systems", 《PROCESSES》 *
尤毅等: "多时间尺度下基于主动配电网的分布式电源协调控制", 《电力系统自动化》 *
李恺等: "面向现代工业园区"源-荷"互动调度策略的研究", 《湖南电力》 *
杨胜春等: "多时间尺度协调的柔性负荷互动响应调度模型与策略", 《多时间尺度协调的柔性负荷互动响应调度模型与策略 *
杨锡运等: "基于商业园区源/储/荷协同运行的储能系统多目标优化配置", 《电网技术》 *
王云等: "主动配电网中柔性负荷的混合系统建模与控制", 《中国电机工程学报》 *
闫军威等: "基于Double-DQN的中央空调系统节能优化运行", 《华南理工大学学报(自然科学版)》 *

Also Published As

Publication number Publication date
CN114707711B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN104534627B (zh) 中央空调冷却水系统综合能效控制方法
CN108302719B (zh) 多联机空调系统的控制方法、装置、系统和存储介质
US20150058061A1 (en) Zonal energy management and optimization systems for smart grids applications
CN104049716A (zh) 一种结合温度感知的计算机节能方法及系统
CN113739365A (zh) 中央空调冷站群控节能控制方法、装置、设备及存储介质
CN112283890A (zh) 适应建筑暖通设备监控系统的冷热量控制方法及装置
CN115796393A (zh) 基于多能互动的能源网管理优化方法、系统及存储介质
KR20180138371A (ko) 데이터 기반 모델 평가 및 이를 이용한 캡슐형 빙축열 시스템 예측제어 방법
CN111664550A (zh) 基于预测模型和最优化算法的能效优化方法及系统
CN110848892A (zh) 一种冰蓄冷系统的节能运行方法、装置、设备及存储介质
CN114707711B (zh) 园区制冷机组多时间尺度最优调度方法及系统
CN111043685B (zh) 储冰量调整系统与储冰量调整方法
CN114662751A (zh) 基于lstm的园区多能短期负荷预测及优化方法
CN110094834A (zh) 基于气象预报数据的空调能耗预测方法、空调
WO2019227273A1 (en) Hierarchical concept based neural network model for data center power usage effectiveness prediction
CN108292559B (zh) 用于控制电力设备的冷却系统的方法和系统
CN116451830B (zh) 一种工业园区计划功率曲线跟踪方法
CN114636212B (zh) 一种基于grnn的多台冷水机组系统运行控制方法
EP3352027B1 (en) Method and system of smart climatization management
CN111787764B (zh) 多联机制冷机组的能耗优化方法及装置、电子设备、存储介质
Ma et al. Control and Communication for Demand Response with Thermostatically Controlled Loads
Zhang et al. Intelligent optimal control strategy of heat pump system based on digital twins
Heidari et al. Reinforcement learning for occupant-centric operation of residential energy system: Evaluating the adaptation potential to the unusual occupants´ behavior during COVID-19 pandemic
CN110836518A (zh) 基于系统基础知识的自学习空调系统全局优化控制方法
CN117374973B (zh) 一种基于气象数据的电网负荷预测方法、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant