CN114017904A - 一种建筑物hvac系统的运行控制方法及装置 - Google Patents
一种建筑物hvac系统的运行控制方法及装置 Download PDFInfo
- Publication number
- CN114017904A CN114017904A CN202111300419.5A CN202111300419A CN114017904A CN 114017904 A CN114017904 A CN 114017904A CN 202111300419 A CN202111300419 A CN 202111300419A CN 114017904 A CN114017904 A CN 114017904A
- Authority
- CN
- China
- Prior art keywords
- building
- hvac
- wall
- historical
- indoor temperature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
- F24F11/63—Electronic processing
- F24F11/64—Electronic processing using pre-stored data
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/50—Control or safety arrangements characterised by user interfaces or communication
- F24F11/61—Control or safety arrangements characterised by user interfaces or communication using timers
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/70—Control systems characterised by their outputs; Constructional details thereof
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F2110/00—Control inputs relating to air properties
- F24F2110/10—Temperature
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F2110/00—Control inputs relating to air properties
- F24F2110/10—Temperature
- F24F2110/12—Temperature of the outside air
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F2130/00—Control inputs relating to environmental factors not covered by group F24F2110/00
- F24F2130/20—Sunlight
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Air Conditioning Control Device (AREA)
Abstract
本发明公开了一种建筑物HVAC系统的运行控制方法及装置,该方法以各历史环境状态参数为状态空间;以历史各时刻下,满足预设室内温度时各HVAC设备的输入功率为动作空间;根据历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,以及历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率计算得到的奖励值为动作奖励,来构建深度强化学习模型,并基于训练好的深度强化学习模型对当前时刻的环境状态参数下,各HVAC设备的当前输入功率进行预测,然后根据各HVAC设备的当前输入功率对各HVAC设备进行控制。通过实施本发明能够使得建筑物的室内温度维持在预设室内温度。
Description
技术领域
本发明涉及建筑物的暖通空调控制技术领域,尤其涉及一种建筑物HVAC系统的运行控制方法及装置。
背景技术
随着国人经济水平的大幅提升,人们对环境舒适度的要求也与日俱增,建筑楼宇的功能不仅仅要为人们遮风挡雨提供庇护,更要满足人们对于学习工作环境舒适度的要求,因此,建筑物的温度控制显得更加重要。与此同时,在建筑物能耗中,供暖通风与空气调节(Heating Ventilation and Air Conditioning,HVAC)设备的能耗通常达到40%以上。因此,在建筑物能耗控制中,对于HVAC系统的运行控制,显得尤为重要。传统的建筑物HVAC系统控制采用简单的起停控制,这样的控制方式会造成大量的启停成本,不仅设备的能耗加大,而且设备的使用寿命也会大幅度降低。此外,粗放的启停控制,很难使得室内的温度始终维持在设定温度附近,对于建筑物内人们对于环境的舒适度也会造成不利的影响。
发明内容
本发明实施例提供一种建筑物HVAC系统的运行控制方法及装置,能根据当前环境状态,控制各HVAC设备的输入功率,使得建筑物的内部温度维持在预设的室内温度。
本发明一实施例提供了一种建筑物HVAC系统的运行控制方法,包括获取当前时刻建筑物的环境状态参数;其中,所述环境状态参数包括:墙体光照强度、墙体温度、墙体外部温度以及内部热源热量;
将所述环境状态参数输入至建筑物HVAC系统运行控制模型中,以使所述建筑物HVAC系统运行控制模型根据所述环境状态参数确定在满足预设室内温度需求下,所述建筑物中各HVAC设备的当前输入功率;
根据所述建筑物中各HVAC设备的当前输入功率控制各HVAC设备;
其中,所述建筑物HVAC系统运行控制模型的构建,包括:
获取建筑物历史各时刻的历史环境状态参数、建筑物的楼宇参数以及建筑物中各HVAC设备的设备参数;
以历史各时刻的历史环境状态参数为训练样本对深度强化学习模型进行训练,以使深度强化学习模型输出历史各时刻下,满足预设室内温度时各HVAC设备的输入功率;将训练完成的深度强化学习模型作为所述建筑物HVAC系统运行控制模型;
其中,所述深度强化学习模型的状态空间为各历史状态参数;所述深度强化学习模型的动作空间为历史各时刻下,满足预设室内温度时各HVAC设备的输入功率;所述深度强化学习模型的动作奖励为,根据历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,以及历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,所计算得到的奖励值;在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,由各历史环境状态参数以及所述楼宇参数计算得到;在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到。
进一步的,楼宇参数包括:建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数以及墙体光照状态。
进一步的,所述在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,由各历史环境状态参数以及所述楼宇参数计算得到,具体包括:
根据历史各时刻的墙体光照强度、历史各时刻的墙体温度、历史各时刻的墙体外部温度、历史各时刻的内部热源热量、建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数、墙体光照状态以及所述满足的预设室内温度,构建筑物热力学方程:
根据所述建筑物热力学方程计算在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率。
进一步的,所述在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到,具体包括:
根据各HVAC设备的额定输入功率以及历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,计算历史各时刻下各HVAC设备的负载比;
根据各HVAC设备的额定制冷系数以及历史各时刻下各HVAC设备的负载比,计算历史各时刻下各HVAC设备的制冷系数;
根据历史各时刻下各HVAC设备的制冷系数以及历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,计算在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率。
进一步的,所述建筑物HVAC系统运行控制模型包括:值网络和策略网络;
在训练所述建筑物HVAC系统运行控制模型时,通过最小化值网络的损失函数对值网络的网络参数进行更新;通过确定性策略梯度对策略网络的网络参数进行更新。
在上述方法项实施例的基础上,本发明对应提供了装置项实施例;
本发明一实施例提供了一种建筑物HVAC系统的运行控制装置,包括:数据获取模块、当前输入功率确定模块、HVAC设备控制模块以及模型构建模块;
所述数据获取模块,用于获取当前时刻建筑物的环境状态参数;其中,所述环境状态参数包括:墙体光照强度、墙体温度、墙体外部温度以及内部热源热量;
所述当前输入功率确定模块,用于将所述环境状态参数输入至建筑物HVAC系统运行控制模型中,以使所述建筑物HVAC系统运行控制模型根据所述环境状态参数确定在满足预设室内温度需求下,所述建筑物中各HVAC设备的当前输入功率;
所述HVAC设备控制模块,用于根据所述建筑物中各HVAC设备的当前输入功率控制各HVAC设备;
所述模型构建模块,用于获取建筑物历史各时刻的历史环境状态参数、建筑物的楼宇参数以及建筑物中各HVAC设备的设备参数;
以历史各时刻的历史环境状态参数为训练样本对深度强化学习模型进行训练,以使深度强化学习模型输出历史各时刻下,满足预设室内温度时各HVAC设备的输入功率;将训练完成的深度强化学习模型作为所述建筑物HVAC系统运行控制模型;
其中,所述深度强化学习模型的状态空间为各历史状态参数;所述深度强化学习模型的动作空间为历史各时刻下,满足预设室内温度时各HVAC设备的输入功率;所述深度强化学习模型的动作奖励为,根据历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,以及历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,所计算得到的奖励值;在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,由各历史环境状态参数以及所述楼宇参数计算得到;在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到。
进一步的,楼宇参数包括:建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数以及墙体光照状态。
进一步的,所述模型构建模块包括:第一冷功率计算单元;
所述第一冷功率计算单元,用于根据历史各时刻的墙体光照强度、历史各时刻的墙体温度、历史各时刻的墙体外部温度、历史各时刻的内部热源热量、建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数、墙体光照状态以及所述满足的预设室内温度,构建筑物热力学方程:
根据所述建筑物热力学方程计算在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率。
进一步的,所述模型构建模块还包括:第二冷功率计算单元;
所述第二冷功率计算单元,用于根据各HVAC设备的额定输入功率以及历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,计算历史各时刻下各HVAC设备的负载比;
根据各HVAC设备的额定制冷系数以及历史各时刻下各HVAC设备的负载比,计算历史各时刻下各HVAC设备的制冷系数;
根据历史各时刻下各HVAC设备的制冷系数以及历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,计算在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率。
通过实施本发明实施例具有如下有益效果:
本发明实施例公开了一种建筑物HVAC系统的运行控制方法,该方法以各历史环境状态参数为状态空间;以历史各时刻下,满足预设室内温度时各HVAC设备的输入功率为动作空间;根据历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,以及历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率计算得到的奖励值为动作奖励,来构建深度强化学习模型,并基于训练好的深度强化学习模型对当前时刻的环境状态参数下,各HVAC设备的当前输入功率进行预测,然后根据各HVAC设备的当前输入功率对各HVAC设备进行控制,使得建筑物的室内温度维持在上述预设室内温度。
附图说明
图1是本发明一实施例提供的建筑物HVAC系统的运行控制方法的流程示意图。
图2是本发明一实施例提供的建筑物HVAC系统运行控制模型的构建流程示意图。
图3是本发明一实施例提供的建筑物HVAC系统的运行控制装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明一实施例提供了一种建筑物HVAC系统的运行控制方法,至少包括如下步骤:
步骤S101:获取当前时刻建筑物的环境状态参数;其中,所述环境状态参数包括:墙体光照强度、墙体温度、墙体外部温度以及内部热源热量。
步骤S102:将所述环境状态参数输入至建筑物HVAC系统运行控制模型中,以使所述建筑物HVAC系统运行控制模型根据所述环境状态参数确定在满足预设室内温度需求下,所述建筑物中各HVAC设备的当前输入功率。
步骤S103:根据所述建筑物中各HVAC设备的当前输入功率控制各HVAC设备。
对于步骤S101、假设一建筑物具备4面墙,那么此时墙体光照强度就包括了4面墙各自的光照强度,同理墙体温度包含了4面墙各自的墙体温度,墙体外部温度为4个墙体的外部温度,内部热源热量,为建筑物内会产生热量设备的产热量(如HVAC设备运行时所产生的热量)。
对于步骤S102,如图2所示在一个优选的实施例中,所述建筑物HVAC系统运行控制模型的构建,包括:
步骤S201:获取建筑物历史各时刻的历史环境状态参数、建筑物的楼宇参数以及建筑物中各HVAC设备的设备参数;
步骤S202:以历史各时刻的历史环境状态参数为训练样本对深度强化学习模型进行训练,以使深度强化学习模型输出历史各时刻下,满足预设室内温度时各HVAC设备的输入功率;将训练完成的深度强化学习模型作为所述建筑物HVAC系统运行控制模型;
其中,所述深度强化学习模型的状态空间为各历史状态参数;所述深度强化学习模型的动作空间为历史各时刻下,满足预设室内温度时各HVAC设备的输入功率;所述深度强化学习模型的动作奖励为,根据历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,以及历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,所计算得到的奖励值;在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,由各历史环境状态参数以及所述楼宇参数计算得到;在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到。
在一个优选的实施例中,所述在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,由各历史环境状态参数以及所述楼宇参数计算得到,具体包括:
根据历史各时刻的墙体光照强度、历史各时刻的墙体温度、历史各时刻的墙体外部温度、历史各时刻的内部热源热量、建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数、墙体光照状态以及所述满足的预设室内温度,构建筑物热力学方程:
根据所述建筑物热力学方程计算在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率。
在一个优选的实施例中,所述在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到,具体包括:
根据各HVAC设备的额定输入功率以及历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,计算历史各时刻下各HVAC设备的负载比;
根据各HVAC设备的额定制冷系数以及历史各时刻下各HVAC设备的负载比,计算历史各时刻下各HVAC设备的制冷系数;
根据历史各时刻下各HVAC设备的制冷系数以及历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,计算在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率。
在一个优选的实施例中,建筑物HVAC系统运行控制模型包括:值网络和策略网络;
在训练所述建筑物HVAC系统运行控制模型时,通过最小化值网络的损失函数对值网络的网络参数进行更新;通过确定性策略梯度对策略网络的网络参数进行更新。
具体的,在本发明中首先构建楼宇热力学模型和HVAC设备运行模型;
楼宇热力学模型:
针对建筑物楼宇的热力学模型构建RC等效模型,通过具有传热能力的热阻和具有储热能力的热容来表示建筑物-墙体,墙体-外部之间的热传导关系。在RC网络中,建筑物区域的各个节点通过热容接地表示区域储热能力,并通过热阻连接在一起,表示互相之间的热影响。
设Troom为建筑物的室内温度(在本发明中以上述预设室内温度作为建筑物的室内温度,示意性的上述预设室内温度为25℃),为第j个墙体的温度(即上述墙体温度),为与第j个墙体相邻的墙体s的温度,为第j个墙体的相邻墙体的集合,为第j个墙体的热容(即上述墙体热容),为第j个墙体的热阻(即上述墙体热阻),αj为第j个墙体的太阳光吸收系数(即上述墙体太阳光吸收系数),Sj为第j个墙体的面积(即上述墙体面积),为第j个墙体的太阳照射强度(即上述墙体光照强度),rj为第j个墙体是否接收到太阳照射(即上述墙体光照状态),取0为接收不到光照,取1为接收到光照,则得到墙体的热平衡方程约束。
设为第j个墙体的外部环境温度(即上述墙体外部温度),Nwall为建筑物的相邻墙体的集合,Croom为建筑物的热容(即上述建筑物热容),为第j个墙体上窗户的热阻(即上述建筑物热阻),τj为第j个墙体上窗户的太阳光透射率(即上述太阳光透射率),为第j个墙体窗户的面积,为第j个墙体的太阳照射强度(即上述墙体光照强度),Qint为建筑物内热源热量(即上述内部热源热量),Qroom为系统所需的冷量(即上述建筑物HVAC系统所需的总输出冷功率),可以得到建筑物的热平衡方程约束。
考虑到建筑温度波动以及冷热负荷需求的慢动态过程,将式(1)与(2)所表达建筑热力学模型的微分方程进行差分化,从而实现对建筑物热力学模型的简化。墙体的热平衡方程改写为:
建筑物的热力学方程即上述楼宇热力学模型可改写为:
其中,t为时刻,Δt为上一时刻与下一时刻之间的时间间隔。
在获得上述建筑物的热力学方程后,将历史各时刻的墙体光照强度、历史各时刻的墙体温度、历史各时刻的墙体外部温度、历史各时刻的内部热源热量、建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数、墙体光照状态以及所述满足的预设室内温度,具体的数值带入上述公式(4)中即可求出,在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率Qroom。
HVAC设备运行模型:
后续在深度强化学习模型训练的过程中,将由深度强化学习模型预测出的历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,根据上述公式(5)-(7)依次进行计算,可以获得在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率。
通过上述楼宇热力学模型以及HVAC设备运行模型,可以分别计算出历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,以及历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,这两个数据项在后续结合根据历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,可以构建深度强化学习模型的动作奖励;
以下对建筑物HVAC系统运行控制模型进行详细的说明:
在本发明中建筑物HVAC系统运行控制问题可以转化为马尔科夫决策过程(MDP),马尔可夫决策过程(Markov decision process,MDP),即系统下一时刻状态仅与当前时刻状态和动作有关,是强化学习最基本的模型之一,其问题模型通常被表示为一个元组<S,A,R,P,π>,其中:S为状态空间,即所有环境状态的集合,st∈S表示智能体在t时刻所处环境中观察到的状态;A为动作空间,即所有动作状态的集合,at∈A表示智能体在 时刻所处环境中采取的动作;R为动作奖励,R:st×at→rt表示状态st在动作at下发生状态转移时环境给出的即时奖励rt;P为状态转移概率函数,P:st×at×st+1→[0,1]表示在一个状态st下执行一个动作at后转到另一个状态st+1的概率;策略π为状态空间S到动作空间A的映射,π:S→A。
建筑物HVAC系统运行控制的目标是最小化系统总运行成本,即最小化机组的输入功率。本发明将系统总成本最小化问题转化为强化学习经典的奖励最大化形式,与此同时,为了保证建筑物室冷负荷的供需平衡,引入供需平衡惩罚项。因此,将智能体在时段t获得的奖励表示为:
式中,μ与η分别是对成本值(由各HVAC设备的输入功率进行表征,输入功率越大成本值越高)与惩罚项(由HVAC系统所需的总输出冷功率与各HVAC设备的实际输出冷功率的差值进行表征)进行相应缩放的预设缩放系数。由于建筑物HVAC系统的运行是一种确定转移,因此P:st×at×st+1=1。策略π则为在不同环境状态下的各HAVC设备的最优运行控制方案。
根据上述式(8),基于历史各时刻的历史环境状态参数构建深度强化学习模型的状态空间,根据上述式(9)基于历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,构建所述深度强化学习模型的动作空间;根据上述10,基于历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,以及历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,构建所述深度强化学习模型的动作奖励。
本发明中上述深度强化学习模型基于深度确定性策略梯度算法(DeepDeterministic Policy Gradient,DDPG)构建,深度确定性策略梯度算法(DeepDeterministic Policy Gradient,DDPG)是一种基于actor-critic(策略-值)框架,它通过深度神经网络来估计最优策略函数。它不仅可以避免维数灾难,还能保存整个动作域的信息。DDPG算法使用2个独立的网络参数θQ和θπ来逼近critic函数和actor函数,且每个网络均有各自的目标网络参数θQ′和θπ′,其中Q′和π′分别为目标Q值和目标策略。
在本发明中对于深度强化学习模型值网络的训练如下:
对于值网络,通过最小化损失函数L(θQ)来优化参数:
L(θQ)=E[(yt-Q(st,at;θQ))2] (11)
式中,θQ为值网络的网络参数,yt为目标Q值;E[·]为期望函数。在时段t,系统执行动作at后会进入下一个状态st+1。
yt=rt+γQ′(st+1,π′(st+1;θπ′);θQ′) (12)
L(θQ)关于θQ的梯度为:
其中:μQ为值网络学习率。
对于策略网络的训练:
根据确定性策略梯度,更新策略网络参数θπ:
式中:μπ为策略网络学习率。
目标网络的参数θQ′和θπ′采用软更新技术来进一步提高学习过程的稳定性:
θQ′←τθQ+(1-τ)θQ′ (17)
θπ′←τθπ+(1-τ)θπ′ (18)
式中:τ为软更新系数,τ<<1。
算法中,通过为动作at添加随机噪声vt以增加DDPG算法在智能体与环境交互时对环境的探索能力,以学习到更加优化的策略。
通过上述训练方法,将建筑物历史各时刻的历史环境状态参数作为训练样本,对深度强化学习模型的值网络和策略网络进行训练,直至由式(10)所计算出来的动作奖励达到预设值且奖励值曲线收敛变平,完成深度强化学习模型的训练,获得所述建筑物HVAC系统运行控制模型。
在获得上述建筑物HVAC系统运行控制模型后,将当前时刻的环境状态参数输入至模型中,模型即可输出在当前时刻的环境状态参数下各HVAC设备的当前输入功率。
对于步骤S103,根据前述所得的各HVAC设备的当前输入功率,控制建筑物中各HVAC设备的运行状态。
示意性的,在本发明中各HVC设备的设备参数如表1所示、深度强化学习模型的超参数的详细设置如表2所示,各历史环境状态参数如表3所示,楼宇参数如表4所示:
表1 HVAC设备参数
表2超参数设置表
经验重放缓冲区大小 | 1920 |
小批量大小 | 360 |
critic网络的学习率 | 0.001 |
Actor网络的学习率 | 0.0001 |
折扣系数 | 0.96 |
软更新参数λ | 0.0012 |
表3历史环境状态参数表
表4楼宇参数表
在上述方法项实施例的基础上,本发明对应提供了装置项实施例;
如图3所示,本发明一实施例提供了一种建筑物HVAC系统的运行控制装置,包括:数据获取模块、当前输入功率确定模块、HVAC设备控制模块以及模型构建模块;
所述数据获取模块,用于获取当前时刻建筑物的环境状态参数;其中,所述环境状态参数包括:墙体光照强度、墙体温度、墙体外部温度以及内部热源热量;
所述当前输入功率确定模块,用于将所述环境状态参数输入至建筑物HVAC系统运行控制模型中,以使所述建筑物HVAC系统运行控制模型根据所述环境状态参数确定在满足预设室内温度需求下,所述建筑物中各HVAC设备的当前输入功率;
所述HVAC设备控制模块,用于根据所述建筑物中各HVAC设备的当前输入功率控制各HVAC设备;
所述模型构建模块,用于获取建筑物历史各时刻的历史环境状态参数、建筑物的楼宇参数以及建筑物中各HVAC设备的设备参数;
以历史各时刻的历史环境状态参数为训练样本对深度强化学习模型进行训练,以使深度强化学习模型输出历史各时刻下,满足预设室内温度时各HVAC设备的输入功率;将训练完成的深度强化学习模型作为所述建筑物HVAC系统运行控制模型;
其中,所述深度强化学习模型的状态空间为各历史状态参数;所述深度强化学习模型的动作空间为历史各时刻下,满足预设室内温度时各HVAC设备的输入功率;所述深度强化学习模型的动作奖励为,根据历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,以及历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,所计算得到的奖励值;在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,由各历史环境状态参数以及所述楼宇参数计算得到;在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到。
在一个优选的实施例中,楼宇参数包括:建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数以及墙体光照状态。
在一个优选的实施例中,所述模型构建模块包括:第一冷功率计算单元;
所述第一冷功率计算单元,用于根据历史各时刻的墙体光照强度、历史各时刻的墙体温度、历史各时刻的墙体外部温度、历史各时刻的内部热源热量、建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数、墙体光照状态以及所述满足的预设室内温度,构建筑物热力学方程:
根据所述建筑物热力学方程计算在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率。
在一个优选的实施例中,所述模型构建模块还包括:第二冷功率计算单元;
所述第二冷功率计算单元,用于根据各HVAC设备的额定输入功率以及历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,计算历史各时刻下各HVAC设备的负载比;
根据各HVAC设备的额定制冷系数以及历史各时刻下各HVAC设备的负载比,计算历史各时刻下各HVAC设备的制冷系数;
根据历史各时刻下各HVAC设备的制冷系数以及历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,计算在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (9)
1.一种建筑物HVAC系统的运行控制方法,其特征在于,包括:
获取当前时刻建筑物的环境状态参数;其中,所述环境状态参数包括:墙体光照强度、墙体温度、墙体外部温度以及内部热源热量;
将所述环境状态参数输入至建筑物HVAC系统运行控制模型中,以使所述建筑物HVAC系统运行控制模型根据所述环境状态参数确定在满足预设室内温度需求下,所述建筑物中各HVAC设备的当前输入功率;
根据所述建筑物中各HVAC设备的当前输入功率控制各HVAC设备;
其中,所述建筑物HVAC系统运行控制模型的构建,包括:
获取建筑物历史各时刻的历史环境状态参数、建筑物的楼宇参数以及建筑物中各HVAC设备的设备参数;
以历史各时刻的历史环境状态参数为训练样本对深度强化学习模型进行训练,以使深度强化学习模型输出历史各时刻下,满足预设室内温度时各HVAC设备的输入功率;将训练完成的深度强化学习模型作为所述建筑物HVAC系统运行控制模型;
其中,所述深度强化学习模型的状态空间为各历史状态参数;所述深度强化学习模型的动作空间为历史各时刻下,满足预设室内温度时各HVAC设备的输入功率;所述深度强化学习模型的动作奖励为,根据历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,以及历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,所计算得到的奖励值;在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,由各历史环境状态参数以及所述楼宇参数计算得到;在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到。
2.如权利要求1所述的建筑物HVAC系统的运行控制方法,其特征在于,楼宇参数包括:建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数以及墙体光照状态。
3.如权利要求2所述的建筑物HVAC系统的运行控制方法,其特征在于,所述在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,由各历史环境状态参数以及所述楼宇参数计算得到,具体包括:
根据历史各时刻的墙体光照强度、历史各时刻的墙体温度、历史各时刻的墙体外部温度、历史各时刻的内部热源热量、建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数、墙体光照状态以及所述满足的预设室内温度,构建筑物热力学方程:
根据所述建筑物热力学方程计算在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率。
4.如权利要求2所述的建筑物HVAC系统的运行控制方法,其特征在于,所述在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到,具体包括:
根据各HVAC设备的额定输入功率以及历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,计算历史各时刻下各HVAC设备的负载比;
根据各HVAC设备的额定制冷系数以及历史各时刻下各HVAC设备的负载比,计算历史各时刻下各HVAC设备的制冷系数;
根据历史各时刻下各HVAC设备的制冷系数以及历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,计算在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率。
5.如权利要求1所述的建筑物HVAC系统的运行控制方法,其特征在于,所述建筑物HVAC系统运行控制模型包括:值网络和策略网络;
在训练所述建筑物HVAC系统运行控制模型时,通过最小化值网络的损失函数对值网络的网络参数进行更新;通过确定性策略梯度对策略网络的网络参数进行更新。
6.一种建筑物HVAC系统的运行控制装置,其特征在于,包括:数据获取模块、当前输入功率确定模块、HVAC设备控制模块以及模型构建模块;
所述数据获取模块,用于获取当前时刻建筑物的环境状态参数;其中,所述环境状态参数包括:墙体光照强度、墙体温度、墙体外部温度以及内部热源热量;
所述当前输入功率确定模块,用于将所述环境状态参数输入至建筑物HVAC系统运行控制模型中,以使所述建筑物HVAC系统运行控制模型根据所述环境状态参数确定在满足预设室内温度需求下,所述建筑物中各HVAC设备的当前输入功率;
所述HVAC设备控制模块,用于根据所述建筑物中各HVAC设备的当前输入功率控制各HVAC设备;
所述模型构建模块,用于获取建筑物历史各时刻的历史环境状态参数、建筑物的楼宇参数以及建筑物中各HVAC设备的设备参数;
以历史各时刻的历史环境状态参数为训练样本对深度强化学习模型进行训练,以使深度强化学习模型输出历史各时刻下,满足预设室内温度时各HVAC设备的输入功率;将训练完成的深度强化学习模型作为所述建筑物HVAC系统运行控制模型;
其中,所述深度强化学习模型的状态空间为各历史状态参数;所述深度强化学习模型的动作空间为历史各时刻下,满足预设室内温度时各HVAC设备的输入功率;所述深度强化学习模型的动作奖励为,根据历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,以及历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,所计算得到的奖励值;在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率,由各历史环境状态参数以及所述楼宇参数计算得到;在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率,由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到。
7.如权利要求6所述的建筑物HVAC系统的运行控制装置,其特征在于,楼宇参数包括:建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数以及墙体光照状态。
8.如权利要求7所述的建筑物HVAC系统的运行控制装置,其特征在于,所述模型构建模块包括:第一冷功率计算单元;
所述第一冷功率计算单元,用于根据历史各时刻的墙体光照强度、历史各时刻的墙体温度、历史各时刻的墙体外部温度、历史各时刻的内部热源热量、建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数、墙体光照状态以及所述满足的预设室内温度,构建筑物热力学方程:
根据所述建筑物热力学方程计算在历史各时刻下,满足预设室内温度时建筑物HVAC系统所需的总输出冷功率。
9.如权利要求7所述的建筑物HVAC系统的运行控制装置,其特征在于,所述模型构建模块还包括:第二冷功率计算单元;
所述第二冷功率计算单元,用于根据各HVAC设备的额定输入功率以及历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,计算历史各时刻下各HVAC设备的负载比;
根据各HVAC设备的额定制冷系数以及历史各时刻下各HVAC设备的负载比,计算历史各时刻下各HVAC设备的制冷系数;
根据历史各时刻下各HVAC设备的制冷系数以及历史各时刻下,满足预设室内温度时各HVAC设备的输入功率,计算在历史各时刻下,满足预设室内温度时各HVAC设备的输出冷功率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111300419.5A CN114017904B (zh) | 2021-11-04 | 2021-11-04 | 一种建筑物hvac系统的运行控制方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111300419.5A CN114017904B (zh) | 2021-11-04 | 2021-11-04 | 一种建筑物hvac系统的运行控制方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114017904A true CN114017904A (zh) | 2022-02-08 |
CN114017904B CN114017904B (zh) | 2023-01-20 |
Family
ID=80061195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111300419.5A Active CN114017904B (zh) | 2021-11-04 | 2021-11-04 | 一种建筑物hvac系统的运行控制方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114017904B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117193034A (zh) * | 2023-11-07 | 2023-12-08 | 湖南恒意智能工程有限公司 | 一种楼宇智能化控制方法及系统 |
Citations (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160223218A1 (en) * | 2015-01-30 | 2016-08-04 | Schneider Electric It Corporation | Automated control and parallel learning hvac apparatuses, methods and systems |
CN107026462A (zh) * | 2017-06-20 | 2017-08-08 | 华北电力大学(保定) | 用于风电计划功率跟踪的储能设备控制策略制定方法 |
CN107567083A (zh) * | 2017-10-16 | 2018-01-09 | 北京小米移动软件有限公司 | 进行省电优化处理的方法和装置 |
CN108613332A (zh) * | 2018-04-12 | 2018-10-02 | 南京信息工程大学 | 一种节能型建筑微区域人员交互式热舒适度调节方法 |
CN108626842A (zh) * | 2018-04-23 | 2018-10-09 | 珠海格力电器股份有限公司 | 一种降功耗控制方法、装置及设备 |
CN109425086A (zh) * | 2017-12-06 | 2019-03-05 | 追觅科技(天津)有限公司 | 一种检测方法、空气净化设备及电子设备 |
CN109827292A (zh) * | 2019-01-16 | 2019-05-31 | 珠海格力电器股份有限公司 | 家电自适应节能控制模型的构建方法、控制方法、家电 |
CN109882996A (zh) * | 2019-01-25 | 2019-06-14 | 珠海格力电器股份有限公司 | 一种控制的方法及设备 |
CN110392515A (zh) * | 2019-07-23 | 2019-10-29 | 上海朗绿建筑科技股份有限公司 | 一种基于历史数据的冷热源机房节能控制方法及系统 |
CN110398029A (zh) * | 2019-07-25 | 2019-11-01 | 北京上格云技术有限公司 | 控制方法和计算机可读存储介质 |
US20200103133A1 (en) * | 2018-09-27 | 2020-04-02 | Johnson Controls Technology Company | Thermostat with least squares estimation of power savings |
CN111126605A (zh) * | 2020-02-13 | 2020-05-08 | 创新奇智(重庆)科技有限公司 | 一种基于强化学习算法的数据中心机房控制方法及装置 |
CN111144793A (zh) * | 2020-01-03 | 2020-05-12 | 南京邮电大学 | 基于多智能体深度强化学习的商业建筑hvac控制方法 |
CN111310384A (zh) * | 2020-01-16 | 2020-06-19 | 香港中文大学(深圳) | 一种风场协同控制方法、终端及计算机可读存储介质 |
CN111351180A (zh) * | 2020-03-06 | 2020-06-30 | 上海外高桥万国数据科技发展有限公司 | 一种运用人工智能实现数据中心节能温控的系统及方法 |
CN111445067A (zh) * | 2020-03-09 | 2020-07-24 | 北京交通大学 | 一种适用于高铁站综合能源系统的多目标规划方法 |
CN111609534A (zh) * | 2020-05-25 | 2020-09-01 | 珠海拓芯科技有限公司 | 温度控制方法、装置及中央温度控制系统 |
CN111787764A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(上海)科技有限公司 | 多联机制冷机组的能耗优化方法及装置、电子设备、存储介质 |
CN111795484A (zh) * | 2020-07-24 | 2020-10-20 | 北京大学深圳研究生院 | 一种智慧空调控制方法和系统 |
CN111811110A (zh) * | 2020-08-28 | 2020-10-23 | 创新奇智(南京)科技有限公司 | 制冷机组的控制方法及装置、电子设备、存储介质 |
US20200348038A1 (en) * | 2019-07-12 | 2020-11-05 | Johnson Controls Technology Company | Hvac system design and operational tool for building infection control |
CN112036026A (zh) * | 2020-08-27 | 2020-12-04 | 天津天大求实电力新技术股份有限公司 | 一种基于蓄热系统的建筑热负荷预测方法 |
CN112050397A (zh) * | 2020-08-27 | 2020-12-08 | 浙江省邮电工程建设有限公司 | 一种机房温度调控方法及系统 |
CN112325447A (zh) * | 2020-11-02 | 2021-02-05 | 珠海米枣智能科技有限公司 | 一种基于强化学习的制冷机组控制装置及控制方法 |
CN112460741A (zh) * | 2020-11-23 | 2021-03-09 | 香港中文大学(深圳) | 一种楼宇暖通空调系统控制方法 |
CN112577161A (zh) * | 2019-09-30 | 2021-03-30 | 北京国双科技有限公司 | 空调能耗模型训练方法与空调系统控制方法 |
CN112762576A (zh) * | 2020-12-29 | 2021-05-07 | 广东美的白色家电技术创新中心有限公司 | 空调系统控制方法、达温时间预测模型训练方法及设备 |
CN112879220A (zh) * | 2021-03-16 | 2021-06-01 | 上海电气风电集团股份有限公司 | 风机控制方法、系统和可读存储介质 |
CN112963946A (zh) * | 2021-02-26 | 2021-06-15 | 南京邮电大学 | 一种面向共享办公区域的暖通空调系统控制方法及装置 |
US20210190364A1 (en) * | 2019-12-23 | 2021-06-24 | Johnson Controls Technology Company | Methods and systems for training hvac control using simulated and real experience data |
US20210191342A1 (en) * | 2019-12-23 | 2021-06-24 | Johnson Controls Technology Company | Methods and systems for training hvac control using surrogate model |
CN113283156A (zh) * | 2021-03-29 | 2021-08-20 | 北京建筑大学 | 一种基于深度强化学习的地铁站空调系统节能控制方法 |
CN113361132A (zh) * | 2021-06-28 | 2021-09-07 | 浩鲸云计算科技股份有限公司 | 一种基于深度q学习对决网络的风冷数据中心节能方法 |
CN113551373A (zh) * | 2021-07-19 | 2021-10-26 | 江苏中堃数据技术有限公司 | 一种基于联邦强化学习的数据中心空调节能控制方法 |
-
2021
- 2021-11-04 CN CN202111300419.5A patent/CN114017904B/zh active Active
Patent Citations (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160223218A1 (en) * | 2015-01-30 | 2016-08-04 | Schneider Electric It Corporation | Automated control and parallel learning hvac apparatuses, methods and systems |
CN107026462A (zh) * | 2017-06-20 | 2017-08-08 | 华北电力大学(保定) | 用于风电计划功率跟踪的储能设备控制策略制定方法 |
CN107567083A (zh) * | 2017-10-16 | 2018-01-09 | 北京小米移动软件有限公司 | 进行省电优化处理的方法和装置 |
CN109425086A (zh) * | 2017-12-06 | 2019-03-05 | 追觅科技(天津)有限公司 | 一种检测方法、空气净化设备及电子设备 |
CN108613332A (zh) * | 2018-04-12 | 2018-10-02 | 南京信息工程大学 | 一种节能型建筑微区域人员交互式热舒适度调节方法 |
CN108626842A (zh) * | 2018-04-23 | 2018-10-09 | 珠海格力电器股份有限公司 | 一种降功耗控制方法、装置及设备 |
US20200103133A1 (en) * | 2018-09-27 | 2020-04-02 | Johnson Controls Technology Company | Thermostat with least squares estimation of power savings |
CN109827292A (zh) * | 2019-01-16 | 2019-05-31 | 珠海格力电器股份有限公司 | 家电自适应节能控制模型的构建方法、控制方法、家电 |
CN109882996A (zh) * | 2019-01-25 | 2019-06-14 | 珠海格力电器股份有限公司 | 一种控制的方法及设备 |
US20200348038A1 (en) * | 2019-07-12 | 2020-11-05 | Johnson Controls Technology Company | Hvac system design and operational tool for building infection control |
CN110392515A (zh) * | 2019-07-23 | 2019-10-29 | 上海朗绿建筑科技股份有限公司 | 一种基于历史数据的冷热源机房节能控制方法及系统 |
CN110398029A (zh) * | 2019-07-25 | 2019-11-01 | 北京上格云技术有限公司 | 控制方法和计算机可读存储介质 |
CN112577161A (zh) * | 2019-09-30 | 2021-03-30 | 北京国双科技有限公司 | 空调能耗模型训练方法与空调系统控制方法 |
US20210191342A1 (en) * | 2019-12-23 | 2021-06-24 | Johnson Controls Technology Company | Methods and systems for training hvac control using surrogate model |
US20210190364A1 (en) * | 2019-12-23 | 2021-06-24 | Johnson Controls Technology Company | Methods and systems for training hvac control using simulated and real experience data |
CN111144793A (zh) * | 2020-01-03 | 2020-05-12 | 南京邮电大学 | 基于多智能体深度强化学习的商业建筑hvac控制方法 |
CN111310384A (zh) * | 2020-01-16 | 2020-06-19 | 香港中文大学(深圳) | 一种风场协同控制方法、终端及计算机可读存储介质 |
CN111126605A (zh) * | 2020-02-13 | 2020-05-08 | 创新奇智(重庆)科技有限公司 | 一种基于强化学习算法的数据中心机房控制方法及装置 |
CN111351180A (zh) * | 2020-03-06 | 2020-06-30 | 上海外高桥万国数据科技发展有限公司 | 一种运用人工智能实现数据中心节能温控的系统及方法 |
CN111445067A (zh) * | 2020-03-09 | 2020-07-24 | 北京交通大学 | 一种适用于高铁站综合能源系统的多目标规划方法 |
CN111609534A (zh) * | 2020-05-25 | 2020-09-01 | 珠海拓芯科技有限公司 | 温度控制方法、装置及中央温度控制系统 |
CN111787764A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(上海)科技有限公司 | 多联机制冷机组的能耗优化方法及装置、电子设备、存储介质 |
CN111795484A (zh) * | 2020-07-24 | 2020-10-20 | 北京大学深圳研究生院 | 一种智慧空调控制方法和系统 |
CN112050397A (zh) * | 2020-08-27 | 2020-12-08 | 浙江省邮电工程建设有限公司 | 一种机房温度调控方法及系统 |
CN112036026A (zh) * | 2020-08-27 | 2020-12-04 | 天津天大求实电力新技术股份有限公司 | 一种基于蓄热系统的建筑热负荷预测方法 |
CN111811110A (zh) * | 2020-08-28 | 2020-10-23 | 创新奇智(南京)科技有限公司 | 制冷机组的控制方法及装置、电子设备、存储介质 |
CN112325447A (zh) * | 2020-11-02 | 2021-02-05 | 珠海米枣智能科技有限公司 | 一种基于强化学习的制冷机组控制装置及控制方法 |
CN112460741A (zh) * | 2020-11-23 | 2021-03-09 | 香港中文大学(深圳) | 一种楼宇暖通空调系统控制方法 |
CN112762576A (zh) * | 2020-12-29 | 2021-05-07 | 广东美的白色家电技术创新中心有限公司 | 空调系统控制方法、达温时间预测模型训练方法及设备 |
CN112963946A (zh) * | 2021-02-26 | 2021-06-15 | 南京邮电大学 | 一种面向共享办公区域的暖通空调系统控制方法及装置 |
CN112879220A (zh) * | 2021-03-16 | 2021-06-01 | 上海电气风电集团股份有限公司 | 风机控制方法、系统和可读存储介质 |
CN113283156A (zh) * | 2021-03-29 | 2021-08-20 | 北京建筑大学 | 一种基于深度强化学习的地铁站空调系统节能控制方法 |
CN113361132A (zh) * | 2021-06-28 | 2021-09-07 | 浩鲸云计算科技股份有限公司 | 一种基于深度q学习对决网络的风冷数据中心节能方法 |
CN113551373A (zh) * | 2021-07-19 | 2021-10-26 | 江苏中堃数据技术有限公司 | 一种基于联邦强化学习的数据中心空调节能控制方法 |
Non-Patent Citations (2)
Title |
---|
王尉同: "基于强化学习的空调系统运行优化", 《上海市制冷学会2017年学术年会论文集 》 * |
皇甫谦文: "建筑暖通空调热舒适与节能的智能优化控制研究", 《工程科技Ⅱ辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117193034A (zh) * | 2023-11-07 | 2023-12-08 | 湖南恒意智能工程有限公司 | 一种楼宇智能化控制方法及系统 |
CN117193034B (zh) * | 2023-11-07 | 2024-02-02 | 湖南恒意智能工程有限公司 | 一种楼宇智能化控制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114017904B (zh) | 2023-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110458443B (zh) | 一种基于深度强化学习的智慧家庭能量管理方法及系统 | |
CN111144793B (zh) | 基于多智能体深度强化学习的商业建筑hvac控制方法 | |
Delgarm et al. | Multi-objective optimization of building energy performance and indoor thermal comfort: A new method using artificial bee colony (ABC) | |
Deng et al. | Reinforcement learning of occupant behavior model for cross-building transfer learning to various HVAC control systems | |
CN111795484B (zh) | 一种智慧空调控制方法和系统 | |
Shen et al. | Multi-agent deep reinforcement learning optimization framework for building energy system with renewable energy | |
CN105843037B (zh) | 基于q学习的智能楼宇温度控制方法 | |
Li et al. | Reinforcement learning of room temperature set-point of thermal storage air-conditioning system with demand response | |
Homod et al. | Dynamics analysis of a novel hybrid deep clustering for unsupervised learning by reinforcement of multi-agent to energy saving in intelligent buildings | |
Baghaee et al. | User comfort and energy efficiency in HVAC systems by Q-learning | |
CN116358114B (zh) | 一种基于深度强化学习的空调温度控制方法 | |
CA2795424A1 (en) | Energy saving unit and system for buildings by mutual learning | |
CN116734424B (zh) | 基于rc模型和深度强化学习的室内热环境的控制方法 | |
CN114017904B (zh) | 一种建筑物hvac系统的运行控制方法及装置 | |
Omarov et al. | Design of fuzzy logic based controller for energy efficient operation in smart buildings | |
Qin et al. | Energy-efficient heating control for nearly zero energy residential buildings with deep reinforcement learning | |
Belmonte et al. | Introducing passive strategies in the initial stage of the design to reduce the energy demand in single-family dwellings | |
CN114048908A (zh) | 统一电网-分布式热网系统多时间尺度加强区间优化方法 | |
CN113435042B (zh) | 一种建筑空调系统需求响应的强化学习建模方法 | |
Petrova et al. | Intelligent indoor microclimate control | |
Yang et al. | Modelling and simulation on temperature and humidity decoupling of indoor environment | |
Mahdavi et al. | A computational environment for performance-based building enclosure design and operation | |
Zhang et al. | Energy Efficient Operation Optimization of Building Air-conditioners via Simulator-assisted Asynchronous Reinforcement Learning | |
Chen et al. | Model Free Adaptive Control for Air-Conditioning System in Office Buildings Based on Improved NSGA-II Algorithm | |
Xue et al. | PMV inverse model-based indoor thermal environment control for thermal comfort and energy saving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |