CN114017904A - 一种建筑物hvac系统的运行控制方法及装置 - Google Patents

Abstract

本发明公开了一种建筑物HVAC系统的运行控制方法及装置，该方法以各历史环境状态参数为状态空间；以历史各时刻下，满足预设室内温度时各HVAC设备的输入功率为动作空间；根据历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，以及历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率计算得到的奖励值为动作奖励，来构建深度强化学习模型，并基于训练好的深度强化学习模型对当前时刻的环境状态参数下，各HVAC设备的当前输入功率进行预测，然后根据各HVAC设备的当前输入功率对各HVAC设备进行控制。通过实施本发明能够使得建筑物的室内温度维持在预设室内温度。

Description

一种建筑物HVAC系统的运行控制方法及装置

技术领域

本发明涉及建筑物的暖通空调控制技术领域，尤其涉及一种建筑物HVAC系统的运行控制方法及装置。

背景技术

随着国人经济水平的大幅提升，人们对环境舒适度的要求也与日俱增，建筑楼宇的功能不仅仅要为人们遮风挡雨提供庇护，更要满足人们对于学习工作环境舒适度的要求，因此，建筑物的温度控制显得更加重要。与此同时，在建筑物能耗中，供暖通风与空气调节(Heating Ventilation and Air Conditioning,HVAC)设备的能耗通常达到40％以上。因此，在建筑物能耗控制中，对于HVAC系统的运行控制，显得尤为重要。传统的建筑物HVAC系统控制采用简单的起停控制，这样的控制方式会造成大量的启停成本，不仅设备的能耗加大，而且设备的使用寿命也会大幅度降低。此外，粗放的启停控制，很难使得室内的温度始终维持在设定温度附近，对于建筑物内人们对于环境的舒适度也会造成不利的影响。

发明内容

本发明实施例提供一种建筑物HVAC系统的运行控制方法及装置，能根据当前环境状态，控制各HVAC设备的输入功率，使得建筑物的内部温度维持在预设的室内温度。

本发明一实施例提供了一种建筑物HVAC系统的运行控制方法，包括获取当前时刻建筑物的环境状态参数；其中，所述环境状态参数包括：墙体光照强度、墙体温度、墙体外部温度以及内部热源热量；

将所述环境状态参数输入至建筑物HVAC系统运行控制模型中，以使所述建筑物HVAC系统运行控制模型根据所述环境状态参数确定在满足预设室内温度需求下，所述建筑物中各HVAC设备的当前输入功率；

根据所述建筑物中各HVAC设备的当前输入功率控制各HVAC设备；

其中，所述建筑物HVAC系统运行控制模型的构建，包括：

获取建筑物历史各时刻的历史环境状态参数、建筑物的楼宇参数以及建筑物中各HVAC设备的设备参数；

以历史各时刻的历史环境状态参数为训练样本对深度强化学习模型进行训练，以使深度强化学习模型输出历史各时刻下，满足预设室内温度时各HVAC设备的输入功率；将训练完成的深度强化学习模型作为所述建筑物HVAC系统运行控制模型；

其中，所述深度强化学习模型的状态空间为各历史状态参数；所述深度强化学习模型的动作空间为历史各时刻下，满足预设室内温度时各HVAC设备的输入功率；所述深度强化学习模型的动作奖励为，根据历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，以及历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，所计算得到的奖励值；在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，由各历史环境状态参数以及所述楼宇参数计算得到；在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到。

进一步的，楼宇参数包括：建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数以及墙体光照状态。

进一步的，所述在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，由各历史环境状态参数以及所述楼宇参数计算得到，具体包括：

根据历史各时刻的墙体光照强度、历史各时刻的墙体温度、历史各时刻的墙体外部温度、历史各时刻的内部热源热量、建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数、墙体光照状态以及所述满足的预设室内温度，构建筑物热力学方程：

根据所述建筑物热力学方程计算在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率。

进一步的，所述在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到，具体包括：

根据各HVAC设备的额定输入功率以及历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，计算历史各时刻下各HVAC设备的负载比；

根据各HVAC设备的额定制冷系数以及历史各时刻下各HVAC设备的负载比，计算历史各时刻下各HVAC设备的制冷系数；

根据历史各时刻下各HVAC设备的制冷系数以及历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，计算在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率。

进一步的，所述建筑物HVAC系统运行控制模型包括：值网络和策略网络；

在训练所述建筑物HVAC系统运行控制模型时，通过最小化值网络的损失函数对值网络的网络参数进行更新；通过确定性策略梯度对策略网络的网络参数进行更新。

在上述方法项实施例的基础上，本发明对应提供了装置项实施例；

本发明一实施例提供了一种建筑物HVAC系统的运行控制装置，包括：数据获取模块、当前输入功率确定模块、HVAC设备控制模块以及模型构建模块；

所述数据获取模块，用于获取当前时刻建筑物的环境状态参数；其中，所述环境状态参数包括：墙体光照强度、墙体温度、墙体外部温度以及内部热源热量；

所述当前输入功率确定模块，用于将所述环境状态参数输入至建筑物HVAC系统运行控制模型中，以使所述建筑物HVAC系统运行控制模型根据所述环境状态参数确定在满足预设室内温度需求下，所述建筑物中各HVAC设备的当前输入功率；

所述HVAC设备控制模块，用于根据所述建筑物中各HVAC设备的当前输入功率控制各HVAC设备；

所述模型构建模块，用于获取建筑物历史各时刻的历史环境状态参数、建筑物的楼宇参数以及建筑物中各HVAC设备的设备参数；

以历史各时刻的历史环境状态参数为训练样本对深度强化学习模型进行训练，以使深度强化学习模型输出历史各时刻下，满足预设室内温度时各HVAC设备的输入功率；将训练完成的深度强化学习模型作为所述建筑物HVAC系统运行控制模型；

其中，所述深度强化学习模型的状态空间为各历史状态参数；所述深度强化学习模型的动作空间为历史各时刻下，满足预设室内温度时各HVAC设备的输入功率；所述深度强化学习模型的动作奖励为，根据历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，以及历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，所计算得到的奖励值；在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，由各历史环境状态参数以及所述楼宇参数计算得到；在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到。

进一步的，楼宇参数包括：建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数以及墙体光照状态。

进一步的，所述模型构建模块包括：第一冷功率计算单元；

所述第一冷功率计算单元，用于根据历史各时刻的墙体光照强度、历史各时刻的墙体温度、历史各时刻的墙体外部温度、历史各时刻的内部热源热量、建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数、墙体光照状态以及所述满足的预设室内温度，构建筑物热力学方程：

根据所述建筑物热力学方程计算在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率。

进一步的，所述模型构建模块还包括：第二冷功率计算单元；

所述第二冷功率计算单元，用于根据各HVAC设备的额定输入功率以及历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，计算历史各时刻下各HVAC设备的负载比；

根据各HVAC设备的额定制冷系数以及历史各时刻下各HVAC设备的负载比，计算历史各时刻下各HVAC设备的制冷系数；

根据历史各时刻下各HVAC设备的制冷系数以及历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，计算在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率。

通过实施本发明实施例具有如下有益效果：

本发明实施例公开了一种建筑物HVAC系统的运行控制方法，该方法以各历史环境状态参数为状态空间；以历史各时刻下，满足预设室内温度时各HVAC设备的输入功率为动作空间；根据历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，以及历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率计算得到的奖励值为动作奖励，来构建深度强化学习模型，并基于训练好的深度强化学习模型对当前时刻的环境状态参数下，各HVAC设备的当前输入功率进行预测，然后根据各HVAC设备的当前输入功率对各HVAC设备进行控制，使得建筑物的室内温度维持在上述预设室内温度。

附图说明

图1是本发明一实施例提供的建筑物HVAC系统的运行控制方法的流程示意图。

图2是本发明一实施例提供的建筑物HVAC系统运行控制模型的构建流程示意图。

图3是本发明一实施例提供的建筑物HVAC系统的运行控制装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明一实施例提供了一种建筑物HVAC系统的运行控制方法，至少包括如下步骤：

步骤S101：获取当前时刻建筑物的环境状态参数；其中，所述环境状态参数包括：墙体光照强度、墙体温度、墙体外部温度以及内部热源热量。

步骤S102：将所述环境状态参数输入至建筑物HVAC系统运行控制模型中，以使所述建筑物HVAC系统运行控制模型根据所述环境状态参数确定在满足预设室内温度需求下，所述建筑物中各HVAC设备的当前输入功率。

步骤S103：根据所述建筑物中各HVAC设备的当前输入功率控制各HVAC设备。

对于步骤S101、假设一建筑物具备4面墙，那么此时墙体光照强度就包括了4面墙各自的光照强度，同理墙体温度包含了4面墙各自的墙体温度，墙体外部温度为4个墙体的外部温度，内部热源热量，为建筑物内会产生热量设备的产热量(如HVAC设备运行时所产生的热量)。

对于步骤S102，如图2所示在一个优选的实施例中，所述建筑物HVAC系统运行控制模型的构建，包括：

步骤S201:获取建筑物历史各时刻的历史环境状态参数、建筑物的楼宇参数以及建筑物中各HVAC设备的设备参数；

步骤S202：以历史各时刻的历史环境状态参数为训练样本对深度强化学习模型进行训练，以使深度强化学习模型输出历史各时刻下，满足预设室内温度时各HVAC设备的输入功率；将训练完成的深度强化学习模型作为所述建筑物HVAC系统运行控制模型；

其中，所述深度强化学习模型的状态空间为各历史状态参数；所述深度强化学习模型的动作空间为历史各时刻下，满足预设室内温度时各HVAC设备的输入功率；所述深度强化学习模型的动作奖励为，根据历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，以及历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，所计算得到的奖励值；在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，由各历史环境状态参数以及所述楼宇参数计算得到；在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到。

在一个优选的实施例中，所述在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，由各历史环境状态参数以及所述楼宇参数计算得到，具体包括：

根据历史各时刻的墙体光照强度、历史各时刻的墙体温度、历史各时刻的墙体外部温度、历史各时刻的内部热源热量、建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数、墙体光照状态以及所述满足的预设室内温度，构建筑物热力学方程：

根据所述建筑物热力学方程计算在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率。

在一个优选的实施例中，所述在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到，具体包括：

根据各HVAC设备的额定输入功率以及历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，计算历史各时刻下各HVAC设备的负载比；

根据各HVAC设备的额定制冷系数以及历史各时刻下各HVAC设备的负载比，计算历史各时刻下各HVAC设备的制冷系数；

根据历史各时刻下各HVAC设备的制冷系数以及历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，计算在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率。

在一个优选的实施例中，建筑物HVAC系统运行控制模型包括：值网络和策略网络；

在训练所述建筑物HVAC系统运行控制模型时，通过最小化值网络的损失函数对值网络的网络参数进行更新；通过确定性策略梯度对策略网络的网络参数进行更新。

具体的，在本发明中首先构建楼宇热力学模型和HVAC设备运行模型；

楼宇热力学模型：

针对建筑物楼宇的热力学模型构建RC等效模型，通过具有传热能力的热阻和具有储热能力的热容来表示建筑物-墙体，墙体-外部之间的热传导关系。在RC网络中，建筑物区域的各个节点通过热容接地表示区域储热能力，并通过热阻连接在一起，表示互相之间的热影响。

设T_room为建筑物的室内温度(在本发明中以上述预设室内温度作为建筑物的室内温度，示意性的上述预设室内温度为25℃)，

为第j个墙体的温度(即上述墙体温度)，

为与第j个墙体相邻的墙体s的温度，

为第j个墙体的相邻墙体的集合，

为第j个墙体的热容(即上述墙体热容)，

为第j个墙体的热阻(即上述墙体热阻)，α_j为第j个墙体的太阳光吸收系数(即上述墙体太阳光吸收系数)，S_j为第j个墙体的面积(即上述墙体面积)，

为第j个墙体的太阳照射强度(即上述墙体光照强度)，r_j为第j个墙体是否接收到太阳照射(即上述墙体光照状态)，取0为接收不到光照，取1为接收到光照，则得到墙体的热平衡方程约束。

设

为第j个墙体的外部环境温度(即上述墙体外部温度)，N_wall为建筑物的相邻墙体的集合，C_room为建筑物的热容(即上述建筑物热容)，

为第j个墙体上窗户的热阻(即上述建筑物热阻)，τ_j为第j个墙体上窗户的太阳光透射率(即上述太阳光透射率)，

为第j个墙体窗户的面积，

为第j个墙体的太阳照射强度(即上述墙体光照强度)，Q_int为建筑物内热源热量(即上述内部热源热量)，Q_room为系统所需的冷量(即上述建筑物HVAC系统所需的总输出冷功率)，可以得到建筑物的热平衡方程约束。

考虑到建筑温度波动以及冷热负荷需求的慢动态过程，将式(1)与(2)所表达建筑热力学模型的微分方程进行差分化，从而实现对建筑物热力学模型的简化。墙体的热平衡方程改写为：

建筑物的热力学方程即上述楼宇热力学模型可改写为：

其中，t为时刻，Δt为上一时刻与下一时刻之间的时间间隔。

在获得上述建筑物的热力学方程后，将历史各时刻的墙体光照强度、历史各时刻的墙体温度、历史各时刻的墙体外部温度、历史各时刻的内部热源热量、建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数、墙体光照状态以及所述满足的预设室内温度，具体的数值带入上述公式(4)中即可求出，在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率Q_room。

HVAC设备运行模型：

设

为建筑物HVAC系统中第i台HVAC设备的额定输入功率；

为t时刻第i台HVAC设备的输入功率，则可以得到t时刻第i台HVAC设备的负载比

设

为第i台HVAC设备的额定制冷系数，则t时刻不同负载比

下第i台HVAC设备的制冷系数

式(6)即为上述HVAC设备运行模型，a、b和c为预设的模型比例系数，则，t时刻第i台HVAC设备输出冷功率

为

后续在深度强化学习模型训练的过程中，将由深度强化学习模型预测出的历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，根据上述公式(5)-(7)依次进行计算，可以获得在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率。

通过上述楼宇热力学模型以及HVAC设备运行模型，可以分别计算出历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，以及历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，这两个数据项在后续结合根据历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，可以构建深度强化学习模型的动作奖励；

以下对建筑物HVAC系统运行控制模型进行详细的说明：

在本发明中建筑物HVAC系统运行控制问题可以转化为马尔科夫决策过程(MDP)，马尔可夫决策过程(Markov decision process,MDP)，即系统下一时刻状态仅与当前时刻状态和动作有关，是强化学习最基本的模型之一，其问题模型通常被表示为一个元组<S,A,R,P,π>，其中：S为状态空间，即所有环境状态的集合，s_t∈S表示智能体在t时刻所处环境中观察到的状态；A为动作空间，即所有动作状态的集合，a_t∈A表示智能体在 时刻所处环境中采取的动作；R为动作奖励，R:s_t×a_t→r_t表示状态s_t在动作a_t下发生状态转移时环境给出的即时奖励r_t；P为状态转移概率函数，P:s_t×a_t×s_t+1→[0,1]表示在一个状态s_t下执行一个动作a_t后转到另一个状态s_t+1的概率；策略π为状态空间S到动作空间A的映射，π:S→A。

在发明中，建筑物HVAC系统的观测状态包括t时刻的外部温度

墙体温度

室内温度

太阳照射强度

房间内热源热量

因此，对于建筑物HVAC系统，其状态表示为：

在时段t，建筑物HVAC系统中的动作状态可以由HVAC机组的输入功率

情况表示，下标i表示第i台机组。故建筑物HVAC的动作可以表示为：

建筑物HVAC系统运行控制的目标是最小化系统总运行成本，即最小化机组的输入功率。本发明将系统总成本最小化问题转化为强化学习经典的奖励最大化形式，与此同时，为了保证建筑物室冷负荷的供需平衡，引入供需平衡惩罚项。因此，将智能体在时段t获得的奖励表示为：

式中，μ与η分别是对成本值(由各HVAC设备的输入功率进行表征，输入功率越大成本值越高)与惩罚项(由HVAC系统所需的总输出冷功率与各HVAC设备的实际输出冷功率的差值进行表征)进行相应缩放的预设缩放系数。由于建筑物HVAC系统的运行是一种确定转移，因此P:s_t×a_t×s_t+1＝1。策略π则为在不同环境状态下的各HAVC设备的最优运行控制方案。

根据上述式(8)，基于历史各时刻的历史环境状态参数构建深度强化学习模型的状态空间，根据上述式(9)基于历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，构建所述深度强化学习模型的动作空间；根据上述10，基于历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，以及历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，构建所述深度强化学习模型的动作奖励。

本发明中上述深度强化学习模型基于深度确定性策略梯度算法(DeepDeterministic Policy Gradient,DDPG)构建，深度确定性策略梯度算法(DeepDeterministic Policy Gradient,DDPG)是一种基于actor-critic(策略-值)框架，它通过深度神经网络来估计最优策略函数。它不仅可以避免维数灾难，还能保存整个动作域的信息。DDPG算法使用2个独立的网络参数θ^Q和θ^π来逼近critic函数和actor函数，且每个网络均有各自的目标网络参数θ^Q′和θ^π′，其中Q′和π′分别为目标Q值和目标策略。

在本发明中对于深度强化学习模型值网络的训练如下：

对于值网络，通过最小化损失函数L(θ^Q)来优化参数：

L(θ^Q)＝E[(y_t-Q(s_t，a_t；θ^Q))²] (11)

式中，θ^Q为值网络的网络参数，y_t为目标Q值；E[·]为期望函数。在时段t，系统执行动作a_t后会进入下一个状态s_t+1。

y_t＝r_t+γQ′(s_t+1，π′(s_t+1；θ^π′)；θ^Q′) (12)

L(θ^Q)关于θ^Q的梯度为：

式中：

为表示梯度的计算函数。式中y_t-Q(s_t,a_t；θ^Q)即为时序差分误差(timingdifferential error，TD-error)，根据梯度规则更新网络，可得到更新公式为：

其中：μ_Q为值网络学习率。

对于策略网络的训练：

对于策略网络，其提供梯度信息

作为动作改进的方向。为了更新策略网络，使用采样策略梯度：

根据确定性策略梯度，更新策略网络参数θ^π：

式中：μ_π为策略网络学习率。

目标网络的参数θ^Q′和θ^π′采用软更新技术来进一步提高学习过程的稳定性:

θ^Q′←τθ^Q+(1-τ)θ^Q′ (17)

θ^π′←τθ^π+(1-τ)θ^π′ (18)

式中：τ为软更新系数，τ＜＜1。

算法中，通过为动作a_t添加随机噪声v_t以增加DDPG算法在智能体与环境交互时对环境的探索能力，以学习到更加优化的策略。

通过上述训练方法，将建筑物历史各时刻的历史环境状态参数作为训练样本，对深度强化学习模型的值网络和策略网络进行训练，直至由式(10)所计算出来的动作奖励达到预设值且奖励值曲线收敛变平，完成深度强化学习模型的训练，获得所述建筑物HVAC系统运行控制模型。

在获得上述建筑物HVAC系统运行控制模型后，将当前时刻的环境状态参数输入至模型中，模型即可输出在当前时刻的环境状态参数下各HVAC设备的当前输入功率。

对于步骤S103,根据前述所得的各HVAC设备的当前输入功率，控制建筑物中各HVAC设备的运行状态。

示意性的，在本发明中各HVC设备的设备参数如表1所示、深度强化学习模型的超参数的详细设置如表2所示，各历史环境状态参数如表3所示，楼宇参数如表4所示：

表1 HVAC设备参数

表2超参数设置表

经验重放缓冲区大小	1920
		小批量大小	360
critic网络的学习率	0.001
		Actor网络的学习率	0.0001
折扣系数	0.96
		软更新参数λ	0.0012

表3历史环境状态参数表

表4楼宇参数表

表3中

分别为建筑物东南西北四面墙体的光照强度，

为墙体外部温度，

分别为建筑物东南西北四面墙体的墙体温度；

为预设室内温度。

在上述方法项实施例的基础上，本发明对应提供了装置项实施例；

如图3所示，本发明一实施例提供了一种建筑物HVAC系统的运行控制装置，包括：数据获取模块、当前输入功率确定模块、HVAC设备控制模块以及模型构建模块；

所述数据获取模块，用于获取当前时刻建筑物的环境状态参数；其中，所述环境状态参数包括：墙体光照强度、墙体温度、墙体外部温度以及内部热源热量；

所述当前输入功率确定模块，用于将所述环境状态参数输入至建筑物HVAC系统运行控制模型中，以使所述建筑物HVAC系统运行控制模型根据所述环境状态参数确定在满足预设室内温度需求下，所述建筑物中各HVAC设备的当前输入功率；

所述HVAC设备控制模块，用于根据所述建筑物中各HVAC设备的当前输入功率控制各HVAC设备；

所述模型构建模块，用于获取建筑物历史各时刻的历史环境状态参数、建筑物的楼宇参数以及建筑物中各HVAC设备的设备参数；

以历史各时刻的历史环境状态参数为训练样本对深度强化学习模型进行训练，以使深度强化学习模型输出历史各时刻下，满足预设室内温度时各HVAC设备的输入功率；将训练完成的深度强化学习模型作为所述建筑物HVAC系统运行控制模型；

其中，所述深度强化学习模型的状态空间为各历史状态参数；所述深度强化学习模型的动作空间为历史各时刻下，满足预设室内温度时各HVAC设备的输入功率；所述深度强化学习模型的动作奖励为，根据历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，以及历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，所计算得到的奖励值；在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，由各历史环境状态参数以及所述楼宇参数计算得到；在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到。

在一个优选的实施例中，楼宇参数包括：建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数以及墙体光照状态。

在一个优选的实施例中，所述模型构建模块包括：第一冷功率计算单元；

所述第一冷功率计算单元，用于根据历史各时刻的墙体光照强度、历史各时刻的墙体温度、历史各时刻的墙体外部温度、历史各时刻的内部热源热量、建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数、墙体光照状态以及所述满足的预设室内温度，构建筑物热力学方程：

根据所述建筑物热力学方程计算在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率。

在一个优选的实施例中，所述模型构建模块还包括：第二冷功率计算单元；

所述第二冷功率计算单元，用于根据各HVAC设备的额定输入功率以及历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，计算历史各时刻下各HVAC设备的负载比；

根据各HVAC设备的额定制冷系数以及历史各时刻下各HVAC设备的负载比，计算历史各时刻下各HVAC设备的制冷系数；

根据历史各时刻下各HVAC设备的制冷系数以及历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，计算在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种建筑物HVAC系统的运行控制方法，其特征在于，包括：

获取当前时刻建筑物的环境状态参数；其中，所述环境状态参数包括：墙体光照强度、墙体温度、墙体外部温度以及内部热源热量；

将所述环境状态参数输入至建筑物HVAC系统运行控制模型中，以使所述建筑物HVAC系统运行控制模型根据所述环境状态参数确定在满足预设室内温度需求下，所述建筑物中各HVAC设备的当前输入功率；

根据所述建筑物中各HVAC设备的当前输入功率控制各HVAC设备；

其中，所述建筑物HVAC系统运行控制模型的构建，包括：

获取建筑物历史各时刻的历史环境状态参数、建筑物的楼宇参数以及建筑物中各HVAC设备的设备参数；

以历史各时刻的历史环境状态参数为训练样本对深度强化学习模型进行训练，以使深度强化学习模型输出历史各时刻下，满足预设室内温度时各HVAC设备的输入功率；将训练完成的深度强化学习模型作为所述建筑物HVAC系统运行控制模型；

其中，所述深度强化学习模型的状态空间为各历史状态参数；所述深度强化学习模型的动作空间为历史各时刻下，满足预设室内温度时各HVAC设备的输入功率；所述深度强化学习模型的动作奖励为，根据历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，以及历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，所计算得到的奖励值；在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，由各历史环境状态参数以及所述楼宇参数计算得到；在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到。

2.如权利要求1所述的建筑物HVAC系统的运行控制方法，其特征在于，楼宇参数包括：建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数以及墙体光照状态。

3.如权利要求2所述的建筑物HVAC系统的运行控制方法，其特征在于，所述在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，由各历史环境状态参数以及所述楼宇参数计算得到，具体包括：

根据历史各时刻的墙体光照强度、历史各时刻的墙体温度、历史各时刻的墙体外部温度、历史各时刻的内部热源热量、建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数、墙体光照状态以及所述满足的预设室内温度，构建筑物热力学方程：

根据所述建筑物热力学方程计算在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率。

4.如权利要求2所述的建筑物HVAC系统的运行控制方法，其特征在于，所述在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到，具体包括：

根据各HVAC设备的额定输入功率以及历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，计算历史各时刻下各HVAC设备的负载比；

根据各HVAC设备的额定制冷系数以及历史各时刻下各HVAC设备的负载比，计算历史各时刻下各HVAC设备的制冷系数；

根据历史各时刻下各HVAC设备的制冷系数以及历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，计算在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率。

5.如权利要求1所述的建筑物HVAC系统的运行控制方法，其特征在于，所述建筑物HVAC系统运行控制模型包括：值网络和策略网络；

在训练所述建筑物HVAC系统运行控制模型时，通过最小化值网络的损失函数对值网络的网络参数进行更新；通过确定性策略梯度对策略网络的网络参数进行更新。

6.一种建筑物HVAC系统的运行控制装置，其特征在于，包括：数据获取模块、当前输入功率确定模块、HVAC设备控制模块以及模型构建模块；

所述数据获取模块，用于获取当前时刻建筑物的环境状态参数；其中，所述环境状态参数包括：墙体光照强度、墙体温度、墙体外部温度以及内部热源热量；

所述当前输入功率确定模块，用于将所述环境状态参数输入至建筑物HVAC系统运行控制模型中，以使所述建筑物HVAC系统运行控制模型根据所述环境状态参数确定在满足预设室内温度需求下，所述建筑物中各HVAC设备的当前输入功率；

所述HVAC设备控制模块，用于根据所述建筑物中各HVAC设备的当前输入功率控制各HVAC设备；

所述模型构建模块，用于获取建筑物历史各时刻的历史环境状态参数、建筑物的楼宇参数以及建筑物中各HVAC设备的设备参数；

以历史各时刻的历史环境状态参数为训练样本对深度强化学习模型进行训练，以使深度强化学习模型输出历史各时刻下，满足预设室内温度时各HVAC设备的输入功率；将训练完成的深度强化学习模型作为所述建筑物HVAC系统运行控制模型；

其中，所述深度强化学习模型的状态空间为各历史状态参数；所述深度强化学习模型的动作空间为历史各时刻下，满足预设室内温度时各HVAC设备的输入功率；所述深度强化学习模型的动作奖励为，根据历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，以及历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，所计算得到的奖励值；在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率，由各历史环境状态参数以及所述楼宇参数计算得到；在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率，由各HVAC设备的输入功率以及各HVAC设备的设备参数计算得到。

7.如权利要求6所述的建筑物HVAC系统的运行控制装置，其特征在于，楼宇参数包括：建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数以及墙体光照状态。

8.如权利要求7所述的建筑物HVAC系统的运行控制装置，其特征在于，所述模型构建模块包括：第一冷功率计算单元；

所述第一冷功率计算单元，用于根据历史各时刻的墙体光照强度、历史各时刻的墙体温度、历史各时刻的墙体外部温度、历史各时刻的内部热源热量、建筑物热容、墙体热容、窗户热阻、墙体热阻、窗户面积、墙体面积、太阳光透射率、墙体太阳光吸收系数、墙体光照状态以及所述满足的预设室内温度，构建筑物热力学方程：

根据所述建筑物热力学方程计算在历史各时刻下，满足预设室内温度时建筑物HVAC系统所需的总输出冷功率。

9.如权利要求7所述的建筑物HVAC系统的运行控制装置，其特征在于，所述模型构建模块还包括：第二冷功率计算单元；

所述第二冷功率计算单元，用于根据各HVAC设备的额定输入功率以及历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，计算历史各时刻下各HVAC设备的负载比；

根据各HVAC设备的额定制冷系数以及历史各时刻下各HVAC设备的负载比，计算历史各时刻下各HVAC设备的制冷系数；

根据历史各时刻下各HVAC设备的制冷系数以及历史各时刻下，满足预设室内温度时各HVAC设备的输入功率，计算在历史各时刻下，满足预设室内温度时各HVAC设备的输出冷功率。

Images