CN114115398A - 一种建筑物冷水机组需求响应控制方法及装置 - Google Patents

Abstract

本发明公开了一种建筑物冷水机组需求响应控制方法及装置，该方法在接收负荷削减需求指令时，根据负荷削减需求指令确定所需的当前负荷削减功率消耗，并获取冷水机组的当前运行状态参数；然后将当前负荷削减功率消耗以及当前运行状态参数输入到建筑物冷水机组运行控制模型中，模型输出在该当前负荷削减功率消耗所需的当前冷机出水温度变化量以及当前循环泵转速调整量，最后根据当前冷机出水温度变化量以及所述当前循环泵转速调整量，调整建筑物冷水机组的运行状态。通过实施本发明能够根据实时的负荷削减需求对建筑物冷水机组的运行状态进行调整，从而满足负荷削减需求缓解电力高峰期的供电压力。

Description

一种建筑物冷水机组需求响应控制方法及装置

技术领域

本发明涉及建筑物的暖通空调控制技术领域，尤其涉及一种建筑物冷水机组需求响应控制方法及装置。

背景技术

随着社会的发展与进步，人们对于电能的消费量迅速提高，电力系统的规模也随之扩展。而随着智能电网的发展，这大大加强了源侧与荷侧的信息交互，使得用户可以参与到电力系统调度中，需求响应概念的提出，其旨在引导用户自愿调整自身，改变固有用电方式削减高峰电力负荷，以此缓解电力高峰期的供电压力。

建筑耗能始终是社会耗能的重要组成部分，随着社会城镇化进程的不断推进，建筑总量不断增加，建筑能耗在社会总消耗量中占比逐年提高，当前以达到总耗能的35％以上。而在建筑耗能中，以空调(冷水机组)系统的耗能最为集中。夏季，在公共商业建筑中，冷水机组的设备能耗通常占到建筑物能耗的45％以上。与此同时，由于建筑物本身热力学特性以及机组的供冷特性，使其具有了很大的实时需求响应潜力。在夏季负荷高峰期，建筑物的冷水机组往往可以充当可调整负荷，参与到电网调度中，通过降低用户环境舒适度，削减冷水机组的输入功率，达到缓解高峰时期电力系统用电压力的作用。因此，如何根据实时的负荷削减需求，控制建筑物冷水机组的运行，在保证完成系统负荷削减任务的同时，保障建筑物用户的环境舒适度不利影响最小，是一个亟需解决的问题。

发明内容

本发明实施例提供一种建筑物冷水机组需求响应控制方法及装置，能根据实时负荷削减需求，控制建筑物冷水机组的运行状态。

本发明一实施例提供了一种建筑物冷水机组需求响应控制方法，包括：在接收负荷削减需求指令时，根据所述负荷削减需求指令确定所需的当前负荷削减功率消耗，并获取冷水机组的当前运行状态参数；其中，所述当前运行状态参数包括：当前冷机出水温度、当前冷机回水温度、当前风机转速以及当前循环泵转速；

将所述当前负载削减功率消耗以及所述当前运行状态参数输入至建筑物冷水机组运行控制模型中，以使所述建筑物冷水机组运行控制模型确定当前冷机出水温度变化量以及当前循环泵转速调整量；

根据所述当前冷机出水温度变化量以及所述当前循环泵转速调整量，调整建筑物冷水机组的运行状态。

进一步的，所述建筑物冷水机组运行控制模型的构建，具体包括：

获取历史负荷削减功率消耗、冷水机组的历史运行状态参数以及冷水机组的设备参数；

以历史负荷削减功率消耗以及历史运行状态参数对深度强化学习模型进行训练，以使深度强化学习模型输出历史冷机出水温度变化量以及历史循环泵转速调整量；将训练完成的深度强化学习模型作为所述建筑物冷水机组运行控制模型；

其中，所述深度强化学习模型的状态空间为，历史运行状态参数以及所述历史负荷削减功率消耗；所述深度强化学习模型的动作空间为，历史冷机出水温度变化量以及历史循环泵转速调整量；所述深度强化学习模型的动作奖励的构建包括：根据所述历史运行状态参数以及所述设备参数计算负荷削减前的历史冷机输出冷功率以及负荷削减前的历史冷水机组功率消耗；根据所述历史运行状态参数、所述设备参数、所述历史冷机出水温度变化量以及所述历史循环泵转速调整量计算负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗；根据负荷削减前的历史冷机输出冷功率、负荷削减前的历史冷水机组功率消耗、负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗构建深度强化学习模型的动作奖励。

进一步的，冷水机组的设备参数包括：冷机效率、冷机制冷系数、冷机流质比热容、风机功率消耗系数以及循环泵功率消耗系数；历史运行状态参数包括：历史冷机出水温度、历史冷机回水温度、历史风机转速以及历史循环泵转速。

进一步的，所述根据所述历史运行状态参数以及所述设备参数计算负荷削减前的历史冷机输出冷功率以及负荷削减前的历史冷水机组功率消耗，具体包括：

根据历史冷机出水温度、历史冷机回水温度、历史循环泵转速以及冷机流质比热容计算历史冷机功率消耗；

根据历史风机转速以及风机功率消耗系数计算历史空气处理单元功率消耗；

根据历史循环泵转速以及循环泵功率消耗系数计算历史循环泵功率消耗；

根据所述历史冷机功率消耗、历史空气处理单元功率消耗以及历史循环泵功率消耗生成所述负荷削减前的历史冷水机组功率消耗；

根据历史冷机功率消耗、冷机效率以及冷机制冷系数计算负荷削减前的历史冷机输出冷功率。

进一步的，所述根据所述历史运行状态参数、所述设备参数、所述历史冷机出水温度变化量以及所述历史循环泵转速调整量计算负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗，具体包括：

根据历史冷机回水温度以及历史冷机出水温度变化量，计算负荷削减后的第二历史冷机回水温度；

根据历史循环泵转速以及历史循环泵转速调整量，计算负荷削减后的第二历史循环泵转速；

根据历史冷机出水温度、第二历史冷机回水温度、第二历史循环泵转速以及冷机流质比热容计算负荷削减后的第二历史冷机功率消耗；

根据历史风机转速以及风机功率消耗系数计算历史空气处理单元功率消耗；

根据第二历史循环泵转速以及循环泵功率消耗系数计算负荷削减后的第二历史循环泵功率消耗；

根据所述第二历史冷机功率消耗、历史空气处理单元功率消耗以及第二历史循环泵功率消耗生成所述负荷削减后的历史冷水机组功率消耗；

根据第二历史冷机功率消耗、冷机效率以及冷机制冷系数计算负荷削减后的历史冷机输出冷功率。

在上述方法项实施例的基础上，本发明对应提供了装置项实施例：

本发明一实施例提供了一种建筑物冷水机组需求响应控制装置，包括：数据获取模块、冷水机组参数调整模块以及冷水机组运行控制模块；

所述数据获取模块，用于在接收负荷削减需求指令时，根据所述负荷削减需求指令确定所需的当前负荷削减功率消耗，并获取冷水机组的当前运行状态参数；其中，所述当前运行状态参数包括：当前冷机出水温度、当前冷机回水温度、当前风机转速以及当前循环泵转速；

所述冷水机组参数调整模块，用于将所述当前负载削减功率消耗以及所述当前运行状态参数输入至建筑物冷水机组运行控制模型中，以使所述建筑物冷水机组运行控制模型确定当前冷机出水温度变化量以及当前循环泵转速调整量；

所述冷水机组运行控制模块，用于根据所述当前冷机出水温度变化量以及所述当前循环泵转速调整量，调整建筑物冷水机组的运行状态。

进一步的，还包括：模型构建模块；所述模型构建模块，用于获取历史负荷削减功率消耗、冷水机组的历史运行状态参数以及冷水机组的设备参数；

以历史负荷削减功率消耗以及历史运行状态参数对深度强化学习模型进行训练，以使深度强化学习模型输出历史冷机出水温度变化量以及历史循环泵转速调整量；将训练完成的深度强化学习模型作为所述建筑物冷水机组运行控制模型；

其中，所述深度强化学习模型的状态空间为，历史运行状态参数以及所述历史负荷削减功率消耗；所述深度强化学习模型的动作空间为，历史冷机出水温度变化量以及历史循环泵转速调整量；所述深度强化学习模型的动作奖励的构建包括：根据所述历史运行状态参数以及所述设备参数计算负荷削减前的历史冷机输出冷功率以及负荷削减前的历史冷水机组功率消耗；根据所述历史运行状态参数、所述设备参数、所述历史冷机出水温度变化量以及所述历史循环泵转速调整量计算负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗；根据负荷削减前的历史冷机输出冷功率、负荷削减前的历史冷水机组功率消耗、负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗构建深度强化学习模型的动作奖励。

进一步的，模型构建模块包括：第一计算单元；所述第一计算单元，用于根据历史冷机出水温度、历史冷机回水温度、历史循环泵转速以及冷机流质比热容计算历史冷机功率消耗；

根据历史风机转速以及风机功率消耗系数计算历史空气处理单元功率消耗；

根据历史循环泵转速以及循环泵功率消耗系数计算历史循环泵功率消耗；

根据所述历史冷机功率消耗、历史空气处理单元功率消耗以及历史循环泵功率消耗生成所述负荷削减前的历史冷水机组功率消耗；

根据历史冷机功率消耗、冷机效率以及冷机制冷系数计算负荷削减前的历史冷机输出冷功率。

进一步的，模型构建模块还包括：第二计算单元；所述第二计算单元，用于根据历史冷机回水温度以及历史冷机出水温度变化量，计算负荷削减后的第二历史冷机回水温度；

根据历史循环泵转速以及历史循环泵转速调整量，计算负荷削减后的第二历史循环泵转速；

根据历史冷机出水温度、第二历史冷机回水温度、第二历史循环泵转速以及冷机流质比热容计算负荷削减后的第二历史冷机功率消耗；

根据历史风机转速以及风机功率消耗系数计算历史空气处理单元功率消耗；

根据第二历史循环泵转速以及循环泵功率消耗系数计算负荷削减后的第二历史循环泵功率消耗；

根据所述第二历史冷机功率消耗、历史空气处理单元功率消耗以及第二历史循环泵功率消耗生成所述负荷削减后的历史冷水机组功率消耗；

根据第二历史冷机功率消耗、冷机效率以及冷机制冷系数计算负荷削减后的历史冷机输出冷功率。

通过实施本发明实施例具有如下有益效果：

本发明实施例公开了一种建筑物冷水机组需求响应控制方法，该方法在接收负荷削减需求指令时，根据负荷削减需求指令确定所需的当前负荷削减功率消耗，并获取冷水机组的当前运行状态参数；然后将当前负荷削减功率消耗以及当前运行状态参数输入到建筑物冷水机组运行控制模型中，模型输出在该当前负荷削减功率消耗所需的当前冷机出水温度变化量以及当前循环泵转速调整量，最后根据当前冷机出水温度变化量以及所述当前循环泵转速调整量，调整建筑物冷水机组的运行状态。通过实施本发明能够根据实时的负荷削减需求对建筑物冷水机组的运行状态进行调整，从而满足负荷削减需求缓解电力高峰期的供电压力。

附图说明

图1是本发明一实施例提供的建筑物冷水机组需求响应控制方法的流程示意图。

图2是本发明一实施例提供的建筑物冷水机组需求响应控制装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明一实施例提供了一种建筑物冷水机组需求响应控制方法，至少包括如下步骤：

步骤S101：在接收负荷削减需求指令时，根据所述负荷削减需求指令确定所需的当前负荷削减功率消耗，并获取冷水机组的当前运行状态参数；其中，所述当前运行状态参数包括：当前冷机出水温度、当前冷机回水温度、当前风机转速以及当前循环泵转速。

步骤S102：将所述当前负载削减功率消耗以及所述当前运行状态参数输入至建筑物冷水机组运行控制模型中，以使所述建筑物冷水机组运行控制模型确定当前冷机出水温度变化量以及当前循环泵转速调整量。

步骤S103：根据所述当前冷机出水温度变化量以及所述当前循环泵转速调整量，调整建筑物冷水机组的运行状态。

对于步骤S101、在接收到负荷削减需求指令时，获取需要削减的功率消耗，即上述当前负荷削减功率消耗，与此同时获取冷水机组的当前冷机出水温度、当前冷机回水温度、当前风机转速以及当前循环泵转速。

对于步骤S102、在一个优选的实施例中，所述建筑物冷水机组运行控制模型的构建，具体包括：

获取历史负荷削减功率消耗、冷水机组的历史运行状态参数以及冷水机组的设备参数；

以历史负荷削减功率消耗以及历史运行状态参数对深度强化学习模型进行训练，以使深度强化学习模型输出历史冷机出水温度变化量以及历史循环泵转速调整量；将训练完成的深度强化学习模型作为所述建筑物冷水机组运行控制模型；

其中，所述深度强化学习模型的状态空间为，历史运行状态参数以及所述历史负荷削减功率消耗；所述深度强化学习模型的动作空间为，历史冷机出水温度变化量以及历史循环泵转速调整量；所述深度强化学习模型的动作奖励的构建包括：根据所述历史运行状态参数以及所述设备参数计算负荷削减前的历史冷机输出冷功率以及负荷削减前的历史冷水机组功率消耗；根据所述历史运行状态参数、所述设备参数、所述历史冷机出水温度变化量以及所述历史循环泵转速调整量计算负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗；根据负荷削减前的历史冷机输出冷功率、负荷削减前的历史冷水机组功率消耗、负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗构建深度强化学习模型的动作奖励。

在一个优选的实施例中，冷水机组的设备参数包括：冷机效率、冷机制冷系数、冷机流质比热容、风机功率消耗系数以及循环泵功率消耗系数；历史运行状态参数包括：历史冷机出水温度、历史冷机回水温度、历史风机转速以及历史循环泵转速。

在一个优选的实施例中，所述根据所述历史运行状态参数以及所述设备参数计算负荷削减前的历史冷机输出冷功率以及负荷削减前的历史冷水机组功率消耗，具体包括：

根据历史冷机出水温度、历史冷机回水温度、历史循环泵转速以及冷机流质比热容计算历史冷机功率消耗；

根据历史风机转速以及风机功率消耗系数计算历史空气处理单元功率消耗；

根据历史循环泵转速以及循环泵功率消耗系数计算历史循环泵功率消耗；

根据所述历史冷机功率消耗、历史空气处理单元功率消耗以及历史循环泵功率消耗生成所述负荷削减前的历史冷水机组功率消耗；

根据历史冷机功率消耗、冷机效率以及冷机制冷系数计算负荷削减前的历史冷机输出冷功率。

在一个优选的实施例中，所述根据所述历史运行状态参数、所述设备参数、所述历史冷机出水温度变化量以及所述历史循环泵转速调整量计算负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗，具体包括：

根据历史冷机回水温度以及历史冷机出水温度变化量，计算负荷削减后的第二历史冷机回水温度；

根据历史循环泵转速以及历史循环泵转速调整量，计算负荷削减后的第二历史循环泵转速；

根据历史冷机出水温度、第二历史冷机回水温度、第二历史循环泵转速以及冷机流质比热容计算负荷削减后的第二历史冷机功率消耗；

根据历史风机转速以及风机功率消耗系数计算历史空气处理单元功率消耗；

根据第二历史循环泵转速以及循环泵功率消耗系数计算负荷削减后的第二历史循环泵功率消耗；

根据所述第二历史冷机功率消耗、历史空气处理单元功率消耗以及第二历史循环泵功率消耗生成所述负荷削减后的历史冷水机组功率消耗；

根据第二历史冷机功率消耗、冷机效率以及冷机制冷系数计算负荷削减后的历史冷机输出冷功率。

具体的，在本发明中预设构建冷水机组设备的冷机功率消耗模型，空气处理单元模型功率消耗模型、循环泵功率消耗模型以及冷水机组功率消耗模型。

冷机功率消耗模型如下：

式中，

为t时刻冷机输入功率，单位为MW；η_EC为冷机效率；COP_EC为冷机制冷系数；

为t时刻冷机输出冷功率，单位为MW；

为t时刻冷机出水温度，单位为℃；

为t时刻冷机回水温度，单位为℃；

为t时刻循环泵转速，单位为kg·s^-1；C_a为冷机流质比热容，单位为J·(kg·℃)^-1。

空气处理单元功率消耗模型为：

式中，α_fan为空气处理单元风扇功率消耗系数(即风机功率消耗系数)，单位为MW/(kg/s)³；

为t时刻空气处理单元风机的转速(即风机转速)，单位为kg/s。

循环泵功率消耗模型为：

式中，β_p为循环泵功率消耗系数，单位为MW/(kg/s)²。

冷水机组功率消耗模型如下：

式中，

为t时刻的冷水机组功率消耗。

上述冷机功率消耗模型、空气处理单元功率消耗模型以及循环泵功率消耗模型的作用在后文进行说明，以下先对上述建筑物冷水机组运行控制模型的构建进行详细说明：

将本发明的建筑物冷水机组实时需求响应控制问题转化成马尔科夫决策过程(MDP)，MDP认为，系统的下一时刻状态仅由当前的系统状态与系统动作决定，而系统动作则由系统的状态根据系统策略所决定，因此MDP可以定义为元祖<S,A,R,P,π>，用于描述智能体(系统中的冷水机组)和环境(建筑物)之间的交互过程。S为状态空间，s_t∈S表示智能体在t时刻从环境中获取的状态向量；A为动作空间，a_t∈A表示智能体在t时刻做出的动作向量；R为动作奖励，R:s_t×a_t→r_t表示状态向量s_t在动作向量a_t下发生状态转移时环境给出的即时奖励r_t；P为状态转移概率函数，P:s_t×a_t×s_t+1→[0,1]表示在一个状态向量s_t下执行动作向量a_t后转到下一个状态向量s_t+1的概率，由于本发明所针对环境为确定性转移，因此P始终为1；策略π为状态空间S到动作空间A的映射，即智能体根据所获得的环境变量，选择做出相应的动作变量，π:S→A。

根据算法所需效果，在本发明中环境变量包括了，t时刻的冷水机组运行状态，包括冷机进出水温度

机组的空气处理单元风扇转速

(即风机转速)，机组的循环泵转速

(即循环泵转速)，当前时刻接到的需求响应负荷量

(即负荷削减功率消耗)。因此，对于建筑物冷水机组系统，其状态表示为：

式中，下标i表示第i台机组。

系统的控制对象为系统中的冷水机组，因此系统的动作变量包括了机组的冷机出水温度变化量

(即冷机出水温度变化量)，和机组的循环泵转速调整量

(即循环泵转速调整量)。因此，对于建筑物冷水机组系统，其动作变量表示为：

为了在满足负荷削减功率消耗的前提下，保证用户的舒适度波动最小，因此问题的目标函数等价于最小化机组的输出冷功率变化量(即保证调整前冷水机组的冷机输出冷功率变化幅度最小)，与此同时，为了保证机组能耗削减量达到要求，引入削减负荷惩罚项，因此，智能体在状态向量ss_t下做出动作向量a_t时环境给出的即时奖励为：

式中，μ与η分别是对舒适度与惩罚项进行相应缩放的系数，

为动作前系统中第i台机组产生的冷功率(即负荷削减前第i台机组的冷机输出冷功率)，

为动作后系统中第i台机组产生的冷功率(即负荷削减后第i台机组的冷机输出冷功率)，

为动作后冷水机组的能耗削减量(可以计算负荷削减前冷水机组功率消耗与负荷削减后冷水机组功率消耗的差值得到)。

在后续构建深度强化学习模型时，基于训练样本中的历史运行状态参数以及所述历史负荷削减功率消耗，根据上述式(5)构建度强化学习模型的状态空间。基于模型预测得出的历史冷机出水温度变化量以及历史循环泵转速调整量，根据上述式(6)构建深度强化学习模型的动作空间，基于负荷削减前的历史冷机输出冷功率、负荷削减前的历史冷水机组功率消耗、负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗根据上述(7)构建深度强化学习模型的动作奖励。

此外，将历史冷机出水温度、历史冷机回水温度、历史循环泵转速以及冷机流质比热容代入上述式(1)出计算历史冷机功率消耗；将历史风机转速以及风机功率消耗系数代入上述公式(2)计算出历史空气处理单元功率消耗；将历史循环泵转速以及循环泵功率消耗系数代入公式(3)计算出历史循环泵功率消耗；将历史冷机功率消耗、冷机效率以及冷机制冷系数代入上述式(1)计算出历史冷机输出冷功率。最后将前述计算得到的历史冷机功率消耗、历史空气处理单元功率消耗以及历史循环泵功率消耗代入上述公式(5)即可得到负荷削减前的历史冷水机组功率消耗；

同理，先根据历史冷机回水温度以及历史冷机出水温度变化量，计算负荷削减后的第二历史冷机回水温度；以及，根据历史循环泵转速以及历史循环泵转速调整量，计算负荷削减后的第二历史循环泵转速；

然后将历史冷机出水温度、第二历史冷机回水温度、第二历史循环泵转速以及冷机流质比热容代入上述式(1)出计算第二历史冷机功率消耗；将历史风机转速以及风机功率消耗系数代入上述公式(2)计算出历史空气处理单元功率消耗；将第二历史循环泵转速以及循环泵功率消耗系数代入公式(3)计算出第二历史循环泵功率消耗；将第二历史冷机功率消耗、冷机效率以及冷机制冷系数代入上述式(1)计算出第二历史冷机输出冷功率。最后将前述计算得到的第二历史冷机功率消耗、历史空气处理单元功率消耗以及第二历史循环泵功率消耗代入上述公式(5)即可得到负荷削减后的历史冷水机组功率消耗；

本发明中上述深度强化学习模型基于深度确定性策略梯度算法(DeepDeterministic Policy Gradient,DDPG)构建，深度确定性策略梯度算法(DeepDeterministic Policy Gradient,DDPG)是一种基于actor-critic(策略-值)框架，它通过深度神经网络来估计最优策略函数。它不仅可以避免维数灾难，还能保存整个动作域的信息。DDPG算法使用2个独立的网络参数θ^Q和θ^π来逼近critic函数和actor函数，且每个网络均有各自的目标网络参数θ^Q′和θ^π′，其中Q′和π′分别为目标Q值和目标策略。

在本发明中对于深度强化学习模型值网络的训练如下：

对于值网络，通过最小化损失函数L(θ^Q)来优化参数：

L(θ^Q)＝E[(y_t-Q(s_t,a_t；θ^Q))²] (8)

式中，θ^Q为值网络的网络参数，y_t为目标Q值；E[·]为期望函数。在时段t，系统执行动作a_t后会进入下一个状态s_t+1。

y_t＝r_t+γQ′(s_t+1,π′(s_t+1；θ^π′)；θ^Q′) (9)

L(θ^Q)关于θ^Q的梯度为：

式中：

为表示梯度的计算函数。式中y_t-Q(s_t,a_t；θ^Q)即为时序差分误差(timingdifferential error，TD-error)，根据梯度规则更新网络，可得到更新公式为：

其中：μ_Q为值网络学习率。

对于策略网络的训练：

对于策略网络，其提供梯度信息

作为动作改进的方向。为了更新策略网络，使用采样策略梯度：

根据确定性策略梯度，更新策略网络参数θ^π：

式中：μ_π为策略网络学习率。

目标网络的参数θ^Q′和θ^π′采用软更新技术来进一步提高学习过程的稳定性:

θ^Q′←τθ^Q+(1-τ)θ^Q′ (14)

θ^π′←τθ^π+(1-τ)θ^π′ (15)

式中：τ为软更新系数，τ＜＜1。

算法中，通过为动作a_t添加随机噪声v_t以增加DDPG算法在智能体与环境交互时对环境的探索能力，以学习到更加优化的策略。

通过上述训练方法，将历史负荷削减功率消耗以及历史运行状态参数作为训练样本，对深度强化学习模型的值网络和策略网络进行训练，直至由式(7)所计算出来的动作奖励达到预设值且奖励值曲线收敛变平，完成深度强化学习模型的训练，获得所述建筑物冷水机组运行控制模型。

在获得建筑物冷水机组运行控制模型后，将当前负载削减功率消耗以及所述当前运行状态参数输入至建筑物冷水机组运行控制模型中，模型即可输出在当前负荷削减功率消耗下，当前冷机出水温度变化量以及当前循环泵转速调整量。

对于步骤S103、根据前述所得的当前冷机出水温度变化量以及当前循环泵转速调整量，调整建筑物中冷水机组的运行状态。

在上述方法项实施例的基础上，本发明对应提供了装置项实施例；

如图2所示，本发明一实施例提供了一种建筑物冷水机组需求响应控制装置，包括数据获取模块、冷水机组参数调整模块以及冷水机组运行控制模块；

所述数据获取模块，用于在接收负荷削减需求指令时，根据所述负荷削减需求指令确定所需的当前负荷削减功率消耗，并获取冷水机组的当前运行状态参数；其中，所述当前运行状态参数包括：当前冷机出水温度、当前冷机回水温度、当前风机转速以及当前循环泵转速；

所述冷水机组参数调整模块，用于将所述当前负载削减功率消耗以及所述当前运行状态参数输入至建筑物冷水机组运行控制模型中，以使所述建筑物冷水机组运行控制模型确定当前冷机出水温度变化量以及当前循环泵转速调整量；

所述冷水机组运行控制模块，用于根据所述当前冷机出水温度变化量以及所述当前循环泵转速调整量，调整建筑物冷水机组的运行状态。

在一个优选的实施例中，还包括：模型构建模块；所述模型构建模块，用于获取历史负荷削减功率消耗、冷水机组的历史运行状态参数以及冷水机组的设备参数；

以历史负荷削减功率消耗以及历史运行状态参数对深度强化学习模型进行训练，以使深度强化学习模型输出历史冷机出水温度变化量以及历史循环泵转速调整量；将训练完成的深度强化学习模型作为所述建筑物冷水机组运行控制模型；

其中，所述深度强化学习模型的状态空间为，历史运行状态参数以及所述历史负荷削减功率消耗；所述深度强化学习模型的动作空间为，历史冷机出水温度变化量以及历史循环泵转速调整量；所述深度强化学习模型的动作奖励的构建包括：根据所述历史运行状态参数以及所述设备参数计算负荷削减前的历史冷机输出冷功率以及负荷削减前的历史冷水机组功率消耗；根据所述历史运行状态参数、所述设备参数、所述历史冷机出水温度变化量以及所述历史循环泵转速调整量计算负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗；根据负荷削减前的历史冷机输出冷功率、负荷削减前的历史冷水机组功率消耗、负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗构建深度强化学习模型的动作奖励。

在一个优选的实施例中，冷水机组的设备参数包括：冷机效率、冷机制冷系数、冷机流质比热容、风机功率消耗系数以及循环泵功率消耗系数；历史运行状态参数包括：历史冷机出水温度、历史冷机回水温度、历史风机转速以及历史循环泵转速。

在一个优选的实施例中，所述模型构建模块包括：第一计算单元；

所述第一计算单元，用于根据历史冷机出水温度、历史冷机回水温度、历史循环泵转速以及冷机流质比热容计算历史冷机功率消耗；

根据历史风机转速以及风机功率消耗系数计算历史空气处理单元功率消耗；

根据历史循环泵转速以及循环泵功率消耗系数计算历史循环泵功率消耗；

根据所述历史冷机功率消耗、历史空气处理单元功率消耗以及历史循环泵功率消耗生成所述负荷削减前的历史冷水机组功率消耗；

根据历史冷机功率消耗、冷机效率以及冷机制冷系数计算负荷削减前的历史冷机输出冷功率。

在一个优选的实施例中，所述模型构建模块还包括：第二计算单元；

所述第二计算单元，用于根据历史冷机回水温度以及历史冷机出水温度变化量，计算负荷削减后的第二历史冷机回水温度；

根据历史循环泵转速以及历史循环泵转速调整量，计算负荷削减后的第二历史循环泵转速；

根据历史冷机出水温度、第二历史冷机回水温度、第二历史循环泵转速以及冷机流质比热容计算负荷削减后的第二历史冷机功率消耗；

根据历史风机转速以及风机功率消耗系数计算历史空气处理单元功率消耗；

根据第二历史循环泵转速以及循环泵功率消耗系数计算负荷削减后的第二历史循环泵功率消耗；

根据所述第二历史冷机功率消耗、历史空气处理单元功率消耗以及第二历史循环泵功率消耗生成所述负荷削减后的历史冷水机组功率消耗；

根据第二历史冷机功率消耗、冷机效率以及冷机制冷系数计算负荷削减后的历史冷机输出冷功率。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种建筑物冷水机组需求响应控制方法，其特征在于，包括：

在接收负荷削减需求指令时，根据所述负荷削减需求指令确定所需的当前负荷削减功率消耗，并获取冷水机组的当前运行状态参数；其中，所述当前运行状态参数包括：当前冷机出水温度、当前冷机回水温度、当前风机转速以及当前循环泵转速；

将所述当前负载削减功率消耗以及所述当前运行状态参数输入至建筑物冷水机组运行控制模型中，以使所述建筑物冷水机组运行控制模型确定当前冷机出水温度变化量以及当前循环泵转速调整量；

根据所述当前冷机出水温度变化量以及所述当前循环泵转速调整量，调整建筑物冷水机组的运行状态。

2.如权利要求1所述的建筑物冷水机组需求响应控制方法，其特征在于，所述建筑物冷水机组运行控制模型的构建，具体包括：

获取历史负荷削减功率消耗、冷水机组的历史运行状态参数以及冷水机组的设备参数；

以历史负荷削减功率消耗以及历史运行状态参数对深度强化学习模型进行训练，以使深度强化学习模型输出历史冷机出水温度变化量以及历史循环泵转速调整量；将训练完成的深度强化学习模型作为所述建筑物冷水机组运行控制模型；

其中，所述深度强化学习模型的状态空间为，历史运行状态参数以及所述历史负荷削减功率消耗；所述深度强化学习模型的动作空间为，历史冷机出水温度变化量以及历史循环泵转速调整量；所述深度强化学习模型的动作奖励的构建包括：根据所述历史运行状态参数以及所述设备参数计算负荷削减前的历史冷机输出冷功率以及负荷削减前的历史冷水机组功率消耗；根据所述历史运行状态参数、所述设备参数、所述历史冷机出水温度变化量以及所述历史循环泵转速调整量计算负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗；根据负荷削减前的历史冷机输出冷功率、负荷削减前的历史冷水机组功率消耗、负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗构建深度强化学习模型的动作奖励。

3.如权利要求2所述的建筑物冷水机组需求响应控制方法，其特征在于，冷水机组的设备参数包括：冷机效率、冷机制冷系数、冷机流质比热容、风机功率消耗系数以及循环泵功率消耗系数；历史运行状态参数包括：历史冷机出水温度、历史冷机回水温度、历史风机转速以及历史循环泵转速。

4.如权利要求3所述的建筑物冷水机组需求响应控制方法，其特征在于，所述根据所述历史运行状态参数以及所述设备参数计算负荷削减前的历史冷机输出冷功率以及负荷削减前的历史冷水机组功率消耗，具体包括：

根据历史冷机出水温度、历史冷机回水温度、历史循环泵转速以及冷机流质比热容计算历史冷机功率消耗；

根据历史风机转速以及风机功率消耗系数计算历史空气处理单元功率消耗；

根据历史循环泵转速以及循环泵功率消耗系数计算历史循环泵功率消耗；

根据所述历史冷机功率消耗、历史空气处理单元功率消耗以及历史循环泵功率消耗生成所述负荷削减前的历史冷水机组功率消耗；

根据历史冷机功率消耗、冷机效率以及冷机制冷系数计算负荷削减前的历史冷机输出冷功率。

5.如权利要求3所述的建筑物冷水机组需求响应控制方法，其特征在于，所述根据所述历史运行状态参数、所述设备参数、所述历史冷机出水温度变化量以及所述历史循环泵转速调整量计算负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗，具体包括：

根据历史冷机回水温度以及历史冷机出水温度变化量，计算负荷削减后的第二历史冷机回水温度；

根据历史循环泵转速以及历史循环泵转速调整量，计算负荷削减后的第二历史循环泵转速；

根据历史冷机出水温度、第二历史冷机回水温度、第二历史循环泵转速以及冷机流质比热容计算负荷削减后的第二历史冷机功率消耗；

根据历史风机转速以及风机功率消耗系数计算历史空气处理单元功率消耗；

根据第二历史循环泵转速以及循环泵功率消耗系数计算负荷削减后的第二历史循环泵功率消耗；

根据所述第二历史冷机功率消耗、历史空气处理单元功率消耗以及第二历史循环泵功率消耗生成所述负荷削减后的历史冷水机组功率消耗；

根据第二历史冷机功率消耗、冷机效率以及冷机制冷系数计算负荷削减后的历史冷机输出冷功率。

6.一种建筑物冷水机组需求响应控制装置，其特征在于，包括数据获取模块、冷水机组参数调整模块以及冷水机组运行控制模块；

所述数据获取模块，用于在接收负荷削减需求指令时，根据所述负荷削减需求指令确定所需的当前负荷削减功率消耗，并获取冷水机组的当前运行状态参数；其中，所述当前运行状态参数包括：当前冷机出水温度、当前冷机回水温度、当前风机转速以及当前循环泵转速；

所述冷水机组参数调整模块，用于将所述当前负载削减功率消耗以及所述当前运行状态参数输入至建筑物冷水机组运行控制模型中，以使所述建筑物冷水机组运行控制模型确定当前冷机出水温度变化量以及当前循环泵转速调整量；

所述冷水机组运行控制模块，用于根据所述当前冷机出水温度变化量以及所述当前循环泵转速调整量，调整建筑物冷水机组的运行状态。

7.如权利要求6所述的建筑物冷水机组需求响应控制装置，其特征在于，还包括：模型构建模块；

所述模型构建模块，用于获取历史负荷削减功率消耗、冷水机组的历史运行状态参数以及冷水机组的设备参数；

以历史负荷削减功率消耗以及历史运行状态参数对深度强化学习模型进行训练，以使深度强化学习模型输出历史冷机出水温度变化量以及历史循环泵转速调整量；将训练完成的深度强化学习模型作为所述建筑物冷水机组运行控制模型；

其中，所述深度强化学习模型的状态空间为，历史运行状态参数以及所述历史负荷削减功率消耗；所述深度强化学习模型的动作空间为，历史冷机出水温度变化量以及历史循环泵转速调整量；所述深度强化学习模型的动作奖励的构建包括：根据所述历史运行状态参数以及所述设备参数计算负荷削减前的历史冷机输出冷功率以及负荷削减前的历史冷水机组功率消耗；根据所述历史运行状态参数、所述设备参数、所述历史冷机出水温度变化量以及所述历史循环泵转速调整量计算负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗；根据负荷削减前的历史冷机输出冷功率、负荷削减前的历史冷水机组功率消耗、负荷削减后的历史冷机输出冷功率以及负荷削减后的历史冷水机组功率消耗构建深度强化学习模型的动作奖励。

8.如权利要求7所述的建筑物冷水机组需求响应控制装置，其特征在于，冷水机组的设备参数包括：冷机效率、冷机制冷系数、冷机流质比热容、风机功率消耗系数以及循环泵功率消耗系数；历史运行状态参数包括：历史冷机出水温度、历史冷机回水温度、历史风机转速以及历史循环泵转速。

9.如权利要求8所述的建筑物冷水机组需求响应控制装置，其特征在于，所述模型构建模块包括：第一计算单元；

所述第一计算单元，用于根据历史冷机出水温度、历史冷机回水温度、历史循环泵转速以及冷机流质比热容计算历史冷机功率消耗；

根据历史风机转速以及风机功率消耗系数计算历史空气处理单元功率消耗；

根据历史循环泵转速以及循环泵功率消耗系数计算历史循环泵功率消耗；

根据所述历史冷机功率消耗、历史空气处理单元功率消耗以及历史循环泵功率消耗生成所述负荷削减前的历史冷水机组功率消耗；

根据历史冷机功率消耗、冷机效率以及冷机制冷系数计算负荷削减前的历史冷机输出冷功率。

10.如权利要求9所述的建筑物冷水机组需求响应控制装置，其特征在于，所述模型构建模块还包括：第二计算单元；

所述第二计算单元，用于根据历史冷机回水温度以及历史冷机出水温度变化量，计算负荷削减后的第二历史冷机回水温度；

根据历史循环泵转速以及历史循环泵转速调整量，计算负荷削减后的第二历史循环泵转速；

根据历史冷机出水温度、第二历史冷机回水温度、第二历史循环泵转速以及冷机流质比热容计算负荷削减后的第二历史冷机功率消耗；

根据历史风机转速以及风机功率消耗系数计算历史空气处理单元功率消耗；

根据第二历史循环泵转速以及循环泵功率消耗系数计算负荷削减后的第二历史循环泵功率消耗；

根据所述第二历史冷机功率消耗、历史空气处理单元功率消耗以及第二历史循环泵功率消耗生成所述负荷削减后的历史冷水机组功率消耗；

根据第二历史冷机功率消耗、冷机效率以及冷机制冷系数计算负荷削减后的历史冷机输出冷功率。

Images