CN115752076B - 一种冷却循环水系统控制方法 - Google Patents

Abstract

本发明公开了一种冷却循环水系统控制方法，包括如下步骤：建立冷却循环水系统的热学仿真模型以及马尔科夫决策过程模型；根据所述马尔科夫决策过程模型来构建深度强化学习神经网络模型，并根据所述热学仿真模型获得的训练数据，完成所述神经网络模型的训练；根据训练后的所述神经网络模型，生成控制命令，对冷却循环水系统进行控制。本发明通过根据传感器获取到的水温、气温、水流速等数据，使用基于的深度强化学习方法，可以实时获得优化的自动控制命令，有效降低整个冷却循环水系统耗电成本。

Description

一种冷却循环水系统控制方法

技术领域

本发明属于人工智能强化学习技术领域，具体涉及一种冷却循环水系统控制方法。

背景技术

生产制造企业以及大型建筑物降温，常用到冷却循环水系统。冷却循环水系统建设完成后，运行过程中需要消耗大量的电能和水，其中水是作为冷却介质来吸收换热器(热负载)的多余热量，起到降温的作用；电能则用于系统中的水泵，以驱动冷却水流动；电能同时也用于冷却塔的风冷系统(风扇)散热。

然而现有技术中，对于冷却循环水系统这样复杂的非线性系统，其热学模型受到换热器(热负载)的工作状况、室外气象环境、水温、水质等多种外部因素影响，无法通过简单数学模型来模拟其运行状态。传统的控制手段较为复杂且效率较低，且耗电成本难以控制。

发明内容

针对现有技术中所存在的不足，本发明提供了一种能够降低冷却循环水系统耗电成本的一种冷却循环水系统控制方法。

一种冷却循环水系统控制方法，包括如下步骤：

建立冷却循环水系统的热学仿真模型以及马尔科夫决策过程模型；

根据所述马尔科夫决策过程模型来构建深度强化学习神经网络模型，并根据所述热学仿真模型获得的训练数据，完成所述神经网络模型的训练；

根据训练后的所述神经网络，生成控制命令，对冷却循环水系统进行控制。

作为优选的方案，所述冷却循环水系统，包括水源、蓄水池、换热器、冷却塔、旁流过滤系统，其中水源通过第一管道连接到所述蓄水池，所述蓄水池通过第二管道连接到换热器，所述换热器通过第三管道连接到冷却塔，所述冷却塔通过第四管道连接到蓄水池，所述蓄水池和旁流过滤系统通过第五管道和第六管道相互连接；所述冷却塔中设有风冷系统。

作为优选的方案，所述建立用于控制所述冷却循环水系统的马尔科夫决策过程模型，包括：

以所述冷却循环水系统中各管道水温、各管道水流速、风冷系统环境气温以及蓄水池水量建立状态集合；

以各管道处水泵以及所述风冷系统的功率百分比建立控制命令集合；

建立状态转移策略集合并设置回报函数。

作为优选的方案，所述回报函数，与所述换热器处的散热容量及所述冷却塔处的散热容量正相关，与累计电费负相关。

作为优选的方案，在建立冷却循环水系统的热学仿真模型后，使用实测数据验证热学仿真模型准确性。

作为优选的方案，在所述对冷却循环水系统进行控制的过程中，若监测到一段时间内系统不能满足如下任一条件，则发出告警：

①所述第二管道和第三管道处水泵的功率高于预设最小功率；

②所述换热器的散热需求高于预设最小散热需求；

③所述冷却塔的散热需求高于预设最小散热需求；

④所述蓄水池的水量在预设区间内。

作为优选的方案，所述神经网络模型，包括依次连接的输入层、LSTM层、全连接层以及输出层。

作为优选的方案，所述神经网络模型的训练，包括如下步骤：

S401：随机初始化神经网络参数θ₀；

S402：从通过软件创建的模块化热学仿真模型获得t时刻的状态s_t，并根据ε-greedy策略，在状态s_t时获得控制动作a_t+1，并在模块化的热仿真模型中运行动作a_t+1；

S403：从热学仿真模型中获得t+1时刻的状态s_t+1，并计算执行动作a_t+1后获得的回报函数r_t+1；

S404：更新神经网络参数θ_t+1，完成一轮训练；

S405：循环执行S402-S404，直到(s_t,a_t)收敛；或训练次数达到最大循环轮次，得到最终的控制策略神经网络，其参数为θ。

相比于现有技术，本发明具有如下有益效果：

通过根据传感器获取到的水温、气温、水流速等数据，使用深度强化学习方法，可以实时获得优化的自动控制命令，有效降低整个冷却循环水系统耗电成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种冷却循环水系统控制方法的流程示意图；

图2为本发明冷却循环水系统的模型示意图。

图3为本发明的深度强化学习神经网络模型示意图。

其中，11、水源；12、蓄水池；13、换热器；14、冷却塔；15、旁流过滤系统；16、风冷系统；21、第一管道；22、第二管道；23、第三管道；24、第四管道；25、第五管道；26、第六管道。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一种冷却循环水系统控制方法，如图1所示，包括如下步骤：

S1：建立冷却循环水系统的热学仿真模型。

其中，所述冷却循环水系统，如图2所示，可包括水源11、蓄水池12、换热器13、冷却塔14、旁流过滤系统15，其中水源11通过第一管道21连接到所述蓄水池12，所述蓄水池12通过第二管道22连接到换热器13，所述换热器13通过第三管道23连接到冷却塔14，所述冷却塔14通过第四管道24连接到蓄水池12，所述蓄水池12和旁流过滤系统15通过第五管道25和第六管道26相互连接；所述冷却塔14中设有风冷系统16。

本步骤中，对于冷却循环水系统这种较复杂的非线性系统，其热学仿真模型受换热器(热负载)的工作状况、室外气象环境、水温、水质等多种外部因素影响，无法通过简单数学模型来模拟其运行状态；故本实施例中选择通过模块化仿真获得所述热学仿真模型，举例来说可通过TRNSYS、EnergyPlus等商用能耗模拟软件，对换热器、冷却塔、蓄水池等进行模块化仿真。所述模块化仿真的方法手段属于现有技术，在此不予赘述。

S2：建立用于控制所述冷却循环水系统的马尔科夫决策过程模型。

本步骤中，所述马科夫决策过程模型可表示为：M＝{S,A,P,R,γ}。其中，S是状态集合，A是动作集合，P是状态转移策略集合，R是回报函数，γ是系统累计回报的折扣率。

本步骤具体可包括：

S201：以系统中各管道水温、各管道水流速、风冷系统环境气温以及蓄水池水量建立状态集合。

其中，本系统在t时刻状态S_t∈S：

S_t＝{T₁,T₂,T₃,T₄,T₅,T₆,T_f,V₁,V₂,V₃,V₄,V₅,V₆,C_pool} ------(1)。

其中，T₁到T₆对应第一到第六管道中的水温，T_f为风冷系统环境气温(湿球温度)，温度单位是摄氏度；V₁到V₆对应第一到第六管道中水流速，单位是立方米/小时。为了便于处理，状态空间中水温取值范围可以是0～100℃，环境气温T_f取值范围可以是-50～70℃。C_pool表示蓄水池的现存水量，单位是立方米。所述水温、水流速、蓄水池水量等参数可以通过对应设置的传感器获得。为了便于神经网络处理，所有除环境气温T_f外所有输入状态值都规范化到值域范围[0,1]，环境气温T_f规范化为[-1,1]区间。

S202：以各管道处水泵以及冷却塔风冷系统的功率百分比建立控制命令集合。

其中，本系统在t时刻的控制命令集合a_t∈A：

其中，到/>分别表示第一管道到第六管道处水泵的功率百分比，值域为[0,1]，0表示水泵关闭，1表示最大功率；/>表示冷却塔风冷系统(包括风扇)的功率百分比，值域为[0,1]，0表示风扇关闭，1表示最大功率。所述水泵和风扇的功率可通过系统PLC控制电路获得，同时也可以通过PLC控制电路反控水泵功率和风扇开关、风扇功率。

通过在t时刻选择最优的控制动作，可以动态调整循环水系统的运行，从而达到节能减排的目的。在实际系统中，可能没有风冷系统，也可能部分位置没有水泵，例如只在第一管道、第二管道和第三管道处安装水泵，则只需要在计算时将其功率固定为0即可，不影响本方法的正常应用。

S203：建立状态转移策略集合并设置回报函数。

定义本系统的状态转移策略π(a|s)∈P，其表示系统状态和动作变化的概率，有：

π(a|s)＝p[a_t＝a|s_t＝s] ------(3)。

其中，公式(3)表示状态为s时，选择控制命令a的概率为p。

本步骤中，通过状态转移策略π(a|s)，可以计算本系统运行的累计回报：

其中回报函数：

其中，表示换热器处的散热容量，/>表示冷却塔处的散热容量；c_t(s_t,a_t)表示本系统的累计电费；‖a_t-a_t-1‖是惩罚项，用于杜绝系统频繁修改参数。也就是说，所述回报函数，与所述换热器处的散热容量及所述冷却塔处的散热容量正相关，与累计电费负相关，以达到用较少耗电获得更大散热容量的目的。

在所述回报函数中，通过调整系统参数α₁、α₂、α₃，可以使系统倾向更大散热容量或者更低能耗；通过增大α₄，可以减少控制命令修改的频率。

关于前述的累计电费c_t(s_t,a_t)：由于本控制方法的优化目标是在保证循环冷却系统散热需求的前提下，尽量降低系统运行耗电。因此需要结合阶梯电价，计算过去一段时间的实际耗电。具体来说，在系统实际运行时，可选择一定的间隔时间测量一次系统状态，累计计算过去一段时间的耗电。设当前时间计数为t，可选择测量间隔时间t_i为5分钟(例如t_i＝300，表示每300秒或者每5分钟测量一次系统状态，意即t+1比t晚5分钟)，如需计算过去4小时的耗电量，则计算从t-(4*60)/5＝t-48到t的累计电费公式为：

其中c_t(s)是在t时刻，状态为s下的耗电成本；price_k是在k时刻的电价(工业用电可能存在阶梯电价)；是第n个设备(水泵或风扇)在k时刻的实时功率。

S3：根据所述马尔科夫决策过程模型，构建深度强化学习的神经网络模型。

其中，如图3所示，由于输入的状态数据s_t属于时间序列数据，可使用两层LSTM长短周期循环神经网络模型，LSTM层使用relu激活函数，并连接到两层全连接层，全连接层使用relu激活函数，最后连接到输出层(输出a_t中的7个数字)，输出层使用sigmoid激活函数。

任意时刻t，图3中神经网络的参数θ_t，从输入层输入状态值s_t，经过神经网络的前向传播，可以计算得到推荐的动作a_t。

S4：根据热学仿真模型获得的数据，利用深度强化学习方法训练步骤S3中所述神经网络模型；

本步骤中，由于系统状态空间较大，而且动作空间是连续值，本实施例选择采用基于深度强化学习算法，例如DQN算法或者Double-DQN、DuelingDQN算法等，以避免出现梯度消失等问题。具体地，定义值函数Q(s,a；θ)表示在s状态下，神经网络参数为θ，通过神经网络前向传播，得到控制命令a。使用DQN算法训练神经网络参数θ的公式为：

其中α是学习率，γ是折扣率，r_t是t时刻的回报函数如公式(5)；Q_max(s_t+1,a_t+1)是指在t+1时刻可得到的最大Q函数值。在实际运行时，可选择学习率α＝0.2，折扣率γ＝0.8。是值函数Q(s,a)关于神经网络参数θ的导数。

在训练时，可使用ε-greedy策略来探索搜索空间：

在训练时，可设ε＝0.9，其中j是[0,1]之间均匀分布的随机数，Q(s_t,a_t；θ_t)表示在t时刻通过神经网络计算得到的a_t值；rand(a_t)表示随机修改a_t中的一个控制命令，β是修改幅度，不宜太大，以确保系统运行的稳定性，例如：刚开始训练时β＝0.05，经过一段时间训练后，β＝0.02。

强化学习模型的训练步骤如下：

S401：随机初始化神经网络参数θ₀；

S402：从通过软件创建的模块化热学仿真模型获得t时刻的状态s_t，并根据上述ε-greedy策略，在状态s_t时获得控制动作a_t+1，并在模块化的热仿真模型中运行动作a_t+1；

S403：从热学仿真模型中获得t+1时刻的状态s_t+1，并根据公式(5)计算执行动作a_t+1后获得的回报函数r_t+1；

S404：根据公式(7)更新神经网络参数θ_t+1，完成一轮训练；

S405：循环执行S402-S404，直到(s_t,a_t)收敛，即|Q(s_t,a_t；θ_t+1)-Q(s_t,a_t；θ_t)|<τ，其中τ是常数；或者训练次数达到最大循环轮次，得到最终的控制策略神经网络，其参数为θ。

在实际训练过程中，可设置最大循环次数为500万次，判断收敛的常数τ依赖于热学仿真模型，属于系统超参数，需要根据实际训练结果来进行调整。

S5：根据训练后的所述神经网络模型对冷却循环水系统进行控制。

本步骤中，当系统完成训练后，进入在线实际运行过程。在系统实际运行时，可以在任意状态s_t时，实时得到最佳控制命令a_t，来对所述冷却循环水系统进行控制。

在实际运行过程中，可以每过一段时间(例如每两个月)通过在线学习更新神经网络，以适应系统模型的长期变化。这时可需要调整学习率α＝0.1，折扣率γ＝0.2，ε-greedy贪心策略的参数ε＝0.95。

本实施例中，根据传感器获取到的水温、气温、水流速等数据，使用基于深度强化学习的方法，可以实时获得优化的自动控制命令，有效降低整个系统耗电成本。

一种优选实施例，在建立冷却循环水系统的热学仿真模型后，使用实测数据验证热学仿真模型准确性。

其中，在完成系统的热学仿真模型后，可将其与实际系统的测量数据比对，验证仿真模型的正确性。如果仿真模型产生的系统状态更新和真实测量数据对比，差异在以内，则可认为仿真模型可用，否则需要调整仿真模型的参数。

一种优选实施例，在系统运行过程中，若监测到一段时间内系统不能满足如下条件，则发出告警，要求人工干预控制：

条件1：T₂和T₃处水泵的功率高于预设最小功率(即不能关闭)：

其中，是T₂处水泵的最小功率，/>是T₃处水泵的最小功率。

条件2：换热器的散热需求高于预设最小散热需求：设t时刻换热器的最小散热需求为(单位为千焦)，则/>

其中，c是水的比热容，单位是焦/(千克×℃)，一般的近似认为c＝4.2焦/(千克×℃)。条件3：冷却塔的散热需求高于预设最小散热需求：设t时刻冷却塔最小冷却热容量为(单位为千焦)，则/>

其中，c是水的比热容，单位是焦/(千克×℃)，一般的近似认为c＝4.2焦/(千克×℃)。

条件4：蓄水池水量在预设区间内：例如水量必须在则：

其中，表示蓄水池的最小容量，/>表示蓄水池的最大容量，单位为立方米。

本实施例中，由于马科夫决策过程模型是为了最小化耗电，但是系统运行时不能只图省电，还需保证一定的循环水量，以及最小散热能力。为了保证系统正常运行，并满足循环冷却系统的散热需求，在任意时刻t，系统状态和控制行为应符合一定规则。本实施例提供了较为实用的一组系统安全运行条件；当所述条件不满足时，系统的运行会受到负面影响，此时发出告警，可通过人工干预使系统回到安全运行状态。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种冷却循环水系统控制方法，其特征在于，所述冷却循环水系统，包括水源、蓄水池、换热器、冷却塔、旁流过滤系统，其中水源通过第一管道连接到所述蓄水池，所述蓄水池通过第二管道连接到换热器，所述换热器通过第三管道连接到冷却塔，所述冷却塔通过第四管道连接到蓄水池，所述蓄水池和旁流过滤系统通过第五管道和第六管道相互连接；所述冷却塔中设有风冷系统，控制方法包括如下步骤：

建立冷却循环水系统的热学仿真模型以及马尔科夫决策过程模型；所述马尔科夫决策过程模型的建立过程包括：以所述冷却循环水系统中各管道水温、各管道水流速、风冷系统环境气温以及蓄水池水量建立状态集合；以各管道处水泵以及所述风冷系统的功率百分比建立控制命令集合；建立状态转移策略集合并设置回报函数；

根据所述马尔科夫决策过程模型来构建深度强化学习神经网络模型，并根据所述热学仿真模型获得的训练数据，完成所述神经网络模型的训练；

根据训练后的所述神经网络模型，生成控制命令，对冷却循环水系统进行控制。

2.如权利要求1所述的一种冷却循环水系统控制方法，其特征在于：

所述回报函数，与所述换热器处的散热容量及所述冷却塔处的散热容量正相关，与累计电费负相关。

3.如权利要求1所述的一种冷却循环水系统控制方法，其特征在于：

在建立冷却循环水系统的热学仿真模型后，使用实测数据验证热学仿真模型准确性。

4.如权利要求1所述的一种冷却循环水系统控制方法，其特征在于：

在所述对冷却循环水系统进行控制的过程中，若监测到一段时间内系统不能满足如下任一条件，则发出告警：

①所述第二管道和第三管道处水泵的功率高于预设最小功率；

②所述换热器的散热需求高于预设最小散热需求；

③所述冷却塔的散热需求高于预设最小散热需求；

④所述蓄水池的水量在预设区间内。

5.如权利要求1所述的一种冷却循环水系统控制方法，其特征在于：

所述神经网络模型，包括依次连接的输入层、LSTM层、全连接层以及输出层。

6.如权利要求1所述的一种冷却循环水系统控制方法，其特征在于：

所述神经网络模型的训练，包括如下步骤：

S401：随机初始化神经网络参数θ₀；

S402：从通过软件创建的模块化热学仿真模型获得t时刻的状态s_t，并根据ε-greedy策略，在状态s_t时获得控制动作a_t+1，并在模块化的热仿真模型中运行动作a_t+1；

S403：从热学仿真模型中获得t+1时刻的状态s_t+1，并计算执行动作a_t+1后获得的回报函数r_t+1；

S404：更新神经网络参数θt+1，完成一轮训练；

S405：循环执行S402-S404，直到(st,at)收敛；或训练次数达到最大循环轮次，得到最终的控制策略神经网络。