CN113901713A - 一种基于ActorCritic算法的地铁空调系统节能控制方法 - Google Patents

Abstract

本发明涉及空调控制领域，公开了一种基于ActorCritic算法的地铁空调系统节能控制方法，包括：建立地铁空调系统能耗模型；采集地铁空调系统指标数据，并对地铁空调系统指标数据进行预处理，得到预处理后的地铁空调系统指标数据集合；以地铁空调系统指标数据为输入，下一时刻的地铁空调系统能耗预测值为输出，构建地铁空调系统能耗预测模型；将地铁空调风‑水系统作为强化学习智能体，以地铁空调系统能耗预测值最小为训练目标，利用ActorCritic算法对强化学习智能体进行训练，得到地铁空调风‑水系统的控制动作。本发明设计地铁空调系统节能模型，通过结合前馈神经网络以及强化学习得到地铁空调系统的控制动作，实现地铁空调的实时节能控制。

Description

一种基于ActorCritic算法的地铁空调系统节能控制方法

技术领域

本发明涉及空调控制领域，尤其涉及一种基于ActorCritic算法的地铁空调系统节能控制方法。

背景技术

目前，全国各地电力十分紧张，但所需电能也在迅速增长，能耗问题日益凸显。为了保证居民用电量，需要降低公共设施的用电量。在城市交通中，为了给乘客提供一个相对舒适的候车环境，空调系统在地铁站中得到了广泛应用。而地铁站空调系统的能源消耗较大，约占车站总能耗的35％，且能源利用效率不高，造成这种现象的主要原因是空调系统具有非线性、强耦合、滞后等特点。

传统的空调控制方法无法兼顾舒适性和节能的问题，而且目前大多数地铁站均是对空调风系统和水系统单独控制，无法保证整个系统的节能效果。

本专利着重对地铁中的空调系统节能进行研究，提出一套基于ActorCritic算法的地铁空调系统节能控制方法。

发明内容

本发明提供一种基于ActorCritic算法的地铁空调系统节能控制方法，目的在于(1)设计地铁空调系统节能模型；(2)实现地铁空调的节能控制。

实现上述目的，本发明提供的一种基于ActorCritic算法的地铁空调系统节能控制方法，包括以下步骤：

S1：建立地铁空调系统能耗模型，所述建立地铁空调系统能耗模型包括建立冷冻水泵能耗模型以及冷却水泵能耗模型、建立风机能耗模型；

S2：采集地铁空调系统指标数据，并对地铁空调系统指标数据进行预处理，得到预处理后的地铁空调系统指标数据集合；

S3：以地铁空调系统指标数据为输入，下一时刻的地铁空调系统能耗预测值为输出，构建地铁空调系统能耗预测模型；

S4：将地铁空调风-水系统作为强化学习智能体，以地铁空调系统能耗预测值最小为训练目标，利用ActorCritic算法对强化学习智能体进行训练，得到地铁空调风-水系统的控制动作。

作为本发明的进一步改进方法：

所述S1步骤中建立冷冻水泵能耗模型以及冷却水泵能耗模型，包括：

所建立的地铁空调系统能耗模型中的冷冻水泵能耗模型为：

其中：

P_e为地铁空调系统中冷冻水泵的能耗；

m_e为冷冻水泵的实际流量；

H_e为冷冻水泵的扬程；

g_e为冷冻水泵的流量扬程系数，将其设置为0.8；

η_e为冷冻水泵的能耗效率；

所建立的地铁空调系统能耗模型中的冷却水泵能耗模型为：

P_r＝Q_rη_rTemp_r(Temp_CH-Temp_CW)

其中：

P_r为地铁空调系统中冷却水泵的能耗；

Q_r为冷却水泵的额定制冷量；

Temp_r为温度调节系数；

Temp_CH为冷却水泵中冷却水供水温度；

Temp_CW为冷冻水泵中冷冻水供水温度。

所述S1步骤中建立风机能耗模型，包括：

所建立的地铁空调系统中的风机能耗模型为：

其中：

P_t为地铁空调系统中风机的能耗；

m_t为风机的实际风量；

H_t为风机的风压；

g_t为风机的风量风压系数，将其设置为0.7；

η_t为风机的能耗效率。

所述S1步骤中建立地铁空调系统能耗模型，包括：

地铁空调系统中包括15个组合式空调箱，每个组合式空调箱都具有一个风机，两个冷冻水泵以及两个冷却水泵，则地铁空调系统的整体能耗模型为：

P＝P_e+P_r+P_t

其中：

P_e为地铁空调系统中冷冻水泵的能耗；

P_r为地铁空调系统中冷却水泵的能耗；

P_t为地铁空调系统中风机的能耗。

所述S2步骤中采集地铁空调系统指标数据，并对地铁空调系统指标数据进行预处理，包括：

采集地铁空调系统指标数据

其中N表示地铁空调系统指标数据中的指标数量，t表示指标数据的时间戳信息，所述地铁空调系统指标包括室外温度、站台温度、冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量、冷冻水泵流量以及能耗效率、风机的风量以及频率；

对地铁空调系统指标数据进行归一化处理：

其中：

x_i表示地铁空调系统指标i的指标数据；

x_i,min表示地铁空调系统指标i中数据的最小值；

x_i,max表示地铁空调系统指标i中数据的最大值；

x′_i表示归一化处理后的地铁空调系统指标i的指标数据。

对归一化后的地铁空调系统指标数据进行平滑滤波处理，所述平滑滤波处理流程为：

对于任意地铁空调系统指标数据序列，确定平滑滤波窗口为n，将地铁空调系统指标数据序列中连续的n个数据作为队列，取队列的算术平均值替换队列的第一个数据。

所述S3步骤中构建地铁空调系统能耗预测模型，包括：

所述地铁空调系统能耗预测模型的输入为预处理后的地铁空调系统指标数据，输出为下一时刻的地铁空调系统能耗预测值，其中地铁空调系统能耗预测模型的预测流程为：

1)将预处理后的地铁空调系统指标数据作为模型输入层的输入值，其中地铁空调系统指标数据为连续的时序数据序列

其中N表示地铁空调系统指标数据中的指标数量，其值为9，t表示指标数据的时间戳信息；在本发明一个具体实施例中，所建立的地铁空调系统能耗预测模型为三层前馈全连接神经网络，包括一个输入层、一个隐藏层以及一个输出层；

2)隐藏层对输入的地铁空调系统指标数据X进行特征映射：

y＝σ(wX+b)

其中：

σ(·)表示激活函数，其中激活函数为Sigmoid函数；

w表示隐藏层中的权重值；

b表示隐藏层中的偏置量；

y表示预测得到的下一时刻的地铁空调系统数据，包括冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量、冷冻水泵流量以及能耗效率、风机的风量；

3)建立地铁空调系统能耗预测模型的损失函数：

其中：

表示以时间戳i为初始时刻，时间戳j为终止时刻的地铁空调系统指标k的数据，在时间戳为j+1时刻的实际值；

表示以时间戳i为初始时刻，时间戳j为终止时刻的地铁空调系统指标k的数据，在时间戳为j+1时刻的预测值；

N表示地铁空调系统指标数据中的指标数量；

4)利用梯度下降算法对隐藏层中的参数进行更新，参数更新公式如下：

其中：

α为学习率，将其设置为0.6；

重复上述更新步骤，直到损失函数值Loss达到最小，此时的隐藏层参数即为训练得到的隐藏层参数，完成模型训练；

5)将训练得到的隐藏层参数对初始隐藏层参数进行替换，将地铁空调系统指标数据X作为隐藏层的输入，得到冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量、冷冻水泵流量以及能耗效率、风机的风量在下一时刻的预测值；

6)将下一时刻的地铁空调系统指标数据作为地铁空调系统能耗模型的参数，计算得到地铁空调系统能耗预测值。

所述S4步骤中，以地铁空调系统能耗预测值最小为训练目标，利用ActorCritic算法对地铁空调风-水系统进行训练，得到地铁空调风-水系统的实时控制动作，包括：

将地铁空调风-水系统作为强化学习智能体，其中地铁空调风-水系统包括地铁空调中的风机、冷冻水泵以及冷却水泵，强化学习智能体中的智能体所采取的策略动作为控制风机的送风量、冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量以及冷冻水泵流量；

所述利用ActorCritic算法对强化学习智能体进行训练的流程为：

1)初始化强化学习Actor网络π(s,θ)以及Critic网络q(s,a)的参数θ，j＝0，并获取当前地铁空调风-水系统的状态s₀，其中s表示地铁空调风-水系统的运行状态，包括系统能耗值、风机的送风量、冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量以及冷冻水泵流量，a表示强化学习智能体执行的策略动作，所述Actor网络π(s,θ)将地铁空调风-水系统状态s映射到策略动作a，Critic网络q(s,a)执行策略动作a，并得到策略动作价值value；

2)Actor网络π(s,θ)根据当前状态s_j，利用地铁空调系统能耗预测模型生成一组下一时刻的策略动作a_i，i的初始值为0，并向策略动作a_i中添加随机噪声ξ；

3)Critic网络q(s,a)接收策略动作a_i，并生成对应策略动作的value_i值：

value_i＝1/P(a_i)

其中：

P(a_i)表示执行策略动作a_i后，地铁空调风-水系统的能耗值；

4)重复步骤2)-3)，直到i＝u-1，其中u为预设值的最大预测步长，得到步长为u的策略动作组以及策略动作总价值，其中策略动作组为连续的策略动作集合{a₀,a₁,…,a_u-1}，策略动作总价值为

5)重复步骤4)，直到得到m组策略动作组，将m设置为15，选取策略动作总价值最高的策略动作组中的策略动作a₀作为实际策略动作a′；

6)将实际策略动作a′作为地铁空调系统实际控制动作，地铁空调风-水系统执行实际控制动作，得到下一时刻的地铁空调系统指标数据，更新当前地铁空调风-水系统状态s_j+1以及参数θ，并返回步骤2)，所述参数θ的更新公式为：

θ′←δθ+(1-δ)θ′

其中：

δ为软更新系数，将其设置为0.8。

相对于现有技术，本发明提出一种基于ActorCritic算法的地铁空调系统节能控制方法，该技术具有以下优势：

首先，本方案采用三层前馈全连接神经网络构建地铁空调系统能耗预测模型，将地铁空调系统指标数据序列作为模型输入，所建立地铁空调系统能耗预测模型的损失函数为：

其中：

表示以时间戳i为初始时刻，时间戳j为终止时刻的地铁空调系统指标k的数据，在时间戳为j+1时刻的实际值；

表示以时间戳i为初始时刻，时间戳j为终止时刻的地铁空调系统指标k的数据，在时间戳为j+1时刻的预测值；N表示地铁空调系统指标数据中的指标数量；利用梯度下降算法对隐藏层中的参数进行更新，参数更新公式如下：

其中：α为学习率；重复上述更新步骤，直到损失函数值Loss达到最小，此时的隐藏层参数即为训练得到的隐藏层参数，完成模型训练；将训练得到的隐藏层参数对初始隐藏层参数进行替换，将地铁空调系统指标数据X作为隐藏层的输入，得到冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量、冷冻水泵流量以及能耗效率、风机的风量在下一时刻的预测值；将下一时刻的地铁空调系统指标数据作为地铁空调系统能耗模型的参数，计算得到地铁空调系统能耗预测值，从而实现地铁空调系统能耗的实时预测。

同时，本方案提出一种基于ActorCritic算法的强化学习策略，将地铁空调风-水系统作为强化学习智能体，其中地铁空调风-水系统包括地铁空调中的风机、冷冻水泵以及冷却水泵，强化学习智能体中的智能体所采取的策略动作为控制风机的送风量、冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量以及冷冻水泵流量，通过将训练完成的地铁空调系统能耗预测模型作为离线训练强化学习智能体的模拟环境，减少了智能体的学习时间，所述强化学习流程为：初始化强化学习Actor网络π(s,θ)以及Critic网络q(s,a)的参数θ，j＝0，并获取当前地铁空调风-水系统的状态s₀，其中s表示地铁空调风-水系统的运行状态，包括系统能耗值、风机的送风量、冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量以及冷冻水泵流量，a表示强化学习智能体执行的策略动作，所述Actor网络π(s,θ)将地铁空调风-水系统状态s映射到策略动作a，Critic网络q(s,a)执行策略动作a，并得到策略动作价值value；Actor网络π(s,θ)根据当前状态s_j，利用地铁空调系统能耗预测模型生成一组下一时刻的策略动作a_i，i的初始值为0，并向策略动作a_i中添加随机噪声ξ；Critic网络q(s,a)接收策略动作a_i，并生成对应策略动作的value_i值：

value_i＝1/P(a_i)

其中：P(a_i)表示执行策略动作a_i后，地铁空调风-水系统的能耗值；重复步骤上述算法步骤，直到i＝u-1，其中u为预设值的最大预测步长，得到步长为u的策略动作组以及策略动作总价值，其中策略动作组为连续的策略动作集合{a₀,a₁,…,a_u-1}，策略动作总价值为

并重复该步骤，直到得到m组策略动作组，选取策略动作总价值最高的策略动作组中的策略动作a₀作为实际策略动作a′，因此算法每次都能够选择更高价值的数据进行训练，提高了强化学习算法的学习效率；将实际策略动作a′作为地铁空调系统实际控制动作，地铁空调风-水系统执行实际控制动作，得到下一时刻的地铁空调系统指标数据，更新当前地铁空调风-水系统状态s_j+1以及参数θ，在本方案中，策略动作的价值越大，其带来的空调能耗越小，通过强化学习算法的算法迭代，实现地铁空调系统的实时节能控制。

附图说明

图1为本发明一实施例提供的一种基于ActorCritic算法的地铁空调系统节能控制方法的流程示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

S1：建立地铁空调系统能耗模型，所述建立地铁空调系统能耗模型包括建立冷冻水泵能耗模型以及冷却水泵能耗模型、建立风机能耗模型。

所述S1步骤中建立冷冻水泵能耗模型以及冷却水泵能耗模型，包括：

所建立的地铁空调系统能耗模型中的冷冻水泵能耗模型为：

其中：

P_e为地铁空调系统中冷冻水泵的能耗；

m_e为冷冻水泵的实际流量；

H_e为冷冻水泵的扬程；

g_e为冷冻水泵的流量扬程系数，将其设置为0.8；

η_e为冷冻水泵的能耗效率；

所建立的地铁空调系统能耗模型中的冷却水泵能耗模型为：

P_r＝Q_rη_rTemp_r(Temp_CH-Temp_CW)

其中：

P_r为地铁空调系统中冷却水泵的能耗；

Q_r为冷却水泵的额定制冷量；

Temp_r为温度调节系数；

Temp_CH为冷却水泵中冷却水供水温度；

Temp_CW为冷冻水泵中冷冻水供水温度。

所述S1步骤中建立风机能耗模型，包括：

所建立的地铁空调系统中的风机能耗模型为：

其中：

P_t为地铁空调系统中风机的能耗；

m_t为风机的实际风量；

H_t为风机的风压；

g_t为风机的风量风压系数，将其设置为0.7；

η_t为风机的能耗效率。

所述S1步骤中建立地铁空调系统能耗模型，包括：

地铁空调系统中包括15个组合式空调箱，每个组合式空调箱都具有一个风机，两个冷冻水泵以及两个冷却水泵，则地铁空调系统的整体能耗模型为：

P＝P_e+P_r+P_t

其中：

P_e为地铁空调系统中冷冻水泵的能耗；

P_r为地铁空调系统中冷却水泵的能耗；

P_t为地铁空调系统中风机的能耗。

S2：采集地铁空调系统指标数据，并对地铁空调系统指标数据进行预处理，得到预处理后的地铁空调系统指标数据集合。

所述S2步骤中采集地铁空调系统指标数据，并对地铁空调系统指标数据进行预处理，包括：

采集地铁空调系统指标数据

其中N表示地铁空调系统指标数据中的指标数量，t表示指标数据的时间戳信息，所述地铁空调系统指标包括室外温度、站台温度、冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量、冷冻水泵流量以及能耗效率、风机的风量以及频率；

对地铁空调系统指标数据进行归一化处理：

其中：

x_i表示地铁空调系统指标i的指标数据；

x_i,min表示地铁空调系统指标i中数据的最小值；

x_i,max表示地铁空调系统指标i中数据的最大值；

x′_i表示归一化处理后的地铁空调系统指标i的指标数据。

对归一化后的地铁空调系统指标数据进行平滑滤波处理，所述平滑滤波处理流程为：

对于任意地铁空调系统指标数据序列，确定平滑滤波窗口为n，将地铁空调系统指标数据序列中连续的n个数据作为队列，取队列的算术平均值替换队列的第一个数据。

S3：以地铁空调系统指标数据为输入，下一时刻的地铁空调系统能耗预测值为输出，构建地铁空调系统能耗预测模型。

所述S3步骤中构建地铁空调系统能耗预测模型，包括：

所述地铁空调系统能耗预测模型的输入为预处理后的地铁空调系统指标数据，输出为下一时刻的地铁空调系统能耗预测值，其中地铁空调系统能耗预测模型的预测流程为：

1)将预处理后的地铁空调系统指标数据作为模型输入层的输入值，其中地铁空调系统指标数据为连续的时序数据序列

其中N表示地铁空调系统指标数据中的指标数量，其值为9，t表示指标数据的时间戳信息；在本发明一个具体实施例中，所建立的地铁空调系统能耗预测模型为三层前馈全连接神经网络，包括一个输入层、一个隐藏层以及一个输出层；

2)隐藏层对输入的地铁空调系统指标数据X进行特征映射：

y＝σ(wX+b)

其中：

σ(·)表示激活函数，其中激活函数为Sigmoid函数；

w表示隐藏层中的权重值；

b表示隐藏层中的偏置量；

y表示预测得到的下一时刻的地铁空调系统数据，包括冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量、冷冻水泵流量以及能耗效率、风机的风量；

3)建立地铁空调系统能耗预测模型的损失函数：

其中：

表示以时间戳i为初始时刻，时间戳j为终止时刻的地铁空调系统指标k的数据，在时间戳为j+1时刻的实际值；

表示以时间戳i为初始时刻，时间戳j为终止时刻的地铁空调系统指标k的数据，在时间戳为j+1时刻的预测值；

N表示地铁空调系统指标数据中的指标数量；

4)利用梯度下降算法对隐藏层中的参数进行更新，参数更新公式如下：

其中：

α为学习率，将其设置为0.6；

重复上述更新步骤，直到损失函数值Loss达到最小，此时的隐藏层参数即为训练得到的隐藏层参数，完成模型训练；

5)将训练得到的隐藏层参数对初始隐藏层参数进行替换，将地铁空调系统指标数据X作为隐藏层的输入，得到冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量、冷冻水泵流量以及能耗效率、风机的风量在下一时刻的预测值；

6)将下一时刻的地铁空调系统指标数据作为地铁空调系统能耗模型的参数，计算得到地铁空调系统能耗预测值。

S4：将地铁空调风-水系统作为强化学习智能体，以地铁空调系统能耗预测值最小为训练目标，利用ActorCritic算法对强化学习智能体进行训练，得到地铁空调风-水系统的控制动作。

将地铁空调风-水系统作为强化学习智能体，其中地铁空调风-水系统包括地铁空调中的风机、冷冻水泵以及冷却水泵，强化学习智能体中的智能体所采取的策略动作为控制风机的送风量、冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量以及冷冻水泵流量；

所述利用ActorCritic算法对强化学习智能体进行训练的流程为：

1)初始化强化学习Actor网络π(s,θ)以及Critic网络q(s,a)的参数θ，j＝0，并获取当前地铁空调风-水系统的状态s₀，其中s表示地铁空调风-水系统的运行状态，包括系统能耗值、风机的送风量、冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量以及冷冻水泵流量，a表示强化学习智能体执行的策略动作，所述Actor网络π(s,θ)将地铁空调风-水系统状态s映射到策略动作a，Critic网络q(s,a)执行策略动作a，并得到策略动作价值value；

2)Actor网络π(s,θ)根据当前状态s_j，利用地铁空调系统能耗预测模型生成一组下一时刻的策略动作a_i，i的初始值为0，并向策略动作a_i中添加随机噪声ξ；

3)Critic网络q(s,a)接收策略动作a_i，并生成对应策略动作的value_i值：

value_i＝1/P(a_i)

其中：

P(a_i)表示执行策略动作a_i后，地铁空调风-水系统的能耗值；

4)重复步骤2)-3)，直到i＝u-1，其中u为预设值的最大预测步长，得到步长为u的策略动作组以及策略动作总价值，其中策略动作组为连续的策略动作集合{a₀,a₁,…,a_u-1}，策略动作总价值为

5)重复步骤4)，直到得到m组策略动作组，将m设置为15，选取策略动作总价值最高的策略动作组中的策略动作a₀作为实际策略动作a′；

6)将实际策略动作a′作为地铁空调系统实际控制动作，地铁空调风-水系统执行实际控制动作，得到下一时刻的地铁空调系统指标数据，更新当前地铁空调风-水系统状态s_j+1以及参数θ，并返回步骤2)，所述参数θ的更新公式为：

θ′←δθ+(1-δ)θ′

其中：

δ为软更新系数，将其设置为0.8。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于ActorCritic算法的地铁空调系统节能控制方法，其特征在于，所述方法包括：

S1：建立地铁空调系统能耗模型，所述建立地铁空调系统能耗模型包括建立冷冻水泵能耗模型以及冷却水泵能耗模型、建立风机能耗模型；

S2：采集地铁空调系统指标数据，并对地铁空调系统指标数据进行预处理，得到预处理后的地铁空调系统指标数据集合；

S3：以地铁空调系统指标数据为输入，下一时刻的地铁空调系统能耗预测值为输出，构建地铁空调系统能耗预测模型；

S4：将地铁空调风-水系统作为强化学习智能体，以地铁空调系统能耗预测值最小为训练目标，利用ActorCritic算法对强化学习智能体进行训练，得到地铁空调风-水系统的控制动作。

2.如权利要求1所述的一种基于ActorCritic算法的地铁空调系统节能控制方法，其特征在于，所述S1步骤中建立冷冻水泵能耗模型以及冷却水泵能耗模型，包括：

所建立的地铁空调系统能耗模型中的冷冻水泵能耗模型为：

其中：

P_e为地铁空调系统中冷冻水泵的能耗；

m_e为冷冻水泵的实际流量；

H_e为冷冻水泵的扬程；

g_e为冷冻水泵的流量扬程系数，将其设置为0.8；

η_e为冷冻水泵的能耗效率；

所建立的地铁空调系统能耗模型中的冷却水泵能耗模型为：

P_r＝Q_rη_rTemp_r(Temp_CH-Temp_CW)

其中：

P_r为地铁空调系统中冷却水泵的能耗；

Q_r为冷却水泵的额定制冷量；

Temp_r为温度调节系数；

Temp_CH为冷却水泵中冷却水供水温度；

Temp_CW为冷冻水泵中冷冻水供水温度。

3.如权利要求1所述的一种基于ActorCritic算法的地铁空调系统节能控制方法，其特征在于，所述S1步骤中建立风机能耗模型，包括：

所建立的地铁空调系统中的风机能耗模型为：

其中：

P_t为地铁空调系统中风机的能耗；

m_t为风机的实际风量；

H_t为风机的风压；

g_t为风机的风量风压系数，将其设置为0.7；

η_t为风机的能耗效率。

4.如权利要求2-3所述的一种基于ActorCritic算法的地铁空调系统节能控制方法，其特征在于，所述S1步骤中建立地铁空调系统能耗模型，包括：

地铁空调系统中包括15个组合式空调箱，每个组合式空调箱都具有一个风机，两个冷冻水泵以及两个冷却水泵，则地铁空调系统的整体能耗模型为：

P＝P_e+P_r+P_t

其中：

P_e为地铁空调系统中冷冻水泵的能耗；

P_r为地铁空调系统中冷却水泵的能耗；

P_t为地铁空调系统中风机的能耗。

5.如权利要求4所述的一种基于ActorCritic算法的地铁空调系统节能控制方法，其特征在于，所述S2步骤中采集地铁空调系统指标数据，并对地铁空调系统指标数据进行预处理，包括：

采集地铁空调系统指标数据

其中N表示地铁空调系统指标数据中的指标数量，t表示指标数据的时间戳信息；

对地铁空调系统指标数据进行归一化处理：

其中：

x_i表示地铁空调系统指标i的指标数据；

x_i,min表示地铁空调系统指标i中数据的最小值；

x_i,max表示地铁空调系统指标i中数据的最大值；

x′_i表示归一化处理后的地铁空调系统指标i的指标数据。

6.如权利要求5所述的一种基于ActorCritic算法的地铁空调系统节能控制方法，其特征在于，

对归一化后的地铁空调系统指标数据进行平滑滤波处理，所述平滑滤波处理流程为：

对于任意地铁空调系统指标数据序列，确定平滑滤波窗口为n，将地铁空调系统指标数据序列中连续的n个数据作为队列，取队列的算术平均值替换队列的第一个数据。

7.如权利要求6所述的一种基于ActorCritic算法的地铁空调系统节能控制方法，其特征在于，所述S3步骤中构建地铁空调系统能耗预测模型，包括：

所述地铁空调系统能耗预测模型的输入为预处理后的地铁空调系统指标数据，输出为下一时刻的地铁空调系统能耗预测值，其中地铁空调系统能耗预测模型的预测流程为：

1)将预处理后的地铁空调系统指标数据作为模型输入层的输入值，其中地铁空调系统指标数据为连续的时序数据序列

其中N表示地铁空调系统指标数据中的指标数量，其值为9，t表示指标数据的时间戳信息；

2)隐藏层对输入的地铁空调系统指标数据X进行特征映射：

y＝σ(wX+b)

其中：

σ(·)表示激活函数，其中激活函数为Sigmoid函数；

w表示隐藏层中的权重值；

b表示隐藏层中的偏置量；

y表示预测得到的下一时刻的地铁空调系统数据，包括冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量、冷冻水泵流量以及能耗效率、风机的风量；

3)建立地铁空调系统能耗预测模型的损失函数：

其中：

表示以时间戳i为初始时刻，时间戳j为终止时刻的地铁空调系统指标k的数据，在时间戳为j+1时刻的实际值；

表示以时间戳i为初始时刻，时间戳j为终止时刻的地铁空调系统指标k的数据，在时间戳为j+1时刻的预测值；

N表示地铁空调系统指标数据中的指标数量；

4)利用梯度下降算法对隐藏层中的参数进行更新，参数更新公式如下：

其中：

α为学习率，将其设置为0.6；

重复上述更新步骤，直到损失函数值Loss达到最小，此时的隐藏层参数即为训练得到的隐藏层参数，完成模型训练；

5)将训练得到的隐藏层参数对初始隐藏层参数进行替换，将地铁空调系统指标数据X作为隐藏层的输入，得到冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量、冷冻水泵流量以及能耗效率、风机的风量在下一时刻的预测值；

6)将下一时刻的地铁空调系统指标数据作为地铁空调系统能耗模型的参数，计算得到地铁空调系统能耗预测值。

8.如权利要求7所述的一种基于ActorCritic算法的地铁空调系统节能控制方法，其特征在于，所述S4步骤中，以地铁空调系统能耗预测值最小为训练目标，利用ActorCritic算法对地铁空调风-水系统进行训练，得到地铁空调风-水系统的实时控制动作，包括：

将地铁空调风-水系统作为强化学习智能体，其中地铁空调风-水系统包括地铁空调中的风机、冷冻水泵以及冷却水泵，强化学习智能体中的智能体所采取的策略动作为控制风机的送风量、冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量以及冷冻水泵流量；

所述利用ActorCritic算法对强化学习智能体进行训练的流程为：

1)初始化强化学习Actor网络π(s,θ)以及Critic网络q(s,a)的参数θ，j＝0，并获取当前地铁空调风-水系统的状态s₀，其中s表示地铁空调风-水系统的运行状态，包括系统能耗值、风机的送风量、冷却水泵中冷却水供水温度、冷冻水泵中冷冻水供水温度、冷却水泵制冷量以及冷冻水泵流量，a表示强化学习智能体执行的策略动作；

2)Actor网络π(s,θ)根据当前状态s_j，利用地铁空调系统能耗预测模型生成一组下一时刻的策略动作a_i，i的初始值为0，并向策略动作a_i中添加随机噪声ξ；

3)Critic网络q(s,a)接收策略动作a_i，并生成对应策略动作的value_i值：

value_i＝1/P(a_i)

其中：

P(a_i)表示执行策略动作a_i后，地铁空调风-水系统的能耗值；

4)重复步骤2)-3)，直到i＝u-1，其中u为预设值的最大预测步长，得到步长为u的策略动作组以及策略动作总价值，其中策略动作组为连续的策略动作集合{a₀,a₁,…,a_u-1}，策略动作总价值为

5)重复步骤4)，直到得到m组策略动作组，将m设置为15，选取策略动作总价值最高的策略动作组中的策略动作a₀作为实际策略动作a′；

6)将实际策略动作a′作为地铁空调系统实际控制动作，地铁空调风-水系统执行实际控制动作，得到下一时刻的地铁空调系统指标数据，更新当前地铁空调风-水系统状态s_j+1以及参数θ，并返回步骤2)，所述参数θ的更新公式为：

θ′←δθ+(1-δ)θ′

其中：

δ为软更新系数，将其设置为0.8。

Images