CN108386971A - 中央空调节能自控系统 - Google Patents

Abstract

本发明公开了一种中央空调节能自控系统，包括：数据采集模块，用于采集环境数据、空调机械设备运行状态数据以及空调系统设置参数数据，组成采集数据；数据预处理模块，用于对数据采集模块采集的采集数据依次进行平滑和归一化处理；增强学习模型，用于对预处理后的环境数据、空调机械设备运行状态数据进行计算，输出空调系统的预测设置参数数据，并对预处理后的采集数据进行学习，更新增强学习模型参数；空调自动调控模块，用于通过OPC协议，自动按照增强学习模型输出的预测设置参数数据调整空调系统的设置参数；人为控制模块，用于为用户提供可视化界面和可操作接口，便于用户监控空调系统的运行状况，和根据意愿开启或关停空调系统。

Description

中央空调节能自控系统

技术领域

本发明属于机械自动控制领域，具体涉及一种中央空调节能自控系统。

背景技术

中央空调始终是建筑或者公共场所必不可少的设施。无论是大型商场，地铁站还是写字楼，都需要中央空调控制人体舒适的环境温度以及湿度。中央空调的设置已经必不可少，但是中央空调也常常是重要的耗能设施，其耗电量往往在整个建筑或者公共场所中占到可观的比重。

然而，传统的中央空调控制方式非常粗放，控制简单而且规则死板。例如，常常会遭遇空调过冷，或者过热的情况。实质上是中央空调难以对环境的变化等做出有效及时的调整。空调开得过于冷，不仅会造成人体的不舒适，也会造成大量不必要的电能浪费。

环境本身具有复杂性，比如外界温度和湿度的跨度可能很大，不同商场或者公共场所的热辐射量级差别很大，不同的中央空调功率的不同。这些都使得一个简单高效的控制系统难以用固定的程序语言来描述。

同时，环境具有可变性，突然的人流量的增加，以及外界温度的突然变化等情况都会要求中央空调能够做出及时的调整，从而维持最舒适和高效的运行状态。然而，变化的多样性和复杂性使得编写固定的程序非常困难。

增强学习是机器学习的一个重要领域。它借鉴心理学和神经科学对动物行为的研究，通过观察环境做出相应的行为，以获得更高的奖励。增强学习方法具有普适性，在博弈论，控制论，运筹学等领域都有直接应用。然而，增强学习系统往往面临一个复杂的任务，他们往往需要从高维的传感器输入中获得环境的表示，通过过去的经验来试图适应新的环境。然而，增强学习训练上的不稳定往往限制了增强学习在高维复杂环境中的应用。

2015年，DeepMind发表论文“Playing Atari with Deep ReinforcementLearning”提出DQN方法。DeepQLearning(DQN)首次有效地将深度学习和增强学习结合，在Atari的诸多游戏中，利用增强学习训练的人工智能达到了人类顶尖玩家的水平。DQN通过targetfunction，experiencereplay以及后续的doubleDQN等技术，大大提升了增强学习训练中的稳定性，从而使得处理高维复杂环境成为了可能。DQN方法的提出，再次掀起了增强学习发展的热潮。2016年DeepMind发表“Continuouscontrolwithdeepreinforcementlearning”提出适用于连续学习的DeepDeterministicPolicyGradient(DDPG)，并且在多个连续控制的机器人问题上获得了顶尖的性能。DDPG同样使用了类似与DQN中的技术，提升了训练连续控制机器人的稳定性。

本系统中，结合了中央空调环境的应用场景，使用DDPG作为核心算法，实现了中央空调的自适应智能调控系统。

发明内容

本发明的目的是提供一种中央空调节能自控系统，该系统能够根据应用场景实时地调控空调的工作状态，为用户提供舒适的空调环境的同时，降低空调的功耗，节省能源。

为实现上述发明目的，本发明提供以下技术方案：

一种中央空调节能自控系统，包括：

数据采集模块，用于采集环境数据、空调机械设备运行状态数据以及空调系统设置参数数据，组成采集数据；

数据预处理模块，用于对数据采集模块采集的采集数据依次进行平滑和归一化处理；

增强学习模型，用于对预处理后的环境数据、空调机械设备运行状态数据进行计算，输出空调系统的预测设置参数数据，并对预处理后的采集数据进行学习，更新增强学习模型参数；

空调自动调控模块，用于通过OPC协议，自动按照增强学习模型输出的预测设置参数数据调整空调系统的设置参数；

人为控制模块，用于为用户提供可视化界面和可操作接口，便于用户监控空调系统的运行状况，和根据意愿开启或关停空调系统。

该系统能够实时根据采集的数据生成能够描述该数据的行为数据，并根据该行为数据实时调控空调系统的设置参数，能够为用户提供满足要求的舒适环境的基础上，控制空调设备处于最优的运行状态，节省能耗。

其中，数据采集模块通过Python语言和OPC协议与空调系统中的硬件设备进行通信，实现数据采集，并将采集数据保存至SQLite数据库。该采集过程简单可靠，且不需要额外的采集设备，避免增加中央空调节能自控系统成本。

具体地，所述的数据采集模块包括：

环境数据采集模块，用于实时获取冷却水出水温度和进水温度、冷冻水的出水温度和进水温度，组成环境数据；

空调机械设备运行状态数据采集模块，用于实时获取冷冻水水泵功率、冷却水水泵功率以及主机功率，组成空调机械设备运行状态数据；

空调系统设置参数数据采集模块，用于实时获取冷冻水水泵频率、冷却水水泵频率以及主机运行组数，组成空调系统设置参数数据。

其中，在数据预处理模块中：

对环境数据、空调机械设备运行状态数据进行平滑和归一化处理后，形成环境状态数据；

对空调系统设置参数数据进行平滑和归一化处理后，形成行为数据。

当该中央空调节能自控系统实时应用的过程中，行为数据即为预测设置参数数据，这种情况下，可以不采集空调系统设置参数数据，直接用增强学习模型输出的预测设置参数数据。

具体地，所述增强学习模型包括评价网络Q(s,a|θ^Q)、行为网络μ(s|θ^μ)、目标评价网络Q’(s,a|θ^Q’)、目标行为网络μ’(s|θ^μ’)，s为环境状态数据，a代表行为数据，θ为网络参数；

增强学习模型的每次迭代的具体过程为：

(a)利用行为网络对输入的t时刻环境状态数据s_t进行计算，输出行为a_t＝μ(S_t|θ^μ)+N_t，其中，中N_t代表一个随机过程，通常使用OU过程作为探索的随机过程，该行为a_t即为预测设置参数；

(b)利用目标行为网络对输入的t+1时刻环境状态数据s_t+1进行计算，输出目标行为a_t+1，并将(环境状态数据s_t，行为a_t，t时刻行为a_t带来的奖励值r_t，目标行为a_t+1)保存入缓存，以便训练的时候从缓存中获取一部分历史数据来训练；

(c)利用目标评价网络对输入的t+1时刻环境状态数据s_t+1和目标行为a_t+1进行计算，输出评价值Q’；

(d)根据评价值Q’和t时刻行为a_t带来的奖励值r_t，利用公式(1)获得目标值y_t；

y_t＝r_t+γQ’(s_t+1,μ’(s_t+1|θ^μ’)|θ^Q’) (1)

(e)利用评价网络对输入t时刻的环境状态数据s_t和t时刻的行为a_t进行计算，输出评价值Q，利用该评价值Q与行为a_t一起更新行为网路的参数；

(f)以目标值y_t与评价值Q的残差作为损失函数L，更新评价网路；

(g)利用更新后的评价网路参数和行为网络参数，更新目标评价网路参数和目标行为网络参数。

该增强学习模型能够根据实时采集数据更新自己的参数，以适配采集数据的特征，较精准地预测下一时刻的预测设置参数。

其中，所述人为控制模块包括：

人为监控模块，用于为用户提供可视化界面，实时呈现冷却水出水温度和进水温度、冷冻水的出水温度和进水温度、冷冻水水泵功率、冷却水水泵功率、主机功率、冷冻水水泵频率、冷却水水泵频率以及主机运行组数；

人为关停模块，用于为用户提供操作接口，直接接收用户输入的开启或关停信息，空调自动调控模块根据开启或关停信息通过OPC协议实现对硬件设备的开启或关停控制。

所述人为监控模块和人为关停模块均通过Qt开发获得。

与现有技术相比，本发明具有的有益效果为：

该系统能够根据应用场景实时地调控空调的运行状态，为用户提供舒适的空调环境的同时，节省能耗。

附图说明

图1是实施例提供的中央空系统调整体拓扑图；

图2是实施例1中的中央空调节能自控系统的结构示意图；

图3是实施例2中增强学习模型的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1是实施例提供的中央空调系统整体拓扑图。如图1所示，中央空调系统包括：主机、冷却水塔、制冷环境、冷却水泵、冷冻水泵、中央空调节能自控系统。中央空调节能自控系统实时获得采集数据，并对采集数据实时计算，输出预测设置参数，并根据该预测设置参数控制冷却水泵和冷冻水泵的运行状态。

图2是图1中中央空调节能自控系统的结构示意图。参见图2本实施例提供的中央空调节能自控系统包括环境数据采集模块201、空调机械设备运行状态数据采集模块202、空调系统设置参数数据采集模块203、数据预处理模块204、增强学习模型205、空调自动调控模块206、人为监控模块207、人为关停模块208。

环境数据采集模块201、空调机械设备运行状态数据采集模块202、空调系统设置参数数据采集模块203均通过Python语言和OPC协议与空调系统中的硬件设备进行通信，实现数据采集，并将采集数据保存至SQLite数据库。

具体地，环境数据采集模块201，用于实时获取冷却水出水温度和进水温度、冷冻水的出水温度和进水温度，组成环境数据。空调机械设备运行状态数据采集模块202，用于实时获取冷冻水水泵功率、冷却水水泵功率以及主机功率，组成空调机械设备运行状态数据。空调系统设置参数数据采集模块203，用于实时获取冷冻水水泵频率、冷却水水泵频率以及主机运行组数，组成空调系统设置参数数据。

为了增强学习模型205的稳定以及使增强学习模型205易于训练，增强学习模型205的输入需要保持在[-1，1]范围内为佳。所以，将采用数据预处理模块204将采集的数据做归一化处理，将原数据范围的数据人为转换到增强学习模型205输入的理想范围。同理增强学习模型205的输出数据范围也为[-1，1]，将增强学习模型205的输入转化为实际的设置参数，也需要将数据转化到实际参数范围。

在数据预处理模块204中：

对环境数据、空调机械设备运行状态数据进行平滑和归一化处理后，形成环境状态数据；

对空调系统设置参数数据进行平滑和归一化处理后，形成行为数据。

数据预处理后，利用处理后的数据对增强学习模型205进行训练。具体过程为：

(1)初始化评价网络Q(s,a|θ^Q)、行为网络μ(s|θ^μ)、目标评价网络Q’(s,a|θ^Q’)、目标行为网络μ’(s|θ^μ’)，s为环境状态数据，a代表行为数据，θ为网络参数，具体地，θ^Q为评价网络参数、θ^μ为行为网络参数、θ^Q’为目标评价网络参数、θ^μ’为目标行为网络参数。

对于行为网络，输入是环境状态数据，输出是行为数据；

对于评价网络，输入是环境状态数据和行为数据，输出评价值，该评价值将在训练过程中作为参考，代码如下：

初始化目标评价网络Q’(s,a|θ^Q’)、目标行为网络μ’(s|θ^μ’)的代码如下：

self.target_q_func:nn.Module＝deepcopy(self.q_func)

self.target_p_func:nn.Module＝deepcopy(self.p_func)

(2)利用行为网络对输入的t时刻环境状态数据s_t进行计算，输出行为a_t＝μ(S_t|θ^μ)+N_t，其中，中N_t代表一个随机过程，通常使用OU(Ornstein–Uhlenbeck)过程作为探索的随机过程，该行为a_t即为预测设置参数；OU过程可以通过以下代码生成：

value＝theta*prev_value+sigma*normal()

(3)做出行为之后，观察t+1的环境状态数据s_t+1和t时刻行为a_t带来的奖励值r_t，将(s_t,a_t,r_t,s_t+1)保存入缓存以便后续进行训练。具体代码为：

#get current state

cur_state＝self.env.getState()

#choose action in step

action＝self.chooseAction(cur_state)

#do action and get reward

reward＝self.env.doAction(action)

#get new state

next_state＝self.env.getState()

self.replay.push(cur_state,action,reward,next_state)

(4)从缓存中取出一部分数据进行训练，具体地，

首先，利用目标行为网络对输入的t+1时刻环境状态数据s_t+1进行计算，输出目标行为a_t+1；

然后，利用目标评价网络对输入的t+1时刻环境状态数据S_t+1和目标行为a_t+1进行计算，输出评价值Q’；

最后，根据评价值Q’和t时刻行为a_t带来的奖励值r_t，利用公式(1)获得目标值y_t；

y_t＝r_t+γQ’(s_t+1,μ’(s_t+1|θ^μ’)|θ^Q’) (1)

具体代码如下：

#calc target value estimate and loss

#choose action by stable model

next_action＝self.target_p_func(next_x)

#get next value by stable model

next_output＝self.target_q_func(

next_x,next_action

).data

y＝reward+gamma*next_output

(5)利用评价网络对输入t时刻的环境状态数据s_t和t时刻的行为a_t进行计算，输出评价值Q，利用该评价值Q与行为a_t一起更新行为网路的参数，具体代码为：

loss＝self.q_func(prev_x,self.p_func(prev_x))

loss.backward()

optim.step()

(6)以目标值y_t与评价值Q的残差作为损失函数L，更新评价网路，具体代码如下：

output＝self.q_func(prev_x,prev_action)

loss＝self.criterion(output,y)

loss.backward()

optim.step()

(7)利用更新后的评价网路参数和行为网络参数，更新目标评价网路参数和目标行为网络参数，具体代码如下：

self.target_critic＝(1-alpha)*self.target_critic+alpha*self.critic

self.target_actor＝(1–alpha)*self.target_actor+alpha*self.actor

当增强学习模型205输出空调系统的预测设置参数数据后，空调自动调控模块207通过OPC协议，自动按照增强学习模型205输出的预测设置参数数据调整空调系统的设置参数。

此外，本实施例中，人为监控模块206为用户提供可视化界面，实时呈现冷却水出水温度和进水温度、冷冻水的出水温度和进水温度、冷冻水水泵功率、冷却水水泵功率、主机功率、冷冻水水泵频率、冷却水水泵频率以及主机运行组数；这样用户能够实时获得系统运行状态。

人为关停模块208为用户提供操作接口，直接接收用户输入的开启或关停信息，空调自动调控模块207根据开启或关停信息通过OPC协议实现对硬件设备的开启或关停控制。让维护人员在感到系统运行异常的情况下，紧急关停自动控制系统，并且迅速地人工进行调整，或者使用安全设置。

本实施例提供的系统能够实时根据采集的数据生成能够描述该数据的行为数据，并根据该行为数据实时调控空调系统的设置参数，能够为用户提供满足要求的舒适环境的基础上，控制空调设备处于最优的运行状态，节省能耗。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种中央空调节能自控系统，其特征在于，包括：

数据采集模块，用于采集环境数据、空调机械设备运行状态数据以及空调系统设置参数数据，组成采集数据；

数据预处理模块，用于对数据采集模块采集的采集数据依次进行平滑和归一化处理；

增强学习模型，用于对预处理后的环境数据、空调机械设备运行状态数据进行计算，输出空调系统的预测设置参数数据，并对预处理后的采集数据进行学习，更新增强学习模型参数；

空调自动调控模块，用于通过OPC协议，自动按照增强学习模型输出的预测设置参数数据调整空调系统的设置参数；

人为控制模块，用于为用户提供可视化界面和可操作接口，便于用户监控空调系统的运行状况，和根据意愿开启或关停空调系统。

2.如权利要求1所述的中央空调节能自控系统，其特征在于，数据采集模块通过Python语言和OPC协议与空调系统中的硬件设备进行通信，实现数据采集，并将采集数据保存至SQLite数据库。

3.如权利要求1所述的中央空调节能自控系统，其特征在于，所述的数据采集模块包括：

环境数据采集模块，用于实时获取冷却水出水温度和进水温度、冷冻水的出水温度和进水温度，组成环境数据；

空调机械设备运行状态数据采集模块，用于实时获取冷冻水水泵功率、冷却水水泵功率以及主机功率，组成空调机械设备运行状态数据；

空调系统设置参数数据采集模块，用于实时获取冷冻水水泵频率、冷却水水泵频率以及主机运行组数，组成空调系统设置参数数据。

4.如权利要求1所述的中央空调节能自控系统，其特征在于，在数据预处理模块中：

对环境数据、空调机械设备运行状态数据进行平滑和归一化处理后，形成环境状态数据；

对空调系统设置参数数据进行平滑和归一化处理后，形成行为数据。

5.如权利要求1所述的中央空调节能自控系统，其特征在于，所述增强学习模型包括评价网络Q(s,a|θ^Q)、行为网络μ(s|θ^μ)、目标评价网络Q’(s,a|θ^Q’)、目标行为网络μ’(s|θ^μ’)，s为环境状态数据，a代表行为数据，θ为网络参数；

增强学习模型的每次迭代的具体过程为：

(a)利用行为网络对输入的t时刻环境状态数据s_t进行计算，输出行为a_t＝μ(S_t|θ^μ)+N_t，其中，中N_t代表一个随机过程，通常使用OU过程作为探索的随机过程，该行为a_t即为预测设置参数；

(b)利用目标行为网络对输入的t+1时刻环境状态数据s_t+1进行计算，输出目标行为a_t+1，并将(环境状态数据s_t，行为a_t，t时刻行为a_t带来的奖励值r_t，目标行为a_t+1)保存入缓存，以便训练的时候从缓存中获取一部分历史数据来训练；

(c)利用目标评价网络对输入的t+1时刻环境状态数据s_t+1和目标行为a_t+1进行计算，输出评价值Q’；

(d)根据评价值Q’和t时刻行为a_t带来的奖励值r_t，利用公式(1)获得目标值y_t；

y_t＝r_t+γQ’(s_t+1,μ’(s_t+1|θ^μ’)|θ^Q’) (1)

(e)利用评价网络对输入t时刻的环境状态数据s_t和t时刻的行为a_t进行计算，输出评价值Q，利用该评价值Q与行为a_t一起更新行为网路的参数；

(f)以目标值y_t与评价值Q的残差作为损失函数L，更新评价网路；

(g)利用更新后的评价网路参数和行为网络参数，更新目标评价网路参数和目标行为网络参数。

6.如权利要求1所述的中央空调节能自控系统，其特征在于，所述人为控制模块包括：

人为监控模块，用于为用户提供可视化界面，实时呈现冷却水出水温度和进水温度、冷冻水的出水温度和进水温度、冷冻水水泵功率、冷却水水泵功率、主机功率、冷冻水水泵频率、冷却水水泵频率以及主机运行组数；

人为关停模块，用于为用户提供操作接口，直接接收用户输入的开启或关停信息，空调自动调控模块根据开启或关停信息通过OPC协议实现对硬件设备的开启或关停控制。

7.如权利要求6所述的中央空调节能自控系统，其特征在于，所述人为监控模块和人为关停模块均通过Qt开发获得。