CN115585541A - 空调机房系统的控制方法及装置、电子设备及存储介质 - Google Patents

空调机房系统的控制方法及装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115585541A
CN115585541A CN202211211817.4A CN202211211817A CN115585541A CN 115585541 A CN115585541 A CN 115585541A CN 202211211817 A CN202211211817 A CN 202211211817A CN 115585541 A CN115585541 A CN 115585541A
Authority
CN
China
Prior art keywords
value
air conditioner
target state
state variable
conditioner room
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211211817.4A
Other languages
English (en)
Inventor
林治强
王旭
尹小旭
牛家赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jixin Taifu Electromechanical Technology Co ltd
Original Assignee
Beijing Jixin Taifu Electromechanical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jixin Taifu Electromechanical Technology Co ltd filed Critical Beijing Jixin Taifu Electromechanical Technology Co ltd
Priority to CN202211211817.4A priority Critical patent/CN115585541A/zh
Publication of CN115585541A publication Critical patent/CN115585541A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F24F11/64—Electronic processing using pre-stored data
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/88—Electrical aspects, e.g. circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

本公开涉及一种空调机房系统的控制方法，根据空调机房系统多个设备的不同状态变量之间的耦合关系和相关系数，从空调机房系统的所有状态变量中选取预设数量的状态变量作为目标状态变量；根据目标状态变量构建强化学习模型，其中，所述强化学习模型包括策略学习网络和价值评估网络；以目标状态变量的历史值作为输入，以与目标状态变量的历史值对应的空调机房系统的历史控制参数作为输出，训练所述强化学习模型；获取空调机房系统的目标状态变量的当前值，并将其输入训练好的强化学习模型中，输出空调机房系统的当前控制参数，利用空调机房系统中多个设备的数据变量之间的耦合关系进行强化学习的建模，达到多个设备的数据协同控制的目标。

Description

空调机房系统的控制方法及装置、电子设备及存储介质
技术领域
本公开涉及机房控制技术领域，尤其涉及一种空调机房系统的控制方法及装置、电子设备及存储介质。
背景技术
空调机房系统由冷水机组、水泵机组、冷却塔等多个子系统组成，系统的控制涉及多设备数据的协同处理和优化，现有技术中，是将问题建模成多目标优化问题进而求解。
然而，将问题建模成多目标优化问题进而求解，实现复杂，泛化性不强，不利于后续系统控制策略的调节和改进。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种空调机房系统的控制方法及装置、电子设备及存储介质。
第一方面，本公开的实施例提供了一种空调机房系统的控制方法，所述方法包括：
根据空调机房系统多个设备的不同状态变量之间的耦合关系和相关系数，从空调机房系统的所有状态变量中选取预设数量的状态变量作为目标状态变量；
根据目标状态变量构建强化学习模型，其中，所述强化学习模型包括策略学习网络和价值评估网络；
以目标状态变量的历史值作为输入，以与目标状态变量的历史值对应的空调机房系统的历史控制参数作为输出，训练所述强化学习模型；
获取空调机房系统的目标状态变量的当前值，并将其输入训练好的强化学习模型中，输出空调机房系统的当前控制参数。
在一种可能的实施方式中，所述预设数量通过主成分分析方法确定。
在一种可能的实施方式中，通过以下表达式，计算所述不同状态变量之间的相关系数：
Figure BDA0003875354050000011
其中，rxy为两个状态变量x，y之间的相关系数，cov(x，y)为两个状态变量x，y之间的协方差，σx为状态变量x的标准差，σy为状态变量y的标准差。
在一种可能的实施方式中，所述以目标状态变量的历史值作为输入，以与目标状态变量的历史值对应的空调机房系统的历史控制参数作为输出，训练所述强化学习模型，包括：
获取t时刻的目标状态变量的历史值，利用贪心策略确定对应的动作信息，将所述动作信息作为空调机房系统的运行参数，得到t+1时刻的目标状态变量数据和即时回报数据，收集到数据池中；
将数据池中的t时刻的目标状态变量的历史值、t+1时刻的目标状态变量数据和即时回报数据作为输入，将用作空调机房系统的控制参数的动作信息作为输出，训练所述强化学习模型。
在一种可能的实施方式中，所述将数据池中的t时刻的目标状态变量的历史值、t+1时刻的目标状态变量数据和即时回报数据作为输入，将用作空调机房系统的控制参数的动作信息作为输出，训练所述强化学习模型，包括：
将数据池中的t时刻的目标状态变量的历史值输入策略学习网络，输出t时刻采取动作的动作信息，从数据池中获取与t时刻的目标状态变量的历史值和采取动作的动作信息对应的、t+1时刻的目标状态变量数据和t+1时刻即时回报数据；
将t时刻采取动作的动作信息输入价值评估网络，得到t时刻的行动价值以及策略学习网络参数的梯度变化值；
将t+1时刻的目标状态变量数据输入策略学习网络，输出t+1时刻采取动作的动作信息，将t+1时刻的动作信息输入价值评估网络，得到t+1时刻的行动价值；
根据t时刻的行动价值、t+1时刻的行动价值以及t+1时刻即时回报计算价值评估网络的损失值，在损失值大于预设阈值时，调整价值评估网络的参数，并根据所述策略学习网络参数的梯度变化值更新策略学习网络的参数，直到损失值小于预设阈值为止。
在一一种可能的实施方式中，通过以下表达式，得到所述策略学习网络参数的梯度变化值：
Figure BDA0003875354050000021
其中，
Figure BDA0003875354050000022
为训练样本数量为N时，策略学习网络参数的梯度变化值，N为训练样本的数量，
Figure BDA0003875354050000023
为在目标状态变量为si，行动信息为ai的情况下，价值评估网络模型对行动参数的求导值，
Figure BDA0003875354050000024
为在目标状态变量为si的情况下，价值评估网络输出的策略学习网络参数的梯度变化值，i取值为1，2……N。
在一种可能的实施方式中，通过以下表达式，根据t时刻的行动价值、t+1时刻的行动价值以及t+1时刻即时回报计算价值评估网络的损失值：
Figure BDA0003875354050000025
其中，L为价值评估网络的损失值，N为训练样本的数量，rt+1为t+1时刻即时回报，Q′(st+1，μ′(st+1|θμ′)|θQ′)为t+1时刻的行动价值，Q(st，at|θQ)为t时刻的行动价值，γ为折现因子。
第二方面，本公开的实施例提供了一种空调机房系统的控制装置，包括：
选取模块，用于根据空调机房系统多个设备的不同状态变量之间的耦合关系和相关系数，从空调机房系统的所有状态变量中选取预设数量的状态变量作为目标状态变量；
构建模块，用于根据目标状态变量构建强化学习模型，其中，所述强化学习模型包括策略学习网络和价值评估网络；
训练模块，用于以目标状态变量的历史值作为输入，以与目标状态变量的历史值对应的空调机房系统的历史控制参数作为输出，训练所述强化学习模型；
输出模块，用于获取空调机房系统的目标状态变量的当前值，并将其输入训练好的强化学习模型中，输出空调机房系统的当前控制参数。
第三方面，本公开的实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的空调机房系统的控制方法。
第四方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的空调机房系统的控制方法。
本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部：
本公开实施例所述的空调机房系统的控制方法，根据空调机房系统多个设备的不同状态变量之间的耦合关系和相关系数，从空调机房系统的所有状态变量中选取预设数量的状态变量作为目标状态变量；根据目标状态变量构建强化学习模型，其中，所述强化学习模型包括策略学习网络和价值评估网络；以目标状态变量的历史值作为输入，以与目标状态变量的历史值对应的空调机房系统的历史控制参数作为输出，训练所述强化学习模型；获取空调机房系统的目标状态变量的当前值，并将其输入训练好的强化学习模型中，输出空调机房系统的当前控制参数，利用空调机房系统中多个设备的数据变量之间的耦合关系进行强化学习的建模，达到多个设备的数据协同控制的目标。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出了根据本公开实施例的空调机房系统的控制方法的流程示意图；
图2示意性示出了根据本公开实施例的另一空调机房系统的控制方法的流程示意图；
图3示意性示出了根据本公开实施例的空调机房系统的控制装置的结构框图；以及
图4示意性示出了根据本公开实施例的电子设备的结构框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
参见图1，本公开的实施例提供了一种空调机房系统的控制方法，所述方法包括：
S1，根据空调机房系统多个设备的不同状态变量之间的耦合关系和相关系数，从空调机房系统的所有状态变量中选取预设数量的状态变量作为目标状态变量；
S2，根据目标状态变量构建强化学习模型，其中，所述强化学习模型包括策略学习网络和价值评估网络；
S3，以目标状态变量的历史值作为输入，以与目标状态变量的历史值对应的空调机房系统的历史控制参数作为输出，训练所述强化学习模型；
S4，获取空调机房系统的目标状态变量的当前值，并将其输入训练好的强化学习模型中，输出空调机房系统的当前控制参数。
在本实施例中，步骤S1中，所述预设数量通过主成分分析方法确定。
在本实施例中，通过以下表达式，计算所述不同状态变量之间的相关系数：
Figure BDA0003875354050000041
其中，rxy为两个状态变量x，y之间的相关系数，cov(x，y)为两个状态变量x，y之间的协方差，σx为状态变量x的标准差，σy为状态变量y的标准差。
在一些实施例中，空调机房系统涉及的数据变量非常多，空调运行能耗、负荷等的计算推测，与冷冻水和冷却水的进水温度和出水温度、冷冻水和冷却水的流量等变量关系密切，此外，冷却水冷冻水的水泵转速、冷却塔风扇转速、运行数量等变量则更容易操作和调整，空调系统本身的能耗、环境温度也是重要的变量。
为了提高强化学习模型学习的效率，分析多个设备的数据变量之间的关系，通过主成分分析方法、不同状态变量之间的耦合关系和相关系数对模型中实际用到的变量进行精简化处理，其中，耦合关系包括计算关系，在主成分分析过程中，选择方差贡献率总和大于99％的主成分的数目k作为主要变量的数目。
水泵机组、冷却塔的相关参数控制着冷却水、冷冻水的温度变化和流量，因此这些变量之间有较强的相关性，在机房系统控制中，设定好冷却水、冷冻水的出水温度，可以根据变量间的物理变换关系得到水泵、冷却塔的转速等，因此，在模型建模中仅考虑冷却水、冷冻水的进出水温度即可。
冷却水的进出水温度有很强的相关性，冷冻水的进出水温度也是如此，这个通过热量变换公式解释：Q冷冻＝CmΔt冷冻＝Cm(tout-tin)，由此可见，水的比热容是固定的，当热量变换和流量基本固定时，冷冻水的进出水温度具有极强的线性，因此，在建模时可以只选择出水温度或者进水温度。
在强化学习模型建模中，选择的状态量可以是：冷冻水出水温度teo，冷却水进水温度tci，冷冻水流量qe，冷却水流量qc，空调系统功率P，环境温度To和室温Ti，这7个变量组成的一组状态向量s＝(teo，tci，qe，qc，P，To，Ti)T。
根据选择的状态变量可以确定相应的动作信息变量，包括冷冻水出水温度和冷却水进水温度的设定值调整，即
Figure BDA0003875354050000051
参见图2，在本实施例中，步骤S3中，所述以目标状态变量的历史值作为输入，以与目标状态变量的历史值对应的空调机房系统的历史控制参数作为输出，训练所述强化学习模型，包括：
获取t时刻的目标状态变量的历史值，利用贪心策略确定对应的动作信息，将所述动作信息作为空调机房系统的运行参数，得到t+1时刻的目标状态变量数据和即时回报数据，收集到数据池中；
将数据池中的t时刻的目标状态变量的历史值、t+1时刻的目标状态变量数据和即时回报数据作为输入，将用作空调机房系统的控制参数的动作信息作为输出，训练所述强化学习模型。
在本实施例中，所述将数据池中的t时刻的目标状态变量的历史值、t+1时刻的目标状态变量数据和即时回报数据作为输入，将用作空调机房系统的控制参数的动作信息作为输出，训练所述强化学习模型，包括：
将数据池中的t时刻的目标状态变量的历史值输入策略学习网络，输出t时刻采取动作的动作信息，从数据池中获取与t时刻的目标状态变量的历史值和采取动作的动作信息对应的、t+1时刻的目标状态变量数据和t+1时刻即时回报数据；
将t时刻采取动作的动作信息输入价值评估网络，得到t时刻的行动价值以及策略学习网络参数的梯度变化值；
将t+1时刻的目标状态变量数据输入策略学习网络，输出t+1时刻采取动作的动作信息，将t+1时刻的动作信息输入价值评估网络，得到t+1时刻的行动价值；
根据t时刻的行动价值、t+1时刻的行动价值以及t+1时刻即时回报计算价值评估网络的损失值，在损失值大于预设阈值时，调整价值评估网络的参数，并根据所述策略学习网络参数的梯度变化值更新策略学习网络的参数，直到损失值小于预设阈值为止。
在本实施例中，即时回报通过以下表达式计算得到：
rt＝rT+rci+reo-α·Pt+β
其中，α为功率回报值的系数，β为偏置项，rci，reo分别为t时刻下的冷却水进水温度和冷冻水出水温度的回报值，rT为t时刻下的室温的回报值，Pt为功率回报值，
其中，
Figure BDA0003875354050000061
Figure BDA0003875354050000062
[aci，bci]为冷却水进水温度的适宜区间，[aeo，beo]为冷冻水出水温度的适宜区间。同理，[aT，bT]为室温的适宜区间约束。
在本实施例中，通过以下表达式，得到所述策略学习网络参数的梯度变化值：
Figure BDA0003875354050000063
其中，
Figure BDA0003875354050000064
为训练样本数量为N时，策略学习网络参数的梯度变化值，N为训练样本的数量，
Figure BDA0003875354050000065
为在目标状态变量为si，行动信息为ai的情况下，价值评估网络模型对行动参数的求导值，
Figure BDA0003875354050000066
为在目标状态变量为si的情况下，价值评估网络输出的策略学习网络参数的梯度变化值，i取值为1，2……N。
在本实施例中，通过以下表达式，根据t时刻的行动价值、t+1时刻的行动价值以及t+1时刻即时回报计算价值评估网络的损失值：
Figure BDA0003875354050000067
其中，L为价值评估网络的损失值，N为训练样本的数量，rt+1为t+1时刻即时回报，Q′(st+1，μ′(st+1|θμ′)|θQ′)为t+1时刻的行动价值，Q(st，at|θQ)为t时刻的行动价值，γ为折现因子。
在一一些实施例中，所述方法还包括：
对强化学习模型完成训练之后，定时更新数据池中的数据，利用新的数据对强化学习模型进行微调。
在一一些实施例中，在所述获取空调机房系统的目标状态变量之前，所述方法还包括：
采集预设时长内测得的目标状态变量，对于每一个目标状态变量，将预设时长内所有时刻下测得的状态变量作平滑拟合处理，得到平滑后的目标状态变量，以将其输入到策略学习网络中得到t时刻的动作信息。
在一些实施例中，所述获取空调机房系统的目标状态变量，将其输入训练好的强化学习模型中，输出空调机房系统的控制参数包括：
将获取的目标状态变量输入策略学习网络，输出t时刻采取的动作信息、t+1时刻的目标状态变量和t+1时刻即时回报，并将t时刻采取的动作信息输入价值评估网络，得到t时刻的行动价值；
根据t时刻的行动价值、t+1时刻的行动价值以及t+1时刻即时回报计算价值评估网络的损失值；
在损失值小于预设阈值的情况下，将t时刻采取的动作信息作为空调机房系统的控制参数；
在损失值大于预设阈值的情况下，发出预警信息。
参见图3，本公开的实施例还提供了一种空调机房系统的控制装置，包括：
选取模块11，用于根据空调机房系统多个设备的不同状态变量之间的耦合关系和相关系数，从空调机房系统的所有状态变量中选取预设数量的状态变量作为目标状态变量；
构建模块12，用于根据目标状态变量构建强化学习模型，其中，所述强化学习模型包括策略学习网络和价值评估网络；
训练模块13，用于以目标状态变量的历史值作为输入，以与目标状态变量的历史值对应的空调机房系统的历史控制参数作为输出，训练所述强化学习模型；
输出模块14，用于获取空调机房系统的目标状态变量的当前值，并将其输入训练好的强化学习模型中，输出空调机房系统的当前控制参数。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述实施例中，选取模块11、构建模块12、训练模块13和输出模块14中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。选取模块11、构建模块12、训练模块13和输出模块14中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，选取模块11、构建模块12、训练模块13和输出模块14中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
参见图4，本公开的实施例提供的电子设备，包括处理器1110、通信接口1120、存储器1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信；
存储器1130，用于存放计算机程序；
处理器1110，用于执行存储器1130上所存放的程序时，实现如下所示空调机房系统的控制的方法：
从空调机房系统的所有状态变量中选取预设数量作为目标状态变量；
根据目标状态变量构建强化学习模型，其中，所述强化学习模型包括策略学习网络和价值评估网络；
以已知的目标状态变量作为输入，以与目标状态变量对应的空调机房系统的控制参数作为输出，训练所述强化学习模型；
获取空调机房系统的目标状态变量，并将其输入训练好的强化学习模型中，输出空调机房系统的控制参数
上述的通信总线1140可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述电子设备与其他设备之间的通信。
存储器1130可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器1130还可以是至少一个位于远离前述处理器1110的存储装置。
上述的处理器1110可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本公开的实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的空调机房系统的控制的方法。
该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的空调机房系统的控制的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种空调机房系统的控制方法，其特征在于，所述方法包括：
根据空调机房系统多个设备的不同状态变量之间的耦合关系和相关系数，从空调机房系统的所有状态变量中选取预设数量的状态变量作为目标状态变量；
根据目标状态变量构建强化学习模型，其中，所述强化学习模型包括策略学习网络和价值评估网络；
以目标状态变量的历史值作为输入，以与目标状态变量的历史值对应的空调机房系统的历史控制参数作为输出，训练所述强化学习模型；
获取空调机房系统的目标状态变量的当前值，并将其输入训练好的强化学习模型中，输出空调机房系统的当前控制参数。
2.根据权利要求1所述的方法，其特征在于，所述预设数量通过主成分分析方法确定。
3.根据权利要求1所述的方法，其特征在于，通过以下表达式，计算所述不同状态变量之间的相关系数：
Figure FDA0003875354040000011
其中，rxy为两个状态变量x,y之间的相关系数，cov(x,y)为两个状态变量x,y之间的协方差，σx为状态变量x的标准差，σy为状态变量y的标准差。
4.根据权利要求1所述的方法，其特征在于，所述以目标状态变量的历史值作为输入，以与目标状态变量的历史值对应的空调机房系统的历史控制参数作为输出，训练所述强化学习模型，包括：
获取t时刻的目标状态变量的历史值，利用贪心策略确定对应的动作信息，将所述动作信息作为空调机房系统的运行参数，得到t+1时刻的目标状态变量数据和即时回报数据，收集到数据池中；
将数据池中的t时刻的目标状态变量的历史值、t+1时刻的目标状态变量数据和即时回报数据作为输入，将用作空调机房系统的控制参数的动作信息作为输出，训练所述强化学习模型。
5.根据权利要求4所述的方法，其特征在于，所述将数据池中的t时刻的目标状态变量的历史值、t+1时刻的目标状态变量数据和即时回报数据作为输入，将用作空调机房系统的控制参数的动作信息作为输出，训练所述强化学习模型，包括：
将数据池中的t时刻的目标状态变量的历史值输入策略学习网络，输出t时刻采取动作的动作信息，从数据池中获取与t时刻的目标状态变量的历史值和采取动作的动作信息对应的、t+1时刻的目标状态变量数据和t+1时刻即时回报数据；
将t时刻采取动作的动作信息输入价值评估网络，得到t时刻的行动价值以及策略学习网络参数的梯度变化值；
将t+1时刻的目标状态变量数据输入策略学习网络，输出t+1时刻采取动作的动作信息，将t+1时刻的动作信息输入价值评估网络，得到t+1时刻的行动价值；
根据t时刻的行动价值、t+1时刻的行动价值以及t+1时刻即时回报计算价值评估网络的损失值，在损失值大于预设阈值时，调整价值评估网络的参数，并根据所述策略学习网络参数的梯度变化值更新策略学习网络的参数，直到损失值小于预设阈值为止。
6.根据权利要求5所述的方法，其特征在于，通过以下表达式，得到所述策略学习网络参数的梯度变化值：
Figure FDA0003875354040000021
其中，
Figure FDA0003875354040000022
为训练样本数量为N时，策略学习网络参数的梯度变化值，N为训练样本的数量，
Figure FDA0003875354040000023
为在目标状态变量为si，行动信息为ai的情况下，价值评估网络模型对行动参数的求导值，
Figure FDA0003875354040000024
为在目标状态变量为si的情况下，价值评估网络输出的策略学习网络参数的梯度变化值，i取值为1，2……N。
7.根据权利要求5所述的方法，其特征在于，通过以下表达式，根据t时刻的行动价值、t+1时刻的行动价值以及t+1时刻即时回报计算价值评估网络的损失值：
Figure FDA0003875354040000025
其中，L为价值评估网络的损失值，N为训练样本的数量，rt+1为t+1时刻即时回报，Q′(st+1,μ′(st+1|θμ′)|θQ′)为t+1时刻的行动价值，Q(st,at|θQ)为t时刻的行动价值，γ为折现因子。
8.一种空调机房系统的控制装置，其特征在于，包括：
选取模块，用于根据空调机房系统多个设备的不同状态变量之间的耦合关系和相关系数，从空调机房系统的所有状态变量中选取预设数量的状态变量作为目标状态变量；
构建模块，用于根据目标状态变量构建强化学习模型，其中，所述强化学习模型包括策略学习网络和价值评估网络；
训练模块，用于以目标状态变量的历史值作为输入，以与目标状态变量的历史值对应的空调机房系统的历史控制参数作为输出，训练所述强化学习模型；
输出模块，用于获取空调机房系统的目标状态变量的当前值，并将其输入训练好的强化学习模型中，输出空调机房系统的当前控制参数。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7中任一项所述的空调机房系统的控制方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的空调机房系统的控制方法。
CN202211211817.4A 2022-09-30 2022-09-30 空调机房系统的控制方法及装置、电子设备及存储介质 Pending CN115585541A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211211817.4A CN115585541A (zh) 2022-09-30 2022-09-30 空调机房系统的控制方法及装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211211817.4A CN115585541A (zh) 2022-09-30 2022-09-30 空调机房系统的控制方法及装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115585541A true CN115585541A (zh) 2023-01-10

Family

ID=84778787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211211817.4A Pending CN115585541A (zh) 2022-09-30 2022-09-30 空调机房系统的控制方法及装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115585541A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117057254A (zh) * 2023-10-10 2023-11-14 中科航迈数控软件(深圳)有限公司 基于多冷却装置协同使用的物件冷却方法及相关设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117057254A (zh) * 2023-10-10 2023-11-14 中科航迈数控软件(深圳)有限公司 基于多冷却装置协同使用的物件冷却方法及相关设备
CN117057254B (zh) * 2023-10-10 2024-02-20 中科航迈数控软件(深圳)有限公司 基于多冷却装置协同使用的物件冷却方法及相关设备

Similar Documents

Publication Publication Date Title
CN112577161B (zh) 空调能耗模型训练方法与空调系统控制方法
Afram et al. Black-box modeling of residential HVAC system and comparison of gray-box and black-box modeling methods
US9429921B2 (en) Method and system for energy control management
Mustafaraj et al. Development of room temperature and relative humidity linear parametric models for an open office using BMS data
WO2016047118A1 (ja) モデル評価装置、モデル評価方法、及び、プログラム記録媒体
CN102314522B (zh) 一种模拟集成电路设计优化方法
JP2020012628A (ja) オンライン構成可能なシステム特定を有する建物管理システム
CN109034505A (zh) 计量用表需求量在线预测方法及终端设备
CN110598906A (zh) 一种基于深度强化学习的大型商场能耗实时控制方法和系统
CN112413831A (zh) 一种中央空调节能控制系统及方法
O’Neill et al. HVAC control loop performance assessment: A critical review (1587-RP)
CN115585541A (zh) 空调机房系统的控制方法及装置、电子设备及存储介质
CN111695730B (zh) 基于arima及rnn的立磨振动预测方法及装置
WO2021082511A1 (zh) 模型训练方法、控制参数确定方法及装置
CN110032706A (zh) 一种低阶时滞系统的两阶段参数估计方法及系统
Lara et al. Modeling and identification of the cooling dynamics of a tropical island hotel
CN111582604A (zh) 数据处理方法和装置、电子设备、及介质
CN111125931B (zh) 冷却塔自动寻优选型方法、装置
CN115186555A (zh) 基于数字孪生的干燥设备实况仿真方法及相关设备
CN113869809A (zh) 一种集中供热的用户行为节能评价方法、装置及终端
Korbicz et al. Confidence estimation of GMDH neural networks and its application in fault detection systems
CN116017936A (zh) 一种空调机房的控制方法及装置、电子设备及存储介质
CN111609525A (zh) 一种空调控制方法、装置、电子设备及存储介质
CN115654684A (zh) 空气处理机组控制、模型构建方法、装置及设备和介质
CN112413862B (zh) 能耗系数的确定方法和装置、存储介质、电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination