CN117408170A - 一种适用于数据中心水冷系统的节能预测控制方法 - Google Patents
一种适用于数据中心水冷系统的节能预测控制方法 Download PDFInfo
- Publication number
- CN117408170A CN117408170A CN202311724478.4A CN202311724478A CN117408170A CN 117408170 A CN117408170 A CN 117408170A CN 202311724478 A CN202311724478 A CN 202311724478A CN 117408170 A CN117408170 A CN 117408170A
- Authority
- CN
- China
- Prior art keywords
- water
- cooling unit
- data center
- network
- critic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001816 cooling Methods 0.000 title claims abstract description 179
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000009471 action Effects 0.000 claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 claims abstract description 47
- 230000007613 environmental effect Effects 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000005265 energy consumption Methods 0.000 claims description 28
- 239000003795 chemical substances by application Substances 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000011158 quantitative evaluation Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 48
- 238000011217 control strategy Methods 0.000 abstract description 3
- 230000002787 reinforcement Effects 0.000 abstract description 3
- 230000008859 change Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/20836—Thermal management, e.g. server temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/20763—Liquid cooling without phase change
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/04—Constraint-based CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/08—Probabilistic or stochastic CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/08—Thermal analysis or thermal optimisation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Thermal Sciences (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Geometry (AREA)
- Air Conditioning Control Device (AREA)
Abstract
本发明公开了一种适用于数据中心水冷系统的节能预测控制方法，获取历史数据中心的环境信息数据；将环境信息数据转化为元组形式，并进行预测神经网络训练；采集当前数据中心的室内外环境信息转化为元组形式，通过预测神经网络进行水冷机组未来冷量预测；用马尔可夫决策过程来表述水冷机组的冷量设定，通过状态空间、动作空间和约束条件来确定奖励函数和状态‑动作值函数；基于状态‑动作值函数，水冷机组获得的预测冷量以及环境信息数据，通过训练后Actor‑Critic神经网络，输出水冷机组的调控策略。本发明利用深度强化学习方法并基于外界环境因素对未来需求冷量进行预测，预先设定制水冷机组系统的控制策略，保证数据中心的设备安全稳定。
Description
技术领域
本发明涉及数据中心水冷系统技术领域，尤其涉及一种适用于数据中心水冷系统的节能预测控制方法。
背景技术
随着数字世界的快速发展，数据中心站点数量的激增也将带来更加高能耗的挑战。数据中心设施是全天候运行的，消耗大量的能源的同时会产生大量的热量。数据中心内的温度控制对于避免设备过热、调节设备冷却以及测量整体效率至关重要。根据统计数据显示，用于数据中心的冷却功耗占机房总功耗的40%左右。在降温过程中，水冷机组系统实时获得冷冻水供水压差作为控制条件之一，来使得水冷机组输出一定压力的冷冻水对数据中心机房进行降温，由于输送冷冻水的水管各个部位水压差存在实时变化问题，因此水冷机组无法及时对数据中心机房进行降温，即无法实现对水冷机组系统的预先性控制；此外由于数据机房中的温度极为重要，对于检测到过高温度以后再进行水冷机组的冷量输出中会产生一定的时差，导致该间隔时间内的机房温度处于危险情况，长久以来会导致机房内的各个部件的损坏，所以冷水机组的预先性冷量输出是有必要的。
鉴于以上问题，我们设计出了一种适用于数据中心水冷系统的节能预测控制方法来解决以上问题。
发明内容
目前的数据机房水冷机组的控制系统存在建立模型困难以及建模不准确等问题，传统算法旨在根据当前的环境进行水冷机组冷量的调整，忽视了数据中心机房环境以及外部天气环境对未来水冷机组冷量需求的影响；此外，传统的优化算法难以求解复杂的非线性问题且缺少对外界天气因素的考虑。本发明基于当前的外界环境因素对数据中心未来需求冷量进行预测，并且和强化学习方法相结合，预先设定下一时刻水冷机组的动作指令，在水冷机组能耗最低的前提下，以提高水冷机组系统的效率和能源利用率，保证数据中心的设备安全稳定。
为了实现上述目的，本发明采用了如下技术方案：
一种适用于数据中心水冷系统的节能预测控制方法，所述节能预测控制方法包括以下步骤：
步骤1，从数据库中获取历史数据中心的水冷机组冷量数据以及水冷机组运行的环境信息数据；
步骤2，将环境信息数据转化为元组形式，并将转化后的元组形式输入到预测神经网络中进行训练；
步骤3，采集当前数据中心的室内外环境信息，并将当前数据中心的室内外环境信息转化为步骤2中的元组形式，输入到训练好的预测神经网络中进行水冷机组未来冷量预测；
步骤4，建立水冷机组控制模型，设置水冷机组系统控制的目标函数为当前水冷机组能耗最低，约束条件为水冷机组产生的冷量满足数据中心运行以及水冷机组运行；
步骤5，水冷机组系统控制使用马尔可夫决策过程进行建模，用马尔可夫决策过程来表述水冷机组的冷量设定，确定水冷机组能耗优化模型的状态空间和动作空间，并且通过状态空间、动作空间和约束条件来确定奖励函数和状态-动作值函数；
步骤6，基于状态-动作值函数，水冷机组获得的预测冷量以及环境信息数据，进行基于TD3算法的Actor-Critic神经网络训练，通过训练后Actor-Critic神经网络，输出水冷机组的调控策略。
作为本发明进一步方案，所述环境信息数据包括数据中心室内外的温湿度、风速和气压，以及水冷机组冷量设定的输出量。
作为本发明进一步方案，在所述步骤2中，将环境信息数据转化为符合分析的元组形式：，
其中，表示数据中心室内温度，/>表示数据中心室外温度，/>表示数据中心室内湿度，/>表示数据中心室外湿度，/>表示数据中心室内风速，/>表示数据中心室外风速，/>表示数据中心室内气压，/>表示数据中心室外气压，/>表示时间序，/>时刻冷量值/>，/>时刻冷量值/>，将/>时刻冷量值/>作为预测神经网络每组训练的目标，表示为当/>时刻的数据中心室内外环境状况下，/>时刻数据中心冷量的需求量。
作为本发明进一步方案，在所述步骤3中，通过设置在数据中心室内外各传感器采集当前时刻的室内外环境信息，并且将当前时刻的室内外环境信息按照步骤2的方式转化为元组形式，将转化后的元组形式所获得的数据，输入到训练好的预测神经网络中，进行下一时刻的冷量预测，预测神经网络对环境信息进行分析输出数据中心未来所需冷量值。
作为本发明进一步方案，在所述步骤4中，建立水冷机组控制模型，设置水冷机组系统控制的目标函数为当前水冷机组能耗最低，约束条件为水冷机组产生的冷量满足数据中心运行以及水冷机组运行约束，包括以下内容：
水冷机组系统控制的目标函数为当前水冷机组能耗最低，建立水冷机组系统的目标函数，即数据中心的水冷机组使用时间内能耗最低：
其中，表示水冷机组的总能耗，水冷机组优化运行时间窗内共有/>个时刻，/>表示水冷机组的工作功率，/>表示相邻两次水冷机组冷量调节控制的时间间隔；
对水冷机组运行进行约束，水冷机组的功率不能超过其额定功率：
其中，表示水冷机组的额定功率。
作为本发明进一步方案，在所述步骤5中，水冷机组系统控制使用马尔可夫决策过程进行建模，用马尔可夫决策过程来表述水冷机组的冷量设定，确定水冷机组能耗优化模型的状态空间和动作空间，并且通过状态空间、动作空间和约束条件来确定奖励函数和状态-动作值函数包括以下内容：
步骤5.1，确定状态空间，在水冷机组系统控制中，智能体从环境中获取环境信息数据；
步骤5.2，确定动作空间，在水冷机组系统控制中，智能体的动作空间包含风机转速调节、水冷机组的负荷率调节以及水泵频率调节；
步骤5.3，设置奖励函数，奖励函数代表了在某一个状态下，智能体采用指定的动作时，环境反馈给智能体的及时收益，为了使得整个水冷机组在整个调度周期内的能耗最小，奖励函数设置为：
式中，表示/>时刻的水冷机组的总能耗，/>为惩罚因子；
步骤5.4，设置状态-动作函数，表征策略/>的优劣程度，即在策略/>下奖励函数的回报：
式中，智能体的策略为状态空间/>到动作空间/>的映射，/>表示取值为[0,1]的折扣因子，/>表示当前数据中心室内外的环境状态，/>表示Actor网络动作，最优策略为状态-动作函数/>的最大，即奖励函数的累积回报最大：
。
作为本发明进一步方案，在所述步骤6中，进行基于TD3算法的Actor-Critic神经网络训练，训练的网络包括Critic网络和策略Actor网络，Actor网络实现从状态空间到动作空间/>的映射，Critic网络实现状态-动作函数的量化评估，通过给定环境信息数据的历史数据生成数据集，对水冷机组系统控制的深度神经网络进行训练，获得最优的状态-动作函数值映射。
作为本发明进一步方案，所述TD3算法包括2个Critic网络和1个Actor网络、2个目标Critic网络和1个目标Actor网络，2个Critic网络用于减少状态-动作函数值的过高估计，Actor网络和目标Actor网络的结构相同，参数不同；目标Actor网络和目标Critic网络的结构与Actor网络和Critic网络的结构相同，参数不同。
作为本发明进一步方案，在所述步骤6中，进行基于TD3算法的Actor-Critic神经网络训练，通过训练后Actor-Critic神经网络，输出水冷机组的调控策略包括以下步骤：
步骤6.1，初始化Actor网络、Critic网络、目标Critic网络、目标Actor网络参数和经验缓冲池参数；
步骤6.2，对于每一幕的每个实践部执行如下的步骤：
步骤6.21，获取当前数据中心室内外的环境状态，并且获取预测神经网络分析输出数据中心未来时间段所需冷量，通过Actor网络得到Actor网络动作/>；
步骤6.22，在Actor网络动作中引入随机噪声n得到随机动作/>；
步骤6.23，执行随机动作，获取奖励函数值和下一时刻数据中心室内外的环境状态/>；
步骤6.24，将存储到经验放回池；
步骤6.25，从经验回放池中随机抽取经验样本；
步骤6.26，基于经验样本通过目标Actor网络获得下一时刻Actor网络动作；
步骤6.27，在下一时刻动作中引入随机噪声n得到随机动作；
步骤6.28，通过2个目标Critic网络的最小值和贝尔曼方程，获取目标Critic函数：
其中，为第i个目标Critic网络的取值；
步骤6.29，通过目标Critic函数与Critic网络计算出的当前Critic函数的均方差来计算Critic网络损失函数，根据Critic网络损失函数关于Critic网络的梯度更新Critic网络；通过总奖励值与Actor网络概率的乘积计算Actor网络损失函数，根据Actor网络损失函数关于Actor网络的梯度参数更新，输出训练好的Actor-Critic神经网络；
步骤6.3，将训练好的Actor-Critic神经网络程序部署在控制终端，并在控制终端使用传感器获取数据中心室内外的环境状态变量，以及获取预测神经网络中的预测冷量值，将环境状态变量以及预测冷量值输入到Actor网络中，得到输出的水冷机组的风机转速、水冷机组的部分负荷率、水泵频率控制值，实现水冷机组的调控。
与现有技术相比，本发明的有益效果是：本发明根据当前时刻数据中心室内外的环境状况，预测未来一段间隔时间内的冷量需求，再根据当前室内外环境状态和预测的冷量需求，使用强化学习进行水冷机组的控制调节，水冷机组根据当前室内外环境以及预测的冷量需求对每个水冷机组的部分负荷率、每个水泵的频率和每个风机的转速进行控制；由于该方法对数据中心未来冷量需求进行预测，可以防止水冷机组针对环境变化做出冷量调节的滞后性问题，有效缓解了数据中心升温导致的异常或者损坏，满足了能耗最低的同时实现对水冷机组系统的及时性和预先性的智能控制。
附图说明
图1为本实施例中冷量预测模型示意图；
图2为本实施例中的一种适用于数据中心水冷系统的节能预测控制方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
如图1和2所示，一种适用于数据中心水冷系统的节能预测控制方法，该节能预测控制方法包括以下步骤：
步骤1，获取数据库中数据中心历史室内外环境数据以及冷量设定数据：从数据库中获取历史数据中心的水冷机组冷量数据以及水冷机组运行的环境信息数据，所指的环境信息数据包括数据中心室内外的温湿度、风速和气压，以及水冷机组冷量设定的输出量。
步骤2，数据预处理，训练冷量预测神经网络：将环境信息数据转化为元组形式，并将转化后的元组形式输入到预测神经网络中进行训练，元组形式为：，
其中，表示数据中心室内温度，/>表示数据中心室外温度，/>表示数据中心室内湿度，/>表示数据中心室外湿度，/>表示数据中心室内风速，/>表示数据中心室外风速，/>表示数据中心室内气压，/>表示数据中心室外气压，/>表示时间序，/>时刻冷量值/>，/>时刻冷量值/>，将/>时刻冷量值/>作为预测神经网络每组训练的目标，表示为当/>时刻的数据中心室内外环境状况下，/>时刻数据中心冷量的需求量。
步骤3，水冷机组冷量预测模型的创建，采集当前数据中心室内外环境状态信息并进行预处理：采集当前数据中心的室内外环境信息，并将当前数据中心的室内外环境信息转化为步骤2中的元组形式，输入到训练好的预测神经网络中进行水冷机组未来冷量预测。具体而言，通过设置在数据中心室内外各传感器采集当前时刻的室内外环境信息，并且将当前时刻的室内外环境信息（包括室内环境状态、室外环境状态及时刻冷量）按照步骤2的方式转化为元组形式，将转化后的元组形式所获得的数据，输入到训练好的预测神经网络中，进行下一时刻的冷量预测，预测神经网络对环境信息进行分析输出/>数据中心未来所需冷量值。
步骤4，建立水冷机组控制模型，设置水冷机组系统控制的目标函数为当前水冷机组能耗最低，约束条件为水冷机组产生的冷量满足数据中心运行以及水冷机组运行。
水冷机组系统控制的目标函数为当前水冷机组能耗最低，建立水冷机组系统的目标函数，即数据中心的水冷机组使用时间内能耗最低：
其中，表示水冷机组的总能耗，水冷机组优化运行时间窗内共有/>个时刻，/>表示水冷机组的工作功率，/>表示相邻两次水冷机组冷量调节控制的时间间隔；
对水冷机组运行进行约束，水冷机组的功率不能超过其额定功率：
其中，表示水冷机组的额定功率。
步骤5，建立马尔可夫过程模型，水冷机组系统控制使用马尔可夫决策过程进行建模，用马尔可夫决策过程来表述水冷机组的冷量设定，确定水冷机组能耗优化模型的状态空间和动作空间，并且通过状态空间、动作空间和约束条件来确定奖励函数和状态-动作值函数包括以下内容：
步骤5.1，确定状态空间，状态空间表示不同时刻下的状态空间，在水冷机组系统控制中，智能体从数据中心室内外环境中获取环境信息数据。
步骤5.2，确定动作空间，智能体的动作空间表示不同时刻下的动作，在水冷机组系统控制中，智能体的动作空间包含风机转速调节、水冷机组的负荷率调节以及水泵频率调节。
步骤5.3，设置奖励函数，奖励函数代表了在某一个状态下，智能体采用指定的动作时，环境反馈给智能体的及时收益，为了使得整个水冷机组在整个调度周期内的能耗最小，奖励函数设置为：
式中，表示/>时刻的水冷机组的总能耗，/>为惩罚因子，当约束条件满足时惩罚因子为0，否则为一个正常数。
步骤5.4，设置状态-动作函数，表征策略/>的优劣程度，即在策略/>下奖励函数的回报：
式中，智能体的策略为状态空间/>到动作空间/>的映射，/>表示取值为[0,1]的折扣因子，/>表示当前数据中心室内外的环境状态，/>表示Actor网络动作，最优策略/>为状态-动作函数/>的最大，即奖励函数的累积回报最大：/>。
步骤6，搭建神经网络并且初始化网络参数和环境状态：基于状态-动作值函数，水冷机组获得的预测冷量以及环境信息数据，进行基于双重延迟深度确定性策略梯度（TwinDelayed Deep Deterministic Policy Gradient，TD3）算法的Actor-Critic神经网络训练，通过训练后Actor-Critic神经网络，输出水冷机组的调控策略。
进行基于TD3算法的Actor-Critic神经网络训练，训练的网络包括Critic网络和策略Actor网络，Actor网络实现从状态空间到动作空间/>的映射，Critic网络实现状态-动作函数的量化评估，通过给定环境信息数据的历史数据生成数据集，对水冷机组系统控制的深度神经网络进行训练，获得最优的状态-动作函数值映射。
本实施例中的TD3算法包括2个Critic网络和1个Actor网络、2个目标Critic网络和1个目标Actor网络，2个Critic网络用于减少状态-动作函数值的过高估计，Actor网络和目标Actor网络的结构相同，参数不同；目标Actor网络和目标Critic网络的结构与Actor网络和Critic网络的结构相同，参数不同；目标网络的参数不会经常更新，以减少学习过程中的误差。
基于TD3算法的Actor-Critic神经网络训练，以及通过训练后的Actor-Critic神经网络，输出水冷机组的调控策略包括以下步骤：
步骤6.1，初始化Actor网络、Critic网络、目标Critic网络、目标Actor网络参数和经验缓冲池参数。
步骤6.2，对于每一幕的每个实践部执行如下的步骤：
步骤6.21，获取当前数据中心室内外的环境状态，并且获取预测神经网络分析输出数据中心未来时间段所需冷量，通过Actor网络得到Actor网络动作/>。
步骤6.22，在Actor网络动作中引入随机噪声n得到随机动作/>。
步骤6.23，执行随机动作，获取奖励函数值和下一时刻数据中心室内外的环境状态/>。
步骤6.24，将存储到经验放回池。
步骤6.25，从经验回放池中随机抽取经验样本。
步骤6.26，基于经验样本通过目标Actor网络获得下一时刻Actor网络动作。
步骤6.27，在下一时刻动作中引入随机噪声n得到随机动作。
步骤6.28，通过2个目标Critic网络的最小值和贝尔曼方程，获取目标Critic函数：
其中，为第i个目标Critic网络的取值。
步骤6.29，通过目标Critic函数与Critic网络计算出的当前Critic函数的均方差来计算Critic网络损失函数，根据Critic网络损失函数关于Critic网络的梯度更新Critic网络；通过总奖励值与Actor网络概率的乘积计算Actor网络损失函数，根据Actor网络损失函数关于Actor网络的梯度参数更新，判断是否能够达到预期节能目标，若不能达到，则返回至步骤6.1再次进行初始化参数更新，若能够达到预期节能的目标，则输出训练好的Actor-Critic神经网络。
步骤6.3，将训练好的Actor-Critic神经网络程序部署在控制终端，并在控制终端使用传感器获取数据中心室内外的环境状态变量，以及获取预测神经网络中的预测冷量值，将环境状态变量以及预测冷量值输入到Actor网络中，得到输出的水冷机组的风机转速、水冷机组的部分负荷率、水泵频率控制值，从而获得输出动作控制策略，实现水冷机组的调控。
本发明所提出的数据中心水冷系统的节能预测控制方法在充分考虑环境的不确定性和变化性的基础上，实现了水冷机组冷量有效预测以及水冷机组系统的智能控制。通过长期学习和优化，智能体能够根据环境的动态变化，提前制定出更精确和高效的预测及控制策略，从而实现了数据中心水冷机组系统的智能管控和节能优化。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种适用于数据中心水冷系统的节能预测控制方法，其特征在于，所述节能预测控制方法包括以下步骤：
步骤1，从数据库中获取历史数据中心的水冷机组冷量数据以及水冷机组运行的环境信息数据；
步骤2，将环境信息数据转化为元组形式，并将转化后的元组形式输入到预测神经网络中进行训练；
步骤3，采集当前数据中心的室内外环境信息，并将当前数据中心的室内外环境信息转化为步骤2中的元组形式，输入到训练好的预测神经网络中进行水冷机组未来冷量预测；
步骤4，建立水冷机组控制模型，设置水冷机组系统控制的目标函数为当前水冷机组能耗最低，约束条件为水冷机组产生的冷量满足数据中心运行以及水冷机组运行；
步骤5，水冷机组系统控制使用马尔可夫决策过程进行建模，用马尔可夫决策过程来表述水冷机组的冷量设定，确定水冷机组能耗优化模型的状态空间和动作空间，并且通过状态空间、动作空间和约束条件来确定奖励函数和状态-动作值函数；
步骤6，基于状态-动作值函数，水冷机组获得的预测冷量以及环境信息数据，进行基于TD3算法的Actor-Critic神经网络训练，通过训练后Actor-Critic神经网络，输出水冷机组的调控策略。
2.根据权利要求1所述的一种适用于数据中心水冷系统的节能预测控制方法，其特征在于，所述环境信息数据包括数据中心室内外的温湿度、风速和气压，以及水冷机组冷量设定的输出量。
3.根据权利要求1所述的一种适用于数据中心水冷系统的节能预测控制方法，其特征在于，在所述步骤2中，将环境信息数据转化为符合分析的元组形式：，
其中，表示数据中心室内温度，/>表示数据中心室外温度，/>表示数据中心室内湿度，/>表示数据中心室外湿度，/>表示数据中心室内风速，/>表示数据中心室外风速，/>表示数据中心室内气压，/>表示数据中心室外气压，/>表示时间序，/>时刻冷量值/>，/>时刻冷量值/>，将/>时刻冷量值/>作为预测神经网络每组训练的目标，表示为当/>时刻的数据中心室内外环境状况下，/>时刻数据中心冷量的需求量。
4.根据权利要求1所述的一种适用于数据中心水冷系统的节能预测控制方法，其特征在于，在所述步骤3中，通过设置在数据中心室内外各传感器采集当前时刻的室内外环境信息，并且将当前时刻的室内外环境信息按照步骤2的方式转化为元组形式，将转化后的元组形式所获得的数据，输入到训练好的预测神经网络中，进行下一时刻的冷量预测，预测神经网络对环境信息进行分析输出数据中心未来所需冷量值。
5.根据权利要求1所述的一种适用于数据中心水冷系统的节能预测控制方法，其特征在于，在所述步骤4中，建立水冷机组控制模型，设置水冷机组系统控制的目标函数为当前水冷机组能耗最低，约束条件为水冷机组产生的冷量满足数据中心运行以及水冷机组运行，包括以下内容：
水冷机组系统控制的目标函数为当前水冷机组能耗最低，建立水冷机组系统的目标函数，即数据中心的水冷机组使用时间内能耗最低：
其中，/>表示水冷机组的总能耗，水冷机组优化运行时间窗内共有/>个时刻，/>表示水冷机组的工作功率，/>表示相邻两次水冷机组冷量调节控制的时间间隔；
对水冷机组运行进行约束，水冷机组的功率不能超过其额定功率：
其中，/>表示水冷机组的额定功率。
6.根据权利要求1所述的一种适用于数据中心水冷系统的节能预测控制方法，其特征在于，在所述步骤5中，水冷机组系统控制使用马尔可夫决策过程进行建模，用马尔可夫决策过程来表述水冷机组的冷量设定，确定水冷机组能耗优化模型的状态空间和动作空间，并且通过状态空间、动作空间和约束条件来确定奖励函数和状态-动作值函数包括以下内容：
步骤5.1，确定状态空间，在水冷机组系统控制中，智能体从环境中获取环境信息数据；
步骤5.2，确定动作空间，在水冷机组系统控制中，智能体的动作空间包含风机转速调节、水冷机组的负荷率调节以及水泵频率调节；
步骤5.3，设置奖励函数，奖励函数代表了在某一个状态下，智能体采用指定的动作时，环境反馈给智能体的及时收益，为了使得整个水冷机组在整个调度周期内的能耗最小，奖励函数设置为：
式中，/>表示/>时刻的水冷机组的总能耗，/>为惩罚因子；
步骤5.4，设置状态-动作函数，表征策略/>的优劣程度，即在策略/>下奖励函数的回报：
式中，智能体的策略/>为状态空间/>到动作空间/>的映射，/>表示取值为[0,1]的折扣因子，/>表示当前数据中心室内外的环境状态，/>表示Actor网络动作，最优策略/>为状态-动作函数/>的最大，即奖励函数的累积回报最大：
。
7.根据权利要求1所述的一种适用于数据中心水冷系统的节能预测控制方法，其特征在于，在所述步骤6中，进行基于TD3算法的Actor-Critic神经网络训练，训练的网络包括Critic网络和策略Actor网络，Actor网络实现从状态空间到动作空间/>的映射，Critic网络实现状态-动作函数的量化评估，通过给定环境信息数据的历史数据生成数据集，对水冷机组系统控制的深度神经网络进行训练，获得最优的状态-动作函数值映射。
8.根据权利要求7所述的一种适用于数据中心水冷系统的节能预测控制方法，其特征在于，所述TD3算法包括2个Critic网络和1个Actor网络、2个目标Critic网络和1个目标Actor网络，2个Critic网络用于减少状态-动作函数值的过高估计，Actor网络和目标Actor网络的结构相同，参数不同；目标Actor网络和目标Critic网络的结构与Actor网络和Critic网络的结构相同，参数不同。
9.根据权利要求1所述的一种适用于数据中心水冷系统的节能预测控制方法，其特征在于，在所述步骤6中，进行基于TD3算法的Actor-Critic神经网络训练，根据训练后Actor-Critic神经网络，输出水冷机组的调控策略包括以下步骤：
步骤6.1，初始化Actor网络、Critic网络、目标Critic网络、目标Actor网络参数和经验缓冲池参数；
步骤6.2，对于每一幕的每个实践部执行如下的步骤：
步骤6.21，获取当前数据中心室内外的环境状态，并且获取预测神经网络分析输出数据中心未来时间段所需冷量，通过Actor网络得到Actor网络动作/>；
步骤6.22，在Actor网络动作中引入随机噪声n得到随机动作/>；
步骤6.23，执行随机动作，获取奖励函数值和下一时刻数据中心室内外的环境状态；
步骤6.24，将存储到经验放回池；
步骤6.25，从经验回放池中随机抽取经验样本；
步骤6.26，基于经验样本通过目标Actor网络获得下一时刻Actor网络动作；
步骤6.27，在下一时刻动作中引入随机噪声n得到随机动作；
步骤6.28，通过2个目标Critic网络的最小值和贝尔曼方程，获取目标Critic函数：
其中/>为第i个目标Critic网络的取值；
步骤6.29，通过目标Critic函数与Critic网络计算出的当前Critic函数的均方差来计算Critic网络损失函数，根据Critic网络损失函数关于Critic网络的梯度更新Critic网络；通过总奖励值与Actor网络概率的乘积计算Actor网络损失函数，根据Actor网络损失函数关于Actor网络的梯度参数更新，输出训练好的Actor-Critic神经网络；
步骤6.3，将训练好的Actor-Critic神经网络程序部署在控制终端，并在控制终端使用传感器获取数据中心室内外的环境状态变量，获取预测神经网络中的预测冷量值，将环境状态变量以及预测冷量值输入到Actor网络中，得到输出的水冷机组的风机转速、水冷机组的部分负荷率、水泵频率控制值，实现水冷机组的调控。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311724478.4A CN117408170B (zh) | 2023-12-15 | 2023-12-15 | 一种适用于数据中心水冷系统的节能预测控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311724478.4A CN117408170B (zh) | 2023-12-15 | 2023-12-15 | 一种适用于数据中心水冷系统的节能预测控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117408170A true CN117408170A (zh) | 2024-01-16 |
| CN117408170B CN117408170B (zh) | 2024-03-08 |
Family
ID=89496621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311724478.4A Active CN117408170B (zh) | 2023-12-15 | 2023-12-15 | 一种适用于数据中心水冷系统的节能预测控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117408170B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113283156A (zh) * | 2021-03-29 | 2021-08-20 | 北京建筑大学 | 一种基于深度强化学习的地铁站空调系统节能控制方法 |
| CN113825356A (zh) * | 2021-07-28 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 冷源系统的节能控制方法、装置、电子设备和存储介质 |
| CN113848711A (zh) * | 2021-09-18 | 2021-12-28 | 内蒙古工业大学 | 一种基于安全模型强化学习的数据中心制冷控制算法 |
| CN113901713A (zh) * | 2021-10-08 | 2022-01-07 | 科瑞特空调集团有限公司 | 一种基于ActorCritic算法的地铁空调系统节能控制方法 |
| CN114511208A (zh) * | 2022-01-18 | 2022-05-17 | 陕西智引科技有限公司 | 基于深度强化学习的数据中心能耗优化控制方法 |
| WO2022111232A1 (zh) * | 2020-11-30 | 2022-06-02 | 中兴通讯股份有限公司 | 水冷系统的控制模型优化方法、电子设备和存储介质 |
| CN115049141A (zh) * | 2022-06-29 | 2022-09-13 | 中国电信股份有限公司 | 用于制冷系统的控制方法、控制装置和制冷系统 |
| CN116629021A (zh) * | 2023-06-20 | 2023-08-22 | 江苏戴利斯精密环境设备科技股份有限公司 | 冷却系统能耗预测及节能控制策略研究方法 |
| CN116864871A (zh) * | 2023-06-26 | 2023-10-10 | 阳光电源（上海）有限公司 | 储能系统的热管理方法、热管理调控模型的训练方法 |
-
2023
- 2023-12-15 CN CN202311724478.4A patent/CN117408170B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022111232A1 (zh) * | 2020-11-30 | 2022-06-02 | 中兴通讯股份有限公司 | 水冷系统的控制模型优化方法、电子设备和存储介质 |
| CN113283156A (zh) * | 2021-03-29 | 2021-08-20 | 北京建筑大学 | 一种基于深度强化学习的地铁站空调系统节能控制方法 |
| CN113825356A (zh) * | 2021-07-28 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 冷源系统的节能控制方法、装置、电子设备和存储介质 |
| CN113848711A (zh) * | 2021-09-18 | 2021-12-28 | 内蒙古工业大学 | 一种基于安全模型强化学习的数据中心制冷控制算法 |
| CN113901713A (zh) * | 2021-10-08 | 2022-01-07 | 科瑞特空调集团有限公司 | 一种基于ActorCritic算法的地铁空调系统节能控制方法 |
| CN114511208A (zh) * | 2022-01-18 | 2022-05-17 | 陕西智引科技有限公司 | 基于深度强化学习的数据中心能耗优化控制方法 |
| CN115049141A (zh) * | 2022-06-29 | 2022-09-13 | 中国电信股份有限公司 | 用于制冷系统的控制方法、控制装置和制冷系统 |
| CN116629021A (zh) * | 2023-06-20 | 2023-08-22 | 江苏戴利斯精密环境设备科技股份有限公司 | 冷却系统能耗预测及节能控制策略研究方法 |
| CN116864871A (zh) * | 2023-06-26 | 2023-10-10 | 阳光电源（上海）有限公司 | 储能系统的热管理方法、热管理调控模型的训练方法 |
Non-Patent Citations (2)
| Title |
|---|
| MUHAMMAD HAIQAL BIN MAHBOD: "Energy saving evaluation of an energy efficient data center using a model-free reinforcement learning approach", APPLIED ENERGY, 21 June 2022 (2022-06-21), pages 119392 * |
| 黄琪: "基于强化学习的办公建筑冷源系统节能优化控制策略仿真研究", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑, 15 February 2021 (2021-02-15), pages 038 - 1613 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117408170B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022166919A1 (zh) | 一种畜禽舍养殖环境温度预测控制系统及其调控方法 | |
| WO2023093820A1 (zh) | 设备的控制优化方法、展示平台、云服务器及存储介质 | |
| CN103912966B (zh) | 一种地源热泵制冷系统优化控制方法 | |
| CN107860102B (zh) | 一种控制中央空调的方法及装置 | |
| CN105719028B (zh) | 一种基于多因素混沌支持向量机的空调负荷动态预测方法 | |
| CN111649457B (zh) | 一种动态预测性机器学习型空调节能控制方法 | |
| CN112413831A (zh) | 一种中央空调节能控制系统及方法 | |
| CN105627506A (zh) | 一种空调冷机的建筑冷负荷预测方法及装置 | |
| CN112415924A (zh) | 一种空调系统节能优化方法及系统 | |
| CN110097929A (zh) | 一种高炉铁水硅含量在线预测方法 | |
| KR20180138371A (ko) | 데이터 기반 모델 평가 및 이를 이용한 캡슐형 빙축열 시스템 예측제어 방법 | |
| CN114200839A (zh) | 一种耦合环境行为动态监测的办公建筑能耗智能控制模型 | |
| CN115907191A (zh) | 一种自适应建筑光伏表皮模型预测控制方法 | |
| CN115423191A (zh) | 一种基于神经网络并受房间热负荷约束的室温模型预测控制方法 | |
| CN109857177B (zh) | 一种建筑电气节能监测方法 | |
| CN111815039A (zh) | 基于天气分类的周尺度风电功率概率预测方法及系统 | |
| WO2022257267A1 (zh) | 环境参数控制设备集群控制方法、装置、设备及存储介质 | |
| WO2021234763A1 (ja) | 室内温度推定装置、プログラム及び室内温度推定方法 | |
| CN117408170B (zh) | 一种适用于数据中心水冷系统的节能预测控制方法 | |
| CN116505556B (zh) | 基于一次调频的风电场功率控制系统及方法 | |
| WO2022246627A1 (zh) | 一种用于控制制冷设备的方法和装置 | |
| CN116360266A (zh) | 一种基于多目标优化算法的猪舍温度节能控制方法 | |
| CN114282445A (zh) | 循环水系统运行优化方法以及相关设备 | |
| Gao et al. | Application of dynamic programming algorithm in winter heating control of greenhouse | |
| CN116133328A (zh) | 基于模型预测控制的机房空调节能方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |