CN114580688A - 水冷系统的控制模型优化方法、电子设备和存储介质 - Google Patents
水冷系统的控制模型优化方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114580688A CN114580688A CN202011377439.8A CN202011377439A CN114580688A CN 114580688 A CN114580688 A CN 114580688A CN 202011377439 A CN202011377439 A CN 202011377439A CN 114580688 A CN114580688 A CN 114580688A
- Authority
- CN
- China
- Prior art keywords
- parameters
- control
- model
- parameter
- energy consumption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001816 cooling Methods 0.000 title claims abstract description 135
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005457 optimization Methods 0.000 title claims abstract description 21
- 238000005265 energy consumption Methods 0.000 claims abstract description 59
- 230000007704 transition Effects 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000011156 evaluation Methods 0.000 claims description 65
- 238000012549 training Methods 0.000 claims description 31
- 230000009471 action Effects 0.000 claims description 22
- 230000007613 environmental effect Effects 0.000 claims description 19
- 238000011217 control strategy Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 13
- 238000012546 transfer Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000007710 freezing Methods 0.000 description 6
- 230000008014 freezing Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 102100027284 Fanconi-associated nuclease 1 Human genes 0.000 description 4
- 101000914689 Homo sapiens Fanconi-associated nuclease 1 Proteins 0.000 description 4
- 239000000498 cooling water Substances 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000013643 reference control Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
- F24F11/46—Improving electric energy efficiency or saving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Development Economics (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Feedback Control In General (AREA)
Abstract
本申请实施例涉及数据处理领域，特别涉及一种水冷系统的控制模型优化方法、电子设备和存储介质。水冷系统的控制模型优化方法包括：获取数据中心的参数；创建状态转移模型和控制模型；根据所述数据中心的参数优化所述状态转移模型；根据优化后的所述状态转移模型和所述数据中心的参数对所述控制模型进行优化，获取优化后的所述控制模型。应用在优化水冷系统的控制模型的过程中，达到为数据中心的水冷系统提供一种经过优化的控制模型，使得能够对水冷系统进行控制从而降低水冷系统的能耗的目的。
Description
技术领域
本申请实施例涉及数据处理领域，特别涉及一种水冷系统的控制模型优化方法、电子设备和存储介质。
背景技术
数据中心的耗电量随着规模的扩大不断增加，其中，水冷系统在数据中心的非互联网技术(Internet Technology，IT)能耗中大约占一半。因此，有效降低水冷系统的能耗是数据中心降低非IT能耗的关键之一。通常数据中心会通过模型与水冷系统的物理环境直接交互或者仿真环境交互获取控制策略及其控制效果数据来对水冷系统控制策略模型进行优化，从而对水冷系统发送能够降低能耗的控制命令。
然而，一方面采用模型与水冷系统的物理环境直接交互时，模型一般未经优化，一个未经优化的模型所生成的控制策略很可能会影响数据中心的正常运行；另一方面采用仿真环境交互获取控制策略及其控制效果数据来对水冷系统控制策略模型进行优化时，仿真环境通常与真实的数据中心环境及水冷系统真实环境存在偏差，无法对真实环境参数进行拟合。
发明内容
本申请实施例的主要目的在于提出一种水冷系统的控制模型优化方法、电子设备和存储介质，旨在为数据中心的水冷系统提供一种经过真实交互环境交互过程的优化后的控制模型，使得能够拟合真实环境，有效降低水冷系统的能耗的同时不会影响数据中心的正常运行。
为实现上述目的，本申请实施例提供了水冷系统的控制模型优化方法，所述方法包括以下步骤：获取数据中心的参数；创建状态转移模型和控制模型；根据所述数据中心的参数优化所述状态转移模型；根据优化后的所述状态转移模型和所述数据中心的参数对所述控制模型进行优化，获取优化后的所述控制模型。
为实现上述目的，本申请实施例还提出了一种电子设备，所述设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的水冷系统的控制模型优化方法。
为实现上述目的，本申请实施例还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的水冷系统的控制模型优化方法。
本申请提出的水冷系统的控制模型优化方法，通过获取数据中心的参数，为创建的状态转移模型和控制模型提供训练数据，然后根据数据中心的参数训练优化状态转移模型，为控制模型优化提供真实、离线的环境用以交互训练，接着根据优化后的状态转移模型和数据中心的参数对控制模型进行优化，实现对水冷系统的控制模型的优化。首先本发明为数据中心的水冷系统提供一种了控制模型，因而能够有效降低水冷系统的能耗，其次，本发明还能够对控制模型进行优化，而不是使用初始的控制模型，更加安全可靠，为数据中心的水冷系统提供一种经过真实交互环境交互过程的优化后的控制模型，使得能够拟合真实环境，有效降低水冷系统的能耗的同时不会影响数据中心的正常运行。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
图1是本发明的第一实施方式提供的水冷系统的控制模型优化方法的流程图；
图2是图1所示的本发明的第一实施方式提供的水冷系统的控制模型优化方法中步骤103的流程图；
图3是本发明的第二实施方式提供的水冷系统的控制模型优化方法的流程图；
图4是图3所示的本发明的第二实施方式提供的水冷系统的控制模型优化方法中步骤305的流程图；
图5是本发明的第三实施方式提供的水冷系统的控制模型优化方法的流程图；
图6是本发明的第四实施方式提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本申请的第一实施例涉及一种水冷系统的控制模型优化方法，如图1所示，具体包括：
步骤101，获取数据中心的参数。
具体地说，接收数据中心发送的数据包，解析数据包，获取数据中心的参数集合。数据中心包括数据中心水冷系统、数据中心机房和数据中心环境等，数据中心水冷系统能够提供数据中的控制参数和输出参数，数据中心机房能够提供数据中心的运行参数，数据中心环境能够提供数据中的环境参数。
更具体地说，控制参数还包括冷却塔运行数量、冷却泵运行数量、冷冻泵运行数量、板换运行数量、板换出水温度、冷却塔供水温度、冷却塔风机运行频率、冷却泵运行频率、冷冻泵运行频率、冷冻总管压差设置值等参数；输出参数还包括水冷系统能耗、水冷系统末端出风温度、水冷系统末端回风温度、水冷系统冷量等参数；运行参数还包括IT能耗参数、数据中心设置温度等参数；环境参数还包括室外干球温度、室外湿球温度、室外湿度等参数。
当然，以上仅为具体的举例说明，在实际的使用过程中数据中心的参数还可以包括其他参数，此处不做一一赘述。
步骤102，创建状态转移模型和控制模型。
具体地说，状态转移模型是描述数据中心的状态变化关系的模型，能够将根据输入的数据中心的环境参数、数据中心的运行参数和数据中心的控制参数得到数据中心的当前输出参数，以及预测出该输出参数作用后的下一状态的数据中心的环境参数、数据中心的运行参数。控制模型是水冷系统的控制模型，输入数据中心的环境参数和数据中心的运行参数能够得到数据中心的控制策略，其中，控制策略以控制参数的形式表现。
步骤103，根据数据中心的参数优化状态转移模型。
具体地说，将数据中心中能够对控制效果产生作用的参数的环境参数、运行参数、控制参数等作为模型的输入数据，将能够体现控制效果的输出参数等作为模型与输入数据相对应的输出数据，对模型进行训练以实现模型优化。
更具体地说，如图2，步骤103包括：
步骤201，将环境参数、运行参数和控制参数输入状态转移模型，获取预测输出参数。
步骤202，根据预测输出参数和输出参数计算状态转移损失。
本实施方式不对用于计算状态转移的损失函数进行限定，在实际的使用过程中，损失函数可以为任意一种能够反映预测输出参数和实际输出参数之间的偏差的损失函数。
步骤203，根据状态转移损失优化状态转移模型。
具体地说，利用步骤202得到的状态转移损失作为训练数据来训练状态转移模型，从而实现模型的优化。
步骤104，根据优化后的状态转移模型和数据中心的参数对控制模型进行优化，获取优化后的控制模型。
具体地说，本方式通过对状态转移模型、控制模型和数据中心的参数直接或者间接地获取训练数据，然后根据得到的训练数据对控制模型进行训练以实现控制模型的优化。
本申请提出的水冷系统的控制模型优化方法，通过获取数据中心的参数，为创建的状态转移模型和控制模型提供训练数据，然后根据数据中心的参数训练优化状态转移模型，为控制模型优化提供真实、离线的环境用以交互训练，接着根据优化后的状态转移模型和数据中心的参数对控制模型进行优化，实现对水冷系统的控制模型的优化。首先本发明为数据中心的水冷系统提供一种了控制模型，因而能够有效降低水冷系统的能耗，其次，本发明还能够对控制模型进行优化，而不是使用初始的控制模型，更加安全可靠，为数据中心的水冷系统提供一种经过真实交互环境交互过程的优化后的控制模型，使得能够拟合真实环境，有效降低水冷系统的能耗的同时不会影响数据中心的正常运行。
本申请的第二实施例涉及一种水冷系统的控制模型优化方法，本实施例与第一实施例大致相同，区别在于，步骤104采用强化学习的方式对控制模型进行优化，具体流程如图3所示：
步骤301，获取数据中心的参数。
具体地说，本实施方式中的步骤301与第一实施方式中的步骤101大致相同，此处不一一赘述。
步骤302，创建状态转移模型和控制模型。
具体地说，本实施方式中的步骤302与第一实施方式中的步骤102大致相同，此处不一一赘述。
步骤303，根据数据中心的参数优化状态转移模型。
具体地说，本实施方式中的步骤303与第一实施方式中的步骤103大致相同，此处不一一赘述。
步骤304，从数据中心的参数中随机选取一组样本数据。
具体地说，随机选取数据中心某一状态下的各类型参数，只有同一状态下的数据才能构成一组样本数据。
步骤305，利用控制模型和状态转移模型处理样本数据，获取训练样本。
具体地说，如图4所示，步骤305包括：
步骤401，根据环境参数和运行参数生成状态表征数据。
具体地说，数据以矩阵的形式进行运算，能够有效提高运行速率，提高步骤的执行效率，因此可以将数据进行向量化，进一步得到数据中心的状态表征向量。
步骤402，将状态表征数据输入控制模型，获取预测控制参数。
具体地说，将状态表征向量输入控制模型，控制模型输出一个模型预测的控制参数向量。
步骤403，将预测控制参数、环境参数和运行参数输入状态转移模型，获取预测输出参数并根据预测输出参数更新环境参数和运行参数。
具体地说，将预测控制参数、环境参数和运行参数输入状态转移模型后，能够得到模型输出的预测输出参数，同时还能够得到下一状态下的环境参数和运行参数，将下一状态下的环境参数和运行参数更新到设置的环境参数和运行参数，以进行下一轮迭代循环。
步骤404，根据更新后的环境参数和运行参数更新状态表征数据。
步骤405，根据预测控制参数、预测输出参数和控制参数对预测控制参数进行评估，获取控制奖励。
具体地说，首先根据预测控制参数和控制参数获取对控制策略的控制动作评估值，然后根据预测输出参数获取控制效果评估值，其中，控制效果评估值包括能耗评估值和冷量评估值，最后对控制动作评估值、能耗评估值和冷量评估值进行综合分析，获取控制奖励。
更具体地说，根据当前的预测控制参数和数据中心的控制参数代入预先设置的函数中，获取控制动作评估值；根据第一次的预测输出参数中获取初始能耗参数和初始冷量参数，根据当前的预测输出参数中获取当前预测能耗参数和当前预测冷量参数，根据上一次的预测输出参数中获取历史预测能耗参数，根据当前预测能耗参数和历史预测能耗参数获取能耗的增长率，根据当前预测能耗参数和初始能耗参数获取能耗的偏离度，对增长率和偏离度进行平均获取能耗评估值，根据初始冷量参数和当前预测冷量参数进行分析，获取冷量评估值；对得到的控制动作评估值和冷量评估值进行加权平均，获取约束评估值，并对能耗评估值和约束评估值进行加权平均，得到控制奖励。
需要说明的是，不对本实施方式中使用的函数进行限定，可以是任意一种能够根据上述数据得到直观、准确的评价结果的函数。
步骤406，根据更新前的状态表征数据、预测控制参数、控制奖励和更新后的状态表征数据生成一个训练样本。
具体地说，一个训练样本是一个四元组，且这个四元组由步骤401获取的更新前的状态表征数据、步骤402获取的预测控制参数、步骤405获取的控制奖励和步骤44获取的更新后的状态表征数据组成。
步骤407，检测训练样本的数量是否达到第二阈值。
具体地说，若是，执行步骤408，若否，执行步骤402。
步骤408，将所有训练样本作为一组训练样本。
步骤306，根据训练样本优化控制模型。
具体地说，将步骤408得到的一组训练样本作为一个训练集来训练控制模型，完成一次优化。
步骤307，检测控制模型的优化次数是否达到第一阈值。
具体地说，若是，执行步骤308，若否，执行步骤304。
需要说明的是第一阈值和第二阈值只是为了区分是优化次数的阈值还是训练样本数量的阈值，第一阈值和第二阈值之间不存在联系，是根据需求设置的两个数值。
步骤308，获取并保存优化后的控制模型。
本实施例相对于现有技术而言，在第一实施例地基础上，能够加入冷量的评价，从而保证水冷系统的温控满足数据中心的温控要求，使得既能保证水冷系统正常运行满足数据中心温控要求，又能够降低水冷系统的能耗。
为了使本领域技术人员能够更清楚地理解以上本发明第一实施方式和第二实施方式公开的水冷系统的控制模型优化方法整体流程，本发明第三实施方式以水冷系统的控制模型优化方法应用在下表描述的数据中心的水冷系统上为例进行说明。
如图5所示，本发明的第三实施方式提供的水冷系统的控制模型优化方法，包括：
步骤501，获取数据中心上传的数据中心历史采集离线数据包并解析，获取数据样本。
具体地说，解析得到多个数据样本，每个数据样本包括水冷系统输出状态参数、数据中心环境状态参数、水冷系统控制参数和数据中心运行状态参数。
更具体地说，一个数据样本包括：水冷系统输出状态参数包括水冷系统能耗参数(CoolingEnergy)、水冷系统当前冷量参数(Cooling_cal)、水冷系统末端出风温度参数(AirOutAvgTemp)、水冷系统末端回风温度参数(AirInAvgTemp)；
数据中心环境状态参数包括室外干球温度(OutsideDBTemp1)、室外相对湿度(OutsideRHumidity1)、室外湿球温度(OutsideWetTemp1)；
数据中心运行状态参数包括IT能耗(ITEnergy)、数据中心设置温度(DCRoomTempSet)；
水冷系统控制参数包括冷却塔运行数量(CTNum)、冷冻泵运行数量(CHWPNum)、冷却泵运行数量(CWPNum)、板换运行数量(HENum)、板换出水温度设置值(HECHWSTempSet)、冷却塔供水温度设置值(CTWSTempSet)、冷冻总管1压差设置值(CH1_CWSPress)、冷冻总管2压差设置值(CH2_CWSPress)、冷却水泵1运行频率设置值(CWP1_Frequency)、冷却水泵2运行频率设置值(CWP2_Frequency)、冷却塔1风机1运行频率设置值(CT1_FAN1_Frequency)、冷却塔1风机2运行频率设置值(CT1_FAN2_Frequency)、冷却塔2风机1运行频率设置值(CT2_FAN1_Frequency)、冷却塔2风机2运行频率设置值(CT2_FAN2_Frequency)、冷冻水泵1运行频率设置值(CHWP1_Frequency)、冷冻水泵2运行频率设置值(CHWP2_Frequency)。
需要说明的是，在执行下一步骤之前还需要创建数据中心水冷系统输出状态转移模型M1和水冷系统控制参数探索优化模型M2，并初始化模型M1和模型M2。在创建模型之后还包括设置模型M2最大的训练次数和随机采样样本的水冷系统控制参数最大的探索次数，具体地说，模型M2最大的训练次数相当于其他第二实施方式中的第一阈值，随机采样样本的水冷系统控制参数最大的探索次数相当于其他第二实施方式中的第二阈值。
步骤502，利用数据中心的参数对输出状态转移模型M1进行训练，获取训练优化后的数据中心水冷系统输出状态转移模型M3。具体地说，将数据中心环境状态参数、数据中心运行状态参数、水冷系统控制参数向量化后经融合运算生成数据中心混合状态表征，并将数据中心混合状态表征作为模型M1的输入特征，而水冷系统输出状态参数向量化后作为模型M1的输出特征，对模型M1进行训练，模型优化达到设置要求后停止训练，获取模型M3并保存模型M3。
步骤503，对解析出来的数据样本进行随机采样，获取一个数据样本。
步骤504，根据样本数据获取数据中心状态表征向量S和水冷系统基准控制参数向量A_base。
具体地说，对数据样本中的数据中心环境参数和数据中心运行状态参数进行向量化，获取数据中心状态表征向量S，对数据样本中的水冷系统控制参数进行向量化，得到数据样本的水冷系统基准控制参数向量A_base。
步骤505，将向量S和向量A_base输入到模型M3中，获取相应的水冷系统输出状态基准参数param_base。
具体的说，将向量S和向量A_base进行融合计算，生成数据中心混合状态表征向量，然后将数据中心混合状态表征向量输入模型M3中，得到模型输出的参数param_base。
需要说明的是，参数param_base除了作为一个参考值进行使用，实际上还在每个样本的第一个前一次水冷系统输出状态参数param_hist，具体地说，将参数param_base的值赋给参数param_hist。
需要说明的是，此时还需要对数据样本的水冷系统控制参数当前的探索次数清零explore_count＝0。
步骤506，将向量S输入到模型M2中，获取水冷系统控制探索性参数向量A_explore。
具体地说，向量A_explore是一次探索后得到的下一个状态对应的控制参数，至少包括冷却塔运行数量(CTNum)、冷冻泵运行数量(CHWPNum)、冷却泵运行数量(CWPNum)、板换运行数量(HENum)、板换出水温度设置值(HECHWSTempSet)、冷却塔供水温度设置值(CTWSTempSet)、冷冻总管1压差设置值(CH1_CWSPress)、冷冻总管2压差设置值(CH2_CWSPress)、冷却水泵1运行频率设置值(CWP1_Frequency)、冷却水泵2运行频率设置值(CWP2_Frequency)、冷却塔1风机1运行频率设置值(CT1_FAN1_Frequency)、冷却塔1风机2运行频率设置值(CT1_FAN2_Frequency)、冷却塔2风机1运行频率设置值(CT2_FAN1_Frequency)、冷却塔2风机2运行频率设置值(CT2_FAN2_Frequency)、冷冻水泵1运行频率设置值(CHWP1_Frequency)、冷冻水泵2运行频率设置值(CHWP2_Frequency)。
步骤507，根据向量S、向量A_explore获取当前水冷系统输出状态参数param_explore并进一步获取能耗评估值和冷量评估值，并根据参数A_base和参数A_explore获取控制动作评估值。
具体地说，对向量S和向量A_explore输入到水冷系统输出状态转移模型M3中，获取当前水冷系统输出状态参数param_explore；根据参数param_base、参数param_explore和参数param_hist，分别获取能耗评估值和冷量评估值。
更具体地说，将向量S和A_explore进行融合计算，生成数据中心混合状态表征向量S_mix，然后将向量S_mix输入模型M3中，得到模型输出的参数param_explore，然后根据参数param_base、参数param_explore和参数param_hist获取能耗评估值方法如下：
从水冷系统输出状态基准参数param_base中获取水冷系统能耗参数CEΦ，从当前水冷系统输出状态参数param_explore获取水冷系统能耗参数CEt，从前一次水冷系统输出状态参数param_hist获取水冷系统能耗参数CEt-1，并按照下面公式计算当前水冷系统控制探索性参数A_explore的能耗奖励值：
其中，reward_ce是能耗评估值，
是能耗的偏离度，
是能耗的增长率，两个0.5分别是能耗的偏离度和能耗的增长率的权值。
需要说明的是，此处采用算数平均的方法综合计算，将权值设为(0.5，0.5)，但是还可以根据实际需求将权值设定为其他值。更进一步地说，还可以采用平均之外的其他统计分析方法计算，此处不一一赘述。
接着根据参数param_base和参数param_explore获取冷量评估值如下：
具体地说，从水冷系统输出状态基准参数param_base中获取冷量参数Cooling_cal作为基准冷量cool_cal_Φ，从当前水冷系统输出状态参数param_explore获取冷量参数Cooling_cal作为当前水冷系统控制探索性参数所对应冷量参数cool_cal_t，并通过水冷系统控制参数冷量约束评估函数g(x)计算冷量约束评估值g(cool_cal_t,cool_cal_Φ)。需要说明的是，约束评估函数g(x)可以根据业务需求进行设计，不对约束评估函数g(x)的具体形式进行限定。
最后，根据参数A_base和参数A_explore获取控制动作评估值。
具体地说，通过水冷系统控制参数约束评估函数f(x)计算当前水冷系统控制探索性参数约束评估值f(A_base,A_explore)。需要说明的是，水冷系统控制参数约束评估函数f(x)可以根据业务需求进行设计，不对水冷系统控制参数约束评估函数f(x)的具体形式进行限定。
步骤508，根据动作评估值、冷量评估值和能耗评估值获取控制奖励。
具体地说，首先根据动作评估值和冷量评估值获取动作约束评估值。
按照下面公式计算当前水冷系统控制探索性参数A_explore的动作约束评估值：
safe_eval_action＝0.5·f(A_base,A_explore)+0.5·g(cool_cal_t,cool_cal_Φ)
其中，safe_eval_action是动作约束评估值，f(A_base,A_explore)和g(cool_cal_t,cool_cal_Φ)分别是动作评估值和冷量评估值，两个0.5分别是动作评估值和冷量评估值的权值。
需要说明的是，此处采用算数平均的方法综合计算，将权值设为(0.5，0.5)，但是还可以根据实际需求将权值设定为其他值。更进一步地说，还可以采用平均之外的其他统计分析方法计算，此处不一一赘述。
然后通过能耗评估值和水冷系统控制参数动作约束评估值计算控制奖励。
采用如下公式计算：
R＝0.5·reward_ce+0.5·safe_eval_action
其中，R是控制奖励，reward_ce是能耗评估值，safe_eval_action是动作约束评估值，两个0.5分别是能耗评估值和动作约束评估值的权值。
需要说明的是，此处采用算数平均的方法综合计算，将权值设为(0.5，0.5)，但是还可以根据实际需求将权值设定为其他值。更进一步地说，还可以采用平均之外的其他统计分析方法计算，此处不一一赘述。
需要说明的是，上述步骤实际上是将动作评估值、冷量评估值先综合分析再加入能耗评估值继续分析，直接三者分析的情况下，上述过程等价为采用如下公式计算控制奖励：
R＝0.5·reward_ce+0.25·f(A_base,A_explore)+0.25·g(cool_cal_t,cool_cal_Φ)
其中，R是控制奖励，reward_ce是能耗评估值，f(A_base,A_explore)是动作评估值，g(cool_cal_t,cool_cal_Φ)是冷量评估值，0.5、0.25、0.25是权值。
步骤509，将元组(S，A_explore，R，S)存储到经验样本池中并更新参数param_hist为参数param_explore。
具体地说，得到一个元组(S，A_explore，R，S)就是完成一次探索，探索次数就会加1还需要将参数param_explore的值赋给参数param_hist。
步骤510，检测当前探索次数是否达到最大次数。
具体地说，若是，执行步骤506，若否，执行步骤511。
步骤511，利用经验样本池中的数据对模型M2进行优化。
具体地说，一个样本可以得到模型M2优化一次所需的数据，一次结束后优化次数加1。
步骤512，检测当前优化次数是否达到最大值。
具体地说，若是，执行步骤505，若否，执行步骤513。
步骤513，保存模型M2，对模型M2进行上线部署现场测试。
本申请提出的水冷系统的控制模型优化方法，通过获取数据中心的参数，为创建的状态转移模型和控制模型提供训练数据，然后根据数据中心的参数训练优化状态转移模型，为控制模型优化提供真实、离线的环境用以交互训练，接着根据优化后的状态转移模型和数据中心的参数对控制模型进行优化，实现对水冷系统的控制模型的优化。首先本发明为数据中心的水冷系统提供一种了控制模型，因而能够有效降低水冷系统的能耗，其次，本发明还能够对控制模型进行优化，而不是使用初始的控制模型，更加安全可靠，为数据中心的水冷系统提供一种经过真实交互环境交互过程的优化后的控制模型，使得能够拟合真实环境，有效降低水冷系统的能耗的同时不会影响数据中心的正常运行。
此外，应当理解的是，上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请的第四实施例涉及一种电子设备，如图6所示，包括：包括至少一个处理器601；以及，与至少一个处理器601通信连接的存储器602；其中，存储器602存储有可被至少一个处理器601执行的指令，指令被至少一个处理器601执行，以使至少一个处理器601能够执行上述任一方法实施例所描述的xxx方法。
其中，存储器602和处理器601采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器601和存储器602的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器601处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传输给处理器601。
处理器601负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器602可以被用于存储处理器601在执行操作时所使用的数据。
本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施例是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。
Claims (10)
1.一种水冷系统的控制模型优化方法，其特征在于，包括：
获取数据中心的参数；
创建状态转移模型和控制模型；
根据所述数据中心的参数优化所述状态转移模型；
根据优化后的所述状态转移模型和所述数据中心的参数对所述控制模型进行优化，获取优化后的所述控制模型。
2.根据权利要求1所述的方法，其特征在于，所述数据中心的参数包括环境参数、运行参数、控制参数和输出参数，所述根据所述数据中心的参数优化所述状态转移模型，包括：
将所述环境参数、所述运行参数和所述控制参数输入所述状态转移模型，获取预测输出参数；
根据所述预测输出参数和所述输出参数计算状态转移损失；
根据所述状态转移损失优化所述状态转移模型。
3.根据权利要求1所述的方法，其特征在于，所述根据优化后的所述状态转移模型和所述数据中心的参数对预先创建的控制模型进行优化，获取优化后的所述控制模型，包括：
采样步骤，从所述数据中心的参数中随机选取一组样本数据；
利用所述控制模型和所述状态转移模型处理所述样本数据，获取训练样本；
根据所述训练样本优化所述控制模型；
检测所述控制模型的优化次数是否达到第一阈值；
若是，获取并保存优化后的所述控制模型；
若否，返回所述采样步骤。
4.根据权利要求3所述的方法，其特征在于，所述样本数据包括所述环境参数、所述运行参数和所述控制参数，所述利用所述控制模型和所述状态转移模型处理所述样本数据，获取训练样本包括：
根据所述环境参数和所述运行参数生成状态表征数据；
将所述状态表征数据输入所述控制模型，获取预测控制参数；
将所述预测控制参数、所述环境参数和所述运行参数输入所述状态转移模型，获取所述预测输出参数并根据所述预测输出参数更新所述环境参数和所述运行参数；
根据更新后的所述环境参数和所述运行参数更新所述状态表征数据；
根据所述预测控制参数、所述预测输出参数和所述控制参数对所述预测控制参数进行评估，获取控制奖励；
根据更新前的所述状态表征数据、所述预测控制参数、所述控制奖励和更新后的所述状态表征数据生成一个训练样本。
5.根据权利要求4所述的方法，其特征在于，还包括：
若检测到所述训练样本的数量未达到第二阈值，利用所述控制模型和所述状态转移模型处理更新后的所述环境参数、更新后的所述运行参数和所述预测控制参数，获取训练样本，直到所述训练样本的数量达到所述第二阈值。
6.根据权利要求4所述的方法，其特征在于，所述根据所述预测控制参数、所述预测输出参数和所述控制参数对所述预测控制参数进行评估，获取控制奖励，包括：
根据所述预测控制参数和所述控制参数获取对控制策略的控制动作评估值；
根据所述预测输出参数获取控制效果评估值，其中，所述控制效果评估值包括能耗评估值和冷量评估值；
对所述控制动作评估值、所述能耗评估值和所述冷量评估值进行综合分析，获取所述控制奖励。
7.根据权利要求6所述的方法，其特征在于，所述根据所述预测输出参数获取控制效果评估值，包括：
根据第一次的所述预测输出参数中获取初始能耗参数和初始冷量参数；
根据当前的所述预测输出参数中获取当前预测能耗参数和当前预测冷量参数；
根据上一次的所预测输出参数中获取历史预测能耗参数；
根据所述当前预测能耗参数和所述历史预测能耗参数获取能耗的增长率；
根据所述当前预测能耗参数和所述初始能耗参数获取能耗的偏离度；
对所述增长率和所述偏离度进行平均获取所述能耗评估值；
根据所述初始冷量参数和所述当前预测冷量参数进行分析，获取所述冷量评估值。
8.根据权利要求6所述的方法，其特征在于，所述对所述控制动作评估值、所述能耗评估值和所述冷量评估值进行综合分析，获取所述控制奖励，包括：
对所述控制动作评估值和所述冷量评估值进行加权平均，获取约束评估值；
对所述能耗评估值和所述约束评估值进行加权平均，获取所述控制奖励。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任意一项所述水冷系统的控制模型优化方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的水冷系统的控制模型优化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011377439.8A CN114580688A (zh) | 2020-11-30 | 2020-11-30 | 水冷系统的控制模型优化方法、电子设备和存储介质 |
| PCT/CN2021/127980 WO2022111232A1 (zh) | 2020-11-30 | 2021-11-01 | 水冷系统的控制模型优化方法、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011377439.8A CN114580688A (zh) | 2020-11-30 | 2020-11-30 | 水冷系统的控制模型优化方法、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114580688A true CN114580688A (zh) | 2022-06-03 |
Family
ID=81755330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011377439.8A Pending CN114580688A (zh) | 2020-11-30 | 2020-11-30 | 水冷系统的控制模型优化方法、电子设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114580688A (zh) |
| WO (1) | WO2022111232A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114727570A (zh) * | 2022-06-09 | 2022-07-08 | 南京群顶科技有限公司 | 一种基于温度变化关系的制冷机组水温调节方法 |
| CN116466672A (zh) * | 2023-06-13 | 2023-07-21 | 深圳市宝腾互联科技有限公司 | 基于人工智能的数据中心机房参数调控方法及相关装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117289765A (zh) * | 2022-06-23 | 2023-12-26 | 华为技术有限公司 | 液冷系统的控制方法、装置、设备和系统 |
| CN116307946B (zh) * | 2023-05-19 | 2023-08-18 | 中科航迈数控软件(深圳)有限公司 | 基于加工环境的自适应能耗评估方法、装置、设备及介质 |
| CN117408170B (zh) * | 2023-12-15 | 2024-03-08 | 南京群顶科技股份有限公司 | 一种适用于数据中心水冷系统的节能预测控制方法 |
| CN117529070B (zh) * | 2024-01-08 | 2024-03-26 | 四川建诚智造科技有限公司 | 一种用于光伏逆变器稳定运行的散热控制方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104698843B (zh) * | 2015-02-06 | 2017-07-11 | 同济大学 | 一种基于模型预测控制的数据中心节能控制方法 |
| CN109882996A (zh) * | 2019-01-25 | 2019-06-14 | 珠海格力电器股份有限公司 | 一种控制的方法及设备 |
| CN111505944B (zh) * | 2019-01-30 | 2021-06-11 | 珠海格力电器股份有限公司 | 节能控制策略学习方法、实现空调节能控制的方法及装置 |
| CN111765604B (zh) * | 2019-04-01 | 2021-10-08 | 珠海格力电器股份有限公司 | 空调的控制方法和装置 |
| CN111609534B (zh) * | 2020-05-25 | 2022-02-25 | 珠海拓芯科技有限公司 | 温度控制方法、装置及中央温度控制系统 |
-
2020
- 2020-11-30 CN CN202011377439.8A patent/CN114580688A/zh active Pending
-
2021
- 2021-11-01 WO PCT/CN2021/127980 patent/WO2022111232A1/zh active Application Filing
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114727570A (zh) * | 2022-06-09 | 2022-07-08 | 南京群顶科技有限公司 | 一种基于温度变化关系的制冷机组水温调节方法 |
| CN114727570B (zh) * | 2022-06-09 | 2022-09-02 | 南京群顶科技有限公司 | 一种基于温度变化关系的制冷机组水温调节方法 |
| CN116466672A (zh) * | 2023-06-13 | 2023-07-21 | 深圳市宝腾互联科技有限公司 | 基于人工智能的数据中心机房参数调控方法及相关装置 |
| CN116466672B (zh) * | 2023-06-13 | 2023-11-10 | 深圳市宝腾互联科技有限公司 | 基于人工智能的数据中心机房参数调控方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022111232A1 (zh) | 2022-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114580688A (zh) | 水冷系统的控制模型优化方法、电子设备和存储介质 | |
| CN113835344B (zh) | 设备的控制优化方法、展示平台、云服务器及存储介质 | |
| WO2021063033A1 (zh) | 空调能耗模型训练方法与空调系统控制方法 | |
| US11513480B2 (en) | Method and device for automatically diagnosing and controlling apparatus in intelligent building | |
| Trčka et al. | Overview of HVAC system simulation | |
| CN110866592B (zh) | 模型训练方法、装置、能效预测方法、装置和存储介质 | |
| CN109032078A (zh) | 机器学习装置、控制装置以及计算机可读介质 | |
| CN114330852B (zh) | 一体化数据中心柜末端空调系统节能优化方法及装置 | |
| Chen et al. | Digital twins model and its updating method for heating, ventilation and air conditioning system using broad learning system algorithm | |
| Su et al. | An agent-based distributed real-time optimal control strategy for building HVAC systems for applications in the context of future IoT-based smart sensor networks | |
| CN113268913B (zh) | 一种基于pso-elm算法的智能建筑空调冷机系统运行优化方法 | |
| KR20200039964A (ko) | 기계학습모델 기반 설비 기기의 최적 운전 방법 및 장치 | |
| CN110866528A (zh) | 一种模型训练方法、能耗使用效率预测方法、装置和介质 | |
| CN110334802A (zh) | 一种神经网络模型的构建方法、装置、设备及存储介质 | |
| Xu et al. | VABO: Violation-aware Bayesian optimization for closed-loop control performance optimization with unmodeled constraints | |
| CN111582604A (zh) | 数据处理方法和装置、电子设备、及介质 | |
| KR102195272B1 (ko) | 공기 조화기의 설치 정보 제공 방법, 장치 및 컴퓨터-판독 가능 기록 매체 | |
| CN115238599B (zh) | 制冷系统节能方法及模型强化学习训练方法、装置 | |
| CN116882708B (zh) | 基于数字孪生的钢铁工艺流程管控方法、装置及相关设备 | |
| Luo et al. | Controlling commercial cooling systems using reinforcement learning | |
| CN114930375A (zh) | 建筑设备能源管理控制系统及其控制方法 | |
| CN115983438A (zh) | 数据中心末端空调系统运行策略确定方法及装置 | |
| WO2019227273A1 (en) | Hierarchical concept based neural network model for data center power usage effectiveness prediction | |
| CN116795198A (zh) | 数据中心的能耗优化方法、装置及存储介质 | |
| CN113821903A (zh) | 温度控制方法和设备、模块化数据中心及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |