CN111795761B - 一种基于强化学习模型的预测机柜进风温度的方法 - Google Patents

一种基于强化学习模型的预测机柜进风温度的方法 Download PDF

Info

Publication number
CN111795761B
CN111795761B CN202010589344.6A CN202010589344A CN111795761B CN 111795761 B CN111795761 B CN 111795761B CN 202010589344 A CN202010589344 A CN 202010589344A CN 111795761 B CN111795761 B CN 111795761B
Authority
CN
China
Prior art keywords
inlet air
cabinet
air temperature
reinforcement learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010589344.6A
Other languages
English (en)
Other versions
CN111795761A (zh
Inventor
周兴东
郑贤清
张士蒙
任群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Phoenix Shanghai Environment Control Technology Co ltd
Original Assignee
Phoenix Shanghai Environment Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Phoenix Shanghai Environment Control Technology Co ltd filed Critical Phoenix Shanghai Environment Control Technology Co ltd
Priority to CN202010589344.6A priority Critical patent/CN111795761B/zh
Publication of CN111795761A publication Critical patent/CN111795761A/zh
Application granted granted Critical
Publication of CN111795761B publication Critical patent/CN111795761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K13/00—Thermometers specially adapted for specific purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radiation Pyrometers (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

本发明涉及人工智能技术领域，具体为一种基于强化学习模型的预测机柜进风温度的方法，所述方法包括以下步骤：所述方法包括以下步骤，步骤1通过热成像装置采集机柜的表面实际温度数据，通过热敏装置采集对应机柜的实际进风温度数据；步骤2调用神经网络模型进行训练，用机柜的表面实际温度数据为输入，机柜的实际进风温度数据作为输出反复训练，使得神经网络模型通过训练后能预测出机柜的进风模拟温度数据；步骤3建立强化学习模型；步骤4获得增强学习模型最优策略下的神经网络模型生成新的预测器；步骤5用最优的预测器对机柜的进风温度进行预测。该方法提高机柜的进风模拟温度数据准确率，节约了物料与人工成本，便于使用。

Description

一种基于强化学习模型的预测机柜进风温度的方法
技术领域
本发明涉及人工智能技术领域，具体为一种基于强化学习模型的预测机柜进风温度的方法。
背景技术
机房数据中心机柜进风温度的测量是设计机房绕不开的话题，在机房节能改造过程中，改造前需对机房温度场进行测量，现有方法是采用手持式热敏测温装置，按一定的顺序，依次对每个机柜的进风气流温度进行测量，整个过程耗费时间成本过多，且数据中心温度场是时刻变化的，如果测量过程中空调的状态发生了改变，在此情况下测得的温度场并不是我们想要的结果，还有使用红外热成像的方法测量，红外热成像的优点是可以在较短的时间内采集到整个机房的温度信息，只是它测量的是机柜表面的温度数据，并不能代表进风气流的温度数据，数据中心是一个复杂的时变的环境，以往的基于BP神经网络的方法并不能很好的解决预测机柜进风温度的问题。鉴于此，我们提出一种基于强化学习模型的预测机柜进风温度的方法。
发明内容
本发明的目的在于提供一种基于强化学习模型的预测机柜进风温度的方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于强化学习模型的预测机柜进风温度的方法，所述方法包括以下步骤：
步骤1：通过热成像装置采集机柜的表面实际温度数据，通过热敏装置采集对应机柜的实际进风温度数据；
步骤2：调用神经网络模型进行训练，用机柜的表面实际温度数据为输入，机柜的实际进风温度数据作为输出反复训练，使得神经网络模型通过训练后能预测出机柜的进风模拟温度数据；
步骤3：建立强化学习模型；
神经网络模型作为强化学习模型的Agent；
神经网络每一次预测动作为Action；
模拟进风温度与实际进风温度的MSE作为Environment；
模拟进风温度与实际进风温度的MSE的大小作为设置Reward的依据。
步骤4：获得增强学习模型最优策略下的神经网络模型生成新的预测器；
步骤5：用最优的预测器对机柜的进风温度进行预测。
优选的，步骤1中，所述热成像装置为红外热成像仪。
优选的，步骤1中，所述热敏装置为热敏传感器。
优选的，步骤4中，在设置强化学习模型Reward的过程中遵循下列规则：
模拟进风温度与实际进风温度的MSE在温度区间[2,+∞)内时，评价指标为-100；
MSE在温度区间[1，2)内时，评价指标为-10；
MSE在温度区间[0.5，1)内时，评价指标为-1；
MSE在温度区间[0，0.5)内时，评价指标+100。
与现有技术相比，本发明的有益效果是：该基于强化学习模型的预测机柜进风温度的方法，通过获取机柜的表面实际温度数据和实际进风温度数据，能对机柜的表面温度以及进风温度进行实时的检测，并能根据检测的温度数据，及时更新神经网络模型的输入和输出，使得神经网络模型通过不断的训练和学习提高其预测数据的准确率，即能提高机柜的进风模拟温度数据准确率，缩短了机房数据中心前期勘察所用时间，也可以减少后期改造过程中布置热敏探头的数量，减少了现场施工工作量，节约了物料与人工成本，也为以后周期性巡检提供一种新的快速有效的方法，便于使用。
附图说明
图1为本发明的整体步骤的流程图；
图2为本发明中机柜的实际进风温度数据与模拟进风温度数据在同时刻下变化折线图；
图3为本发明中机柜的实际进风温度数据与模拟进风温度数据在同时刻下误差值变化折线图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图3所示，本发明提供的一种技术方案：
一种基于强化学习模型的预测机柜进风温度的方法，方法包括以下步骤：
步骤1：通过热成像装置采集机柜的表面实际温度数据，通过热敏装置采集对应机柜的实际进风温度数据；
步骤2：调用神经网络模型进行训练，用机柜的表面实际温度数据为输入，机柜的实际进风温度数据作为输出反复训练，使得神经网络模型通过训练后能预测出机柜的进风模拟温度数据；
步骤3：建立强化学习模型；
神经网络模型作为强化学习模型的Agent；
神经网络每一次预测动作为Action；
模拟进风温度与实际进风温度的MSE(绝对值误差)作为Environment；
模拟进风温度与实际进风温度的MSE的大小作为设置Reward的依据。
步骤4：获得增强学习模型最优策略下的神经网络模型生成新的预测器；
步骤5：用最优的预测器对机柜的进风温度进行预测。
本实施例中，步骤1中，热成像装置为红外热成像仪，热敏装置为热敏传感器。
进一步的，步骤4中，在设置强化学习模型Reward的过程中遵循下列规则：
模拟进风温度与实际进风温度的MSE(均方误差)在温度区间[2,+∞)内时，评价指标为-100；
MSE在温度区间[1，2)内时，评价指标为-10；
MSE在温度区间[0.5，1)内时，评价指标为-1；
MSE在温度区间[0，0.5)内时，评价指标+100。
值得说明的是，BP算法是一个有导师的学习算法，它含有隐含节点。对于一个输入样本，经过网络的正向推理得出个输出，然后让它与期望的输出样本进行比较。如果有偏差，就从输出开始向回传播，调整权系数Wji。
设X为输入样本，Y为输出样本，T为期望输出样本，η为学习率(是一个小于1的正数)，f(x)是网络的作用函数，选用S形曲线，而是Wji第i个单元到第j个单元联接的权系数，f′(x)为f(x)的导数，正向传播时是从输入一层一层地到输出，上一层的输出作为下一层的输入于是有：
正向传播：
Figure BDA0002554870370000041
其中，
f(x)＝1/(1-exp(-x))
学习过程：
Wji(n+1)＝Wji(n)+η·δj·xi
对于输出节点：
Figure BDA0002554870370000042
对于非输出节点：
Figure BDA0002554870370000051
BP算法收敛慢是由于误差δ是时间的复杂非线性函数，而BP算法本质上是简单的最速下降法，其权值调整依据误差对权值的偏导数。即按误差变化率最小的方向进行，当接近收敛时f(x)，导致收敛缓慢。初始值是很小的随机数，而权增量：
ΔW′ji＝η·δj·x′i
该式中各系数对权的修正程度不同，但值保持不变，则会导致对某些系数的过修正，所以只有当η很小时才会收敛。
具体的，本发明用到的优选算法为Q-Learning算法，其它算法不一一列举。
Q-Learning是强化学习算法中value-based的算法，Q即为Q(s,a)就是在某一时刻的s状态下(s∈S)，采取动作a(a∈A)动作能够获得收益的期望，环境会根据agent的动作反馈相应的回报reward，所以算法的主要思想就是将State与Action构建成一张Q-table来存储Q值，然后根据Q值来选取能够获得最大的收益的动作。
Q-Table a1 a2 a3 … an
s1 q(s1,a1) q(s1,a2) q(s1,a3) … q(s1,an)
s2 q(s2,a1) q(s2,a2) q(s2,a3) … q(s2,an)
s3 q(s3,a1) q(s3,a2) q(s3,a3) … q(s3,an)
… … … … … …
sn q(sn,a1) q(sn,a2) q(sn,a3) … q(sn,an)
智能体(Agent)、环境状态(environment)、奖励(reward)、动作(action)可以将问题抽象成一个马尔科夫决策过程，我们在每个格子都算是一个状态St，π(α|s)在s状态下采取动作α策略。
P(s′|s，α)为在s状态下选择α动作转换到下一个状态s′的概率。R(s′|s，α)表示在s状态下采取α动作转移到s′的奖励reward，目的就是找到获得最大奖赏的策略。
通过bellman方程求解马尔科夫决策过程的最佳决策序列，状态值函数
Vπ(s)可以评价当前状态的好坏，每个状态的值，不仅由当前状态决定，也跟后面的状态有关，所以状态的累计奖励求期望就可得出当前s的状态值函数V(s)。
最优累计期望可用V*(s)表示：
Figure BDA0002554870370000061
最优价值动作函数：
Q*(s,a)＝maxπQ*(s,a)
展开如下：
Q*(s,a)＝∑s'P(s'∣s,a)(R(s,a,s')+γ·maxa'Q*(s',a'))
Bellman方程实际上就是价值动作函数的转换关系：
Figure BDA0002554870370000062
Q-learning更新公式：
Q(s,a)＝Q(s,a)+α[(R+γ·maxa'Q(s',a')-Q(s,a))2]
根据下一个状态s′中选取最大的Q(s′，α′)值乘以衰变γ加上真实回报值作为Q现实，而根据过往Q表里面的Q(s′，α′)作为Q估计。
本实施例的基于强化学习模型的预测机柜进风温度的方法在使用时，通过热成像装置采集机柜的表面实际温度数据，通过热敏装置采集对应机柜的实际进风温度数据，能对机柜的表面温度以及进风温度进行实时的检测，并能根据检测的温度数据，及时更新神经网络模型的输入和输出，使得神经网络模型通过不断的训练和学习提高其预测数据的准确率，即能提高机柜的进风模拟温度数据准确率，相对于单个神经网络模型来说提高了模型的泛化性，应用场景更广，模型结构参数等可以针对不同应用场景进行线上实时更新，通过不断学习提高模型预测准确率，可以更加准确的预测机柜进风温度，缩短了机房数据中心前期勘察所用时间，也可以减少后期改造过程中布置热敏探头的数量，减少了现场施工工作量，节约了物料与人工成本，也为以后周期性巡检提供一种新的快速有效的方法，便于普及和推广。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种基于强化学习模型的预测机柜进风温度的方法，所述方法包括以下步骤：
步骤1：通过热成像装置采集机柜的表面实际温度数据，通过热敏装置采集对应机柜的实际进风温度数据；
步骤2：调用神经网络模型进行训练，用机柜的表面实际温度数据为输入，机柜的实际进风温度数据作为输出反复训练，使得神经网络模型通过训练后能预测出机柜的进风模拟温度数据；
步骤3：建立强化学习模型；
神经网络模型作为强化学习模型的Agent；
神经网络每一次预测动作为Action；
模拟进风温度与实际进风温度的MSE作为Environment；
模拟进风温度与实际进风温度的MSE的大小作为设置Reward的依据；
步骤4：获得增强学习模型最优策略下的神经网络模型生成新的预测器；
步骤5：用最优的预测器对机柜的进风温度进行预测。
2.根据权利要求1所述的基于强化学习模型的预测机柜进风温度的方法，其特征在于：步骤1中，所述热成像装置为红外热成像仪。
3.根据权利要求1所述的基于强化学习模型的预测机柜进风温度的方法，其特征在于：步骤1中，所述热敏装置为热敏传感器。
4.根据权利要求1所述的基于强化学习模型的预测机柜进风温度的方法，其特征在于：步骤4中，在设置强化学习模型Reward的过程中遵循下列规则：
模拟进风温度与实际进风温度的MSE在温度区间[2,+∞)内时，评价指标为-100；
MSE在温度区间[1，2)内时，评价指标为-10；
MSE在温度区间[0.5，1)内时，评价指标为-1；
MSE在温度区间[0，0.5)内时，评价指标+100。
CN202010589344.6A 2020-06-24 2020-06-24 一种基于强化学习模型的预测机柜进风温度的方法 Active CN111795761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010589344.6A CN111795761B (zh) 2020-06-24 2020-06-24 一种基于强化学习模型的预测机柜进风温度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010589344.6A CN111795761B (zh) 2020-06-24 2020-06-24 一种基于强化学习模型的预测机柜进风温度的方法

Publications (2)

Publication Number Publication Date
CN111795761A CN111795761A (zh) 2020-10-20
CN111795761B true CN111795761B (zh) 2022-02-11

Family

ID=72803053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010589344.6A Active CN111795761B (zh) 2020-06-24 2020-06-24 一种基于强化学习模型的预测机柜进风温度的方法

Country Status (1)

Country Link
CN (1) CN111795761B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112834079B (zh) * 2020-12-25 2023-10-24 山东朗进科技股份有限公司 一种轨道车辆空调机组温度传感器参数漂移判定方法
CN114714845B (zh) * 2021-01-04 2024-03-19 广州汽车集团股份有限公司 一种汽车空调温度调节方法及系统
CN113080499A (zh) * 2021-02-26 2021-07-09 红云红河烟草(集团)有限责任公司 一种基于策略的Q-Learning算法控制松散回潮热风温度的方法
CN112965595B (zh) * 2021-02-26 2023-09-05 清华大学深圳国际研究生院 一种神经电刺激模拟触觉的建模和预测方法
CN113888526B (zh) * 2021-10-21 2022-09-23 北京实力伟业环保科技有限公司 基于微生物的废气处理方法及系统
CN114355999B (zh) * 2021-12-24 2023-05-23 交控科技股份有限公司 应用于列车的智能温度控制机柜、控制方法、设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012097914A (ja) * 2010-10-29 2012-05-24 Hitachi Ltd データセンタ又は計算機システム
CN107063509A (zh) * 2017-04-26 2017-08-18 深圳市相位科技有限公司 一种基于神经网络的热敏温度计校准方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7283358B2 (en) * 2005-07-19 2007-10-16 International Business Machines Corporation Apparatus and method for facilitating cooling of an electronics rack by mixing cooler air flow with re-circulating air flow in a re-circulation region
US9255849B2 (en) * 2012-02-27 2016-02-09 Halliburton Energy Services, Inc. Temperature compensation apparatus, methods, and systems
CN109242147A (zh) * 2018-08-07 2019-01-18 重庆大学 基于Bp神经网络的信号融合风机状态预测方法
CN109375994B (zh) * 2018-09-10 2021-07-13 西安交通大学 基于rbf神经网络的数据中心任务温度预测及调度方法
CN110285532B (zh) * 2019-07-04 2021-07-30 中国工商银行股份有限公司 基于人工智能的机房空调控制方法、装置及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012097914A (ja) * 2010-10-29 2012-05-24 Hitachi Ltd データセンタ又は計算機システム
CN107063509A (zh) * 2017-04-26 2017-08-18 深圳市相位科技有限公司 一种基于神经网络的热敏温度计校准方法

Also Published As

Publication number Publication date
CN111795761A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111795761B (zh) 一种基于强化学习模型的预测机柜进风温度的方法
CN110705743B (zh) 一种基于长短期记忆神经网络的新能源消纳电量预测方法
Sudheer et al. Estimating actual evapotranspiration from limited climatic data using neural computing technique
Yang et al. Forecasting overall pavement condition with neural networks: Application on Florida highway network
Feng et al. The practical research on flood forecasting based on artificial neural networks
CN109711617B (zh) 一种基于blstm深度学习的中长期径流预测方法
CN108280552B (zh) 基于深度学习的电力负荷预测方法和系统、存储介质
Partal et al. Prediction of daily precipitation using wavelet—neural networks
Wilson et al. Towards a generic artificial neural network model for dynamic predictions of algal abundance in freshwater lakes
Zhang et al. A short-term traffic forecasting model based on echo state network optimized by improved fruit fly optimization algorithm
CN111767517B (zh) 一种应用于洪水预测的BiGRU多步预测方法、系统及存储介质
Pan et al. State space neural networks for short term rainfall-runoff forecasting
CN112085163A (zh) 一种基于注意力增强图卷积神经网络agc和门控循环单元gru的空气质量预测方法
CN111445010B (zh) 一种基于证据理论融合量子网络的配网电压趋势预警方法
CN113554466B (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN114201924B (zh) 基于迁移学习的太阳辐照度预测方法及预测系统
CN114330647A (zh) 模型训练方法、装置及硅棒重量预测方法
CN114694379B (zh) 一种基于自适应动态图卷积的交通流预测方法及系统
Wu et al. Automatic fuzzy model identification for short-term load forecast
CN111292121A (zh) 一种基于园区画像的园区负荷预测方法及系统
CN114154401A (zh) 基于机器学习和观测数据的土壤侵蚀模数计算方法及系统
CN108647817B (zh) 一种能耗负荷的预测方法及预测系统
CN115310727B (zh) 一种基于迁移学习的建筑冷热电负荷预测方法及系统
CN114386672B (zh) 环境大数据物联网智能检测系统
CN113837443B (zh) 基于深度BiLSTM的变电站线路负载预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant