CN109375994A - 基于rbf神经网络的数据中心任务温度预测及调度方法 - Google Patents
基于rbf神经网络的数据中心任务温度预测及调度方法 Download PDFInfo
- Publication number
- CN109375994A CN109375994A CN201811050796.6A CN201811050796A CN109375994A CN 109375994 A CN109375994 A CN 109375994A CN 201811050796 A CN201811050796 A CN 201811050796A CN 109375994 A CN109375994 A CN 109375994A
- Authority
- CN
- China
- Prior art keywords
- temperature
- task
- server
- data center
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/20—Cooling means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/329—Power saving characterised by the action undertaken by task scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Air Conditioning Control Device (AREA)
Abstract
本发明公开了一种基于RBF神经网络的数据中心任务温度预测及调度方法,采用RBF神经网络建立任务温度预测模型;建立温控负载均衡模块,确定服务器的安全温度和警戒温度并与任意服务器Si进行判断选择;通过监控反馈模块实时监控并反馈服务器运行温度给温控负载均衡模块,由温控负载均衡模块进行调度控制。本发明通过主动的温度预测来进行任务调度,比只基于反馈温度来决定任务调度的方法要有更好的灵活性。通过设置在不同温度范围的两种主动的调度策略,达到减少能耗,并且保证数据中心安全运行的目的。
Description
技术领域
本发明属于数据中心安全与节能技术领域,具体涉及一种基于RBF神经网络的数据中心任务温度预测及调度方法。
背景技术
伴随着数据中心的迅速发展,数据中心的安全性要求和高能耗问题也日益突出。数据中心面向温度的控制不力导致的安全隐患和高能耗问题,成为一个研究的重点和难点。
首先是安全隐患问题,目前数据中心的机柜功率密度不断升高,一项调查研究显示,高达1/10的机柜运行在温度高于设备可靠性指导原则所推荐的允许范围。热点的频繁出现,会影响 IT设备的可靠性与性能。然后是制冷设备的高能耗问题。制冷设备需要设置低温度来应对数据中心的热点。这就需要数据中心温度控制方法有好的温度管理方法,在保证数据中心硬件可靠性的前提下,还能减少制冷设备能耗。
基于温度感知的任务调度是针对数据中心以上两个问题比较有效的方法。在应用层面通过任务调度防止热点产生、减少热回流,从而提高制冷效率,达到节能效果。
关于温度预测和任务分配现有技术有:
(1)温度预测:
对于已验证的CFD(计算流体动力学)模型可以模拟并预测数据中心温度环境,但是CFD 求解过程缓慢,且结果只是离散点上的数值解,没有任何解析表达式。这些因素导致CFD不适用于实时的动态的温度预测。
CFD是基于热力学的预测方法,还有一类方法是使用机器学习的方法建立预测模型,较 CFD模型相比有建模快、模型易于更新、可扩展性强等优点。在之前的研究中,人工神经网络神经网络已经被应用于数据中心静态条件下的温度预测,BP神经网络的应用很普遍,BP网络的缺点是对于复杂的数据训练时间长,容易陷入局部最优解。RBF神经网络隐层单元的转移函数是基函数(如高斯函数)。与BP神经网络相比,RBF(径向基函数)网络的逼近精度高,它可以在训练时根据问题需求自适应确定网络结构和隐层单元数,而且它具有全局逼近能力,解决了BP网络采用负梯度下降法容易出现的局部最优解的缺点。对于数据中心复杂的温度计算过程来说,RBF神经网络在训练时间上也具有一定优势。
(2)任务调度:
均衡服务器负载:根据服务器负载情况,动态分配任务到负载最轻的服务器上,尽量平均服务器负载量。由于数据中心局部产热与散热不均匀使得这种方法对于避免热点和减轻能耗起到的作用较小。
均衡服务器出风口温度:基于温度感知的一种任务调度方法,其主要思想是建立任务功耗与散热量的关系式。在一定的功耗条件下,先确定出口温度,再根据出口温度分配任务。
最低化入口温度调度算法:主要思想是将任务分配给入口温度最小的服务器,以达到服务器入口温度平衡,有比较好的温度控制效果。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于RBF神经网络的数据中心任务温度预测及调度方法,解决在数据中心正常工作的情况下平衡和降低整体温度,在数据中心高负载运行时避免过热点出现的问题。
本发明采用以下技术方案:
基于RBF神经网络的数据中心任务温度预测及调度方法,采用RBF神经网络建立任务温度预测模型;建立温控负载均衡模块,确定服务器的安全温度和警戒温度并与任意服务器Si进行判断选择;通过监控反馈模块实时监控并反馈服务器运行温度给温控负载均衡模块,由温控负载均衡模块进行调度控制。
具体的,使用RBF神经网络预测模型建模具体如下:
将任务用一个三元组(Ncpu、Mem、Time)表示,其中,Ncpu表示用户任务对CPU核心数的要求;Mem表示任务的所有进程能够分配到的最大物理内存;Time表示任务处于运行状态的最大时间;
训练数据用任务测试集在服务器上运行,记录下在服务器不同的运行状态下,任务到达某一特定服务器之后的温度分布;
模型的输入为:实时监控收集的区域内所有服务器的温度、运行参数以及环境温度;
模型的输出为:任务运行后的服务器经过预测时间步长的入风口温度。
进一步的,训练数据包括划定区域内所有服务器入风口和出风口温度,某一具体服务器的运行参数包含服务器负载量Load、CPU利用率Ucpu、CPU温度Tcpu、服务器风扇转速Fan,空调出风口的温度Tcrac和室内与外界的出风口温度Tvent,以及一个到达该服务器的具体任务 (Ncpu、Mem、Time)。
进一步的,根据基函数的中心点、各径向基函数的方差、以及隐层到输出层之间权值,选用自组织选取中心的学习方法构建RBF神经网络来预测数据中心任务温度。
具体的,温控负载均衡模块将负载按照以下规则分配给服务器:
确定两个界限温度:T0为安全温度、T1为警戒温度,T0参考数据中心平时正常运行的温度、服务器厂商提供的机器最佳运行的温度或国家关于数据中心建设标准的温度;T1为服务器运行允许的最高温度;
用S表示数据中心一定区域内数据中心的服务器集合{S1,S2,S3,...,Si,...},某一服务器任务分配前后的温度差ΔTSi计算如下:
ΔTSi=T′Si-TSi
其中,TSi与T′Si分别表示将具体任务分配给某台服务器之前的温度和之后的温度。
进一步的,当存在满足条件TSi<T0的服务器,将任务分配给Si之后ΔTSi最小,以整个数据中心平均温度变化最小为目标进行任务分配,确定分配任务的服务器Sk。
进一步的,确定分配任务服务器Sk的步骤如下:
第一步:判断执行该分配方法的条件为:TSi的最小值min{TSi}<T0
第二步:遍历找到第一个满足条件的服务器Sk:TSk<T0
第三步:循环执行寻找任务分配后温度上升最小且满足当前温度小于T0的服务器,将满足条件的i赋值给k,k=i,条件如下:
ΔTSi<ΔTS[k]&&TSi<T0。
进一步的,当任意服务器Si均不满足条件TSi<T0时,将负载分配给Si之后,T′Si最小,前提是:T′Si≤T1;以最小化入口温度为目标进行任务分配,确定分配任务的服务器Sk。
进一步的,确定分配任务的服务器Sk的步骤如下:
第一步:判断执行该分配方法的条件为:TSi的最小值min{TSi}>=T0
第二步:遍历找到第一个满足条件的服务器Sk:T′Sk≤T1
第三步:循环执行寻找任务分配后温度最小且分配后温度不超过T1的服务器,将满足条件的i赋值给k,k=i,条件如下:
T′Si<T′S[k]&&T′Si≤T1。
具体的,监控反馈模块在服务器端,结合部署的温度传感器网络以及服务器的温度传感器,实时监控服务器入口温度、出口温度和服务状态,实时给温控负载均衡器返回服务器数据,能够及时给温控负载均衡器反馈,让温控负载均衡模块停止给该服务器分配任务。
与现有技术相比,本发明至少具有以下有益效果:
本发明基于RBF神经网络的数据中心任务温度预测及调度方法,针对数据中心温度分布不均匀导致的高能耗和安全隐患问题,提出基于RBF神经网络温度预测的数据中心温控方法方法,采用在安全高效的温度范围内,在请求到来时,控制散热最小,在安全温度~警戒温度的范围内,控制温度均衡,避免过热点的出现。
进一步的,BP神经网络的缺点主要是:隐层节点数难以确定,容易陷入局部局部最优解,和数据较多时训练时间较长;使用RBF神经网络预测模型建模,RBF网络不会像BP网络容易陷入局部最优问题,它且具有全局逼近能力。它可以在训练时根据问题需求自适应确定网络结构和隐层单元数,而对于BP网络来说确定隐层和隐层节点上是一个难题。在数据中心复杂的温度计算过程来说,RBF神经网络在训练时间上也具有一定优势。
进一步的,采取自组织选取中心的学习方法构建RBF神经网络,选用典型的K-means聚类方法确定基函数中心,在学习的过程中会对中心进行动态选择,可以使得选取的中心点在输入空间的重要区域。
进一步的,根据实时温度预测模型和实时监控数据,在安全的温度T0范围内,按照最小散热分配任务,这样与其他任务分配方式如平均负载、轮转调度等方法相比,可以有效降低数据中心的平均温度,达到降低数据中心能耗的问题。
进一步的,当数据中心所有服务器入口温度均超过T0而未到达预警值时,系统会按照最小服务器入口温度进行任务分配,这样可以在保证服务器温度在未达到预警值时即安全性的前提下,均衡数据中心服务器入口温度。即在数据中心高负载运行的前提下,尽可能保证服务器处在警戒温度下。当服务器温度高于预警值时,会温控负载均衡模块会及时根据监控反馈模块发出的监控数据停止再给其分配任务,保证服务器的安全。
进一步的,设置监控反馈模块能够给温控负载模块反馈实时监控的数据,根据这些数据来预测任务温,选择分配任务给合理的服务器,或者在某个服务器达到警戒温度的情况下停止分配任务给这个服务器;并且能够生成更新预测模型的训练数据,即记录温度分配后间隔一段时间后的温度数据。
综上所述,本发明针对数据中心热点频发与制冷机组能耗过高的问题,提出了基于RBF 神经网络的数据中心任务温度预测方法,利用预测的温度,提出了在安全温度T0的范围内以及在T0到警戒温度T1范围内的任务调度方法,通过任务调度来达到一定程度的制冷机组节能,同时避免数据中心热点的出现。通过主动的温度预测来进行任务调度,比只基于反馈温度来决定任务调度的方法要有更好的灵活性。通过设置在不同温度范围的两种主动的调度策略,达到减少能耗,并且保证数据中心安全运行的目的。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为三个模块之间数据流向图;
图2为实验的服务器示意图;
图3为温控负载均衡模块流程图。
具体实施方式
本发明提供了一种基于RBF神经网络的数据中心任务温度预测及调度方法,基于RBF神经网络预测到来任务的温度,再以预测的温度为任务分配依据。
在实现控制方法之前,针对规模较大的数据中心,先根据热局部性原理,将集中在一起的且温度变化相关联较大的一些服务器进行分区,所有分区应覆盖整个机房,在分区内分别部署温度控制模块。
请参阅图1,一种基于RBF神经网络的数据中心任务温度预测的温度控制方法,主要工作集中在以下三个部分:
S1、任务温度预测模块:
对某一台具体的服务器到来的任务进行温度预测建模,使用RBF神经网络预测模型。首先将任务用一个三元组(Ncpu、Mem、Time)表示。
其中,Ncpu表示用户任务对CPU核心数的要求,即用户制定该任务用几个CPU核;Mem 表示任务的所有进程能够分配到的最大物理内存;Time表示任务可以处于运行状态的最大时间;这三个参数由用户指定,在请求任务到达时可以得到。
训练数据用任务测试集在服务器上运行,记录下在服务器不同的运行状态下,任务到达某一特定服务器之后的温度分布。
在本方法中,训练数据包括划定区域内所有服务器入风口和出风口温度,某一具体服务器的运行参数包含服务器负载量Load、CPU利用率Ucpu、CPU温度Tcpu、服务器风扇转速Fan,空调出风口的温度Tcrac和室内与外界的出风口温度Tvent,以及一个到达该服务器的具体任务 (Ncpu、Mem、Time)。
在静态预测服务器的温度的条件下,可以使用监测到的任务到达后的未来温度峰值作为训练的输出,但是在实际数据中心动态任务的情况下,预测到的静态的温度峰值会由于任务到来的先后及处理时间的不同而产生较大误差,因此选取一定时间间隔作为预测步长,训练之前先确定预测时间步长,一般情况下,步长与预测精度负相关,预测时间步长可以参考数据中心的平均处理请求的时间设置。服务器入风口温度可以代表服务器工作环境温度。所以实际预测温度为服务器入风口温度。
模型的输入为:实时监控收集的区域内所有服务器的参数,输入格式如上述训练数据,即区域内所有服务器入风口和出风口温度,某一服务器的运行参数,空调出风口的温度和室内与外界的出风口温度,以及一个到达该服务器的具体任务三元组(Ncpu、Mem、Time)。
模型的输出为:任务运行后的服务器的未来(时间为预测时间步长)入风口温度。
S2、温控负载均衡模块:
该模块负责按温度均衡分配任务,温控负载均衡模块将负载按照以下规则分配给服务器:
需要确定两个界限温度:T0为安全温度、T1为警戒温度,T0可以参考数据中心平时正常运行的温度(或者是服务器厂商提供的机器最佳运行的温度,或者是国家关于数据中心建设标准的温度);T1为警戒温度,或者叫最高阈值温度,即服务器运行时最高允许的温度值。
用S表示数据中心一定区域内数据中心的服务器集合{S1,S2,S3,...,Si,...},TSi与T′Si分别表示将具体任务分配给某台服务器之前的温度和之后的温度,用ΔTSi表示某一服务器任务分配前后的温度差即:
ΔTSi=T′Si-TSi
S201、将任务分配给Si之后ΔTSi最小,前提是:TSi<T0;可使整个数据中心平均温度变化最小,能达到减轻空调移除热量的负荷,以达到对制冷设施节能的效果。
证明:将任务分配给Si之后ΔTSi最小,可使整个数据中心平均温度变化最小,能达到减轻空调负荷。
区域内由任务量变化而引起的热量的变化用以下公式表示:
其中,TSi表示第i个服务器的入风口温度,n表示服务器数量,Tcrac表示空调设定温度,mi表示通过服务器i的空气的流量,Cp表示空气的比热容。
区域内由热量的变化引起的平均气温的变化用以下公式表示:
其中,Qcrac表示空调移除的热量,mave表示数据中心的空气流量,Cp表示数据中心空气的比热容。
CRAC的工作效率,使用参数CoP(Coefficient of Performance)进行表示,其定义如下:
其中,Qacca表示CRAC移除的能量;W表示CRAC本身消耗的能量;CoP越高代表制冷设备的制冷效率越高,即移除相等的热量所消耗的电能越少。
一般而言,CRAC送出的气流温度越高,CoP值也越高。
在服务器安全的运行温度范围内,最小化任务量变化引起的热量变化,由式(2)可知,若空调系统要维持ΔTave基本不变化时需要的Qcrac会减少,即空调的设定温度可以适当增高,从而达到节能的效果。
S202、当任意服务器Si均不满足条件TSi<T0时:
将负载分配给Si之后,T′Si最小,前提是:T′Si<T1;
以最小化入口温度为目标进行任务分配,能够有效控制数据中心过热点出现。在服务器温度超出安全高效的温度范围时,最小化服务器入口温度能够起到保护所有服务器温度有过高的情况,避免某一服务器温度过高,对性能造成影响。
S3、监控反馈模块:
该模块负责实时监控和反馈服务器运行温度给温度负载控制模块,保护服务器温度不会超过最高阈值。
监控反馈模块在服务器端,结合部署的温度传感器网络以及服务器的温度传感器,实时监控服务器入口温度、出口温度和服务状态,实时给温控负载均衡器返回服务器数据,该模块能够及时给温控负载均衡器反馈,让温控负载均衡模块停止给该服务器分配任务。避免某一服务器温度超过最高阈值,发生安全上的意外。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明一种基于RBF神经网络的数据中心任务温度预测及调度方法,包括以下步骤:
S1、RBF神经网络任务温度预测模型建模
请参阅图2,以15台服务器为例,进行RBF神经网络预测服务器入风口温度模型建模,需要的数据为15台服务器的入风口(Tsi为服务器Si的入风口温度)和出风口温度(Tsi OUT为服务器Si的出风口温度),T′Si为预测的服务器入风口温度;
服务器的运行参数:Load为服务器负载,Ucpu为CPU利用率,Tcpu为CPU温度,Fan为服务器风扇转速,分别记录服务器负载量、CPU利用率、CPU温度、服务器风扇转速,这些参数都是与服务器环境温度有关的参数;
为了建模准确和达到制冷机节能的效果,再加入空调出风口的温度Tcrac和室内与外界的出风口温度Tvent;
表示任务的参数:Ncpu为任务要求的CPU核心数,Mem为任务分配到的最大物理内存, Time为任务运行状态的最大时间。
即建模所需的每组数据共40个数据。数据格式为:第1列记录时间;2~16与17~31列分别记录15个服务器入风口与出风口的温度;32,33分别为空调出风口温度和室内出风口温度; 34-37列为某个服务器的运行参数,每四个一组(Load、Ucpu、Tcpu、Fan)来表示服务器运行状态;38~40为表示任务的参数(Ncpu、Mem、Time)。
RBF网络从输入层到隐层是通过输入数据与隐层节点之间的距离连接的。隐层是将距离通过径向基函数得到的数值与后面的权值相乘求和得到输出。所以RBF网络构建时要确定的重要参数有:基函数的中心点、各径向基函数的方差(宽窄程度)、以及隐层到输出层之间权值。径向基函数中心点的选取有多种方法,对应的网络学习算法也不同。
选用自组织选取中心的学习方法,具体步骤如下:
S101、基于K-means聚类算法求取基函数中心,不需确定中心点数;
S102、求解方差,选取高斯函数作为RBF神经网络的基函数:
方差可以表示为:
其中,Xi为样本数据,σ为各径向基函数的方差,cj基函数中心点;n为隐层节点数;j=1,2,3,…n;dmax为所选中心点之间最大距离;
S103、用最小二乘法计算隐层到输出层之间神经元的连接权值:
S2、温控负载均衡模块的实现
选用T0为服务器厂商的服务器推荐运行温度范围的最高值,T1为服务器运行允许的最高温度,超过T1长时间,会有停机的风险。
输入:任务的参数向量L(Ncpu、Mem、Time);所有服务器的状态参数向量组V,即Vi表示服务器Si的参数(Load、Ucpu、Tcpu、Fan);实时监控的温度数据T(Tsi、Tsi OUT、Tcrac、Tvent);T0为安全温度、T1为警戒温度
输出:选择任务分配的最佳服务器Sk
S21、当存在满足条件TSi<T0的服务器,将任务按照以下方法分配:
将任务分配给Si之后ΔTSi最小
T′Si=Forecast_Temperature(L,Vi,T)//预测服务器Si入风口温度
ΔTSi=T′Si-TSi//ΔTSi数组记录预测的温度变化
其中,ΔTSi根据实时监控数据和之前建立的RBF神经网络预测模型可以确定
确定分配任务的服务器Sk的步骤:
第一步:判断执行该分配方法的条件为:TSi的最小值min{TSi}<T0
第二步:遍历找到第一个满足条件的服务器Sk:TSk<T0
第三步:循环执行寻找任务分配后温度上升最小且满足当前温度小于T0的服务器,即寻找满足下述条件的服务器Si,将满足条件的i赋值给k,k=i,条件如下:
ΔTSi<ΔTS[k]&&TSi<T0;
S22、当任意服务器Si,均不满足条件:TSi<T0时,将负载分配给Si之后,T′Si最小,前提是:T′Si≤T1;
确定分配任务的服务器Sk的步骤:
第一步:判断执行该分配方法的条件为:TSi的最小值min{TSi}>=T0
第二步:遍历找到第一个满足条件的服务器Sk:T′Sk≤T1
第三步:循环执行寻找任务分配后温度最小且分配后温度不超过T1的服务器,即寻找满足下述条件的服务器Si,将满足条件的i赋值给k,k=i,条件如下:
T′Si<T′S[k]&&T′Si≤T1;
S3、监控反馈模块的实现
该模块硬件部分为:部署在服务器前后的传感器(如图2所示)和传感器数据接收装置;以及在每个服务器上运行的收集服务器实时信息的程序组成,linux服务器上获取服务器CPU 温度和风扇转速参数使用监控软件lm_sensors,获取CPU利用率和负载状况可以使用Top命令。
请参阅图3,当任务到来时,温控负载均衡模块调用该模块得到实时监控数据。该模块出除了提供实时数据供任务预测和参考外,还能记录数据任务部署后的温度和服务器运行数据,用来更新预测模型;
当任务到来时,由温控负载均衡模块确定任务具体分配到那个服务。该模块先获取任务信息,同时调用负载反馈模块获取实时监控数据,再调用任务温度预测模块,同时将任务信息和实时监控数据传给任务温度预测模块,得到预测的任务温度后,再根据温控负载均衡算法确定将任务分配给具体的服务器。
温控负载均衡算法:
输入:任务(L)、所有服务器的状态参数向量组(V)、
实时监控的温度数据T、T0为安全温度、T1为警戒温度
输出:选择任务分配的最佳服务器Sk
综上所述,本发明提出了通过基于RBF神经网络的任务温度预测来进行任务调度,在安全温度T0的范围内以及在T0到警戒温度T1的范围内的不同的任务调度方法,比只基于反馈温度来决定任务调度的方法要有更好的灵活性。当服务器安全温度T0范围内,采用任务分配后散热最小的原则来分配任务,可以有效降低数据中心的平均温度,达到降低数据中心能耗的问题。当服务器温度在T0到T1的范围内,按照最小服务器入口温度进行任务分配,避免数据中心热点的出现。通过设置在不同温度范围的两种调度策略,达到尽可能减少制冷能耗,并且保证数据中心安全运行的目的。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。
Claims (10)
1.基于RBF神经网络的数据中心任务温度预测及调度方法,其特征在于,采用RBF神经网络建立任务温度预测模型;建立温控负载均衡模块,确定服务器的安全温度和警戒温度并与任意服务器Si进行判断选择;通过监控反馈模块实时监控并反馈服务器运行温度给温控负载均衡模块,由温控负载均衡模块进行调度控制。
2.根据权利要求1所述的一种基于RBF神经网络的数据中心任务温度预测及调度方法,其特征在于,使用RBF神经网络预测模型建模具体如下:
将任务用一个三元组(Ncpu、Mem、Time)表示,其中,Ncpu表示用户任务对CPU核心数的要求;Mem表示任务的所有进程能够分配到的最大物理内存;Time表示任务处于运行状态的最大时间;
训练数据用任务测试集在服务器上运行,记录下在服务器不同的运行状态下,任务到达某一特定服务器之后的温度分布;
模型的输入为:实时监控收集的区域内所有服务器的温度、运行参数以及环境温度;
模型的输出为:任务运行后的服务器经过预测时间步长的入风口温度。
3.根据权利要求2所述的一种基于RBF神经网络的数据中心任务温度预测及调度方法,其特征在于,训练数据包括划定区域内所有服务器入风口和出风口温度,某一具体服务器的运行参数包含服务器负载量Load、CPU利用率Ucpu、CPU温度Tcpu、服务器风扇转速Fan,空调出风口的温度Tcrac和室内与外界的出风口温度Tvent,以及一个到达该服务器的具体任务(Ncpu、Mem、Time)。
4.根据权利要求2所述的一种基于RBF神经网络的数据中心任务温度预测及调度方法,其特征在于,根据基函数的中心点、各径向基函数的方差、以及隐层到输出层之间权值,选用自组织选取中心的学习方法构建RBF神经网络来预测数据中心任务温度。
5.根据权利要求1所述的一种基于RBF神经网络的数据中心任务温度预测及调度方法,其特征在于,温控负载均衡模块将负载按照以下规则分配给服务器:
确定两个界限温度:T0为安全温度、T1为警戒温度,T0参考数据中心平时正常运行的温度、服务器厂商提供的机器最佳运行的温度或国家关于数据中心建设标准的温度;T1为服务器运行允许的最高温度;
用S表示数据中心一定区域内数据中心的服务器集合{S1,S2,S3,...,Si,...},某一服务器任务分配前后的温度差ΔTSi计算如下:
ΔTSi=T′Si-TSi
其中,TSi与T′Si分别表示将具体任务分配给某台服务器之前的温度和之后的温度。
6.根据权利要求5所述的一种基于RBF神经网络的数据中心任务温度预测及调度方法,其特征在于,当存在满足条件TSi<T0的服务器,将任务分配给Si之后ΔTSi最小,以整个数据中心平均温度变化最小为目标进行任务分配,确定分配任务的服务器Sk。
7.根据权利要求6所述的一种基于RBF神经网络的数据中心任务温度预测及调度方法,其特征在于,确定分配任务服务器Sk的步骤如下:
第一步:判断执行该分配方法的条件为:TSi的最小值min{TSi}<T0
第二步:遍历找到第一个满足条件的服务:TSk<T0
第三步:循环执行寻找任务分配后温度上升最小且满足当前温度小于T0的服务器,将满足条件的i赋值给k,k=i,条件如下:
ΔTSi<ΔTS[k]&&TSi<T0。
8.根据权利要求5所述的一种基于RBF神经网络的数据中心任务温度预测及调度方法,其特征在于,当任意服务器Si均不满足条件TSi<T0时,将负载分配给Si之后,T′Si最小,前提是:T′Si≤T1;以最小化入口温度为目标进行任务分配,确定分配任务的服务器Sk。
9.根据权利要求8所述的一种基于RBF神经网络的数据中心任务温度预测及调度方法,其特征在于,确定分配任务的服务器Sk的步骤如下:
第一步:判断执行该分配方法的条件为:TSi的最小值min{TSi}>=T0
第二步:遍历找到第一个满足条件的服务:T′Sk≤T1
第三步:循环执行寻找任务分配后温度最小且分配后温度不超过T1的服务器,将满足条件的i赋值给k,k=i,条件如下:
T′Si<T′S[k]&&T′Si≤T1。
10.根据权利要求1所述的一种基于RBF神经网络的数据中心任务温度预测及调度方法,其特征在于,监控反馈模块在服务器端,结合部署的温度传感器网络以及服务器的温度传感器,实时监控服务器入口温度、出口温度和服务状态,实时给温控负载均衡器返回服务器数据,能够及时给温控负载均衡器反馈,让温控负载均衡模块停止给该服务器分配任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811050796.6A CN109375994B (zh) | 2018-09-10 | 2018-09-10 | 基于rbf神经网络的数据中心任务温度预测及调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811050796.6A CN109375994B (zh) | 2018-09-10 | 2018-09-10 | 基于rbf神经网络的数据中心任务温度预测及调度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109375994A true CN109375994A (zh) | 2019-02-22 |
CN109375994B CN109375994B (zh) | 2021-07-13 |
Family
ID=65404754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811050796.6A Active CN109375994B (zh) | 2018-09-10 | 2018-09-10 | 基于rbf神经网络的数据中心任务温度预测及调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109375994B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111174375A (zh) * | 2019-12-11 | 2020-05-19 | 西安交通大学 | 面向数据中心能耗最小化的作业调度和机房空调调控方法 |
CN111795761A (zh) * | 2020-06-24 | 2020-10-20 | 菲尼克斯(上海)环境控制技术有限公司 | 一种基于强化学习模型的预测机柜进风温度的方法 |
CN112328454A (zh) * | 2020-11-11 | 2021-02-05 | 北京泽石科技有限公司 | 存储设备的监测方法及装置 |
CN112395046A (zh) * | 2020-07-30 | 2021-02-23 | 上海有孚智数云创数字科技有限公司 | 基于温度预测的虚拟机迁移规划调度方法及其系统与介质 |
CN113606750A (zh) * | 2021-10-09 | 2021-11-05 | 山东佐耀科技有限公司 | 一种空气源热泵负荷的调峰控制指令优化分配方法及系统 |
CN113734928A (zh) * | 2021-08-24 | 2021-12-03 | 东营市特种设备检验研究院 | 一种基于神经网络的在用电梯故障预测方法 |
CN113806077A (zh) * | 2021-08-20 | 2021-12-17 | 广州云硕科技发展有限公司 | 基于人工智能的数据中心服务器调控方法及装置 |
CN114528083A (zh) * | 2022-02-17 | 2022-05-24 | 珠海星云智联科技有限公司 | 数据处理单元dpu业务数据的调度处理方法及相关产品 |
CN114979185A (zh) * | 2022-05-12 | 2022-08-30 | 皖西学院 | 一种计算机应用节点的安全检测系统 |
CN116594446A (zh) * | 2023-07-19 | 2023-08-15 | 广州豪特节能环保科技股份有限公司 | 一种大数据中心温控方法及系统 |
CN117406844A (zh) * | 2023-11-14 | 2024-01-16 | 珠海世宁达科技有限公司 | 一种基于神经网络的显卡风扇控制方法及相关装置 |
CN117539726A (zh) * | 2024-01-09 | 2024-02-09 | 广东奥飞数据科技股份有限公司 | 绿色智算中心能效优化方法及系统 |
CN117666741A (zh) * | 2024-02-02 | 2024-03-08 | 南京百恩特自动化科技有限公司 | 服务器散热控制方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102213475A (zh) * | 2011-03-22 | 2011-10-12 | 曙光信息产业(北京)有限公司 | 一种数据中心功耗自适应管理方法 |
US20140068627A1 (en) * | 2012-08-31 | 2014-03-06 | Silicon Graphics International Corp. | Dynamic resource scheduling |
CN104158754A (zh) * | 2014-07-08 | 2014-11-19 | 上海交通大学 | 基于热负载均衡的数据中心自适应性耗能管理方法 |
CN104317654A (zh) * | 2014-10-09 | 2015-01-28 | 南京大学镇江高新技术研究院 | 基于动态温度预测模型的数据中心任务调度方法 |
CN104423531A (zh) * | 2013-09-05 | 2015-03-18 | 中兴通讯股份有限公司 | 数据中心能耗调度处理方法及装置 |
CN106949598A (zh) * | 2017-03-15 | 2017-07-14 | 华北电力大学 | 网络流量负载变化时的网络中心机房节能优化方法 |
US20180004260A1 (en) * | 2016-06-29 | 2018-01-04 | HGST Netherlands B.V. | Thermal aware workload scheduling |
US20180192549A1 (en) * | 2014-10-27 | 2018-07-05 | International Business Machines Corporation | Server rack-dedicated vertical vortex airflow server cooling |
JP2018132230A (ja) * | 2017-02-14 | 2018-08-23 | 富士通株式会社 | 温度予測システムおよび温度予測方法 |
-
2018
- 2018-09-10 CN CN201811050796.6A patent/CN109375994B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102213475A (zh) * | 2011-03-22 | 2011-10-12 | 曙光信息产业(北京)有限公司 | 一种数据中心功耗自适应管理方法 |
US20140068627A1 (en) * | 2012-08-31 | 2014-03-06 | Silicon Graphics International Corp. | Dynamic resource scheduling |
CN104423531A (zh) * | 2013-09-05 | 2015-03-18 | 中兴通讯股份有限公司 | 数据中心能耗调度处理方法及装置 |
CN104158754A (zh) * | 2014-07-08 | 2014-11-19 | 上海交通大学 | 基于热负载均衡的数据中心自适应性耗能管理方法 |
CN104317654A (zh) * | 2014-10-09 | 2015-01-28 | 南京大学镇江高新技术研究院 | 基于动态温度预测模型的数据中心任务调度方法 |
US20180192549A1 (en) * | 2014-10-27 | 2018-07-05 | International Business Machines Corporation | Server rack-dedicated vertical vortex airflow server cooling |
US20180004260A1 (en) * | 2016-06-29 | 2018-01-04 | HGST Netherlands B.V. | Thermal aware workload scheduling |
JP2018132230A (ja) * | 2017-02-14 | 2018-08-23 | 富士通株式会社 | 温度予測システムおよび温度予測方法 |
CN106949598A (zh) * | 2017-03-15 | 2017-07-14 | 华北电力大学 | 网络流量负载变化时的网络中心机房节能优化方法 |
Non-Patent Citations (3)
Title |
---|
于洋、孙成伟等: ""云模型RBF神经网络的数据中心温度预测"", 《沈阳理工大学学报》 * |
李翔 等: ""绿色数据中心的热量管理方法研究"", 《计算机学报》 * |
陈辉: ""基于虚拟化环境的数据中心节能管理技术研究"", 《中国博士学位论文全文数据库—信息科技辑》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111174375A (zh) * | 2019-12-11 | 2020-05-19 | 西安交通大学 | 面向数据中心能耗最小化的作业调度和机房空调调控方法 |
CN111174375B (zh) * | 2019-12-11 | 2021-02-02 | 西安交通大学 | 面向数据中心能耗最小化的作业调度和机房空调调控方法 |
CN111795761A (zh) * | 2020-06-24 | 2020-10-20 | 菲尼克斯(上海)环境控制技术有限公司 | 一种基于强化学习模型的预测机柜进风温度的方法 |
CN112395046A (zh) * | 2020-07-30 | 2021-02-23 | 上海有孚智数云创数字科技有限公司 | 基于温度预测的虚拟机迁移规划调度方法及其系统与介质 |
CN112395046B (zh) * | 2020-07-30 | 2021-06-04 | 上海有孚智数云创数字科技有限公司 | 虚拟机迁移规划调度方法及其系统与介质 |
CN112328454A (zh) * | 2020-11-11 | 2021-02-05 | 北京泽石科技有限公司 | 存储设备的监测方法及装置 |
CN113806077A (zh) * | 2021-08-20 | 2021-12-17 | 广州云硕科技发展有限公司 | 基于人工智能的数据中心服务器调控方法及装置 |
CN113734928A (zh) * | 2021-08-24 | 2021-12-03 | 东营市特种设备检验研究院 | 一种基于神经网络的在用电梯故障预测方法 |
CN113606750A (zh) * | 2021-10-09 | 2021-11-05 | 山东佐耀科技有限公司 | 一种空气源热泵负荷的调峰控制指令优化分配方法及系统 |
CN114528083A (zh) * | 2022-02-17 | 2022-05-24 | 珠海星云智联科技有限公司 | 数据处理单元dpu业务数据的调度处理方法及相关产品 |
CN114979185A (zh) * | 2022-05-12 | 2022-08-30 | 皖西学院 | 一种计算机应用节点的安全检测系统 |
CN114979185B (zh) * | 2022-05-12 | 2023-05-23 | 皖西学院 | 一种计算机应用节点的安全检测系统 |
CN116594446A (zh) * | 2023-07-19 | 2023-08-15 | 广州豪特节能环保科技股份有限公司 | 一种大数据中心温控方法及系统 |
CN116594446B (zh) * | 2023-07-19 | 2023-10-17 | 广州豪特节能环保科技股份有限公司 | 一种大数据中心温控方法及系统 |
CN117406844A (zh) * | 2023-11-14 | 2024-01-16 | 珠海世宁达科技有限公司 | 一种基于神经网络的显卡风扇控制方法及相关装置 |
CN117406844B (zh) * | 2023-11-14 | 2024-04-19 | 珠海世宁达科技有限公司 | 一种基于神经网络的显卡风扇控制方法及相关装置 |
CN117539726A (zh) * | 2024-01-09 | 2024-02-09 | 广东奥飞数据科技股份有限公司 | 绿色智算中心能效优化方法及系统 |
CN117539726B (zh) * | 2024-01-09 | 2024-04-26 | 广东奥飞数据科技股份有限公司 | 绿色智算中心能效优化方法及系统 |
CN117666741A (zh) * | 2024-02-02 | 2024-03-08 | 南京百恩特自动化科技有限公司 | 服务器散热控制方法及系统 |
CN117666741B (zh) * | 2024-02-02 | 2024-05-03 | 南京百恩特自动化科技有限公司 | 服务器散热控制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109375994B (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109375994A (zh) | 基于rbf神经网络的数据中心任务温度预测及调度方法 | |
CN109800066B (zh) | 一种数据中心节能调度方法及系统 | |
Zhu et al. | A three-dimensional virtual resource scheduling method for energy saving in cloud computing | |
CN104698843B (zh) | 一种基于模型预测控制的数据中心节能控制方法 | |
KR101867487B1 (ko) | 클라우드 환경에서 퍼지기반의 마이그레이션 시스템 및 방법 | |
WO2018137402A1 (zh) | 基于滚动灰色预测模型的云数据中心节能调度实现方法 | |
EP1653333B1 (en) | Multiprocessor computer for distribution of tasks according to heat emission and processor temperature | |
CN111174375B (zh) | 面向数据中心能耗最小化的作业调度和机房空调调控方法 | |
Wei et al. | Deep reinforcement learning for joint datacenter and HVAC load control in distributed mixed-use buildings | |
CN111813502B (zh) | 面向工业边缘节点的计算资源管理调度方法 | |
US20090319650A1 (en) | System and Method for the Process Management of a Data Center | |
CN109189190A (zh) | 一种基于温度预测的数据中心热量管理方法 | |
US20140297043A1 (en) | Arrangement for managing data center operations to increase cooling efficiency | |
CN106951059A (zh) | 基于dvs与改进蚁群算法的云数据中心节能方法 | |
Lee et al. | Vmap: Proactive thermal-aware virtual machine allocation in hpc cloud datacenters | |
US20090099705A1 (en) | Temperature management system for a multiple core chip | |
CN101719081A (zh) | 一种虚拟机调度方法 | |
KR20110007205A (ko) | 컴퓨트 환경에서 에너지 소비를 관리하기 위한 시스템 및 방법 | |
CN104158754B (zh) | 基于热负载均衡的数据中心自适应性耗能管理方法 | |
JP5245852B2 (ja) | サーバ処理分散装置、サーバ処理分散方法及びサーバ処理分散プログラム | |
CN115220900B (zh) | 一种基于作业功耗预测的节能调度方法及系统 | |
CN105549716A (zh) | 具有热机制的计算系统及其操作方法 | |
CN103984588B (zh) | 一种基于温度的虚拟机迁移方法及其系统 | |
Mirhoseininejad et al. | A data-driven, multi-setpoint model predictive thermal control system for data centers | |
Chen et al. | An energy‐efficient method of resource allocation based on request prediction in multiple cloud data centers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |