CN105204978A - 基于机器学习的数据中心运行数据分析系统 - Google Patents

基于机器学习的数据中心运行数据分析系统 Download PDF

Info

Publication number
CN105204978A
CN105204978A CN201510351034.XA CN201510351034A CN105204978A CN 105204978 A CN105204978 A CN 105204978A CN 201510351034 A CN201510351034 A CN 201510351034A CN 105204978 A CN105204978 A CN 105204978A
Authority
CN
China
Prior art keywords
pue
data
related data
prediction model
target value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510351034.XA
Other languages
English (en)
Inventor
孙晓钢
周天宇
张炳华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201510351034.XA priority Critical patent/CN105204978A/zh
Publication of CN105204978A publication Critical patent/CN105204978A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Air Conditioning Control Device (AREA)

Abstract

本发明公开了一种基于机器学习的数据中心运行数据分析系统,该系统包括资源获取模块、数据处理模块以及基础应用模块,其中,资源获取模块,用于采集数据中心的PUE相关数据,并向数据处理模块发送PUE相关数据;数据处理模块,用于接收PUE相关数据,并对PUE相关数据进行处理,以及对PUE相关数据进行数据标准化,并根据数据标准化后的PUE相关数据建立预测模型,以及根据历史PUE相关数据,更新预测模型;以及基础应用模块,用于接收输入的PUE目标值,并根据预测模型获得与PUE目标值对应的PUE相关数据,或者获得当前PUE相关数据,根据预测模型预测出下一时刻对应的PUE相关数据。

Description

基于机器学习的数据中心运行数据分析系统
技术领域
本发明涉及计算机技术领域,尤其涉及一种基于机器学习的数据中心运行数据分析系统。
背景技术
随着能源成本的不断攀升以及人们对绿色环保的重视,数据中心节能需求越来越强烈。在保证数据中心机房中的IT设备安全、高性能运行的前提下,综合利用各种节能手段,提高数据中心的能源利用效率,降低PUE(PowerUsageEffectiveness,电源使用效率),节能减排已成为数据中心基础设施追求的目标之一。
目前,数据中心的运维人员通常根据机房室内外环境状态,手动调整数据中心机房中基础设施的运行状态,从而使数据中心达到稳定的运行状态,实现节能环保的目的。这需要运维人员对设备性能、系统运行情况十分熟悉,且对基础设施的操作十分熟练。
但是,如果运维人员操作不及时、或者人员更换,则不利于数据中心持续稳定运行,并且人工对数据中心的运行状态进行管控,对人工操作要求高,且不够智能化。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的第一个目的在于提出一种基于机器学习的数据中心运行数据分析系统,无需运维人员手动对数据中心进行管控,保证数据中心能够持续高效、节能、稳定地运行。
为达上述目的,根据本发明第一方面实施例提出了一种基于机器学习的数据中心运行数据分析系统,包括:资源获取模块、数据处理模块以及基础应用模块,其中,所述资源获取模块,用于采集所述数据中心的PUE相关数据,并向所述数据处理模块发送所述PUE相关数据;所述数据处理模块,用于接收所述PUE相关数据,并对所述PUE相关数据进行处理,以及对所述PUE相关数据进行数据标准化,并根据数据标准化后的所述PUE相关数据建立预测模型,以及根据历史PUE相关数据,更新所述预测模型;以及所述基础应用模块,用于接收输入的PUE目标值,并根据所述预测模型获得与所述PUE目标值对应的所述PUE相关数据,或者获得当前PUE相关数据,根据所述预测模型预测出下一时刻对应的PUE相关数据。
本发明实施例的基于机器学习的数据中心运行数据分析系统,通过资源获取模块实时采集PUE相关数据,并通过数据处理模块基于机器学习,利用采集到的PUE相关数据建立预测模型,以及通过基础应用模块对数据中心进行模拟运行,无需运维人员手动对数据中心进行管控,保证了数据中心能够持续高效、节能、稳定地运行。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1为根据本发明一个实施例的基于机器学习的数据中心运行数据分析系统的结构示意图。
图2为根据本发明一个实施例的数据中心的PUE预测数值的实验数据图。
图3为根据本发明一个实施例的数据中心的PUE实际数值的实验数据图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于机器学习的数据中心运行数据分析系统。
图1为根据本发明一个实施例的基于机器学习的数据中心运行数据分析系统的结构示意图。
如图1所示,基于机器学习的数据中心运行数据分析系统包括资源获取模块100、数据处理模块200以及基础应用模块300。
具体地,资源获取模块100用于采集数据中心的PUE相关数据,并向数据处理模块200发送PUE相关数据。其中,PUE相关数据可包括IT设备运行数据、空调系统运行数据、机房环境数据以及供配电数据等。
数据处理模块200用于接收PUE相关数据,并对PUE相关数据进行处理,以及对PUE相关数据进行数据标准化,并根据数据标准化后的PUE相关数据建立预测模型,以及根据历史PUE相关数据,更新预测模型。
具体地,数据处理模块200可采用Z-Score方法对PUE相关数据进行数据标准化。更具体地,可对PUE相关数据进行数据筛查、数据归一、数据分类、数据学习等处理。其中,数据筛查是对PUE相关数据进行错误点筛查替换处理,从而减小错误点数据的影响;数据归一是对PUE相关数据进行统一时间轴处理,为在不同时间点采集的PUE相关数据添加时间轴标识,使得PUE相关数据具有对应的时间特征;数据分类是对PUE相关数据进行标注、特征识别,以此完成对采集的PUE相关数据的标准化;数据学习是对标准化后的PUE相关数据进行分析、并进行机器学习等,以此建立预测模型。然后再根据历史PUE相关数据,更新预测模型。由于PUE相关数据是实时采集的,在根据获得的PUE相关数据建立预测模型时,还在不断地采集PUE相关数据并处理,因此,建立的预测模型也是不断地进行更新、迭代,从而实现对预测模型的调优,提升预测的准确率。
基础应用模块300用于接收输入的PUE目标值,并根据预测模型获得与PUE目标值对应的PUE相关数据,或者还可获得当前PUE相关数据,根据预测模型预测出下一时刻对应的PUE相关数据。
具体地,可根据预测模型对PUE值进行预测,通过预测值自动控制数据中心的运行状态,例如提前关闭冷机或减小冷机负载,减少数据中心能源消耗等,以此实现数据中心高效、节能、稳定地运行。
在根据预测模型获得与PUE目标值对应的PUE相关数据之后,基础应用模块300还可根据与PUE目标值对应的PUE相关数据调整数据中心的IT设备运行状态、空调系统运行状态,以达到PUE目标值。
在根据预测模型预测出下一时刻对应的PUE相关数据之后,基础应用模块300还可根据预测出下一时刻对应的PUE相关数据调整数据中心的IT设备运行状态、空调系统运行状态。
通过实验获取的数据表明,可同比实现PUE值降低0.1,每万台服务器全年实现节能200万度。如图2和图3所示,一分钟时间内的PUE实际数值与PUE预测数值吻合度很高,整体误差率<5%。
本发明实施例的基于机器学习的数据中心运行数据分析系统,通过资源获取模块实时采集PUE相关数据,并通过数据处理模块基于机器学习,利用采集到的PUE相关数据建立预测模型,以及通过基础应用模块对数据中心进行模拟运行,无需运维人员手动对数据中心进行管控,保证了数据中心能够持续高效、节能、稳定地运行。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种基于机器学习的数据中心运行数据分析系统,其特征在于,包括资源获取模块、数据处理模块以及基础应用模块,其中,
所述资源获取模块,用于采集所述数据中心的PUE相关数据,并向所述数据处理模块发送所述PUE相关数据;
所述数据处理模块,用于接收所述PUE相关数据,并对所述PUE相关数据进行处理,以及对所述PUE相关数据进行数据标准化,并根据数据标准化后的所述PUE相关数据建立预测模型,以及根据历史PUE相关数据,更新所述预测模型;以及
所述基础应用模块,用于接收输入的PUE目标值,并根据所述预测模型获得与所述PUE目标值对应的所述PUE相关数据,或者获得当前PUE相关数据,根据所述预测模型预测出下一时刻对应的PUE相关数据。
2.如权利要求1所述的系统,其特征在于,所述PUE相关数据包括IT设备运行数据、空调系统运行数据、机房环境数据以及供配电数据。
3.如权利要求1所述的系统,其特征在于,所述基础应用模块,还用于:
在根据所述预测模型获得与所述PUE目标值对应的所述PUE相关数据之后,根据与所述PUE目标值对应的所述PUE相关数据调整所述数据中心的IT设备运行状态、空调系统运行状态,以达到所述PUE目标值。
4.如权利要求1所述的系统,其特征在于,所述基础应用模块,还用于:
在根据所述预测模型预测出下一时刻对应的PUE相关数据之后,根据预测出下一时刻对应的所述PUE相关数据调整所述数据中心的IT设备运行状态、空调系统运行状态。
5.如权利要求1所述的系统,其特征在于,所述数据处理模块,具体用于:
采用Z-Score方法对所述PUE相关数据进行数据标准化。
CN201510351034.XA 2015-06-23 2015-06-23 基于机器学习的数据中心运行数据分析系统 Pending CN105204978A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510351034.XA CN105204978A (zh) 2015-06-23 2015-06-23 基于机器学习的数据中心运行数据分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510351034.XA CN105204978A (zh) 2015-06-23 2015-06-23 基于机器学习的数据中心运行数据分析系统

Publications (1)

Publication Number Publication Date
CN105204978A true CN105204978A (zh) 2015-12-30

Family

ID=54952672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510351034.XA Pending CN105204978A (zh) 2015-06-23 2015-06-23 基于机器学习的数据中心运行数据分析系统

Country Status (1)

Country Link
CN (1) CN105204978A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598791A (zh) * 2016-09-12 2017-04-26 湖南微软创新中心有限公司 一种基于机器学习的工业设备故障预防性识别方法
CN108509019A (zh) * 2018-03-29 2018-09-07 北京国电通网络技术有限公司 数据中心能耗优化方法及装置
WO2020001642A1 (zh) * 2018-06-28 2020-01-02 中兴通讯股份有限公司 一种运维系统及方法
CN110781595A (zh) * 2019-10-28 2020-02-11 腾讯科技(深圳)有限公司 能源使用效率pue的预测方法、装置、终端及介质
CN110826784A (zh) * 2019-10-28 2020-02-21 腾讯科技(深圳)有限公司 能源使用效率的预测方法、装置及存储介质和终端设备
CN110852498A (zh) * 2019-10-31 2020-02-28 西安交通大学 一种基于gru神经网络预测数据中心能耗效率值pue的方法
CN110866528A (zh) * 2019-10-28 2020-03-06 腾讯科技(深圳)有限公司 一种模型训练方法、能耗使用效率预测方法、装置和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100049494A1 (en) * 2008-08-15 2010-02-25 Edsa Corporation Method for predicting power usage effectiveness and data center infrastructure efficiency within a real-time monitoring system
US20130227317A1 (en) * 2012-02-27 2013-08-29 Chris D. Hyser Power management
CN103428282A (zh) * 2013-08-06 2013-12-04 浪潮(北京)电子信息产业有限公司 一种云计算数据中心的在线节能控制方法及装置
CN103645795A (zh) * 2013-12-13 2014-03-19 浪潮电子信息产业股份有限公司 一种基于人工神经网络的云计算数据中心节能方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100049494A1 (en) * 2008-08-15 2010-02-25 Edsa Corporation Method for predicting power usage effectiveness and data center infrastructure efficiency within a real-time monitoring system
US20130227317A1 (en) * 2012-02-27 2013-08-29 Chris D. Hyser Power management
CN103428282A (zh) * 2013-08-06 2013-12-04 浪潮(北京)电子信息产业有限公司 一种云计算数据中心的在线节能控制方法及装置
CN103645795A (zh) * 2013-12-13 2014-03-19 浪潮电子信息产业股份有限公司 一种基于人工神经网络的云计算数据中心节能方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIM GAO: "Machine Learning Applications for Data Center Optimization", 《RESEARCH AT GOOGLE》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598791A (zh) * 2016-09-12 2017-04-26 湖南微软创新中心有限公司 一种基于机器学习的工业设备故障预防性识别方法
CN106598791B (zh) * 2016-09-12 2020-08-21 湖南微软创新中心有限公司 一种基于机器学习的工业设备故障预防性识别方法
CN108509019A (zh) * 2018-03-29 2018-09-07 北京国电通网络技术有限公司 数据中心能耗优化方法及装置
WO2020001642A1 (zh) * 2018-06-28 2020-01-02 中兴通讯股份有限公司 一种运维系统及方法
US11947438B2 (en) 2018-06-28 2024-04-02 Xi'an Zhongxing New Software Co., Ltd. Operation and maintenance system and method
CN110781595A (zh) * 2019-10-28 2020-02-11 腾讯科技(深圳)有限公司 能源使用效率pue的预测方法、装置、终端及介质
CN110826784A (zh) * 2019-10-28 2020-02-21 腾讯科技(深圳)有限公司 能源使用效率的预测方法、装置及存储介质和终端设备
CN110866528A (zh) * 2019-10-28 2020-03-06 腾讯科技(深圳)有限公司 一种模型训练方法、能耗使用效率预测方法、装置和介质
CN110866528B (zh) * 2019-10-28 2023-11-28 腾讯科技(深圳)有限公司 一种模型训练方法、能耗使用效率预测方法、装置和介质
CN110826784B (zh) * 2019-10-28 2023-12-12 腾讯科技(深圳)有限公司 能源使用效率的预测方法、装置及存储介质和终端设备
CN110781595B (zh) * 2019-10-28 2024-04-26 腾讯科技(深圳)有限公司 能源使用效率pue的预测方法、装置、终端及介质
CN110852498A (zh) * 2019-10-31 2020-02-28 西安交通大学 一种基于gru神经网络预测数据中心能耗效率值pue的方法

Similar Documents

Publication Publication Date Title
CN105204978A (zh) 基于机器学习的数据中心运行数据分析系统
CN109800066B (zh) 一种数据中心节能调度方法及系统
CN103994553B (zh) 一种制冷系统冷却水节能控制方法、系统及装置
CN104698843B (zh) 一种基于模型预测控制的数据中心节能控制方法
CN103062861B (zh) 用于中央空调的节能监控方法及系统
CN107143981B (zh) 一种中央空调节能控制系统和方法
CN104049716B (zh) 一种结合温度感知的计算机节能方法及系统
CN201812187U (zh) 基于云计算的电子信息系统机房能源管理控制系统
CN105868077B (zh) 一种获取整机柜服务器节点监控信息的方法
US20170219241A1 (en) Data Center Infrastructure Management (DCIM) system comprising predictive analytics
CN106052033A (zh) 一种数据中心的空调控制系统及多层级智能温控调度方法
CN111191851B (zh) 一种基于知识图谱的数据中心能效优化方法
CN104049626B (zh) 用于冷却系统的部件的能量分析与预测建模的系统及方法
CN219473908U (zh) 一种基于AIoT技术的中央空调全生命周期高能效控制系统
CN206989413U (zh) 一种空调机组远程监控系统
CN102681502A (zh) 一种酒店节能管理系统及管理方法
CN106765911B (zh) 一种中央空调冷机的控制方法、装置及控制器
CN105224756A (zh) 一种获取SmartRack整机柜风量的设计方法
CN202993476U (zh) 一种建筑节能精细控制系统
CN106152394A (zh) 数据中心整体能耗解决方案和系统
CN205068097U (zh) 基于分布式优化技术的机房空调联网监控系统
CN110348634A (zh) 一种基于入户式能量管理系统的空调负荷调度方法
CN103062863B (zh) 基于智能空调的多维生态环境自动调节方法及系统
Kang et al. A two-segment LSTM based data center temperature prediction model
CN205071038U (zh) 节能优化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151230

RJ01 Rejection of invention patent application after publication