CN110069392A - 一种反映数据中心it设备能效特征的获取方法 - Google Patents

一种反映数据中心it设备能效特征的获取方法 Download PDF

Info

Publication number
CN110069392A
CN110069392A CN201910361249.8A CN201910361249A CN110069392A CN 110069392 A CN110069392 A CN 110069392A CN 201910361249 A CN201910361249 A CN 201910361249A CN 110069392 A CN110069392 A CN 110069392A
Authority
CN
China
Prior art keywords
server
data
data center
collectd
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910361249.8A
Other languages
English (en)
Inventor
李云
吉万鹏
夏彬
张諝晟
沈子钰
刘峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910361249.8A priority Critical patent/CN110069392A/zh
Publication of CN110069392A publication Critical patent/CN110069392A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提出了一种反映数据中心IT设备能效特征的获取方法，该方法采用了一种基于Collectd和MongoDB的数据采集和存储方法，通过收集PDU和Collectd的数据，使用MongoDB在服务器上建立两张数据表，然后按照时间戳的计算方法，将相同时间片内的数据加以对应整合。本发明能够提取出与数据中心能效相关的特征并很好地解决了工作任务类型与能效特征难以对应的问题，兼容各种类型服务器操作系统，能在各类数据中心中进行推广应用。

Description

一种反映数据中心IT设备能效特征的获取方法
技术领域
本发明属于云计算设备能效特征提取领域，具体涉及一种反映数据中心IT设备能效特征的获取方法。
背景技术
数据中心是全天候全天时执行大规模关键运算任务的基础设施，支撑IT业务的运转。随着网络运营商和互联网公司提供的云服务规模的扩大，人们对数据计算、处理和存储的需求不断增长，拥有成千上万台服务器的大型数据中心的数量也在激增。网络带宽的扩容使得云端化的高性能运算不断拓展，也扩大了构建大规模计算基础架构的需求。因此，数据中心建设成为快速发展的IT行业的关键任务。
一方面，数据中心的高经济效益使得其规模和数量不断增长，用电量的急剧增加和电力成本的上升，电费已经成为数据中心的主要开支。另一方面，数据中心的大能耗需求对环境产生影响，如大量的电能消耗、空调等制冷设备的温室气体排放与冷却水的排放等。即使数据中心的服务器处于空闲状态，同样会消耗大量的能量。数据中心的能源效率的优化问题已经变得至关重要。
衡量数据中心能效的最常用指标是能源使用效率，即PUE。这个指标的定义是输入数据中心的总能耗除以IT设备使用的能耗。总能耗包括IT设备使用的能耗加上其它非计算和数据通信用途的设备(即冷却，照明设备等)所消耗的任何开销功耗。若数据中心的PUE值为2.0，这意味着该设施每供给IT设备1度的能耗，其他非IT设备也会消耗1度能耗。所以先进的数据中心都力求PUE趋近于1.0。
基于上述情况，解决数据中心的能效预测问题十分重要，成为国内外的研究热点。而能效预测中的核心任务之一是获取到与数据中心IT设备能效相关的关键属性(特征)的数据。目前大多数能效预测研究都是基于单一化的服务器CPU频率或性能计算指标，能效特征数据的采集比较容易。而对于大规模的数据中心，其特征繁多且复杂，相关特征的合理采集方式的研究较少，仅有的采集方法都是基于不同的特定的IT设备制订的，泛化性差。
发明内容
发明目的：本发明的目的是提供一种反映数据中心IT设备能效特征的获取方法，该方法适用于所有数据中心，并完成能效的预测分析，解决了现有技术泛化性差的问题。
技术方案：本发明所述的一种反映数据中心IT设备能效特征的获取方法，包括以下步骤：
(1)搭建数据中心服务器系统平台并搭建监测平台环境。
进一步地，出于安全和运行可靠性的考虑，数据中心服务器都是搭建在虚拟机上的，所述步骤(1)包括：
(11)在实体服务器上安装ESXi虚拟机平台，为虚拟服务器配置需求不同的系统硬件环境，在ESXi基础上安装服务器Linux操作系统，然后在服务器Linux操作系统中安装服务器要求使用的服务器软件，完成服务器系统平台的搭建过程；
(12)在搭建好的服务器系统上安装系统监测软件Collectd，在系统监测端安装Collectd，配置数据可视化程序CGP；通过修改监测端的Collectd配置文件，确认匹配Client端和Server端通信地址，选择并开启需要采集数据的系统参数检测端口。
(2)使用能耗采集设备PDU(Power Distribution Unit，电源分配单元)采集服务器工作能耗。
(3)在服务器上安装系统负载监测工具监测记录系统硬件层和软件层相关负载情况。
进一步地，所述步骤(3)包括：
(31)在服务器上配置处理服务请求所需的工作包，向服务器发送任务请求使得服务器的系统状态有负载波动；
(32)在Client端通过CGP数据可视化程序读取解析本地的rrd文件，获取系统的可视化工作状态图。
(4)在服务器上搭建数据库系统MongoDB存储采集的数据，导入能耗采集设备PDU和系统监测软件Collectd采集的特征数据并分别将其保存在MongoDB数据库内，将MongoDB内存储的PDU数据和Collectd数据根据时间戳对应整合，获取反映数据中心IT设备能效特征的原始数据表，根据该表可以完成数据中心其他分析工作。
进一步地，所述步骤(4)包括：
(41)使用MongoDB在服务器上建立两张数据表，一张用于保存PDU采集到的系统能耗特征，主要包括电压、电流、功率和时间t1等特征；一张表用于保存Collectd采集到的系统硬件特征，主要包括硬盘、内存、CPU、文件包、进程序列和时间t2等特征；
(42)将Collectd采集的数据时间信息t2与PDU采集的数据时间信息t1一一对应，获得秒级时间误差的能耗状态数据集。
进一步地，所述设备PDU的信息记录脚本、所述系统监测软件Collectd的系统硬件检测工具、MongoDB数据库均是开源的。
有益效果：本发明具有以下优点：
1、使用的数据采集工具均是开源的，适用于各类利用虚拟机工作的数据中心，具有较强的泛化能力；
2、对数据中心能耗相关数据的采集不需要动环系统，只需要编写Python脚本文件就可以实现数据的采集，节约了数据中心的成本，提升了数据中心运行的安全性和数据的可靠性；
3、将数据的精确度提升到了秒级，使得采集得到的数据更有分析价值和使用价值；
附图说明
图1是本发明方法流程图；
图2是本发明实施例的操作流程示意图；
图3是本发明实施例的结构示意图。
具体实施方式
为了详细的说明本发明所公开的技术方案，下面结合说明书附图及具体实施例做进一步的阐述。
请参见图1，其示出了一种反映数据中心IT设备能效特征数据的获取方法的方法流程图。本实施例的操作流程如图2所示，具体步骤如下：
(1)搭建数据中心服务器系统平台并搭建监测平台环境：
如图3所示，在服务器上安装虚拟机系统ESXi，创建Ubuntu系统的虚拟机Sever1和Server2，分别配置2GB内存空间，4核CPU，和50GB硬盘空间，Server1的服务器配置为Apache，Server2的服务器配置为Nginx。在搭建好的服务器虚拟机上安装系统监测软件Collectd，在系统监测端安装Collectd，配置监测文件CGP。通过修改监测端的Collectd配置文件，确认Client端和Server端通信地址，打开通信注释，让Server端的数据信息能够被Client端采集到。选择并开启需要监测的系统参数，采集得到的数据中心服务器能耗数据的特征如下：CPU利用率(一维)、内存资源利用率(一维)、硬盘资源利用率(二维)、文件资源(二维)、数据包资源(二维)、进程队列负载(三维)等。不同的数据中心可根据设备或布局的不同采集不同的特征。
(2)使用能耗采集设备PDU采集IT服务器工作能耗：
使用PDU采集服务器能耗数据可以采用编写Python脚本文件的方法收集，采集频率为1s/次。一方面可以避免数据中心搭建动环系统的额外成本消耗，另外，可以降低非有效IT能耗，为数据中心降低了PUE值并减少了采集到的数据的噪声特征。
(3)在服务器上安装系统负载监测工具监测记录系统硬件层和软件层相关负载情况。
在服务器上安装系统特征监测工具Collectd，配置Collectd文件，设置需要采集的特征，设置存储模式为“.csv”格式。开启数据发送插件network，设置发送命令为25826，并使用命令“Server"数据接收端ip地址""25826"”检查network插件是否成功发送了数据包。
在接收端设置监听ip时，需设置成接收端自己的ip，而非数据采集端的ip，并使用命令“netstat-lnp|grep collectd”检查接收端是否启动了接收数据的进程的命令。
(4)在服务器上搭建数据库系统MongoDB存储采集的数据，导入PDU和Collectd采集的特征数据并将其分别保存在MongoDB内。将MongoDB内的PDU数据和Collectd数据根据时间戳对应整合。
使用go语言在服务器上建立三张数据表，一张用以保存PDU采集到的系统能耗特征，主要包括电压、电流、功率和时间t1等特征，另外两张表用以分别保存Collectd采集到的Server1系统和Server2系统硬件特征，主要包括硬盘、内存、CPU、文件包、进程序列和时间t2等特征。
从数据库中提取保存的数据，将Collectd采集的数据时间信息t2与PDU采集的数据时间信息t1一一对应，获得秒级时间误差的能耗状态数据集。根据该数据集完成数据中心其他分析工作。

Claims (7)

1.一种反映数据中心IT设备能效特征的获取方法，其特征在于，该方法包括以下步骤：
(1)搭建数据中心服务器系统平台及监测平台环境；
(2)使用能耗采集设备PDU采集IT服务器工作能耗；
(3)在服务器上安装系统负载监测工具，监测记录系统硬件层和软件层相关负载情况；
(4)在服务器上搭建数据库系统MongoDB存储采集的数据，导入能耗采集设备PDU和系统监测软件Collectd采集的特征数据并分别将其保存在MongoDB数据库内，将MongoDB内存储的PDU数据和Collectd数据根据时间戳对应整合，获取反映数据中心IT设备能效特征的原始数据表。
2.根据权利要求1所述的反映数据中心IT设备能效特征的获取方法，其特征在于，所述数据中心服务器系统平台搭建在虚拟机上，步骤(1)具体包括：
(11)在实体服务器上安装ESXi虚拟机平台，为虚拟服务器配置需求不同的系统硬件环境，在ESXi基础上安装服务器所需系统，然后在服务器系统中安装服务器所要求使用的服务器软件，完成服务器系统平台的搭建过程；
(12)在搭建好的服务器系统上安装系统监测软件Collectd，在系统监测端安装Collectd，配置数据可视化程序CGP；通过修改监测端的Collectd配置文件，确认匹配Client端和Server端通信地址，选择并开启需要采集数据的系统参数监测端口。
3.根据权利要求1所述的反映数据中心IT设备能效特征的获取方法，其特征在于，步骤(3)具体包括：
(31)在服务器上配置处理服务请求所需的工作包，向服务器发送任务请求使得服务器的系统硬件有运行负载；
(32)在Client端通过CGP数据可视化程序读取解析本地的rrd文件，获取系统的可视化工作状态图。
4.根据权利要求1所述的反映数据中心IT设备能效特征的获取方法，其特征在于，步骤(4)具体包括：
(41)使用MongoDB在服务器上建立两张数据表，一张用于保存PDU采集到的系统能耗特征，一张表用于保存Collectd采集到的系统硬件特征；
(42)将Collectd采集的数据时间信息t2与PDU采集的数据时间信息t1一一对应，获得秒级时间误差的能耗状态数据集。
5.根据权利要求4所述的反映数据中心IT设备能效特征的获取方法，其特征在于，步骤(41)中，所述系统能耗特征包括：电压、电流、功率和时间t1。
6.根据权利要求4所述的反映数据中心IT设备能效特征的获取方法，其特征在于，步骤(41)中，所述系统硬件特征包括：硬盘、内存、CPU、网卡信息、进程序列和时间t2。
7.根据权利要求1所述的反映数据中心IT设备能效特征的获取方法，其特征在于：所述设备PDU的信息记录脚本、所述系统监测软件Collectd的系统硬件检测工具、MongoDB数据库均是开源的，方便根据自己，方便根据不同数据中心的不同需求修改源码。
CN201910361249.8A 2019-04-30 2019-04-30 一种反映数据中心it设备能效特征的获取方法 Withdrawn CN110069392A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910361249.8A CN110069392A (zh) 2019-04-30 2019-04-30 一种反映数据中心it设备能效特征的获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910361249.8A CN110069392A (zh) 2019-04-30 2019-04-30 一种反映数据中心it设备能效特征的获取方法

Publications (1)

Publication Number Publication Date
CN110069392A true CN110069392A (zh) 2019-07-30

Family

ID=67369790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910361249.8A Withdrawn CN110069392A (zh) 2019-04-30 2019-04-30 一种反映数据中心it设备能效特征的获取方法

Country Status (1)

Country Link
CN (1) CN110069392A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781068A (zh) * 2019-11-07 2020-02-11 南京邮电大学 一种基于同构分解方法的数据中心跨层能耗预测方法
CN111309545A (zh) * 2020-01-19 2020-06-19 浪潮天元通信信息系统有限公司 一种动态配置数据中心能源指标的方法及工具
CN112308734A (zh) * 2020-10-27 2021-02-02 中国科学院信息工程研究所 It设备非it能耗的计量、费用分摊方法及电子装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781068A (zh) * 2019-11-07 2020-02-11 南京邮电大学 一种基于同构分解方法的数据中心跨层能耗预测方法
CN110781068B (zh) * 2019-11-07 2022-11-08 南京邮电大学 一种基于同构分解方法的数据中心跨层能耗预测方法
CN111309545A (zh) * 2020-01-19 2020-06-19 浪潮天元通信信息系统有限公司 一种动态配置数据中心能源指标的方法及工具
CN112308734A (zh) * 2020-10-27 2021-02-02 中国科学院信息工程研究所 It设备非it能耗的计量、费用分摊方法及电子装置
CN112308734B (zh) * 2020-10-27 2024-01-05 中国科学院信息工程研究所 It设备非it能耗的计量、费用分摊方法及电子装置

Similar Documents

Publication Publication Date Title
US11715025B2 (en) Method for forecasting distributed resource utilization in a virtualization environment
Uddin et al. Server consolidation: An approach to make data centers energy efficient and green
EP2457153B1 (en) Method and system for power analysis
CN110069392A (zh) 一种反映数据中心it设备能效特征的获取方法
EP2116967A1 (en) Apparatus, and associated method, for facilitating data-center management
CN106020715A (zh) 存储池容量管理
CN109192248A (zh) 基于云平台的生物信息分析系统、方法及云计算平台系统
CN105653398B (zh) 一种智能分配操作系统镜像方法
CN102194018B (zh) 基于云计算的建筑物能耗预测分析系统及方法
CN103532780A (zh) 用于it领域的运维监控一体化系统及一体化监控方法
CN111339073A (zh) 实时数据处理方法、装置、电子设备及可读存储介质
CN111709527A (zh) 运维知识图谱库的建立方法、装置、设备及存储介质
CN108920153A (zh) 一种基于负载预测的Docker容器动态调度方法
EP1631002A2 (en) Automatic configuration of network performance models
CN109474467A (zh) 网络自动化管理方法、装置、存储介质及电子设备
CN105302730A (zh) 一种检测计算模型的方法、测试服务器及业务平台
CN114647650A (zh) 数据存储方法、装置、电子设备及存储介质
CN107086936A (zh) 一种基于mdc的容量管理设计方法
CN111897898B (zh) 物联网设备位置的配置方法、装置、计算机设备
CN115439015B (zh) 基于数据中台的局域电网数据管理方法、装置及设备
CN116523328A (zh) 一种航空装备协同制造产业链协作智能决策方法
CN109993576A (zh) 一种服务质量感知、数据采集处理与分析的方法和系统
CN109165203A (zh) 基于Hadoop架构的大型公共建筑能耗数据存储分析方法
EP3465562A1 (en) Data driven invocation of real time wind market forecasting analytics
Ismaeel et al. A novel host readiness factor for energy-efficient VM consolidation in cloud data centers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190730