CN110781068A - 一种基于同构分解方法的数据中心跨层能耗预测方法 - Google Patents

Abstract

本发明提出了一种基于同构分解方法的数据中心跨层能耗预测方法，通过数据中心服务器上的电源分配单元采集数据中心物理机级的能耗数据；通过数据中心服务器上的管理工具收集数据中心物理机级的特征数据、虚拟机级的特征数据和容器级的特征数据；将采集到的3个层级的特征数据和能耗数据根据时间戳对应整合，建立能耗关系模型；将实时采集的特征数据作为输入，预测未来能耗数据，实现跨层能耗预测。本发明解决了数据中心物理机能耗模型中跨层能耗难以预测的问题，采用同构分解的思想减少了数据中心能耗预测需要建模的数量，提升了预测效率，帮助数据中心节能减排，改善了数据中心能耗负荷大、能源浪费多的问题，能在各类数据中心中进行推广应用。

Description

一种基于同构分解方法的数据中心跨层能耗预测方法

技术领域

本发明属于云数据中心能效特征提取和能耗预测领域，具体涉及一种基于同构分解方法的数据中心跨层能耗预测方法。

背景技术

数据中心是全天候全天时执行大规模关键运算任务的基础设施，支撑IT业务的运转。随着网络运营商和互联网公司提供的云服务规模的扩大，人们对数据计算、处理和存储的需求不断增长，拥有成千上万台服务器的大型数据中心的数量也在激增。网络带宽的扩容使得云端化的高性能运算不断拓展，也扩大了构建大规模计算基础架构的需求。因此，数据中心建设成为快速发展的IT行业的关键任务。

一方面，数据中心的高经济效益使得其规模和数量不断增长，用电量的急剧增加和电力成本的上升，电费已经成为数据中心的主要开支。另一方面，数据中心的大能耗需求对环境产生影响，如大量的电能消耗、空调等制冷设备的温室气体排放与冷却水的排放等。即使数据中心的服务器处于空闲状态，同样会消耗大量的能量。数据中心的能源效率的优化问题已经变得至关重要。

衡量数据中心能效的最常用指标是能源使用效率，即PUE。这个指标的定义是输入数据中心的总能耗除以IT设备使用的能耗。总能耗包括IT设备使用的能耗加上其它非计算和数据通信用途的设备(即冷却，照明设备等)所消耗的任何开销功耗。若数据中心的PUE值为2.0，这意味着该设施每供给IT设备1度的能耗，其他非IT设备也会消耗1度能耗。所以先进的数据中心都力求PUE趋近于1.0。

基于上述情况，解决数据中心的节约能源消耗问题十分重要，成为国内外的研究热点。而节约能源消耗中的核心任务之一是提取出与数据中心能耗相关的关键属性(特征)，并针对这些特征对数据中心能耗做出科学预测。目前大多数能耗预测研究都是基于服务器级或者数据中心级的单层级能耗预测，而对于大89规模的数据中心，其特征繁多且复杂，多层级之间的特征也会相互影响，对于数据中心的能耗也会产生影响，而相关跨级的交叉特征的合理提取的研究较少，存在根据提取的特征的预测结果可解释性不强、泛化性差，需要重复建模等问题。

发明内容

发明目的：本发明的目的是提供一种基于同构分解方法的数据中心跨层能耗预测方法，该方法适用于所有数据中心，并能有效完成数据中心能耗相关特征的提取，并且能耗的预测分析可解释性强。

技术方案：本发明所述的一种基于同构分解方法的数据中心跨层能耗预测方法，其特征在于，该方法包括以下步骤：

(1)通过数据中心服务器上的电源分配单元PDU采集数据中心电力消耗数据，保存为数据中心级的能耗数据集P-Data；

(2)根据服务器的硬件配置信息，将数据中心的服务器分为M类，并分别通过数据中心服务器上的状态管理工具，收集数据中心服务器上的物理机特征数据，构成物理机级的特征数据集Server-Data；根据同一台服务器上虚拟机的配置信息，将同一台服务器上的虚拟机分类，同属于一类的服务器配置相同，能耗关系模型系数相同；通过虚拟机上的状态管理工具采集虚拟机的运行特征数据以及进程特征数据，分别构成虚拟机级的运行特征数据集VM-Data和进程级的特征数据Process-Data；将采集到的P-Data、Server-Data、VM-Data、Process-Data这4个数据集根据时间戳对应整合；

进一步地，所述物理机特征数据包括：服务器的CPU使用状态信息、内存使用状态信息、硬盘使用状态信息、网络端口使用状态信息；具体包括：

服务器运行CPU利用率、硬盘利用率、内存利用率、网络端口占用率、风扇转速，交换机组的CPU利用率、内存利用率、网络端口占用率、风扇转速。

进一步地，所述服务器的配置信息包括：CPU型号、内存大小、硬盘品牌、硬盘大小。

进一步地，同一台服务器上，所述虚拟机的运行特征数据包括：虚拟机的CPU使用状态信息、内存使用状态信息、硬盘使用状态信息；具体包括：

所述数据中心服务器虚拟机级特征具体包括：虚拟机运行CPU利用率、硬盘利用率、内存利用率。

进一步地，同一台服务器上，虚拟机的配置信息包括：CPU核数、内存大小、硬盘大小。

进一步地，同一个虚拟机内，进程特征数据包括：进程占用的CPU百分比、占用的硬盘百分比和占用的内存百分比。

所述数据中心服务器容器级特征具体包括：容器运行CPU利用率、硬盘利用率、内存利用率。

(3)将Server-Data、VM-Data、Process-Data这3个不同层级的特征合并作为特征组输入到特征选择算法模型中，提取出虚拟机特征、进程特征和物理机特征的交叉特征，构成交叉特征数据集Ex-fea；

进一步地，所述特征选择算法模型采用深度决策树模型，需要设定的参数包括：决策树生成方式、决策树的数目、随机属性个数、决策树最大深度、叶子节点最少记录数和叶子节点最少记录百分比；输入的待预测特征数量与建立模型的历史数据特征数量保持一致。

(4)使用进程级特征数据集Process-Data，虚拟机级特征数据集VM-Data，物理机级特征数据集Server-Data和数据中心级能耗数据集P-data，以及生成的交叉特征数据集Ex-fea建立多级能耗关系模型，物理空间上从大到小分别是数据中心级、物理机级、虚拟机级和进程级四个能耗层级；其中，拥有相同配置信息的物理服务器模型，视为同一类预测对象，能耗模型相同，权重系数相同；拥有相同配置信息的虚拟服务器模型视为同一类预测对象，能耗模型相同，权重系数相同；使用建立好的多级能耗关系模型和实时的多级能耗特征值Process-Data、VM-Data、Server-Data、P-data预测未来的数据中心能耗。

进一步地，所述步骤(4)具体包括：

(41)计算同一类服务器下j时刻的第r种虚拟机状态信息向量

其中，

为同一个虚拟机里j时刻第i个容器的状态信息向量，

为对应时刻该容器的状态信息向量的权重，

为对应加偏置项；

(42)计算j时刻第k类服务器的状态向量

0≤k≤M：

其中，M为服务器类别总数，为同一个服务器第r个虚拟机状态信息向量的权重；

为对应偏置项；

(43)计算j时刻第k类服务器的能耗

其中，为第k种服务器状态向量的权重；

为对应偏置项；

(44)计算j时刻数据中心IT总能耗y_j：

其中，n^(k)为第k种配置下的服务器数量；

(45)建立数据中心训练模型

拟合结果趋近于0，求出偏置项和权重值，生成多级能耗关系模型；其中，y′_j为j时刻数据中心真实IT总能耗；

(46)输入实时的多级能耗特征值Process-Data、VM-Data、Server-Data、P-data，得到数据中心能耗预测值。

有益效果：本发明采用能耗分解的思路，将数据中心的能耗分解成不同类别的服务器的能耗，然后通过建立服务器级、虚拟机级和进程级的跨级状态特征的深度决策树，提取交叉特征，最后利用训练完成的深度决策树算法对数据中心能耗实时多层级特征数据进行能耗预测。另外，所采用深度决策树算法是一种较新的机器学习数据挖掘分类算法，该算法具有无需大量设置超参数、自行确定模型深度且无需提前确立模型结构的优点，并且，通过将相同配置的服务器、虚拟机和容器分类，采用相同模型进行预测，具有建模容易，泛化性强的特点，所得结果可服务于数据中心节约能耗、调度、运行等多方面，从而有利于提高数据中心的能效，节省数据中心能源。

附图说明

图1是本发明实施例方法流程图；

图2是物理机级特征数据Server-Data；

图3是虚拟机级运行特征数据VM-Data；

图4是进程级特征数据Process-Data；

图5是预测能耗和真实能耗曲线拟合图。

具体实施方式

为了详细的说明本发明所公开的技术方案，下面结合说明书附图及具体实施例做进一步的阐述。为明确表示，本专利具体实施方式说明中的机器学习算法模型统一采用深度决策树模型。

如图1所示，一种基于同构分解方法的数据中心跨层能耗预测方法流程图，具体操作步骤如下：

(1)通过数据中心服务器上的电源分配单元(PDU，Power Distribution Unit)采集数据中心电力消耗的历史数据P-Data；

(2)根据服务器的配置信息，将数据中心的服务器分为M类，如图2所示，分别通过数据中心服务器上的管理工具(例如：Collectd)收集每一类数据中心服务器上的物理机级特征数据Server-Data，用表示j时刻第i个服务器的第n个状态信息。如表1所示为物理机级特征数据信息；

表1物理机级特征数据信息

(3)根据同一台服务器上虚拟机的不同配置信息，将同一台物理机上的虚拟机分类，如图3所示，通过服务器上安装的管理工具采集虚拟机级运行特征数据VM-Data，如图4所示，采集进程级特征数据Process-Data；通过将采集到的4个数据集根据时间戳对应整合，预处理后建立训练集和测试集，用

表示同一个服务器下时间j的第r个虚拟机状态信息，用

表示同一个虚拟机里时间j的第i个容器的状态信息，表2所示为虚拟机级特征数据信息，表3所示为容器级特征数据信息；

表2

表3

(4)将3个特征集中的特征合并作为特征组输入到深度决策树中，提取出虚拟机特征、进程特征和物理机特征的交叉特征，如表4所示为深度决策树的配置信息，决策树生成方式、决策树的数目、随机属性个数、决策树最大深度、叶子节点最少记录数和叶子节点最少记录百分比。

表4

(5)定义如下表5所示为各符号的物理含义。

表5

j时刻数据中心IT总能耗y_j等于：j时刻第k(0≤k≤M)种服务器的能耗乘以第k种服务器的数量之和：

其中，时间j时，第k种服务器的能耗等于时间j时，第k(0≤k≤M)种服务器的状态向量乘以第k种服务器的状态向量系数加偏置项：

其中，时间j时，第k种服务器的状态向量等于时间j时，同一类服务器下时间j的虚拟机状态向量乘以对应虚拟机状态向量系数加偏置项：

其中，同一类服务器下时间j的虚拟机状态向量等于同一个虚拟机里时间j的第i个容器状态信息向量乘以对应系数容器状态信息向量系数加偏置项：

将上述式子规约合并，即

数据中心训练模型：

拟合结果趋近于0，求出最优的偏置项值和权重值，生成多级能耗关系模型。输入实时的多级能耗特征值Process-Data、VM-Data、Server-Data、P-data，得到数据中心能耗预测值。

如图5为预测能耗和真实能耗曲线拟合图，深色曲线表示预测能耗值，浅色曲线表示真实能耗值，用测试集的数据作为输入来验证模型准确率，采集实时多层级特征数据来预测数据中心物理机级能耗，实现数据中心跨级能耗预测。

通过以上步骤所得能耗特征和预测模型可服务于数据中心节约能耗、调度、运行等多方面，从而有利于提高数据中心的能效，节省数据中心能源。

Claims (8)

1.一种基于同构分解方法的数据中心跨层能耗预测方法，其特征在于，该方法包括以下步骤：

(1)通过数据中心服务器上的电源分配单元PDU采集数据中心电力消耗数据，保存为数据中心级的能耗数据集P-Data；

(2)根据服务器的硬件配置信息，将数据中心的服务器分为M类，并分别通过数据中心服务器上的状态管理工具，收集数据中心服务器上的物理机特征数据，构成物理机级的特征数据集Server-Data；根据同一台服务器上虚拟机的配置信息，将同一台服务器上的虚拟机分类，同属于一类的服务器配置相同，能耗关系模型系数相同；通过虚拟机上的状态管理工具采集虚拟机的运行特征数据以及进程特征数据，分别构成虚拟机级的运行特征数据集VM-Data和进程级的特征数据Process-Data；将采集到的P-Data、Server-Data、VM-Data、Process-Data这4个数据集根据时间戳对应整合；

(3)将Server-Data、VM-Data、Process-Data这3个不同层级的特征数据合并作为特征组输入到特征选择算法模型中，提取出虚拟机特征、进程特征和物理机特征的交叉特征，并据此构成交叉特征数据集Ex-fea；

(4)使用进程级特征数据集Process-Data，虚拟机级特征数据集VM-Data，物理机级特征数据集Server-Data和数据中心级能耗数据集P-data，以及生成的交叉特征数据集Ex-fea建立多级能耗关系模型，物理空间上从大到小分别是数据中心级、物理机级、虚拟机级和进程级四个能耗层级；其中，拥有相同配置信息的物理服务器模型，视为同一类预测对象，能耗模型相同，权重系数相同；拥有相同配置信息的虚拟服务器模型视为同一类预测对象，能耗模型相同，权重系数相同；使用建立好的多级能耗关系模型和实时的多级能耗特征值Process-Data、VM-Data、Server-Data、P-data预测未来的数据中心能耗。

2.根据权利要求1所述的基于同构分解方法的数据中心跨层能耗预测方法，其特征在于，步骤(2)中，所述物理机特征数据包括：服务器的CPU使用状态信息、内存使用状态信息、硬盘使用状态信息、网络端口使用状态信息。

3.根据权利要求1所述的基于同构分解方法的数据中心跨层能耗预测方法，其特征在于，步骤(2)中，所述服务器的配置信息包括：CPU型号、内存大小、硬盘品牌、硬盘大小。

4.根据权利要求1所述的基于同构分解方法的数据中心跨层能耗预测方法，其特征在于，步骤(2)中，同一台服务器上，所述虚拟机的运行特征数据包括：虚拟机的CPU使用状态信息、内存使用状态信息、硬盘使用状态信息。

5.根据权利要求1所述的基于同构分解方法的数据中心跨层能耗预测方法，其特征在于，步骤(2)中，同一台服务器上，虚拟机的配置信息包括：CPU核数、内存大小、硬盘大小。

6.根据权利要求1所述的基于同构分解方法的数据中心跨层能耗预测方法，其特征在于，步骤(2)中，同一个虚拟机内，进程特征数据包括：进程占用的CPU百分比、占用的硬盘百分比和占用的内存百分比。

7.根据权利要求1所述的基于同构分解方法的数据中心跨层能耗预测方法，其特征在于，步骤(3)中，所述特征选择算法模型采用深度决策树模型，需要设定的参数包括：决策树生成方式、决策树的数目、随机属性个数、决策树最大深度、叶子节点最少记录数和叶子节点最少记录百分比；输入的待预测特征数量与建立模型的历史数据特征数量保持一致。

8.根据权利要求1所述的基于同构分解方法的数据中心跨层能耗预测方法，其特征在于，步骤(4)具体包括：

(41)计算同一类服务器下j时刻的第r种虚拟机状态信息向量

其中，

为同一个虚拟机里j时刻第i个容器的状态信息向量，为对应j时刻该容器的状态信息向量的权重，

为对应加偏置项；

(42)计算j时刻第k类服务器的状态向量

0≤k≤M：

其中，M为服务器类别总数，

为同一个服务器第r个虚拟机状态信息向量的权重；

为对应偏置项；

(43)计算j时刻第k类服务器的能耗

其中，

为第k种服务器状态向量的权重；为对应偏置项；

(44)计算j时刻数据中心IT总能耗y_j：

其中，n^(k)为第k种配置下的服务器数量；

(45)建立数据中心训练模型

拟合结果趋近于0，求出偏置项和权重值，生成多级能耗关系模型；其中，y′_j为j时刻数据中心真实IT总能耗；

(46)输入实时的多级能耗特征值Process-Data、VM-Data、Server-Data、P-data，得到数据中心能耗预测值。

Images