CN103076870B - 数据中心中能耗驱动的应用融合调度和资源动态配置方法 - Google Patents

Abstract

本发明提供了一种数据中心中能耗驱动的应用融合调度和资源动态配置方法，属于分布式计算领域。所述方法根据应用请求四个维度的资源需求进行关系评估，并结合应用请求负载的周期性特点，实现数据中心资源的动态配置；所述四个维度的资源需求是指CPU、内存、存储和网络。利用本发明方法能够降低数据中心的能源消耗，并且能够降低在一段时间间隔内开关机的数量。

Description

数据中心中能耗驱动的应用融合调度和资源动态配置方法

技术领域

本发明属于分布式计算领域，具体涉及一种数据中心中能耗驱动的应用融合调度和资源动态配置方法，用于解决数据中心环境中最小化硬件资源能源消耗问题。

背景技术

最近几年，在线视频、电子邮件和娱乐资讯等网络服务逐渐普及，网络用户数量的不断攀升促进了各种规模数据中心的涌现，数据中心的发展进入了鼎盛时期。数据中心运营服务器数量的快速增加，使得运营这些服务器的电力消耗成为数据中心的主要运营成本。例如一台300W的高性能服务器，一年运营将消耗大约2628千瓦时的能耗，保证其稳定运行所需要的制冷开销大约748千瓦时的能耗(请参考R.Bianchini and R.Rajamony.“Power and energy managementfor server systems，”IEEE computer，37(11)，2004)。美国环境保护署的一份报告中指出，一年数据中心的电力能源消耗已经占到美国全部电力能源消耗的1.5％，约合45亿美金(请参考U.S.Environmental Protection Agency.“EPA Report onserver and data center energy efficiency.”，2007)。如果不采取有效的节能措施，数据中心的能源消耗将严重阻碍数据中心的发展。因此，如何降低数据中心能源消耗成为学术界和工业界共同关注的热点问题。

降低数据中心的能源消耗主要从两方面着手。在硬件方面，根据机器的负载动态调整开启机器的数目。当一台机器处于空闲或者低负载时，就可以选择关闭机器以降低能源消耗。文献(G.Chen，W.He，J.Liu，S.Nath，L.Rigas，L.Xiao，and F.Zhao，“Energy-aware server provisioning and load dispatching forconnection-intensive internet services，”in Proceedings of the 5th USENIXSymposium on Networked Systems Design and Implementation.USENIXAssociation，2008，pp.337-350)针对互联网应用处理用户请求数量呈现周期性变化的特点，建立应用请求数量评估模型，动态配置数据中心机器开启的数量，达到降低能源消耗的目标。文献(A.Verma，G.Dasgupta，T.Nayak，P.De，and R.Kothari，“Server workload analysis for power minimization using consolidation，”inProceedings of the 2009conference on U SENIX Annual technical conference.USENIX Association，2009，pp.18-28)针对单一应用请求的数据中心环境，建立数据中心能源消耗模型，利用拉格朗日乘数求解最小化数据中心能源消耗的机器数量。然而，机器重启过程中需要大量的时间和接近满负荷时刻的能耗，并且频繁开关机对于整个系统的可靠性也有巨大影响(Q.Zhu，J.Zhu，and G.Agrawal，“Power-aware consolidation of scientific workflows in virtualizedenvironments，”in Proceedings of the 2010ACM/IEEE International Conference forHigh Performance Computing，Networking，Storage and Analysis.IEEE ComputerSociety，2010，pp.1-12)。有效避免开关机劣势的技术是动态电压和频率调整(Dynamic Voltage and Frequency Scaling，DVFS)技术。DVFS主要通过降低处理器的供给电压或者运行频率来达到节能的目的。此方法虽不能像开关机那样节省大量的能耗，但是对应用请求的性能和系统的可靠性基本无影响。文献(D.Johnson，“Near optimal bin packing algorithm，”Ph.D.dissertation，MIT，1973)对互联网应用建立负载模型，分析满足应用请求服务等级协议的条件下，最小化能源消耗的处理器频率配置。在软件方面，虚拟化技术和硬件隔离技术使得原本运行在大规模低资源利用率的机器上的应用可以融合到小规模高资源利用率的机器上执行，彼此之间运行相对独立，互不影响。然而高效的融合并不是简单地将各维度的资源利用率最大化。文献(Oh，F.Y.K.and Kim，H.S.and Eom，H.andYeom，H.Y.“Enabling consolidation and scaling down to provide power managementfor cloud computing”in Proceedings of the 3rd USENIX conference on Hot topics incloud computing，2011，pp.14-18)通过大规模实验验证具有相似资源需求的应用请求在同一资源上执行时，性能和能耗的损失较大。因此，利用虚拟化技术设计应用请求融合调度和资源配置算法是降低数据中心能源消耗的主要手段。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种数据中心下能耗驱动的应用融合调度和资源动态配置方法，降低数据中心的能源消耗。

本发明是通过以下技术方案实现的：

一种数据中心中能耗驱动的应用融合调度和资源动态配置方法，所述方法根据应用请求四个维度的资源需求进行关系评估，并结合应用请求负载的周期性特点，实现数据中心资源的动态配置；所述四个维度的资源需求是指CPU、内存、存储和网络。

所述方法包括以下步骤：

步骤1：初始化数据中心机器数目；

步骤2：判断当前时间周期是否为小周期，如果是，则转到步骤3，如果否，则等待满足小周期的条件；

步骤3：读入当前应用请求就绪数目；

步骤4：根据所述应用请求的资源需求计算欧氏距离，并标记应用请求的类型；

步骤5：循环遍历当前数据中心中所有空闲机器，选择符合约束条件的空闲机器，并将应用请求加入到空闲机器的请求队列中；

步骤6：判断应用请求是否调度成功，即判断所述空闲机器是否能处理当前就绪请求，如果是，则返回步骤2，如果否，转入步骤7；

步骤7：开启新机器，更新当前数据中心中的机器数目，累加时间周期；

步骤8：判断当前时间周期是否为大周期，如果是，则执行步骤9，如果否，则返回步骤2；

步骤9：根据数据中心中的应用请求的历史数据(历史数据是实验的输入数据)利用d-separation算法构建用于应用请求规模评估的有向无环图；

步骤10：利用最大似然估计方法计算所述有向无环图中节点之间的条件概率值，建立贝叶斯网络；

步骤11：根据贝叶斯网络计算下一个大周期内的应用请求的数量；

步骤12：选取使能源消耗最小化的机器数目；

步骤13：动态配置数据中心中的开启机器的数目，然后返回步骤2。

所述步骤2中的小周期为10分钟；所述步骤8中的大周期为60分钟；所述步骤7中的累加时间周期是指对小周期进行累加，当小周期的数量是6的整数倍时，就成为大周期。

所述步骤4中的欧氏距离为其中x、y分别表示各个维度的资源需求。

所述步骤4中的应用请求的类型包括计算密集型、内存密集型、网络密集型和I/O密集型。

所述步骤5中符合约束条件是指剩余资源满足需求和满足应用请求关系，即欧氏距离足够大(具体数据需要根据当前应用请求的实际参数计算得出)。

所述步骤7中的更新当前数据中心中的机器数目是这样实现的：将当前机器数目加1。

所述步骤12是这样实现的：数据中心在时间间隔T内的能源消耗表示为式(1)：

$\underset{t=1}{\overset{T}{\mathrm{\Σ}}}\{\underset{i=1}{\overset{m_t}{\mathrm{\Σ}}}(E_c+E_{\mathrm{di}})+Q\·{[m_t-m_{t-1}]}^{+}\}---\left(1\right)$

其中，m_t表示t时刻数据中心所开启的机器数量，当x≥0时，x⁺＝x，其他情况x⁺＝0；

根据预测的下一个时间段的应用请求负载，从当前数据中心中的机器数目迭代式搜索到处理预测应用请求的机器数目，并选取其中使(1)式最小的机器数目。

所述步骤13中的动态配置数据中心中的开启机器的数目是这样实现的：

根据步骤12得到的机器数目，选择开机或关机操作。

与现有技术相比，本发明的有益效果是：本发明方法能够降低数据中心的能源消耗，并且能够降低在一段时间间隔内开关机的数量。

附图说明

图1是数据中心能耗管理系统框架。

图2是一个时间周期内应用请求数量预测。

图3是一个时间周期内数据中心能耗开销。

图4是一个时间周期内开关机数量。

图5是本发明实施例中利用本发明方法得到的应用请求调度。

图6是本发明数据中心下能耗驱动的应用融合调度和资源动态配置方法的步骤框图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

首先，针对数据中心执行的应用请求异构性的特点，设计异构应用请求融合调度算法。然后针对应用请求数量周期性的特点，设计动态资源配置策略。

本发明针对支持DVFS和虚拟化技术的数据中心，建立数据中心环境下底层资源的能源消耗模型。然后，将应用请求融合调度问题形式化描述为有色装箱问题，并设计了渐进性能比为1.7的应用请求融合调度算法在线有色首次适应(Online Coloring First Fit，OCFF)算法。最后，利用贝叶斯网络相关理论，设计预测贝叶斯网络(Predictive Bayesian Network，PBN)算法，动态配置数据中心资源。

数据中心能源消耗模型：

数据中心应用请求：数据中心处理的应用请求根据资源需求的不同可以划分为以下四类：计算密集型、内存密集型、I/O密集型和网络密集型。当一个应用请求A_i提交到数据中心的后台服务器运行时，在t时刻为满足其性能约束的资源需求可以描述为：R(A_i，t)＝(cpu_i，mem_i，disk_i，net_i，t)，cpu_i，mem_i，disk_i和net_i分别表示对处理器、内存、I/O和网络的资源需求。

数据中心能源消耗：主要包含服务器运行的能源消耗和开关机所造成的能耗。服务器运行的能源消耗又可以划分为：动态能源消耗E_d和静态能源消耗E_c，其中动态能源消耗E_d是整体能量开销主要部分，静态能源消耗E_c伴随着服务器启动就一直存在。DVFS技术通过调整CPU的电压值和频率值来动态调整服务器处理器的动态能量部分E_d。处理器功率P_d与执行电压v和频率f存在如下函数关系：P_d＝k·v²·f，其中k是一个与具体硬件相关的定值。那么动态能量开销E_d＝P_d·Δt，其中Δt为执行时间。数据中心环境下的所有服务器都可以工作在频率集合F＝[f_min，f_max]和电压集合V＝[V_min，V_max]。为了节省能耗，本发明设定处理器在空闲时间能自动将频率和电压值调整是其最低值，即f_min和v_min。机器开机过程所需要的能源消耗是频率和电压最大状态的能源消耗Q＝k·f_max·v_max ²·Δt。数据中心在时间间隔T内的能源消耗可以表示为

$\underset{t=1}{\overset{T}{\mathrm{\Σ}}}\{\underset{i=1}{\overset{m_t}{\mathrm{\Σ}}}(E_c+E_{\mathrm{di}})+Q\·{[m_t-m_{t-1}]}^{+}\}---\left(1\right)$

其中，m_t表示t时刻数据中心所开启的机器数量，当x≥0时，x⁺＝x，其他情况x⁺＝0。

主要评价指标：能耗驱动的应用请求融合调度和资源动态配置策略的主要目标在于最小化数据中心的能源消耗的同时，减少动态开关机的数量。相应的评价指标有：能源消耗如(1)式，开关机数量定义如下：

开关机数量：

$\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{[m_t-m_{t-1}]}^{+}---\left(2\right)$

数据中心环境下应用请求融合调度模型：

数据中心所运营的用户应用请求在资源需求和性能约束等方面存在巨大的异构性。文献(Q.Zhu，J.Zhu，and G.Agrawal，“Power-aware consolidationof scientific workflows in virtualized environments，”in Proceedingsof the 2010ACM/IEEE International Conference for High PerformanceComputing，Networking，Storage and Analysis.IEEE Computer Society，2010，pp.1-12)通过大规模实验验证具有相似资源需求的应用请求融合执行，对性能和能耗影响较大。因此，本发明设计类型感知的应用请求融合算法，即具有相似资源需求的应用请求避免调度到同一台物理机器执行。类型感知的应用融合调度问题可以建模为在线有色装箱问题(Online Coloring Bin Packing，OCBP)。箱子B_i的大小代表服务器的可用资源，物品a_i的大小代表应用请求的资源需求。文献(D.Johnson，“Near optimal bin packing algorithm，”Ph.D.dissertation，MIT，1973)指出OCBP是NP-Hard问题。本发明将计算密集型、内存密集型、I/O密集型和网络密集型的应用请求标记为不同的颜色。假设在一定时间间隔内的，相同类型的应用请求数量的上限设为η。OCBP问题可以描述为：

输入：物品序列a₁，a₂，...，a_i，a_n，每个物品的大小S(a_i)≤1，每个物品具有一个颜色c_i，相同颜色的物品上线设为η。

输出：在所有时刻所用的箱子总数最少，并满足以下约束条件：

(1)每个物品都装入箱子并且没有超过箱子的容量

(2)物品的装入必须满足其到达顺序(即物品a_i必须在a_j之前被装入，其中i＜j)，且没有相同颜色的物品被装入同一个箱子。

OCFF算法：

因OCBP问题是NP-Hard问题及启发式算法具有简单实用的特性，本发明基于首次适应算法(即OCFF算法)设计了新的算法，具体流程如下(本发明中的步骤5至9就是利用了该原理)：

步骤1：初始化箱子数目n＝1。

步骤2：读入当前物品队列中的就绪物品。

步骤3：根据当前就绪物品的大小和颜色，选择箱子队列中第一个可以装下该物品的箱子装下。

步骤4：如果当前就绪箱子不能够装下当前物品，则判断一个周期后是否有箱子可以装下当前物品。

步骤5：如下个周期仍不能装下当前物品，则创建新的箱子装下该物品

步骤6：箱子数目更新为n＝n+1

步骤7：回到步骤2，重新读入就绪物品。

另外，本发明设计了PBN算法，具体如下：

数据中心所处理的应用请求数量有周期性的特点。当前时刻的应用请求数量和前几天同一时刻的应用请求数量相似。通过对历史数据的建模分析，低负载情况下动态配置资源可以降低大量能源消耗。因此，本发明利用贝叶斯理论，对历史数据建模用以预测未来的应用请求数量。一个贝叶斯网络可以看做是一个包含历史记录的概率网络，它表示出了在一个有向无环图(DAG)中变量间的条件依赖关系。DAG中的节点代表随机变量，连接两个节点的边代表节点间条件概率。因为两个节点是有依赖关系的，已知其中一个节点的值可以提供另一个节点出现的概率。利用此贝叶斯网络，动态调整数据中心的资源配置。

建立贝叶斯网络主要通过结构模拟和参数学习两个阶段。结构模拟主要通过历史数据之间的先后关系，利用d-separation方法生成有向无环图，文献“D.Geiger and J.Pearl，“Logical and algorithmic properties of conditional independenceand graphical models，”The Annals of Statistics，1993，pp.2001-2021”给出了该方法的具体步骤，并指出d-separation方法可以分析出历史数据中的所有依赖关系。参数学习主要是对结构模拟所建立的有向无环图分析条件概率。本发明采用最大似然估计法(请参考Johansen，S.and Juselius，K.”Maximum likelihood estimation andinference on cointegration-with applications to the demand for money”，Oxford Bulletin ofEconomics and statistics，52(2)，1990：pp169-210)进行参数学习，即在贝叶斯网络中，变量x_i和它的父节点p_i的关系可以用下式计算：

其中N_km表示从父节点p_i到当前子节点x_i的应用请求数量，N_m表示当前父节点p_i的应用请求总数。通过结构模拟和参数学习两个阶段将建立一个用于预测应用请求负载的预测模型，通过迭代式搜索的方法寻找最小化数据中心能源消耗的资源配置方案。

本发明设计的PBN算法的流程如下：

步骤1：根据历史数据利用d-separation算法构建有向无环图。

步骤2：利用最大似然估计方法计算节点之间的条件概率，建立贝叶斯网络

步骤3：根据贝叶斯网络动态预测下一个时间片内的应用请求负载数量

步骤4：利用函数式优化方法预测下一个时间片所需要的机器数量

步骤5：通过迭代式搜索，判断最小化数据中心能源消耗的资源配置方案；

数据中心能耗管理系统框架：

如图1所示，本发明设计的数据中心能耗管理系统框架主要包含两部分：(1)作业调度组件(Job Dispatcher)：主要用于接收应用请求，然后利用OCFF算法将应用请求调度到相应的虚拟机；(2)资源控制配置组件(ResourceController)：主要利用PBN算法预测下一个时间间隔的应用请求数量，满足应用请求资源需求的前提下，动态配置数据中心开启的机器数量和每台机器的运行频率，以达到降低数据中心能源消耗的目标。

与文献(Oh，F.Y.K.and Kim，H.S.and Eom，H.and Yeom，H.Y.“Enablingconsolidation and scaling down to provide power management for cloud computing”in Proceedings of the 3rd USENIX conference on Hot topics in cloud computing，2011，pp.14-18)提出的离线装箱装箱算法FFD相比，本发明所设计的OCFF算法和PBN算法(标识为Hybrid(本发明设计了OCFF和PBN这两个算法，两个算法合起来被称为Hybrid？))能够降低数据中心的能源消耗，并且能够降低在一段时间间隔内开关机的数量。

实验的设置如下：数据中心仿真实验环境设置为同构的服务器。每台服务器都可以支持虚拟化和动态电压频率调整技术。实验输入的应用请求为美国国家宇航局网站一个时间周期内所处理的用户请求数量。假设电力开销为1元/千瓦时，一次开关机所需要的能耗开销为巅峰能源消耗。数据中心服务器的处理器能耗开销如表1所示，其它组件的能耗开销为28W。

表1

下面通过实验数据来说明数据中心环境下能耗驱动的应用请求融合调度算法的性能。

图2表明，本发明利用贝叶斯网络设计的应用请求预测算法可以基本模拟出一天内应用请求的变化规律。预测失效率定义为：(预测结果-真实数值)/真实数值。本发明的预测失效率为0.43％。造成这种偏差的主要原因是突发的用户请求。

图3表明，本发明所设计的Hybrid算法的能源消耗接近文献(Oh，F.Y.K.andKim，H.S.and Eom，H.and Yeom，H.Y.“Enabling consolidation and scaling down toprovide power management for cloud computing”in Proceedings of the 3rd USENIXconference on Hot topics in cloud computing，2011，pp.14-18)所提出的离线近似最优算法FFD。24小时仅比离线最优算法带来多于13.7％的运营开销和12.12％的能源消耗。离线近似最优算法是建立在应用请求已知的前提下，根据应用请求的资源需求进行排序，按照优先级依次装箱，装箱结果接近理论最优解。

图4表明本发明所设计的策略在一个时间周期内，尽量避免频繁的开关机。为降低数据中心的能源消耗，首先将空闲机器调制最低能耗状态。然后根据应用请求数量的动态变化，均衡机器低能耗状态运行和开关机的能源消耗。本发明一个周期内开关机数量为241，FFD算法开关机数量为862。本发明和离线最优算法相比，能够降低可靠性开销。

本发明方法的实施例如下：

本发明方法的实施步骤如图6所示。本发明可以应用于当前支持虚拟化技术和动态电压频率调整的数据中心环境中，每一台服务器通过利用虚拟化技术可以支持多台虚拟机，并且服务器可以通过动态调整频率以达到降低能耗的目的。假设数据中心收到一个(T₀，T₁，T₂，T₃，T₄，T₅，T₆)的应用请求序列，表2描述了每个任务的资源需求和数据处理任务执行时间。图5描绘了利用本发明方法针对表2的应用请求的融合调度实例，得到的融合调度方案为{(T₀，T₂，T₅)→(M₁)，(T₁，T₃，T₄)→(M₂)，(T₆)→(M₃)}。

Task	CPU	Mem	Disk	Net
					0	70％	15％	3％	7％
1	11％	48％	1％	9％
					2	31％	66％	17％	20％
3	87％	31％	6％	1％
					4	3％	14％	19％	7％
5	7％	15％	35％	77％
					6	55％	11％	17％	11％

表2

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (6)

1.一种数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于：所述方法根据应用请求四个维度的资源需求进行关系评估，并结合应用请求负载的周期性特点，实现数据中心资源的动态配置；所述四个维度的资源需求是指CPU、内存、存储和网络；

所述方法包括以下步骤：

步骤1：初始化数据中心机器数目；

步骤2：判断当前时间周期是否为小周期，如果是，则转到步骤3，如果否，则等待满足小周期的条件；

步骤3：读入当前应用请求就绪数目；

步骤4：根据所述应用请求的资源需求计算欧氏距离，并标记应用请求的类型；所述步骤4中的欧氏距离为其中x、y分别表示各个维度的资源需求；

步骤5：循环遍历当前数据中心中所有空闲机器，选择符合约束条件的空闲机器，并将应用请求加入到空闲机器的请求队列中；

步骤6：判断应用请求是否调度成功，即判断所述空闲机器是否能处理当前就绪请求，如果是，则返回步骤2，如果否，转入步骤7；

步骤7：开启新机器，更新当前数据中心中的机器数目，累加时间周期；

步骤8：判断当前时间周期是否为大周期，如果是，则执行步骤9，如果否，则返回步骤2；

步骤9：根据数据中心中的应用请求的历史数据利用d-separation算法构建用于应用请求规模评估的有向无环图；

步骤10：利用最大似然估计方法计算所述有向无环图中节点之间的条件概率值，建立贝叶斯网络；

步骤11：根据贝叶斯网络计算下一个大周期内的应用请求的数量；

步骤12：选取使能源消耗最小化的机器数目；

步骤13：动态配置数据中心中的开启机器的数目，然后返回步骤2；

所述步骤2中的小周期为10分钟；所述步骤8中的大周期为60分钟；所述步骤7中的累加时间周期是指对小周期进行累加，当小周期的数量是6的整数倍时，就成为大周期。

2.根据权利要求1所述的数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于：所述步骤4中的应用请求的类型包括计算密集型、内存密集型、网络密集型和I/O密集型。

3.根据权利要求2所述的数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于：所述步骤5中符合约束条件是指剩余资源满足需求和满足应用请求关系。

4.根据权利要求3所述的数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于：所述步骤7中的更新当前数据中心中的机器数目是这样实现的：将当前机器数目加1。

5.根据权利要求4所述的数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于：所述步骤12是这样实现的：数据中心在时间间隔T内的能源消耗表示为式(1)：

$\underset{t=1}{\overset{T}{\Σ}}\{\underset{i=1}{\overset{m_t}{\Σ}}(E_c+E_{di})+Q\·{\[m_t-m_{t-1}\]}^{+}\}---\left(1\right)$

其中，m_t表示t时刻数据中心所开启的机器数量，当x≥0时，x⁺＝x，其他情况x⁺＝0；T表示时间周期，Ec表示CPU空闲时能源消耗，Edi表示当前频率下CPU的动态能源消耗，Q表示CPU频率切换所需要的电压；

根据预测的下一个时间段的应用请求负载，从当前数据中心中的机器数目迭代式搜索到处理预测应用请求的机器数目，并选取其中使(1)式最小的机器数目。

6.根据权利要求5所述的数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于：所述步骤13中的动态配置数据中心中的开启机器的数目是这样实现的：

根据步骤12得到的机器数目，选择开机或关机操作。