CN110262880B - 一种面向分布式数据中心能耗开销优化的作业调度方法 - Google Patents

Abstract

本发明公开了一种分布式数据中心中面向能耗开销优化的作业调度方法，该方法利用随机优化理论，充分考虑了系统的动态性以及不确定性，包括用户作业到达、后台处理效率、数据动态性、能耗开销等。基于随机优化理论，本发明充分挖掘了系统效率在分布式环境下地理及时间上的多样性和动态性，通过提出的作业调度方法，实现时间平均的系统能耗开销最小化。最重要的是，本发明中提出的作业调度策略的确定，并不需要对系统的动态性和不确定性因素进行预测，只需要实时测量当前的系统状态参数，包括业务到达量、后台队列长度、能耗开销权重。该方法通过控制参数能够实现系统开销最小化和业务处理延迟的权衡。

Description

一种面向分布式数据中心能耗开销优化的作业调度方法

技术领域

本发明属于数据中心节能技术领域，具体涉及一种面向分布式数据中心能耗优化的任务调度方法。

背景技术

越来越普及的网络应用和云服务已经成为人类生活中不可或缺的组成，典型的应用包括社交网络，内容分发网络，在线搜索，在线游戏等等。为了满足日益增长的用户需求并提供可靠服务，服务提供商往往将其服务器部署于地理分布的大规模计算设施上。这些计算设施通常由多个位于不同位置、由互联网连接的数据中心构成，每个数据中心包含了大量的服务器设备。

尽管数据中心基础设施为相关系统和服务的运行提供了极大优势，伴随而来的是用于驱动大量的服务器设备、存储设备、网络设备、制冷设备等的巨大电能消耗。大量的电能消耗需要数据中心的持有者或者服务提供商支付高额的费用。据调查发现电费开销在整个数据中心系统开销中占有极高的比例。因此，即使很小比例的能耗节省也能带来非常可观的成本降低。另外，巨大的能耗同时为间接的造成环境污染的问题。2008年全球数据中心的碳排放约占总量的0.6％，而这个比例在2020年预计将达到2.6％。因此，如何有效地减小数据中心的能耗以及相应的成本引起了研究人员的高度关注。

实现数据中心能耗优化的一种有效方法是结合位于不同地理位置的数据中心的本地能量效率、电价、电能使用率等多样性特征，将用户作业请求以一种最优的方式映射到不同的数据中心来执行。已有解决方法中，大多数的经典方法基于确定的系统状态信息或者可预测的系统参数，这与真实数据中心中系统状态的随机性以及潜在的不可预测性并不符合。另外，在近期的一些研究工作中，一些解决方法基于随机优化方法考虑了系统中的一些不确定性，但在于请求作业相关的数据分布方面都基于默认的假设，即数据在所有分布式数据中心中都存在完整副本。这种假设与真实分布式数据中心中数据的存储方式严重不符，同时忽略了数据的动态性。相应地，这些已有的解决方法无法适用于分布式数据中心系统中数据不确定性的作业。

分布式数据中心中数据的动态性主要体现在以下两个方面：

第一，数据放置动态性。考虑到数据存储的高额代价及数据库管理的复杂性，数据库中的数据通常情况下不会在所有后台数据中心中进行完全备份。在很多实际系统中，每个数据块动态的产生，并且只有在部分后台数据中心进行备份。

第二，数据访问动态性。在很多数据动态的系统中，远程数据的访问通常需要从一个或多个分布式数据中心服务器来请求相应的服务。远程的数据访问造成了系统的服务率和响应时间的极大不确定性。

因此，上述的数据动态性而对于前端的作业服务器而言，准确的识别每个作业的具体操作并预测其所需数据的分布面临极大的困难。

发明内容

本发明的目的在于解决上述问题，在各种系统不确定性特别是数据不确定性场景下，通过将用户作业请求以一种最优的方式映射到不同的数据中心来执行，实现能耗的降低的问题。

本发明采用如下技术方案实现：

一种面向分布式数据中心能耗开销优化的作业调度方法，每个前端服务器的作业分配方法以时间t为间隔，周期性的进行决策操作，作为任意前端服务器F_i，其实施作业调度方法以下步骤：

步骤1、在分布式数据中心初始化时隙，每个前端服务器随机将到达的作业请求发送至后台数据中心进行处理；

步骤2、前端服务器F_i在每个时隙t收集用户随机发送的作业请求，该时隙到达前端服务器的作业请求数量，记为J_i(t)；

步骤3、统计当前时隙t所有后台服务器中积累的未处理作业的队列长度，任意数据中心D_i当前时隙t的队列长度为U_i(t)；

步骤4、后台系统的运行参数查询，任意数据中心D_i当前时隙t的PUE记为PUE_i(t)，能耗权重为ω_i(t)；

步骤5、作业调度最优方案确定，根据上述三步中收集到的系统状态参数，这些参数包括每个后台数据中心当前时隙t的PUE和能耗权重，求解下述的线性规划问题获得作业调度方案；

s.t.0≤j_ij(t)≤J_i(t)

K：控制参数，实现系统能耗开销与平局队列长度的权衡

f(t):数据中心的能耗开销

U_j(t)：数据中心D_i当前时隙t的队列长度为

A_j(t)：所有前端服务器分配给该数据中心作业的总和

j_ij(t)：分配给D_j的作业数量

J_i(t)：当前时隙t的前端服务器的作业请求数量

步骤6、作业发送和执行，根据第5步优化问题求解所获得的分配方案，将相应数量的作业请求发送至后台数据中心；

步骤7、后台系统队列更新，所有后台数据中心处理前端服务器发送来的作业请求，并实时更新相应的队列长度。

分布式数据中心包含了M个前端服务器(记为F＝{F₁,F₂,...,F_M})，和N个后台数据中心(记为D＝{D₁,D₂,...,D_N})，M和N的数量都大于1，前端服务器收集用户作业请求，并将这些作业请求分配到合适的后台数据中心进行处理；后端处理服务器处理分配作业，并且每个后端数据中心包含处理服务器和数据库服务器两个子模块，数据库服务器存储动态的相关数据，并支持作业处理相关的数据操作。

步骤5中的所有数据中心的能耗开销f(t)，可计算为

任意数据中心D_j在时隙t的能耗开销f_j(t)，可计算为f_j(t)＝ω_j(t)P_j(t)，数据中心D_j在时隙t的总能耗P_j(t)，可计算为:

其中PUE_j是数据中心D_j的PUE，

是数据中心D_j时隙t的IT设备的电能消耗，可计算如下：

其中，

和

分别表示数据中心D_j在CPU在空载和满载时的电量消耗，θ_j表示数据中心D_j中处理每个用户作业所需的CPU占用率。

步骤5中的控制参数K，用于实现系统能耗开销与平局队列长度的权衡。参数K能够有效地实现系统能耗开销和作业处理延迟的权衡。

步骤5中线性规划问题求解，可通过单纯形法，大M法，内点法获得该问题的最优解。

与现有技术相比，本发明至少具有以下有益的技术效果。首先，作业调度方案采用的是贪婪的决策方法，不需要对系统的随机状态参数进行预测。其次，理论和实验结果表明，控制参数K的增大可使得系统的时间平均能耗开销无限制的接近最优值；同时，参数K的增大反过来导致系统平均队列长度增大，进而增大作业处理的延迟。因此，通过参数K的选择可以使系统能耗开销达到期望的性能并同时实现与平均队列长度(也就是处理时延)的平衡。

附图说明

图1为本发明针对的分布式数据中心系统的运行结构示意图。

图2为本发明中分布式作业请求和调度的模型图。

具体实施方式

下面结合上述的发明内容详细说明本发明中作业调度方法的具体实施方式。在本发明的描述中，需要理解的是除非另有说明，“多个”的含义是两个或两个以上。

分布式作业处理系统具体的作业调度由所有前端的服务器执行，且以时间t为间隔，周期性的进行操作。在初始时刻(也就是t＝0时)，所有前端服务器将达到的作业请求随机的分配给所有的后端数据中心进行处理，之后任意前端服务器F_i进行作业调度。本方法针对的是如图1所示的分布式数据中心系统。这个系统的架构包括两个主要模块，分别是前端服务器(Front-end Servers)和后端用于处理用户作业的服务器系统(Back-endsystem)。其中，前端服务器包含多个，负责收集用户的作业请求(Job Request)，并将这些作业请求分配(Dispath)到合适的后台数据中心进行处理；后端的处理服务器由多个地理分布的数据中心，而服务提供者将自己的服务应用部署运行在所有的数据中心上。负责处理分配作业，每个后端数据中心包含两个子模块，分别是处理服务器(ProcessingServers)和数据库服务器(Database Servers)，其中数据库服务器用于存储动态的相关数据，并支持作业处理相关的数据操作。

本发明中提出的面向数据中心能耗优化的作业调度方法，以时隙t为时间尺度周期性地进行作业的分配和调度，每个时隙t前端服务器采用的作业调度方法。具体的发明内容以下：

第一，系统运行模型及参数计算方法

本发明中提出的方法需要对系统运行过程中参数进行模型和计算，主要包括作业请求到达和分配模型、系统服务模型、动态队列模型、以及能耗模型。下面结合图2中的模型图示，详细介绍这些模型的具体定义和计算方法。

1、作业请求到达和分配模型及计算方法

本发明中假设每个时隙用户所有的作业任务都随机到达前端服务器，且满足独立同分布。记时隙t到达前端服务器F_i的作业请求数量为J_i(t)。当用户的作业请求到达每个前端服务器之后，作业分配调度模块决定如何将这些达到的作业请求分配到后台的数据中心进行处理。为了对此决策过程进行建模，我们将前端服务器F_i在时隙t分配给后台数据中心D_j的作业请求的比例记为α_ij(t)，相应的可以计算分配给D_j的作业数量(记为j_ij(t))为j_ij(t)＝α_ij(t)×J_i(t)。α_ij(t)和j_ij(t)在逻辑上是等效的。对于任意前端服务器F_i，在任意时隙t，其分配作业请求需满足下面两个限制条件：

上述两个限制条件表明，每个前端服务器在任意时隙t到达的作业请求都会立即被分配到后台数据中心进行处理；同时，j_ij(t)＝0表明前端服务器F_i在时隙t分配给后台数据中心D_j的作业请求数量为0。

在上述的分配模型下，在任意时隙t，到达任意后台数据中心D_j的作业总数(记为A_ij(t))可计算为所有前端服务器分配给该数据中心作业的总和，即

2、系统服务模型及计算方法

后台数据中心的服务率定义为该数据中心在一个时隙内能够处理的作业数。除了后台数据中心各自不同的处理能力以外，影响每个后台数据中心服务率的另一个关键因素是数据的动态性，包括动态的数据更新、数据的分布放置、目标数据服务器的实时负载及效率，以及随机的端到端网络延迟。这些随机因素极大影响了远程数据访问和响应延迟。由于动态数据的复杂性，每个后台数据中心的服务率是一个随机数，且难于准确预测。因此，本发明中将数据中心D_j的服务率表示为一个随机变量r_j(t)，其满足0≤r_j(t)≤C_j，其中C_j为该数据中心每个时隙能够处理用户作业请求的上限，也就是当用户作业所需数据全部保存于本地数据库时该数据中心能够处理的峰值业务数。

3、动态队列模型及计算方法

每个后台数据中心的服务引擎可以被建模为一个动态队列，也就是说每个后台数据中心维护了动态队列用于存储没有被处理的作业请求。记后台数据中心D_j在时隙t的队列长度为U_j(t)。基于上述的作业到达及服务率模型，数据中心D_j的队列动态变化可表示为下面的等式：U_j(t+1)＝max[U_j(t)-r_j(t),0]+A_j(t)，其中，U_j(t+1)表示t+1时隙开始时数据中心D_j的队列长度。

为了保证系统的队列稳定性，所有后台数据中心的队列需要满足下面的条件：

其中，

表示所有后台数据中心的时间平均队列长度。

4、能耗模型及计算方法

所有后台数据中心的能耗代价与每个数据中心的能耗以及该数据中心所处地理位置的能耗代价权重有关。

首先，数据中心能量消耗计算。对于任意数据中心其能耗与该数据中心内IT设备的能耗值及该数据中心的PUE值有关。其中，IT设备的能耗是业务负载的函数，具体来说负载越高能耗越大。在本发明中，数据中心D_j在时隙t的IT设备的电能消耗(记为

)可计算如下：

其中，

和

分别表示数据中心D_j在CPU在空载和满载时的电量消耗，θ_j表示数据中心D_j中处理每个用户作业所需的CPU占用率。

PUE是表示数据中心能耗效率的参数比例，其计算为数据中心的总能耗和IT设备能耗之比。事实上，不同数据中心的PUE差别极大，这与具体数据中心的硬件配置、使用效率、使用年限、地理位置等有关。记数据中心D_j的PUE为PUE_j。因此，数据中心D_j在任意时隙t的总能耗，记为P_j(t)，可计算为:

其次，数据中心能耗开销计算。

能量的消耗相应伴随着系统的开销。一方面，电能的生产过程会产生环境的污染和碳排放。另一方面，服务提供商(或者系统持有者)需要为电能的消耗支出费用。这些都可以作为能耗的开销进行优化。在实际环境中，不同数据中心每消耗一度电所需的开销随着时间和数据中心的位置也不断变化。从环境的角度，不同地区的电能产生基于不同的能源类型，不同的能源组合的碳排放和环境污染程度也不同。

为了对此能耗开销的地理和时间多样性进行建模，本发明中将每个时隙电能消耗的开销表示为一个与具体数据中心和时间有关的权重变量。记数据中心D_j在时隙t的能耗开销权重为ω_j(t)。ω_j(t)的具体取值与系统的实际需求有关。基于上述的能耗开销权重，数据中心D_j在时隙t的能耗开销，记为f_j(t)，可计算为f_j(t)＝ω_j(t)P_j(t)。从而，整个分布式数据中心系统在时隙t的能耗开销，记为f(t)，可计算为

第二，面向能效优化的任务调度问题定义

本发明的目标是通过用户作业请求的动态分配实现整个分布式数据中心系统的能耗开销最小化，并维护系统的稳定性。基于上述系统运行模型及参数的计算方法，本发明中将用户作业请求的分配方法定义为一个优化问题。如下所示，该优化问题通过对用户作业请求的合理分配，在作业请求及队列稳定性的限制条件下，实现最小化系统的时间平均能耗开销的目标。

第三，问题求解及作业调度方法实施

本发明中对上述问题的求解基于李雅普诺夫优化框架，其思路是首先测量当前后台数据中心系统的队列长度，然后前端度服务器基于队列状态实施贪婪的作业调度决策来最小化每个时隙的李亚普洛夫偏置惩罚函数。具体的作业调度实施过程是每个前端服务器F_i在每个时隙t执行下述的作业调度操作：

第一步：作业请求到达及系统实时状态参数查询。首先统计前端服务到达的作业请求数量J_i(t)；然后查询所有后台数据中心当前的系统参数，以后台数据中心D_j为例，其系统状态参数包括队列长度U_i(t)，能耗开销权重ω_j(t)，PUE值PUE_j。

第二步：作业调度方案。对于前端服务器到达的J_i(t)个作业请求，通过求解下述的线性规划问题获得作业调度方案。

s.t.0≤j_ij(t)≤J_i(t)

系统参数的计算见上述的系统运行模型及参数计算方法。

第四步：作业分配。根据第二步的求解的调度方案，将相应数量的作业分配到不同的后台数据中心执行。

第五步：每个后台数据中心，根据每个时隙的作业到达和完成情况，更新队列长度。

上述5步用于用户作业调度的方案由每个前端服务器以时间t为周期进行操作。

Claims (5)

1.一种面向分布式数据中心能耗开销优化的作业调度方法，其特征在于：每个前端服务器的作业分配方法以时间t为间隔，周期性的进行决策操作，作为任意前端服务器F_i，其实施作业调度方法以下步骤：

步骤1、在分布式数据中心初始化时隙，每个前端服务器随机将到达的作业请求发送至后台数据中心进行处理；

步骤2、前端服务器F_i在每个时隙t收集用户随机发送的作业请求，该时隙到达前端服务器的作业请求数量，记为J_i(t)；

步骤3、统计当前时隙t所有后台服务器中积累的未处理作业的队列长度，任意数据中心D_i当前时隙t的队列长度为U_i(t)；

步骤4、后台系统的运行参数查询，任意数据中心D_i当前时隙t的数据中心的能效指标PUE(Power Usage Effectiveness)记为PUE_i(t)，能耗权重为ω_i(t)；

步骤5、作业调度最优方案确定，根据上述步骤2、步骤3和步骤4中收集到的系统状态参数，这些参数包括每个后台数据中心当前时隙t的PUE和能耗权重，求解下述的线性规划问题获得作业调度方案；

s.t.0≤j_ij(t)≤J_i(t)

K：控制参数，实现系统能耗开销与平局队列长度的权衡

f(t):数据中心的能耗开销，即电量与电价的乘积

U_j(t)：数据中心D_i当前时隙t的队列长度

A_j(t)：所有前端服务器分配给该数据中心作业的总和

j_ij(t)：分配给D_j的作业数量

J_i(t)：当前时隙t的前端服务器的作业请求数量

N：后台数据中心的数量

步骤6、作业发送和执行，根据第5步优化问题求解所获得的分配方案，将相应数量的作业请求发送至后台数据中心；

步骤7、后台系统队列更新，所有后台数据中心处理前端服务器发送来的作业请求，并实时更新相应的队列长度。

2.根据权利要求1所述的一种面向分布式数据中心能耗开销优化的作业调度方法，其特征在于分布式数据中心包含了M个前端服务器(记为F＝{F₁,F₂,...,F_M})，和N个后台数据中心(记为D＝{D₁,D₂,...,D_N})，M和N的数量都大于1，前端服务器收集用户作业请求，并将这些作业请求分配到合适的后台数据中心进行处理；后端处理服务器处理分配作业，并且每个后端数据中心包含处理服务器和数据库服务器两个子模块，数据库服务器存储动态的相关数据，并支持作业处理相关的数据操作。

3.根据权利要求1所述的一种面向分布式数据中心能耗开销优化的作业调度方法，其特征在于，步骤5中的所有数据中心的能耗开销f(t)，可计算为

任意数据中心D_j在时隙t的能耗开销f_j(t)，可计算为f_j(t)＝ω_j(t)P_j(t)，数据中心D_j在时隙t的总能耗P_j(t)，可计算为:

其中PUE_j是数据中心D_j的PUE，

是数据中心D_j时隙t的IT设备的电能消耗，可计算如下：

其中，

和

分别表示数据中心D_j在CPU在空载和满载时的电量消耗，θ_j表示数据中心D_j中处理每个用户作业所需的CPU占用率。

4.根据权利要求1所述的一种面向分布式数据中心能耗开销优化的作业调度方法，其特征在于，步骤5中的控制参数K，用于实现系统能耗开销与平局队列长度的权衡，参数K能够有效地实现系统能耗开销和作业处理延迟的权衡。

5.根据权利要求1所述的一种面向分布式数据中心能耗开销优化的作业调度方法，其特征在于，步骤5中线性规划问题求解，可通过单纯形法，大M法，内点法获得该问题的最优解。

Images