CN102902878B - 一种能源成本感知调度方法 - Google Patents

Abstract

本发明提供一种能源成本感知调度方法，包括以下步骤：建立能源成本感知调度模型；获取作业J启动运行的时间范围；选择能源成本最低的启动时间和节点列表；判断是否能够找到能源成本最低的启动时间和节点列表，若是则执行下一步，若否则表明在作业J的最后完成期限之前找不到足够的资源启动运行作业；所述作业J从能源成本最低的启动时间开始在节点列表运行。本发明能源成本感知调度方法从时间和空间两个维度减少异构集群计算的能源成本；在系统利用率为9.5%的时候，能够减少72.5%的能源成本；该发明能够减少系统利用率的波动，从而减少节点启动的次数；能源感知调度算法对作业调度有促进作用。

Description

一种能源成本感知调度方法

技术领域

本发明涉及调度方法，具体涉及一种能源成本感知调度方法。

背景技术

能耗是制约高性能计算机系统扩展和应用推广的重要瓶颈，而作业调度系统是高性能计算机系统基础的应用管理软件，其功能与性能直接关系到整个计算机系统的效率以及能耗。作业调度系统也成作业管理系统，管理集群计算资源和作业。旧的作业调度软件更多关注的是计算机系统的效率而忽视其能耗成本。作业调度系统中，作业管理由资源管理器、队列管理器和调度器组成，资源管理器管理集群的硬件资源及认证信息等，队列管理器管理当前所有已提交但还未完成的作业，调度器为作业分配资源。

高性能计算机领域往往更注重计算机系统的效率，势必对能耗成本有所忽略。

发明内容

为了克服上述现有技术的不足，本发明提供一种能源成本感知调度方法，从时间和空间两个维度减少异构集群计算的能源成本，促进作业调度。

为了实现上述发明目的，本发明采取如下技术方案：

一种能源成本感知调度方法，所述方法包括以下步骤：

步骤1：建立能源成本感知调度模型；

步骤2：获取作业J启动运行的时间范围；

步骤3：选择能源成本最低的启动时间和节点列表；

步骤4：判断是否能够找到能源成本最低的启动时间和节点列表，若是则执行下一步，若否则表明在作业J的最后完成期限之前找不到足够的资源启动运行作业；

步骤5：所述作业J从能源成本最低的启动时间开始在节点列表运行。

所述步骤1中，建立能源成本感知调度模型过程如下：

假设作业J在节点N1和节点N2上运行，所述节点N1和节点N2的性能功耗比平均值表示为所述节点N1和节点N2的总功率表示为P，运行期间，t1时间段的电价为p1，t2时间段的电价为p2，作业J的计算量表示为c，作业J的性能表示为s，于是

$s=\frac{c}{t1+t2}---\left(1\right)$

$\stackrel{\‾}{PPW}=\frac{s}{P}=\frac{c}{(t1+t2)*P}---\left(2\right)$

由公式(2)得到所述节点N1和N2的总功率P为

$P=\frac{c}{(t1+t2)*\stackrel{\‾}{PPW}}---\left(3\right)$

那么作业J的能源成本Cost为

Cost＝P*t1*p1+P*t2*p2 (4)

由公式(3)和(4)得

$Cost=\frac{c*(t1*p1+t2*p2)}{\stackrel{\‾}{PPW}*(t1+t2)}---\left(5\right)$

记在时间t1+t2内加权的能源价格平均值为

$\stackrel{\‾}{p}=\frac{t1*p1+t2*p2}{t1+t2}---\left(6\right)$

那么由公式(5)和(6)得

$Cost=\frac{c*\stackrel{\‾}{p}}{\stackrel{\‾}{PPW}}---\left(7\right).$

所述步骤2包括以下步骤：

步骤2-1：遍历集群的资源预留时间表，计算集群将来不同时间段满足作业J要求的空闲节点数量；

步骤2-2：合并能够运行作业J的时间范围；

步骤2-3：减去作业J的估计运行时间得到作业J启动运行的时间范围。

所述步骤3中，从作业J的启动运行时间范围中选择能源成本最低的启动时间和节点列表，在启动时间范围内每隔一个小时间段计算一次作业运行的能源成本，比较每个时刻的能源成本并选出成本最低的时间段和节点；每个时刻的能源成本由公式(7)得到，具体包括以下步骤：

步骤3-1：获得作业J在该时刻的最佳节点列表，以及节点的平均性能功耗比；

步骤3-2：计算以该时刻作为开始时刻，在作业J估计运行时间长度内能源价格的平均值；

步骤3-3：得到该时刻的能源成本。

所述步骤4中，若不能找到能源成本最低的启动时间和节点列表，则表明在作业的最后完成期限之前找不到足够的资源启动运行作业，于是用户在提交作业时指定作业在最后期限之前不能完成的处理方式。所述处理方式包括软最后期限处理方式和硬最后期限处理方式。

所述软最后期限处理方式中，最后期限只供作业调度系统参考，用于优化集群的性能，超过期限后，则把作业当作普通的没有最后期限的作业对待。

所述硬最后期限中，超出最后期限后挂起或者删除作业。

与现有技术相比，本发明的有益效果在于：

1.能源成本感知调度方法从时间和空间两个维度减少异构集群计算的能源成本；

2.在系统利用率为9.5％的时候，能够减少72.5％的能源成本；

3.该发明能够减少系统利用率的波动，从而减少节点启动的次数；

4.节点的启动次数明显减少，节点总启动次数比使用该方法前、平缓参数配置时减少了将近80％，能源感知调度算法对作业调度有促进作用。

附图说明

图1是本发明实施例中作业J启动运行的时间范围示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

一种能源成本感知调度方法，所述方法包括以下步骤：

步骤1：建立能源成本感知调度模型；

步骤2：获取作业J启动运行的时间范围；

步骤3：选择能源成本最低的启动时间和节点列表；

步骤4：判断是否能够找到能源成本最低的启动时间和节点列表，若是则执行下一步，若否则表明在作业J的最后完成期限之前找不到足够的资源启动运行作业；

步骤5：所述作业J从能源成本最低的启动时间开始在节点列表运行。

能源成本感知调度算法ECAS基于两个方面原理：

一、从时间上看，在不同的时间段完成相同的计算量的能源成本是不一样的；首先，不同时间段的电价不一样，例如上海的两部制分时电价计费方式将一天分为三类时间段：峰时段、平时段和谷时段。不同时间段的电价差别非常大，例如夏季峰时段电价为1.232元/千瓦时而谷时段的电价为0.291元/千瓦时；其次，不同时间段室外温度不一样，造成数据中心的冷却成本不一样。

二、从空间上看，在不同性能功耗比的节点上完成相同的计算量的成本也是不一样的，例如双路的Xeon X5670服务器和Xeon 5160服务器的峰值功率都为250W，但是前者性能是后者的5倍，也就是说对于CPU密集型作业，前者只需要后者的1/5时间就能完成，能够节省80％的电能。

所述步骤1中，建立能源成本感知调度模型过程如下：

假设作业J在节点N1和节点N2上运行，所述节点N1和节点N2的性能功耗比平均值表示为(单位为flow/W)，所述节点N1和节点N2的总功率表示为P，运行期间，t1时间段的电价为p1，t2时间段的电价为p2，作业J的计算量表示为c，作业J的性能表示为s，于是

$s=\frac{c}{t1+t2}---\left(1\right)$

$\stackrel{\‾}{PPW}=\frac{s}{P}=\frac{c}{(t1+t2)*P}---\left(2\right)$

由公式(2)得到所述节点N1和N2的总功率P为

$P=\frac{c}{(t1+t2)*\stackrel{\‾}{PPW}}---\left(3\right)$

那么作业J的能源成本Cost为

Cost＝P*t1*p1+P*t2*p2 (4)

由公式(3)和(4)得

$Cost=\frac{c*(t1*p1+t2*p2)}{\stackrel{\‾}{PPW}*(t1+t2)}---\left(5\right)$

记在时间t1+t2内加权的能源价格平均值为

$\stackrel{\‾}{p}=\frac{t1*p1+t2*p2}{t1+t2}---\left(6\right)$

那么由公式(5)和(6)得

$Cost=\frac{c*\stackrel{\‾}{p}}{\stackrel{\‾}{PPW}}---\left(7\right).$

对于同一作业来说，计算量c不变，所以比较在不同的时间以及不同的节点上运行作业的能源成本只需要比较加权的能源价格平均值除以节点的平均能效比的大小。

ECAS算法基于预留回填算法，系统维护一个资源预留时间表，从时间和空间上寻找运行作业能源成本最低的节点和启动时间。算法流程如图1所示。

集群资源预留时间表表示当调用ECAS算法时，集群资源的预留情况。当前时刻为0，集群由4个节点组成，有4个作业的资源预留，其中作业J1和J2正在运行。假设作业J需要2个节点，估计运行时间为1.5T，最后完成期限为8T，那么找出作业可以启动运行的时间范围的流程如下：

步骤2-1：遍历集群的资源预留时间表，计算集群将来不同时间段满足作业J要求的空闲节点数量；空闲节点数量发生变化的时刻位于预留的开始和结束时刻，所以只需要计算每个预留的开始和结束时刻空闲的节点数量即可知道集群将来任意时刻的空闲节点数量。

步骤2-2：合并能够运行作业J的时间范围；

步骤2-3：减去作业J的估计运行时间得到作业J启动运行的时间范围，作业J可以在时间段[0，0.5T)和[3T，6.5T)之间的任意时刻启动。

所述步骤3中，从作业J的启动运行时间范围中选择能源成本最低的启动时间和节点列表，启动时间应该在作业最后完成期限之前，而且位于从第1个启动时间开始的LookForward长度的时间窗口内。用户自己可以设定LookForward的长度，默认是1天，因为电价和作业提交运行过程都是以天为周期的，所以估计从第1个启动时间开始，1天时间内不同时刻的作业启动运行成本，就足够找出最低能源成本的启动时间。在启动时间范围内每隔一个小时间段计算一次作业运行的能源成本，比较每个时刻的能源成本并选出成本最低的时间段和节点。每个时刻的能源成本由公式(7)得到，具体包括以下步骤：

步骤3-1：获得作业J在该时刻的最佳节点列表，以及节点的平均性能功耗比；

步骤3-2：计算以该时刻作为开始时刻，在作业J估计运行时间长度内能源价格的平均值；

步骤3-3：得到该时刻的能源成本。

所述步骤4中，若不能找到能源成本最低的启动时间和节点列表，则表明在作业的最后完成期限之前找不到足够的资源启动运行作业，于是用户在提交作业时指定作业在最后期限之前不能完成的处理方式。所述处理方式包括软最后期限处理方式和硬最后期限处理方式。

所述软最后期限处理方式中，最后期限只供作业调度系统参考，用于优化集群的性能，超过期限后，则把作业当作普通的没有最后期限的作业对待。

所述硬最后期限中，超出最后期限后挂起或者删除作业。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种能源成本感知调度方法，其特征在于：所述方法包括以下步骤：

步骤1：建立能源成本感知调度模型；

步骤2：获取作业J启动运行的时间范围；

步骤3：选择能源成本最低的启动时间和节点列表；

步骤4：判断是否能够找到能源成本最低的启动时间和节点列表，若是则执行下一步，若否则表明在作业J的最后完成期限之前找不到足够的资源启动运行作业；

步骤5：所述作业J从能源成本最低的启动时间开始在节点列表运行；

所述步骤1中，建立能源成本感知调度模型过程如下：

假设作业J在节点N1和节点N2上运行，所述节点N1和节点N2的性能功耗比平均值表示为所述节点N1和节点N2的总功率表示为P，运行期间，t1时间段的电价为p1，t2时间段的电价为p2，作业J的计算量表示为c，作业J的性能表示为s，于是

$s=\frac{c}{t1+t2}---\left(1\right)$

$\stackrel{\‾}{PPW}=\frac{s}{P}=\frac{c}{(t1+t2)*P}---\left(2\right)$

由公式(2)得到所述节点N1和N2的总功率P为

$P=\frac{c}{(t1+t2)*\stackrel{\‾}{PPW}}---\left(3\right)$

那么作业J的能源成本Cost为

Cost＝P*t1*p1+P*t2*p2 (4)

由公式(3)和(4)得

$Cost=\frac{c*(t1*p1+t2*p2)}{\stackrel{\‾}{PPW}*(t1+t2)}---\left(5\right)$

记在时间t1+t2内加权的能源价格平均值为

$\stackrel{\‾}{p}=\frac{t1*p1+t2*p2}{t1+t2}---\left(6\right)$

那么由公式(5)和(6)得

$Cost=\frac{c*\stackrel{\‾}{p}}{\stackrel{\‾}{PPW}}---\left(7\right).$

所述步骤2包括以下步骤：

步骤2-1：遍历集群的资源预留时间表，计算集群将来不同时间段满足作业J要求的空闲节点数量；

步骤2-2：合并能够运行作业J的时间范围；

步骤2-3：减去作业J的估计运行时间得到作业J启动运行的时间范围；

所述步骤3中，从作业J的启动运行时间范围中选择能源成本最低的启动时间和节点列表，在启动时间范围内每隔一个小时间段计算一次作业运行的能源成本，比较每个时刻的能源成本并选出成本最低的时间段和节点，每个时刻的能源成本由公式(7)得到，具体包括以下步骤：

步骤3-1：获得作业J在该时刻的最佳节点列表，以及节点的平均性能功耗比；

步骤3-2：计算以该时刻作为开始时刻，在作业J估计运行时间长度内能源价格的平均值；

步骤3-3：得到该时刻的能源成本。

2.根据权利要求1所述的能源成本感知调度方法，其特征在于：所述步骤4中，若不能找到能源成本最低的启动时间和节点列表，则表明在作业的最后完成期限之前找不到足够的资源启动运行作业，于是用户在提交作业时指定作业在最后期限之前不能完成的处理方式。

3.根据权利要求2所述的能源成本感知调度方法，其特征在于：所述处理方式包括软最后期限处理方式和硬最后期限处理方式。

4.根据权利要求3所述的能源成本感知调度方法，其特征在于：所述软最后期限处理方式中，最后期限只供作业调度系统参考，用于优化集群的性能，超过期限后，则把作业当作普通的没有最后期限的作业对待。

5.根据权利要求3所述的能源成本感知调度方法，其特征在于：所述硬最后期限处理方式中，超出最后期限后挂起或者删除作业。