CN102611622A - 一种弹性云计算平台下工作负载的调度方法 - Google Patents

Abstract

本发明公开了计算机性能优化技术领域，尤其涉及一种弹性云计算平台下工作负载的调度方法。首先初始化虚拟机和任务，根据任务之间的相对负载对虚拟机进行组合；将所有任务的总执行时间平均分成设定个调度阶段，调度系统根据当前任务的工作负载计算出最优的调度策略；然后根据相邻两个调度阶段的任务的工作负载的相似性的大小，对调度阶段进行分割或合并；最后，对分割或合并后的调度阶段序列自适应地调整仿真次数，从而决定下一个调度阶段决策的计算时间直到程序结束。本发明能够合理配置各自适应的多任务负载变化阶段，提升系统整体的调度性能，降低了测试时间。

Description

一种弹性云计算平台下工作负载的调度方法

技术领域

本发明属于计算机性能优化技术领域，尤其涉及一种弹性云计算平台下工作负载的调度方法。

背景技术

弹性(Elasticity)即使用云计算系统中各类资源时的自由伸缩性，是云计算技术中公认的从资源利用角度最重要的特点之一。顾名思义，弹性的主要特征是可大可小、可增可减的利用计算资源。加州大学伯克利分校在2009年发布的云计算技术报告被公认为学术界定义云计算的白皮书，其中对弹性的概念进行了多次论述。弹性的主要目的是用户在选择云计算平台时不必担心资源的过渡供给导致额外的使用开销，亦不必担心资源的供给不足导致应用程序不能很好的运行和满足客户需要，所有资源将以自适应伸缩的方式来提供。这种自适应伸缩性表现在资源的实时、动态和按需供给上，即随着任务负载和用户请求的大小来弹性的调整资源的配置。

从国际最大的公有云计算服务提供商Amazon提供的产品来说，具有核心战略意义的EC2(Elastic Compute Cloud)即以“弹性”二字冠名，其意义是让云计算平台具有充分自如的可升缩性和可扩展性，而EC2正是本文实验采用的计算环境之一。继EC2平台的推出以后，其相继推出了基于云计算的ElasticMapReduce编程模型，Elastic Beanstalk创建可伸缩的应用和Elastic Cache缓存管理接口。可见Elastic对于云计算本身而言不仅是一种特征，也定义了一种趋势，未来对于云计算的理解将会直接和其可伸缩性即弹性衔接起来。

虚拟化技术使得弹性的概念在云计算领域成为必不可少的优势。传统分布式计算中虽然也能在一定程度上通过物理资源的复用重组和调度实现弹性的特征，但是其对于弹性的利用程度远没有虚拟化中所构建的虚拟资源一般灵活。云计算所按需构建任意数量的虚拟机；按需将其配置具有指定大小的物理资源；按需将其调度入资源池由监控器(Hypervisor)进行统一的部署和管理；按需将其撤销以最大化资源的利用；按需将虚拟机迁移到指定的物理设备和虚拟设备之上实现数据的安全和资源的整合。所有这些都给弹性带来了极大的便利与成功，标志了云计算平台的重要特性。

虽然虚拟化能够整合并最大化计算资源的使用，但是如何最有效利用庞大的数据中心所构建的物理资源池便成为弹性云计算平台最为关注的方面之一，也是“弹性”作为重要的科学问题引起学术界和工业界重视的理由。具体而言，弹性问题的解决需要研究如下两个具体方面：

其一，虚拟资源何时供给问题。一般而言，弹性云计算平台的资源供给方式是动态和运行期供给。即随着负载大小变化在不中断所服务的同时动态增加和减少虚拟资源。于是何时供给资源的问题就显得尤为重要，其体现了弹性云计算平台有效性问题。当然本问题受制于云计算本身的特点和负载变化的情况会有不同。

其二，虚拟资源如何供应问题。在每个供给阶段，如何配置和构建合适数量的虚拟机以最大化资源利用率并节省用户的资源使用成本也是关键的研究问题之一。Amazon EC2中提供了用户自定义增减虚拟资源的接口。譬如CPU在过去一段时间如其利用率高于指定阈值则增加指定数量和配置的虚拟机，以此达到弹性的目的。但是对于高效云计算平台来说，用户一般而言是不可也不必直接干预资源本身的，所有与供给相关的任务都应该由云服务提供商来完成。

发明内容

针对上述背景技术中提到云计算系统中虚拟资源不能根据负载自适应调整供给方法等不足，本发明提出了一种弹性云计算平台下工作负载的调度方法。

本发明的技术方案是，一种弹性云计算平台下工作负载的调度方法，其特征是该方法包括以下步骤：

步骤1：初始化虚拟机和任务，根据任务之间的相对负载对虚拟机进行组合；

步骤2：将所有任务的总执行时间平均分成设定个调度阶段，调度系统根据当前任务的工作负载计算出最优的调度策略；

步骤3：若在任一设定个调度阶段内，当任务的工作负载的相似性小于第一设定阈值时，则将该调度阶段等分为两个调度阶段；若等分得到的两个调度阶段中仍然有任务的工作负载的相似性小于第一设定阈值的调度阶段，则继续对调度阶段两等分，直到对调度阶段等分的次数达到设定数量，得到第一调度阶段序列；

步骤4：在步骤3的基础上，若第一调度阶段序列中任意两个相邻的调度阶段的任务的工作负载的相似性大于第二设定阈值，则将当前的两个相邻的调度阶段合为一个调度阶段，若合并后仍然存在任务的工作负载的相似性大于设定的阈值的两个相邻的调度阶段，则继续合并；若合并后得到的调度阶段大于设定长度，则停止合并，得到第二调度阶段序列；

步骤5：对第二调度阶段序列进行自适应地调整仿真次数，执行当前调度阶段的策略，并计算下一阶段的调度策略，直到程序结束。

所述第一设定阈值为多任务负载相似性的下33％分位数。

所述第二设定阈值为多任务负载相似性的上33％分位数。

本发明能够合理配置各自适应的多任务负载变化阶段，从而综合提升系统整体的调度性能，降低了测试时间。

附图说明

图1为物理集群和虚拟集群结构示意图；

图2为弹性云平台下工作负载调度问题的虚拟集群资源分配模型；

图3为调度区间分割图示；

图4为调度区间合并图示；

图5为多任务负载相似性的统计性分布。

具体实施方式

下面结合附图，对优选实施例作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

本发明包括以下步骤：

步骤(1)初始化

设定在云计算平台下进行的实验共有M台虚拟机处理C类任务，每一类任务需要由M台虚拟机中的若干台来共同执行。在此我们将M台虚拟机按任务之间的相对负载大小重新编排组合成C个组，每个组对应与每一类任务，即调度策略(策略是指在每个决策阶段开始时，计算出的本阶段调度规划方案称为策略。)的格式为[m₁，m₂，…m_i，…m_C]，其中，m_i代表分配给第i类任务的虚拟机的数量，m₁+m₂+…+m_i+…m_C＝M。回合的第一阶段随机选择一组策略来处理C类任务；

步骤(2)划分调度区间

将所有任务的总执行时间平均分成相等的K个调度阶段(t₀，t₁)，(t₁，t₂)，...(t_K-1，t_K)，每一阶段的端点处代表一个新的决策阶段。K的选择可以根据任务负载的强度来设定。在新的决策阶段(决策阶段是指对于多阶段决策问题，需要不停的在每个阶段的开始时作出决策，以保证这个阶段有合理的调度策略来实施。每个决策之间的时间称为决策阶段。)时，调度系统根据本阶段工作负载的强度和变化规律自适应的计算出当前阶段最优的调度策略；

步骤(3)切割调度区间

分析步骤(2)中的每一个调度阶段(t_i，t_i+1)，(i∈{1，2，…K})的工作负载的强度变化规律，如果本调度阶段工作负载变化剧烈(工作负载的变化具有至少一个波峰或者波谷，则断定其为变化剧烈变化，否则为缓慢变化)，即，工作负载的相似性小，则自适应的将其平均划分成两个独立的调度阶段(t_i，t_i+0.5(t_i+1-t_i))和(t_i+0.5(t_i+1-t_i)，t_i+1)分开调度。于此同时，需要进一步递归的研究已经被切割后的以上两个子调度阶段，如果子阶段工作负载强度变化依然剧烈，则继续切割子调度阶段，直至切割次数达到阈值上限为止，假设此时新的调度阶段为(t′₀，t′₁)，(t′₁，t′₂)，(t′₂，t′₃)...(t′_L-1，t′_L)；

步骤(4)合并调度区间

分析步骤(3)中意见切割后的调度区间，如果当前调度区间(t′_i，t′_i+1)，(i∈{0，1，2，…L-1})的工作负载和紧临的后一调度区间(t′_i+1，t′_i+2)，(i∈{1，2，…L-2})的工作负载变化不剧烈，而是比较平稳且类似，即，工作负载的相似性大，则将此两个调度阶段合并作为一个统一的阶段来调度，若合并后仍然存在任务的工作负载的相似性大于设定的阈值的两个相邻的调度阶段，则继续合并，如果相邻的两个调度阶段不平稳和类似，则取下一个调度阶段为当前调度阶段直至到达t′_L为止，假设此时的新调度阶段为(t″₀，t″₁)，(t″₁，t″₂)，(t″₂，t″3)...(t″_I-1，t″_I)；

步骤(5)根据调度阶段的长短进行自适应仿真调度

经过步骤(3)和(4)的处理后，在最新的调度阶段里，此时相邻的两个调度阶段之间的长短不一定相同，则在每一个新的调度阶段，根据当前阶段的时间长短来决定仿真次数，从而决定下一个调度阶段决策的计算时间直到程序结束。

举个例子，在以上问题中的t″₀时刻，随机采用一个策略(已经在前面定义)来进行当前阶段的调度，与此同时，收集(t″₁，t″₂)阶段的工作负载的变化规律，通过计算产生(t″₁，t″₂)的调度策略，而这两件事情都在(t″₀，t″₁)阶段完成。即同一个阶段做两件事情：第一件是执行当前阶段的决策，第二件是用下一阶段的工作负载计算下一阶段的决策。

所以当系统演化到t″₁时刻时，这时就可以采用在刚才(t″₀，t″₁)阶段计算出来的决策作为当前决策，同时将(t″₂，t″₃)阶段的工作负载拿过来分析产生其调度策略以上过程不断进行直到结束。

本发明的目的在于为弹性云计算平台虚拟资源调度性能提升提供了一套行之有效的方法。利用了多任务工作负载时变特性，动态提供虚拟资源。

本发明的特征在于本发明方法是一种包括云计算平台下多台虚拟服务器上构建的多任务负载的调度方法。

本发明的测试在Amazon EC2平台上进行。采用的虚拟机数量同样从16，32，64直到128个小实例(Small Instance)。每个虚拟机实例采用缺省配置即1.7GB内存容量，1个EC2计算单元(即每个虚拟机一个虚拟CPU)，160GB的本地存储容量，部署在Linux AMI Base的32位操作系统，EBS boot，32位的Amazon EC2AMI工具集。

基准测试程序采用的是一系列非常典型的科学计算用例，在云计算数据处理的各项应用中都有广泛的用武之地。其根据类别可以划分为CPU密集型计算、内存密集型计算和I/O密集型计算三类：1)比特字节的反转，在网络信号加密中使用得非常广泛；2)合并排序，在基于MapReduce的大规模数据并行处理中用得多；3)矩阵乘法，在各类商业化应用中均有其存在，通过控制矩阵的规模来调整多任务强度；4)大数因式分解算法，在数据信号解密中应用得非常广泛；5)k临近聚类算法，在数据挖掘中应用的较多；6)Hash算法和7)运筹学的动态规划算法。

弹性云平台由若干物理集群组合而成，每个物理集群由若干个物理服务器结点组合而成。物理集群通过硬件资源池进行资源共享，以在互联物理服务器内部或者之间，将其划分成若干虚拟机，整个弹性云平台里便留存大量可按需提供已经配置好的虚拟机资源。虚拟资源根据应用需求和各自所分配CPU核数量、内存、磁盘等物理配置划分成虚拟集群。虚拟集群能够非常灵活的创建、重组、取消、添加虚拟机资源，删减虚拟机资源等。

图1综合的图示化概括了以上各概念。其包含3个物理集群，每个物理集群由三台物理服务器组成，每个物理集群上划分出12个虚拟机，用矩形方框表示，隶属于不同物理集群的虚拟机采用不同深度的颜色填充。当任务需要执行时，根据任务需求，可以将虚拟机按照图中方式进行组织搭建虚拟集群。图中展示了四个虚拟集群，分别用外框不同形状的实线、虚线和点划线表示。

划分虚拟集群的目的是根据不同的工作负载的大小，提供具有自由弹性、可以灵活伸缩的虚拟资源供给方案。本方案为了完全实现资源的按需分配，自适应供应。一方面能够提升服务端数据中心资源的利用率，不至于产生大量的服务器的低利用率空转；另一方面能够向用户收取最合适的费用来满足和用户达成的服务层次协议(Service Level Agreement，简称SLA)。

我们设计了如图2的调度系统，每个虚拟集群前端部署着一个用于接纳任务的到达的队列，队列中的任务采用先到达先服务方式(First-Come-First-Serve，简称FCFS)。由于处理不同应用请求的虚拟机处理能力有差异，为了使得调度问题简化，我们所采用的虚拟机对于任务的处理能力相近。事实上，在我们后面设计的弹性云计算平台环境下，所使用的虚拟机类型完全一致来满足这一项设计。假设本问题一共划分了C个虚拟集群，虚拟集群c(c∈[1，C])拥有m_i个虚拟机，共有C个负载调度器用于根据工作负载到达情况和队列任务的数量均衡的提交任务请求，同时全局的控制和接受工作负载到达的频率。这里的工作负载在商业基准测试程序中是用户产生的请求，而在科学计算系统中则为每类应用需要处理的数据量大小。

介绍方法之前我们先定义几个概念：

(1)多任务负载定义

多任务负载相似度用于定义两批任务之间的相似性。假设在t′时刻和t″时刻到达了两批任务，分别是δ(t′)＝[δ₁(t′)，…δ_c(t′)，…δ_C(t′)]和δ(t″)＝[δ₁(t″)，…δ_c(t″)，…δ_C(t″)]，

$\mathrm{Sim}(\mathrm{\δ}\left(t^{\′}\right),\mathrm{\δ}\left(t^{\′\′}\right))=\frac{{\mathrm{\Σ}}_{c=1}^C({\mathrm{\δ}}_c\left(t^{\′}\right)\×{\mathrm{\δ}}_c\left(t^{\′\′}\right))}{\sqrt{{\mathrm{\Σ}}_{c=1}^C({\mathrm{\δ}}_c{\left(t^{\′}\right)}^2\×{\mathrm{\δ}}_c{\left(t^{\′\′}\right)}^2)}}$

其中：

Sim(δ(t′)，δ(t″))为δ(t′)和δ(t″)的相似度；

C为虚拟集群的数量；

δ_c(t′)为到达虚拟集群c的负载强度。

上述定义可以理解为两批多任务负载的强度相关性。负载强度均为正数取值，所以上述相似性范围为[0，1]。相似度为1时两批多任务负载分布完全一样，而相似度为0时表现在坐标系上为负载具有正交性，其实质是δ_c(t′)和δ_c(t″)中总有至少一者为0。

定义了相关性以后我们需要刻画相似度阈值，即在相邻多任务负载到达何种程度以后自动进行合并，或者单一调度区间多任务负载相似性差异到达何种程度以后自动进行区间分割的问题。

(2)调度区间分割策略

将同一个调度区间(指通过低开销迭代仿真优化方法已经形成的区间)中所有批次的多任务负载进行两两比较，如果差异最小的两者的相似性小于给定阈值α，则认为本调度区间的多任务负载具有显著差异性，需要将调度区间进行分割；然后递归的利用低开销仿真优化方法分别分析两个被分割的子区间，直到对调度阶段等分的次数达到设定数量(区间宽度小于或等于给定的阈值w)为止。此时认为如果再度划分调度区间则引入的噪声将会大于低开销本身对于性能的提升优势，从而对调度无益。

分割策略的前提是所采用的多任务负载均匀的分布在调度区间中，本方法取中作为分割点，可以保证每次分割以后差异最大的两批多任务负载以极大的概率分布在分割线的两端，从而实现分开调度。图3展示了此调度区间分割策略。

由于t₁时刻和t₂时刻多任务负载极其相似而和t₃时刻具有较大差异，基于此，我们将调度区间平均划分为两个独立的调度阶段分开处理从而针对相似性较强的负载利用同一调度策略，相似性较差的负载采用不同调度策略。但是原本t的仿真时间缩短一半从而引入了噪声，这里就是存在如何折衷噪声和压缩调度阶段的问题。

在概率论中，经典的大数定理说明了仿真时间提高两个数量级才能导致仿真精度提升一个数量级的结论。在虚拟集群的多任务负载剧烈变化时，如仿真精度到10％以下(7次切割区间)则基本退化为盲选，基于此我们启发式的选择最多三次对于低开销迭代仿真优化区间进行切割，从而确保实验对于多任务负载强度的把握控制在一定精度以内。

(3)调度区间合并策略

调度区间合并策略的原则基于(1)中已经分割好了的调度区间，或者说已经验证过的所有调度区间中多任务负载两两之间具有阈值高于α的相似性，即不可再分性。合并策略实施步骤如下：

将当前区间中的每一个负载和其相邻后一调度区间中的每一个负载进行两两比较，如果差异最大的两者的相似性大于给定阈值β，则认为本相邻调度区间的所有多任务负载的到达强度具有显著相似性，可以将以上两个调度区间进行合并；然后将合并以后的调度区间作为当前区间，采用同样的方法分析其与相邻后续调度区间多任务负载的差异性，直到合并后的调度阶段的长度大于设定值，直到应用程序停止时结束。

图4展示了此调度区间合并策略。在图中可以看出，从t₁时刻到t₃时刻两个不同的调度阶段，t₁时刻和t₂时刻阶段的多任务负载极其相似，而在两个调度区间均无其他类型的多任务负载到达，根据算法描述可以将其进行合并成一个独立的调度区间。而再考虑后一个调度区间从t₃时刻开始时，由于新的多任务负载和前阶段的具有很大的差异性，故本轮合并阶段结束，从t₃时刻开始进行新的一轮分析。

由于具有相似多任务负载在最佳调度策略上的相似性，合并了调度区间以后可以采用一次仿真的统一调度策略。其主要优势在于能够为后阶段的仿真争取到更多的仿真时间，可以提升仿真性能取得噪声更小的调度策略。本策略的产生弥补了低开销迭代仿真优化相对于迭代蒙特卡洛仿真方法的空白，使其能够自适应调度多任务负载变化比较平缓的场景。

基于以上分析，我们可以认为低开销进化仿真优化方法的实质是自适应的将迭代蒙特卡洛仿真方法和低开销迭代仿真优化方法进行整合，并将其合理配置到各自适应的多任务负载变化阶段，从而综合提升系统整体的调度性能。

(4)阈值设定分析

我们分析研究了调度区间分割算法中的阈值。在分析了后续实验多任务负载的到达强度后我们做如下合理假设：首先，多任务负载的到达具有成批性，即不存在时间轴上零散分布于各个虚拟集群多任务负载到达的情况；其次，多任务负载到达的非空性，即每批到达的多任务负载在各个虚拟集群中均具有一定的强度。

根据以上假设，我们调查了现有多任务负载的强度，并根据分布随机生成了一万对组合数据以后，计算各种情况的相似性并得出统计结果图5所示。经过以上分析，我们利用启发式规则，统计出多任务负载相似性的下33％分位数即为我们设定区间分割的阈值α，而上33％分位数即为我们设定区间合并的阈值β。不同的应用场景下α和β的取值不尽相同，所以需要根据具体问题类型在实验之前进行设计。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.一种弹性云计算平台下工作负载的调度方法，其特征是该方法包括以下步骤：

步骤1：初始化虚拟机和任务，根据任务之间的相对负载对虚拟机进行组合；

步骤2：将所有任务的总执行时间平均分成设定个调度阶段，调度系统根据当前任务的工作负载计算出最优的调度策略；

步骤3：若在任一设定个调度阶段内，当任务的工作负载的相似性小于第一设定阈值时，则将该调度阶段等分为两个调度阶段；若等分得到的两个调度阶段中仍然有任务的工作负载的相似性小于第一设定阈值的调度阶段，则继续对调度阶段两等分，直到对调度阶段等分的次数达到设定数量，得到第一调度阶段序列；

步骤4：在步骤3的基础上，若第一调度阶段序列中任意两个相邻的调度阶段的任务的工作负载的相似性大于第二设定阈值，则将当前的两个相邻的调度阶段合为一个调度阶段，若合并后仍然存在任务的工作负载的相似性大于设定的阈值的两个相邻的调度阶段，则继续合并；若合并后得到的调度阶段大于设定长度，则停止合并，得到第二调度阶段序列；

步骤5：对第二调度阶段序列进行自适应地调整仿真次数，执行当前调度阶段的策略，并计算下一阶段的调度策略，直到程序结束。

2.根据权利要求1所述的一种弹性云计算平台下工作负载的调度方法，其特征是所述第一设定阈值为多任务负载相似性的下33％分位数。

3.根据权利要求1所述的一种弹性云计算平台下工作负载的调度方法，其特征是所述第二设定阈值为多任务负载相似性的上33％分位数。

Images