CN104378412A - 云环境下意识到用户周期性资源需求的动态负载均衡方法 - Google Patents

Abstract

本发明提供了一种云环境下意识到用户周期性资源需求的动态负载均衡方法，所要解决的技术问题是：云环境下的负载均衡问题。该方法包括：每个计算节点都有一个窗口记录最近的任务到达信息，窗口的大小可以通过分析当前窗口动态的改变，通过当前窗口的任务信息可以对未来的任务强度作出预测，任务分配时考虑每个计算节点预测出的未来任务强度。本发明的方案利用任务的局部特性而不是全局的历史任务信息对未来任务的强度进行预测，可以得到更精确与实时的预测结果进而降低计算任务的响应时间。

Description

云环境下意识到用户周期性资源需求的动态负载均衡方法

技术领域

本发明涉及一种分布式动态负载均衡方法，具体涉及一种云环境下意识到用户周期性资源需求的动态负载均衡方法。 

背景技术

近年来云计算凭借其方便经济的服务模式，越来越受到包括个人，单位政府部门及企业的青睐。直观的来讲，云计算是这样的一种服务模式：用户通过使用诸如亚马逊(Amazon EC2)，微软(Microsoft Azure)和谷歌(Google App)等云平台按需的提交自己的应用请求，包括计算，存储，流量等各种资源，这些云服务提供商然后以虚拟机的形式分配相应的资源给这些提交资源申请的用户，用户只需要为他们所占用的资源按时间付费即可。 

衡量一个云平台运行效率的指标有很多，其中一个重要的指标是降低计算任务的响应时间，即不要让提交任务的用户为了得到计算结果等待过长的时间。现如今的云平台大多采用负载均衡策略来解决这个问题，即将计算任务均匀分配到各个计算节点上。如果每个计算节点上的任务数均衡，那么所有任务的平均响应时间必然大大降低。 

传统的负载均衡方法分为静态负载均衡与动态负载均衡。静态负载均衡仅仅考虑系统负载的当前状态来调整各计算中心的负载，从而达到当前状态下系统中所有节点负载均衡的目标。静态负载均衡方法虽然能够很好的满足某个时刻的负载均衡目，但是它没有考虑系统未来的负载情况。假如在下一时刻，由于系统中会有新的任务到达同时又有旧的任务离开(任务完成之后就会离开系统)，系统原有的负载状态就会被打破，新一轮负载均衡又要重新执行，频繁的调用负载均衡会大大增加系统的计算耗费和任务迁移时的网络带宽耗费。动态负载均衡，则利用历史任务的信息预测未来任务强度，根据预测出的未来任务强度进行当前状态的负载均衡，这能够在一定程度上缓解未来负载不均衡的情况，从而能够减少系统用于负载均衡的计算耗费和任务迁移时的网络带宽耗费。然而传统的动态负载均衡利用的是全局的历史信息由于，即未来负载的预测值往往是通过当前负载与上一时刻预测值的加权求和得到。而实际上来讲，每个云系统未来的任务强度往往只与该系统历史中的一个局部时间段相关，基于全局信息的预测可能导致预测结果的延迟效应，即预测结果的变化延迟于实际负载的变化，进而使得预测结果不够精确与实时。因为云平台下的任务到达强度随时间会经常变化，这种不精确与不实时有可能使得动态负载均衡方法的效果比静态更差。 

从另一个角度来讲，传统云环境下的负载均衡中一般都有个中心调度者，任务需求首先是提交到中心调度管理器，然后由中心调度者进行分配任务兼顾负载均衡，也就是说云平 台下的负载均衡方法一般是中心式+静态的。当节点规模较大时，这种方式负载均衡的计算代价就会很高。 

发明内容

本方法所要解决的技术问题是：负载均衡问题，即将用户的资源请求均匀的分布到云系统中的数据节点上。 

本发明提出了一种基于用户周期性资源需求规律的分布式动态负载均衡方法，即利用任务的局部特性而不是全局的历史任务信息对未来任务的强度进行预测，可以得到更精确与实时的预测结果进而降低计算任务的响应时间，同时用于负载均衡的计算代价也较低。 

考虑如下情况，某一节点当前负载很低，但是在未来的一段时间内会突发性的到达很多计算请求。如果这时采用了传统的静态负载均衡方法，那么该节点会收到许多邻居节点转交的计算请求，同时在未来的一段时间该节点本身会收到许多来自用户的突发性计算请求，这样就会导致该节点从一个轻载状态很快变成了重载状态。相反，如果我们能够预测出该节点在未来会突发性的到达很多计算请求，我们就可以作一些预防措施，例如提前拒绝邻居节点的转交请求，以让该节点有足够的能力容纳未来到达的计算请求。如果采用传统的动态负载均衡方法，它往往是将当前的负载与当前负载预测值做一个加权求和作为下一时刻可能的任务需求强度，这种预测会产生延迟效应，即如果将来的任务强度发生了剧烈的变化(从很高到很低或很低到很高)，就需要很长的时间才能将预测到实际任务强度值。究其原因就是这种方法使用的是历史任务的全局信息，而往往由历史的局部信息更能反映未来的趋势。 

下面给出一个简单的例子具体解释上述情况，为了简化描述，我们将所有计算任务所需资源数目视为相同。云环境中节点的网络拓扑如图1所示，为一个简单的云系统实例，其中，圆形表示计算节点，正方形表示每个节点的负载，矩形表示该节点未来到达的资源需求情况。图1中有5个计算节点，分别为a₁,a₂,a₃,a₄,a₅，每条边表示对应边上的两个节点可以直接通信，通信需要耗费一定的带宽代价，距离越短通信代价越低，反之，越高。每个节点上的矩形窗口表示的是将来用户的计算请求任务到达状况，0表示无计算任务到达，1表示有一个计算任务到达。记当前时刻为t，针对a₁，其任务窗口为0000100010，则表示t+1～t+4时间内没有用户的直接计算任务到达，t+5时刻会有一个用户的计算任务到达，以此类推。每个节点旁的正方形中的数字代表当前该节点上的计算任务数，即负载数。现假设a₂有一个计算任务由于资源不够而无法由自己完成，因此它必须将其转交给其邻居节点a₁、a₃或a₄。如果根据传统的静态负载均衡方法，发现当前a₃的负载最低，然后就将a₂上过载的任务转交给a₃执行。然而通过观察任务窗口可以发现，a₃在未来5个时间步内会有连续的新的计算请求到达。如果假设每个任务都需要较长的时间来执行，那么5个时间步后a₃的负载由0激增到8，而其他几个节点的负载均较低。因此传统的静态负载均衡在这种情况下不太适用。如果采用传统的动态负载均衡方法，当预测a₃任务窗口内第6、7、8个时间步的负载时，仍然会保持较高的预测值，因为前5个时间步均有任务到达，这时会导致不太倾向 把任务分配给这个预测出的重载节点，而实际上第6、7、8个时间步该节点根本没任务到达(延迟效应)，这就会产生预测不准的情形。因此，传统的全局动态负载均衡方法在这种情况表现也不是很好。这时如果我们只考虑最近三个时间步这个局部信息，那么会很快地发现任务到达强度已经显著降低，进而就可以快速而及时地调整预测值，得到更精准与实时的预测结果。 

基于此，本发明主要提出了一种基于用户周期性资源需求规律的动态负载均衡方法。所谓用户周期性资源需求规律也就是用户请求任务的局部特性，即任务的到达过程不是完全随机的，而是从一个局部一个局部的到达的。一个局部的任务流是指在一段时间内突发性到达的许多计算任务的集合。符合任务局部性原理的任务流是按如下方式到达：在一段时间内到达一批任务(局部)，接着一段时间很少有任务到达(空闲期)，再过一段时间又有大批任务到达，如此循环往复。云环境下的任务流是符合这种任务的到达规律的。例如，从9:00a.m～12:00 a.m是各大公司的上班时间，各大公司会有大量的云请求发往云服务器(资源需求波峰期)，这是一个局部，接着0:00 p.m～2:00 p.m属于员工的吃饭与午休时间，这时很少会有云请求发往云服务器(资源需求波谷期)，然后2:00 p.m～5:00 p.m又属于正常工作时间，这时又会有大量的运请求，此时就是到达另外一个局部。 

由于云环境下的任务请求一般具有局部性原理，那么我们就可以利用这一特性来更精确地预测未来的任务到达强度。每个节点维护一个最近n个时间步内的任务到达序列，如果这n个时间步的任务到达很频繁，那么我们有理由相信当前正处于一个任务局部内，此时可以预测未来一段时间内仍会有较多的任务到达；反之说明当前并不处于某个任务局部内，可以预测将来也不会有很多任务到达。这种预测方式相较于以往的全局预测更精确与实时。 

通常情况下每个局部的大小是不同的，因此我们选择观察的任务窗口的大小也需要动态调整。预测未来的任务强度与窗口大小n调整规则如下： 

1)每个节点维护一个窗口：即刚才提到的最近n个时间步内的任务到达序列，0表示没有任务到达，1表示有任务到达。因此窗口可以表示为[b₁,…,b_n]，b_i∈{0,1}。 

2)计算出当前窗口内的平均任务到达强度

3)如果λ≥α或λ≤β(α,β∈(0,1),α＞β)，表示当前窗口内的任务到达强度很低或很高。这时可以预测当前正处于某个局部内(λ≥α)或者处于局部与局部间的空闲期(λ≤β)。此时无需更改窗口大小，我们认为当前的窗口具有较大的参考价值。转到9)。 

4)如果α＜λ<β，表示当前窗口内的平均任务到达强度适中。这可能由两种情况导致:一个是当前正处于局部到空闲或者空闲到局部的过渡期；另一个是窗口大小不合适(窗口过大导致同时包含了局部与空闲期)。此时把当前窗口分为两半，分别求出前后两半窗口的平均任务到达强度λ₁和λ₂。 

5)如果λ₁/λ₂≥k*或者λ₁/λ₂≤1/k，表示前后两半窗口的任务到达强度差别很大(相差了k 倍以上)，这可以说明当前正处于过渡期。此时不需要改变窗口大小，即使修改也是在以后修改。直接转到9)。 

6)如果1/k＜λ₁/λ₂＜k，说明当前前后两半的窗口任务到达强度差不多。任务到达强度适中说明不处于局部或空闲期，而任务到达强度较均衡说明不处于过渡期。此时只可能是由于窗口大小不合适，这又可以分为两种情况：一种是由于当前窗口过大而包含了多个局部与空闲期的信息；另一种是由于当前窗口过小而未包含完整的局部或空闲期的信息。此时计算出当前窗口内连续出现超过5个1(我们认为连续5个1可以说明一个局部)的序列个数m。 

7)如果m≥θ(θ一般取3)，说明出现了至少θ个连续5个1的序列，而一个局部往往会包含一连串连续的1。因此可以判断出当前窗口包含多个局部或空闲期的信息。此时需要减小窗口大小以获得更精确的预测效果，我们将窗口大小变为原来的一半以从窗口中删除较早的那些任务序列，n＝n/2。转到9)。 

8)如果m<θ，说明当前窗口内并没有出现多个连续1的序列，因此可以判断出此时的窗口过小而没有充分地反映出局部或空闲期的信息。此时需要增加窗口大小，将窗口大小变为原来的两倍以容纳未来的任务到达序列，n＝n*2。转到9)。 

9)预测出的下一时间步的任务到达强度为其中ω_i为b_i的权重并且ω_i＜ω_i+1,(ω_i的设定具体可由实验环境而定)。即对某一窗口内的时间点其历史越悠久，对预测未来任务强度的贡献越低。 

本发明的技术方案可以实现如下有益效果： 

(1)降低任务的响应时间，提高云服务质量通过窗口方法利用任务的局部性原理预测云环境未来的用户请求到达强度，可以有效地避免将任务误分配给那些未来会很忙的计算节点，从而实现云系统计算节点的动态负载均衡效果，降低任务的平均响应时间。 

(2)提高云系统的自适应特性通过预测方法如果发现未来该系统会有大量的用户请求任务到达，那么事先向该云系统中增添一定数量的计算节点，以便缓解未来突发性的大批量请求导致系统负载过高而性能下降；另一方面如果预测出未来云系统只有很少的用户请求，那么可以事先关闭一些计算节点以节约资源，实现资源的优化配置。 

(3)负载均衡的计算代价较低由于本发明提出了一种分布式方法，所以相较于中心式方法在大规模节点情况下用于负载均衡的计算代价显著降低。 

附图说明

图1是云系统中计算节点的拓扑、当前窗口以及各节点负载的示意图，圆形表示计算节点，正方形表示每个节点的负载，矩形表示该节点未来到达的资源需求情况。 

图2是窗口太大导致1/k＜λ₁/λ₂＜k的一个实例。 

图3是一个计算任务的分配流程图。 

具体实施方式

降低计算任务的响应时间是云平台中一个重要的性能指标，现如今的云平台大多采用各种负载均衡策略来解决这个问题。传统的负载均衡方法分别静态负载均衡与动态负载均衡。静态负载均衡虽然能够很好的满足某个时刻的负载均衡目的，但是在下一时刻，由于系统中会有新的任务到达同时又有旧的任务离开(任务完成之后就会离开系统)，系统原有的负载状态就会被打破，需要重新执行新一轮的负载均衡。频繁的负载均衡会大大增加系统的计算耗费和任务迁移时的网络带宽耗费。动态负载均衡，通过利用历史信息预测未来任务的到达情况，能够在一定程度上缓解未来负载不均衡的情况，从而能够减少系统用于负载均衡的计算耗费和任务频繁迁移时的网络带宽耗费。然而，传统的动态负载均衡利用全局的历史信息，而实际上每个云系统未来任务的到达强度往往只与该系统历史中的一个局部时间段相关，基于全局信息的预测可能导致预测结果不够精确。同时传统云环境下的负载均衡往往都是中心式的，在大规模计算节点的情况下用于负载均衡的计算代价会过高。因此本方法主要是提出了一种分布式动态负载均衡方法，即利用任务的局部特性而不是全局的历史任务信息对未来任务的强度进行预测，可以得到更精确与实时的预测结果进而降低任务的平均响应时间，同时均衡代价也较低。 

本发明提出的预测方法基于用户周期性资源需求规律(任务的局部性原理)，即任务的到达过程不是完全随机的，而是从一个局部另一个局部到达的。任务的一个局部是指在一段时间内会突发性的到达许多的计算任务。因此符合任务局部性原理的任务流是按如下方式到达：在一段时间内到达一批任务(局部)，接着一段时间很少有任务到达(空闲期)，再过一段时间又有大批任务到达(局部)，如此循环往复。 

由于云环境下的任务请求一般具有局部性原理，那么我们就可以利用这一特性来预测未来的任务到达强度。每个节点维护一个最近n个时间步内的任务到达序列，如果这n个时间步的任务到达很频繁，那么我们有理由相信当前正处于一个任务局部内，此时可以预测未来一段时间内仍会有较多的任务到达；反之说明当前并不处于某个任务局部内，因此可以预测将来也不会有很多任务到达。这种预测方式相较于以往的预测更精确与实时。 

下面对本发明技术方案进行详细说明，因为本发明的重点不在于用户任务的分配方式而在于任务到达强度的预测，因此本实施方式采用了一种最简单的分配方式作为例子：自己有能力完成任务就不会转交，并且优先转交给资源多的节点，当然也可以使用其他分配方案。 

云系统中的每个计算节点都可以独立地接受来自用户的计算请求，对每个时间点，如果一个计算节点收到一个用户请求，那么其会把标签1插入当前任务窗口的头部，表示当前有一个任务到达；否则插入标签0。处于窗口尾部的时间点会从窗口中删除，一旦一个窗口序列被更新，那么将启动窗口大小的改变与任务强度的预测方法。每当一个节点收到一个用户 请求时，判断自己是否能满足用户的资源需求(CPU、存储资源等)，如果可以那么它就自己独立完成新任务；否则其会尽最大努力的完成一个子任务并将剩余任务分配给一个邻居计算节点，邻居节点再做同样的处理过程直到该任务最终被完成，注意窗口只会记录外界到达的任务序列而不会记录从邻居节点转移过来的任务序列。 

一个计算任务分配的步骤如下(分配流程图如图3所示): 

1)云系统中的每个计算节点都可以独立地接受来自用户的计算请求，对每个时间点，如果一个计算节点收到一个用户请求，那么其会把1插入当前窗口的头部表示当前有一个任务到达；否则插入0。处于窗口尾部的时间点会从窗口中删除，注意窗口只会记录外界到达的任务序列而不会记录从邻居节点转移过来的任务序列。 

2)一旦一个窗口序列被更新，那么将启动窗口大小的改变与任务强度的预测方法。 

a)每个节点维护一个窗口：即刚才提到的最近n个时间步内的任务到达序列，0表示未到达，1表示到达。因此窗口可以表示为[b₁,…,b_n]，b_i∈{0,1}。 

b)计算出当前窗口内的平均任务到达强度

c)如果λ>＝α或λ<＝β(α,β∈(0,1),α＞β)，表示当前窗口内的任务到达强度很高或很低。这时可以预测当前正处于某个局部内(λ>＝α)或者处于局部与局部间的空闲期(λ<＝β)。此时无需更改窗口大小，我们认为当前的窗口具有较大的参考价值。转到i)。 

d)如果α＜λ<β，表示当前窗口内的平均任务到达强度适中。这可能由两种情况导致:一个是当前正处于局部到空闲或者空闲到局部的过渡期；另一个是窗口大小不合适(窗口过大导致同时包含了局部与空闲期)。此时把当前窗口分为两半，分别求出前后两半窗口的平均任务到达强度λ₁和λ₂。 

e)如果λ₁/λ₂＞＝k*或者λ₁/λ₂＜＝1/k，表示前后两半窗口的任务到达强度差别很大(相差了两倍以上)，这可以说明当前正处于过渡期。此时不需要改变窗口大小，即使修改也是在以后修改。直接转到i)。 

f)如果1/k＜λ₁/λ₂＜k，说明当前前后两半的窗口任务到达强度差不多。任务到达强度适中说明不处于局部或空闲期，而任务到达强度较均衡说明不处于过渡期。此时只可能是由于窗口大小不合适，这又可以分为两种情况：一种是由于当前窗口过大而包含了多个局部与空闲期的信息；另一种是由于当前窗口过小而未包含完整的局部或空闲期的信息。此时计算出当前窗口内连续出现超过5个1(我们认为连续5个1可以说明一个局部)的序列个数m。 

g)如果m>＝θ，说明出现了至少θ个连续1的序列，而一个局部往往会包含一连串连续的1，因此可以判断出当前窗口包含多个局部或空闲期的信息，如图2所示，这是窗口太大导致1/k＜λ₁/λ₂＜k的一个实例。此时需要减小窗口大小以获得更精确的预测效果，我们将窗口大小变为原来的一半以从窗口中删除较早的那些任务序列，n＝n/2。转到i)。 

h)如果m<θ，说明当前窗口内并没有出现多个连续1的序列，因此可以判断出此时的窗口过小而没有充分地反映出局部或空闲期的信息。此时需要增加窗口大小，将窗口大小变为原来的两倍以容纳未来的任务到达序列，n＝n*2。 

i)预测出的下一时间步的任务到达强度为其中ω_i为b_i的权重并且ω_i＜ω_i+1,(ω_i的设定只要满足上述条件即可，具体可自由取值)。即对某一窗口内的时间点其历史越悠久，对预测未来任务强度的贡献越低。 

3)每当一个节点收到一个用户请求时，判断自己是否能满足用户的资源需求(cpu、存储资源等)，如果可以那么它就自己独立完成新任务，转到6)；否则其会尽最大努力的完成一个子任务并将剩余任务分配给一个邻居计算节点，转到4)。 

表示邻居i预测出的未来任务到达强度。 

5)当一个任务被转交给一个邻居节点后，转到3)(邻居节点再做如步骤3同样的处理过程直到该任务最终被完成，注意窗口只会记录外界到达的任务序列而不会记录从邻居节点转移过来的任务序列，因此不需要再转到1)了)。 

6)任务分配结束。 

Claims (6)

1.一种云环境下意识到用户周期性资源需求的动态负载均衡方法，其特征在于：该方法包括：每个计算节点都有一个窗口记录最近的任务到达信息，窗口的大小可以通过分析当前窗口动态的改变，通过当前窗口的任务信息可以对未来的任务强度作出预测，任务分配时考虑每个计算节点预测出的未来任务强度。 

2.根据权利要求1所述的云环境下意识到用户周期性资源需求的动态负载均衡方法，其特征是：每个计算节点都有一个窗口记录最近的任务到达信息，云系统中的每个计算节点都可以独立地接受来自用户的计算请求，对每个时间点，如果一个计算节点收到一个用户请求，那么其会把1插入当前窗口的头部表示当前有一个任务到达；否则插入0；处于窗口尾部的时间点会从窗口中删除，注意窗口只会记录外界到达的任务序列而不会记录从邻居节点转移过来的任务序列。 

3.根据权利要求1所述的云环境下意识到用户周期性资源需求的动态负载均衡方法，其特征是：窗口的大小可以通过分析当前窗口动态的改变；一旦一个窗口序列被更新，那么将启动窗口大小的改变方法；计算出当前窗口内的平均任务到达强度如果λ≥α或λ≤β(α,β∈(0,1),α＞β)，表示当前窗口内的任务到达强度很高或很低，此时无需更改窗口大小；如果α＜λ＜β，表示当前窗口内的任务到达强度适中，此时把当前窗口分为两半，分别求出前后两半窗口的平均任务到达强度λ₁和λ₂；如果λ₁/λ₂≥k*或者λ₁/λ₂≤1/k，表示前后两半窗口的任务到达强度差别很大，即相差了k倍以上，此时不需要改变窗口大小；如果1/k＜λ₁/λ₂＜k，此时计算出当前窗口内连续出现超过5个1的序列个数m，其中，连续5个1可以说明一个局部；如果m≥θ，说明出现了至少θ个连续5个1的序列，此时需要减小窗口大小以获得更精确的预测效果，我们将窗口大小变为原来的一半以从窗口中删除较早的那些任务序列，n＝n/2；如果m<θ，说明当前窗口内并没有出现多个连续1的序列，此时需要增加窗口大小，将窗口大小变为原来的两倍以容纳未来的任务到达序列，n＝n*2。 

4.根据权利要求3所述的云环境下意识到用户周期性资源需求的动态负载均衡方法，优先地：θ取3。 

5.根据权利要求1所述的云环境下意识到用户周期性资源需求的动态负载均衡方法，其特征是：通过当前窗口的任务信息可以对未来的任务强度作出预测；预测出的下一时间步的任务到达强度为其中ω_i为b_i的权重并且ω_i＜ω_i+1,(ω_i的设定具体可由实验环境而定)。即对某一窗口内的时间点其历史越悠久，对预测未来任务强度的贡献越低。 

6.根据权利要求1所述的云环境下意识到用户周期性资源需求的动态负载均衡方法，其特征是：任务分配时考虑每个节点预测出的任务强度；任务转交时选择的邻居节点next为next＝arg max_i∈Nei{r_i/(c_i·l_i·λ_pi)}，其中Nei表示当前节点的邻居集合，r_i表示邻居i的资源数，c_i表示当前节点到邻居i的通信代价，λ_pi表示邻居i预测出的任务到达强度。