CN1201246C

CN1201246C - 一种集群服务器的动态负载均衡方法

Info

Publication number: CN1201246C
Application number: CN 03118665
Authority: CN
Inventors: 郭成城; 晏蒲柳; 周建国; 熊智; 易奇娜
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2003-02-24
Filing date: 2003-02-24
Publication date: 2005-05-11
Anticipated expiration: 2023-02-24
Also published as: CN1434393A

Abstract

本发明涉及一种集群服务器的动态负载均衡方法。本发明通过请求响应连接的饱和值和对当前响应连接数的修正，更准确地表现了服务器当前的负载状态；通过临界递减因子，加速减少分配给进入临界状态服务器的请求任务数量，有效地抑制了“拒绝服务”现象的发生；通过随机概率分配方式，在请求达到个数不确定的情况下，避免了采用某种固定模式可能产生的将多个请求连续分配到同一台服务器上的现象；所有计算参数均可以通过实际测试得到，避免了人为配置参数的不确定因素。本发明方法简单、执行效率高，适用于异构集群系统、多媒体流服务的动态负载均衡，可有效提高集群服务器系统的工作效率。

Description

一种集群服务器的动态负载均衡方法

技术领域

本发明属于网络集群服务器技术领域，特别是涉及一种新的支持异构集群系统的动态负载均衡方法。

背景技术

负载均衡是集群服务器中的关键技术，它决定了集群分配器的请求分发策略，并且直接影响着服务器集群系统的整体性能。这几乎在所有有关服务器集群系统的技术文献和研究论文中均有论述，Zhang Wensong.Linux Virtual Server：Server Clustering for Scalable NetworkServices.In：Proc of World Congress Conf 2000[c]，Beijing，2000；邸烁等。可扩展并行WebServer集群技术。小型微型计算机系统，1999 Vol.20 No.10；Load Management for Scaling upInternet Services.IBM T.J.Watson Research Center；单志广，林闯等。Web请求分配和选择的综合方案与性能分析；软件学报，2001 Vol.12 No.3。

集群负载均衡技术主要分静态信息和动态信息算法。静态算法主要适用于较小规模的、同构的、提供静态网页信息服务的系统；而动态算法适用于大规模的、异构的、提供动态网页信息服务的系统，是当前研究的热点问题。有关文献：Haakon Bryhni.A Comparison of LoadBalancing Techniques for Scalable Web Servers.2000 IEEE Network；Emiliano Casalicchio.Staticand Dynamic Scheduling Algorithms for Scalable Web Server Farm.2001 IEEE；许建峰等。分布式实时系统中的预测调度算法；软件学报，2000 Vol.11 No.1。

早期的负载均衡算法有随机(Random)算法和轮询(Round-Robin)算法，特别是轮询算法采用传统的轮转转发分配方式，计算简单、效率高，应用较广。但这两种算法不考虑后端服务器的差异，不能保证在不同的服务器间达到负载均衡，因此，不适合于异构的集群系统(见参考文献。另外还有基于服务器中当前活跃连接数(正在处理的请求连接)的最小连接数(LeastConnections First)算法，选择当前正在处理的请求个数最少的服务器作为转发对象。但活跃请求连接个数并不能完全反映服务器处理负荷上的差异，如处理能力强的服务器在单位时间内可以处理更多的请求。此外，还可能在请求量少时将多个请求分配到同一台服务器。

为了适应异构集群系统的需求，出现了加权轮询(Weighted Round-Robin)算法和加权最小连接数(Weighted Least Connections First)算法，通过为不同的服务器配置不同的权值来平衡服务器间的差异，选取合适的转发对象。但随着动态、多媒体网络信息的大量应用，静态的权值信息不能表现动态的负载特征，随着系统运行时间增长，将导致集群负载分布的不平衡。

为了克服静态配置权值信息的缺点，提出了动态计算权值信息的方法。动态计算权值的负载均衡算法有基于轮询的(如WRR_time、WRR_num)和基于活跃连接数的(如Round_Trip、XimtByte)。它们都是通过周期性地获取服务器状态信息，动态地计算出当前每台服务器应具有的权值。权值的计算方法：第一种是用采样周期内每台服务器的平均响应产生时间(以请求转发到达服务器至第一个响应的比特输出为响应产生时间)来计算，如WRR_time(基于WRR)和Round-Trip(基于WLCF)；第二种是用采样周期内每台服务器的活跃连接数来计算，如WRR_num(基于WRR)；第三种是用采样周内输出的字节流量来计算，如XimtByte(基于WLCF)。但是，单从某一个性能指标来考虑负载状况存在局限性，如响应时间只反映了服务器最初对请求做出处理的速度，不能反映后续处理过程负荷的大小，特别是现在网页中包含许多文本、图象、数据库查询的嵌入对象，后续处理产生的负载变化很大；活跃连接数虽然在大多数情况下可以相对准确地反映当前的工作负载状况，而即便是在连接数相同的情况下，不同的任务也会造成系统资源的消耗大不相同；输出字节流量只反映网络输出负载状况，对静态文本访问有一定的效果，但却完全无法表现需要复杂计算和数据查询工作的负荷。

有关文献：Zhang Wensong.Linux Virtual Server：Server Clustering for Scalable NetworkServices.In：Proc of World Congress Conf 2000[c]，Beijing，2000；Haakon Bryhni.A Comparison ofLoad Balancing Techniques for Scalable Web Servers.2000 IEEE Network；Emiliano Casalicchio.Static and Dynamic Scheduling Algorithms for Scalable Web Server Farm.2001 IEEE；Linux集群的负载调度. www.ibm.com/developerWorks/cn/linux/cluster；单志广，林闯等。Web请求分配和选择的综合方案与性能分析；软件学报，2001 Vol.12 No.3。

目前，有研究者提出了选择加权百分比(Selected Weighted Percentage)算法。算法中综合考虑了服务器的固有能力、当前负荷、服务速度等参数，通过对CPU利用率、内存利用率、网卡输出流量等分别加权计算来确定转发对象。从理论分析和一些试验来看，在许多情况下要好于上述算法。但存在的问题是算式中的各个权值系数需由系统管理员人为确定，这恰恰是很难办到的。不同速率的CPU和不同大小的内存究竟各占多大比例合适，根据不同的情况和所完成的任务不一而有所不同。

有关文献：Linux集群的负载调度. www.ibm.com/developerWorks/cn/linux/cluster；于磊等。多服务器中的负载平衡与容错；系统仿真学报，2001 Vol.13 No.3。

现有的一些集群请求分配器产品和软件系统，如Cisco LoadDirector、IBM Dispatcher、浪潮英信XS、Tuber Linux等都提供轮询、最小连接数优先、最快响应优先等方式的均衡算法。

发明内容

针对上述问题，本发明提出一种能提高集群服务器系统的工作效率的集群服务器的动态负载均衡方法。

本发明提供的技术方案是一种集群服务器的动态负载均衡方法，包括以下步骤：

一、通过仿真测试程序预先测得集群内每台服务器的请求响应饱和值以及临界值，然后输入分配器的配置参数表；

二、在服务器空载状态下，通过分配器发送一个请求读取服务器当前状态的完整过程测得集群内每台服务器的参照响应时间，并录入分配器的配置参数表；

三、在每台服务器开启一个守护进程，实时监测每一个接入服务器TCP连接，并且维护一张TCP连接数据表，记录每个连接的标识符；如果某一连接释放，则从连接数据表中删除对应的记录；若某一连接双方没有数据传输的时间超时，则认为该连接已非正常终止释放；

四、采样周期时间通过配置参数设置；

五、每个采样周期时间到时，分配器通过UDP协议向所有服务器广播读取请求任务，并记录请求发送时间；

六、服务器接收到广播请求后，将当前记录的服务器状态信息回传给分配器；

七、分配器接收每个服务器的响应信息，并计算响应的完成时间，以此作为当前负载计算公式中的参数；如果，某台服务器在规定的时间内未能成功做出响应，则该服务器被视为负载超重，不参与下一个周期的分配权值计算，即不被分配请求任务；

八、分配器根据得到的信息计算每台服务器的负载权值，对进入临界状态的服务器，在其负载权值中加入递减因子；

九、根据所有服务器的平均负载权值计算在下一个周期要达到负载均衡每台服务器所应有的分配权值；

十、将计算出的每台服务器的分配权值分配一个概率空间，存入对应的概率空间表；重新启动计时周期；

十一、当一个新的请求任务达到分配器时，计算出一个[0，1]间的随机数，根据该随机数匹配的概率空间，选定对应的服务器，将新的请求任务转发到被选定的服务器；

十二、当计时周期到后，重复广播发送读取服务器状态信息的请求及计算过程，既转到第五步循环。

本发明的特点：通过请求响应连接的饱和值和对当前响应连接数的修正，更准确地表现了服务器当前的负载状态；通过临界递减因子，加速减少分配给进入临界状态服务器的请求任务数量，有效地抑制了“拒绝服务”现象的发生；通过随机概率分配方式，在请求达到个数不确定的情况下，避免了采用某种固定模式可能产生的将多个请求连续分配到同一台服务器上的现象；所有计算参数均可以通过实际测试得到，避免了人为配置参数的不确定因素。本发明方法简单、执行效率高，适用于异构集群系统、多媒体流服务的动态负载均衡，可有效提高集群服务器系统的工作效率。

附图说明

图1为实测请求连接与响应连接的关系图；

图2为实测请求连接与响应时间的关系图；

图3本发明主函数程序框图；

图4本发明读取服务器状态的广播请求程序框图；

图5本发明接收服务器返回状态信息的程序框图；

图6本发明计算负载权值和分配权值执行调度的程序框图；

图7本发明四台服务器的分配概率空间示意图；

图8本发明请求到达随机概率分配转发程序框图。

具体实施方式

1、理论基础

集群系统的性能特征是由每台服务器的性能特征决定的。单台服务器处理请求任务的能力受到多个部件工作状况的综合影响，涉及到CPU、内存、总线、硬盘、网卡等。任何一个部件出现处理拥塞都会对服务器的性能造成影响，而单台服务器性能的下降又将影响到集群整体性能的下降。

从理论上可以证明：一个集群系统只有在每台服务器所分配的负载与其固有的处理能力成比例时，整个系统达到负载均衡，此时系统工作效率最高。设集群中某台服务器S_i(i＝1，2，…，m)的固有处理能力为ω_i，服务器当前的请求负载为L_i，那么集群系统达到负载均衡时有：

\frac{L_{1}}{ω_{1}} = \cdot \cdot \cdot = \frac{L_{i}}{ω_{i}} = \cdot \cdot \cdot = \frac{L_{m}}{ω_{m}}

理论推导和证明略。

根据这一理论，本发明提出并实现了一个新的负载均衡方法。

将服务器S_i的当前负载与其固有能力之比作为该服务器S_i的当前负载权值，记为

W_{L}^{i} = \frac{L_{i}}{ω_{i}} .

当集群系统达到负载均衡时，有：

W_{L}^{1} = W_{L}^{2} = \cdot \cdot \cdot = W_{L}^{m} .

可以看出，在负载权值的作用下，集群内所有服务器都按比例增加或减少被分配的负载，始终朝着达到负载均衡的目标努力。

2、负载权值的等效变换

但实际中每台服务器并不可能将所有的(固有)处理能力都用于响应请求任务，一部分能力要用于维持系统自身的运转所用。那么一台服务器究竟有多少固有能力用于响应请求任务？首先，看一个实验的具体情况，如图1、图2所示。

从图1可以发现，当服务器中单位时间内到达的请求连接个数达到一定值时，请求连接个数将不再继续增加。这是因为服务器为了保护系统不至于死机而采取的一种措施，也称“拒绝服务”现象。我们称其为服务器请求连接的饱和值C_max ⁱ。另外，从图2中看出，当请求连接个数达到一定值时，平均响应时间明显加快增长。我们称其为服务器工作负荷的临界值C_cri ⁱ，该区间为服务器工作负荷较重(进入饱和状态前)的临界区。

实际上服务器提供用于响应请求任务的固有能力就是使请求连接数达到饱和值的能力。每一个请求任务是在这个能力中平均分配系统资源。我们以C_max ⁱ表示达到饱和时的连接数，并以此作为可用于响应请求的固有能力，有：

ω_{i} = C_{\max}^{i} .

此外，一般情况下服务器的工作负载可以用服务器保持的当前活跃连接数来表示，但简单地用请求连接数来表示服务器当前负载会存在一定的偏差。如某些被请求对象可能要开启更多的进程(线程)执行一些特殊的计算或数据查询工作，这些请求消耗的系统资源大于一般的请求任务；而对于一些只是处于等待状态的请求连接，其消耗的系统资源又小于请求任务正常工作时的开销。

我们采取下述方法来修正当前负载表示。

以一个固定负载L在服务器空载下的响应时间为基准点ΔT，同样的L在服务器当前工作负荷的响应时间为Δt，服务器S_i的当前负载可表示为l_i，有：

l_{i} = \frac{Δt}{ΔT},

理论推倒略。

将变换的服务器固有能力和当前负载表示代入到前面负载权值的计算式，有：

W_{L}^{i} = \frac{l_{i}}{C_{\max}^{i}} .

我们称其为负载权值的等效变换，它更准确地反映了服务器的当前负载状态，固有能力和当前负载都是实际测试的结果。

在实际实现中，我们利用分配器每次获取后端服务器状态的工作负荷为标准负荷L，因为该过程对所有服务器是一样的，并且每次所做的处理也是一样的。

3、实现过程

(1)、利用我们的集群系统性能仿真测试软件或通用的集群系统性能测试软件SpecWeb99、WebBench、Httperf等测试出集群内每台服务器的最大饱和连接数和临界饱和连接数C_max ⁱ、C_cri ⁱ，通过系统管理员输入集群系统配置参数表。

(2)、在服务器空载状态下，通过分配器发送一个请求读取服务器当前状态的完整过程测得集群内每台服务器的参照响应时间ΔT_i，并录入分配器的配置参数表。

(3)、在每台服务器开启一个守护进程，实时监测每一个接入服务器TCP连接，并且维护一张TCP连接数据表，记录每个连接的标识符；如果某一连接释放，则从连接数据表中删除对应的记录；若某一连接双方没有数据传输的时间超时，则认为该连接已非正常终止释放。

(4)、采样周期时间通过配置参数设置。前端分配器依据配置的采样周期时间参数，定时激活该算法的执行程序。分配器运行的主函数首先定义一个链表遍历集群内的所有服务器，每一项包括一个struct_response结构用于存放服务器返回的当前状态参数，以及一个指向下一个服务器的指针p-＞next；程序根据配置的时间参数设置循环时间，循环时间到则调用broadcast函数，否则循环等待。主函数程序流程框图见附图3。

(5)、每个采样周期时间到时，分配器通过UDP协议向所有服务器广播读取请求任务，并记录请求发送时间。广播请求程序首先将响应的服务器个数清零，即response_count＝0，并将已做出响应的服务器标记清零，即flag＝0；然后发出请求响应广播；发出请求任务之后，启动接受响应程序。接受响应程序首先启动定时期，以记录响应时间超时，对于响应时间超时的服务器作为负载过重或通信故障处理，不参加后续的负载均衡分配处理过程；定时器启动后，调用接受线程receive_thread，等待服务器响应消息的到来。广播请求任务程序及响应接受任务程序的流程框图见附图4。

(6)、服务器接收到广播请求后，将当前记录的服务器状态信息回传给分配器。

(7)、分配器接收每个服务器的响应信息。如果全部服务器已做出响应，则不理睬该响应信息，即p-＞next＝NULL；分配器首先获取响应服务器的IP，即p-＞response.ip＝＝回应机器ip；对该服务器做已响应标记，即p-＞response.flag＝1；计算该服务器当前做出响应的时间，即求取响应时间Δt_i，并记入参数表；判断是否所有服务器都已做出响应；如果还有服务器未做出响应则判断是否响应超时；如果超时时间到，调用超时函数，某台服务器在规定的时间内未能成功做出响应，则该服务器被视为负载超重，不参与下一个周期的分配权值计算，即不被分配请求任务；响应过程结束，关闭定时器，转入新一轮的调度计算处理，即调用scheduler()。接受程序流程框图见附图5。

(8)、分配器根据得到的信息计算每台服务器的负载权值，负载权值计算公式

W_{L}^{i} = \frac{l_{i}}{C_{\max}^{i}} .

对进入临界状态的服务器，在其负载权值中加入递减因子。

调度程序根据服务器链表判断每个服务器是否成功地传递了当前状态信息，p-＞response.flag＝0？；如果服务器未能成功传递状态信息，则令其负载权值为0，p-＞response.weight＝0，此服务器的分配概率将为0。对每台成功传递了状态信息的服务器需判断其是否进入临界负载状态，p-＞response.n＞＝C_cri。为了避免服务器出现“拒绝服务”现象，我们在服务器系统进入临界区后，通过加倍减少再分配请求任务个数来抑制负载增加速度的方法，也称作临界加速递减算法。计算临界递减因子δ，公式如下：

其中C_cri ⁱ为服务器S_i的临界值，n_i为服务器当前实际存活的响应个数，当负载进入临界区(即

n_{i} &GreaterEqual; C_{cri}^{i}

)后，递减因子开始启动。公式中的

为服务器的临界深度，不同的服务器临界深度不同，负载继续增加的速度也不一样，所以，我们用参数σ来调整。根据仿真实验，一般σ的取值为2或3较为合适。

重新计算负载权值。采用增加临界服务器的负载权值来达到抑制分配的请求任务个数的目的，在负载权值计算公式中加入递减因子，有：

W_{L}^{i} = \frac{l_{i}}{C_{\max}^{i}} + δ .

保存新的负载权值为p-＞response.W_L。

转入处理下一个服务器，p＝p-＞next；判断是否所有服务器处理结束，p-＞next＝NULL？；全部服务器处理结束转下一步。

(9)、根据所有服务器的平均负载权值计算在下一个周期要达到负载均衡每台服务器所应有的分配权值。

计算平均负载权值。集群系统当前平均负载权值 W_L，有：

\overset{&OverBar;}{W_{L}} = \frac{1}{M} Σ_{i = 1}^{M} W_{L}^{i} .

负载权值反映了集群中各台服务器当前的负载状况，在算法实施过程中还需要根据负载权值和每台服务器之间存在的差异，确定在下一个采样周期内实际应该分配给每台服务器请求任务的比例，这样才能保证集群系统中的所有服务器的负载按比例协调增加或减少，实现负载的平衡调度。

由于，无法事先确定下一个采样周期内会有多少个请求任务到达，因此，将按照每台服务器的能力确定其接收请求任务比例，该比例值也称为服务器当前状况的分配权值。

为达到负载平衡服务器实际调整后应保持的响应个数有：

{\tilde{n}}_{i} = \frac{{\overset{&OverBar;}{W}}_{L}}{W_{L}^{i}} \times n_{i},

公式的推导略。

计算分配权值。有了每台服务器应被分配的请求任务个数，就可以方便地确定每台服务器应具有的分配比例，也即分配权值W_A ⁱ，有：

W_{A}^{i} = \frac{{\tilde{n}}_{i}}{Σ_{i = 1}^{M} {\tilde{n}}_{i}} .

(1)、将计算出的每台服务器的分配权值分配一个概率空间，存入对应的概率空间表，即计算各机器的分配概率pro；重新启动计时周期。

由于分配权值之间不是成整数的比例关系(实际中每台服务器能力的差异也不可能是整数比例关系)，为了实现更准确的负载调度，我们采用随机概率的请求任务分配方式。

上述过程(8)、(9)、(10)的程序流程框图见附图6。

按照分配权值为每台服务器画定一个概率空间，空间的大小就是每台服务器当前的分配权值。附图7给出了4台分配权值分别为0.1、0.15、0.25、0.5的服务器的概率空间。

(11)、当一个新的请求任务达到分配器时，计算出一个[0，1]间的随机数，根据该随机数匹配的概率空间，选定对应的服务器，将新的请求任务转发到被选定的服务器。

由于无法预先确定将要到达的请求个数，所以采用随机概率分配转发方式既可以避免固定分配格式造成的分配不均现象，也可以保证具有较高分配权值的服务器分得更多的请求任务。

分配程序定义一个结构wvalue，该结构包含所有服务器的分配概率pro；定义的服务器链表遍历所有服务器，包括服务器所包含的wvalue，定义指向链表的指针p。

计算[0，1]间的随即数e；判断当前指针指向的服务器的分配概率是否为0，p所指的机器的pro＝0？；如果为0，转向下一个服务器；不为0则判断e是否落在其所指的概率空间内，p-＞wvalue.pro＜e＜＝q-＞wvalue.pro；如果不在则转入取下一个服务器；如果在则命中该服务器，返回指定的服务器q。该服务器作为此次分配转发的对象。

上述过程的程序流程框图见附图8。

(12)、如果没有新的请求到达，则等待计时，当计时周期到后，重复广播发送读取服务器状态信息的请求及计算过程，既转到第五步循环。

Claims

一种集群服务器的动态负载均衡方法，其特征是，包括以下步骤：

1、通过仿真测试程序预先测得集群内每台服务器的请求响应饱和值以及临界值，然后输入分配器的配置参数表；

2、在服务器空载状态下通过分配器发送一个请求读取服务器当前状态的完整过程测得集群内每台服务器的参照响应时间，并录入分配器的配置参数表；

3、在每台服务器开启一个守护进程，实时监测每一个接入服务器TCP连接，并且维护一张TCP连接数据表，记录每个连接的标识符；如果某一连接释放，则从连接数据表中删除对应的记录；若某一连接双方没有数据传输的时间超时，则认为该连接已非正常终止释放；

4、采样周期时间通过配置参数设置；

5、每个采样周期时间到时，分配器通过UDP协议向所有服务器广播读取请求任务，并记录请求发送时间；

6、服务器接收到广播请求后，将当前记录的服务器状态信息回传给分配器；

7、分配器接收每个服务器的响应信息，并计算响应的完成时间，以此作为当前负载计算公式中的参数；如果，某台服务器在规定的时间内未能成功做出响应，则该服务器被视为负载超重，不参与下一个周期的分配权值计算，即不被分配请求任务；

8、分配器根据得到的信息计算每台服务器的负载权值，对进入临界状态的服务器，在其负载权值中加入递减因子；

9、根据所有服务器的平均负载权值计算在下一个周期要达到负载均衡每台服务器所应有的分配权值；

10、将计算出的每台服务器的分配权值分配一个概率空间，存入对应的概率空间表；重新启动计时周期；

11、当一个新的请求任务达到分配器时，计算出一个[0，1]间的随机数，根据该随机数匹配的概率空间，选定对应的服务器，将新的请求任务转发到被选定的服务器；

12、当计时周期到后，重复广播发送读取服务器状态信息的请求及计算过程，即转到第五步循环。