CN100377554C - 一种集群服务器的负载均衡方法 - Google Patents

Abstract

本发明公开了一种集群服务器的负载均衡方法，其步骤如下：①根据服务器集群的服务类型种类定义若干服务类型组G_i②为每个参与负载均衡的服务器节点定义三个参数：服务器节点负载加权系数W_j，t时刻服务器节点绝对负载L_j(t)。③采用轮选的方式选择一个服务类型组G_i，将G_i、R_j(t)和T_j(t)送入流水线处理；④进入流水线处理，每一级流水线处理中进行并行的子处理流程。⑤选择在当前服务类型组G_i中具有最小相对负载的节点，完成一次负载均衡策略的选择；⑥重复步骤③④⑤，完成对服务器节点的负载均衡运算。本发明简单高效，改进了原有均衡策略的不足，保证了各个节点负载均衡的公平性，并解决了服务器群处理不同类型服务的问题，同时易于硬件电路实现。

Description

一种集群服务器的负载均衡方法

技术领域

本发明属于网络集群服务器技术领域，具体涉及一种新的集群系统的处理能力均衡方法，它适用于网络处理器、路由器、交换机等网络设备中对数据流进行负载均衡的处理。

背景技术

随着Internet规模不断增长，各种业务越来越多。由于网络数据流量越来越大，采用单台服务器来处理所有的网络数据流量已经无法满足对于处理性能的要求，取而代之的是采用一组服务器集群，这就要求有高效的负载均衡调度器在服务器集群的前端来合理的分配等待处理的网络流量。

目前，负载均衡调度器采用的负载均衡策略有如下几种：1.轮循均衡：每次对于网络数据流量的处理请求轮流分配给内部的服务器，从1至N然后重新开始，此种均衡算法适合于服务器组中的所有服务器都有相同的软硬件配置并且平均服务请求相对均衡的情况；2.随机均衡：采用随机算法选择一台服务器；3.最少连接数均衡：选择当前工作的服务器中选择绝对负载最小一台服务器，负载衡量的标准可以是服务器正在处理的连接数或是其他的参数；4.处理能力均衡：处理能力均衡中根据每台服务器处理能力的不同为每台服务器分配一个加权系数，加权系数乘以服务器上的绝对负载参数得出相对负载参数，处理能力均衡选择一个相对负载参数最小的服务器；5.动态均衡：所谓动态负载均衡，是根据集群服务器状态(CPU，内存等主要处理部分)来分配任务。这五种均衡策略各有各的特点：第一，二种均衡策略中因为没有引入服务器的反馈信息，均衡策略没有办法根据实际情况进行调整，时间一长各个服务器上的负载会不均衡；第三种均衡策略中虽然引入了服务器的反馈信息，但是没有考虑到不同服务器的处理能力的不同，采用绝对负载参数作为衡量标准，对于服务器的处理能力相差很大的服务集群效果并不好；第四种均衡策略考虑到了不同服务器的处理能力的不同，为每台服务器分配了一个静态加权系数，引入相对负载参数作为衡量标准，从一定程度上提高了负载均衡的效果，这也是我们通常采用的一种均衡策略；第五种均衡策略将服务器的动态负载信息反馈回均衡策略，均衡的实时效果是最好的，但实现的难度较大。

处理能力均衡策略因为良好的负载均衡效果和较低的实现复杂度得到了业界的广泛采用，但主要是采用软件方式实现的。受到软件处理速度的限制，均衡决策的速度有限，实时性效果不是很好，不适合大数据包流量的应用，如对于光网络数据包的处理。采用硬件方式实现处理能力均衡策略有如下的困难：1)随着需要参与均衡的节点数增加，硬件实现的逻辑也更加复杂，降低了硬件的处理效能。2)该均衡策略本身存在小编号节点优先的问题。3)该均衡策略只适合于服务器节点不区分处理数据包的类型，而实际上负载均衡调度控制器后的服务器群是区分服务类别的，比如有的是专门处理Email数据流量，有的是专门处理http流量，有的是专门处理多播流量等等。

发明内容

本发明的目的在于克服上述不足之处，提供一种集群服务器的负载均衡方法，该方法便于硬件实现，克服了原有均衡策略的小编号节点优先的问题，并能解决服务器群区分服务类别的情况。

为实现上述发明目的，一种集群服务器的负载均衡方法，其处理步骤如下：

(1)根据服务器集群的服务类型种类定义服务类型组G_i，i∈[1...P]，P为总的服务类型组的个数；

(2)为每个参与负载均衡的服务器节点定义三个参数：服务器节点负载加权系数W_j，t时刻服务器节点绝对负载L_j(t)，t时刻服务器节点等待时间T_j(t)，j∈[1...N]，N是服务器集群总的服务器节点数；在t＝0时刻将这些参数初始化，负载加权系数根据服务器实际处理能力设定，绝对负载参数和节点等待时间清零；

(3)在负载均衡调度控制器端通过公式(1)算出t时刻每个节点的相对负载R_j(t)，并采用轮选的方式每次选择一个服务类型组G_i参与负载均衡运算，将所选择的G_i以及参数R_j(t)和T_j(t)送入流水线处理的入口端；

R_j(t)＝W_j*L_j(t)             j∈[1...N]                 (1)

(4)若支持的最大服务器节点数为2^q个，N ≤2^q，则流水线共有q级处理；流水线处理的第1级有2^q个服务器节点的参数，其中N个服务器节点的参数来自步骤(3)，其余的为空参数，第1级处理输出的2^q-1个服务器节点参数作为第2级处理的输入，第2级处理输出的2^q-2个服务器节点参数作为第3级处理的输入，依此类推，第k-1级流水线处理输出的2^q-k+1个服务器节点参数作为第k级处理的输入，其中k＝1，2，...，q，则第k级流水线处理中设置有2^q-k个并行的子处理流程，每个子处理流程分别负责处理这2^q-k+1个服务器节点中的两个节点参数，并选出一个节点作为下一级第k+1级流水线的输入；

子处理流程的操作如下：如果两个服务器节点都不属于当前服务类型组G_i，则子处理流程选择为空；如果两个服务器节点只有一个属于当前服务类型组G_i，则子处理流程选择那个属于当前服务类型组G_i的节点；如果两个服务器节点都属于当前服务类型组G_i，则按照如下处理规则：当两个节点的相对负载R_j(t)和R_m(t)不同时，选择有较小相对负载的节点作为子处理流程的输出；如果R_j(t)和R_m(t)相等，选择有较大等待时间的节点作为下一级流水线的输入；如果两个节点的相对负载和等待时间都相同，选择编号小的节点作为子处理流程的输出。当前流水线的所有子处理流程的输出集合作为下一级流水线处理的输入，同时当前服务类型组G_i也输入下一级流水线；

(5)在最后一级流水线，如果选择的是服务器节点o，o ∈[1...N]，则节点o是在当前服务类型组G_i中具有最小相对负载的节点，完成一次负载均衡策略的选择；同时将节点o的等待时间T_o(t)清零，其他节点的等待时间T_j(t)，j≠o，j∈[1...N]都增加一个时间增量ΔT，并更新所有节点的绝对负载L_j(t)，j∈[1...N]；

(6)重复步骤(3)、(4)、(5)，完成对服务器节点的负载均衡运算。

为了验证该设计方法的原理可行性，在Network Simulator仿真环境下，实现该方法的原理模型，并检查了如下的性能指标：

节点负载：每个节点的相对负载(这里用每个服务器节点的数据包的通过带宽作为实际负载的衡量标准。为了简化操作，在原理仿真时将每个节点的点负载加权系数都设为1)。

节点负载的抖动：每个节点的相对负载的波动情况。

其结果见具体实施方式部分，总之本发明简单高效，改进了原有均衡策略的不足，保证了各个节点负载均衡的公平性，并解决了服务器群处理不同类型服务的问题，同时易于硬件电路实现。

附图说明

图1为处理能力负载均衡设计示意图；

图2为流水线的单级处理逻辑流程图；

图3为服务器节点的等待时间计算逻辑流程图；

图4为仿真的拓扑结构图；

图5为采用原有处理能力负载均衡的服务器节点1上的负载波动；

图6为采用改进的处理能力负载均衡的服务器节点1上的负载波动。

具体实施方式

下面结合附图对本发明进行详细的描述：

本发明所述的均衡策略实现方法中，针对不同的服务类型，定义了不同的服务器类型组，依次为G₁，...，G_p，每次采用轮选的方式选择一个服务类型组G_i中的服务器集合作为均衡策略的备选服务器。将属于该集合的服务器参数L_j(t)和W_j(j∈G_i)送入预处理单元，算出R_j(t)，在实际实现时我们可以采用比特移位操作代替公式中乘法操作，然后将R_j(t)和T_j(t)以及G_i送入流水线处理单元，如附图1所示，下面加以具体说明。

我们对处理能力均衡策略进行了改进，引入了节点等待时间和服务类型组的概念，并引入了流水线设计思想，实现步骤如下：

(1)根据服务器集群的服务类型种类定义若干服务类型组G_i，i∈[1...P]，P是总的服务类型组的个数。每一个服务类型组都是一组属于这种服务类型的服务器节点的集合：G_i＝{n_i1，n_i2...，n_ip}。如果某一个服务器节点可以处理几种不同类型的数据流量，那么该服务器节点也可以同时属于几个服务类型组。

(2)为每个参与负载均衡的服务器节点定义三个参数：服务器节点负载加权系数W_j，t时刻服务器节点绝对负载L_j(t)，t时刻服务器节点等待时间T_j(t)，j∈[1...N]，N是服务器集群总的服务器节点数。在t＝0时刻将这些参数初始化，负载加权系数根据服务器实际处理能力设定，绝对负载参数和节点等待时间清零。

(3)在负载均衡调度控制器端通过公式(1)算出t时刻每个节点的相对负载R_j(t)。因为一共有P个服务类型组需要参与负载均衡运算，所以采用轮选的方式每次选择一个服务类型组G_i参与负载均衡运算。轮选方式是这样来操作，假如这一次步骤(3)选择的是第1个服务类型组G₁，则下一次步骤(3)选择第2个服务类型组G₂，依此类推，直到步骤(3)选择了第P个服务类型组G_p，下一次步骤(3)又重新从G₁开始选择。将所选择的G_i以及参数R_j(t)和T_j(t)送入流水线处理的入口端(i∈[1...p]j∈[1...N])。

(4)流水线的处理级数与所支持的最大负载均衡的服务器节点数相关。若支持的最大服务器节点数为2^q(N≤2^q)个，则流水线共有q级处理。流水线处理的第1级有2^q个服务器节点的参数(N个服务器节点的参数来自步骤(3)，其余的为空参数)作为输入，第1级处理输出的2^q-1个服务器节点参数作为第2级处理的输入，第2级处理输出的2^q-2个服务器节点参数作为第3级处理的输入，依此类推。第k-1级流水线(k＝1，2，...，q)处理输入的2^q-k+1个服务器节点参数作为第k级处理的输入，则第k级流水线处理中设置有2^q-k个并行的子处理流程，每个子处理流程分别负责处理这2^q-k+t个服务器节点中的两个节点参数，并选出一个节点作为下一级第k+1级流水线的输入。子处理流程的操作如下：如果两个服务器节点都不属于当前服务类型组G_i，则子处理流程选择为空；如果两个服务器节点只有一个属于当前服务类型组G_i，则子处理流程选择那个属于当前服务类型组G_i的节点；如果两个服务器节点都属于当前服务类型组G_i，则按照如下处理规则：当两个节点的相对负载R_l(t)和R_m(t)不同时，选择有较小相对负载的节点作为子处理流程的输出；如果R_l(t)和R_m(t)相等，选择有较大等待时间的节点作为下一级流水线的输入；如果两个节点的相对负载和等待时间都相同，选择编号小的节点作为子处理流程的输出。当前流水线的所有子处理流程的输出集合作为下一级流水线处理的输入，同时当前服务类型组G_i也输入下一级流水线。

(5)在最后一级流水线，如果选择的是服务器节点o(o∈[1...N])，则节点o是在当前服务类型组G_i中具有最小相对负载的节点，完成一次负载均衡策略的选择。同时将节点o的等待时间T_o(t)清零，其他节点的等待时间T_j(t)(j≠o，j∈[1...N])都增加一个时间增量ΔT，并更新所有节点的绝对负载L_j(t)，(j∈[1...N])。

(6)重复步骤(3)、(4)、(5)，从而实现对服务器节点的负载均衡运算。

R_j(t)＝W_j*L_j(t)               (j∈[1...N])              (1)

每一级流水线处理由若干个并行的子处理流程组成，服务器节点参数送入流水线处理单元后，每一个子处理流程完成对两个服务器节点参数的处理：假设这两个节点为l和m，首先检查这两个服务器节点是否都属于当前服务类型组G_i，如果都不属于G_i，则子处理流程的输出选择为空；如果其中只有一个服务器节点属于当前服务类型组G_i，则子处理流程选择包含于当前服务器类型组G_i的节点作为输出；如果这两个服务器节点都属于当前服务类型组G_i，则比较两个节点的相对负载R_l(t)和R_m(t)，选择相对负载较小的节点输出，如果两者的相对负载相同，则比较两者的等待时间T_l(t)和T_m(t)，选择等待时间较大的节点输出，如果两者的等待时间相同，选择服务器编号较小的节点输出，参看附图2。加入服务类型组的概念能为提供不同类型服务的服务器集合作负载均衡，避免了单一的服务器服务划分带来的盲目性；加入节点等待时间概念解决了比较逻辑中隐含的小编号服务器优先的条件。

待选服务器集合经过上述流水线的处理后得到符合如下条件的最终选择的服务器节点o：1.属于当前服务类型组G_i，2.具有最小的相对负载R_o，3.如果属于当前服务类型组G_i的且具有最小相对负载的节点不只一个，则节点o是满足上述条件的节点集合中具有最大的等待时间T_o(t)。得到最终选择的服务器节点o后，将这个节点的等待时间T_o(t)清零，同时其他节点的等待时间都增加一个增量ΔT，如果某个节点的等待时间达到了系统支持的最大值，则该节点的等待时间不再增加。同时更新所有服务器节点的负载参数。参看附图3。

具体的仿真拓扑结构图如图4所示：

负载均衡调度器总的接入带宽为5Gps的数据流量，均衡器有10个输出口分别连接服务器群中10台服务器。

数据流量的速率被分为如下5个数量等级：

0.2Mbps

0.3Mbps

1Mbps

2Mbps

5Mbps

数据流定义两种传输方式：

CBR(Const Bit Rate)：恒定速率传输；

On/off：数据包是以某个速率间歇传输；

数据包的长度定义三种分布方式：

相等长度：数据流中所有包的长度都相等；

平均分布：数据流中数据包长度在某个长度范围内均匀分布；

正态分布：数据流中的数据包长度以某个长度为中心正态分布；

对原有的处理能力均衡策略和改进的处理能力均衡策略进行了大量的对比

测试，选取了一个较为经典的测试配置以说明结果：

数据流带宽	数据流数量	数据流传输方式	数据包长度
				0.2Mbps	1000	CBR	正态分布
0.3Mbps	1000	CBR	正态分布
				1Mbps	500	CBR	正态分布
2Mbps	500	CBR	正态分布
				5Mbps	500	CBR	正态分布
出口总流量	5Gpbs

上述配置中数据流均采用恒定速率传输模型，数据流中数据包的长度采用正态分布，(均值为1000字节，方差为400字节)。对原有的处理能力均衡策略和改进了处理能力均衡策略进行仿真实验，得到在两种均衡策略下各个服务器节点所分配的处理数据流量带宽以及数据流量带宽的抖动，如图5和图6所示。图5和图6的横坐标为时间，单位为10^-3秒，纵坐标为所分配的处理数据流量带宽，单位为Mbps。从仿真的结果来看，改进的处理能力均衡策略能更好的符合公平原则，各个服务器上处理的数据流量带宽有更小的带宽抖动。

在经过NS的原理仿真基础上，我们采用Verilog语言完成了采用上述流水线方式的实现负载均衡方案，并采用Lightspeed公司的0.25μm工艺的综合原件库生成网表，该电路的延时要求可以满足125Mhz的运行频率的要求。经过实际检验证明该负载均衡电路的设计方案很好的满足负载均衡的要求，并且能实现在高速硬件电路中，满足了对于高处理性能的需求。

Claims (1)

1.一种集群服务器的负载均衡方法，其处理步骤如下：

(1)根据服务器集群的服务类型种类定义服务类型组G_i，i∈[1...P]，P为总的服务类型组的个数；

(2)为每个参与负载均衡的服务器节点定义三个参数：服务器节点负载加权系数w_j，t时刻服务器节点绝对负载L_j(t)，t时刻服务器节点等待时间T_j(t)，j∈[1...N]，N是服务器集群总的服务器节点数；在t＝0时刻将这些参数初始化，负载加权系数根据服务器实际处理能力设定，绝对负载参数和节点等待时间清零；

(3)在负载均衡调度控制器端通过公式(1)算出t时刻每个节点的相对负载R_j(t)，并采用轮选的方式每次选择一个服务类型组G_i参与负载均衡运算，将所选择的G_i以及参数R_j(t)和T_j(t)送入流水线处理的入口端；

R_j(t)＝W_j*L_j(t)    j∈[1...N]    (1)

(4)若支持的最大服务器节点数为2^q个，N≤2^q，则流水线共有q级处理；流水线处理的第1级有2^q个服务器节点的参数，其中N个服务器节点的参数来自步骤(3)，其余的为空参数，第1级处理输出的2^q-1个服务器节点参数作为第2级处理的输入，第2级处理输出的2^q-2个服务器节点参数作为第3级处理的输入，依此类推，第k-1级流水线处理输出的2^q-k+1个服务器节点参数作为第k级处理的输入，其中k＝1，2，...，q，则第k级流水线处理中设置有2^q-k个并行的子处理流程，每个子处理流程分别负责处理这2^q-k+1个服务器节点中的两个节点参数，并选出一个节点作为下一级第k+1级流水线的输入；

子处理流程的操作如下：如果两个服务器节点都不属于当前服务类型组G_i，则子处理流程选择为空；如果两个服务器节点只有一个属于当前服务类型组G_i，则子处理流程选择那个属于当前服务类型组G_i的节点；如果两个服务器节点都属于当前服务类型组G_i，则按照如下处理规则：当两个节点的相对负载R_j(t)和R_m(t)不同时，选择有较小相对负载的节点作为子处理流程的输出；如果R_j(t)和R_m(t)相等，选择有较大等待时间的节点作为下一级流水线的输入；如果两个节点的相对负载和等待时间都相同，选择编号小的节点作为子处理流程的输出；当前流水线的所有子处理流程的输出集合作为下一级流水线处理的输入，同时当前服务类型组G_i也输入下一级流水线；

(5)在最后一级流水线，如果选择的是服务器节点o，o∈[1...N]，则节点o是在当前服务类型组G_i中具有最小相对负载的节点，完成一次负载均衡策略的选择；同时将节点o的等待时间T₀(t)清零，其他节点的等待时间T_j(t)，j≠o，j∈[1...N]都增加一个时间增量ΔT，并更新所有节点的绝对负载L_j(t)，j∈[1...N]；

(6)重复步骤(3)、(4)、(5)，完成对服务器节点的负载均衡运算。

Images