CN103401939A - 一种采用混合调度策略的负载均衡方法 - Google Patents

Abstract

本发明公开了一种采用混合调度策略的负载均衡方法，包括如下步骤：（1）获取小型集群系统状态信息；（2）根据系统中节点的状态信息，获得节点的负载状态；（3）根据节点的负载状态判断小型集群系统是否处于负载均衡状态；（4）当小型集群系统处于负载均衡状态时，按照静态调度策略分配任务，当小型集群系统处于非负载均衡状态时，按照动态调度策略分配任务。本发明采用混合调度策略实现了动态和静态分配的结合，能使系统资源消耗和负载均衡性能达到一个动态的平衡；负载指标评价全面，综合考虑了单个节点自身各性能参数的使用情况和集群中不同节点的性能差异；服务器权值设置更加符合实际情况。

Description

一种采用混合调度策略的负载均衡方法

技术领域

本发明属于小型集群多任务处理领域，具体涉及一种采用混合调度策略的负载均衡方法。

背景技术

随着计算机网络及通信技术的迅速发展，计算机数据处理系统大部分都需要对各种大量数据进行复杂计算，而集群技术是解决大规模数据处理问题的有效手段。然而，在很多集群系统中，各节点的潜在性能的实际利用率相差很大，增加了系统处理任务的时间。因此需要对各节点进行负载均衡。

负载均衡也称为负载分配、负载调度，负载均衡算法包括静态负载均衡算法和动态负载均衡算法。静态负载均衡算法对负载的分配是在进程执行以前的编译阶段完成的，实现简单且容易部署，但是其调度质量严重依赖于对程序所产生的负载的估计精准程度；动态负载均衡算法通过交换系统的状态信息来决定系统负载的分配，实现灵活、有效，但是要以系统开销为代价。

因此上述负载均衡方法都不能更加有效地利用好各节点的潜能，提高系统运行速度。

发明内容

本发明的目的是提供一种对小型集群系统中的任务进行合理分配的方法，以提高系统的运行效率。

本发明是这样实现的：

一种采用混合调度策略的负载均衡方法，包括如下步骤：

（1）获取小型集群系统状态信息；

（2）根据系统中节点的状态信息，获得节点的负载状态；

（3）根据节点的负载状态判断小型集群系统是否处于负载均衡状态；

（4）当小型集群系统处于负载均衡状态时，按照静态调度策略分配任务，当小型集群系统处于非负载均衡状态时，按照动态调度策略分配任务。

所述状态信息是影响小型集群系统中节点权值的性能参数。

所述性能参数为处理器性能、内存空间、磁盘读写速率或网络带宽。以处理器性能为例，处理器性能的值是指CPU处理速率×CPU个数。

所述根据性能参数，获得节点的负载状态的方法为：

A、根据节点i的性能参数pa_ij计算节点i的综合负载指标L_i和权值W_i；

B、自定义区间（a,b），其中0＜a＜b＜1，当L_i∈(0,a]，判断节点i处于轻载状态，当L_i∈(b,1]，判断节点i处于重载状态。

所述根据节点负载状态判断小型集群系统是否处于负载均衡状态的方法为：当系统中所有节点均处于轻载状态或者均处于重载状态时，系统处于负载均衡状态，反之为非负载均衡状态。

所述计算节点i的综合负载指标L_i和权值W_i的步骤为：

a、计算节点i的性能参数pa_ij的值与所有节点中该性能参数最大值Mpa_j的比值bpa_ij，其中性能参数pa_ij的值是表示该节点该性能参数的固有值，Mpa_j＝max{pa_1j,pa_2j,…,pa_nj}，参数i∈[1,n],n为节点个数，参数j∈[1,h],h为参与计算的性能参数的个数

b、计算节点i的综合性能指标D_i

$D_i=\frac{1}{h}(K_1*{\mathrm{bpa}}_{i1}+K_2+{\mathrm{bpa}}_{i2}+\·\·\·+K_j*{\mathrm{bpa}}_{\mathrm{ij}}+\·\·\·+K_h*{\mathrm{bpa}}_{\mathrm{ih}})$

其中，h为参与计算的性能参数的个数，h为正整数，K_j为性能参数比例系数，K_j∈[0,1]且 $\underset{j=1}{\overset{h}{\mathrm{\Σ}}}{K}_j=1;$

c、计算节点i的综合负载指标Li

$L_i=\frac{1}{h}(K_1*{\mathrm{bpa}}_{i1}*{\mathrm{upa}}_{i1}+K_2*{\mathrm{bpa}}_{i2}*{\mathrm{upa}}_{i2}+\·\·\·+K_j{\mathrm{bpa}}_{\mathrm{ij}}{\mathrm{upa}}_{\mathrm{ij}}+\·\·\·+K_h{\mathrm{bpa}}_{\mathrm{ih}}{\mathrm{upa}}_{\mathrm{ih}})$

其中，K_j为性能参数比例系数，K_j∈[0,1]且

upa_ij是节点i在t时刻性能参数pa_ij的值，参数i∈[1,n],n为节点个数，参数j∈[1,h],h为参与计算的性能参数的个数；

d、计算节点i的权值W_i

$W_i=100*\frac{D_i-L_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{D}_i}.$

所述的静态调度策略为加权轮转调度策略。静态调度策略为加权轮转调度策略时，需要有各节点的权值。

所述的动态调度策略为最小链接调度策略。

所述获取小型集群系统状态信息是按设定时间间隔或设定任务数完成后重复进行获取。

所述负载均衡方法优选用于刀片式服务器小型集群系统。

本发明的优点是：采用混合调度策略实现了动态和静态分配的结合，能使系统资源消耗和负载均衡性能达到一个动态的平衡；负载指标评价全面，综合考虑了单个节点自身各性能参数的使用情况和集群中不同节点的性能差异；服务器权值设置更加符合实际情况。该负载均衡方法特别适合刀片式服务器小型集群系统，能够满足这种系统高速高宽带数据计算的需求，提高了该系统大数据量实时运算能力。

附图说明

图1为系统负载均衡状态转变图；

图2实施例中采用混合调度策略的负载均衡方法的流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

以刀片式服务器小型集群系统为例，

如图1所示，集群系统的状态在负载均衡状态和非负载均衡状态之间转换，图1的箭头显示了，系统有可能由负载均衡状态转变为非负载均衡状态，也有可能从非负载均衡状态转变为负载均衡状态，系统也可能在负载均衡状态之间进行转变，也可能在非负载均衡状态之间转变。在负载均衡状态下，适合采用静态调度策略；非负载均衡状态时，适合采用动态调度策略。对于小型集群系统来说，单一的采用某种调度策略所取得的负载均衡效果并不是最优的。

如图2所示，本发明包括如下步骤：

（1）获取小型集群系统初始状态信息；

（2）判断小型集群系统状态；

（3）选择与系统状态相对应的调度策略分配任务；

（4）任务完成，整理输出。

如图2所示，将接收到的集群系统的初始状态信息进行处理，计算出各节点的权值，默认初始状态下，系统处于负载均衡状态。此时，按照静态调度策略分配任务。设置更新状态信息的时间，比如设定时间或者设定分配任务数等。判断更新时间到否：如果没有，继续返回执行静态调度策略；如果到了，则更新系统的状态信息，重新计算各计算节点的权值、判断系统状态。如果系统处于负载均衡状态，则执行静态调度策略。此时，如果任务没有结束，继续判断更新时间到否：如果没有，继续返回执行静态调度策略；如果到了，则更新系统的状态信息，重新计算各计算节点的权值、判断系统状态。如果系统处于非负载均衡状态，则执行动态调度策略。此时，如果任务没有结束，继续判断更新时间到否：如果没有，继续返回执行动态调度策略；如果到了，则更新系统的状态信息，重新计算各计算节点的权值、判断系统状态。静态调度策略选择加权轮转调度策略；动态调度策略选择最小链接调度策略。

计算出各节点的权值的具体方法如下；

由接收到的节点权值性能参数分别找出该类参数的最大值Mpa_j，然后计算得出各个性能指标与其对应指标最大值的比值bpa_j，由公式1计算节点i的综合性能指标D_i，根据需求给各参数设定比例系数K_h，其中K_h∈[0,1]且upa_j是节点i在t时刻参数pa_j的值，由公式2计算节点i在某一时刻的综合负载指标L_i，由公式3计算集群中各节点的权值。自定义区间（a,b），其中0＜a＜b＜1，当L_i∈(0,a]，节点处于轻载状态，当L_i∈(b,1]，节点处于重载状态。当系统中所有节点均处于轻载状态或者均处于重载状态时，系统处于负载均衡状态，反之则为非负载均衡状态。由于系统中同时存在轻载和重载节点时，轻载节点肯定比重载节点早完成任务，从而处在空闲状态，而重载节点仍有任务处理，使得系统整体完成任务的时间变长。因此，判断系统的负载状态，能够优先分配新任务给轻载节点或者对重载节点的任务进行迁移。

公式1：

$D_i=\frac{1}{h}(K_1*{\mathrm{bpa}}_{i1}+K_2+{\mathrm{bpa}}_{i2}+\·\·\·+K_j*{\mathrm{bpa}}_{\mathrm{ij}}+\·\·\·+K_h*{\mathrm{bpa}}_{\mathrm{ih}})$

公式2：

$L_i=\frac{1}{h}(K_1*{\mathrm{bpa}}_{i1}*{\mathrm{upa}}_{i1}+K_2*{\mathrm{bpa}}_{i2}*{\mathrm{upa}}_{i2}+\·\·\·+K_j{\mathrm{bpa}}_{\mathrm{ij}}{\mathrm{upa}}_{\mathrm{ij}}+\·\·\·+K_h{\mathrm{bpa}}_{\mathrm{ih}}{\mathrm{upa}}_{\mathrm{ih}})$

公式3：

$W_i=100*\frac{D_i-L_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{D}_i}$

如上所述的系统状态判断中，如果处于负载均衡状态，选择加权轮转调度策略分配任务；处于非负载均衡状态，选择最小链接调度策略分配任务。每隔一段时间，重新判断系统状态。

Claims (10)

1.一种采用混合调度策略的负载均衡方法，包括如下步骤：

（1）获取小型集群系统状态信息；

（2）根据系统中节点的状态信息，获得节点的负载状态；

（3）根据节点的负载状态判断小型集群系统是否处于负载均衡状态；

（4）当小型集群系统处于负载均衡状态时，按照静态调度策略分配任务，当小型集群系统处于非负载均衡状态时，按照动态调度策略分配任务。

2.根据权利要求1所述的采用混合调度策略的负载均衡方法，其特征在于，所述状态信息是影响小型集群系统中节点权值的性能参数。

3.根据权利要求2所述的采用混合调度策略的负载均衡方法，其特征在于，所述性能参数为处理器性能、内存空间、磁盘读写速率或网络带宽。

4.根据权利要求1所述的采用混合调度策略的负载均衡方法，其特征在于，所述根据性能参数，获得节点的负载状态的方法为：

A、根据节点i的性能参数pa_ij计算节点i的综合负载指标L_i和权值W_i；

B、自定义区间（a,b），其中0＜a＜b＜1，当L_i∈(0,a]，判断节点i处于轻载状态，当L_i∈(b,1]，判断节点i处于重载状态。

5.根据权利要求4所述的采用混合调度策略的负载均衡方法，其特征在于，所述计算节点i的综合负载指标L_i和权值W_i的步骤为：

a、计算节点i的性能参数pa_ij的值与所有节点中该性能参数最大值Mpa_j的比值bpa_ij，其中性能参数pa_ij的值是表示该节点该性能参数的固有值，Mpa_j＝max{pa_1j,pa_2j,…,pa_nj}，参数i∈[1,n],n为节点个数，参数j∈[1,h],h为参与计算的性能参数的个数

b、计算节点i的综合性能指标D_i

$D_i=\frac{1}{h}(K_i*{\mathrm{bpa}}_{i1}+K_2*{\mathrm{bpa}}_{i2}+\·\·\·+K_j*{\mathrm{bpa}}_{\mathrm{ij}}+\·\·\·+K_h*{\mathrm{bpa}}_{\mathrm{ih}})$

其中，h为参与计算的性能参数的个数，h为正整数，K_j为性能参数比例系数，K_j∈[0,1]且 $\underset{j=1}{\overset{h}{\mathrm{\Σ}}}{K}_j=1;$

c、计算节点i的综合负载指标L_i

$L_i=\frac{1}{h}(K_1*{\mathrm{bpa}}_{i1}*{\mathrm{upa}}_{i1}+K_2*{\mathrm{bpa}}_{i2}*{\mathrm{upa}}_{i2}+\·\·\·+K_j{\mathrm{bpa}}_{\mathrm{ij}}{\mathrm{upa}}_{\mathrm{ij}}+\·\·\·+K_h{\mathrm{bpa}}_{\mathrm{ih}}{\mathrm{upa}}_{\mathrm{ih}})$

其中，K_j为性能参数比例系数，K_j∈[0,1]且

upa_ij是节点i在t时刻性能参数pa_ij的值，参数i∈[1,n],n为节点个数，参数j∈[1,h],h为参与计算的性能参数的个数；

d、计算节点i的权值W_i

$W_i=100*\frac{D_i-L_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{D}_i}.$

6.根据权利要求1或4或5任一项所述的采用混合调度策略的负载均衡方法，其特征在于，所述根据节点负载状态判断小型集群系统是否处于负载均衡状态的方法为：当系统中所有节点均处于轻载状态或者均处于重载状态时，系统处于负载均衡状态，反之为非负载均衡状态。

7.根据权利要求6所述的采用混合调度策略的负载均衡方法，其特征在于，所述的静态调度策略为加权轮转调度策略。

8.根据权利要求6所述的采用混合调度策略的负载均衡方法，其特征在于，所述的动态调度策略为最小链接调度策略。

9.根据权利要求1所述的采用混合调度策略的负载均衡方法，其特征在于，所述获取小型集群系统状态信息是按设定时间间隔或设定任务数完成后重复进行获取。

10.根据权利要求1所述的采用混合调度策略的负载均衡方法，其特征在于，所述负载均衡方法优选用于刀片式服务器小型集群系统。

Images