CN104615498A - 一种基于任务迁移的集群系统动态负载均衡方法 - Google Patents

Abstract

本发明公开了一种基于任务迁移的集群系统动态负载均衡方法，该方法的步骤包括对当前集群系统的负载均衡情况进行分析；根据分析结果，对各个计算节点进行初始任务量分配；以集群系统内各个计算节点的负载监控信息为依据，将计算任务在各个计算节点间进行任务迁移，实现动态负载均衡。本发明所述技术方案使集群系统在运行过程中能够以各个计算节点的负载信息状况为依据，计算任务合理的在各个计算节点间进行迁移，负载最轻的计算节点接收负载最重的计算节点迁移来的计算任务，使得各个计算节点的负载尽可能的均衡；通过本发明所述技术方案可以有效地提升计算速率，提升对计算任务的协调和整合，提升集群系统的并行计算能力。

Description

一种基于任务迁移的集群系统动态负载均衡方法

技术领域

本发明涉及负载均衡方法，特别是涉及一种基于任务迁移的集群系统动态负载均衡方法。

背景技术

在实际应用中，由于集群系统中某个或部分节点可能发生损坏或更新升级，这使得集群系统中的各个计算节点配置将不同，面对相同的任务时，处理的速度将会有差别，这样大大降低了集群的并行性。同时目前传统的负载均衡集群系统还存在一定的局限，集中反映在自适应性、可扩展性以及异构性三个方面。因此，对于异构系统而言负载均衡的效果并不显著。通过本文设计的可以有效解决这一问题，。

因此，需要提供一种基于任务迁移的动态负载均衡方法，在集群系统运行过程中能够以各个计算节点的负载信息状况为依据，计算任务合理的在各个计算节点间进行迁移，以满足在集群系统中，实现负载均衡的同时，提高计算速率和集群系统的并行性能。

发明内容

本发明要解决的技术问题是提供一种基于任务迁移的集群系统动态负载均衡方法，以解决集群系统中某个或部分节点损坏、计算量差异过大或更新升级，造成的计算节点配置不均而导致的处理速度降低和系统并行性能差的问题。

为解决上述技术问题，本发明采用下述技术方案

一种基于任务迁移的集群系统动态负载均衡方法，该方法的步骤包括

对当前集群系统的负载均衡情况进行分析；

根据分析结果，对各个计算节点进行初始任务量分配；

以集群系统内各个计算节点的负载监控信息为依据，将计算任务在各个计算节点间进行任务迁移，实现动态负载均衡。

优选的，对集群系统中各个节点的负载情况进行分析；对集群系统中处于空闲状态的节点进行统计。

优选的，所述初始任务量分配的步骤包括

计算每个节点至少分配到的数据个数Avg_num：Avg_num＝Pic_num/m，其中m为计算节点的个数，Pic_num为数据个数；

若数据个数Pic_num能够被m整除，则每个计算节点被分配的数据个数为Node_num，此时Node_num＝Avg_num＝Pic_num/m；

若数据个数Pic_num不能够被m整除，得到余数Mod_num：Mod_num＝Pic_num％m，则此时：Node_num＝Avg_num＝Pic_num/m，Node_num0＝Avg_num+Mod_num＝Pic_num/m+Pic_num％m。其中，Node_num0为负载最轻计算节点被分配的数据个数，Node_num为剩余每个节点被分配的数据个数。

优选的，所述负载均衡的步骤包括

调度管理节点将初始任务量分配给各个计算节点；

每个计算节点在完成一组数据的计算后，向调度管理节点发送当前负载信息，若剩余任务负载的数量不为0，则等待调度管理节点的反馈信息，否则，等待其他计算节点任务迁移信息；

调度管理节点负责监控各个计算节点的负载状况，并存储相应的负载信息，若当前计算节点的剩余任务负载量为0，其他计算节点的剩余任务负载量不为0，则开始负载均衡调动；

计算节点接收调度管理节点的反馈信息，判断系统内计算节点的当前的负载情况，开始从负载最重的计算节点向负载最轻的计算节点进行任务迁移；

直至系统中所有计算节点的任务负载量为0，结束并行计算。

优选的，所述负载信息包括当前节点的剩余任务负载量N_i和计算效率E_i。

优选的，所述监控各个计算节点的负载状况的步骤包括

根据负载监控信息，(N_k-n)*E_k＝n*E_i，n＝(E_k+E_i)/(N_k*E_k)，其中，k为计算负载最重的计算节点，n为迁移任务量，i为计算负载最重的计算节点，N_k为节点k的剩余任务负载量，E_k和E_i为节点k与节点i的计算效率；

向负载最重的计算节点k发送负载均衡标识、负载最轻的计算节点的标号i以及迁移任务量n；

向负载最轻计算节点i发送负载均衡标识flag、节点p的编号以及迁移任务量n。

优选的，所述计算节点接收调度管理节点的反馈信息的步骤包括

若flag＝0，则继续进行计算，负载均衡并未启动；

若flag＝1且剩余任务量为0，则当前计算节点i为负载最轻的计算节点，此时的反馈信息包括负载均衡标识flag、负载最重的计算节点的编号k以及迁移任务量n，接收由负载最重计算节点k迁移来的任务，更新计算节点i的数据，继续进行计算；

若flag＝1且剩余任务量不为0，则当前计算节点k为负载最重的计算节点，这时的反馈信息包括负载均衡标识flag、负载最轻的计算节点的编号i以及迁移任务量n，发送n个任务给负载最轻计算节点i，更新当前计算节点k的数据，继续进行计算。

优选的，该方法进一步包括在MPI并行变成模型中进行动态负载均衡。

本发明的有益效果如下：

本发明所述技术方案本发明所述技术方案使集群系统在运行过程中能够以各个计算节点的负载信息状况为依据，计算任务合理的在各个计算节点间进行迁移，负载最轻的计算节点接收负载最重的计算节点迁移来的计算任务，使得各个计算节点的负载尽可能的均衡；通过本发明所述技术方案可以有效地提升计算速率，提升对计算任务的协调和整合，提升集群系统的并行计算能力。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明；

图1示出一种基于任务迁移的集群系统动态负载均衡方法的示意图。

具体实施方式

本发明公开了一种基于任务迁移的集群系统动态负载均衡方法，该方法的步骤包括

第一步分析集群系统的负载均衡

在集群群系统中，由于各个计算节点的配置不同会出现负载不均衡这一现象。当某些计算节点负载较重时，而其他某些计算节点则负载较轻或者处于空闲状态，这将严重影响集群系统的并行计算效率。负载均衡作为集群系统构建的核心技术之一，其算法是否高效直接影响了集群系统的性能，能够有效均衡集群系统中各个计算节点的负载，可以用集群系统的可扩展性、负载信息的监控、通信开销的大小以及任务的迁移策略等来衡量算法的优劣。

负载均衡主要包括静态负载均衡和动态负载均衡，无论在集群系统中实现静态负载平衡还是动态负载平衡，都能够有效提高集群系统的计算性能。静态负载均衡是集群系统实现负载均衡的基本方法，是指在集群系统运行前各个计算节点的任务量已明确，各个计算节点各自的计算任务尽量同时完成，从而降低计算时间，有效地提升集群系统的并行计算能力。

动态负载均衡是指在集群系统运行过程中能够以各个计算节点的负载信息状况为依据，计算任务合理的在各个计算节点间进行迁移，负载最轻的计算节点接收负载最重的计算节点迁移来的计算任务，使得各个计算节点的负载尽可能的均衡，从而有效地提升计算速率，提升对路面图像数据的协调和整合，提升集群系统的并行计算能力。然而在静态负载均衡中，计算任务的实际运行时间与估算值有较大的差异，这主要是由于对计算任务的任务量估算不准确和每个计算节点完成各自任务所需的时间存在很大的差异造成的。此外，静态负载均衡没有考虑计算节点的负载状况而均衡负载，这造成了集群系统资源利用和计算性能的降低。而动态负载均衡可以有效地弥补静态负载均衡的不足之处，集群系统运行前各个计算节点的计算任务量不需要被明确。特别在对任务量估算不准确的情况下，动态负载均衡的效果显著。本文设计的负载均衡算法正是一种动态负载均衡算法。

第二步设计集群系统的任务分配策略

本文的任务划分采用块分配策略，即将具体的计算任务划分成若干个连续的任务块，集群系统中每个计算节点负责一块数据的计算。

设集群系统的计算任务是对大量的图像数据进行处理，图像个数为Pic_num，计算节点个数为m，各个计算节点至少分配到的图像个数为Avg_num。

为了实现图像信息的并行计算，首先需要计算出Avg_num，即：Avg_num＝Pic_num/m；

如果子计算节点的个数m不能被Pic_num整除，则会得到余数Mod_num，即：Mod_num＝Pic_num％m；

因此，每个计算节点分配的图像个数为Node_num，若余数Mod_num！＝0，则将余数划分给集群系统中负载最轻的计算节点，即：

Node_num＝Avg_num＝Pic_num/m，

Node_num0＝Avg_num+Mod_num＝Pic_num/m+Pic_num％m。

其中，Node_num0为负载最轻计算节点被分配的数据个数，Node_num为剩余每个节点被分配的数据个数。

这样就得到各个计算节点的初始任务分配量，调度管理节点据此分配任务。

第三步设计基于任务迁移的动态负载均衡算法

一般情况下，动态负载均衡算法需要解决负载的监控、任务的迁移策略以及迁移的实现这三个主要问题。

因此，动态负载均衡算法也相应的包括负载监控、任务迁移策略以及迁移实现的具体方法。这三个部分并不是相互独立的，集群系统以各个计算节点的负载监控信息为依据，结合任务迁移策略，计算任务能够在各个计算节点间进行合理的迁移，使得各个计算节点的负载尽可能的均衡，从而有效地提升计算速率，提升集群系统的并行计算能力。

设一个集群系统包含1个调度管理节点和m个计算节点，各个计算节点的计算性能为E_i(i＝1，2，……，m)，即每个计算节点处理一张图像数据所需的计算时间，计算任务的任务量为Pic_n张图像，各个计算节点的任务负载量为N_i(i＝1，2，……，m)，各个计算节点的计算运行时间为T_i(i＝1，2，……，m)，负载最轻与负载最重节点的计算运行时间分别为T_min、T_max，即max(T₁，T₂，...，T_m)、min(T₁，T₂，...，T_m)。

本文基于任务迁移的动态负载均衡算法产生额外开销的根本因素是任务的迁移，为了减少任务的迁移次数，仅当N_i＝0而N_j！＝0(其中i！＝j)时，才启动负载均衡，重新对负载最重的计算节点p和负载最轻的计算节点i进行任务分配，尽可能让它们在负载均衡后同时完成自己的计算，即T_i＝T_p。本文的动态负载均衡算法的具体步骤如下：

(1)调度管理节点根据任务分配策略进行任务的划分，并将划分后的任务分配给各个子计算节点；

(2)每个计算节点在完成一幅图像数据的计算后，向调度管理节点发送当前负载信息，包括当前节点的剩余任务负载量N_i与计算效率E_i。若N_i！＝0，则等待调度管理节点的反馈信息，否则等待其他计算节点的任务迁移信息；

(3)调度管理节点负责监控各个计算节点的负载状况，并存储相应的负载信息。若N_i＝0而N_j！＝0(其中i！＝j)，则启动负载均衡。根据负载监控信息，计算出负载最重的计算节点k，进而计算出迁移任务量n，即：

(N_k-n)*E_k＝n*E_i

由式3-5可得到n＝(E_k+E_i)/(N_k*Ek)，则向负载最重的计算节点k发送负载均衡标识flag、负载最轻的计算节点的编号i以及迁移任务量n，向负载最轻计算节点i发送负载均衡标识flag、节点p的编号以及迁移任务量n；

(4)计算节点接收调度管理节点的反馈信息。若flag＝0，则继续进行计算，负载均衡并未启动；若flag＝1且剩余任务量为0，则当前计算节点i为负载最轻的计算节点，这时的反馈信息包括负载均衡标识flag、负载最重的计算节点的编号k以及迁移任务量n，接收由负载最重计算节点k迁移来的任务，更新计算节点i的数据，继续进行计算；若flag＝1且剩余任务量不为0，则当前计算节点k为负载最重的计算节点，这时的反馈信息包括负载均衡标识flag、负载最轻的计算节点的编号i以及迁移任务量n，发送n个任务给负载最轻计算节点i，更新当前计算节点k的数据，继续进行计算；

(5)直至所有的任务负载量N_i均为0，则结束并行计算。

第四步实现负载均衡算法

在MPI并行编程模型的支持下，实现本文的动态负载均衡算法，为了更好的对动态负载均衡算法实验的分析说明，故设负载最轻的计算节点为i节点，负载最重的计算节点为p节点，迁移任务量为n，负载均衡标识为flag。

(1)调度管理节点  调度管理节点是集群系统的调度管理节点，负责任务分配、监控调度和数据存储，其具体实现代码如下：

where(各个计算节点任务负载量N均为0)

接收任意计算节点的负载消息；

将负载信息存储到对应的监控信息结构中；

if(N_i＝＝0)then

计算得到负载最重节点p；

计算得到迁移任务量n；

if(n>0)then

负载均衡标识flag置1；

发送负载均衡标识flag、节点p的编号和迁移任务量n给节点i；

发送负载均衡标识flag、节点i的编号和迁移任务量n给节点p；

End for

(2)计算节点  计算节点是集群系统的实际运算节点，负责一个计算任务的实际计算工作，其具体实现代码如下：

for g＝0to Buf[0]-1

计算所分配任务；

发送自身负载状况给主节点，即调度管理节点；

接收调度管理节点反馈信息；

if(g＝＝Buf[0]-1&&flag＝＝1)then

接收节点p发送的任务量为n的任务；

Buf[0]-1＝Buf[0]-1+n；

更新自身数据分布；

if(g！＝Buf[0]-1&&flag＝＝1)then

发送任务量为n的任务给节点i；

Buf[0]-1＝Buf[0]-1-n；

更新自身数据分布；

End for

综上所述，本发明所述技术方案使集群系统在运行过程中能够以各个计算节点的负载信息状况为依据，计算任务合理的在各个计算节点间进行迁移，负载最轻的计算节点接收负载最重的计算节点迁移来的计算任务，使得各个计算节点的负载尽可能的均衡；通过本发明所述技术方案可以有效地提升计算速率，提升对计算任务的协调和整合，提升集群系统的并行计算能力。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.一种基于任务迁移的集群系统动态负载均衡方法，其特征在于，该方法的步骤包括

对当前集群系统的负载均衡情况进行分析；

根据分析结果，对各个计算节点进行初始任务量分配；

以集群系统内各个计算节点的负载监控信息为依据，将计算任务在各个计算节点间进行任务迁移，实现动态负载均衡。

2.根据权利要求1所述的集群系统动态负载均衡方法，其特征在于，

对集群系统中各个节点的负载情况进行分析；

对集群系统中处于空闲状态的节点进行统计。

3.根据权利要求1所述的集群系统动态负载均衡方法，其特征在于，所述初始任务量分配的步骤包括

计算每个节点至少分配到的数据个数Avg_num：Avg_num＝Pic_num/m，其中m为计算节点的个数，Pic_num为数据个数；

若数据个数Pic_num能够被m整除，则每个计算节点被分配的数据个数为Node_num，此时Node_num＝Avg_num＝Pic_num/m；

若数据个数Pic_num不能够被m整除，得到余数Mod_num：

Mod_num＝Pic_num％m，则此时：Node_num＝Avg_num＝Pic_num/m，

Node_num0＝Avg_num+Mod_num＝Pic_num/m+Pic_num％m。其中，

Node_num0为负载最轻计算节点被分配的数据个数，Node_num为剩余每个节点被分配的数据个数。

4.根据权利要求1所述的集群系统动态负载均衡方法，其特征在于，所述负载均衡的步骤包括：

调度管理节点将初始任务量分配给各个计算节点；

每个计算节点在完成一组数据的计算后，向调度管理节点发送当前负载信息，若剩余任务负载的数量不为0，则等待调度管理节点的反馈信息，否则，等待其他计算节点任务迁移信息；

调度管理节点负责监控各个计算节点的负载状况，并存储相应的负载信息，若当前计算节点的剩余任务负载量为0，其他计算节点的剩余任务负载量不为0，则开始负载均衡调动；

计算节点接收调度管理节点的反馈信息，判断系统内计算节点的当前的负载情况，开始从负载最重的计算节点向负载最轻的计算节点进行任务迁移；

直至系统中所有计算节点的任务负载量为0，结束并行计算。

5.根据权利要求4所述的集群系统动态负载均衡方法，其特征在于，所述负载信息包括当前节点的剩余任务负载量N_i和计算效率E_i。

6.根据权利要求5所述的集群系统动态负载均衡方法，其特征在于，所述监控各个计算节点的负载状况的步骤包括

根据负载监控信息，(N_k-n)*E_k＝n*E_i，n＝(E_k+E_i)/(N_k*E_k)，其中，k为计算负载最重的计算节点，n为迁移任务量，i为计算负载最重的计算节点，N_k为节点k的剩余任务负载量，E_k和E_i为节点k与节点i的计算效率；

向负载最重的计算节点k发送负载均衡标识、负载最轻的计算节点的标号i以及迁移任务量n；

向负载最轻计算节点i发送负载均衡标识flag、节点p的编号以及迁移任务量n。

7.根据权利要求6所述的集群系统动态负载均衡方法，其特征在于，所述计算节点接收调度管理节点的反馈信息的步骤包括

若flag＝0，则继续进行计算，负载均衡并未启动；

若flag＝1且剩余任务量为0，则当前计算节点i为负载最轻的计算节点，此时的反馈信息包括负载均衡标识flag、负载最重的计算节点的编号k以及迁移任务量n，接收由负载最重计算节点k迁移来的任务，更新计算节点i的数据，继续进行计算；

若flag＝1且剩余任务量不为0，则当前计算节点k为负载最重的计算节点，这时的反馈信息包括负载均衡标识flag、负载最轻的计算节点的编号i以及迁移任务量n，发送n个任务给负载最轻计算节点i，更新当前计算节点k的数据，继续进行计算。

8.根据权利要求1所述的集群系统动态负载均衡方法，其特征在于，该方法进一步包括在MPI并行变成模型中进行动态负载均衡。