CN101465875A - 一种基于网络定位的负载均衡算法 - Google Patents

Abstract

本发明属于计算机对等网络计算领域。针对现有负载均衡算法存在的问题，结合结构化P2P系统领域的研究工作，提出了适用于结构化P2P系统的基于网络定位的负载均衡算法。它将结点的处理能力和节点的物理位置关系协同考虑，以一种快速的网络定位机制实现任务调度和负载调节。本算法把负载转移与网络定位技术有机结合起来。周期性的运行本算法，当系统中某个节点的负载较轻时，这个节点以自己为中心，与坐标数在一个特定范围的一群节点构成一个星型结构，这个范围可以根据节点的聚集系数CC来进行选取，节点的聚集系数可以反映网络的局部密度。然后，在这个物理位置相近的区域进行负载转移。如果本算法应用在大规模网络中，还可以作一个扩展。

Description

一种基于网络定位的负载均衡算法

技术领域

本发明属于计算机对等网络计算领域，具体涉及结构化P2P系统中一种基于网络定位的负载均衡算法。

背景技术

信息时代，技术发展日新月异。计算机网络技术也取得了飞速的进步，其中新兴的对等(P2P)网络技术便是技术创新的产物。P2P网络的发展，从最初的共享音乐信息的Napster，到“被人称奇的软件产品”的Gnutella再到现在的基于Distributed Hash Table(DHT)的Chord，Pastry，CAN等等，其可扩展性和稳定性不断地提高，同时网络的对等、自治程度也越来越高。

当前，在P2P网络环境下的分布实时数据交换的一个核心问题是负载均衡。因为因特网特别是P2P网络当中的视频和音频流量越来越大，当这些处理集中在一个较小的局域网时，很可能会造成负载过重，从而使系统性能急剧下降，甚至崩溃。处理这些问题的主要方法是分布式系统中资源管理和任务调度。传统C/S，B/S模式下的均衡算法，如基于任务优先图、基于任务相互关系的静态负载均衡算法，以及基于扩散、梯度以及维交换的动态负载均衡算法得到了广泛的研究，在实现上，这些大都考虑了负载分配的单一参数制约因素，这与实际应用中系统软硬件环境有很大的差异，另外，这些算法大都没有考虑到节点之间的物理位置相近性，在物理位置相近的节点之间进行负载转移，从而减少负载转移中的系统开销。

进来也出现了一些算法，如k-nary树等，它们考虑到了节点之间物理位置关系，并且利用这种关系在物理位置相近的节点之间进行负载转移。但是，这些算法在原有DHT结构的基础上再增加了一层，使整个系统的复杂度增加，容错能力下降。

还有部分算法利用TTL来获取节点之间的物理位置信息，研究表明用这种方法所获得的位置信息是不准确的。现在已经很少有算法用这种方法来计算物理位置信息。而网络定位技术得到了广泛的使用。

发明内容

本发明针对现有负载均衡算法存在的问题，结合在在结构化P2P系统领域的研究工作，提出了适用于结构化P2P系统的基于网络定位的负载均衡算法。它将结点的处理能力和节点的物理位置关系协同考虑，以一种快速的网络定位机制实现任务调度和负载调节。本算法把负载转移与网络定位技术有机结合起来。首先，指定的一组参考节点(例如：m个)。在一个基于DHT的结构化网络中，路标节点可以从本结构化网络中选择，也可以在因特网中任意的选择。接着，系统中的每个节点计算到这组路标节点的距离，从而得到每个节点的网络坐标，把节点的网络坐标映射到m维的笛卡儿空间上，这个笛卡儿空间就叫路标空间。研究表明两个物理位置相近的DHT节点在路标空间上的位置也是相近的，并且路标节点越多，相近性误差就越小。然后，把m维坐标空间映射到一维坐标空间并保存坐标的相近性，从而，每一个DHT节点A的网络坐标都对应一个坐标数，本算法把这个数作为节点的ID。当系统中某个节点的负载较轻时，这个节点以自己为中心，与坐标数在一个特定范围的一群节点构成一个星型结构，这个范围可以根据节点的聚集系数CC来进行选取，节点的聚集系数可以反映网络的局部密度。然后，在这个物理位置相近的区域进行负载转移。如果本算法应用在大规模网络中，还可以作一个扩展。

本算法大致可以分为三大部分，第一部分是系统预处理，每个节点根据网络定位得到的距离信息确定自身的ID以及初始化环境和算法参数。第二部分是出现负载较轻节点时，此节点根据聚集系数，负责构建一个星型结构区域，并收集这个区域的每个节点的负载信息备使用。第三部分是中心节点根据收集到的信息在这块区域上进行负责转移。

本算法作为一种快速的高校的负责转移算法，应用非常方便，负载的转移可以利用DHT中的离开和加入操作来完成，不需要引入新的操作。并且本算法利用网络定位算法来分配节点的ID，很好的把节点间的物理位置关系在P2P系统的节点中表现出来了。

聚集系数

本算法创新性的引入了节点聚集系数。在对等网络的负载均衡算法中利用聚集系数来动态调节负载转移区域的大小，极大提高了算法的效率。节点的聚集系数可以反映网络的局部密度。聚集系数越大，局部密度越高。聚集系数定义为： $\mathrm{CC}=\frac{\left|E\left({\mathrm{\Γ}}_v\right)\right|}{C_{k_v}^2},$ 其中Γ_v＝{i:d(i，v)＝1}，v为取得的中心点。本算法根据聚集系数的大小来调整星型结构区域。当某个区域的聚集系数较高时，可以适当的缩小这个局域，具体表现在算法中就是适当的减小δ的值。

构建星型结构

本算法利用改进的分布式网络定位技术产生的坐标数作为节点的IDs，研究表明，网络坐标相近的节点，物理位置也相近。并且，路标节点越多，相近性误差就越小。由于从网络坐标映射到坐标数时，保存了节点间物理位置的相近性关系，所以，坐标数(IDs)相近的节点，物理位置也相近。在基于网络定位的负载均衡算法中，构建星型结构区域需要以下几个步骤：

1)结构化P2P系统的每一个节点周期性地计算系统局部利用率utl_LA，聚集系数CC和负载转移阀值T_A(T_A＝(utl_L_A+ε)×CA，utl_LA为系统局部利用率，C_A为节点A的能力，ε为可调参数)，ε用来在负载均衡质量和负载转移开销之间取得折中，ε为0时，负载均衡质量最好，但此时负载转移开销也最大。

2)当节点A的负载L_A小于T_A时，A节点通知坐标数满足条件|H_i-H_A|<δ(H_i、H分别为其它节点和本节点的坐标数，δ为常量)的节点，其中δ的值可以根据聚集系数来动态的调整，然后，系统并以A为中心构造一个星型结构，如图2。

3)节点A获得周围每一个过载节点需要转移的虚拟服务器的索引及其负载大小，并按负载从小到大的顺序排列成一个链表a；同样，节点A也会获得周围每一个负载较轻节点能够接受的负载数量(T_i-L_i)，包括节点A本身，并按负载数从小到大的顺序排成一个链表b。实验表明，δ值为CC*log(N)时具有良好的负载均衡效果。

生成负载转移策略

系统中负载较轻节点完成星型结构和链表a，b的组织之后，接着进行负载转移。

链表a中的每一个虚拟服务器V与链表a里符合条件(T_i-L_i)>＝load(V)中(T_i-L_i)值最小的节点匹配，然后进行利用DHT中的离开和加入操作把虚拟服务器从过载节点转移到负载较轻节点。然后，删除a，b链表中相应的结点。这个过程一直进行直到链表a为空或者星型结构中没有节点能够接收剩下的虚拟服务器(链表a不为空)，这时，节点A通知其它各节点解散星型结构。

基于网络定位的负载均衡算法中，负载的转移可以利用DHT中的离开和加入操作来完成，不需要引入新的操作。同时需要转移的虚拟服务器索引和负载过轻节点的剩余能力按从小到大的顺序分布在链表中排列，从而，生成负载转移策略的速度非常快。另外，负载在物理位置相近的节点之间进行，大大地节约了系统带宽和延时等资源。系统中的节点周期性地执行负载均衡算法，所以，本算法能够适应动态P2P系统。

对于大规模网络，如果需要加快负载的扩散能力，当匹配完成后，链表a不为空，即还有虚拟服务器没有被转移，这时可以拓展星型结构，即通知δ＝<|H_i-H_A|<η的节点与原来不能进行负载转移的过载节点构成星型结构，并按上面的方法进行负载转移。转移完成后，解散星型结构。

附图说明

图1：传统负载转移系统结构图。

图2：结构化P2P系统中基于网络定位的负载均衡算法图。

具体实施过程

1)算法运行的环境

基于网络定位的负载均衡算法在以Chord为基础的P2P网络上实现。本算法可以作为大规模对等计算网络中用于均衡负载，提高计算速度的核心算法。应用此算法运行的环境参数默认配置值如下：

表1  环境参数

说明：

系统运行过程中，以上各参数的值以系统的实际情况为准。

算法本利所利用的配置参数值如下：

表2  算法参数

说明：

a)ε为计算负载转移阀值的可调参数，用来在负载均衡质量和负载转移开销之间取得折中，ε为0时，负载均衡质量最好，但此时负载转移开销也最大。

b)CC为聚集系数，本算法根据聚集系数的大小来调整星型结构区域。

c)N为系统的节点数。

2)算法的初始化

首先，利用坐标数初始化每个节点的ID。假设有m个路标节点，一个DHT节点A到它们的距离可表示成A的网络坐标<d₁，d₂，...，d_m>。如果把节点A的网络坐标映射到m维笛卡儿空间上，这个笛卡儿空间就叫路标空间。本算法实验将使用15个路标节点，实验表明利用15个路标节点足够产生相近性误差极小的坐标信息。然后，利用网络定位技术，把15维坐标空间映射到一维坐标空间并保存坐标的相近性。从而每一个DHT节点A的网络坐标都对应一个坐标数。网络坐标相近的节点，它们对应的坐标数大小也是相近的。

其次，每个节点用表1的参数值进行初始化，系统运行过程中动态调整这些参数。系统每隔60s周期性的运行本算法，当某个节点的负载小于负载转移阀值T_A时，此节点开始运行网络定位负载均衡算法。

3)算法过程

周期性运行本算法时，当某个周期中节点A的负载L_A小于T_A时，根据星型结构构建机制，利用DHT结构的一次查询操作，A节点以自己为中心并在查询过程中通知坐标数满足条件|H_i-H_A|<δ的所有i节点构造一个物理位置相邻的星型结构区域。仿真实验表明，δ值为CC*log(N)时具有良好的负载均衡效果。

a)同时，在查询过程当中，如果某个节点i满足加入星型结构的条件，则i节点会把信息发送给中心节点A，这个信息包括：

(1)如果i节点是过载节点，在它应该给A节点发送需要转移出去的虚拟服务器的索引及其每个的负载大小，A节点会收集这些信息并按负载从小到大的顺序排列成一个链表a。

(2)如果i节点是负载较轻节点，在它应该给A节点发送本节点能够接受的负载数量(T_i-L_i)，包括节点A本身，A节点也会收集这些信息并按负载数从小到大的顺序排成一个链表b。这个过程的伪代码如下：

//以A为中心组织一个星型结构和链表a，b

Procedure organize_starlike_structure(A，a，b)

{

i＝A；

do{

if(i∈(|H_A-H_i|<δ))

    通知i加入到A组织的星型结构中；

if(L_i>T_i)

a.join(指向i的虚拟服务器的指针，虚拟服务器负载)；//加入链表a

if(L_i<T_i)

b.join(指向i的指针，i的剩余能力)；//加入链表b

i＝i.successor；

}while(i！＝A)；

return；

}

c)系统中负载较轻节点完成星型结构和链表a，b的组织之后，接着在这块物理位置相邻的区域进行负载转移。

步骤1：链表a中的每一个虚拟服务器V与链表a里符合条件(T_i-L_i)>＝load(V)中(T_i-L_i)值最小的节点匹配。

步骤2：利用DHT中的离开和加入操作把虚拟服务器从过载节点转移到负载较轻节点，并删除a，b链表中相应的结点。

步骤3：循环执行前面两个步骤，直到链表a为空或者星型结构中没有节点能够接收剩下的虚拟服务器(链表a不为空)，这时，节点A通知其它各节点解散星型结构。

对于大规模网络，如果需要加快负载的扩散能力，当匹配完成后，链表a不为空，即还有虚拟服务器没有被转移，这时可以拓展星型结构，即通知δ＝<|H_i-H_A|<η的节点与原来不能进行负载转移的过载节点构成星型结构，并按上面的方法进行负载转移。转移完成后，解散星型结构。算法的伪代码如下：

//节点A运行负载转移算法

Procedure Load_balancing_Algorithm(A，a，b)

{

  if(L_A<T_A)

   {

     organize_starlike_structure(A，a，b)；

     把链表a，b从小到大排列；

     p＝a；q＝b；   //a，b分别为虚服务器链表和剩余能力链表

     while(p)

     {

       while(q)

        {

        if(p.L<q.C)//p指向的虚服务器的负载小于q指向的节点的剩余能力

         {

          把p指向的虚拟服务器转移到q指向的接收节点；

         S＝p.next；

         T＝q.next；

         delete p and q；

         p＝S；

         q＝T；

         break；

        }

      q＝q.next；

      }

    if(！q)p＝q；

    }

   }

  解散星型结构；

}

Claims (3)

1.聚集系数

本算法创新性的引入了节点聚集系数。在对等网络的负载均衡算法中利用聚集系数来动态调节负载转移区域的大小，极大提高了算法的效率。节点的聚集系数可以反映网络的局部密度。聚集系数越大，局部密度越高。聚集系数定义为： $\mathrm{CC}=\frac{\left|E\left({\mathrm{\&Gamma;}}_v\right)\right|}{C_{k_v}^2},$ 其中Γ_v＝{i:d(i，v)＝1}，v为取得的中心点。本算法根据聚集系数的大小来调整星型结构区域。当某个区域的聚集系数较高时，可以适当的缩小这个局域，具体表现在算法中就是适当的减小δ的值。

2.构建星型结构

本算法利用改进的分布式网络定位技术产生的坐标数作为节点的IDs，研究表明，网络坐标相近的节点，物理位置也相近。并且，路标节点越多，相近性误差就越小。由于从网络坐标映射到坐标数时，保存了节点间物理位置的相近性关系，所以，坐标数(IDs)相近的节点，物理位置也相近。在基于网络定位的负载均衡算法中，构建星型结构区域需要以下几个步骤：

1)结构化P2P系统的每一个节点周期性地计算系统局部利用率utl_LA，聚集系数CC和负载转移阀值T_A(T_A＝(utl_LA+ε)×C_A，utl_LA为系统局部利用率，C_A为节点A的能力，ε为可调参数)，ε用来在负载均衡质量和负载转移开销之间取得折中，ε为0时，负载均衡质量最好，但此时负载转移开销也最大。

2)当节点A的负载L_A小于T_A时，A节点通知坐标数满足条件|H_i-H_A|<δ(H_i、H分别为其它节点和本节点的坐标数，δ为常量)的节点，其中δ的值可以根据聚集系数来动态的调整，然后，系统并以A为中心构造一个星型结构。

3)节点A获得周围每一个过载节点需要转移的虚拟服务器的索引及其负载大小，并按负载从小到大的顺序排列成一个链表a；同样，节点A也会获得周围每一个负载较轻节点能够接受的负载数量(T_i-L_i)，包括节点A本身，并按负载数从小到大的顺序排成一个链表b。实验表明，δ值为CC*log(N)时具有良好的负载均衡效果。

3.生成负载转移策略

系统中负载较轻节点完成星型结构和链表a，b的组织之后，接着进行负载转移。

链表a中的每一个虚拟服务器V与链表a里符合条件(T_i-L_i)>＝load(V)中(T_i-L_i)值最小的节点匹配，然后进行利用DHT中的离开和加入操作把虚拟服务器从过载节点转移到负载较轻节点。然后，删除a，b链表中相应的结点。这个过程一直进行直到链表a为空或者星型结构中没有节点能够接收剩下的虚拟服务器(链表a不为空)，这时，节点A通知其它各节点解散星型结构。

基于网络定位的负载均衡算法中，负载的转移可以利用DHT中的离开和加入操作来完成，不需要引入新的操作。同时需要转移的虚拟服务器索引和负载过轻节点的剩余能力按从小到大的顺序分布在链表中排列，从而，生成负载转移策略的速度非常快。另外，负载在物理位置相近的节点之间进行，大大地节约了系统带宽和延时等资源。系统中的节点周期性地执行负载均衡算法，所以，本算法能够适应动态P2P系统。

对于大规模网络，如果需要加快负载的扩散能力，当匹配完成后，链表a不为空，即还有虚拟服务器没有被转移，这时可以拓展星型结构，即通知δ＝<|H_i-H_A|<η的节点与原来不能进行负载转移的过载节点构成星型结构，并按上面的方法进行负载转移。转移完成后，解散星型结构。

Images