CN101404664A - 一种基于节点聚类的网络定位优化算法 - Google Patents

Abstract

本发明属于计算机对等网络计算领域，针对现有的基于虚拟空间的网络坐标定位算法的不足，提出了一种基于节点聚类的网络定位优化算法-Dumpling。本算法将一种基于网络距离的节点聚类算法与物理质量弹簧系统有机结合，先将网络中的节点按照它们之间的网络距离分组，形成一个个的聚类，然后在聚类之间与聚类内部分别运行基于物理质量弹簧系统的数值收敛算法来减小各个聚类的相对误差。本算法可以尽最大可能保持已经在虚拟空中形成的较为准确的网络拓扑结构，避免了误差较小某个聚类中的节点被系统中其他的误差较大的节点所影响而出现的系统波动状况，而且还可以进一步减小聚类内部的节点之间的误差，以致在虚拟空间中还原出更加真实的网络拓扑结构。

Description

一种基于节点聚类的网络定位优化算法

技术领域

本发明属于计算机对等网络计算领域，具体涉及一种基于节点聚类的网络定位优化算法。

背景技术

在建立大型分布式的网络系统时，要想系统能够高效率的运行将会是一个非常大的挑战，比如基于内容分发网络的内容分发服务、流媒体覆盖网多播、内容可编址网络(Content Addressable Network)，以及像Gnutella这样的大规模对等网络(Peer-to-Peer)文件共享系统。因为这些系统在选择通信路由时具有非常大的灵活性，它们必须克服Internet的不稳定性、多变性，并且根据网络性能，智能地选择相应的路由来通信。例如在对等网络文件共享系统中，节点如果想达到理想状态下最好数据传输性能，必须获得一些全局性的信息，比如该节点和其他共同下载同一文件的所有节点之间的可用带宽等。在端到端的路由数目较小的情况下，像可用带宽、网络延迟等这些动态网络性能参数可以较快并准确地测量出来，但是随着系统中主机数目的增多，端到端的路由数目也随着增加，要想获得这些参数的全部准确数值是不切实际的，因为计算这些参数值将耗费大量的时间，严重降低系统的运行性能。

最近，为了解决分布式系统的性能最优化和系统规模扩展之间的矛盾，一些研究机构开始尝试设计新的算法，这些算法可以在不需要发送探测包的情况下，并且在较小的时间代价和空间代价下，准确预测出大规模主机节点之间的网络距离，这类算法统称为网络定位算法。网络定位算法中所描述的网络距离，有别于传统意义上的网络距离，它不仅仅是端到端的网络延迟，还包含网络带宽、网络拓扑结构等属性。网络定位算法除了具有速度优势外，还具有节省网络带宽资源、减小网络拥塞发生概率的优势。网络定位算法使用单一的物理量来描述多个网络属性，不仅便于应用开发，而且使系统能够更加准确地定位网络节点，大大提高网络通信性能。

已有的网络定位算法，大多采用了一种基于虚拟空间的方式。在这种方式中，系统中的每一个主机都被分配了一个低维虚拟空间的虚拟坐标，然后根据少量的主机之间的延迟数据，再根据特定的算法生成该节点的虚拟坐标。当系统中的主机都有一个比较稳定和准确的虚拟坐标后，如果要得到两节点之间的延迟，不必再发送类似于RTT的探测包，只需使用两点之间的距离公式，即可计算出两点之间的距离。示意图如图1所示。基于虚拟空间的网络定位算法的目标可概括为以下几点：1)能够把任意复杂度的网络结构，映射到一个多维的可测量的虚拟空间中；2)将网络结构中的重要因素，比如节点之间的网络延迟、网络带宽和拓扑结构等因素，在虚拟空间中完全的复制出来；3)综合多个网络属性的网络距离公式，便于应用实现。但是，在已有的基于虚拟空间的网络定位算法中，除了能基本完成第一个目标之外，离第二、三个目标还相去甚远。它们大多注重减小针对一个节点的局部误差，而忽视针对多个节点集合的全局误差。随着系统中主机节点数目的增加，除了容易造成坐标波动的情况外，还会出现映射拓扑结构混乱的局面，最致命的是在网络应用程序当中，会导致客户端在传递数据时选择错误的路由进行通信，大大降低了系统的运行性能。

发明内容

本发明针对现有的基于虚拟空间的网络坐标定位算法的不足，提出了一种基于节点聚类的网络定位优化算法-Dumpling。本算法将一种基于网络距离的节点聚类算法与物理质量弹簧系统有机结合，先将网络中的节点按照它们之间的网络距离分组，形成一个个的聚类，然后在聚类之间与聚类内部分别运行基于物理质量弹簧系统的数值收敛算法来减小虚拟空间中节点之间的网络距离与现实网络情况的距离的绝对值之差，即相对误差。如果数值收敛发生在聚类之间，则相对误差收敛方将把通过物理质量弹簧收敛算法计算得出的误差收敛信息传递给属于同一聚类的其他节点，然后此聚类中的所有节点将按照此信息进行整体误差收敛。如果数值收敛发生在某个聚类内部的两个节点之间，则两节点之间使用物理质量弹簧系统的数值收敛算法来收敛误差。这样的话，可以尽最大可能保持已经在虚拟空中形成的较为准确的网络拓扑结构，避免了误差较小某个聚类中的节点被系统中其他的误差较大的节点所影响而出现的系统波动状况，而且还可以进一步减小聚类内部的节点之间的误差，以致在虚拟空间中还原出更加真实的网络拓扑结构。

从原理上角度可以将本算法分为两大部分，第一个部分是新节点加入系统时对其进行聚类的机制，包括节点获得已存在的聚类的信息、系统聚类半径的比较，新节点等待时间阈值的确定。第二个部分是虚拟误差收敛部分，包括基于物理质量弹簧系统的数值收敛方式，聚类中节点之间的误差收敛信息传递，与节点的虚拟坐标更新。

本算法可以专门独立作为一套网络定位系统的核心算法，也可以夹杂在其他的网络应用系统中使用，以此来改善该系统某些性能，例如最近节点的选择、中心节点的选择等。

节点聚类机制

Dumpling主要解决的问题是新节点加入系统时的聚类问题。首先新节点有一个初始的虚拟坐标，然后挂起并等待其他节点发来的信息，以此来获得相关误差收敛的信息。此信息包括：

(1)聚类半径。用来决定是否加入一个已经存在的聚类，记为r.

(2)发送该信息的节点的所属聚类的根节点的IP地址，记为IP_root.

(3)发送该信息的节点与其所属聚类的根节点的IP地址的往返时延，记为D_r.

(4)发送该信息的节点与新节点之间的RTT，记为D.

(5)新节点等待的时间阈值t.若节点的等待时间超过此阈值，则该节点以自身为根节点，创建一个新的聚类。

假设当前有新节点A，若在时间阈值t内，有已经存在的节点B向A发送信息包，并且包含了上述信息，则A节点首先比较r值与D_r、D的大小：如果B节点为某个聚类的根节点，则直接比较r与D，若D＜＝r，则A节点加入B所在的聚类，并且更新其聚类信息；如果B节点存在于某个聚类中且不为其根节点，则根据Triangulated heuristic的下界比较r与D+D_r，若D+D_r＜＝r，则A节点加入B节点所在的聚类。若在时间阈值t之后，节点A仍然没有加入任何聚类，则以A为根节点，创建一个新的聚类。

聚类半径的选择策略

网络定位中的节点与节点之间的距离，并不是以实际两节点的地理距离为参照的，而是其网络距离。网络距离一般用两节点之间的RTT来表示，单位为毫秒。聚类半径也是如此，一般聚类半径的选择要满足以下几个条件：

(1)使得系统中的聚类之间的网络距离尽可能的大。

(2)使得系统中的任何一个聚类内部的节点之间的网络距离尽可能的小。

(3)尽量避免“孤岛”节点的存在，即某个聚类中只包含一个节点。

然而要使得系统的聚类半径在较短时间内满足以上三个条件几乎是不可能的，所以这要根据系统中的当前节点之间距离的状况来动态调整聚类半径，并不断的更新系统中的聚类信息。Dumpling算法采用的方式是：系统中的每一个聚类将自身节点间的平均距离传递给一个应用服务器(这里假设Dumpling算法与某个具体的网络应用相结合或者是专用网络定位系统的中心服务器)，应用服务器对每一个聚类的内部平均距离按升序排序，然后选取平均距离处于中间位置并且偏小那个数值作为新的聚类半径，这样既可以考虑到使得聚类之间的网络距离进一步偏大，内部距离进一步偏小，还可以顾及到某些聚类中的半径减小而出现“孤岛”节点增加过快的局面。新的聚类半径出现后，系统中的节点重新聚类，但并不是完全重新开始，而是原先聚类中的根节点根据新的聚类半径剔除不满足条件的节点。这些节点重新挂起，重复节点聚类机制。值得注意的是，系统在更新系统半径后，并不对一些聚类之间或者内部的节点距离进行重新统计，而是一个重复累加、计算平均值并且排序、选取的过程。

新节点等待的时间阈值的选择策略

在节点聚类机制中的时间等待阈值的选择与实际的应用系统密切相关，并且还与该应用的普及程度存在一定的联系。设定时间阈值的目的是：新节点若在该阈值内没有加入任何聚类信息，则以自身为根节点，创建一个新的聚类。一般等待时间阈值的选择要尽可能的同时满足以下两个条件：

(1)若系统中存在一个新节点可以加入的聚类，时间阈值足够大，大到能够在该阈值内使得新节点加入到该聚类中。

(2)若系统中不存在一个新节点可以加入的聚类，时间阈值足够小，小到尽可能不浪费时间，让该节点自立新聚类。

同聚类半径的选择一样，时间阈值的确定也跟系统的历史记录相关，并且系统能在一个时间段内找到一个最佳的时间阈值的可能性不大。Dumling采取的方式是：将系统中的每个聚类中的每个节点的等待时间值(即：加入到一个聚类中之前的等待之间或者自立一个新的聚类之前的等待的时间)的平均值上传到中心服务器，然后按升序对其进行排序，选取平均距离处于中间位置并且偏大那个数值作为新的时间阈值，这样既可以保证新节点有足够的时间来加入到一个可以加入的已存在的聚类，也能尽最大可能不浪费新根节点的等待时间。系统在更新新节点等待时间阈值后，并不对当前系统的新节点等待值重新进行统计，而是一个重复累加、计算平均值并且排序、选取的过程。

整体的误差收敛策略

Dumpling最大的特色在于它的整体误差收敛策略。当系统中的某个聚类中的某个节点接受到了其他节点的相关误差收敛信息，并且其他节点来自不同的聚类，那么除了更新自身的虚拟坐标以此来减小误差外，接受到误差收敛信息的节点还会将此信息传递给属于同一个聚类中的所有其他节点。这样做的最大好处是能够保持已经形成的虚拟网络拓扑结构，还能够加快一个聚类中的所有节点的相对误差的收敛速度。

Dumpling的整体无擦汗收敛策略其示意图如图2所示。在图2中，节点A获得了到N2的RTT值，A和N2节点之间发生虚拟误差收敛，经过计算得出其A坐标应更新到A′点，由于在此之前节点A、B、C相互之间的实际网络距离皆小于或者等于一个阈值Θ(聚类半径)，形成了一个聚类.在A点与N2点发生虚拟误差收敛后，A点将收敛信息也传递给了B、C两节点，所以B、C和A节点同时朝A节点相对于N2的误差收敛方向移动.假设聚类半径足够小，A与N2之间的RTT值足够大，则可将A、B、C三点看成一个节点，这样可以只在一次虚拟误差触发条件后同时对多个节点的虚拟坐标进行误差收敛，还可以保护已经形成的误差较小的虚拟网络结构。

附图说明

图1：现有的基于虚拟空间的网络定位系统原理示意图。

图2：Dumpling算法示意图。

具体实施过程

整个Dumpling算法的部署需要分为服务器和普通节点两种版本，其中普通节点也可以单独部署作为非中心化版本，但是会缺少动态的聚类半径选择策略与动态的时间阈值的选择策略，对性能和误差的收敛精度造成一定的影响。Dumpling算法可以作为单独的网络定位系统的核心算法，也可以作为改进大型的对等网络应用中某些关键性能指标的辅助算法。

普通节点版本

(1)变量描述

假设一个新加入系统的节点n_a，n_a当前在虚拟空间中的虚拟坐标为c_a，其中c_a被初始化为一固定值。系统中存在一个已经加入的节点n_g，n_g当前在虚拟空间中的虚拟坐标为c_g。n_g属于一个聚类C_g，n_g与C_g的根节点r_g之间的RTT值为r_gr。n_a与n_g两点之间的RTT值为r_ag。系统当前的聚类半径为Θ。

(2)算法过程

算法输入：c_a，c_g，r_ag，r_gr，Θ，t₁，Δt，C_a

算法输出：C_a′，c_a′

说明：C_a为n_a节点的初始聚类信息，它的初始状态为空，聚类信息指的是该节点所在聚类中的根节点和成员的相关信息；C_a′为n_a节点的聚类信息，其值不等于初始聚类信息C_a；c_a′为更新后的n_a的虚拟坐标，t₁为当前系统时间，Δt为新节点的等待时间阈值。

算法步骤：

1)n_a为新加入的节点并从系统中某个节点n_g处获得了r_ag，r_gr，c_g与Θ的信息，系统开始计时，持续更新t₁.

2)计算n_a与C_g中根节点r_g的距离：

a)若n_g＝r_g，则直接判断r_ag.如果r_ag≤Θ，则n_a加入n_g所属的聚类并更新C_a为C_a′；若R＞Θ，则转入(3).

b)若n_g≠r_g，根据Triangulated heuristic距离预测方法，计算R＝r_ag+r_gr，

若R≤Θ，则n_a加入n_g所属的聚类并更新C_a为C_a′；若R＞Θ，则转入(3).

3)n_a根据c_a和c_g计算出与n_g在虚拟空间中的两点距离为D_ag，并计算出e_ag＝|D_ag-r_ag|，再根据物理质量弹簧数值收敛算法将c_a更新为c_a′.

4)n_a节点挂起，等待下一次虚拟误差收敛.

a)若n_a的聚类信息仍为C_a并且当前系统时间t₂满足(t₂-t₁)≤Δt，，则转入(1).

b)若n_a的聚类信息仍为C_a并且当前系统时间t₂满足(t₂-t₁)＞Δt，，则转入(5).

c)若n_a的聚类信息C_a已经更新为C_a′，则转入(6).

5)以n_a为根节点建立一个新的聚类，并更新C_a为C_a′.

6)系统中的节点挂起，等待虚拟误差收敛。若任意两节点发生虚拟误差收敛，则运行ClusterMove过程，ClusterMove只在已有聚类信息的节点中运行，

其伪代码如下：

说明：rtt_ij为节点i与j的RTT值，节点i当前已经加入了一个聚类或者已成为一个聚类的根节点.

ClusterMove(rtt_ij){

        if(节点j当前没有加入到系统中某个聚类){

             If(rtt_ij＜Θ){

                 j.join(Cluster.(i))；//节点j加入i所在聚类

                 Vivaldi(i，j，rtt_ij)；//单个节点i相对于j进行误差收敛

             }

             Else{

               Cluster(i).Move；//节点i所在聚类所有节点相对节点j进行误差收敛

             }

      }

      Else If(节点j已经加入了系统某个聚类){

           Cluster(i).Move；//节点i所在聚类所有节点相对节点j进行误差收敛

      }

}

服务器版本

服务器的主要作用是跟踪记录当前系统的聚类信息；根据一定的公式计算出当前系统的较佳聚类半径与时间等待阈值，然后发放给各个聚类的根节点。

(1)变量描述

T＝{t₁...t_i...t_n}：为当前系统的每个聚类的新节点平均等待时间，共有n个聚类。

D＝{d₁...d_i...d_n}，为当前系统的每个聚类的中节点之间的平均距离，共有n个聚类。

(2)算法过程

算法输入：T，D.

算法输出：newTime，newRadius.

1)Sort(T，D)By Ascend To(T′，D′)；//将T，D排序，排序后的结果分别存入T′，D′。//此时T′＝{t₁′...t_i′...t_n′}，D′＝{d₁′...d_i′...d_n′}。其中i为已排序列表中的处于中间值的序号。

2)newTime＝t′_i+1，newRadius＝d′_i-1，//更新时间阈值与聚类半径。

3)Dispach(newTime and new Radius，All roots of clustering).//把新的时间阈值和聚类半径发送给系统中的每一个聚类的根节点。

4)等待下一次的重新计算。

Claims (5)

1.一种基于节点聚类的网络定位优化算法-Dumpling.

本算法将一种基于网络距离的节点聚类算法与物理质量弹簧系统有机结合，先将网络中的节点按照它们之间的网络距离分组，形成一个个的聚类，然后在聚类之间与聚类内部分别运行基于物理质量弹簧系统的数值收敛算法来减小虚拟空间中节点之间的网络距离与现实网络情况的距离的绝对值之差，即相对误差。如果数值收敛发生在聚类之间，则相对误差收敛方将把通过物理质量弹簧收敛算法计算得出的误差收敛信息传递给属于同一聚类的其他节点，然后此聚类中的所有节点将按照此信息进行误差收敛。如果数值收敛发生在某个聚类内部的两个节点之间，则两节点之间使用物理质量弹簧系统的数值收敛算法来收敛无差。这样的话，可以尽最大可能保持已经在虚拟空中形成的较为准确的网络拓扑结构，避免了误差较小某个聚类中的节点被系统中其他的误差较大的节点所影响而出现的系统波动状况，而且还可以进一步减小聚类内部的节点之间的误差，以致在虚拟空间中还原出更加真实的网络拓扑结构。

2.Dumpling算法的聚类机制

首先新加入系统的节点有一个初始的虚拟坐标，然后挂起并等待其他节点发来的信息，以此来获得相关误差收敛的信息。此信息包括：

(1)聚类半径。用来决定是否加入一个已经存在的聚类，记为r.

(2)发送该信息的节点的所属聚类的根节点的IP地址，记为IP_root.

(3)发送该信息的节点与其所属聚类的根节点的IP地址的往返时延，记为D_r.

(4)发送该信息的节点与新节点之间的RTT，记为D.

(5)新节点等待的时间阈值t.若节点的等待时间超过此阈值，则该节点以自身为根节点，创建一个新的聚类。

假设当前有新节点A，若在时间阈值t内，有已经存在的节点B向A发送信息包，并且包含了上述信息，则A节点首先比较r值与D_r、D的大小：如果B节点为某个聚类的根节点，则直接比较r与D，若D＜＝r，则A节点加入B所在的聚类，并且更新其聚类信息；如果B节点存在于某个聚类中且不为其根节点，则根据Triangulated heuristic的下界比较r与D+D_r，若D+D_r＜＝r，则A节点加入B节点所在的聚类。若在时间阈值t之后，节点A仍然没有加入任何聚类，则以A为根节点，创建一个新的聚类。

3.Dumpling算法的聚类半径的选择策略

系统中的每一个聚类将自身节点间的平均距离传递给一个应用服务器(这里假设Dumpling算法与某个具体的网络应用相结合或者是专用网络定位系统的中心服务器)，应用服务器对每一个聚类的内部平均距离按升序排序，然后选取平均距离处于中间位置并且偏小那个数值作为新的聚类半径，这样既可以考虑到使得聚类之间的网络距离进一步偏大，内部距离进一步偏小，还可以顾及到某些聚类中的半径减小而出现“孤岛”节点增加过快的局面。新的聚类半径出现后，系统中的节点重新聚类，但并不是完全重新开始，而是原先聚类中的根节点根据新的聚类半径剔除不满足条件的节点。这些节点重新挂起，重复节点聚类机制。值得注意的是，系统在更新系统半径后，并不对一些聚类之间或者内部的节点距离进行重新统计，而是一个重复累加、计算平均值并且排序、选取的过程。

4.Dumpling算法的新节点等待的时间阈值的选择策略

将系统中的每个聚类中的每个节点的等待时间值(即：加入到一个聚类中之前的等待之间或者自立一个新的聚类之前的等待的时间)的平均值上传到中心服务器，然后按升序对其进行排序，选取平均距离处于中间位置并且偏大那个数值作为新的时间阈值，这样既可以保证新节点有足够的时间来加入到一个可以加入的已存在的聚类，也能尽最大可能不浪费新根节点的等待时间。系统在更新新节点等待时间阈值后，并不对当前系统的新节点等待值重新进行统计，而是一个重复累加、计算平均值并且排序、选取的过程。

5.整体的误差收敛策略

当系统中的某个聚类中的某个节点接受到了其他节点的相关误差收敛信息，并且其他节点来自不同的聚类，那么除了更新自身的虚拟坐标以此来减小误差外，接受到误差收敛信息的节点还会将此信息传递给属于同一个聚类中的所有其他节点。这样做的最大好处是能够保持已经形成的虚拟网络拓扑结构，还能够加快一个聚类中的所有节点的相对于聚类外的某个节点的误差的收敛速度。

Images