CN101465875B

CN101465875B - 一种基于网络定位的负载均衡方法

Info

Publication number: CN101465875B
Application number: CN2008101435626A
Authority: CN
Inventors: 孙建华; 陈浩; 张西广; 赵黎明; 李丽娟; 张倩婕
Original assignee: Hunan University
Current assignee: Hunan University
Priority date: 2008-11-12
Filing date: 2008-11-12
Publication date: 2011-12-07
Anticipated expiration: 2028-11-12
Also published as: CN101465875A

Abstract

一种基于网络定位的负载均衡方法，属于计算机对等网络计算领域。当前，在P2P网络环境下实时数据交换的一个核心问题是负载均衡，已有研究没有考虑到节点间的物理位置关系，不能在物理位置相近的节点间负载转移。本发明针对这些的问题，将节点的处理能力和物理位置关系协同考虑，使负载在物理位置相近的节点间转移，减少负载转移导致的带宽消耗和延迟。该方法由以下步骤构成：指定一组路标节点，计算网络中每个节点到这组路标节点的距离，得到m维笛卡儿空间，并映射到一维坐标空间；当网络某个节点的负载较轻时，以该节点为中心将坐标相近的节点构成一个星型结构；在这个物理位置相近的星型结构区域中，将负载重的节点的任务转移到负载轻的节点上。

Description

一种基于网络定位的负载均衡方法

技术领域

本发明属于计算机对等网络计算领域，具体涉及结构化P2P网络中一种基于网络定位的负载均衡方法。

背景技术

信息时代，技术发展日新月异。计算机网络技术也取得了飞速的进步，其中新兴的对等网络(P2P，Peer to Peer)技术便是技术创新的产物。P2P网络的发展，从最初的共享音乐信息的Napster，到“被人称奇的软件产品”的文件共享软件Gnutella，再到现在的基于分布式哈希表(DHT，Distributed Hash Table)的Chord、Pastry、CAN等等，其可扩展性和稳定性不断地提高。

结构化P2P网络是一种资源位置与网络拓扑结构紧密相关的对等网络。这类网络的主要思想是在IP网络的基础上建立一个覆盖(overlay)网络。目前的结构化P2P大都基于分布式哈希表(DHT)。DHT查询的中心思想是把节点的路由信息分布到各个节点上去。当查询某个资源时，节点把要查询的请求发送到网络中与所要查询的节点位置较为接近的节点。然后该节点再把请求发送下去，直到找到该文件所处的位置。因为每次都是向与所寻找的节点的位置比较接近的节点发送的请求，所以能够保证在有限的节点转发后，找到所需节点的位置。

当前，在P2P网络环境下的分布实时数据交换的一个核心问题是负载均衡。因为P2P网络当中的视频和音频流量越来越大，当对这些数据的处理集中在一个较小的局域网时，会造成负载过重，从而使系统性能下降，甚至崩溃。处理这些问题的主要方法是分布式系统中资源管理和任务调度。传统C/S、B/S模式下的均衡方法，如基于任务优先图、基于任务相互关系的静态负载均衡方法，以及基于扩散、梯度以及维交换的动态负载均衡方法得到了广泛的研究。在实现上，这些研究大都考虑了负载分配的单一参数制约因素，与实际应用中系统软硬件环境有很大的差异。另外，这些方法大都没有考虑到节点之间的物理位置关系，不能在物理位置相近的节点之间进行负载转移，从而减少系统开销。

近年出现了一些方法，如k-nary树等，其考虑到了节点之间物理位置关系，在物理位置相近的节点之间进行负载转移。但是，这些方法是在原有DHT结构的基础上增加了一层，使整个系统的复杂度增加，容错能力下降。

还有方法利用TTL来获取节点之间的物理位置信息。研究表明用这种方法所获得的位置信息是不准确的。现在已经很少有方法采用这种方法来计算物理位置信息，而网络定位技术得到了广泛的使用。

发明内容

本发明针对现有负载均衡方法存在的问题，结合结构化P2P系统领域的研究工作，提出了基于网络定位的负载均衡方法。它将节点的处理能力和节点的物理位置关系协同考虑，实现任务调度和负载均衡。

基于网络定位的负载均衡方法由以下步骤构成：

(1)指定一组参考节点，也称作路标节点，记做m个。在一个基于DHT的结构化网络中，路标节点可以从本结构化网络中选择，也可以在因特网中任意选择。

(2)计算DHT网络中每个节点到这组路标节点的距离，从而得到每个节点的网络坐标。把节点的网络坐标映射到m维的笛卡儿空间上，这个笛卡儿空间就叫路标空间。

(3)把m维坐标空间映射到一维坐标空间并保存坐标的相近性，从而，每一个DHT中的节点的网络坐标都对应一个坐标数，该坐标数作为节点的ID。例如，可以利用现有的希尔伯特曲线原理，把多维坐标空间映射到一维坐标空间并保持坐标的相近性。

(4)当网络中某个节点的负载较轻时，以该节点为中心将坐标相近的节点构成一个星型结构。

(5)在这个物理位置相近的星型结构区域，将负载重的节点的任务转移到负载轻的节点上。

与已有的技术相比，本发明的特点是：将节点的处理能力和物理位置关系协同考虑，使负载在物理位置相近的节点间进行转移，实现任务调度和负载均衡，减少带宽消耗和降低延迟。

附图说明

图1：传统负载转移系统结构图。

图2：结构化P2P系统中基于网络定位的负载均衡方法图。

具体实施过程

在本方法的实施过程中，涉及到以下基本概念。

虚拟服务器

在任何实际P2P网络中，各个节点无论是计算能力、存储容量，还是带宽都存在很大的差异。同时在大量节点构建起来的P2P网络中，关键字查询具有很大的不确定性，一些关键词代表的资源是人们关注的热点，致使这些节点负载过重。

可以利用虚拟服务器技术，通过动态计算和转移虚拟服务器的负载，来改进网络各节点的负载情况，提高均衡的效率。一个物理节点可以包含一个或者多个虚拟服务器，由这个节点的配置情况决定。

DHT节点之间以虚拟服务器为单位进行负载转移。当某个物理节点过载时，该物理节点对应的一个或多个虚拟服务器将被转移到非过载节点上。

聚集系数

复杂网络的一些研究人员发现，几乎所有的自组织网络都有一个最基本的特征：高聚集系数(Clustering coefficient)。可以把结构化的P2P网络看成一个图，则聚集系数的定义和计算方法如下：

1)一个顶点v的连通度kv是它的度数。

2)假设i和j之间的最短的路径长度为d(i，j)，则路径长度L为

对顶点的d(i，j)的平均数。

3)顶点v的邻居，Γ_v＝{i:d(i，v)＝1}，

4)局部聚集系数C_v为

|E(·)|是子图的总边数。

5)聚集系数CC就是所有顶点C_v的平均数。

节点的聚集系数可以反映网络的局部密度。聚集系数越大，局部密度越高。

利用率相关参数

1)利用率

节点A的利用率：节点A的负载与其能力的比值，即

节点A的局部系统利用率：与节点A物理位置相近的节点(包括A)的负载总和与能力总和的比值，即其中p为满足条件

的节点个数，H_i、H_A分别为节点i和节点A的坐标数，δ为常量，取值范围为[0，1]。

2)节点与系统的利用率的偏差

节点利用率与局部系统利用率的偏差dev：节点利用率与局部系统利用率之差的平方和，即

其中N表示节点A的局部系统中节点的个数。负载均衡算法的目标就是使偏差dev尽量小。

星型结构的构成

结构化P2P网络的每一个节点周期性地计算聚集系数CC、系统局部利用率C_system-A、和负载转移阀值T_A，T_A＝(C_system-A+ε)×capality_A。其中ε为可调参数，用来在负载均衡程度和负载转移开销之间取得折中，取值为CC×log(N)，N表示节点A的局部系统中节点的个数。

当某个周期中节点A的负载L_A小于负载转移阀值T_A时，节点A向坐标数满足条件的所有节点i发出查询请求，并以节点A为中心构造一个星型结构区域，如图2。其中H_i、H_A分别为节点i和节点A的坐标数，δ为常量，取值范围为[0，1]。

在节点A的查询过程中，如果某个节点i满足加入星型结构的条件，则i节点会把信息发送给中心节点A，这个信息包括：

(1)如果节点i的负载L_i大于负载转移阀值T_i时，则节点i是过载节点，它向节点A发送需要转移的虚拟服务器的索引及其每个的负载大小，节点A收集这些信息并将负载按从小到大的顺序排列成一个待分配负载链表a。

(2)如果节点i的负载L_i小于负载转移阀值T_i时，则节点i是负载较轻节点，它向节点A发送能够接受的负载数量(T_i-L_i)，节点A收集这些信息并将负载数量按从小到大的顺序排成一个可接受负载链表b。

负载转移方法

按照如下流程进行负载转移。

(1)根据链表a中的一个虚拟服务器V，选择链表b里所有符合(T_i-L_i)＞＝load(V)条件的节点中的(T_i-L_i)值最小的节点。

(2)利用DHT中的离开和加入操作把虚拟服务器从过载节点转移到负载较轻节点，并删除a，b链表中相应的结点。

(3)循环执行前面两个步骤，直到链表a为空；或者星型结构中没有节点能够接收剩下的虚拟服务器，即链表a不为空。这时节点A通知其它各节点解散星型结构。

基于网络定位的负载均衡方法中，负载的转移可以利用DHT中的离开和加入操作来完成，不需要引入新的操作。同时需要转移的虚拟服务器索引和负载过轻节点的剩余能力按从小到大的顺序在链表中排列，从而方便生成负载转移策略。另外，负载在物理位置相近的节点之间进行，节约系统带宽并降低延时。

Claims

1.一种基于网络定位的负载均衡方法由以下步骤构成：

(2)计算DHT网络中每个节点到这组路标节点的距离，从而得到每个节点的网络坐标，把节点的网络坐标映射到m维的笛卡儿空间上，这个笛卡儿空间就叫路标空间。

(3)把m维坐标空间映射到一维坐标空间并保存坐标的相近性，从而，每一个DHT中的节点的网络坐标都对应一个坐标数，该坐标数作为节点的ID。

2.根据权利要求1所述的基于网络定位的负载均衡方法，其特征在于：步骤(4)包括以下过程：

(4.1)周期性计算结构化P2P网络的每一个节点的聚集系数CC，系统局部利用率C_system-A、和负载转移阀值T_A，T_A＝(C_system-A+ε)×capality_A。其中ε为可调参数，用来在负载均衡程度和负载转移开销之间取得折中，取值为CC×log(N)，N表示节点A的局部系统中节点的个数。

(4.2)当某个周期中节点A的负载L_A小于负载转移阀值T_A时，节点A向坐标数满足条件

的所有节点i发出查询请求，并以节点A为中心构造一个星型结构区域。其中H_i、H_A分别为节点i和节点A的坐标数，δ为常量，取值范围为[0，1]。

(4.3)在节点A的查询过程中，如果某个节点i满足加入星型结构的条件，则i节点会根据其负载L_i和负载转移阀值T_i时之间的关系，进入步骤(A1)或者(A2)：

(A1)如果节点i的负载L_i大于负载转移阀值T_i时，则节点i是过载节点，它向节点A发送需要转移的虚拟服务器的索引及其每个的负载大小，节点A收集这些信息并将负载按从小到大的顺序排列成一个待分配负载链表a。

(A2)如果节点i的负载L_i小于负载转移阀值T_i时，则节点i是负载较轻节点，它向节点A发送能够接受的负载数量(T_i-L_i)，节点A收集这些信息并将负载数量按从小到大的顺序排成一个可接受负载链表b。

3.根据权利要求1所述的基于网络定位的负载均衡方法，其特征在于：步骤(5)包括以下过程：

(5.1)根据链表a中的一个虚拟服务器V，选择链表b里所有符合(T_i-L_i)＞＝load(V)条件的节点中的(T_i-L_i)值最小的节点。

(5.2)利用DHT中的离开和加入操作把虚拟服务器从过载节点转移到负载较轻节点，并删除a，b链表中相应的结点。

(5.3)循环执行前面两个步骤，直到链表a为空；或者星型结构中没有节点能够接收剩下的虚拟服务器，即链表a不为空。这时节点A通知其它各节点解散星型结构。