CN102158559B - 一种基于p2p网络的负载均衡的方法 - Google Patents

Abstract

一种基于P2P网络的负载均衡的方法，包括以下步骤：1)计算P2P网络中各个节点的负载能力、节点的利用率和系统的利用率为；2)每个片区确定属于轻载系统或重载系统，将轻载系统的负载信息存放到链表W3中；节点为轻载或重载，将各个节点以及节点的属性信息存放在链表W1中；将属性为轻载的节点在链表W1中的位置信息存放在链表W2中；3)将P2P网络中所有节点按照节点所带文件的ID进行分层，构造出层次结构的无向图；计算无向图路径上的权重；4)当有外界节点要进入P2P网络时，找出轻载的系统，然后将节点选定该系统进行插入，进行文件的查询。本发明能提升响应速度，有效适应节点负载波动较大场合、降低网络开销。

Description

一种基于P2P网络的负载均衡的方法

技术领域

本发明涉及P2P网络技术，尤其是一种基于P2P网络的负载均衡的方法。

背景技术

现有的一些负载均衡算法：例如，1)PeXChange负载均衡模型，采用一种加权最小连接均衡算法，以解决对等点出的负载均衡问题，加权最小链接调度算法是最小连接均衡算法的超集，各个处理机用相应的权值表示其处理性能，处理机的缺省权值为1，管理员可以根据具体配置动态地设置处理机的权值。2)自适应负载均衡方法，即由逻辑链路迁移和缓存相结合来实现节点负载均衡。3)空间均划分的均衡方法和文件密度划分的均衡方法，这些均衡方法实际是空间均衡划分的一种改进。4)基于移动agent的任务负载均衡策略，它将节点划分为：轻载节点、超载节点和适量任务节点，由于P2P网络中随时有DHT节点离开导致其整体处理能力发生改变，所以在每次进行资源分配前都要重新计算当前网络的处理能力和负载，并由KT树的叶子节点，将其报告给父节点并最终报告给根节点，对N_i来说有任务量

$L_i=\mathrm{\Σ}{m}_j^i,T_i=(L/C+\mathrm{\ϵ})C_i,$

表示任务迁移与获得收益的交换。

$F_i=\left\{\begin{array}{cc}1,& L_i>T_i,\\ 0,& T_i\≥T_{\mathrm{ii}}>L_{i,\min },\\ -1,& L_i>T.\end{array}\right.$

当F_i＝1时，N_i为超载节点；F_i＝0时，N_i为合适节点；F_i＝-1时，N_i为轻载节点。5)一种结构化P2P网络动态负载均衡算法，其中运用了利用率(utilization)的概念，并且用了负载不均衡度，及时掌握节点的负载状况和利用率。6)基本超市模式，运用随机探测算法，将随机的负载平衡行为计划进在一般的P2P环境，记录作为一个用户请求到达泊松流的收集服务器。这种算法具有可扩展性，因为每个控制消息的决策人数几乎不变，即使系统规模扩大也如此。因此具有一定的适用性也能减少一些负载费用。也有用分布式哈希表(DHT)以避免负载均衡问题中的性能退化和保障制度的公平性。在这个方法中每个节点有足够的信息来充当交会目录并执行系统内的负载平衡，交会目录的位置是随机的每一轮，从而进一步提高了系统的应变能力。还有很多的负载均衡算法，但是这些算法在具有自身优点的同时，还存在着一些不足。

P2P网络的负载问题，往往因没有考虑节点之间能力上的不同，出现高能力节点空闲、低能力节点过于忙碌的情况。而真正好的负载均衡应该是各节点各尽所能，即节点根据自己的能力大小参与对等计算。最初对这认识这个问题并且加以解决的的P2P网络是KaZaA和eDonkey，它们把高负载能力的节点当做网络的主干——超载节点，而让那些负载能力较低的节点作为普通节点，超节点的身份对普通节点都是可见的，这样很容易为恶意节点攻击网络带来了方便。

目前已有的均衡算法中所存在的主要存的不足：(1)方法通过虚拟服务器迁移或DHT调整节点承载的键值空间或文件数目以实现负载均衡,没有考虑用户查询的不平衡性。即使这些方法可以实现单个节点只承载一个热点文件,承载热点文件的节点负载仍然远大于一般节点,不能解决Zipf查询下的负载均衡问题；(2)某些方法是在节点超载时再执行负载均衡算法,是一种较为被动的平衡方法。当节点超载时再执行平衡算法,平衡算法开销有可能加剧超载节点的过载程度,使算法响应速度变慢；(3)算法仅考虑瞬间的负载信息,不考虑负载历史信息,不能做出较为合理的分配策略，当节点负载波动较大时,平衡算法需要反复执行,网络开销较大。

发明内容

为了克服已有的基于P2P网络的负载均衡方法的响应速度较慢、无法适应节点负载波动较大场合、网络开销较大的不足，本发明提供一种提升响应速度，有效适应节点负载波动较大场合、降低网络开销的基于P2P网络的负载均衡方法。

本发明解决其技术问题所采用的技术方案是：

一种基于P2P网络的负载均衡的方法，所述负载均衡的方法包括以下步骤：

1)计算P2P网络中各个节点的负载能力Capability：

Capability＝a₁×P(Cpu)+a₂×P(Memory)+a₃×P(Space)+a₄×P(BandWidth)

(2.1)

其中，a₁、a₂、a₃、a₄为加权因子，Cpu为处理器性能,Memory为硬盘的存储大小，Space为内存的大小，BandWidth为带宽，这里我们用如下p加上影响因素的形式(如：P(Memory))来量化表示各个影响因素对节点的负载能力的影响；

定义P2P网络中各个节点的利用率(记为NodeUtilization)，节点A的利用率(记为N.utlA)，指的是节点A的在当前的负载转移中正在转移或者拷贝的所有文件的大小(表示为∑Fsize)与节点A的带宽BandWidth的比值，即：

$N.\mathrm{utlA}=\frac{\mathrm{\ΣFsize}.A}{\mathrm{Bandwidth}}\×100---\left(2.2\right)$

定义系统的利用率(记为SystemUtilization)。系统B的利用率(记为S.utlB)，指的是B系统当前的重载节点的总数(记为Sum.loadH)与系统B中节点的总和(记为Sum.load)的比值，即：

$S.\mathrm{utlB}=\frac{\mathrm{Sum}.\mathrm{loadH}}{\mathrm{Sum}.\mathrm{load}}\×100\%---\left(2.3\right);$

2)将P2P网络中所有节点分成多个片区，每个片区分别依照公式(2.3)计算系统的利用率，如果系统利用率小于等于阈值，则为轻载系统，如果系统利用率大于阈值，则为重载系统，将轻载系统的负载信息存放到链表W3中；

将各个片区内的节点依照公式(2.2)计算节点的利用率，如果节点利用率小于等于阈值，则节点属性为轻载，如果节点利用率大于阈值，则为节点属性为重载，将各个节点，以及节点的属性信息存放在链表W1中；

将属性为轻载的节点在链表W1中的位置信息存放在链表W2中；3)将P2P网络中所有节点按照节点所带文件的ID进行分层，构造出层次结构的无向图；

无向图中相邻的两个节点m和n，它们在当前负载转移中各自处于被利用状态的总文件大小分别记为∑Fsize.m和∑Fsize.n,将它们之间的最优负载量设为W_m,n，

$\mathrm{\Δ}=|\frac{\mathrm{\ΣFsize}.m-W_{m,n}}{\mathrm{Bandwidth}.m}-\frac{\mathrm{\ΣFsize}.n+W_{m,n}}{\mathrm{Bandwidth}.n}|---\left(2.4\right)$

即当Δ取最小时，函数中的W_m,n为最优，即那个时候的负载转移量为最优，将这个时候的最优转移量比上节点m和节点n的带宽BandWidth.n和BandWidth.m之和，得到的小数设为无向图路径上的权重Power，即：

$\mathrm{Power}=\frac{W_{m,n}}{\mathrm{BandWidth}.m+\mathrm{BandWidth}.n}---\left(2.5\right)$

4)、当有外界节点要进入P2P网络时，先根据当前各个片区的系统节点利用率，找出轻载的系统，选定系统，并且将节点插入这个选定的系统中，如果是进行文件的查询，先根据信息存储链表W2，找到含有要查询信息的轻载节点地址，根据这个地址，找到节点在链表W1里储存的信息，即该节点现在的具体负载信息，找到节点在无向图中的位置，再根据需要查询文件的ID找到节点层，然后根据路径上的权重值，以权重大的优先为原则找出最优路径，根据所述最优路径将要进入的负载节点的需要的操作完成。

本发明的技术构思为：根据P2P网络节点上负载信息的不同，对节点进行分层后用无向图的形式将网络中的各个节点联系起来，将相邻节点之间的最优负载转移量与两节点的负载能力的和的比值作为路径上的权重值，当节点上的负载需要几个节点来同时完成时，找出转移负载的最优路径进行转移。而在不需要同时考虑几个节点进行负载转移的情况下，可以根据链表记录的节点的负载信息，来对要join或者leave的节点进行操作。使得转移达到高速和优化，减少负载延迟的耗费。该策略充分利用Peertopeer网络中的各个节点的资源，并且考虑其他网络片区与该片区之间的网络资源的协调配置，使得整个网络资源能够尽可能充分的被利用。

通过建立模型，找出负载转移中一些影响节点负载能力的主要因素，然后根据这些因素，找出一个节点负载能力函数，根据各个节点的不同的负载因素，求得节点的负载能力，然后求出各个节点的利用率。根据节点的负载能力，区分节点是轻载还是重载节点，然后动态地更新节点的负载信息。

用无向图的形式组合一个系统里的节点，在相互连接时考虑到节点上热门关键词的分布状况，然后根据有无相同的关键词将节点分层，这样又便于找最优负载转移路径。因为分为不同的区块，每个区块又有自己的小系统，这些个小系统中又存在一个均衡问题，我们将小的系统整体的视为一个小的节点来考虑，在小系统中用的节点的利用率，这里片区之间用到的是系统的利用率，是系统中重载节点占总节点的量。通过对小系统和片区之间的负载均衡的考虑使节点的利用得到优化。

将各个负载节点，先根据它的影响负载能力的因素用数学建模的方法建立一个模型，用Matlab算出这些对它有影响的因素与节点负载能力之间的负载参数，参数越大，表示它对节点负载能力的影响越大，然后根据节点的不同的各个因素的值，求出节点的负载能力。

本发明的有益效果主要表现在：提升响应速度，有效适应节点负载波动较大场合、降低网络开销。

附图说明

图1是系统中节点组成简易的无向图。

图2是链表W2的查询流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1和图2，一种基于P2P网络的负载均衡的方法，P2P网络中的节点的负载能力的模型如如下面给出的定义和函数:

在节点的负载能力中，用于考虑其负载能力(记为Capability)的因素，简单的认定为节点本身的Cpu,Memory(硬盘的存储大小),Space(内存的大小)，以及外界的能影响其负载能力的一个主要因素：

BandWidth(带宽)。

Capability＝a₁×P(Cpu)+a₂×P(Memory)+a₃×P(Space)+a₄×P(BandWidth)(2.1)

令节点的利用率为NodeUtilization，节点A的利用率(N.utlA)指的是节点A的在当前的负载转移中正在转移或者拷贝的所以文件的大小(∑Fsize)与节点A的BandWidth(带宽)的比值，即：

$N.\mathrm{utlA}=\frac{\mathrm{\ΣFsize}.A}{\mathrm{Bandwidth}}\×100---\left(2.2\right)$

令系统的利用率为SystemUtilization，系统B的利用率(S.utlB)指的是B系统当前的重载节点的总数(记为Sum.loadH)与系统B中节点的总和(记为Sum.load)的比值，即：

$S.\mathrm{utlB}=\frac{\mathrm{Sum}.\mathrm{loadH}}{\mathrm{Sum}.\mathrm{load}}\×100\%---\left(2.3\right)$

在无向图中相邻的两个节点m和n，它们在当前负载转移中各自处于被利用状态的总文件大小分别记为为∑Fsize.m和∑Fsize.n，将它们之间的最优负载量设为W_m,n，

$\mathrm{\Δ}=|\frac{\mathrm{\ΣFsize}.m-W_{m,n}}{\mathrm{Bandwidth}.m}-\frac{\mathrm{\ΣFsize}.n+W_{m,n}}{\mathrm{Bandwidth}.n}|---\left(2.4\right)$

即当Δ取最小时，函数中的W_m,n为最优，即那个时候的负载转移量为最优的，将这个时候的最优转移量比上节点m和节点n的带宽(BandWidth.n和BandWidth.m)之和，得到的小数设为无向图路径上的权重(Power)，即：

$\mathrm{Power}=\frac{W_{m,n}}{\mathrm{BandWidth}.m+\mathrm{BandWidth}.n}---\left(2.5\right)$

选择Power大的路径走，无向图利用这个路径上的权重值来找到从一个轻载节点到接下来轻载节点的最优的负载转移路径，当需要好几个节点同时来完成一个负载转移的情况下，我们可以根据这个最优的负载转移路径来进行负载分担节点的选择。

由上面的函数式，求出的负载能力，根据(2.2)的式子，求出节点的利用率，根据节点利用率与阈限(ε)值的比较，小于阈限值ε的为轻载节点，大于该值的就为重载节点。在得到该节点是轻载节点(记为Light)还是重载节点(记为Heavy)后，将L/H保存到节点的负载信息的链表W1中。将W1中的所有轻载节点的在W1中的地址存储在链表W2中。

这里产生的节点存储信息的链表里存放了每个节点的利用率，以及节点是属于轻载还是重载节点。

我们给每个在系统中的文件一个唯一的ID,并且用上面提到的分布式哈希表(DHT)来储存每个文件的ID，通过这个ID又可以找到与之相对应的文件，我们就可以知道一个节点上的ID范围，当有新的文件要进入系统时，我们也马上给出它的ID并且将它储存进分布式哈希表中。

任意选一头节点，把系统中的所有节点按照节点上所带文件的ID来分层，然后构造出有层次结构的无向图，用无向图的形式，每个节点都可以做头节点，可以动态选头节点，刚好可以消除二叉树三叉树中的头节点失效的情况。

将上面根据公式(2.4)以及公式(2.5)算出来的两节点之间的最优转移量与节点m和n的负载能力的和的比值作为这两个节点之间连接的路径上的权重值。

在无向图中：(1)我们要插入一个节点，1)要在链表W2中找到哪些节点是轻载节点，即在其储存的节点的信息中标有L的节点。2)然后根据其要拷贝或者查询的文件，找出文件的ID。3)找到需要拷贝查询的文件ID最多，并且节点利用率最小的轻载节点的与其相连的同为轻载或者最优转移量较大的节点的路径进行插入。4)插入后形成新的无向图。(2)我们根据要查询的文件，先找到要查询的文件ID的集合，在无向图上选择最优路径，即权重最大的路径。这样走起来会减少时间延误和降低网络耗费，也可以提高查询的效率。

上面我们考虑的是系统内部节点的负载均衡，下面考虑系统和系统之间的负载均衡：

将每个片区里的系统视为一个节点，根据公式(2.3)计算出系统的节点利用率，将其与判断轻载还是重载节点的阈值(ε)进行比较，如果系统利用率小于ε则该系统为轻载系统，记为S.L。如果系统利用率大于ε，则为重载系统，记为S.H。轻载系统的负载信息(系统利用率，S.L/S.H)存放在链表W3中，在节点要进入系统之前，先选择进入哪个系统，然后再选择插入哪两个节点的路径之间或者选择走那条访问的最优路径，这样考虑了系统和系统之间的负载均衡问题，优化了资源配置，也达到降低网络延误带来的网络消费。

本文用到的负载均衡方法，用到了分布式哈希表，用于存储文件的ID，使得文件具有唯一的ID，根据ID使得每个节点有一个ID范围，这个在节点进行访问系统中的文件信息时，可以很快的找到要被访问的节点。根据节点的利用，确定节点是轻载还是重载节点，用公式算出两个相邻节点之间的最优转载量，求出最优转载量和两节点负载能力之和的比值，即为相邻节点之间的路径上的权重值。当有外界节点要进入系统时，先根据当前各个系统的系统节点利用率，找出轻载的系统，然后将节点选定该系统进行插入，如果是进行文件的查询，先根据信息存储链表W2，找到含有要查询信息的轻载节点地址，根据这个地址，找到节点在链表W1里储存的信息，即该节点现在的具体负载信息，找到节点在无向图中的位置，再根据需要查询文件的ID找到节点层，然后根据路径上的权重值(权重大的优先)找出最优的路径，根据这个路径将要进入的负载节点的需要的操作完成。减少在查询中要走的点数，从而降低时间延误。

本文用到的负载均衡方法的具体实现和中间涉及的操作主要如下：

1)：用分布式哈希表，给每个文件以唯一的ID，并且用于哈希表将这些节点上的文件的ID进行存储，由此每个节点上的ID具有一个ID范围，这个在节点进行访问系统中的文件信息时，可以很快的找到具有要访问的文件ID的节点。

2)：根据节点的利用率：

$N.\mathrm{utlA}=\frac{\mathrm{\ΣFsize}.A}{\mathrm{Bandwidth}}\×100---\left(2.2\right)$

确定节点是轻载还是重载节点。

3)：将系统中节点的负载信息存储在链表W1中，其中包括节点的轻重标记(L/H)、节点上的ID的集合和节点当前的节点利用率，并且动态的更新链表，动态的更新节点的负载信息。

4)：将轻载节点在W1链表中的存储地址，存储在W2中，可以直接根据链表二中节点的存储地址找到轻载节点及其负载信息，不用再逐个查询链表一种的节点信息才能知道当前存在的轻载节点。

5)：根据系统中轻载节点的数目，计算系统的节点利用率：

$S.\mathrm{utlB}=\frac{\mathrm{Sum}.\mathrm{loadH}}{\mathrm{Sum}.\mathrm{load}}\×100\%---\left(2.3\right)$

确定系统是轻载还是重载系统。

6)：将轻载系统的负载信息存储在链表W3中，其中包括节点的轻重标记(S.L/S.H)和系统当前的系统节点利用率，并且动态的更新链表，动态的更新系统的负载信息。

7)：随即产生无向图，如上图4.1系统中节点的无向图，然后根据式子

$\mathrm{\Δ}=|\frac{\mathrm{\ΣFsize}.m-W_{m,n}}{\mathrm{Bandwidth}.m}-\frac{\mathrm{\ΣFsize}.n+W_{m,n}}{\mathrm{Bandwidth}.n}|---\left(2.4\right)$

当式子取最小值的时候，式子中的W_m,n为最优，即路径上的转移量为最优，求出路径上的权重值：

$\mathrm{Power}=\frac{W_{m,n}}{\mathrm{BandWidth}.m+\mathrm{BandWidth}.n}---\left(2.5\right)$

进行查询的选择：1)先从W3链表中选择处于轻载状态的系统，找系统节点利用率最小的系统进行操作。2)要查询或者插入的系统选定后，找到W2中处于轻载的节点位置，根据这个位置直接在W1中找到轻载节点的负载信息。3)选择时，首先选择轻载节点中ID范围较大的轻载节点进行负载，并且选择Power大的路径走，无向图利用这个路径上的权重值来找到从一个轻载节点到接下来轻载节点的最优的负载转移路径，当需要好几个节点同时来完成一个负载转移的情况下，我们可以根据这个最优的负载转移路径来进行负载分担节点的选择。从而达到减少在查询中要走的点数，降低时间延误的成本。

当一个节点要进入系统前，我们通过查询链表W3，在其中找到系统的利用率为SystemUtilization，即系统利用率(S.utlB)最小的那个系统，

$S.\mathrm{utlB}=\frac{\mathrm{Sum}.\mathrm{loadH}}{\mathrm{Sum}.\mathrm{load}}\×100\%---\left(2.3\right)$

阈限值可以人为设定，本文预设阈限值为ε＝60％。

链表是一个计算机成熟用语。文中用到的链表W1主要用于存储系统中节点的负载信息，其中包括节点在该时刻的节点利用率，以及节点属于L/H的标识，并且在进行一次负载之后要进行一个动态的更新；链表W2主要用于存储轻载节点在链表W1中的存储地址；链表W3主要用于存储轻载系统的负载信息，其中包括轻载系统在该时刻的系统利用率。

Claims (1)

1.一种基于P2P网络的负载均衡的方法，其特征在于：所述负载均衡的方法包括以下步骤：

1)定义P2P网络中各个节点的的利用率NodeUtilization，节点A的利用率N.utlA指的是节点A的在当前的负载转移中正在转移或者拷贝的所有文件的大小∑Fsize与节点A的带宽BandWidth的比值，即：

$N.utlA=\frac{\mathrm{\Σ}Fsize.A}{Bandwidth}\×100\%---\left(2.2\right)$

定义系统的利用率为SystemUtilization，系统B的利用率S.utlB指的是B系统当前的重载节点的总数Sum.loadH与系统B中节点的总和Sum.load的比值，即：

$S.utlB=\frac{Sum.loadH}{Sum.load}\×100\%---\left(2.3\right);$

2)将P2P网络中所有节点分成多个片区，每个片区分别依照公式(2.3)计算系统的利用率，如果系统利用率小于等于阈值，则为轻载系统，如果系统利用率大于阈值，则为重载系统，将轻载系统的负载信息存放到链表W3中；

将各个片区内的节点依照公式(2.2)计算节点的利用率，如果节点利用率小于等于阈值，则节点属性为轻载，如果节点利用率大于阈值，则节点属性为重载，将各个节点，以及节点的属性信息存放在链表W1中；

将属性为轻载的节点在链表W1中的位置信息存放在信息存储链表W2中；

3)将P2P网络中所有节点按照节点所带文件的ID进行分层，构造出层次结构的无向图；

无向图中相邻的两个节点m和n，它们在当前负载转移中各自处于被利用状态的总文件大小分别计为∑Fsize.m和∑Fsize.n,将它们之间的最优负载量设为W_m,n，

$\mathrm{\Δ}=|\frac{\mathrm{\Σ}Fsize.m-W_{m,n}}{Bandwidth.m}-\frac{\mathrm{\Σ}Fsize.n+W_{m,n}}{Bandwidth.n}|---\left(2.4\right)$

即当Δ取最小时，函数中的W_m,n为最优，将这个时候的最优负载量比上节点m和节点n的带宽BandWidth.n和BandWidth.m之和，得到的小数设为无向图路径上的权重Power，即：

$Power=\frac{W_{m,n}}{BandWidth.m+BandWidth.n}---\left(2.5\right)$

4)、当有外界节点要进入P2P网络时，先根据当前各个系统的利用率，找出轻载的系统，选定系统，并且将节点插入这个选定的系统中；用分布式哈希表，给每个节点上的文件以唯一的ID，并且用哈希表将这些节点上的文件的ID进行存储，由此每个节点上的文件的ID具有一个ID范围，这个在负载节点进行访问系统中的文件信息时，可以很快的找到具有要访问的文件ID的节点；如果是进行文件的查询，先根据信息存储链表W2，找到含有要查询文件的轻载节点地址，根据这个地址，找到节点在链表W1里储存的信息，即该节点现在的具体负载信息，找到节点在无向图中的位置，再根据需要查询文件的ID找到节点层，然后根据路径上的权重值，以权重大的优先为原则找出最优路径，根据所述最优路径将要进入的负载节点的需要的操作完成。