CN102457429A

CN102457429A - 分布式哈希表网络的负载均衡实现方法及装置

Info

Publication number: CN102457429A
Application number: CN2010105228054A
Authority: CN
Inventors: 胡学川; 王炜; 郝振武
Original assignee: ZTE Corp
Current assignee: Han Hongli
Priority date: 2010-10-27
Filing date: 2010-10-27
Publication date: 2012-05-16
Anticipated expiration: 2030-10-27
Also published as: CN102457429B; US20130304888A1; WO2012055242A1; EP2632111B1; US9729382B2; EP2632111A1; EP2632111A4

Abstract

本发明公开了一种分布式哈希表网络的负载均衡实现方法及装置。其中，该方法包括：根据所述DHT网络的节点规划及预设的负载不均衡度阈值，确定第一虚拟标识的数量Z，其中，Z为自然数；将所述DHT网络的整个负载空间均分为Z份，各份负载空间分别用互不相同的所述第一虚拟标识进行标识；根据各个所述节点的能力，将Z个所述第一虚拟标识分配各个所述节点，由各个所述节点负责分配给其的所述第一虚拟标识对应的负载空间。通过本发明，可以在实现DHT网络数据存储负载均衡的同时，减少虚拟标识管理和虚拟标识迁移的工作量。

Description

分布式哈希表网络的负载均衡实现方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种分布式哈希表(Distributed Hash Table，简称为DHT)网络的负载均衡实现方法及装置。

背景技术

目前，分布式哈希表(DHT)已成为点对点(P2P)叠加网络的主要组织形式，其存储负载均衡主要使用虚拟标识的方法实现。在分布式哈希叠加网络中同时具有节点ID与虚拟标识两种不同属性的标识。其中，节点ID用于区分不同节点，维护分布式哈希表叠加网络；虚拟标识用于将哈希表空间分割成多个区间并分配到节点。在一个分布式哈希表叠加网络中，每个节点ID都不相同，每个虚拟标识也都不相同。允许出现节点ID相同于虚拟标识的情况。叠加网络中根据全部节点的全部虚拟标识和一定的分割规则，将哈希表空间分为多个区间。区间数量与虚拟标识数量等同，每个区间与一个虚拟标识互相关联。哈希表区间由与其关联的虚拟标识所属的节点负责。由于每个节点拥有多个虚拟标识，因此，每个节点需要负责多个哈希表区间。而叠加网络中的每个数据资源被分配一个唯一的资源标识，若某数据资源的资源标识位于某一哈希表区间内，该数据资源由与负责该哈希表区间的虚拟标识所在的节点保存。这样，叠加网络中的所有节点ID与虚拟标识组成两个不同的逻辑环路。虚拟标识将哈希表空间进行更精细的划分，每个虚拟标识负责相应的哈希块，资源标识落在该哈希块内的数据资源由该虚拟标识负责保存，从而起到提升网络负载均衡效果的作用。

如图1所示，假设哈希空间为0-63被12个虚拟标识均等分割成12份。网络中有A、B、C和D四个节点，四个节点分别具有各自的节点ID：N1、N9、N28、N49，并且假设这四个节点能力相同。则每个节点均具有三个虚拟标识，如节点B具有三个虚拟标识：P8、P28和P43。资源对象根据资源标识与虚拟标识的关系由相应的虚拟标识负责保存(如资源标识为K5的，就由虚拟标识P8负责)。其中，如表1所示，节点B的三个虚拟标识所负责的哈希块分别为：(1，8]、(23，28]、(38，43]，资源标识在此空间的资源属于节点B负责。从而可以得到在该种负载均衡方法下，四个节点中存储的数据资源空间都是15，具体如表1所示。由于资源标识在整个哈希空间是均匀分布的，因此，每个节点所负责的数据资源是均衡的。

表1.

发明人发现，在相关技术中，为了使节点间的负载尽量均衡，将整个哈希空间固定均等分成Q份(即分配Q个虚拟标识)，Q要远大于节点数S，然后，根据节点的能力分配虚拟标识，例如，如图2所示，整个资源哈希空间被10000个虚拟标识(外环中的圆圈)平均分割成10000份，叠加网中有10个节点(内环中的圆圈)，节点能力相同的情况下，每个节点将负责1000个虚拟标识，从而导致ID管理和ID迁移的工作量很大，不便于ID管理和迁移。

发明内容

本发明的主要目的在于提供一种DHT网络的负载均衡实现方案，以至少解决上述由于每个节点负责的虚拟标识过多而导致虚拟标识管理和虚拟标识迁移的工作量大的问题。

根据本发明的一个方面，提供了一种分布式哈希表网络的负载均衡实现方法，包括：根据所述DHT网络的节点规划及预设的负载不均衡度阈值，确定第一虚拟标识的数量Z，其中，Z为自然数；将所述DHT网络的整个负载空间均分为Z份，各份负载空间分别用互不相同的所述第一虚拟标识进行标识；根据各个所述节点的能力，将Z个所述第一虚拟标识分配各个所述节点，由各个所述节点负责分配给其的所述第一虚拟标识对应的负载空间。

根据本发明的另一方面，提供了一种DHT网络的负载均衡实现装置装置，包括：确定模块，用于根据所述DHT网络的节点规划及预设的负载不均衡度阈值，确定第一虚拟标识的数量Z，其中，Z为自然数；划分模块，用于将所述DHT网络的整个负载空间均分为Z份，各份负载空间分别用互不相同的所述第一虚拟标识进行标识；分配模块，用于根据各个所述节点的能力，将Z个所述第一虚拟标识分配各个所述节点，由各个所述节点负责分配给其的所述第一虚拟标识对应的负载空间。

通过本发明，根据DHT网络的节点规划及预设的负载不均衡度阈值，确定DHT网络的整个负载空间划分的份数，从而使得每个节点负责的虚拟标识与当前DHT网络的节点规划相适应，避免了由于每个节点需要负责大量的虚拟标识，进而在实现DHT网络数据存储负载均衡的同时，可以减少虚拟标识管理和虚拟标识迁移的工作量。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据相关技术的单跳DHT网络使用虚拟标识均衡负载的示意图；

图2是相关技术中虚拟标识的数量远大于节点的数量的负载均衡示意图；

图3是根据本发明实施例一的DHT网络的负载均衡实现装置的结构示意图；

图4是根据本发明实施例一的优选DHT网络的负载均衡实现装置的结构示意图；

图5是根据本发明实施例二的DHT网络的负载均衡实现方法的流程图；

图6是根据本发明实施例三的集中式拓扑网络中新节点加入的流程图；

图7是根据本发明实施例四的集中式拓扑网络的虚拟标识分裂的流程图；

图8是根据本发明实施例五的分布式拓扑网络的新节点加入及虚拟标识分裂的流程图；

图9是根据本发明实施例六的集中式拓扑网络的虚拟标识分裂和分配的流程图；

图10是根据本发明实施例七的虚拟标识分裂前的示意图；

图11是根据本发明实施例六的虚拟标识分裂后的示意图；

图12是根据本发明实施例六的分裂后的虚拟标识分配给新节点的示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

为了便于理解本发明，下面先对本发明涉及的节点负载相关的参数的定义进行说明：

节点容量-C：容量大的节点可以承担更多的负载。在实际应用中，节点的容量C_i可以通过节点的CPU、内存、带宽、连接稳定性等资源来衡量。具体的衡量方式可以采用实验测量、经验数据或动态更新等方式。一般来说，节点的容量受限于其CPU、内存、带宽等资源中最紧张的资源量。在本发明实施例中采用ID空间来衡量节点实际负载情况，因此，节点容量C_i可以表示为节点按能力所应负责的虚拟标识(ID)对应的负载空间(可以简称为ID空间)大小。例如，可以定义DHT网络中性能最低的节点容量为一基准值，记为C_min，则其他节点的容量C可以表示为mC_min。其中m为该节点与性能最差节点的性能比值。

节点的负载不均衡度-LB：表示节点的实际负载与理想情况下的均衡负载的偏差程度。在本发明实施例中，采用节点所负责的ID空间的大小来表示节点的存储负载。理想状态下，节点实际所负责的ID空间大小与按照其节点容量所应该负责的ID空间大小相等。因此，节点的负载不均衡度可以定义为：

节点实际负责的ID空间大小/节点i应负责的ID空间大小-1

其中，节点实际负责的ID空间大小等于该节点所拥有的所有虚拟ID负责的ID空间大小之和。而节点应负责的ID空间大小应根据网络中所有节点的节点容量综合得出。节点i应负责的ID空间大小为：

\frac{C_{i}}{Σ_{k = 1}^{N} C_{k}} \times S

其中N为网络中的节点数，S为总的ID空间大小。

负载不均衡度阈值-LN：负载均衡算法所要实现的均衡目标。即网络中所有节点的负载不均衡度LB的绝对值应都小于该阈值LN。

虚拟节点个数-V：表示每个物理节点所拥有的虚拟节点(即虚拟标识)的数量。例如，可以定义网络中性能最差节点(节点容量为C_min)所拥有的虚拟节点个数为V_min，节点容量为mC_min的节点所拥有的虚拟节点个数为[mV_min]。

实施例一

图3是根据本发明实施例的DHT网络的负载均衡实现装置的结构示意图，该装置可以在DHT网络的建网初期，为DHT网络中的各个节点分配负责的虚拟标识。

如图3所示，该装置主要包括：确定模块10、划分模块20和分配模块30。其中，确定模块10，用于根据DHT网络的节点规划及预设的负载不均衡度阈值，确定虚拟标识的数量Z，其中，Z为自然数；划分模块20，用于将DHT网络的整个负载空间均分为Z份，各份负载空间分别用互不相同的虚拟标识进行标识；分配模块30，用于根据各个节点的能力，将Z个虚拟标识分配各个节点，由各个节点负责分配给其的虚拟标识对应的负载空间。

其中，上述DHT网络的节点规划包括但不限于：DHT网络中的节点的数量及各个节点的容量(即能力)。

当节点能力不同时，每个节点负载的虚拟ID的理论值与其能力成正比。由于节点实际所负责的虚拟ID与其理论值相比，最多会偏差一个，因此，容量最小的节点负载不均衡度最大。因此，在本发明实施例中，在确定DHT网络中的虚拟ID的总数Z时，只需保证Z的总数可以使容量最小的节点能够满足负载均衡要求即可，即使容量最小的节点的负载不均衡度小于负载不均衡度阈值。对于DHT网络的节点i，需要满足以下公式：

(节点i实际负责的ID空间大小/节点i应负责的ID空间大小)-1＜负载不均衡度阈值

假设虚拟标识数量为Z，容量最小的节点i多负载了一个Δ空间(S/Z)，其中，S为DHT网络的整个负载空间，则确定模块10可以通过下面公式确定Z：

\frac{\frac{C_{i}}{Σ_{k = 1}^{N} C_{k}} \times S + \frac{S}{Z}}{\frac{C_{i}}{Σ_{k = 1}^{N} C_{k}} \times S} - 1 < LN

解之，可得：

Z > \frac{Σ_{k = 1}^{N} C_{k}}{C_{i} \times LN}

例如，网络初建规划规模N有100个节点，最大负载不均衡度LN控制在10％以下。假如节点能力容量值C相同，则根据公式，虚拟标识数量必须大于1000个。

在实际应用中，上述装置可以设置在DHT网络的管理服务节点。

通过本发明实施例提供的上述装置，在建网初期，确定模块10根据DHT网络的规划规模和负载不均衡度阈值来确定划分负载空间的份数，从而使得虚拟标识的数量可以与DHT网络相适应，避免了每个节点负责的虚拟标识太多而导致虚拟标识的管理和迁移的工作量太大的问题。

在本发明实施例的一个优选实施方式中，如图4所示，该装置还可以：分裂模块40，用于将已分配给各个虚拟标识对应的负载空间再次均分为M份(在本发明实施例中称为对虚拟标识进行分裂)，使用M×Z个虚拟标识对再次均分后的各份负载空间进行标识，其中，M为自然数，且M≥2；则分配模块30还用于根据DHT网络中各个节点的能力，将分裂后的M×Z个虚拟标识分配各个节点，由各个节点负责分配给其的虚拟标识对应的负载空间。

例如，分裂模块40可以在DHT网络中某个节点的负载不均衡度超过负载不均衡度阈值时，执行上述分裂功能，在这种情况下，分裂模块40的功能可以由管理服务节点完成，也可以由DHT网络中的其他节点完成，在这种情况下，分裂模块40在执行完上述分裂功能之后，可以直接触发分配模块30根据分裂后的虚拟标识对DHT网络中各个节点负责的虚拟标识进行调整，使其中负载不均衡度较高的节点的负载不均衡度下降，或者，也可以不触发分配模块30，而是在下一次有新节点加入时，分配模块30根据分裂后的虚拟标识为新节点分配虚拟标识；或者，分裂模块40可以在有新节点加入DHT网络时，执行上述分裂功能，分配模块30将分裂后负责的虚拟标识的数量超过理论值的节点负责的虚拟标识取出多余的虚拟标识分配给新节点，在这种情况下，分裂模块40的功能可以由管理服务节点完成，也可以由新节点的负责节点完成。采用该优选实施方式，可以进一步在网络扩展时，保证各个节点的负载均衡。

在本发明实施例的另一个优选实施方式中，如图4所示，该装置还可以包括：更新模块50，用于在分配模块30将分裂后的M×Z个虚拟标识分配给各个节点后，更新DHT网络的查询路由表，从而使得在重新分配分裂后的虚拟标识后，可以使用分裂后的虚拟标识在DHT网络中进行数据存储。

实施例二

图5是根据本发明实施例的DHT网络的负载均衡实现方法的流程图，该方法可以通过上述实施例一所述的装置实现。如图5所示，该方法主要包括以下步骤：

步骤S502，根据DHT网络的节点规划及预设的负载不均衡度阈值，确定第一虚拟标识的数量Z，其中，Z为自然数；

其中，DHT网络的节点规划包括但不限于：DHT网络中的节点数量及各个节点的能力。

假设虚拟标识数量为Z，容量最小的节点i多负载了一个Δ空间(S/Z)，其中，S为DHT网络的整个负载空间，则可以通过下面公式确定Z：

\frac{\frac{C_{i}}{Σ_{k = 1}^{N} C_{k}} \times S + \frac{S}{Z}}{\frac{C_{i}}{Σ_{k = 1}^{N} C_{k}} \times S} - 1 < LN

解之，可得：

Z > \frac{Σ_{k = 1}^{N} C_{k}}{C_{i} \times LN}

优选地，Z的取值可以为2的n次幂。

步骤S504，将DHT网络的整个负载空间均分为Z份，各份负载空间分别用互不相同的虚拟标识进行标识；

步骤S506，根据各个节点的能力，将N个虚拟标识分配各个节点，由各个节点负责分配给其的虚拟标识对应的负载空间。

每个节点根据自己的能力C_i计算应该负载的虚拟标识个数，然后将Z个虚拟标识分配给各个节点，尽量使分配给各个节点的虚拟标识数达到该节点应该负载的虚拟标识的数量(即理论值)，其中，能力强的节点所获取的虚拟标识多，能力弱的节点所获取的虚拟标识少。由于虚拟标识对应的负载空间是等份的，而各个节点的理论负载空间值有可能不等于X个虚拟标识负责空间之和，因此，节点实际负责空间比理论负责空间会有一定区别，但其最大的偏差不会超过一个虚拟标识所对应的Δ空间。

在按照上述步骤分配各个节点负责的虚拟标识后，当有新节点加入到网络中时，可以通过以下步骤为新节点分配虚拟标识：

步骤1，新节点加入DHT网络；

步骤2，根据新节点的能力，计算新节点i应该负责的虚拟标识的数量X：

\frac{C_{i}}{Σ_{k = 1}^{N + 1} C_{k}} \times Z - - - (1)

步骤3，将DHT网络中负责的虚拟标识数超过理论值的节点负责的部分虚拟标识分配给新节点负责，使新节点负责的虚拟标识的数量接收上述X。

例如，各个节点负责的虚拟标识的理论值X_j：

X_{j} = \frac{C_{j}}{Σ_{k = 1}^{N + 1} C_{k}} \times Z

各个节点当前实际负责的虚拟标识的数量为Y_j，则各个节点超过理论值的虚拟标识的数量为Y_j与X_j的差值，对于差值大于0的节点，则可以从该节点负责的虚拟标识中随机取出上述差值个虚拟标识，将该差值个虚拟标识分配给新节点。

在为新节点分配完虚拟标识后，如果发现某个虚拟标识的负载不均衡度超过负载不均衡度阈值，则可以对上述Z个虚拟标识进行分裂，或者，也可以在新节点加入时，直接对上述Z个虚拟标识进行分裂。其中，对Z个虚拟标识进行分裂可以通过以下步骤实现：

步骤1，将已分配给各个节点的各个虚拟标识对应的负载空间再次均分为M份；

步骤2，使用M×Z个虚拟标识(为了与分裂前的虚拟标识进行区分，下面对分裂后的虚拟标识称为第二虚拟标识)对再次均分后的各份负载空间进行标识，其中，M为自然数，且M≥2。

例如，可以在两个连接的分裂前的虚拟标识中间生成M-1个新的虚拟标识，使用两个连接的分裂前的虚拟标识中的前一个虚拟标识及上述M-1个新的虚拟标识作为M个分裂后的虚拟标识(即上述第二虚拟标识)，利用该M个分裂后的虚拟标识对上述前一个虚拟标识对应的负载空间均分出的M份负载空间进行标识。

对于新节点加入而触发虚拟标识分裂的情况，在进行虚拟标识分裂之后，可以分别将各个节点负责的虚拟标识分裂为第二虚拟标识，以及计算各个节点在新节点加入后应该负责的第二虚拟标识的数量(即理论值)，然后实际负责的第二虚拟标识超过其理论值的节点负责的所有第二虚拟标识中取出(实际负责的第二虚拟标识的数量-该节点应该负责的第二虚拟标识的数量)个第二虚拟标识分配给新节点。

如果是由于DHT网络中有节点的负载不均衡度超过负载不均衡度阈值而触发虚拟标识分裂的情况下，在分裂之后，可以根据当前各个节点的负载不均衡度，对各个节点负责的第二虚拟标识的数量进行调整，使其中负载不均衡度超过负载不均衡度阈值的节点的负载不均衡度下降，从而保证各个节点的负载均衡。

通过本发明实施例提供的上述方法，在建网初期，可以根据DHT网络的规划规模和负载不均衡度阈值来确定划分负载空间的份数，从而使得虚拟标识的数量可以与DHT网络相适应，避免了每个节点负责的虚拟标识太多而导致虚拟标识的管理和迁移的工作量太大的问题。在网络扩展时，可以对虚拟标识进行自动分割，从而使得网络具有可扩展性。

实施例三

本发明实施例以集中式拓扑网络的新节点加入为例进行说明。

图6是本发明实施例中新节点加入集中式拓扑网络的流程图，如图6所示，主要包括以下步骤：

步骤601：新节点产生节点ID，并根据节点ID的大小定位到其准入节点，准入节点就是当前网络中新节点的直接后继结点；

所述节点ID可以通过对节点的特征信息进行哈希运算得到，节点的特征信息指该节点的唯一性信息，例如IP地址、网卡号、或机器序号，哈希算法的选取可以是任意的；或者，节点ID也可以由网络的运营管理者统一分配。

步骤602：新节点向准入节点发送加入请求消息，该请求消息中携带其能力值及节点标识；

步骤603：准入节点把加入请求消息转发给管理服务节点；

步骤604：管理服务节点根据新节点能力值，计算新节点加入后其应负责的虚拟标识个数以及其它节点应负责的虚拟标识个数，然后把网中原有节点多余的虚拟标识(即节点实际负责的虚拟标识个数与该节点应负责的虚拟标识个数之差)随机分配给新节点；

步骤605：管理服务节点对路由表进行更新；

步骤606：管理服务节点向接入节点资源数据调整通知；

步骤607：叠加网中节点根据管理服务节点的指示，调整资源数据。

通过本发明实施例，可以对集中式拓扑网络进行扩展。

实施例四

本发明实施例以集中式拓扑网络为例，对虚拟标识的分裂流程进行说明。在本发明实施例中，在DHT网络中有节点的负载不均衡度超过负载不均衡度阈值的情况下进行分裂，并在进行分裂后，调整各个节点的负责的虚拟标识的数量，以使DHT网络中节点的负载不均衡度下降。

图7为本发明实施例中虚拟标识分裂的流程图，如图7所示，主要包括以下步骤：

步骤701：随着新节点不断加入叠加网，网络规模不断扩大，负载不均衡度不断增大，当达到负载不均衡度阀值时，管理服务节点出现告警；

步骤702：管理服务节点向决策中心(如网管平台)发送告警通知；

步骤703：决策中心接收到网络负载不均衡告警后，可以自动处理，也可以由人工干与，指示叠加网中虚拟标识等分裂M份；

步骤704：决策中心向管理服务节点发送命令，要求管理服务节点分裂虚拟标识；

步骤705：管理服务节点根据指示，把虚拟标识进行等份分裂为M份；

例如，叠加网中有原8个虚拟标识，均等分裂4份后，叠加网中32个虚拟标识。

步骤706：管理服务节点根据各节点的不均衡度调整各个节点负责的虚拟标识，使不均衡度下降；

步骤707：管理服务节点向叠加网接入节点发送资源数据调整通知；

步骤708：叠加网中的节点进行数据调整。

通过本发明实施例，可以在负载不均衡度超过阈值时，对虚拟标识进行分裂，并根据各个节点的负载不均衡度调整各个节点负责的分裂后的虚拟标识的数量，从而降低DHT网络的负载不均衡度。

实施例五

本发明实施例以分布式拓扑网络为例，对新节点加入及虚拟标识分裂进行说明。

图8是本发明实施例中新节点加入及虚拟标识分裂的流程图，如图8所示，主要包括以下步骤：

步骤801：新节点产生节点ID，并根据节点ID的大小定位到其准入节点，准入节点就是当前网络中新节点的直接后继结点；

其中，所述节点ID可以通过对节点的特征信息进行哈希运算得到，节点的特征信息指该节点的唯一性信息，如IP地址、网卡号、或机器序号，哈希算法的选取可以是任意的；或者，节点ID也可以由网络的运营管理者统一分配。

步骤802：新节点向准入节点发送加入请求消息，其中，加入请求消息中携带其能力值及节点标识；

步骤803：准入节点根据DHT算法确定新节点的负责节点(即新节点的后继节点)，然后把加入请求消息转发给负责节点；

步骤804：负责节点对DHT网络中各个节点负责的各个虚拟标识进行分裂，根据新节点能力值，分配X个新分裂的虚拟标识给新节点；

其中，X的计算公式为：

Z为整个叠加网标识分裂后所有的虚拟标识个数。

同样，负责节点计算出叠加网中各节点理论负责的分裂后的虚拟标识个数。各节点中当前负责的分裂后的虚拟标识个数减去理论负责虚拟标识个数之差就为各节点应该分配给新节点的虚拟标识数量(设为R)。从各节点中随机选取R个虚拟标识分配给新节点的虚拟标识，直到达到X个。

步骤805，806：负责节点原路返回新节点加入请求的响应消息；

步骤807：负责节点指示相关节点，进行资源数据的迁移调整；

步骤808：负责节点通知叠加网中的节点更新查询路由表；

步骤809：叠加网中各节点根据指示，更新各自的查询路由表。

需要说明是，在本发明实施例中，在新节点加入之后，如果某个节点的负载不均衡度超过负载不均衡度阈值，则可以再次进行虚拟标识的分裂，并根据各个节点的负载不均衡度，对各个节点负责的分裂后的虚拟标识进行调整，以降低DHT网络的负载不均衡度，具体本发明实施例中不再赘述。

通过本发明实施例中，可以在新节点加入时，对虚拟标识进行分裂，从而使得新节点加入后的DHT网络的负载不均衡度不会过大。

实施例六

本发明实施例以集中式拓扑网络为例，对虚拟标识的分裂流程进行说明。在本发明实施例中，在DHT网络中有节点的负载不均衡度超过负载不均衡度阈值的情况下进行分裂，并在进行分裂后，并不调整各个节点的负责的虚拟标识的数量，而是在有新节点加入后，以分裂后的虚拟标识进行虚拟空间的分配。

图9为本发明实施例中虚拟标识分裂和分配的流程图，如图9所示，主要包括以下步骤：

步骤901：随着新节点不断加入叠加网，网络规模不断扩大，负载不均衡度不断增大，当达到负载不均衡度阀值时，管理服务节点出现告警；

步骤902：管理服务节点向决策中心(如网管平台)发送告警通知；

步骤903：决策中心接收到网络负载不均衡告警后，可以自动处理，也可以由人工干与，指示叠加网中虚拟标识等分裂M份；

步骤904：决策中心向管理服务节点发送命令，要求管理服务节点分裂虚拟标识；

步骤905：管理服务节点根据指示，把虚拟标识进行等份分裂为M份；

步骤906：管理服务节点接收到有新节点加入的请求消息；

步骤907：管理服务节点根据新节点能力值，分配X个分裂后的虚拟标识给新节点；

其中，X的计算公式为：

Z为整个叠加网标识分裂后所有的虚拟标识个数。

同样，服务管理节点计算出叠加网中各节点理论负责的虚拟标识个数。各节点中当前负责的虚拟标识个数减去其理论负责虚拟标识个数之差就为各节点应该分配给新节点的虚拟标识数量(设为R)。从各节点中随机选取R个虚拟标识分配给新节点的虚拟标识，直到达到X个。

步骤908：管理服务节点向叠加网接入节点发送资源数据调整通知；

步骤909：叠加网中的节点进行数据调整。

实施例七

本发明实施例以一个具体的实例对本发明实施例提供的虚拟标识分裂进行说明。

在本发明实施例中，假设整个哈希空间(假设为0-63)，负载不均衡度阈值(LN)为10％。如图10所示，网络有A和B两个节点，节点的能力都相同为c，整个哈希空间被8个虚拟标识均匀分裂。虚拟标识P0，P16，P32，P48分配给节点A负责，虚拟标识P8，P24，P40，P56分配给节点B负责。因两个节点能力相同，因此，每个节点都分配4个虚拟标识，虚拟标识所负责的空间都一样，所以两个节点的存储负载均衡。

当一个新节点C(能力与A、B相同)请求加入到叠加网中，这时各节点理论应负责空间：

节点A＝节点B＝节点C＝c/(c+c+c)*64＝21.33

由于标识是不可分割的，三个节点的分配虚拟标识为：3，3，2，这时有两个节点实际负责空间为24，而另一个只有16。则各个节点的负载不均衡度分别为12.49％、12.49％和-24.98％。负载不均衡度已经超过阀值，需要进行分裂虚拟标识。

如果每个虚拟标识对应的负载空间分裂成M(假设M＝4)等份，整个哈希空间被32个虚拟标识分割，如图11所示，节点A负责16个虚拟标识，节点B负责16个虚拟标识。加入节点C后，三个节点理论应分配标识分别为11，11，10，这时，需要从节点A和B负责的虚拟标识中取出5个虚拟标识分配给节点C。这样，有两个节点实际负责空间为22，而另一个只有20。则负载不均衡度分别为3.1％，3.1％和-6.2％，满足需求。负责节点分别从节点A和节点B两个节点随机选择5个虚拟标识分配给新节点C，如图12所示。

从以上的描述中，可以看出，通过本发明，整个DHT叠加网系统可以很好地实现数据存储负载均衡，并且虚拟标识可以根据网络节点的规模自动分割，从而减少标识管理和标识迁移的工作量，同时，使网络具有可扩展性。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种分布式哈希表DHT网络的负载均衡实现方法，其特征在于，包括：

根据所述DHT网络的节点规划及预设的负载不均衡度阈值，确定第一虚拟标识的数量Z，其中，Z为自然数；

将所述DHT网络的整个负载空间均分为Z份，各份负载空间分别用互不相同的所述第一虚拟标识进行标识；

根据各个所述节点的能力，将Z个所述第一虚拟标识分配各个所述节点，由各个所述节点负责分配给其的所述第一虚拟标识对应的负载空间。

2.根据权利要求1所述的方法，其特征在于，根据所述DHT网络的节点规划及预设的负载不均衡度阈值，确定第一虚拟标识的数量Z包括：

获取所述DHT网络中能力最差的节点；

根据所述负载不均衡度阈值，确定所述第一虚拟标识的数量Z，使得所述能力最差的节点的负载不均衡度小于所述负载不均衡度阈值。

3.根据权利要求2所述的方法，其特征在于，确定所述第一虚拟标识的数量Z，使下式成立：

\frac{\frac{C_{i}}{Σ_{k = 1}^{N} C_{k}} \times S + \frac{S}{Z}}{\frac{C_{i}}{Σ_{k = 1}^{N} C_{k}} \times S} - 1 < LN,

其中，C_i为所述能力最差的节点的容量，N为所述DHT网络中节点的总数，S为所述DHT网络的总负载空间，LN为所述负载不均衡度阈值。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：新的节点加入所述DHT网络；

根据所述新的节点的能力，计算所述新的节点应该负责的所述第一虚拟标识的数量；

将所述DHT网络中负责的所述第一虚拟标识数超过理论值的节点负责的部分所述第一虚拟标识分配给所述新的节点负责，使所述新的节点负责的所述第一虚拟标识的数量接近所述新的节点应该负责的所述第一虚拟标识的数量。

5.根据权利要求4所述的方法，其特征在于，将所述DHT网络中负责的所述第一虚拟标识数超过理论值的节点负责的部分所述第一虚拟标识分配给所述新的节点负责包括：

根据所述DHT网络中各个节点的能力，计算加入所述新的节点后各个所述节点应该负责的所述第一虚拟标识的理论值；

判断各个所述节点当前负责的所述第一虚拟标识的数量是否超过该节点的所述理论值，如果是，则将该节点负责的所有所述第一虚拟标识中随机取超出该理论值部分的所述第一虚拟标识分配给所述新的节点。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：所述DHT网络中的一个节点的负载不均衡度超过所述负载不均衡度阈值；

将已分配给各个节点的各个所述第一虚拟标识对应的负载空间再次均分为M份，使用M×Z个第二虚拟标识对再次均分后的各份负载空间进行标识，其中，M为自然数，且M≥2。

7.根据权利要求6所述的方法，其特征在于，在使用M×Z个第二虚拟标识对再次均分后的各份负载空间进行标识之后，所述方法还包括：

根据所述DHT网络中各个节点的负载不均衡度，对各个节点负责的所述第二虚拟标识的数量进行调整，使其中负载不均衡度超过所述负载不均衡度阈值的节点的负载不均衡度下降。

8.根据权利要求6所述的方法，其特征在于，在使用M×Z个第二虚拟标识对再次均分后的各份负载空间进行标识之后，所述方法还包括：

新节点加入所述DHT网络；

将所述DHT网络中负责的所述第二虚拟标识数超过理论值的节点负责的部分所述第二虚拟标识分配给该新节点负责，使该新节点负责的所述第二虚拟标识的数量接近该新节点应该负责的所述第二虚拟标识的数量。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

新的节点加入所述DHT网络；

将各个所述第一虚拟标识对应的负载空间再次均分为M份，使用M×Z个第二虚拟标识对再次均分后的各份负载空间进行标识，其中，M为自然数，且M≥2；

根据所述新的节点的能力，计算所述新的节点应该负责的所述第二虚拟标识的数量；

将所述DHT网络中负责的所述第二虚拟标识数超过理论值的节点负责的部分所述第二虚拟标识分配给所述新的节点负责，使所述新的节点负责的所述第二虚拟标识的数量接近所述数量。

10.根据权利要求9所述的方法，其特征在于，将所述DHT网络中负责的所述第二虚拟标识数超过理论值的节点负责的部分所述第二虚拟标识分配给所述新的节点负责包括：

根据所述DHT网络中各个节点的能力，计算加入所述新的节点后各个所述节点应该负责的所述第二虚拟标识的理论值；

判断各个所述节点当前负责的所述第二虚拟标识的数量是否超过该节点的所述理论值，如果是，则将该节点负责的所有所述第二虚拟标识中随机取超出该理论值部分的所述第二虚拟标识分配给所述新的节点。

11.根据权利要求6或9所述的方法，其特征在于，使用M×Z个第二虚拟标识对再次均分后的各份负载空间进行标识包括：

对于Z个所述第一虚拟标识，在两个连续所述第一虚拟标识中间生成M-1个新的虚拟标识，使用所述两个连续所述第一虚拟标识中的前一个所述第一虚拟标识和所述M-1个新的虚拟标识作为M个所述第二虚拟标识，分别标识所述前一个第一虚拟标识对应的负载空间均分出的M份负载空间。

12.一种DHT网络的负载均衡实现装置，其特征在于，包括：

确定模块，用于根据所述DHT网络的节点规划及预设的负载不均衡度阈值，确定第一虚拟标识的数量Z，其中，Z为自然数；

划分模块，用于将所述DHT网络的整个负载空间均分为Z份，各份负载空间分别用互不相同的所述第一虚拟标识进行标识；

分配模块，用于根据各个所述节点的能力，将Z个所述第一虚拟标识分配各个所述节点，由各个所述节点负责分配给其的所述第一虚拟标识对应的负载空间。

13.根据权利要求12所述的装置，其特征在于，所述装置还包括：

分裂模块，用于将已分配给各个节点的各个所述第一虚拟标识对应的负载空间再次均分为M份，使用M×Z个第二虚拟标识对再次均分后的各份负载空间进行标识，其中，M为自然数，且M≥2；

则所述分配模块还用于根据所述DHT网络中各个节点的能力，将M×Z个所述第二虚拟标识分配各个所述节点，由各个所述节点负责分配给其的所述第二虚拟标识对应的负载空间。

14.根据权利要求13所述的装置，其特征在于，所述装置还包括：

更新模块，用于在所述分配模块将M×Z个所述第二虚拟标识分配各个所述节点之后，更新所述DHT网络的查询路由表。