CN101414962A

CN101414962A - 实现负载均衡的方法和节点

Info

Publication number: CN101414962A
Application number: CNA2007101813822A
Authority: CN
Inventors: 沈霆; 韩定一; 俞勇; 李朋
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2007-10-19
Filing date: 2007-10-19
Publication date: 2009-04-22
Anticipated expiration: 2027-10-19
Also published as: CN101414962B

Abstract

本发明实施例公开了一种实现负载均衡的方法，包括：达到负载上限的节点接收路由至自身的项；根据所述接收的项的键值，选择所述节点以外的一个节点作为进行负载均衡的目标节点；键值在同一范围内的项对应一个目标节点，键值在不同范围内的项对应两个以上目标节点；将所述接收到的项转移到所述选择的目标节点。本发明实施例同时公开了一种实现负载均衡的节点。应用本发明实施例所述的方法和节点，能够降低结构化对等网络中的存储开销并提高查询效率。

Description

实现负载均衡的方法和节点

技术领域

本发明涉及网络负载均衡技术，特别涉及一种在结构化对等网络中实现负载均衡的方法和节点。

背景技术

当前，结构化(Structured)对等(P2P，Peer-to-Peer)网络由于查询速度比非结构化(Unstructured)对等网络快、具有很好的扩展性等优势，正在被广泛地应用。在结构化对等网络中，每个数据对象被映射到一个键值(key)，即一个数字，如10、15，而每个这样的映射会生成一个项(item)，用来存储一个数据对象的实际存储位置和它的键值。网络中的每个节点负责存储键值在某段范围之内的项，现有技术中，各节点负责的项的键值范围不同。

实现负载均衡是保证结构化对等网络服务质量的一个关键，但是，现有的多种结构化对等网络系统中，如支持范围查询的系统、数据库应用系统以及位置敏感哈希(LSH，Locality Sensitive Hashing)系统等，由于项在系统中的分布不均匀，往往导致严重的负载不均衡。

为解决这一问题，现有技术中提出了一些能够用于均衡负载的方案，如重整负载方式(load rearranging)。该方式通过在节点之间转移项来达到均衡负载的目的，当一个节点发生满载时，将自身的一部分负载，即项转移到网络中一个负载较轻的节点上。当然，如果该负载较轻的节点满载后，可以重新选择其它负载较轻的节点。其中，网络中各节点的负载能力信息可通过Cuckoo Ring技术获取。通常，Cuckoo Ring是基于具有良好路由性能的Chord环实现的。在Chord环结构中，如果网络中有n个节点，那么任意两个节点之间的通信均可在O(log n)时间内完成；Chord环中的每个节点都有一个唯一的标识号，通过维护一张含有

条条目的路由表完成路由功能，其中的第i条中记录了从当前节点的标识号加上2^i-1后，网络中存在的最小的大于等于当前节点的标识号加上2i-1的标识号。CuckooRing方式通常基于Chord环实现，这种方式下，每个节点通过维护一张负载表来收集和记录系统中各节点的负载状况，具体实现如下：每个节点记录一个包括

条条目的系统负载表，系统初始化时这些条目均为空。节点p的第i条条目记录的是〔p+2^i-1，p+2ⁱ)区间内负载最轻的节点标识以及该节点的负载能力，该负载能力信息通过查询系统路由表中所指该区域的节点得到。具体的询问对象是询问系统路由表中第i条条目所指的节点，询问的内容为从该节点(包括该节点)开始之后2^i-1-1个节点范围内负载最轻的节点是哪个节点？其负载能力多大？当某一节点收到该查询负载的请求后，通过查阅自己的系统负载表中前i-1条条目进行回复。

上述负载表可进行实时更新，这样，对于某一需要进行负载转移的节点，如节点A来说，假设该节点有几个键值相同的项，如项A、B、C需要转移。当转移项A时，节点A通过查询负载表得知当前负载最轻的节点为节点B，所以将项A转移到节点B上，但是，当需要转移项B时，可能此时负载最轻的节点已经不是节点B，而是其它节点了，这样，节点A就会将项B转移到当前负载最轻的节点，比如节点C上，从而造成相同键值的项被转移到不同的节点，进而产生大量的碎片。所谓一个碎片，是指从一个节点上被转移到另一个节点上的具有相同键值的项的集合。为了跟踪转移的情况，需要在满载节点的转移表中为每一个碎片对应生成一个转移记录，该转移记录可根据项的转移情况进行更新，这样被转移的项才能在后续过程中被检索到。

虽然重整负载等方式能够实现负载均衡，但是也带来了一些新的问题，其中最主要的就是存储开销过大以及查询效率过低。存储开销过大的问题主要由转移表造成，因为系统中转移表中的记录总数等于系统中碎片的总数，如果系统中因为项的转移产生大量的碎片，这些大量的碎片将导致很大的存储开销。

查询效率的问题主要体现在给定键值的查询执行时间上。如果系统收到一个给定键值的查询，这个查询将首先被路由到最初负责存储这个键值的节点，如果该节点满载，再根据该节点的转移表将这个查询路由至含有这个键值的碎片的节点。一个键值的转移记录的数量直接决定了要进行查询的节点的数量，如果该键值的碎片数量较多，就会有较多的节点被牵涉到查询过程中，从而造成较低的查询效率以及较高的网络开销。总之，大量的碎片为系统带来了高存储开销以及低查询效率的问题。

可见，现有技术中的一些方式虽然能够实现负载均衡，但是这些方式却因为在均衡负载的过程中产生大量的碎片，导致了结构化对等网络中存储开销过高以及查询效率过低的问题。

发明内容

本发明实施例提供一种实现负载均衡的方法，能够降低存储开销和提高查询效率。

本发明实施例提供一种实现负载均衡的节点，能够降低存储开销和提高查询效率。

本发明实施例的技术方案是这样实现的：

一种实现负载均衡的方法，包括：

达到负载上限的节点接收路由至自身的项；

根据所述接收的项的键值，选择所述节点以外的一个节点作为进行负载均衡的目标节点；键值在同一范围内的项对应一个目标节点，键值在不同范围内的项对应两个以上目标节点；

将所述接收到的项转移到所述选择的目标节点。

一种实现负载均衡的节点，包括：接收单元、选择单元以及转移单元；

所述接收单元，用于接收路由至自身的项；

所述选择单元，用于根据所述接收单元中接收的项的键值，选择所述节点以外的一个节点作为进行负载均衡的目标节点，使得键值在同一范围内的项对应一个目标节点，键值在不同范围内的项对应两个以上目标节点；

所述转移单元，用于将所述接收单元接收的项转移到所述选择的目标节点。

可见，采用本发明实施例的技术方案，达到负载上限的节点接收路由至自身的项，根据接收到的项的键值，选择一个自身以外的节点作为进行负载均衡的目标节点，并将接收到的项转移到该选择的目标节点。可见，本发明实施例所述方案中，相同键值的项被转移到同一目标节点，从而归并了潜在的大量碎片，降低了网络的存储开销，提高了查询效率。

附图说明

图1为本发明方法实施例一的流程图。

图2为本发明方法实施例二的流程图。

图3为本发明实施例中的导航表示意图。

图4为本发明实施例中各类型节点的锁定级别示意图。

图5为本发明设备实施例的示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明作进一步地详细说明。

图1为本发明方法实施例一的流程图。如图1所示，包括以下步骤：

步骤101：达到负载上限的节点接收路由至自身的项，根据该接收到的项的键值，选择该节点以外的一个节点作为进行负载均衡的目标节点。

本实施例中，达到负载上限的节点生成两个以上的导航表，用于记载后续选择的目标节点。

其中，根据该接收到的项的键值，选择该节点以外的一个节点作为进行负载均衡的目标节点可以为：预先为每个导航表设置一个标号，比如，从0到m-1的整数，其中m为生成的导航表个数；利用一个预先设置的哈希函数，将接收到的项的键值映射为一个取值在大于等于0且小于m范围内的数值；该映射出的数值即为所生成的两个以上导航表中某一个导航表对应的标号，选择该标号对应的导航表中的目标节点作为进行负载均衡的目标节点。

举例说明：假设网络中某一节点共负责存储键值范围从1～100的项，又假设该节点共生成10个导航表，那么，这10个导航表分别用于记录为键值从1～10、11～20......，以及91～100范围内的项进行负载均衡的目标节点。假设将这10个导航表的标号分别设置为0～9；那么，本示例中哈希函数的作用为：将取值为1～10的键值映射为标号0，将取值为11～20的键值映射为标号1，其它依次类推。当节点接收到路由至自身的项，假设该项的键值为15时，首先根据哈希函数的映射关系，将该键值15映射为标号1，进而选择由标号为1的导航表中记录的目标节点作为转移该键值为15的项的目标节点。

当然，上述选择导航表的方法仅为本发明较佳实施方式而已，在本领域技术人员能够想到的范围内，采用其它的方式也是可以的，比如上述用于进行映射的并不限定于是哈希函数，只要能实现分配的映射关系都可以。而且，上述映射并不限于上述示例中所介绍的均等映射，即，映射到不同标号上的键值的数量可以不同。

步骤102：将接收到的项转移到选择的目标节点。

本步骤具体包括：首先判断选择的导航表是否为空，如果为空，则从该节点的负载表中选择出一个综合负载能力最优的节点作为目标节点，加入到所选择的导航表中，并将接收到的项转移至该新加入的目标节点；如果导航表不为空，则进一步判断选择的导航表中记录的最近加入的目标节点是否有效，如果有效，则将接收到的项转移至该最近加入的目标节点；否则，从负载表中选择综合负载能力最优的节点作为目标节点，加入到所选择的导航表中，并将接收到的项转移至该新加入的目标节点。

其中，负载表用于记录网络中各节点的负载能力，由节点生成，而且可以是在该节点成为满载节点之前就已经生成，也可以是在节点成为满载节点之后生成，并可根据网络中各节点负载能力的变化进行实时或周期性地更新。负载表的生成方式可参照图2所示实施例中的说明，此处不作详细介绍。

需要说明的是，图1所示实施例中，导航表的生成可以是在节点成为满载节点之后，也可以是之前。但是为了在满载之前不另外的占用存储空间，在下面的实施例中，采用在满载后才生成导航表。

在本发明的方法实施例二中，将网络中的节点分为三种类型，即普通节点(Normal Peer)、导航节点(Piloting Peer)以及锁定节点(Locked Peer)。其中，负载低于规定的负载上限的节点称为普通节点；达到负载上限的节点，即满载的节点称为导航节点；为其它节点进行过负载均衡且自身负载低于负载上限的节点称为锁定节点。这里所提到的负载上限，是指预先规定或系统默认的节点可以承受的最大负载量。

图2为本发明方法实施例二的流程图。如图2所示，包括以下步骤：

步骤201：网络中的节点A接收并存储路由至自身的项。

假设本步骤中，节点A的负载尚未达到负载上限，所以，对于路由至自身的项，节点A将直接进行存放。

这里所提到的“节点A”只是为便于描述，可代表网络中的任一节点。

步骤202：某一时刻，节点A的负载达到自身负载上限，即达到满载状态，成为导航节点，生成两个以上的导航表。

由于不断接收路由至自身的项，所以在某一时刻，节点A达到满载，成为导航节点。

成为导航节点后，节点A生成m(m>1)个导航表，用于记录后续选择的作为目标节点的节点信息。每个导航表具体负责的键值范围可根据节点A中导航表的数量而定。比如，假设节点A共负责键值范围为从1～100的100个键值；节点A生成10个导航表，标号分别为0～9，那么每个导航表负责的键值分别为10个，即标号为0的导航表负责导航键值在1～10范围之内的项，标号为1的导航表负责导航键值在11～20范围之内的项，依次类推。这里所提到的导航是指为在自身负责范围内的项选择负载均衡时的目标节点。

在实际应用中，节点A需要生成多少个导航表需要根据具体应用环境而定。极端情况下，节点A可以为每一个键值均提供一个导航表，但是这种情况下如果节点A负责的键值较多，就会造成导航表的记录很分散，从而导致节点A具有很高的存储开销；但是，如果设置较少的导航表，那么每个导航表负责的键值就会较多，每一个目标节点很容易满载，相应地，在导航过程中就需要使用较多的目标节点，从而造成碎片数量的增多。所以，为达到最优的技术效果，本实施例中，导航表的具体个数设置可以均衡考虑存储开销以及碎片数量这两个因素，选择一个最优值。比如，将导航表数量设置为连续的整数，在相同网络环境下，通过仿真方式测试不同导航表数量对应的不同存储开销以及碎片数量，并以导航表数量为横轴，以存储开销和碎片数量为纵轴分别生成两条曲线，将这两条曲线的交点或在交点附件选取的值作为节点A需要生成的导航表数量。

图3为本发明实施例中的导航表示意图。如图3所示，导航表在建立初期为空，后续随着不断有节点加入，导航表中会出现如图3中虚线部分所示的记录信息。

步骤203：节点A接收路由至自身的项，从已经生成的多个导航表中选择一个导航表，将其中记录的目标节点作为为接收到的项进行负载均衡的目标节点。

具体选择方法可以是：节点A根据接收到的项的键值K，利用一个固定的哈希函数H：key->[0，m)，将接收到的项的键值映射为第H(K)个导航表对应的标号，由该导航表中记录的目标节点来接收节点A转移过去的当前接收到的项。

步骤204：判断选择的导航表是否为空，如果为空，则执行步骤206；否则，执行步骤205。

步骤205：判断选择的导航表中最近加入的目标节点是否有效，如果有效，则执行步骤207；否则，执行步骤206。

判断目标节点是否有效的方法可以是：判断目标节点是否满载或判断目标节点的当前负载是否达到预先设定的阈值。

在实际应用中，对于需要由同一导航表处理的项，比如，节点A在不同时刻接收到的项，其键值分别15和19，根据映射关系，这两个键值的项均需要由标号为1的导航表处理。那么，标号为1的导航表会在记录的最近加入的目标节点失效之前，将键值为15和19的项均转移至该最近加入的目标节点，包括后续接收到的需要由自身处理的项。随着该最进加入的目标节点不断接收转移到自身的项，某一时刻，必然会达到满载状态。这样，标号为1的导航表在再次接收到需要由自身处理的项时，就需要重新选择用于为当前项进行负载均衡的目标节点，即执行步骤206。

步骤206：查询节点A中预先生成的负载表，选择一个综合负载能力最优的节点，加入到选择的导航表中作为目标节点。

所述负载表可以是在节点A成为导航节点之前生成，也可以是在节点A成为导航节点之后生成。而且，该负载表可以具体表现为多种形式，比如本实施例中的负载表在记载各节点的负载能力的同时，还可以记载一个关于各节点的综合负载能力排名，根据排名顺序，可直接查询到哪个节点的综合负载能力强、哪个节点的综合负载能力弱等信息。这里所提到的综合负载能力排名，是指排名可综合考虑两个因素，即节点的锁定级别以及剩余负载能力，而且这两个因素所占权重的最优值可以通过试验训练得到，即通过训练得到锁定级别以及剩余负载能力这两个因素在计算综合负载能力排名时所占的不同比重，找到锁定级别以及剩余负载能力所占比重的最优值，从而使得根据这两个因素计算出的综合负载能力排名最能反映各节点的负载能力。其中锁定级别用于表示节点已经帮助多少个其它节点进行过了负载均衡。每均衡一个其它节点的负载，该节点的锁定级别就会上升一级。当然，上述过程中，也可以综合考虑其它因素来获取各节点的综合负载能力排名。

上述负载表的具体生成方法可通过对现有Cuckoo Ring方式进行改进来实现。

现有Cuckoo Ring中的询问方式虽然可以获取到当前网络中各节点的负载能力信息，但是该方式可能会导致一个负载较轻的节点被多个导航节点同时锁定。这里所提到的锁定，是指被其它节点选择为进行负载均衡的目标节点。如果在短时间内有很多节点满载，那么它们可能会选择同一个负载最轻的节点来进行负载均衡，这样，该负载最轻的节点就会很容易达到满载状态，那么导航节点就需要重新选择目标节点，进行负载均衡，如此往复，会产生大量的碎片。当然，还可以采用Cuckoo Ring以外的其它节点选择方式，比如，在当前还没有帮助过任何导航节点承担负载的节点中寻找负载最轻的，但是这种方式同样存在问题，因为当网络中总的负载较重的时候，可能根本就无法找到一个尚未帮助任何导航节点承担负载的节点。

所以，本发明实施例中采用了一个综合上述两种方式的策略，即，为网络中的每一个节点分别设置一个锁定级别。如图4所示，图4为本发明实施例中各类型节点的锁定级别示意图。其中，普通节点的锁定级别定义为0，导航节点的锁定级别定义为+∞。如果一个普通节点帮助一个导航节点均衡负载，即接收导航节点导航过来的项，该节点的锁定级别就会上升一级，变为锁定节点，也就是说，锁定节点的锁定级别必然是一个有限正整数。本发明实施例中综合考虑各节点的锁定级别以及剩余负载能力信息，找到最适合用于进行负载均衡的节点。为达到上述目的，需要对现有的Cuckoo Ring进行一定修改，将现有询问内容从“从该节点(包括该节点)开始之后2^i-1-1个节点范围内负载最轻的节点是哪个节点”修改为“从该节点开始(包括该节点)之后2^i-1-1个节点范围内锁定级别最低的节点中负载最轻的节点是哪个节点”，这里所述的负载最轻是指当前剩余负载能力最强。根据获取到的各节点的锁定级别以及剩余负载能力信息，可以进一步生成一个综合负载能力排名，这样，后续如果需要查找负载最轻的节点，只需查找哪个节点的综合负载能力排名最高即可。

本步骤中，通过查询节点A中生成的负载表，选择一个综合负载能力最优的节点，并将该节点作为接收导航项的目标节点加入到选择的导航表中。所述综合负载能力最优的节点可以是，综合负载能力排名最高的节点，比如，通常情况下为锁定级别最低的节点中负载最轻的一个节点，或者当锁定级别最低的节点的负载都比较重时，可以从锁定级别次低的节点中选取负载最轻的节点作为目标节点。

步骤207：将接收到的项转移至选择的目标节点中。

在图2所示方法实施例的基础上，如果需要查询一个存储在网络中的项，只需按照现有方式根据待查询项的键值找到存储所述项的原始节点；如果该原始节点为导航节点，那么还需要进一步通过哈希函数H，根据待查询项的键值找到之前负责为该项进行导航的导航表，并通过查询该导航表中的所有节点记录，遍历记录的各个节点，查看是否存储了待查询项，直到找到当前存储该待查询项的节点为止。

如果需要删除某一个存储在节点中的项，只需按照上述查询项的方法找到当前存储该待删除项的节点，然后将该项从其当前存储节点中删除即可。

需要说明的是，上述实施例仅用于举例说明，并不用于限制本发明的技术方案，比如，步骤206中实现Cuckoo Ring所基于的Chord环还可以替换为其它具备类似功能的网络结构，如点对点重叠网络传输协议(KADEMLIA)或可扩展分布式对象定位和路由协议(PASTRY)等。

图5为本发明设备实施例的示意图。该设备为节点，包括：接收单元、选择单元以及转移单元；

其中，接收单元分别与选择单元以及转移单元相连；转移单元又进一步与选择单元相连。

接收单元接收路由至自身的项；

选择单元根据接收单元中接收的项的键值，选择自身所在节点以外的一个节点作为进行负载均衡的目标节点，使得键值在同一范围内的项对应一个目标节点，键值在不同范围内的项对应两个以上目标节点；

转移单元根据选择单元所选择的目标节点，将接收单元中接收到的项转移到该选择的目标节点。

图5所示节点中还可进一步包括：导航表单元，与选择单元相连，用于生成两个以上的导航表，所述两个以上导航表分别用于记录键值在不同范围内的项对应的目标节点；选择单元利用映射关系，将接收到的项的键值映射为两个以上导航表中一导航表对应的标号，选择与标号对应的导航表，将该导航表中记录的目标节点作为进行负载均衡的目标节点。

图5所示节点中还可进一步包括：负载表单元以及有效性判断单元，其中：

负载表单元获取网络中除自身以外各节点的锁定级别以及剩余负载能力信息，生成记载网络中各节点负载能力的负载表；其中，网络中节点的初始锁定级别设置为0；每均衡一个节点的负载后，所述锁定级别上升一级。

有效性判断单元判断选择单元选择的目标节点是否有效，如果无效，则从负载单元生成的负载表中选择一个综合负载能力最优的节点作为目标节点，加入到选择的导航表中。

图5所示设备的具体工作流程可参照方法相应部分的说明，不再赘述。

可见，采用本发明实施例的技术方案，相同键值的项被映射到了相同的导航表上，而且，被映射到同一导航表上的项将被导航到同一目标节点中，直到该目标节点不再有效。该方案在实现负载均衡的同时，归并了潜在的大量碎片，降低了网络的存储开销，提高了查询效率，而且不会增加网络开销。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1、一种实现负载均衡的方法，其特征在于，该方法包括：

达到负载上限的节点接收路由至自身的项；

将所述接收到的项转移到所述选择的目标节点。

2、根据权利要求1所述的方法，其特征在于，所述选择所述节点以外的一个节点作为进行负载均衡的目标节点包括：

为所述达到负载上限的节点生成的两个以上导航表分别设置一不同标号；利用映射关系，将所述接收到的项的键值映射为一所述标号；所述两个以上的导航表分别用于记录键值在不同范围内的项对应的目标节点；

选择与所述标号对应的导航表，将该导航表中记录的目标节点作为进行负载均衡的目标节点。

3、根据权利要求1或2所述的方法，其特征在于，当所述目标节点无效时，选择新的目标节点。

4、根据权利要求3所述的方法，其特征在于，所述选择新的目标节点包括：

从所述达到负载上限的节点生成的用于记载网络中各节点负载能力的负载表中，选择一个综合负载能力最优的节点作为目标节点。

5、根据权利要求4所述的方法，其特征在于，所述达到负载上限的节点生成用于记载网络中各节点负载能力的负载表包括：

获取自身以外各节点的锁定级别以及剩余负载能力信息；

根据所述锁定级别以及剩余负载能力信息，确定所述自身以外各节点的综合负载能力；将所述各节点的综合负载能力存储在负载表中。

6、根据权利要求5所述的方法，其特征在于，所述网络中节点的初始锁定级别设置为0；每均衡一个节点的负载后，所述锁定级别上升一级。

7、一种实现负载均衡的节点，其特征在于，该节点包括：接收单元、选择单元以及转移单元；

所述接收单元，用于接收路由至自身的项；

8、根据权利要求7所述的节点，其特征在于，所述节点中还包括：导航表单元；

所述导航表单元，用于生成两个以上的导航表，所述两个以上导航表分别用于记录键值在不同范围内的项对应的目标节点；

所述选择单元利用映射关系，将所述接收到的项的键值映射为所述两个以上导航表中一导航表对应的标号，选择与所述标号对应的导航表，将该导航表中记录的目标节点作为进行负载均衡的目标节点。

9、根据权利要求8所述的节点，其特征在于，所述节点中还包括负载表单元以及有效性判断单元：

所述负载表单元，用于获取网络中除自身以外各节点的锁定级别以及剩余负载能力信息，生成记载网络中各节点负载能力的负载表；

有效性判断单元，用于判断所述选择的目标节点是否有效，如果无效，则从所述负载表中选择一个综合负载能力最优的节点作为目标节点，加入到所述选择的导航表中。

10、根据权利要求9所述的节点，其特征在于，所述网络中节点的初始锁定级别设置为0；每均衡一个节点的负载后，所述锁定级别上升一级。