CN101465875B - 一种基于网络定位的负载均衡方法 - Google Patents
一种基于网络定位的负载均衡方法 Download PDFInfo
- Publication number
- CN101465875B CN101465875B CN2008101435626A CN200810143562A CN101465875B CN 101465875 B CN101465875 B CN 101465875B CN 2008101435626 A CN2008101435626 A CN 2008101435626A CN 200810143562 A CN200810143562 A CN 200810143562A CN 101465875 B CN101465875 B CN 101465875B
- Authority
- CN
- China
- Prior art keywords
- node
- load
- network
- nodes
- chained list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004422 calculation algorithm Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012546 transfer Methods 0.000 claims abstract description 27
- 238000013507 mapping Methods 0.000 claims description 3
- ORKBYCQJWQBPFG-WOMZHKBXSA-N (8r,9s,10r,13s,14s,17r)-13-ethyl-17-ethynyl-17-hydroxy-1,2,6,7,8,9,10,11,12,14,15,16-dodecahydrocyclopenta[a]phenanthren-3-one;(8r,9s,13s,14s,17r)-17-ethynyl-13-methyl-7,8,9,11,12,14,15,16-octahydro-6h-cyclopenta[a]phenanthrene-3,17-diol Chemical compound OC1=CC=C2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1.O=C1CC[C@@H]2[C@H]3CC[C@](CC)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 ORKBYCQJWQBPFG-WOMZHKBXSA-N 0.000 claims description 2
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 235000014594 pastries Nutrition 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种基于网络定位的负载均衡方法，属于计算机对等网络计算领域。当前，在P2P网络环境下实时数据交换的一个核心问题是负载均衡，已有研究没有考虑到节点间的物理位置关系，不能在物理位置相近的节点间负载转移。本发明针对这些的问题，将节点的处理能力和物理位置关系协同考虑，使负载在物理位置相近的节点间转移，减少负载转移导致的带宽消耗和延迟。该方法由以下步骤构成：指定一组路标节点，计算网络中每个节点到这组路标节点的距离，得到m维笛卡儿空间，并映射到一维坐标空间；当网络某个节点的负载较轻时，以该节点为中心将坐标相近的节点构成一个星型结构；在这个物理位置相近的星型结构区域中，将负载重的节点的任务转移到负载轻的节点上。
Description
技术领域
本发明属于计算机对等网络计算领域，具体涉及结构化P2P网络中一种基于网络定位的负载均衡方法。
背景技术
信息时代，技术发展日新月异。计算机网络技术也取得了飞速的进步，其中新兴的对等网络(P2P，Peer to Peer)技术便是技术创新的产物。P2P网络的发展，从最初的共享音乐信息的Napster，到“被人称奇的软件产品”的文件共享软件Gnutella，再到现在的基于分布式哈希表(DHT，Distributed Hash Table)的Chord、Pastry、CAN等等，其可扩展性和稳定性不断地提高。
结构化P2P网络是一种资源位置与网络拓扑结构紧密相关的对等网络。这类网络的主要思想是在IP网络的基础上建立一个覆盖(overlay)网络。目前的结构化P2P大都基于分布式哈希表(DHT)。DHT查询的中心思想是把节点的路由信息分布到各个节点上去。当查询某个资源时，节点把要查询的请求发送到网络中与所要查询的节点位置较为接近的节点。然后该节点再把请求发送下去，直到找到该文件所处的位置。因为每次都是向与所寻找的节点的位置比较接近的节点发送的请求，所以能够保证在有限的节点转发后，找到所需节点的位置。
当前，在P2P网络环境下的分布实时数据交换的一个核心问题是负载均衡。因为P2P网络当中的视频和音频流量越来越大，当对这些数据的处理集中在一个较小的局域网时，会造成负载过重，从而使系统性能下降，甚至崩溃。处理这些问题的主要方法是分布式系统中资源管理和任务调度。传统C/S、B/S模式下的均衡方法，如基于任务优先图、基于任务相互关系的静态负载均衡方法，以及基于扩散、梯度以及维交换的动态负载均衡方法得到了广泛的研究。在实现上，这些研究大都考虑了负载分配的单一参数制约因素，与实际应用中系统软硬件环境有很大的差异。另外，这些方法大都没有考虑到节点之间的物理位置关系，不能在物理位置相近的节点之间进行负载转移，从而减少系统开销。
近年出现了一些方法，如k-nary树等，其考虑到了节点之间物理位置关系，在物理位置相近的节点之间进行负载转移。但是，这些方法是在原有DHT结构的基础上增加了一层，使整个系统的复杂度增加，容错能力下降。
还有方法利用TTL来获取节点之间的物理位置信息。研究表明用这种方法所获得的位置信息是不准确的。现在已经很少有方法采用这种方法来计算物理位置信息，而网络定位技术得到了广泛的使用。
发明内容
本发明针对现有负载均衡方法存在的问题，结合结构化P2P系统领域的研究工作，提出了基于网络定位的负载均衡方法。它将节点的处理能力和节点的物理位置关系协同考虑，实现任务调度和负载均衡。
基于网络定位的负载均衡方法由以下步骤构成：
(1)指定一组参考节点，也称作路标节点，记做m个。在一个基于DHT的结构化网络中，路标节点可以从本结构化网络中选择，也可以在因特网中任意选择。
(2)计算DHT网络中每个节点到这组路标节点的距离，从而得到每个节点的网络坐标。把节点的网络坐标映射到m维的笛卡儿空间上，这个笛卡儿空间就叫路标空间。
(3)把m维坐标空间映射到一维坐标空间并保存坐标的相近性，从而，每一个DHT中的节点的网络坐标都对应一个坐标数，该坐标数作为节点的ID。例如，可以利用现有的希尔伯特曲线原理，把多维坐标空间映射到一维坐标空间并保持坐标的相近性。
(4)当网络中某个节点的负载较轻时，以该节点为中心将坐标相近的节点构成一个星型结构。
(5)在这个物理位置相近的星型结构区域，将负载重的节点的任务转移到负载轻的节点上。
与已有的技术相比，本发明的特点是：将节点的处理能力和物理位置关系协同考虑，使负载在物理位置相近的节点间进行转移，实现任务调度和负载均衡，减少带宽消耗和降低延迟。
附图说明
图1：传统负载转移系统结构图。
图2：结构化P2P系统中基于网络定位的负载均衡方法图。
具体实施过程
在本方法的实施过程中，涉及到以下基本概念。
虚拟服务器
在任何实际P2P网络中，各个节点无论是计算能力、存储容量，还是带宽都存在很大的差异。同时在大量节点构建起来的P2P网络中，关键字查询具有很大的不确定性，一些关键词代表的资源是人们关注的热点，致使这些节点负载过重。
可以利用虚拟服务器技术，通过动态计算和转移虚拟服务器的负载，来改进网络各节点的负载情况，提高均衡的效率。一个物理节点可以包含一个或者多个虚拟服务器，由这个节点的配置情况决定。
DHT节点之间以虚拟服务器为单位进行负载转移。当某个物理节点过载时，该物理节点对应的一个或多个虚拟服务器将被转移到非过载节点上。
聚集系数
复杂网络的一些研究人员发现，几乎所有的自组织网络都有一个最基本的特征：高聚集系数(Clustering coefficient)。可以把结构化的P2P网络看成一个图，则聚集系数的定义和计算方法如下：
1)一个顶点v的连通度kv是它的度数。
2)假设i和j之间的最短的路径长度为d(i，j)，则路径长度L为
对顶点的d(i，j)的平均数。
3)顶点v的邻居，Γv＝{i:d(i，v)＝1}，
4)局部聚集系数Cv为
|E(·)|是子图的总边数。
5)聚集系数CC就是所有顶点Cv的平均数。
节点的聚集系数可以反映网络的局部密度。聚集系数越大，局部密度越高。
利用率相关参数
1)利用率
节点A的利用率：节点A的负载与其能力的比值，即
节点A的局部系统利用率：与节点A物理位置相近的节点(包括A)的负载总和与能力总和的比值，即其中p为满足条件
的节点个数，Hi、HA分别为节点i和节点A的坐标数，δ为常量，取值范围为[0，1]。
2)节点与系统的利用率的偏差
节点利用率与局部系统利用率的偏差dev：节点利用率与局部系统利用率之差的平方和，即
其中N表示节点A的局部系统中节点的个数。负载均衡算法的目标就是使偏差dev尽量小。
星型结构的构成
结构化P2P网络的每一个节点周期性地计算聚集系数CC、系统局部利用率Csystem-A、和负载转移阀值TA，TA＝(Csystem-A+ε)×capalityA。其中ε为可调参数，用来在负载均衡程度和负载转移开销之间取得折中，取值为CC×log(N)，N表示节点A的局部系统中节点的个数。
当某个周期中节点A的负载LA小于负载转移阀值TA时，节点A向坐标数满足条件的所有节点i发出查询请求，并以节点A为中心构造一个星型结构区域，如图2。其中Hi、HA分别为节点i和节点A的坐标数，δ为常量，取值范围为[0，1]。
在节点A的查询过程中，如果某个节点i满足加入星型结构的条件，则i节点会把信息发送给中心节点A，这个信息包括：
(1)如果节点i的负载Li大于负载转移阀值Ti时，则节点i是过载节点，它向节点A发送需要转移的虚拟服务器的索引及其每个的负载大小，节点A收集这些信息并将负载按从小到大的顺序排列成一个待分配负载链表a。
(2)如果节点i的负载Li小于负载转移阀值Ti时，则节点i是负载较轻节点，它向节点A发送能够接受的负载数量(Ti-Li)，节点A收集这些信息并将负载数量按从小到大的顺序排成一个可接受负载链表b。
负载转移方法
按照如下流程进行负载转移。
(1)根据链表a中的一个虚拟服务器V，选择链表b里所有符合(Ti-Li)＞＝load(V)条件的节点中的(Ti-Li)值最小的节点。
(2)利用DHT中的离开和加入操作把虚拟服务器从过载节点转移到负载较轻节点，并删除a，b链表中相应的结点。
(3)循环执行前面两个步骤，直到链表a为空；或者星型结构中没有节点能够接收剩下的虚拟服务器，即链表a不为空。这时节点A通知其它各节点解散星型结构。
基于网络定位的负载均衡方法中，负载的转移可以利用DHT中的离开和加入操作来完成，不需要引入新的操作。同时需要转移的虚拟服务器索引和负载过轻节点的剩余能力按从小到大的顺序在链表中排列，从而方便生成负载转移策略。另外，负载在物理位置相近的节点之间进行，节约系统带宽并降低延时。
Claims (3)
1.一种基于网络定位的负载均衡方法由以下步骤构成：
(1)指定一组参考节点，也称作路标节点，记做m个。在一个基于DHT的结构化网络中，路标节点可以从本结构化网络中选择，也可以在因特网中任意选择。
(2)计算DHT网络中每个节点到这组路标节点的距离，从而得到每个节点的网络坐标，把节点的网络坐标映射到m维的笛卡儿空间上，这个笛卡儿空间就叫路标空间。
(3)把m维坐标空间映射到一维坐标空间并保存坐标的相近性，从而，每一个DHT中的节点的网络坐标都对应一个坐标数，该坐标数作为节点的ID。
(4)当网络中某个节点的负载较轻时，以该节点为中心将坐标相近的节点构成一个星型结构。
(5)在这个物理位置相近的星型结构区域，将负载重的节点的任务转移到负载轻的节点上。
2.根据权利要求1所述的基于网络定位的负载均衡方法，其特征在于：步骤(4)包括以下过程：
(4.1)周期性计算结构化P2P网络的每一个节点的聚集系数CC，系统局部利用率Csystem-A、和负载转移阀值TA，TA＝(Csystem-A+ε)×capalityA。其中ε为可调参数，用来在负载均衡程度和负载转移开销之间取得折中，取值为CC×log(N)，N表示节点A的局部系统中节点的个数。
(4.2)当某个周期中节点A的负载LA小于负载转移阀值TA时，节点A向坐标数满足条件
的所有节点i发出查询请求，并以节点A为中心构造一个星型结构区域。其中Hi、HA分别为节点i和节点A的坐标数，δ为常量，取值范围为[0，1]。
(4.3)在节点A的查询过程中，如果某个节点i满足加入星型结构的条件，则i节点会根据其负载Li和负载转移阀值Ti时之间的关系，进入步骤(A1)或者(A2)：
(A1)如果节点i的负载Li大于负载转移阀值Ti时，则节点i是过载节点，它向节点A发送需要转移的虚拟服务器的索引及其每个的负载大小，节点A收集这些信息并将负载按从小到大的顺序排列成一个待分配负载链表a。
(A2)如果节点i的负载Li小于负载转移阀值Ti时，则节点i是负载较轻节点，它向节点A发送能够接受的负载数量(Ti-Li)，节点A收集这些信息并将负载数量按从小到大的顺序排成一个可接受负载链表b。
3.根据权利要求1所述的基于网络定位的负载均衡方法，其特征在于：步骤(5)包括以下过程：
(5.1)根据链表a中的一个虚拟服务器V，选择链表b里所有符合(Ti-Li)＞＝load(V)条件的节点中的(Ti-Li)值最小的节点。
(5.2)利用DHT中的离开和加入操作把虚拟服务器从过载节点转移到负载较轻节点，并删除a，b链表中相应的结点。
(5.3)循环执行前面两个步骤，直到链表a为空；或者星型结构中没有节点能够接收剩下的虚拟服务器，即链表a不为空。这时节点A通知其它各节点解散星型结构。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008101435626A CN101465875B (zh) | 2008-11-12 | 2008-11-12 | 一种基于网络定位的负载均衡方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008101435626A CN101465875B (zh) | 2008-11-12 | 2008-11-12 | 一种基于网络定位的负载均衡方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101465875A CN101465875A (zh) | 2009-06-24 |
| CN101465875B true CN101465875B (zh) | 2011-12-07 |
Family
ID=40806237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008101435626A Expired - Fee Related CN101465875B (zh) | 2008-11-12 | 2008-11-12 | 一种基于网络定位的负载均衡方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101465875B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101610165B (zh) * | 2009-07-29 | 2012-08-29 | 腾讯科技（深圳）有限公司 | 一种自动扩散资源的方法和装置 |
| CN102006238B (zh) * | 2010-12-14 | 2014-04-02 | 武汉大学 | 一种无结构p2p网络中的均衡快速搜索方法 |
| CN104123186B (zh) * | 2013-10-15 | 2015-09-16 | 腾讯科技（深圳）有限公司 | 业务分配方法及装置 |
| CN105117292B (zh) * | 2015-07-31 | 2018-09-14 | 华南理工大学 | 随机扩散动态负载均衡方法 |
| CN106060009B (zh) * | 2016-05-12 | 2019-06-28 | 桂林电子科技大学 | 对等网络流媒体点播节点请求转移与缓存替换方法 |
| CN109922006B (zh) * | 2017-12-13 | 2023-06-02 | 中兴通讯股份有限公司 | 路由交换系统及其虚拟服务重构方法、装置、设备和介质 |
| CN109302406B (zh) * | 2018-10-31 | 2021-06-25 | 法信公证云（厦门）科技有限公司 | 一种分布式网页取证的方法及系统 |
| US11650837B2 (en) * | 2019-04-26 | 2023-05-16 | Hewlett Packard Enterprise Development Lp | Location-based virtualization workload placement |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101014045A (zh) * | 2007-02-02 | 2007-08-08 | 清华大学 | 服务承载网中服务管理的分布式方法 |
| CN101018172A (zh) * | 2007-02-09 | 2007-08-15 | 浪潮电子信息产业股份有限公司 | 一种优化城域网内p2p传输的方法 |
| CN101022456A (zh) * | 2007-03-22 | 2007-08-22 | 华为技术有限公司 | 一种链路聚合方法、端口负载均衡方法及其装置 |
| CN101282290A (zh) * | 2008-03-05 | 2008-10-08 | 中科院嘉兴中心微系统所分中心 | 基于梯度的无线传感网负载平衡分簇方法 |
-
2008
- 2008-11-12 CN CN2008101435626A patent/CN101465875B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101014045A (zh) * | 2007-02-02 | 2007-08-08 | 清华大学 | 服务承载网中服务管理的分布式方法 |
| CN101018172A (zh) * | 2007-02-09 | 2007-08-15 | 浪潮电子信息产业股份有限公司 | 一种优化城域网内p2p传输的方法 |
| CN101022456A (zh) * | 2007-03-22 | 2007-08-22 | 华为技术有限公司 | 一种链路聚合方法、端口负载均衡方法及其装置 |
| CN101282290A (zh) * | 2008-03-05 | 2008-10-08 | 中科院嘉兴中心微系统所分中心 | 基于梯度的无线传感网负载平衡分簇方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101465875A (zh) | 2009-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101465875B (zh) | 一种基于网络定位的负载均衡方法 | |
| CN102882973B (zh) | 基于p2p技术的分布式负载均衡系统和方法 | |
| CN104065568B (zh) | 一种Web服务器集群的路由方法 | |
| CN104717304B (zh) | 一种cdn‑p2p内容优化选择系统 | |
| CN107145307A (zh) | 一种基于分布式存储的动态元数据优化方法和系统 | |
| CN103067521B (zh) | 一种分布式爬虫集群中的节点和系统 | |
| Wei et al. | Popularity-based data placement with load balancing in edge computing | |
| CN105743980A (zh) | 一种自组织的云资源共享分布式对等网络模型构造方法 | |
| Shao et al. | An efficient load-balancing mechanism for heterogeneous range-queriable cloud storage | |
| Duan et al. | A novel load balancing scheme for mobile edge computing | |
| CN101834897A (zh) | 一种dht网络负载均衡装置及虚节点划分的方法 | |
| CN102497394B (zh) | 一种基于最优化模型的内容分发网络中副本文件放置方法 | |
| Tu et al. | Hierarchical hybrid DVE-P2P networking based on interests clustering | |
| Kurve et al. | Optimizing cluster formation in super-peer networks via local incentive design | |
| Xu et al. | Adaptive and scalable load balancing for metadata server cluster in cloud-scale file systems | |
| Shao et al. | Effective load balancing mechanism for heterogeneous range queriable cloud storage | |
| Bharathi et al. | Model based controller design for a spherical tank | |
| Bustos-Jimenez et al. | Balancing active objects on a peer to peer infrastructure | |
| CN117440003A (zh) | 一种无中心的分布式存储方法及系统 | |
| Xue et al. | Replica placement in cloud storage based on minimal blocking probability | |
| Patange et al. | Survey of load balancing approaches in peer-to-peer network | |
| Wei et al. | Towards a cloud storage data management model based on RNPT network | |
| Rupprecht et al. | Dynamic load balancing in data grids by global load estimation | |
| Liu | Adaptive search protocol based on optimized ant colony algorithm in peer-to-peer network | |
| Xilu et al. | QoS-aware web service discovery in P2P network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent for invention or patent application | ||
| CB03 | Change of inventor or designer information |
Inventor after: Sun Jianhua Inventor after: Chen Hao Inventor after: Zhang Xiguang Inventor after: Zhao Liming Inventor after: Li Lijuan Inventor after: Zhang Qianjie Inventor before: Sun Jianhua Inventor before: Chen Hao Inventor before: Li Lijuan Inventor before: Zhang Qianjie |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: INVENTOR; FROM: SUN JIANHUA CHEN HAO LI LIJUAN ZHANG QIANJIE TO: SUN JIANHUA CHEN HAO ZHANG XIGUANG ZHAO LIMING LI LIJUAN ZHANG QIANJIE |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111207 Termination date: 20171112 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |