CN112748996A - 一种非集中式拓扑系统的负载均衡策略方法及系统 - Google Patents
一种非集中式拓扑系统的负载均衡策略方法及系统 Download PDFInfo
- Publication number
- CN112748996A CN112748996A CN202110074900.0A CN202110074900A CN112748996A CN 112748996 A CN112748996 A CN 112748996A CN 202110074900 A CN202110074900 A CN 202110074900A CN 112748996 A CN112748996 A CN 112748996A
- Authority
- CN
- China
- Prior art keywords
- load
- node
- nodes
- priority queue
- load balancing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013508 migration Methods 0.000 claims abstract description 29
- 230000005012 migration Effects 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008531 maintenance mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
- G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/484—Precedence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5021—Priority
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了一种非集中式拓扑系统的负载均衡策略方法及系统，方法包括：完成初步负载均衡步骤：根据用户向集群提交数据，采用分布式哈希表完成初步的负载均衡；生成l eader节点步骤：系统中各存储节点分别计算自己的负载状态，生成l eader节点；优先队列生成步骤：所述l eader节点向系统中的其他节点请求负载状态，按负载优先级生成优先队列；负载均衡步骤：所述l eader节点从所述优先队列中找出节点并启动数据迁移，并将所述节点的负载和优先级最高的节点的负载计算出来并插入所述优先队列形成负载状态优先队列，并向所述节点发送所述负载状态优先队列。本发明的整个负载均衡的时间复杂度为O，并且可实现负载状态动态更新。
Description
技术领域
本发明属于非集中式拓扑系统的负载均衡策略领域，具体涉及一种非集中式拓扑系统的负载均衡策略方法及系统。
背景技术
分布式文件系统(Distributed File System，DFS)是指文件系统(HDFS)管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点(可简单的理解为一台计算机)相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。DFS为分布在网络上任意位置的资源提供一个逻辑上的树形文件系统结构，从而使用户访问分布在网络上的共享文件如同操作本机一样方便。分布式文件系统在各行各业都有广泛的应用，当前，在云计算的背景下，其也渗透到云存储领域，成为云端平台的底层基础。伴随着大量互联网巨头开始进入云服务领域，为分布式文件系统的发展提供了良好的机遇。目前，分布式文件系统的的研究和开发已经走向成熟，市场上已经有一批产品得到不同程度的应用，其中HDFS是最为典型的分布式文件系统。HDFS内部包含的NameNode节点和DataNode节点，其中前者作为中心节点，起数据分配作用，本身不存储数据。网络内的所有DataNode均受中心节点的调度，因此可以实现负载均衡。
HDFS的文件系统中通常包含大量服务器节点，由于客户端在访问服务器的时候具有随机性，这就必然会导致部分主机在某些时刻成为热点，从而对整个分布式系统的性能产生了制约，同时，部分服务器节点的负载却远远没有达到额定值，又会造成资源浪费，显然，在分布式文件系统中进行负载均衡是十分必要的，通过应用负载均衡技术，可以实现分布式系统中所有节点的负载相对平衡，既保证了系统的性能，又充分利用了资源。负载均衡意味着节点之间需要进行数据迁移，而且负载均衡本身也有一定的开销，所以通常要求负载均衡算法具有较高的效率。
负载均衡技术包括非集中式拓扑系统的负载均衡，分布式文件系统是由很多个服务器节点构成的，根据整个系统是否具有中心节点，一般将分布式文件系统分为集中式和非集中式两大类拓扑结构，其中前者是以某台服务器作为中心节点进行分布式组网。相较于集中式的分布式文件系统，非集中式的分布式文件系统不存在一个用于分配数据的主控节点，集群中的每一个节点都是相互平行的。P2P网络就是一种典型的无中心节点分布式文件系统，因此又被称为对等网络。网络中的任意一个节点都具有同等的作用，可以向其它节点发起连接。Napster是最早的P2P系统之一，但他有一个索引服务器，本质上还不是真正的P2P系统，不适合大型网络应用。基于Gnutella的网络抛弃了索引服务器，实现了所有机器的对等关系，但又带来了较大的带宽消耗。Tapestry,Pastry,Chrod和CAN等基于DHT网络的出现，提升了系统的可扩展性和精确发现性。为了改善DHT系统在维护机制上的复杂性，当前广泛采用KaZaa等P2P共享文件系统，通过超级节点的引入，解决了传统分布式网络的诸多问题。
一般而言，非集中式文件系统的负载均衡策略如图3所示，其具体步骤如下：
1.用户向分布式文件系统提交数据块，系统在接收到数据后，采用分布式哈希表(DHT)来为数据分配节点。数据在经由DHT路由后实际上就已经实现了初步的负载均衡；
2.随着系统运行时间的增长、数据的增多，各节点的负载又会慢慢失衡，导致负载向某些节点集中，某些节点将会成为热点，从而出现高负载节点和低负载节点。所以，每个节点会定时计算自己的的负载状态，如果发现自己是低负载节点，则开始对网络中的所有节点进行扫描以进行数据迁移从而实现负载均衡；
3.在扫描的过程中，如果发现某节点是高负载节点，则立即停止通信遍历，启动数据迁移，部分数据由高负载节点转移到低负载节点，进而实现两个节点间的负载均衡；
4.为了避免节点扫描和数据重复迁移带来的开销，也可以在多个节点之间进行数据迁移。首先由高负载节点对其他节点进行遍历，如果发现一个节点是低负载节点，就把它加入到一个队列中；
5.当队列数量达到一定值时，或者所有节点已经遍历完成时，对队列中的节点按照负载的高低进行排序；
6.取出低负载的节点，对其进行数据迁移，完成一轮负载平衡，如此反复进行，实现集群的动态负载平衡。
现有非集中式文件系统的负载均衡技术的缺点
采用上述的第一种负载均衡方法(见图3-1)，低负载节点第一次扫描到高负载节点即停止节点扫描然后启动数据迁移，若存在比接受数据的节点负载更低的节点，则又会启动下一次数据迁移，数据迁移没有一次性到位，会带来数据重复迁移的问题，同时，多次的节点扫描还会增加负载均衡算法的时间复杂度，这样的负载均衡算法不够高效。
为了解决上述负载均衡方法所带来的节点扫描和数据重复迁移带来的问题，第二种负载均衡策略会从所有的节点中选出负载最低的节点来进行数据迁移(见图3-2)。首先遍历所有的节点，并维护一个队列，遍历结束之后，在队列中找出负载最低的节点并进行数据迁移，这样就完成了一轮的负载均衡。然后下一个节点采用同样的方式平衡其负载。采用该负载均衡策略，一轮的负载均衡需要O(nlogn)的时间复杂度,整个系统的负载均衡所需的时间复杂度为O(n^2logn),负载均衡算法所需的时间复杂度较高。
发明内容
本申请实施例提供了一种非集中式拓扑系统的负载均衡策略方法及系统，以至少解决相关技术中主观因素影响的问题。
本发明提供了一种非集中式拓扑系统的负载均衡策略方法，其中，包括：
完成初步负载均衡步骤：根据用户向集群提交数据，采用分布式哈希表完成初步的负载均衡；
生成leader节点步骤：系统中各存储节点分别计算自己的负载状态，生成leader节点；
优先队列生成步骤：所述leader节点向系统中的其他节点请求负载状态，按负载优先级生成优先队列；
负载均衡步骤：所述leader节点从所述优先队列中找出节点并启动数据迁移，并将所述节点的负载和优先级最高的节点的负载计算出来并插入所述优先队列形成负载状态优先队列，并向所述节点发送所述负载状态优先队列。
上述非集中式拓扑系统的负载均衡策略方法，其中，所述生成leader节点步骤包括：
在进行负载均衡时，各节点分别计算自己的负载状态，高负载节点会向其他节点请求他们的负载状态，所述节点作为所述leader节点。
上述非集中式拓扑系统的负载均衡策略方法，其中，所述优先队列生成步骤包括：
负载均衡开始步骤：所述leader节点向系统中的其他节点请求其负载状态，并将每个所述节点的负载均衡的开关打开；
构成优先队列步骤：所述leader节点收到其他节点的负载状态后，将所述节点的负载状态根据负载越小的优先级越高的规则构成所述优先队列。
上述非集中式拓扑系统的负载均衡策略方法，其中，所述负载均衡步骤包括：
所述leader节点从所述优先队列中找出任一节点并启动数据迁移，并在本地将其自身的负载和优先级最高的节点的负载计算出来并插入所述优先队形成所述负载状态优先队列，选出成员列表的第一个节点同时将该节点从所述负载状态优先队列中删除，并向该节点发送负载状态优先队列。
上述非集中式拓扑系统的负载均衡策略方法，其中，还包括判断步骤：
判断接收负载状态优先队列的节点并查看队列中优先级最低的节点是否仍有较低的负载，如果是的话重复所述负载均衡步骤，如果不是的话结束整个负载均衡过程，重复所述判断步骤和所述负载均衡步骤，直到优先级最小的节点不处于低负载状态为止。
本发明还包括一种非集中式拓扑系统的负载均衡策略系统，其中，包括：
完成初步负载均衡模块,所述完成初步负载均衡模块根据用户向集群提交数据，采用分布式哈希表完成初步的负载均衡；
生成leader节点模块，所述生成leader节点模块中各存储节点分别计算自己的负载状态，生成leader节点；
优先队列生成模块，所述优先队列生成模块通过所述leader节点向系统中的其他节点请求负载状态，按负载优先级生成优先队列；
负载均衡模块，所述负载均衡模块通过所述leader节点从所述优先队列中找出节点并启动数据迁移，并将所述节点的负载和优先级最高的节点的负载计算出来并插入所述优先队列形成负载状态优先队列，并向所述节点发送所述负载状态优先队列。
上述非集中式拓扑系统的负载均衡策略系统，其中，所述生成leader节点模块包括：
在进行负载均衡时，各节点分别计算自己的负载状态，高负载节点会向其他节点请求他们的负载状态，所述节点作为所述leader节点。
上述非集中式拓扑系统的负载均衡策略系统，其中，所述优先队列生成模块包括：
负载均衡开始单元，所述负载均衡开始单元通过所述leader节点向系统中的其他节点请求其负载状态，并将每个所述节点的负载均衡的开关打开；
构成优先队列单元，所述构成优先队列单元通过所述leader节点收到其他节点的负载状态后，将所述节点的负载状态根据负载越小的优先级越高的规则构成所述优先队列。
上述非集中式拓扑系统的负载均衡策略系统，其中，所述负载均衡模块包括：
所述leader节点从所述优先队列中找出任一节点并启动数据迁移，并在本地将其自身的负载和优先级最高的节点的负载计算出来并插入所述优先队形成所述负载状态优先队列，选出成员列表的第一个节点同时将该节点从所述负载状态优先队列中删除，并向该节点发送负载状态优先队列。
上述非集中式拓扑系统的负载均衡策略系统，其中，还包括判断模块：
所述判断模块判断接收负载状态优先队列的节点并查看队列中优先级最低的节点是否仍有较低的负载，如果是的话重复所述负载均衡步骤，如果不是的话结束整个负载均衡过程，重复所述判断步骤和所述负载均衡步骤，直到优先级最小的节点不处于低负载状态为止。
本发明的有益效果在于：
通过由系统中的各节点通过SWIM协议维护的成员列表以及负载状态优先队列，由leader节点开始，按列表顺序，由当前节点发送成员列表及负载状态优先队列给下一个节点，同时在队列中更新自己的负载状态。整个负载均衡的时间复杂度为O(nlogn)，并且可实现负载状态动态更新，是一种有效的动态负载均衡策略。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
在附图中：
图1是非集中式拓扑系统的负载均衡策略方法的流程图；
图2是图1中步骤S3的分步骤流程图；
图3-1是基于通信遍历的负载均衡方法的流程图；
图3-2是基于队列的负载均衡方法的流程图；
图4是本发明的非集中式拓扑系统的负载均衡策略系统的结构示意图；
图5是根据本发明实施例的计算机设备的框架图。
图6是基于负载状态优先队列和SWIM成员协议的非集中式拓扑系统的负载均衡方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
在详细阐述本发明各个实施例之前，对本发明的核心发明思想予以概述，并通过下述若干实施例予以详细阐述。
在详细阐述本发明各个实施例之前，对本发明的核心发明思想予以概述，并通过下述若干实施例予以详细阐述。
请参照图1，图1是非集中式拓扑系统的负载均衡策略方法的流程图。如图1所示，本发明的非集中式拓扑系统的负载均衡策略方法包括：
完成初步负载均衡步骤S1：根据用户向集群提交数据，采用分布式哈希表完成初步的负载均衡；
生成leader节点步骤S2：系统中各存储节点分别计算自己的负载状态，生成leader节点；
优先队列生成步骤S3：所述leader节点向系统中的其他节点请求负载状态，按负载优先级生成优先队列；
负载均衡步骤S4：所述leader节点从所述优先队列中找出节点并启动数据迁移，并将所述节点的负载和优先级最高的节点的负载计算出来并插入所述优先队列形成负载状态优先队列，并向所述节点发送所述负载状态优先队列。
上述非集中式拓扑系统的负载均衡策略方法，其中，所述生成leader节点步骤S2包括：
在进行负载均衡时，各节点分别计算自己的负载状态，高负载节点会向其他节点请求他们的负载状态，所述节点作为所述leader节点。
请参照图2，图2是图1中步骤S3的分步骤流程图。如图2所示，所述优先队列生成步骤S3包括：
负载均衡开始步骤S31：所述leader节点向系统中的其他节点请求其负载状态，并将每个所述节点的负载均衡的开关打开；
构成优先队列步骤S32：所述leader节点收到其他节点的负载状态后，将所述节点的负载状态根据负载越小的优先级越高的规则构成所述优先队列。
上述非集中式拓扑系统的负载均衡策略方法，其中，所述负载均衡步骤S4包括：
所述leader节点从所述优先队列中找出任一节点并启动数据迁移，并在本地将其自身的负载和优先级最高的节点的负载计算出来并插入所述优先队形成所述负载状态优先队列，选出成员列表的第一个节点同时将该节点从所述负载状态优先队列中删除，并向该节点发送负载状态优先队列。
上述非集中式拓扑系统的负载均衡策略方法，其中，还包括判断步骤：
判断接收负载状态优先队列的节点并查看队列中优先级最低的节点是否仍有较低的负载，如果是的话重复所述负载均衡步骤，如果不是的话结束整个负载均衡过程，重复所述判断步骤和所述负载均衡步骤，直到优先级最小的节点不处于低负载状态为止。
以下，列举实施例具体说明本发明的非集中式拓扑系统的负载均衡策略方法如下。
实施例一：
针对现有的负载均衡算法所存在的数据重复迁移以及每个节点均需要遍历系统中的所有节点才能够确定数据的接收节点所带来的时间复杂度较高的问题，提出了一个效率较高的针对P2P文件系统的负载均衡策略，首先针对系统中的所有节点，基于SWIM(Scalable Weakly-consistent Infection-style Process Group MembershipProtocol，SWIM)协议维护一个成员列表，并依次由各个节点按成员列表的顺序维护一个负载状态优先队列，优先队列在节点间传递，如果某节点是高负载节点，从优先队列中出队一个优先级最高的节点，即一个负载最低的节点，并对其进行数据迁移，并将完成负载平衡的两个节点插入到队列中，同时在成员列表中选取下一个节点进行下一轮的负载均衡。采用该种负载均衡策略可以降低节点遍历的时间复杂度，因为整个系统的负载均衡过程所需的节点遍历的时间复杂度为O(n),而维护一个优先队列的时间复杂度仅为O(logn),在集群中节点的数目较多的条件下，可以降低时间复杂度的同时实现集群的动态负载平衡。
如图6所示，本发明所提出的一种非集中式拓扑系统的负载均衡策略方法的步骤如下：
1.用户向集群提交数据，采用分布式哈希表完成初步的负载均衡；
2.随着用户向集群提交的数据的增多，系统中各存储节点的负载逐渐失衡。每个节点在通过SWIM协议在本地维护一个成员列表。在进行负载均衡时，各节点分别计算自己的负载状态，其中的一个高负载节点会向其他节点请求他们的负载状态，那么该节点就作为leader节点，leader节点在本地维护一个由系统中的所有节点的负载状态构成的优先队列，假设系统中有n个节点，该优先队列的生成步骤为：
2.1leader节点向系统中的其他节点请求其负载状态，并将每个节点的负载均衡的开关打开(意味着负载均衡过程开始)；
2.2leader节点收到其他节点的负载状态后，将这些节点的负载状态按负载越小优先级越高构成一个优先队列，由leader节点在本地维护。
3.leader节点从优先队列中出队第一个节点并启动数据迁移，并在本地将其自身的负载和优先级最高的节点的负载计算出来并插入队列，选出成员列表的第一个节点同时将该节点从队列中删除，并向该节点发送负载状态优先队列，至此，一轮负载均衡结束。
4.接收负载状态优先队列的节点查看队列中优先级最低的节点是否仍有较低的负载，如果是的话重复步骤3，如果不是的话结束整个负载均衡过程。
5.重复步骤3，4直到优先级最小的节点不处于低负载状态；
为了使各个节点在本地维护的成员列表保持一致，需要事先制定一个成员排列规则。一般来说，当一个节点的负载较高时，需要启动负载均衡，如果它检查到负载均衡开关是关闭的，那么它就会给其他节点发送消息从而请求他们的负载状态，并将其他节点的负载均衡开关打开，在负载均衡的开始到结束期间，整个集群的负载均衡的开关均是打开的，此时各节点是无法向其他节点请求负载状态的，当负载均衡过程结束时，开关将会被关闭，负载均衡过程结束。
实施例二：
请参照图4，图4是本发明的非集中式拓扑系统的负载均衡策略系统的结构示意图。如图4所示本发明的一种非集中式拓扑系统的负载均衡策略系统，其中，包括：
完成初步负载均衡模块,所述完成初步负载均衡模块根据用户向集群提交数据，采用分布式哈希表完成初步的负载均衡；
生成leader节点模块，所述生成leader节点模块中各存储节点分别计算自己的负载状态，生成leader节点；
优先队列生成模块，所述优先队列生成模块通过所述leader节点向系统中的其他节点请求负载状态，按负载优先级生成优先队列；
负载均衡模块，所述负载均衡模块通过所述leader节点从所述优先队列中找出节点并启动数据迁移，并将所述节点的负载和优先级最高的节点的负载计算出来并插入所述优先队列形成负载状态优先队列，并向所述节点发送所述负载状态优先队列。
其中，所述生成leader节点模块包括：
在进行负载均衡时，各节点分别计算自己的负载状态，高负载节点会向其他节点请求他们的负载状态，所述节点作为所述leader节点。
其中，所述优先队列生成模块包括：
负载均衡开始单元，所述负载均衡开始单元通过所述leader节点向系统中的其他节点请求其负载状态，并将每个所述节点的负载均衡的开关打开；
构成优先队列单元，所述构成优先队列单元通过所述leader节点收到其他节点的负载状态后，将所述节点的负载状态根据负载越小的优先级越高的规则构成所述优先队列。
其中，所述负载均衡模块包括：
所述leader节点从所述优先队列中找出任一节点并启动数据迁移，并在本地将其自身的负载和优先级最高的节点的负载计算出来并插入所述优先队形成所述负载状态优先队列，选出成员列表的第一个节点同时将该节点从所述负载状态优先队列中删除，并向该节点发送负载状态优先队列。
其中，还包括判断模块：
所述判断模块判断接收负载状态优先队列的节点并查看队列中优先级最低的节点是否仍有较低的负载，如果是的话重复所述负载均衡步骤，如果不是的话结束整个负载均衡过程，重复所述判断步骤和所述负载均衡步骤，直到优先级最小的节点不处于低负载状态为止。
实施例三：
结合图5所示，本实施例揭示了一种计算机设备的一种具体实施方式。计算机设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种非集中式拓扑系统的负载均衡策略方法。
在其中一些实施例中，计算机设备还可包括通信接口83和总线80。其中，如图5所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该计算机设备可以基于非集中式拓扑系统的负载均衡策略的检测，从而实现结合图1-图2及图6描述的方法。
另外，结合上述实施例中非集中式拓扑系统的负载均衡策略方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种非集中式拓扑系统的负载均衡策略方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
综上所述，基于本发明的有益效果在于，本专利提供了一种非集中式拓扑系统的负载均衡策略方法，通过由系统中的各节点通过SWIM协议维护的成员列表以及负载状态优先队列，由leader节点开始，按列表顺序，由当前节点发送成员列表及负载状态优先队列给下一个节点，同时在队列中更新自己的负载状态。整个负载均衡的时间复杂度为O(nlogn)，并且可实现负载状态动态更新，是一种有效的动态负载均衡策略。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种非集中式拓扑系统的负载均衡策略方法，其特征在于，包括：
完成初步负载均衡步骤：根据用户向集群提交数据，采用分布式哈希表完成初步的负载均衡；
生成leader节点步骤：系统中各存储节点分别计算自己的负载状态，生成leader节点；
优先队列生成步骤：所述leader节点向系统中的其他节点请求负载状态，按负载优先级生成优先队列；
负载均衡步骤：所述leader节点从所述优先队列中找出节点并启动数据迁移，并将所述节点的负载和优先级最高的节点的负载计算出来并插入所述优先队列形成负载状态优先队列，并向所述节点发送所述负载状态优先队列。
2.如权利要求1所述的非集中式拓扑系统的负载均衡策略方法，其特征在于，所述生成leader节点步骤包括：
在进行负载均衡时，各节点分别计算自己的负载状态，高负载节点会向其他节点请求他们的负载状态，所述节点作为所述leader节点。
3.如权利要求1所述的非集中式拓扑系统的负载均衡策略方法，其特征在于，所述优先队列生成步骤包括：
负载均衡开始步骤：所述leader节点向系统中的其他节点请求其负载状态，并将每个所述节点的负载均衡的开关打开；
构成优先队列步骤：所述leader节点收到其他节点的负载状态后，将所述节点的负载状态根据负载越小的优先级越高的规则构成所述优先队列。
4.如权利要求1所述的非集中式拓扑系统的负载均衡策略方法，其特征在于，所述负载均衡步骤包括：
所述leader节点从所述优先队列中找出任一节点并启动数据迁移，并在本地将其自身的负载和优先级最高的节点的负载计算出来并插入所述优先队形成所述负载状态优先队列，选出成员列表的第一个节点同时将该节点从所述负载状态优先队列中删除，并向该节点发送负载状态优先队列。
5.如权利要求1所述的非集中式拓扑系统的负载均衡策略方法，其特征在于，还包括判断步骤：
判断接收负载状态优先队列的节点并查看队列中优先级最低的节点是否仍有较低的负载，如果是的话重复所述负载均衡步骤，如果不是的话结束整个负载均衡过程，重复所述判断步骤和所述负载均衡步骤，直到优先级最小的节点不处于低负载状态为止。
6.一种非集中式拓扑系统的负载均衡策略系统，其特征在于，包括：
完成初步负载均衡模块,所述完成初步负载均衡模块根据用户向集群提交数据，采用分布式哈希表完成初步的负载均衡；
生成leader节点模块，所述生成leader节点模块中各存储节点分别计算自己的负载状态，生成leader节点；
优先队列生成模块，所述优先队列生成模块通过所述leader节点向系统中的其他节点请求负载状态，按负载优先级生成优先队列；
负载均衡模块，所述负载均衡模块通过所述leader节点从所述优先队列中找出节点并启动数据迁移，并将所述节点的负载和优先级最高的节点的负载计算出来并插入所述优先队列形成负载状态优先队列，并向所述节点发送所述负载状态优先队列。
7.如权利要求6所述的非集中式拓扑系统的负载均衡策略系统，其特征在于，所述生成leader节点模块包括：
在进行负载均衡时，各节点分别计算自己的负载状态，高负载节点会向其他节点请求他们的负载状态，所述节点作为所述leader节点。
8.如权利要求6所述的非集中式拓扑系统的负载均衡策略系统，其特征在于，所述优先队列生成模块包括：
负载均衡开始单元，所述负载均衡开始单元通过所述leader节点向系统中的其他节点请求其负载状态，并将每个所述节点的负载均衡的开关打开；
构成优先队列单元，所述构成优先队列单元通过所述leader节点收到其他节点的负载状态后，将所述节点的负载状态根据负载越小的优先级越高的规则构成所述优先队列。
9.如权利要求6所述的非集中式拓扑系统的负载均衡策略系统，其特征在于，所述负载均衡模块包括：
所述leader节点从所述优先队列中找出任一节点并启动数据迁移，并在本地将其自身的负载和优先级最高的节点的负载计算出来并插入所述优先队形成所述负载状态优先队列，选出成员列表的第一个节点同时将该节点从所述负载状态优先队列中删除，并向该节点发送负载状态优先队列。
10.如权利要求6所述的非集中式拓扑系统的负载均衡策略系统，其特征在于，还包括判断模块：
所述判断模块判断接收负载状态优先队列的节点并查看队列中优先级最低的节点是否仍有较低的负载，如果是的话重复所述负载均衡步骤，如果不是的话结束整个负载均衡过程，重复所述判断步骤和所述负载均衡步骤，直到优先级最小的节点不处于低负载状态为止。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110074900.0A CN112748996A (zh) | 2021-01-20 | 2021-01-20 | 一种非集中式拓扑系统的负载均衡策略方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110074900.0A CN112748996A (zh) | 2021-01-20 | 2021-01-20 | 一种非集中式拓扑系统的负载均衡策略方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112748996A true CN112748996A (zh) | 2021-05-04 |
Family
ID=75652686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110074900.0A Pending CN112748996A (zh) | 2021-01-20 | 2021-01-20 | 一种非集中式拓扑系统的负载均衡策略方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112748996A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220509A (zh) * | 2021-05-19 | 2021-08-06 | 扬州万方电子技术有限责任公司 | 一种双组合交替倒班系统及方法 |
| CN113553179A (zh) * | 2021-07-16 | 2021-10-26 | 北京东方国信科技股份有限公司 | 分布式键值存储负载均衡方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5031089A (en) * | 1988-12-30 | 1991-07-09 | United States Of America As Represented By The Administrator, National Aeronautics And Space Administration | Dynamic resource allocation scheme for distributed heterogeneous computer systems |
| CN104298557A (zh) * | 2014-06-05 | 2015-01-21 | 中国人民解放军信息工程大学 | 一种soa动态负载迁移方法与系统 |
| CN110780998A (zh) * | 2019-09-29 | 2020-02-11 | 武汉大学 | 基于Kubernetes的动态负载均衡资源调度方法 |
-
2021
- 2021-01-20 CN CN202110074900.0A patent/CN112748996A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5031089A (en) * | 1988-12-30 | 1991-07-09 | United States Of America As Represented By The Administrator, National Aeronautics And Space Administration | Dynamic resource allocation scheme for distributed heterogeneous computer systems |
| CN104298557A (zh) * | 2014-06-05 | 2015-01-21 | 中国人民解放军信息工程大学 | 一种soa动态负载迁移方法与系统 |
| CN110780998A (zh) * | 2019-09-29 | 2020-02-11 | 武汉大学 | 基于Kubernetes的动态负载均衡资源调度方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220509A (zh) * | 2021-05-19 | 2021-08-06 | 扬州万方电子技术有限责任公司 | 一种双组合交替倒班系统及方法 |
| CN113220509B (zh) * | 2021-05-19 | 2024-03-05 | 扬州万方科技股份有限公司 | 一种双组合交替倒班系统及方法 |
| CN113553179A (zh) * | 2021-07-16 | 2021-10-26 | 北京东方国信科技股份有限公司 | 分布式键值存储负载均衡方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7114629B2 (ja) | ブロックチェーントランザクションの並列検証のためのシステム及び方法 | |
| CN102882973B (zh) | 基于p2p技术的分布式负载均衡系统和方法 | |
| CN103227754B (zh) | 一种高可用集群系统负载动态均衡方法及节点设备 | |
| CN110798517B (zh) | 去中心化集群负载均衡方法、系统、移动终端及存储介质 | |
| CN107483286B (zh) | 一种基于云-雾环境下合并和部署服务功能链的方法 | |
| CN108900626B (zh) | 一种云环境下数据存储方法、装置及系统 | |
| JP6275119B2 (ja) | メモリ要素の割当てのために一方向リンク付けリストを区分化するシステム及び方法 | |
| KR20120018178A (ko) | 객체 저장부들의 네트워크상의 스웜-기반의 동기화 | |
| CN105389211B (zh) | 适用于numa架构的内存分配方法及延时感知-内存分配装置 | |
| CN112748996A (zh) | 一种非集中式拓扑系统的负载均衡策略方法及系统 | |
| US20150215379A1 (en) | Distributed processing device and distributed processing system as well as distributed processing method | |
| CN111338806B (zh) | 一种业务控制方法及装置 | |
| CN108255427B (zh) | 一种数据存储和动态迁移方法及装置 | |
| CN107113323B (zh) | 一种数据存储方法、装置和系统 | |
| US20180097748A1 (en) | Partitioned Topic Based Queue with Automatic Processing Scaling | |
| WO2021120633A1 (zh) | 一种负载均衡方法及相关设备 | |
| CN113094179B (zh) | 作业分配方法、装置、电子设备及可读存储介质 | |
| WO2021139211A1 (zh) | 基于声纹库的声纹识别方法、主控节点及计算节点 | |
| CN106164888A (zh) | 用于最小化工作负荷空闲时间和工作负荷间干扰的网络和存储i/o请求的排序方案 | |
| Shi et al. | Concury: A fast and light-weight software cloud load balancer | |
| Li et al. | Data prefetching and file synchronizing for performance optimization in Hadoop-based hybrid cloud | |
| CN109358964B (zh) | 一种服务器集群资源调度方法 | |
| US20200394077A1 (en) | Map reduce using coordination namespace hardware acceleration | |
| Chen et al. | The container deployment strategy based on stable matching | |
| CN104219163A (zh) | 一种基于动态副本法和虚拟节点法的节点动态前移的负载均衡方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |