CN107197035A - 一种基于一致性哈希算法的亲和性动态负载均衡方法 - Google Patents
一种基于一致性哈希算法的亲和性动态负载均衡方法 Download PDFInfo
- Publication number
- CN107197035A CN107197035A CN201710474382.5A CN201710474382A CN107197035A CN 107197035 A CN107197035 A CN 107197035A CN 201710474382 A CN201710474382 A CN 201710474382A CN 107197035 A CN107197035 A CN 107197035A
- Authority
- CN
- China
- Prior art keywords
- node
- real server
- user
- hash
- server node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
一种基于一致性哈希算法的亲和性动态负载均衡方法。其包括构建哈希空间环,根据集群系统中各实际服务器节点的权重计算虚拟节点数量,生成相应的虚拟节点,建立虚拟节点和该实际服务器节点间映射关系,将虚拟节点映射到哈希环空间环上;当有新用户请求发送到集群系统中时,解析该用户请求,并从中提取出标识信息,将用户请求映射到哈希环空间环上,再映射到距离最近实际服务器节点进行处理;当集群系统规模发生动态调整时,将用户请求的映射根据集群系统动态调整策略进行调整等步骤。本发明通过哈希映射方式,使同一用户发送的连续用户服务请求分配到同一实际服务器节点处理,可保证大部分用户的服务亲和性,保障了集群系统的稳定性和可伸缩性。
Description
技术领域
本发明属于集群系统中服务请求亲和性负载分配技术领域,特别是涉及一种基于一致性哈希算法的亲和性动态负载均衡方法。
背景技术
目前我国民航业发展迅速,据统计,2016年,民航业完成旅客运输量48796万人次,比上年增长11.9%。逐年增长的航空旅客运输量产生大量的订票需求,给民航旅客服务系统带来了极大挑战。新一代旅客服务系统(即PSS,Passenger Service System)等大规模分布式集群系统能够共同分担海量用户请求,其上部署的负载均衡算法可以提供一种廉价并且有效透明的方法来扩展网络设备和服务器的带宽、增加吞吐量、提高数据处理能力等,因此,负载均衡成为大规模分布式集群系统的重点研究内容。
民航业一直在积极建设新一代PSS,由于系统结构和业务需求原因,部分服务的上下文环境被存储在处理该服务请求的服务器上,不能被其他服务器共享,而在处理同一个用户后续请求过程中需要用到这些环境,所以需要分配相同服务器处理。同一个用户的请求会出现互相关联现象,即处理后续请求时,需要用到前面请求的处理结果,所以这部分请求需按时间顺序进行处理。
因此,来自同一个用户的请求,应分配到相同的服务器去处理。这称之为服务的亲和性。即服务的亲和性是指:同一用户的连续请求必须由同一服务器进行处理。若服务的亲和性无法满足,会导致用户请求分配不合理性等问题。因此设计同时保证服务的亲和性和负载均衡的算法是必要的。
在负载均衡算法的研究方面,目前已经有很多研究成果,从民航业务的亲和性的角度,按照用户请求分配方式,对这些算法进行了如下总结和分析。
一类是以轮询机制分配请求,例如:
(1)固定比例因子算法:以服务器为单位分配比例因子,并按比例因子轮流分发请求给各个服务器;
(2)轮询算法:将用户的请求依次分配给集群系统中的服务节点,循环往复。
另一类是按照特定规则分配请求,例如:
(1)最小未完成交易数算法:以未完成交易数为负载度量指标,循环服务列表中的每一个服务实例,选择未完成交易数最低的服务器处理请求;
(2)改进的动态告警负载均衡算法:基于请求类型、节点工作能力和实时负载值来确定请求转发目标;
(3)基于空间填充曲线的动态负载均衡算法:利用空间填充曲线可高效地将高维数据映射到一维索引的特点,使均衡器根据实时收集的各项负载指标快速定位到最优编码的服务器。
(4)基于内存云架构的带宽负载均衡算法:内存云数据中心采用段式日志结构文件系统,提出一种数据段交换(data-segments exchanging,DSE)算法,周期性地对内存带宽负载不均衡的服务器上数据段进行相互交换,使集群的带宽负载达到均衡。
但以上多种负载均衡算法,对于来自同一用户的连续请求,可能会被分配到不同的服务器上,因此不能在保证负载均衡的情况下满足服务的亲和性需求。
发明内容
为了解决上述问题,本发明的目的在于提供一种基于一致性哈希算法的亲和性动态负载均衡方法。
为了达到上述目的,本发明提供的基于一致性哈希算法的亲和性动态负载均衡方法包括按按顺序进行的下列步骤:
步骤一、构建由多个实际服务器节点构成的哈希空间环,并根据集群系统中各实际服务器节点的权重计算虚拟节点数量,生成相应的虚拟节点,然后建立虚拟节点和该实际服务器节点之间的映射关系,由此将虚拟节点映射到哈希环空间环上;
步骤二、每当有一新的用户请求发送到集群系统中时,解析该用户请求,并从中提取出有用的标识信息,然后将用户请求映射到上述哈希环空间环上,再映射到距离其最近的实际服务器节点上进行处理;
步骤三、当集群系统规模发生动态调整时,针对扩展和缩减两类实际情况,将用户请求的映射根据集群系统动态调整策略进行调整。
在步骤一中,所述的构建由多个实际服务器节点构成的哈希空间环,并根据集群系统中各实际服务器节点的权重计算虚拟节点数量,生成相应的虚拟节点,然后建立虚拟节点和该实际服务器节点之间的映射关系,由此将虚拟节点映射到哈希环空间环上的具体步骤如下:
根据键值的比特数N构建一个由多个实际服务器节点构成的0~232-1的哈希空间环,比特数N=32;
定义虚拟节点数量并将虚拟节点数量记为VNN,计算公式如下:
其中,N为当前集群系统中实际服务器节点总数,k为常数,W为整个集群系统的权重之和,wi为第i个实际服务器节点的权重;
根据上面公式计算出虚拟节点数量VNN后生成相应的虚拟节点,然后对每个虚拟节点进行编号,编号Virtual_Nodeit表示第i个实际服务器节点对应的第t个虚拟节点,其中1≤i≤N,1≤t≤VNN;
由此建立起虚拟节点和实际服务器节点之间的映射关系,即一个实际服务器节点对应VNN个虚拟节点;
之后计算实际服务器节点的哈希值,在JCF中间件平台的服务库中,每个实际服务器节点注册一个元数据表,根据表中实际服务器节点配置的服务器名称,通过MurmurHash3算法计算得到每个实际服务器节点的哈希值Node_hashi,其中1≤i≤N;
之后计算虚拟节点的哈希值,对于某个虚拟节点,将实际服务器节点的哈希值Node_hashi加上虚拟节点的编号Virtual_Nodeit的值作为MurmurHash3算法输入,计算得到每个虚拟节点的哈希值,记为Virtual_Node_hashit,表示第i个实际服务器节点对应的第t个虚拟节点的哈希值,其中1≤i≤N,1≤t≤VNN;
根据虚拟节点的哈希值Virtual_Node_hashit将虚拟节点映射到哈希空间环上。
在步骤二中,所述的每当有一新的用户请求发送到集群系统中时,解析该用户请求,并从中提取出有用的标识信息,然后将用户请求映射到上述哈希环空间环上,再映射到距离其最近的实际服务器节点上进行处理的具体步骤如下:
用户根据设定规则设置请求内容并发送到集群系统中,集群系统解析该用户请求,并从用户请求的消息头中获取请求头部的主机值作为标识信息,若该主机值的类型为字符串,首先使用Fowler-NOll-Vo函数将字符串类型的主机值转换成整形数据,公式如下:
keyuser=Fowler-NOLL-Vo(host)
然后根据上述整形数据keyusr通过MurmurHash3算法计算出用户请求的哈希值User_hash;
之后将上述用户请求的哈希值User_hash映射到哈希环空间环上,再沿顺时针方向映射到距离最近的虚拟节点上,根据实际服务器节点和虚拟节点的映射关系,该用户请求实际是映射到对应的实际服务器节点上去处理。
在步骤三中,所述的当集群系统规模发生动态调整时,针对扩展和缩减两类实际情况,将用户请求的映射根据集群系统动态调整策略进行调整的具体步骤如下:
在集群系统规模扩展情况下,当需要增加实际服务器节点时,首先将该实际服务器节点信息添加到服务库中;再根据规则生成新的实际服务器节点的虚拟节点,并映射到哈希空间环上;最后将用户请求根据规则映射到新的实际服务器节点上进行处理;
在集群系统规模缩减情况下,当需要删除实际服务器节点时,先将该实际服务器节点从服务库中删除,并从哈希空间环中删除该实际服务器节点的所有虚拟节点映射,原来发送到该实际服务器节点上的用户请求将沿顺时针方向寻找离自己最近的实际服务器节点而作为新的实际服务器节点,并由新的实际服务器节点来处理该用户请求。
本发明提供的基于一致性哈希算法的亲和性动态负载均衡方法具有的优点和积极效果是:基于带有虚拟节点的一致性哈希算法,可以使得哈希空间环上分布更多的虚拟节点,用户请求将更加均匀地映射到每一个实际服务器节点上进行处理,这样可以有效减少实际服务器节点过载和轻载问题出现,保证集群系统有良好的负载均衡效果。在处理用户请求时,同一个用户请求的键值映射到哈希空间环上以后,会映射到相同的实际服务器节点,可以保证服务的亲和性。最后针对集群规模动态变化设计的动态调整策略,可以有效减少因实际服务器节点增加或减少受影响的用户请求数量,保障了绝大部分用户的亲和性,同时可保证集群系统的稳定性和可伸缩性。
附图说明
图1为本发明提供的基于一致性哈希算法的亲和性动态负载均衡方法流程图;
图2为集群系统规模扩展动态调整示意图;
图3为集群系统规模缩减动态调整示意图;
图4为本发明方法与固定比例因子算法、轮询算法、最小未完成交易数算法的亲和性度量图;
图5为本发明方法与固定比例因子算法、轮询算法、最小未完成交易数算法的用户请求的总响应时间对比图;
图6为本发明方法与固定比例因子算法、轮询算法、最小未完成交易数算法的系统吞吐量对比图;
具体实施方式
为能进一步了解本发明的发明内容、特点及功效,兹例举以下实施例,并配合附图详细说明如下:
如图1所示,本发明提供的基于一致性哈希算法的亲和性动态负载均衡方法包括按按顺序进行的下列步骤:
步骤一、构建由多个实际服务器节点构成的哈希空间环,并根据集群系统中各实际服务器节点的权重计算虚拟节点数量,生成相应的虚拟节点,然后建立虚拟节点和该实际服务器节点之间的映射关系,由此将虚拟节点映射到哈希环空间环上;
具体步骤如下:
根据键值的比特数N(一般取N=32)构建一个由多个实际服务器节点构成的0~232-1的哈希空间环;
定义虚拟节点数量并将虚拟节点数量记为VNN,计算公式如下:
其中,N为当前集群系统中实际服务器节点总数,k为常数,W为整个集群系统的权重之和,wi为第i个实际服务器节点的权重;
根据上面公式计算出虚拟节点数量VNN后生成相应的虚拟节点,然后对每个虚拟节点进行编号,其中编号Virtual_Nodeit(1≤i≤N,1≤t≤VNN)表示第i个实际服务器节点对应的第t个虚拟节点;
由此建立起虚拟节点和实际服务器节点之间的映射关系,即一个实际服务器节点对应VNN个虚拟节点;
之后计算实际服务器节点的哈希值,在JCF中间件平台的服务库中,每个实际服务器节点注册一个元数据表,根据表中实际服务器节点配置的服务器名称,通过MurmurHash3算法计算得到每个实际服务器节点的哈希值Node_hashi,(1≤i≤N);
之后计算虚拟节点的哈希值,对于某个虚拟节点,将实际服务器节点的哈希值Node_hashi加上虚拟节点的编号Virtual_Nodeit的值作为MurmurHash3算法输入,计算得到每个虚拟节点的哈希值,记为Virtual_Node_hashit(1≤i≤N,1≤t≤VNN),表示第i个实际服务器节点对应的第t个虚拟节点的哈希值;
根据虚拟节点的哈希值Virtual_Node_hashit将虚拟节点映射到哈希空间环上。
步骤二、每当有一新的用户请求发送到集群系统中时,解析该用户请求,并从中提取出有用的标识信息,然后将用户请求映射到上述哈希环空间环上,再映射到距离其最近的实际服务器节点上进行处理;
具体步骤如下:
用户根据设定规则设置请求内容并发送到集群系统中,集群系统解析该用户请求,并从用户请求的消息头中获取请求头部的主机值作为标识信息,若该主机值的类型为字符串,首先使用Fowler-NOll-Vo函数将字符串类型的主机值转换成整形数据,公式如下:
keyuser=Fowler-NOLL-Vo(host)
然后根据上述整形数据keyusr通过MurmurHash3算法计算出用户请求的哈希值User_hash;
之后将上述用户请求的哈希值User_hash映射到哈希环空间环上,再沿顺时针方向映射到距离最近的虚拟节点上,根据实际服务器节点和虚拟节点的映射关系,该用户请求实际是映射到对应的实际服务器节点上去处理;
步骤三、当集群系统规模发生动态调整时,针对扩展和缩减两类实际情况,将用户请求的映射根据集群系统动态调整策略进行调整;
具体步骤如下:
在集群系统规模扩展情况下,即随着业务量的增加,原先使用中的实际服务器节点数量已不能满足业务需求,需要增加新的实际服务器节点;或原先已经宕机的实际服务器节点,经过一段时间的维护,再次投入使用时,也会造成实际服务器节点数量的增加;当需要增加实际服务器节点时,首先将该实际服务器节点信息添加到服务库中;再根据规则生成新的实际服务器节点的虚拟节点,并映射到哈希空间环上;最后将用户请求根据规则映射到新的实际服务器节点上进行处理。
例如,如图2所示,原先集群系统中共有三台实际服务器节点,用户请求1(req1)映射到实际服务器节点A(Server A)进行处理,用户请求4(req4)映射到实际服务器节点B(Server B)进行处理,用户请求2(req2)和用户请求3(req3)映射到实际服务器节点C(Server C)进行处理,当集群系统中增加一个实际服务器节点D(Server D)后,此时用户请求2将沿顺时针方向寻找到距离其最近的实际服务器节点为实际服务器节点D,则用户请求2将映射到实际服务器节点D进行处理。可以看到,当新增加一个实际服务器节点D后,受影响的用户请求只有用户请求2,另外三个用户请求并不受影响。也就是说,当增加实际服务器节点时,需要改变映射目标的用户请求只有新实际服务器节点沿逆时针方向一直到其距离最近的实际服务器节点之间这一段哈希空间环上的用户请求,这就保证了哈希空间环上大部分用户的服务的亲和性,避免了大部分用户请求重分布带来的损失。
在集群系统规模缩减情况下,即由于时间关系,实际服务器节点的性能会下降,当负载量一直很大,或者运行的程序或软件出现死循环等,该实际服务器节点会发生宕机,从而使实际服务器节点数量减少;另外线路或者实际服务器节点发生物理故障等,也会造成实际服务器节点宕机,使集群系统中实际服务器节点数量减少;当需要删除实际服务器节点时,先将该实际服务器节点从服务库中删除,并从哈希空间环中删除该实际服务器节点的所有虚拟节点映射,原来发送到该实际服务器节点上的用户请求将沿顺时针方向寻找离自己最近的实际服务器节点而作为新的实际服务器节点,并由新的实际服务器节点来处理该用户请求。
例如,如图3所示,原先集群系统中共有四台实际服务器节点,用户请求映射情况为用户请求1(req1)映射到实际服务器节点A(Server A),用户请求2(req2)映射到实际服务器节点D(Server D),用户请求3(req3)映射到实际服务器节点C(Server C),用户请求4(req4)映射到实际服务器节点B(Server B),若此时实际服务器节点B发生故障,用户请求4将沿顺时针方向映射到与其距离最近的实际服务器节点D,其他用户请求映射关系不变。可以看出,当实际服务器节点B出现故障而不能使用时,受此影响的用户请求4进行重映射,被映射到实际服务器节点D上进行处理。可以看出,当实际服务器节点减少时,受影响的用户请求仅包括从该实际服务器节点沿逆时针方向到距离其最近的实际服务器节点之间这一段哈希空间环上的用户请求,其余用户请求不受影响,这就保证了绝大部分用户的服务亲和性,此时由于实际服务器节点减少,集群系统的负载均衡性能相对减弱,使得部分实际服务器节点负载增大。但是从总体上来看,由于动态调整策略的存在,服务的亲和性受影响的用户请求较少,且受影响的用户请求能够得到及时有效的调整,集群系统的负载均衡性能受到的冲击较小,因此集群系统相对稳定。
综上,本发明提出的针对集群系统规模变化的动态调整策略,保证了集群系统负载均衡的同时,能够最大程度地减少受影响的用户请求个数,保证绝大部分用户请求的服务亲和性能够得到满足,因此能够保证集群系统的稳定性。
为了验证本发明提供的基于一致性哈希算法的亲和性动态负载均衡方法的效果,本发明人设计了四个场景对其进行验证,并且与固定比例因子算法、轮询算法、最小未完成交易数算法进行比较,第一个场景测试并观察各方法的亲和率,以此判断服务亲和性的满足情况;第二个场景统计系统总响应时间和系统吞吐量,判断各方法的负载均衡效果;场景三和场景四统计用户请求的变化率,以此观察集群系统规模变化时,动态调整策略的效果。
场景一:集群系统处于稳定状态,并且集群系统中共有四个实际服务器节点处理用户请求,使用Apache JMeter构造大量用户请求,在一定的时间周期内发送到集群系统中,并通过适配器上部署的上述四种不同方法分配到实际服务器节点上去处理。观察实验结果,统计实验数据,计算四种方法的亲和率。
通过亲和率的大小,可以观察当前集群系统在满足服务亲和性方面的表现,亲和率越高,即表示服务的有关联的连续用户请求更多被分配到相同实际服务器节点上进行处理,则更加满足服务的亲和性需求。
亲和率计算方法为在实验时间周期内,一共有num个用户访问了集群系统,第i个用户共发送NRi(1<=i<=N)个连续用户请求,该用户请求首次映射的实际服务器节点为目标服务器节点,则用户请求命中目标服务器节点的总次数为NOi(1<=i<=N),则第i个用户请求命中目标服务器节点的命中率记为Hi:
则整个集群系统的亲和率记为A:
图4所示为在不同用户请求总数情况下四种方法的亲和率。由此可见,集群系统的亲和率随着用户请求数量的增加基本处于稳定状态,其中JCF平台中原有的固定比例因子算法和最小未完成交易数算法的亲和率基本稳定在24.3%和25.2%左右,轮询算法的亲和率稳定在25%左右,本发明方法的亲和率稳定在99%。通过对比实验表明,本发明方法能够将绝大部分用户的连续用户请求发送到同一实际服务器节点去处理,可满足服务的亲和性需求。
场景二:集群系统处于稳定状态,并且集群系统中共有四个实际服务器节点处理用户请求,使用Apache JMeter构造大量用户请求,并在一定时间周期内发送到集群系统中,以模拟不同的用户请求并发数,并发数由少至多。统计请求总响应时间和系统吞吐量,请求总响应时间为系统处理用户请求并响应的总时间,系统吞吐量表示每秒完成的用户请求数量。
图5所示为上述四种方法的请求总响应时间,随着用户请求并发数的不断增加,本发明方法的请求总响应时间较其他方法要短。固定比例因子算法和轮询算法将用户请求轮流发送到集群系统中的各个实际服务器节点,最小未完成交易数算法每次选择当前未完成交易数最少的实际服务器节点来分配用户请求,这三种方法均不能保证连续用户请求被分配到同一实际服务器节点。
本发明方法在处理同一用户的连续用户请求时,由于标识固定,会将这些连续用户请求发送到同一实际服务器节点的服务队列中,并按照时间顺序处理,可避免由于服务所需资源与实际服务器节点绑定而导致的用户请求无法响应问题,同时能够减少由于后续用户请求需要前面用户请求处理结果的等待时间,因此使得服务亲和性得以保证,且用户请求响应时间较短。
从图6可以看出,系统吞吐量随着请求并发数的增多呈上升趋势,本发明方法的系统吞吐量和其他方法区别不大,没有明显优势,这是由于当多个用户在一定时间周期内发送来多个连续用户请求,并且都需要在某一实际服务器节点上处理时,这会给该实际服务器节点造成一定处理压力,所以在系统吞吐量上优势并不明显。综上所述,本发明方法在负载均衡效果上较其他方法有一定优势,其中请求响应时间上比系统吞吐量优势明显。
场景三:原先集群系统中共有四个实际服务器节点处理用户请求,当集群系统规模扩展时,新增加一个实际服务器节点,先到服务库中注册,此时实际服务器节点总数为5个,在适配器上部署本发明方法,用户请求的映射根据前面介绍的动态调整策略变化。观察同一类用户请求的分布情况,分析用户请求在集群系统规模扩展情况下,多少用户请求受到了影响,若在一个实验周期内,由于实际服务器节点增加,导致某一用户请求需重映射到新的目标服务器节点,则记变化一次,统计总的变化次数CT,记该实验周期内所有用户发送的用户请求总数为num_req,集群系统的变化率为CR,则
场景四:原先集群系统中共有四个实际服务器节点处理用户请求,当集群系统规模缩减时,模拟集群系统中有一个实际服务器节点出现故障,从服务库中删除了该实际服务器节点,此时实际服务器节点总数为3个,在适配器上部署本发明方法,用户请求的映射根据前面介绍的动态调整策略变化。观察同一类请求分布情况,统计集群系统变化率。
场景三和场景四分别模拟了给集群系统增加一个实际服务器节点和减少一个实际服务器节点的情况,并统计集群系统的变化率,实验结果如下表所示。
在集群系统规模扩展情况下本发明方法的集群系统变化率为21%,在集群系统规模缩减情况下本发明方法的集群系统变化率为34%。实验表明,当集群系统中实际服务器节点数量发生变化时,能够根据设计的调整策略做出及时并适当的调整,并且集群系统变化率较小,这表明的确有少部分用户的服务亲和性受到影响。
总体来看,本发明方法能够保证绝大多数用户的用户请求处理不受集群系统规模变化的影响,避免了所有用户请求重分布的情况发生,保证了绝大多数服务的亲和性不受影响,保证了系统亲和性。同时受影响的一部分用户请求能够根据动态调整策略重映射到新的实际服务器节点上进行处理,由于本发明方法设置的虚拟节点在哈希空间环上分布较均匀,部分用户请求重映射不会造成某一实际服务器节点出现严重过载现象,对集群系统的负载均衡冲击较小,保证了集群系统的稳定性。
以上对本发明的实施例进行了详细说明,但所述内容仅为本发明的较佳实施例,不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等,均应仍归属于本发明的专利涵盖范围之内。
Claims (4)
1.一种基于一致性哈希算法的亲和性动态负载均衡方法,其特征在于:所述的基于一致性哈希算法的亲和性动态负载均衡方法包括按按顺序进行的下列步骤:
步骤一、构建由多个实际服务器节点构成的哈希空间环,并根据集群系统中各实际服务器节点的权重计算虚拟节点数量,生成相应的虚拟节点,然后建立虚拟节点和该实际服务器节点之间的映射关系,由此将虚拟节点映射到哈希环空间环上;
步骤二、每当有一新的用户请求发送到集群系统中时,解析该用户请求,并从中提取出有用的标识信息,然后将用户请求映射到上述哈希环空间环上,再映射到距离其最近的实际服务器节点上进行处理;
步骤三、当集群系统规模发生动态调整时,针对扩展和缩减两类实际情况,将用户请求的映射根据集群系统动态调整策略进行调整。
2.根据权利要求1所述的基于一致性哈希算法的亲和性动态负载均衡方法,其特征在于:在步骤一中,所述的构建由多个实际服务器节点构成的哈希空间环,并根据集群系统中各实际服务器节点的权重计算虚拟节点数量,生成相应的虚拟节点,然后建立虚拟节点和该实际服务器节点之间的映射关系,由此将虚拟节点映射到哈希环空间环上的具体步骤如下:
根据键值的比特数N构建一个由多个实际服务器节点构成的0~232-1的哈希空间环,比特数N=32;
定义虚拟节点数量并将虚拟节点数量记为VNN,计算公式如下:
其中,N为当前集群系统中实际服务器节点总数,k为常数,W为整个集群系统的权重之和,wi为第i个实际服务器节点的权重;
根据上面公式计算出虚拟节点数量VNN后生成相应的虚拟节点,然后对每个虚拟节点进行编号,编号Virtual_Nodeit表示第i个实际服务器节点对应的第t个虚拟节点,其中1≤i≤N,1≤t≤VNN;
由此建立起虚拟节点和实际服务器节点之间的映射关系,即一个实际服务器节点对应VNN个虚拟节点;
之后计算实际服务器节点的哈希值,在JCF中间件平台的服务库中,每个实际服务器节点注册一个元数据表,根据表中实际服务器节点配置的服务器名称,通过MurmurHash3算法计算得到每个实际服务器节点的哈希值Node_hashi,其中1≤i≤N;
之后计算虚拟节点的哈希值,对于某个虚拟节点,将实际服务器节点的哈希值Node_hashi加上虚拟节点的编号Virtual_Nodeit的值作为MurmurHash3算法输入,计算得到每个虚拟节点的哈希值,记为Virtual_Node_hashit,表示第i个实际服务器节点对应的第t个虚拟节点的哈希值,其中1≤i≤N,1≤t≤VNN;
根据虚拟节点的哈希值Virtual_Node_hashit将虚拟节点映射到哈希空间环上。
3.根据权利要求1所述的基于一致性哈希算法的亲和性动态负载均衡方法,其特征在于:在步骤二中,所述的每当有一新的用户请求发送到集群系统中时,解析该用户请求,并从中提取出有用的标识信息,然后将用户请求映射到上述哈希环空间环上,再映射到距离其最近的实际服务器节点上进行处理的具体步骤如下:
用户根据设定规则设置请求内容并发送到集群系统中,集群系统解析该用户请求,并从用户请求的消息头中获取请求头部的主机值作为标识信息,若该主机值的类型为字符串,首先使用Fowler-NOll-Vo函数将字符串类型的主机值转换成整形数据,公式如下:
keyuser=Fowler-NOLL-Vo(host)
然后根据上述整形数据keyusr通过MurmurHash3算法计算出用户请求的哈希值User_hash;
之后将上述用户请求的哈希值User_hash映射到哈希环空间环上,再沿顺时针方向映射到距离最近的虚拟节点上,根据实际服务器节点和虚拟节点的映射关系,该用户请求实际是映射到对应的实际服务器节点上去处理。
4.根据权利要求1所述的基于一致性哈希算法的亲和性动态负载均衡方法,其特征在于:在步骤三中,所述的当集群系统规模发生动态调整时,针对扩展和缩减两类实际情况,将用户请求的映射根据集群系统动态调整策略进行调整的具体步骤如下:
在集群系统规模扩展情况下,当需要增加实际服务器节点时,首先将该实际服务器节点信息添加到服务库中;再根据规则生成新的实际服务器节点的虚拟节点,并映射到哈希空间环上;最后将用户请求根据规则映射到新的实际服务器节点上进行处理;
在集群系统规模缩减情况下,当需要删除实际服务器节点时,先将该实际服务器节点从服务库中删除,并从哈希空间环中删除该实际服务器节点的所有虚拟节点映射,原来发送到该实际服务器节点上的用户请求将沿顺时针方向寻找离自己最近的实际服务器节点而作为新的实际服务器节点,并由新的实际服务器节点来处理该用户请求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710474382.5A CN107197035A (zh) | 2017-06-21 | 2017-06-21 | 一种基于一致性哈希算法的亲和性动态负载均衡方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710474382.5A CN107197035A (zh) | 2017-06-21 | 2017-06-21 | 一种基于一致性哈希算法的亲和性动态负载均衡方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107197035A true CN107197035A (zh) | 2017-09-22 |
Family
ID=59879373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710474382.5A Pending CN107197035A (zh) | 2017-06-21 | 2017-06-21 | 一种基于一致性哈希算法的亲和性动态负载均衡方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107197035A (zh) |
Cited By (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107948088A (zh) * | 2018-01-05 | 2018-04-20 | 宝牧科技(天津)有限公司 | 一种网络应用层负载均衡的方法 |
CN107979646A (zh) * | 2017-12-07 | 2018-05-01 | 郑州云海信息技术有限公司 | 一种基于一致性hash策略的PaaS平台负载均衡方法 |
CN108280176A (zh) * | 2018-01-22 | 2018-07-13 | 成都博睿德科技有限公司 | 基于MapReduce的数据挖掘优化方法 |
CN108737375A (zh) * | 2018-04-13 | 2018-11-02 | 中山大学 | 一种区块链共识方法及系统 |
CN108769102A (zh) * | 2018-04-08 | 2018-11-06 | 华南理工大学 | 一种改善quic协议请求调度效率的方法 |
CN108768985A (zh) * | 2018-05-17 | 2018-11-06 | 成都致云科技有限公司 | 一种访问节点接入分配方法和装置 |
CN109040232A (zh) * | 2018-08-01 | 2018-12-18 | 广州视源电子科技股份有限公司 | 一种视频会议的负载均衡方法、装置、设备及其存储介质 |
CN109218438A (zh) * | 2018-10-12 | 2019-01-15 | 山东科技大学 | 一种分布式缓存服务器集群的性能优化方法 |
CN109246250A (zh) * | 2018-11-08 | 2019-01-18 | 程桂平 | 根据服务器数量的改变而调整虚拟节点数量的方法 |
CN109325025A (zh) * | 2018-07-31 | 2019-02-12 | 佛山科学技术学院 | 一种多源异构平台可重构集成方法 |
CN109698847A (zh) * | 2017-10-23 | 2019-04-30 | 航天信息股份有限公司 | 一种基于请求处理时间的云存储系统均衡负载的读取方法及系统 |
CN109769019A (zh) * | 2018-12-29 | 2019-05-17 | 深圳联友科技有限公司 | 一种一致性负载均衡方法及装置 |
CN109951394A (zh) * | 2019-03-11 | 2019-06-28 | 中国银联股份有限公司 | 一种确定交易系统的虚拟节点数量的方法及装置 |
CN110334091A (zh) * | 2019-05-09 | 2019-10-15 | 重庆天蓬网络有限公司 | 一种数据分片分布式处理方法、系统、介质和电子设备 |
CN110633053A (zh) * | 2019-09-16 | 2019-12-31 | 北京马赫谷科技有限公司 | 存储容量均衡方法、对象存储方法及装置 |
CN110798517A (zh) * | 2019-10-22 | 2020-02-14 | 雅马哈发动机(厦门)信息系统有限公司 | 去中心化集群负载均衡方法、系统、移动终端及存储介质 |
CN110830562A (zh) * | 2019-10-30 | 2020-02-21 | 重庆邮电大学 | 一种基于虚拟节点的有限负载一致性哈希负载均衡策略 |
CN111159193A (zh) * | 2019-12-27 | 2020-05-15 | 掌迅亿通(北京)信息科技有限公司 | 多层一致性哈希环及其在创建分布式数据库中的应用 |
CN111177154A (zh) * | 2019-12-27 | 2020-05-19 | 掌迅亿通(北京)信息科技有限公司 | 分布式数据库缓存方法及其哈希环优化 |
CN111400044A (zh) * | 2020-03-13 | 2020-07-10 | 安徽博约信息科技股份有限公司 | 一种基于机器性能的服务器集群任务分配方法 |
CN111698270A (zh) * | 2019-03-12 | 2020-09-22 | 浙江宇视科技有限公司 | 一种分布式横向扩展协商服务规模的方法及装置 |
CN111917851A (zh) * | 2020-07-22 | 2020-11-10 | 电信科学技术第五研究所有限公司 | 一种基于一致性哈希实现带权的负载均衡调度方法 |
CN111917853A (zh) * | 2020-07-24 | 2020-11-10 | 山东云缦智能科技有限公司 | 用于内容分发网络的分布式缓存扩缩容的优化方法 |
CN112162987A (zh) * | 2020-10-12 | 2021-01-01 | 北京字跳网络技术有限公司 | 数据处理方法、装置、设备及存储介质 |
CN112306651A (zh) * | 2019-07-31 | 2021-02-02 | 华为技术有限公司 | 一种资源分配方法和资源借调方法 |
CN112437145A (zh) * | 2020-11-18 | 2021-03-02 | 北京浪潮数据技术有限公司 | 一种服务器集群管理方法、装置及相关组件 |
CN112486672A (zh) * | 2020-11-17 | 2021-03-12 | 中国人寿保险股份有限公司 | 一种服务内存缓存调用方法和装置 |
CN112565385A (zh) * | 2020-11-30 | 2021-03-26 | 北京达佳互联信息技术有限公司 | 服务器地址信息的配置方法、装置及电子设备 |
CN112738339A (zh) * | 2020-12-29 | 2021-04-30 | 杭州东信北邮信息技术有限公司 | 一种电信域微服务架构下的服务实例无损扩缩容方法 |
US10999361B2 (en) | 2018-09-07 | 2021-05-04 | Red Hat, Inc. | Consistent hash-based load balancer |
CN112817752A (zh) * | 2021-01-21 | 2021-05-18 | 西安交通大学 | 一种分布式数据库动态负载均衡方法 |
CN113037791A (zh) * | 2019-12-24 | 2021-06-25 | 中国电信股份有限公司 | 运维方法和系统、计算机可读存储介质 |
CN113051077A (zh) * | 2021-03-26 | 2021-06-29 | 深圳市优必选科技股份有限公司 | 一种用户请求的处理方法、装置、终端设备及存储介质 |
CN113377510A (zh) * | 2021-06-08 | 2021-09-10 | 武汉理工大学 | 无服务器计算环境中基于一致性哈希的缓存包调度优化算法 |
CN113821340A (zh) * | 2021-08-27 | 2021-12-21 | 济南浪潮数据技术有限公司 | 分布式系统的动态均衡方法、系统、终端及存储介质 |
CN113934377A (zh) * | 2021-10-28 | 2022-01-14 | 山东英信计算机技术有限公司 | 一种元数据集群部署方法、装置、设备及可读存储介质 |
CN114095565A (zh) * | 2021-11-18 | 2022-02-25 | 税友信息技术有限公司 | 一种服务发现方法、装置、设备及介质 |
CN114428585A (zh) * | 2020-10-29 | 2022-05-03 | 北京奇艺世纪科技有限公司 | 数据存储方法、装置及电子设备 |
CN114615277A (zh) * | 2022-03-04 | 2022-06-10 | 杭州觅恒科技有限公司 | 一种基于emq x的多集群动态扩展方法及系统 |
CN114629908A (zh) * | 2022-03-28 | 2022-06-14 | 浙江邦盛科技股份有限公司 | 一种基于服务器节点硬件资源密度的数据分片方法 |
CN114866799A (zh) * | 2022-05-11 | 2022-08-05 | 北京奇艺世纪科技有限公司 | 一种服务器调度方法及装置 |
CN115297131A (zh) * | 2022-08-01 | 2022-11-04 | 东北大学 | 一种基于一致性哈希的敏感数据分布式储存方法 |
CN115665161A (zh) * | 2022-10-17 | 2023-01-31 | 重庆邮电大学 | 一种clickhouse实时数据流负载均衡方法及系统 |
CN115766737A (zh) * | 2023-01-09 | 2023-03-07 | 北京微吼时代科技有限公司 | 负载均衡方法和装置、电子设备 |
CN114448850B (zh) * | 2021-12-21 | 2023-11-03 | 天翼云科技有限公司 | 拨测控制方法、电子设备及拨测系统 |
CN117056431A (zh) * | 2023-10-11 | 2023-11-14 | 中电数创(北京)科技有限公司 | 基于hbase亲和性计算的二阶段调度的分布式执行方法和系统 |
CN117221324A (zh) * | 2023-11-09 | 2023-12-12 | 腾讯科技(深圳)有限公司 | 云服务器的创建任务分发方法、装置、电子设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8775375B2 (en) * | 2011-03-08 | 2014-07-08 | Rackspace Us, Inc. | Higher efficiency storage replication using compression |
CN104852934A (zh) * | 2014-02-13 | 2015-08-19 | 阿里巴巴集团控股有限公司 | 基于前端调度实现流量分配的方法、装置和系统 |
CN105227602A (zh) * | 2014-06-20 | 2016-01-06 | 北京新媒传信科技有限公司 | 一种负载均衡的方法、客户端、注册服务器和系统 |
CN106559448A (zh) * | 2015-09-28 | 2017-04-05 | 北京国双科技有限公司 | 服务器负载均衡方法和装置 |
-
2017
- 2017-06-21 CN CN201710474382.5A patent/CN107197035A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8775375B2 (en) * | 2011-03-08 | 2014-07-08 | Rackspace Us, Inc. | Higher efficiency storage replication using compression |
CN104852934A (zh) * | 2014-02-13 | 2015-08-19 | 阿里巴巴集团控股有限公司 | 基于前端调度实现流量分配的方法、装置和系统 |
CN105227602A (zh) * | 2014-06-20 | 2016-01-06 | 北京新媒传信科技有限公司 | 一种负载均衡的方法、客户端、注册服务器和系统 |
CN106559448A (zh) * | 2015-09-28 | 2017-04-05 | 北京国双科技有限公司 | 服务器负载均衡方法和装置 |
Cited By (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109698847A (zh) * | 2017-10-23 | 2019-04-30 | 航天信息股份有限公司 | 一种基于请求处理时间的云存储系统均衡负载的读取方法及系统 |
CN107979646A (zh) * | 2017-12-07 | 2018-05-01 | 郑州云海信息技术有限公司 | 一种基于一致性hash策略的PaaS平台负载均衡方法 |
CN107948088A (zh) * | 2018-01-05 | 2018-04-20 | 宝牧科技(天津)有限公司 | 一种网络应用层负载均衡的方法 |
CN108280176A (zh) * | 2018-01-22 | 2018-07-13 | 成都博睿德科技有限公司 | 基于MapReduce的数据挖掘优化方法 |
CN108769102A (zh) * | 2018-04-08 | 2018-11-06 | 华南理工大学 | 一种改善quic协议请求调度效率的方法 |
CN108737375A (zh) * | 2018-04-13 | 2018-11-02 | 中山大学 | 一种区块链共识方法及系统 |
CN108737375B (zh) * | 2018-04-13 | 2021-01-19 | 中山大学 | 一种区块链共识方法及系统 |
CN108768985A (zh) * | 2018-05-17 | 2018-11-06 | 成都致云科技有限公司 | 一种访问节点接入分配方法和装置 |
CN109325025A (zh) * | 2018-07-31 | 2019-02-12 | 佛山科学技术学院 | 一种多源异构平台可重构集成方法 |
CN109040232A (zh) * | 2018-08-01 | 2018-12-18 | 广州视源电子科技股份有限公司 | 一种视频会议的负载均衡方法、装置、设备及其存储介质 |
US10999361B2 (en) | 2018-09-07 | 2021-05-04 | Red Hat, Inc. | Consistent hash-based load balancer |
WO2020073539A1 (zh) * | 2018-10-12 | 2020-04-16 | 山东科技大学 | 一种分布式缓存服务器集群的性能优化方法 |
CN109218438A (zh) * | 2018-10-12 | 2019-01-15 | 山东科技大学 | 一种分布式缓存服务器集群的性能优化方法 |
CN109246250A (zh) * | 2018-11-08 | 2019-01-18 | 程桂平 | 根据服务器数量的改变而调整虚拟节点数量的方法 |
CN109769019B (zh) * | 2018-12-29 | 2021-11-09 | 深圳联友科技有限公司 | 一种一致性负载均衡方法及装置 |
CN109769019A (zh) * | 2018-12-29 | 2019-05-17 | 深圳联友科技有限公司 | 一种一致性负载均衡方法及装置 |
CN109951394B (zh) * | 2019-03-11 | 2021-04-27 | 中国银联股份有限公司 | 一种确定交易系统的虚拟节点数量的方法及装置 |
CN109951394A (zh) * | 2019-03-11 | 2019-06-28 | 中国银联股份有限公司 | 一种确定交易系统的虚拟节点数量的方法及装置 |
CN111698270B (zh) * | 2019-03-12 | 2023-06-20 | 浙江宇视科技有限公司 | 一种分布式横向扩展协商服务规模的方法及装置 |
CN111698270A (zh) * | 2019-03-12 | 2020-09-22 | 浙江宇视科技有限公司 | 一种分布式横向扩展协商服务规模的方法及装置 |
CN110334091A (zh) * | 2019-05-09 | 2019-10-15 | 重庆天蓬网络有限公司 | 一种数据分片分布式处理方法、系统、介质和电子设备 |
CN112306651A (zh) * | 2019-07-31 | 2021-02-02 | 华为技术有限公司 | 一种资源分配方法和资源借调方法 |
CN110633053A (zh) * | 2019-09-16 | 2019-12-31 | 北京马赫谷科技有限公司 | 存储容量均衡方法、对象存储方法及装置 |
CN110798517A (zh) * | 2019-10-22 | 2020-02-14 | 雅马哈发动机(厦门)信息系统有限公司 | 去中心化集群负载均衡方法、系统、移动终端及存储介质 |
CN110798517B (zh) * | 2019-10-22 | 2022-08-05 | 雅马哈发动机(厦门)信息系统有限公司 | 去中心化集群负载均衡方法、系统、移动终端及存储介质 |
CN110830562B (zh) * | 2019-10-30 | 2022-06-10 | 重庆邮电大学 | 一种基于虚拟节点的有限负载一致性哈希负载均衡策略 |
CN110830562A (zh) * | 2019-10-30 | 2020-02-21 | 重庆邮电大学 | 一种基于虚拟节点的有限负载一致性哈希负载均衡策略 |
CN113037791A (zh) * | 2019-12-24 | 2021-06-25 | 中国电信股份有限公司 | 运维方法和系统、计算机可读存储介质 |
CN113037791B (zh) * | 2019-12-24 | 2023-03-28 | 中国电信股份有限公司 | 运维方法和系统、计算机可读存储介质 |
CN111159193B (zh) * | 2019-12-27 | 2023-08-29 | 掌迅亿通(北京)信息科技有限公司 | 多层一致性哈希环及其在创建分布式数据库中的应用 |
CN111177154B (zh) * | 2019-12-27 | 2023-07-25 | 掌迅亿通(北京)信息科技有限公司 | 分布式数据库缓存方法及其哈希环优化 |
CN111177154A (zh) * | 2019-12-27 | 2020-05-19 | 掌迅亿通(北京)信息科技有限公司 | 分布式数据库缓存方法及其哈希环优化 |
CN111159193A (zh) * | 2019-12-27 | 2020-05-15 | 掌迅亿通(北京)信息科技有限公司 | 多层一致性哈希环及其在创建分布式数据库中的应用 |
CN111400044A (zh) * | 2020-03-13 | 2020-07-10 | 安徽博约信息科技股份有限公司 | 一种基于机器性能的服务器集群任务分配方法 |
CN111917851A (zh) * | 2020-07-22 | 2020-11-10 | 电信科学技术第五研究所有限公司 | 一种基于一致性哈希实现带权的负载均衡调度方法 |
CN111917853A (zh) * | 2020-07-24 | 2020-11-10 | 山东云缦智能科技有限公司 | 用于内容分发网络的分布式缓存扩缩容的优化方法 |
CN112162987A (zh) * | 2020-10-12 | 2021-01-01 | 北京字跳网络技术有限公司 | 数据处理方法、装置、设备及存储介质 |
CN114428585A (zh) * | 2020-10-29 | 2022-05-03 | 北京奇艺世纪科技有限公司 | 数据存储方法、装置及电子设备 |
CN112486672A (zh) * | 2020-11-17 | 2021-03-12 | 中国人寿保险股份有限公司 | 一种服务内存缓存调用方法和装置 |
CN112437145A (zh) * | 2020-11-18 | 2021-03-02 | 北京浪潮数据技术有限公司 | 一种服务器集群管理方法、装置及相关组件 |
CN112565385B (zh) * | 2020-11-30 | 2023-03-14 | 北京达佳互联信息技术有限公司 | 服务器地址信息的配置方法、装置及电子设备 |
CN112565385A (zh) * | 2020-11-30 | 2021-03-26 | 北京达佳互联信息技术有限公司 | 服务器地址信息的配置方法、装置及电子设备 |
CN112738339B (zh) * | 2020-12-29 | 2022-09-23 | 杭州东信北邮信息技术有限公司 | 一种电信域微服务架构下的服务实例无损扩缩容方法 |
CN112738339A (zh) * | 2020-12-29 | 2021-04-30 | 杭州东信北邮信息技术有限公司 | 一种电信域微服务架构下的服务实例无损扩缩容方法 |
CN112817752A (zh) * | 2021-01-21 | 2021-05-18 | 西安交通大学 | 一种分布式数据库动态负载均衡方法 |
CN112817752B (zh) * | 2021-01-21 | 2023-12-19 | 西安交通大学 | 一种分布式数据库动态负载均衡方法 |
CN113051077A (zh) * | 2021-03-26 | 2021-06-29 | 深圳市优必选科技股份有限公司 | 一种用户请求的处理方法、装置、终端设备及存储介质 |
CN113377510B (zh) * | 2021-06-08 | 2023-10-24 | 武汉理工大学 | 无服务器计算环境中基于一致性哈希的缓存包调度优化算法 |
CN113377510A (zh) * | 2021-06-08 | 2021-09-10 | 武汉理工大学 | 无服务器计算环境中基于一致性哈希的缓存包调度优化算法 |
CN113821340A (zh) * | 2021-08-27 | 2021-12-21 | 济南浪潮数据技术有限公司 | 分布式系统的动态均衡方法、系统、终端及存储介质 |
CN113934377A (zh) * | 2021-10-28 | 2022-01-14 | 山东英信计算机技术有限公司 | 一种元数据集群部署方法、装置、设备及可读存储介质 |
CN114095565A (zh) * | 2021-11-18 | 2022-02-25 | 税友信息技术有限公司 | 一种服务发现方法、装置、设备及介质 |
CN114095565B (zh) * | 2021-11-18 | 2023-08-29 | 税友信息技术有限公司 | 一种服务发现方法、装置、设备及介质 |
CN114448850B (zh) * | 2021-12-21 | 2023-11-03 | 天翼云科技有限公司 | 拨测控制方法、电子设备及拨测系统 |
CN114615277B (zh) * | 2022-03-04 | 2024-01-16 | 杭州觅恒科技有限公司 | 一种基于emq x的多集群动态扩展方法及系统 |
CN114615277A (zh) * | 2022-03-04 | 2022-06-10 | 杭州觅恒科技有限公司 | 一种基于emq x的多集群动态扩展方法及系统 |
CN114629908B (zh) * | 2022-03-28 | 2023-10-13 | 浙江邦盛科技股份有限公司 | 一种基于服务器节点硬件资源密度的数据分片方法 |
CN114629908A (zh) * | 2022-03-28 | 2022-06-14 | 浙江邦盛科技股份有限公司 | 一种基于服务器节点硬件资源密度的数据分片方法 |
CN114866799A (zh) * | 2022-05-11 | 2022-08-05 | 北京奇艺世纪科技有限公司 | 一种服务器调度方法及装置 |
CN114866799B (zh) * | 2022-05-11 | 2024-04-05 | 北京奇艺世纪科技有限公司 | 一种服务器调度方法及装置 |
CN115297131A (zh) * | 2022-08-01 | 2022-11-04 | 东北大学 | 一种基于一致性哈希的敏感数据分布式储存方法 |
CN115297131B (zh) * | 2022-08-01 | 2023-05-26 | 东北大学 | 一种基于一致性哈希的敏感数据分布式储存方法 |
CN115665161B (zh) * | 2022-10-17 | 2024-04-02 | 重庆邮电大学 | 一种clickhouse实时数据流负载均衡方法及系统 |
CN115665161A (zh) * | 2022-10-17 | 2023-01-31 | 重庆邮电大学 | 一种clickhouse实时数据流负载均衡方法及系统 |
CN115766737A (zh) * | 2023-01-09 | 2023-03-07 | 北京微吼时代科技有限公司 | 负载均衡方法和装置、电子设备 |
CN117056431A (zh) * | 2023-10-11 | 2023-11-14 | 中电数创(北京)科技有限公司 | 基于hbase亲和性计算的二阶段调度的分布式执行方法和系统 |
CN117056431B (zh) * | 2023-10-11 | 2024-02-09 | 中电数创(北京)科技有限公司 | 基于hbase亲和性计算的二阶段调度的分布式执行方法和系统 |
CN117221324A (zh) * | 2023-11-09 | 2023-12-12 | 腾讯科技(深圳)有限公司 | 云服务器的创建任务分发方法、装置、电子设备及介质 |
CN117221324B (zh) * | 2023-11-09 | 2024-03-08 | 腾讯科技(深圳)有限公司 | 云服务器的创建任务分发方法、装置、电子设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107197035A (zh) | 一种基于一致性哈希算法的亲和性动态负载均衡方法 | |
Lai et al. | Cost-effective app user allocation in an edge computing environment | |
US11120023B2 (en) | System for handling concurrent property graph queries | |
CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
CN109032801B (zh) | 一种请求调度方法、系统及电子设备和存储介质 | |
US8424059B2 (en) | Calculating multi-tenancy resource requirements and automated tenant dynamic placement in a multi-tenant shared environment | |
CN105933408B (zh) | 一种Redis通用中间件的实现方法及装置 | |
US10848407B2 (en) | Efficient density based geo clustering | |
CN107451853B (zh) | 一种红包实时派发的方法、装置、系统及存储介质 | |
RU2675054C2 (ru) | Балансировка нагрузки для больших баз данных в оперативной памяти | |
CN104104621B (zh) | 一种基于非线性降维的虚拟网络资源动态自适应调节方法 | |
CN104731528B (zh) | 一种云计算块存储服务的构建方法及系统 | |
CN104063501B (zh) | 基于hdfs的副本平衡方法 | |
CN105975345B (zh) | 一种基于分布式内存的视频帧数据动态均衡存储管理方法 | |
CN108282522A (zh) | 基于动态路由的数据存储访问方法及系统 | |
CN106131244A (zh) | 一种报文传送方法及装置 | |
CN102932271A (zh) | 负载均衡的实现方法和装置 | |
CN108021429A (zh) | 一种基于numa架构的虚拟机内存及网卡资源亲和度计算方法 | |
CN102331948A (zh) | 一种基于资源状态的虚拟机结构调整方法和调整系统 | |
CN107070645A (zh) | 比较数据表的数据的方法和系统 | |
Chen et al. | Latency minimization for mobile edge computing networks | |
Manikandan et al. | Virtualized load balancer for hybrid cloud using genetic algorithm | |
CN108416054A (zh) | 基于文件访问热度的动态hdfs副本个数计算方法 | |
CN105872082B (zh) | 基于容器集群负载均衡算法的细粒度资源响应系统 | |
CN107301094A (zh) | 面向大规模动态事务查询的动态自适应数据模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170922 |