CN114666338B - 一种基于消息的多实例负载均衡方法和系统 - Google Patents

一种基于消息的多实例负载均衡方法和系统 Download PDF

Info

Publication number
CN114666338B
CN114666338B CN202210544686.5A CN202210544686A CN114666338B CN 114666338 B CN114666338 B CN 114666338B CN 202210544686 A CN202210544686 A CN 202210544686A CN 114666338 B CN114666338 B CN 114666338B
Authority
CN
China
Prior art keywords
message
instance
score
hash ring
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210544686.5A
Other languages
English (en)
Other versions
CN114666338A (zh
Inventor
周垤飞
秦钢
陈波
韩鹏
李业欣
钱克成
孙天威
许飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Diji Intelligent Technology Co ltd
Original Assignee
Hangzhou Diji Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Diji Intelligent Technology Co ltd filed Critical Hangzhou Diji Intelligent Technology Co ltd
Priority to CN202210544686.5A priority Critical patent/CN114666338B/zh
Publication of CN114666338A publication Critical patent/CN114666338A/zh
Application granted granted Critical
Publication of CN114666338B publication Critical patent/CN114666338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1014Server selection for load balancing based on the content of a request
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1023Server selection for load balancing based on a hash applied to IP addresses or costs

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及物联网通信技术领域,公开了一种基于消息的多实例负载均衡方法和系统,包括步骤S1:获取待发布的消息,确定消息的消息属性;步骤S2:根据多实例建立第一哈希环;步骤S3:根据消息属性给多实例中各实例打分,根据各实例的得分调整第一哈希环,获得第二哈希环;步骤S4:根据待发布的消息的主题计算待发布的消息的哈希值,基于待发布的消息的哈希值从第二哈希环中选择目标实例;步骤S5:利用目标实例发布待发布的消息。实现了资源的优化,提高待发布消息的处理速度。

Description

一种基于消息的多实例负载均衡方法和系统
技术领域
本发明涉及物联网通信技术领域,具体涉及一种基于消息的多实例负载均衡方法和系统。
背景技术
现有的MQTT客户端分为单实例和多实例,其中单实例客户端之间的通信在大部分情景下能有良好的表现,不过在指令集物联网操作系统下,设备集成需要能够接入百万量级的设备,通常的单实例客户端已经无法满足这样的需求了,使用单实例的客户端在处理高并发请求情况下,出现了消息丢失、连接断开的情况,并且在单实例出现异常后,整个设备接入就无法正常工作了,系统稳定性差。为了进一步适应物联网操作系统的高并发请求,多实例系统逐步发展。
多实例系统通常由一个MQTT服务器与多个实例连接,实现消息的订阅与发布。现有技术中,存在待发布消息时,需选择一个目标实例作为发布实例发布消息,目前现有技术中通常是按照顺序选择一个空闲实例或者随机进行选择,未能根据消息的内容选择最适合发布当前消息的目标实例,未能达到资源使用最优。
在从多个实例中选择目标实例时,部分现有技术借助服务器负载均衡方法从实例的网络连接、CPU、磁盘驱动器等因素中考虑其负载处理能力,以实现负载均衡、避免过载。然而上述方式仅仅考虑了目标实例自身的能力,没有考虑目标实例处理特定类型消息的能力。
综上所述,传统的目标实例选择方式不能根据当前消息的实际情况进行适应性选择,导致资源优化效果不足,难以适应当前物联网系统高并发量下的数据处理速度需求,亟需一种改进的多实例负载均衡方法和系统。
发明内容
本发明提供一种基于消息的多实例负载均衡方法,包括如下步骤:
步骤S1:获取待发布的消息,确定消息的消息属性;
步骤S2:根据多实例建立第一哈希环;
步骤S3:根据消息属性给多实例中各实例打分,根据各实例的得分调整第一哈希环,获得第二哈希环;调整第一哈希环具体包括:根据各实例的得分确定候选实例,计算候选实例对应的虚拟实例的个数和位置,插入第一哈希环,各个候选实例对应的虚拟实例的个数不完全相同;
步骤S4:根据待发布的消息的主题计算待发布的消息的哈希值,基于待发布的消息的哈希值从第二哈希环中选择目标实例;
步骤S5:利用目标实例发布待发布的消息。
优选的,第一哈希环为仅包含多实例的哈希环,计算多实例中各个实例的哈希值,根据哈希值找到各个实例在哈希环上的位置插入实例,以建立第一哈希环。
优选的,构建哈希圆环,根据多实例中各个实例订阅的主题计算各个实例的哈希值,根据各个实例的哈希值将各个实例插入至哈希圆环中,获得第一哈希环。
优选的,消息属性包括消息类型和消息紧急程度,根据消息属性给各实例打分,具体包括:根据消息类型计算各实例的针对当前消息类型的处理得分;根据消息紧急程度计算各实例的负载能力得分;基于各实例的处理得分和负载能力得分计算各实例的得分。
优选的,处理得分用于表示当前实例发布同一消息类型的速度水平,取任一未打分的实例作为当前实例,基于当前实例历史消息发布速度和所有节点消息发布速度计算当前实例的得分,直至所有实例打分完毕。
优选的,基于历史一段时间内同一时刻发布同一消息类型的平均速度与所有实例前一时刻平均消息发布速度的比值与网速调整因子的乘积计算处理得分。
优选的,负载能力得分用于表示当前实例处理待发布消息的能力水平,取任一未打分的实例作为当前实例,基于当前实例的状态参数与发布待处理消息所需最低资源信息和待处理消息的消息紧急程度计算当前实例的能力得分,直至所有实例打分完毕。
优选的,能力得分为当前时刻当前实例CPU功耗、内存容量、历史一段时间内网络连接最小掉线时间分别与待处理消息所需最低CPU功耗、待处理消息所需最低内存容量、历史一段时间内所有实例网络连接平均掉线时间的比值之和。
优选的,根据各实例的得分计算实例得分区间;根据实例得分区间计算实例增设得分区间;根据实例增设得分区间筛选候选实例,候选实例为需增设虚拟实例的实例;根据候选实例计算虚拟实例的个数,计算各个虚拟实例的位置;在第一哈希环上插入各个虚拟实例,以获得第二哈希环。
本发明还提供一种基于消息的多实例负载均衡系统,系统包括多个实例终端,服务器,服务器中包括:
获取模块,用于获取待发布的消息,确定消息的消息属性;
构建模块,用于根据多实例建立第一哈希环;
调整模块,用于根据消息属性给多实例中各实例打分,根据各实例的得分调整第一哈希环,获得第二哈希环;
选择模块,用于根据待发布的消息主题计算待发布的消息的哈希值,基于待发布的消息的哈希值从第二哈希环中选择目标实例;
发布模块:利用目标实例发布待发布的消息。
本发明提供的一种基于消息的多实例负载均衡方法和系统,相较于现有技术中顺序选择或随机选择的方式,一方面,本发明利用负载均衡思想从多个实例中选择目标实例进行消息发布,避免实例过载或闲置。另一方面,本发明能够根据待发布消息的类型、紧急程度选择更适合当前处理待发布消息的实例,优化了目标实例选择过程,选择过程中选择高分实例构建虚拟实例,使得第二哈希环上高分实例的数量多于低分实例,引导待发布消息选择更优的实例进行消息发布,实现了资源的优化。
进一步的,本发明提供的哈希环中首先通过待处理的任务对实例进行评价,与之相匹配的,为了使节点分布更加均匀,仅筛选得分较高的实例增设虚拟实例,从而在第二哈希环上,得分较高的实例节点多于得分较低的实例节点,增加了得分较高的实例节点被选中的概率,在保证节点分布均匀的同时引导待发布消息选择更适合处理该消息的实例,从而提高待发布消息的处理速度。
附图说明
图1为实施例一提供的各实例在哈希环上的位置示意图;
图2为实施例一提供的候选实例在哈希环上的位置示意图;
图3为实施例一提供的插入虚拟节点后的哈希环示意图。
具体实施方式
下面结合附图对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
实施例一
本发明的第一实施方式涉及一种基于消息的多实例负载均衡方法,包括如下步骤:
步骤S1:获取待发布的消息,确定消息的消息属性;
本发明的基于消息的多实例负载均衡方法应用于基于MQTT架构的物联网系统中,一个实例代表一个客户端,MQTT架构的物联网系统包括多个客户端,即多实例和一个MQTT服务器。
物联网系统运行过程中,对于同一个进程,会产生多种类型的消息。消息属性包括消息类型和消息紧急程度,在同一个进程中,根据时间先后顺序获取当前时刻待发布的一个消息,确定消息的消息类型和消息紧急程度,消息类型至少包括日常通知类、数据采集类、指令下达类、异常提示类,消息紧急程度至少包括非常紧急、紧急和不紧急。
步骤S2:根据多实例建立第一哈希环;
根据多实例建立第一哈希环,具体来说,以4个实例为例,系统包括4个实例A、B、C、D,分别计算4个实例在哈希圆环上的位置,将其插入至哈希圆环上,如图1所示。第一哈希环为仅包含多实例的哈希环,多实例可以为物联网系统中的所有实例,也可以为物联网系统中自当前时刻起第一时间段内空闲的实例,其中第一时间段T=M/V,M为待发布的消息的大小,V为历史前n天与当前时刻同一时刻的平均网络速度。计算多实例中各个实例的哈希值,根据哈希值找到各个实例在哈希环上的位置插入实例,以建立第一哈希环。
作为一种可选的实施例,根据多实例建立第一哈希环具体包括:构建哈希圆环,根据多实例中各个实例的实例名计算各个实例的哈希值,根据各个实例的哈希值将各个实例插入至哈希圆环中,获得第一哈希环。
作为另一种可选的实施例,各实例既可以作为发布者也可以作为订阅者,各实例作为订阅者,会事先注册其订阅的主题。根据多实例建立第一哈希环具体包括:构建哈希圆环,根据多实例中各个实例订阅的主题计算各个实例的哈希值,根据各个实例的哈希值将各个实例插入至哈希圆环中,获得第一哈希环。本发明提供的实施例中,利用各个实例订阅的主题计算各个实例对应的哈希值,与在后选择目标实例的参考因素相匹配,相较于直接通过实例名字计算实例对应的哈希值,在后续利用消息主题选择实例时,二者均采用消息主题进行哈希值计算,从而在目标实例选择时优先选择订阅消息主题的实例进行消息发布,即目标实例获得待发布的消息之后,因自身也是该消息的订阅者,直接接收消息,无需再依赖网络进行消息发布,本发明提供的实施例能够减少消息的发布时间,降低了网络压力,提高了消息处理的速度。
步骤S3:根据消息属性给多实例中各实例打分,根据各实例的得分调整第一哈希环,获得第二哈希环;
消息属性包括消息类型和消息紧急程度,根据消息属性给各实例打分,具体包括:根据消息类型计算各实例的针对当前消息类型的处理得分;根据消息紧急程度计算各实例的负载能力得分;基于各实例的处理得分和负载能力得分计算各实例的得分,其中处理得分用于表示当前实例发布同一消息类型的速度水平,取任一未打分的实例作为当前实例,基于当前实例历史消息发布速度和所有节点消息发布速度计算当前实例的得分,直至所有实例打分完毕。具体来说,基于历史一段时间内同一时刻发布同一消息类型的平均速度与所有实例前一时刻平均消息发布速度的比值与网速调整因子的乘积计算处理得分。
负载能力得分用于表示当前实例处理待发布消息的能力水平,取任一未打分的实例作为当前实例,基于当前实例的状态参数与发布待处理消息所需最低资源信息和待处理消息的消息紧急程度计算当前实例的能力得分,直至所有实例打分完毕。能力得分为当前时刻当前实例CPU功耗、内存容量、历史一段时间内网络连接最小掉线时间分别与待处理消息所需最低CPU功耗、待处理消息所需最低内存容量、历史一段时间内所有实例网络连接平均掉线时间的比值之和。
具体来说,i表示实例编号,0<i<N,N表示物联网系统中的实例总个数。第i个实例的得分Pi=Pci+Pfi,Pci表示第i个实例的处理得分,Pfi表示第i个实例的负载能力得分,其中
Figure 159725DEST_PATH_IMAGE001
,k(t)表示当前时刻的网速调整因子,vi表示第i个实例第一历史时间段内同一时刻发布同一消息的平均速度,
Figure DEST_PATH_IMAGE002
为所有实例时刻t-1下的平均消息发布速度,t表示当前时刻。作为一种可选的实施例,第一历史时间段为预设的,例如一个月,作为另一种可选的实施例,为了提高消息发布的速度,第一历史时间段为根据消息紧急程度预设的,对于非常紧急的消息第一历史时间段为一周,对于紧急的消息第一历史时间段为两周,对于不紧急的消息,第一历史时间段为一个月。相较于预设单一历史时间段,将需要统计的时间段信息与消息紧急程度相对应,从而在发布紧急消息时优先保证发布速度,降低统计的计算量,缩短计算时间,在发布非紧急的消息时优先保证实例打分的准确度,准确评估实例的状态,从而选择最优的实例实消息发布,兼顾了计算量和评估的准确度。
第i个实例的负载能力得
Figure 952232DEST_PATH_IMAGE003
,rm表示待处理消息的紧急干预因子,为根据消息紧急程度预设的参数,其中,非常紧急、紧急和不紧急状态下紧急干预因子大小逐步减小。Cg(t)、Cn(t)、Td分别表示当前时刻t下当前实例CPU功耗、内存容量和第一历史时间段内网络连接最小掉线时间,Cgmin、Cnmin
Figure DEST_PATH_IMAGE004
分别为发布待处理消息所需的最低CPU功耗、最低内存容量和第一历史时间段内所有实例网络连接平均掉线时间。相较于当前实例工作状态的简单评估,本发明负载能力的得分计算时引入紧急干预因子,紧急程度越高,该紧急干预因子取值越大,此时所需的最低参数信息被放大预设倍数,对实例的要求越高,负载能力的得分计算方式根据待处理消息的实际情况进行适应性调整,优化了目标实例选择方式。
本发明提供的实例打分根据待处理消息的属性信息、实例当前的状态信息和实例历史工作状态信息进行综合评价,相较于现有技术中仅从被选择实例自身性能出发进行实例评估,本发明从待处理消息的实际情况出发,为实例打分,获得的实例得分更具有针对性,更加符合发布当前待处理消息的需求,从而能够根据实例的实际情况选择针对该待处理消息最优的目标实例,提高了消息发布速度。
逐个为多实例中各个实例进行打分,获得各个实例的得分。根据各实例的得分调整第一哈希环,获得第二哈希环。调整第一哈希环具体包括:根据各实例的得分确定候选实例,计算候选实例对应的虚拟实例的个数和位置,插入第一哈希环。具体来说,根据各实例的得分计算实例得分区间;根据实例得分区间计算实例增设得分区间;根据实例增设得分区间筛选候选实例,候选实例为需增设虚拟实例的实例;根据候选实例计算虚拟实例的个数,计算各个虚拟实例的位置;在第一哈希环上插入各个虚拟实例,以获得第二哈希环,各个候选实例对应的虚拟实例的个数不完全相同。
具体来说,根据各实例的得分计算实例得分区间,包括:根据各实例中最低得分和最高得分计算获得实例得分区间D1:[Pmin,Pmax],其中Pmin为N个实例中分数最低的实例的得分,Pmax为N个实例中分数最高的实例的得分。
根据实例得分区间计算实例增设得分区间,包括:从实例得分区间D1中选择实例增设得分区间D2,作为一种可选的实施例,可以预设增设因子a(a>1),选择实例增设得分区间为D2:[a*Pmin,Pmax](a*Pmin<Pmax),本发明在实例打分环节已经根据待发布消息实际情况对实例进行评价,此时实例的得分已经代表其处理待发布消息的优先级,为了简化实例选择过程,直接通过预设增设因子选择得分最高,即最优的实例进行虚拟实例增设,基于在先环节的打分结果直接通过简单的区间筛选即可选择出最合适的实例,降低实例选择的计算量。
根据实例增设得分区间筛选候选实例,包括:将得分在实例增设得分区间D2内的实例选为候选实例。根据候选实例计算虚拟实例的个数,具体为:候选实例的个数为m,m<N,第j个候选实例的虚拟实例个数nvj=[dyj/djun],dyj表示第j个候选实例距离第一方向的相邻实例的圆弧距离,djun为最佳实例间距,为一预设常数,优选的,第一方向可以为逆时针方向,也可以为顺时针方向。虚拟实例的个数Nv
Figure 840291DEST_PATH_IMAGE005
,j表示第j个候选实例,nvj表示第j个候选实例的虚拟实例个数。
以第一方向为逆时针方向为例,如图2所示,假设实例A、B为候选实例,A实例逆时针方向距离相邻实例圆弧距离为dy1,B实例逆时针方向距离相邻实例圆弧距离为dy2,则虚拟实例的个数Nv=[dy1/djun]+[dy2/djun]。
获得虚拟实例后,根据各个候选实例生成与之对应的虚拟实例的第一属性,根据虚拟实例的第一属性计算各个候选实例对应的虚拟实例的位置。第一属性可以为实例名,第一属性还可以为订阅的主题名。若第一属性为实例名,根据候选实例的实例名生成对应的虚拟实例的实例名,且各个虚拟实例的实例名各不相同,作为一种可选的实施例,在候选实例的实例名后依次加入数字编号,得到各个虚拟实例的实例名。例如,候选实例的实例名为idk,与之对应的虚拟实例的实例名分别为idk1、idk2、…。若第一属性为订阅的主题名,根据候选实例的订阅的主题名生成对应的虚拟实例的订阅的主题名,且各个虚拟实例的订阅的主题名各不相同,作为一种可选的实施例,在候选实例的订阅的主题名后依次加入数字编号,得到各个虚拟实例的订阅的主题名。例如,候选实例的订阅的主题名为“weather”,与之对应的虚拟实例的订阅的主题名分别为“weather1”、“weather2”、…。根据虚拟实例的第一属性计算虚拟实例的哈希值,作为虚拟实例在第一哈希环上的位置。根据各个虚拟实例的位置在第一哈希环上插入各个虚拟实例,以获得第二哈希环,如图3所示,插入各个虚拟实例后,获得第二哈希环上得分较高的实例分布更加均匀,被选中的概率更高。
现有技术中的一致性哈希算法,为了使节点分布更均匀,通常是所有节点均增设相同数量的虚拟节点,使得节点分布更加均匀,而本发明提供的哈希环中首先通过待处理的任务对实例进行评价,与之相匹配的,为了使节点分布更加均匀,仅筛选得分较高的实例增设虚拟实例,从而在第二哈希环上,得分较高的实例节点多于得分较低的实例节点,增加了得分较高的实例节点被选中的概率,本发明提供的虚拟实例设置方式能够在保证节点分布均匀的同时引导待发布消息选择更适合处理该消息的实例,从而提高待发布消息的处理速度。
此外,现有技术中虚拟节点的个数通常为用户根据经验设置的,不确定性较大,相较于此,本发明提供的虚拟节点个数获取方式根据每个实例的实际间距情况进行计算,候选实例的虚拟节点个数可以各不相同也可以存在部分相同,也可以完全相同,虚拟实例生成更为灵活,降低对人为经验的依赖,提高了虚拟实例新增方法的适用性。
步骤S4:根据待发布的消息的主题计算待发布的消息的哈希值,基于待发布的消息的哈希值从第二哈希环中选择目标实例;
计算待发布消息的主题的哈希值,根据待发布消息的主题的哈希值定位待发布消息,自定位点起延顺时针方向选择,选择第一个邻近实例为目标实例。
若第一个邻近实例为虚拟实例,选择虚拟实例对应的候选实例为目标实例。
步骤S5:利用目标实例发布待发布的消息。
利用目标实例发布消息。判断消息队列中是否还存在待发布消息,若存在,取下一个待发布消息,返回步骤S1。
本发明提供的基于消息的多实例负载均衡方法,相较于现有技术中顺序选择或随机选择的方式,一方面,本发明利用负载均衡思想从多个实例中选择目标实例进行消息发布,避免实例过载或闲置。另一方面,本发明能够根据待发布消息的类型、紧急程度选择更适合当前处理待发布消息的实例,优化了目标实例选择过程,选择过程中选择高分实例构建虚拟实例,使得第二哈希环上高分实例的数量多于低分实例,引导待发布消息选择更优的实例进行消息发布,实现了资源的优化。
作为一种可选的实施例,待发布消息包括多个,获取待发布消息包括获取当前时刻待发布消息队列,根据待发布消息队列中各待发布消息的请求时间将待发布消息分类至处理数组和等待数组,根据消息紧急程度从处理数组中选择待发布消息,可选的,优先选择消息紧急程度最高的待发布消息进行处理。
作为另一种可选的实施例,待发布消息包括多个,获取待发布消息包括获取当前时刻待发布消息队列,根据待发布消息队列中各待发布消息的消息类型将待发布消息分类至处理数组和等待数组,根据消息紧急程度从处理数组中选择待发布消息,可选的,优先选择消息紧急程度最高的待发布消息进行处理。在该实施例中消息类型相同的待发布消息一起处理,则对于消息类型、消息紧急程度相同的待发布消息,无需重新构建第二哈希环,在保证实例选择效果的同时降低计算量,提供消息发布处理速度。
利用目标实例发布待发布的消息后,还包括调整目标实例在第二哈希环上虚拟实例的个数和位置,处理下一个同消息类型、同紧急程度的待发布消息。
利用目标实例发布待发布的消息后,还包括判断是否存在新增实例,若存在,根据消息属性为新增实例打分,若新增实例得分小于等于候选实例的最低得分,将新增实例插入至第二哈希环中;若新增实例得分大于候选实例的最低得分,从第二哈希环上删除最低得分的候选实例对应的虚拟实例,重新计算新增实例的虚拟实例个数和位置,插入至第二哈希环上,处理下一个同消息类型、同紧急程度的待发布消息。
本发明提供的第二哈希环是动态变动的,不断根据实例的实际情况调整目标实例选择的引导方向,优化了实例选择的效果,进而提高消息发布速度。
作为一种可选的实施例,消息发布包括第一、第二和第三传输模式,其中,第一传输模式为数据的传输发生最多一次,第二传输模式为数据的传输最小发生一次,第三传输模式为数据的传输仅一次。根据等待数组内待发布消息的数量和当前待发布消息的消息类型选择传输模式。若等待数组内待发布消息的数量大于等于第一等待阈值,日常通知类、数据采集类、指令下达类选择第一传输模式,异常提示类选择第三传输模式;若等待数组内待发布消息的数量小于第一等待阈值,日常通知类选择第一传输模式,数据采集类、指令下达类选择第二传输模式、异常提示类选择第三传输模式。本发明为不同的消息类型和待发布消息数量级配备不同的传输模式,进一步提高了消息发布的速度。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
实施例二
本发明的第二实施方式涉及一种基于消息的多实例负载均衡系统,系统包括多个实例终端,服务器,服务器中包括:
获取模块,用于获取待发布的消息,确定消息的消息属性;
构建模块,用于根据多实例建立第一哈希环;
调整模块,用于根据消息属性给多实例中各实例打分,根据各实例的得分调整第一哈希环,获得第二哈希环;
选择模块,用于根据待发布的消息主题计算待发布的消息的哈希值,基于待发布的消息的哈希值从第二哈希环中选择目标实例;
发布模块:利用目标实例发布待发布的消息。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
上述实例仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉此技术领域的技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种基于消息的多实例负载均衡方法,其特征在于,所述基于消息的多实例负载均衡方法具体包括:
步骤S1:获取待发布的消息,确定消息的消息属性;
步骤S2:根据多实例建立第一哈希环;
步骤S3:根据消息属性给多实例中各实例打分,根据各实例的得分调整第一哈希环,获得第二哈希环;调整第一哈希环具体包括:根据各实例的得分确定候选实例,计算候选实例对应的虚拟实例的个数和位置,插入第一哈希环,各个候选实例对应的虚拟实例的个数不完全相同;其中,消息属性包括消息类型和消息紧急程度,根据消息属性给多实例中各实例打分,具体包括:根据消息类型计算各实例的针对当前消息类型的处理得分;根据消息紧急程度计算各实例的负载能力得分;基于各实例的处理得分和负载能力得分计算各实例的得分,各实例的处理得分用于表示当前实例发布同一消息类型的速度水平;
步骤S4:根据待发布的消息的主题计算待发布的消息的哈希值,基于待发布的消息的哈希值从第二哈希环中选择目标实例;
步骤S5:利用目标实例发布待发布的消息。
2.根据权利要求1所述的基于消息的多实例负载均衡方法,其特征在于,第一哈希环为仅包含多实例的哈希环,计算多实例中各个实例的哈希值,根据哈希值找到各个实例在哈希环上的位置插入实例,以建立第一哈希环。
3.根据权利要求2所述的基于消息的多实例负载均衡方法,其特征在于,构建哈希圆环,根据多实例中各个实例订阅的主题计算各个实例的哈希值,根据各个实例的哈希值将各个实例插入至哈希圆环中,获得第一哈希环。
4.根据权利要求1所述的基于消息的多实例负载均衡方法,其特征在于,
取任一未打分的实例作为当前实例,基于当前实例历史消息发布速度和所有节点消息发布速度计算当前实例的得分,直至所有实例打分完毕。
5.根据权利要求4所述的基于消息的多实例负载均衡方法,其特征在于,
基于历史一段时间内同一时刻发布同一消息类型的平均速度与所有实例前一时刻平均消息发布速度的比值与网速调整因子的乘积计算各实例的针对当前消息类型的处理得分。
6.根据权利要求1所述的基于消息的多实例负载均衡方法,其特征在于,
负载能力得分用于表示当前实例处理待发布消息的能力水平,取任一未打分的实例作为当前实例,基于当前实例的状态参数与发布待处理消息所需最低资源信息和待处理消息的消息紧急程度计算当前实例的能力得分,直至所有实例打分完毕。
7.根据权利要求6所述的基于消息的多实例负载均衡方法,其特征在于,
能力得分为当前时刻当前实例CPU功耗、内存容量、历史一段时间内网络连接最小掉线时间分别与待处理消息所需最低CPU功耗、待处理消息所需最低内存容量、历史一段时间内所有实例网络连接平均掉线时间的比值之和。
8.根据权利要求1所述的基于消息的多实例负载均衡方法,其特征在于,
根据各实例的得分计算实例得分区间;根据实例得分区间计算实例增设得分区间;根据实例增设得分区间筛选候选实例,候选实例为需增设虚拟实例的实例;根据候选实例计算虚拟实例的个数,计算各个虚拟实例的位置;在第一哈希环上插入各个虚拟实例,以获得第二哈希环。
9.一种基于消息的多实例负载均衡系统,系统包括多个实例终端,服务器,服务器中包括:
获取模块,用于获取待发布的消息,确定消息的消息属性;
构建模块,用于根据多实例建立第一哈希环;
调整模块,用于根据消息属性给多实例中各实例打分,根据各实例的得分调整第一哈希环,获得第二哈希环;
调整第一哈希环具体包括:根据各实例的得分确定候选实例,计算候选实例对应的虚拟实例的个数和位置,插入第一哈希环,各个候选实例对应的虚拟实例的个数不完全相同;其中,消息属性包括消息类型和消息紧急程度,根据消息属性给多实例中各实例打分,具体包括:根据消息类型计算各实例的针对当前消息类型的处理得分;根据消息紧急程度计算各实例的负载能力得分;基于各实例的处理得分和负载能力得分计算各实例的得分,各实例的处理得分用于表示当前实例发布同一消息类型的速度水平;
选择模块,用于根据待发布的消息主题计算待发布的消息的哈希值,基于待发布的消息的哈希值从第二哈希环中选择目标实例;
发布模块:利用目标实例发布待发布的消息。
CN202210544686.5A 2022-05-19 2022-05-19 一种基于消息的多实例负载均衡方法和系统 Active CN114666338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210544686.5A CN114666338B (zh) 2022-05-19 2022-05-19 一种基于消息的多实例负载均衡方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210544686.5A CN114666338B (zh) 2022-05-19 2022-05-19 一种基于消息的多实例负载均衡方法和系统

Publications (2)

Publication Number Publication Date
CN114666338A CN114666338A (zh) 2022-06-24
CN114666338B true CN114666338B (zh) 2022-08-26

Family

ID=82036797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210544686.5A Active CN114666338B (zh) 2022-05-19 2022-05-19 一种基于消息的多实例负载均衡方法和系统

Country Status (1)

Country Link
CN (1) CN114666338B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111262907A (zh) * 2020-01-08 2020-06-09 北京字节跳动网络技术有限公司 服务实例访问方法、装置和电子设备
WO2021003935A1 (zh) * 2019-07-11 2021-01-14 平安科技(深圳)有限公司 数据集群存储的方法、装置及计算机设备
CN114185678A (zh) * 2021-12-14 2022-03-15 建信金融科技有限责任公司 数据存储方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503139A (zh) * 2016-10-20 2017-03-15 上海携程商务有限公司 动态数据存取方法及系统
CN111723073B (zh) * 2019-03-19 2023-09-01 北京沃东天骏信息技术有限公司 数据存储处理方法、装置、处理系统以及存储介质
CN110888735A (zh) * 2019-11-12 2020-03-17 厦门网宿有限公司 基于一致性哈希的分布式消息分发方法、装置和调度节点
CN111858033A (zh) * 2020-06-28 2020-10-30 上海缔安科技股份有限公司 基于集群和多进程的负载均衡方法
US11372728B2 (en) * 2020-08-06 2022-06-28 EMC IP Holding Company LLC Retention time based consistent hash ring
CN113382074A (zh) * 2021-06-10 2021-09-10 东南大学 一种基于动态反馈的微服务负载均衡优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021003935A1 (zh) * 2019-07-11 2021-01-14 平安科技(深圳)有限公司 数据集群存储的方法、装置及计算机设备
CN111262907A (zh) * 2020-01-08 2020-06-09 北京字节跳动网络技术有限公司 服务实例访问方法、装置和电子设备
CN114185678A (zh) * 2021-12-14 2022-03-15 建信金融科技有限责任公司 数据存储方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114666338A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
US10567303B2 (en) System and method for routing service requests
CN111427679B (zh) 面向边缘计算的计算任务调度方法、系统、装置
US7558859B2 (en) Peer-to-peer auction based data distribution
CN109660607A (zh) 一种业务请求分发方法、接收方法、装置及服务器集群
US11616683B2 (en) Deep reinforcement learning-based information processing method and apparatus for edge computing server
CN111432247B (zh) 流量调度方法、装置、服务器及存储介质
WO2019148569A1 (zh) 一种发送数据资源的获取请求的方法和系统
CN115629865B (zh) 一种基于边缘计算的深度学习推理任务调度方法
Ranjan et al. Decentralised resource discovery service for large scale federated grids
US20220365826A1 (en) Allocation of heterogeneous computational resource
CN114666338B (zh) 一种基于消息的多实例负载均衡方法和系统
EP3998754B1 (en) Data distribution method, storage server and subscription server
CN113259266A (zh) 一种消息队列的消息推送方法和装置、服务器、存储介质
CN115002117B (zh) 内容分发网络动态调度方法、系统、设备及存储介质
US10862811B1 (en) Message brokering for asynchronous status updates
CN114710485B (zh) 处理方法和处理装置
CN115834054A (zh) 一种多级密钥级数管理方法及装置
CN114612037A (zh) 一种仓库信息的管理方法和系统
CN117081983B (zh) 数据传输方法及装置
US20240022514A1 (en) Dynamic load balancing based on flow characteristics
CN117707760A (zh) 一种负载平衡方法、装置、设备及存储介质
Hanczewski et al. Modeling of Complex Non-Full-Availability Systems
JP6646340B2 (ja) 分散装置および分散方法
CN117896438A (zh) 一种网络资源匹配方法、装置、设备以及介质
CN116185606A (zh) 一种资源调度方法和装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Message Based Multi instance Load Balancing Method and System

Effective date of registration: 20230718

Granted publication date: 20220826

Pledgee: Hangzhou United Rural Commercial Bank Co.,Ltd. Gudang Sub branch

Pledgor: Hangzhou Diji Intelligent Technology Co.,Ltd.

Registration number: Y2023980048826