CN114500546B - 基于负载均衡集群的通信消息发送方法、装置及设备 - Google Patents
基于负载均衡集群的通信消息发送方法、装置及设备 Download PDFInfo
- Publication number
- CN114500546B CN114500546B CN202210087603.4A CN202210087603A CN114500546B CN 114500546 B CN114500546 B CN 114500546B CN 202210087603 A CN202210087603 A CN 202210087603A CN 114500546 B CN114500546 B CN 114500546B
- Authority
- CN
- China
- Prior art keywords
- message
- node
- cluster
- configuration information
- partition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000005192 partition Methods 0.000 claims abstract description 339
- 238000001514 detection method Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1014—Server selection for load balancing based on the content of a request
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1031—Controlling of the operation of servers by a load balancer, e.g. adding or removing servers that serve requests
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请提供一种基于负载均衡集群的通信消息发送方法、装置及设备,通过接收终端设备发送的第一消息,并根据所述第一消息,确定所述第一消息对应的消息主题;通过负载均衡集群中控制节点,确定所述消息主题对应的目标分区集,其中,所述目标分区集内包括至少一个分区单元,所述分区单元用于存储生产者节点发送的消息;所述目标分区集内分区单元的数量是基于所述负载均衡集群中分区单元的数量和与所述负载均衡集群通信的生产者节点的数量的比值确定的;确定所述目标分区集中的目标分区单元,并将所述第一消息发布至所述目标分区单元对应的代理节点。由于将第一消息发送到目标分区集中,从而保证负载均衡集群的全局利用率的优化,降低发送延迟。
Description
技术领域
本申请涉及互联网技术领域,尤其涉及一种基于负载均衡集群的通信消息发送方法、装置及设备。
背景技术
负载均衡集群是一种通过多台计算设备组合成集群(cluster),来处理海量请求的方案,通过负载分摊算法,将请求分摊到集群中的各个节点进行处理,降低单台计算设备的压力,提高请求处理效率,常于为大用户量的应用程序提供数据处理和消息服务。
现有技术中,在基于负载均衡集群进行通信消息发送时,通常是通过集群中的代理节点,为每个消息的生产者节点提供若干个用于存储消息的分区单元,进而通过分区单元来缓存和队列输出生产者节点发送的消息。
然而,现有技术中为生产者节点设置分区单元的方案无法实现负载集群层面的全局优化,导致负载分摊集群的整体负载分摊效果不佳,集群内的计算资源利用效率低的问题,进而导致通信消息发送延迟等问题。
发明内容
本申请提供一种基于负载均衡集群的通信消息发送方法、装置及设备,用以解决无法实现负载集群层面的全局优化,导致负载分摊集群的整体负载分摊效果不佳的问题。
第一方面,本申请提供了一种基于负载均衡集群的通信消息发送方法,应用于生产者节点,所述生产者节点与负载均衡集群通信,所述方法包括:
接收终端设备发送的第一消息,并根据所述第一消息,确定所述第一消息对应的消息主题,所述消息主题用于表征第一消息的对应的应用业务的类型;通过负载均衡集群中控制节点,确定所述消息主题对应的目标分区集,其中,所述目标分区集内包括至少一个分区单元,所述分区单元用于存储生产者节点发送的消息;所述目标分区集内分区单元的数量是基于所述负载均衡集群中分区单元的数量和与所述负载均衡集群通信的生产者节点的数量的比值确定的;确定所述目标分区集中的目标分区单元,并将所述第一消息发布至所述目标分区单元对应的代理节点,所述代理节点用于将所述第一消息传输至与所述负载均衡集群通信的消费者节点。
在一种可能的实现方式中,所述通过负载均衡集群中控制节点,确定所述消息主题对应的目标分区集,包括:向所述控制节点发送第一请求信息,并接收控制节点返回的第一集群配置信息,其中,所述第一请求信息中包括所述消息主题,所述第一集群配置信息表征与所述消息主题对应的分区单元的数量;基于所述第一集群配置信息,确定所述目标分区集。
在一种可能的实现方式中,所述方法还包括:接收所述控制节点返回的第二集群配置信息,所述第二集群配置信息表征所述消息主题对应的第一消息的数据类型;所述基于所述第一集群配置信息,确定所述目标分区集,包括:基于所述第一集群配置信息和所述第二集群配置信息,确定所述目标分区集。
在一种可能的实现方式中,所述确定所述目标分区集中的目标分区单元,包括:向控制节点发送第二请求信息;接收所述控制节点发送的第三集群配置信息,所述第三集群配置信息用于指示目标分区集中的主要分区单元和次要分区单元,其中,所述主要分区单元用于读写所述第一消息,所述次要分区单元用于备份所述第一消息;基于所述第三集群配置,确定所述主要分区单元为目标分区节点。
在一种可能的实现方式中,所述目标分区单元部署于目标代理节点;所述将所述第一消息发布至所述目标分区单元对应的代理节点,包括:获取所述目标分区单元对应的目标代理节点的路由地址;基于所述路由地址,将所述第一消息发送至所述目标代理节点,以使所述目标代理节点通过所述目标分区节点将所述第一消息写入所述目标代理节点的本地。
第二方面,本申请提供了一种基于负载均衡集群的通信消息发送方法,应用于控制节点,所述控制节点部署于负载均衡集群内,所述方法包括:
检测负载均衡集群中分区单元的数量和生产者节点的数量;根据所述检测负载均衡集群中分区单元的数量和生产者节点的数量的比值,生成第一集群配置信息,所述第一集群配置信息用于指示目标分区集的内分区单元的数量;响应于生产者节点发送的第一请求信息,将所述第一集群配置信息发送至所述生产者节点,以使所述生产者节点确定所述目标分区集。
在一种可能的实现方式中,所述第一请求信息中包括消息主题,所述消息主题表征第一消息的对应的应用业务的类型;所述方法还包括:根据消息主题对应的第一消息的数据类型,生成第二集群配置信息,其中,所述消息主题表征第一消息的对应的应用业务的类型;所述将所述第一集群配置信息发送至所述生产者节点,包括:将所述第一集群配置信息和所述第二集群配置信息发送至所述生产者节点。
第三方面,本申请提供了一种基于负载均衡集群的通信消息发送装置,所述装置包括:
收发模块,用于接收终端设备发送的第一消息,并根据所述第一消息,确定所述第一消息对应的消息主题,所述消息主题用于表征第一消息的对应的应用业务的类型;
确定模块,用于通过负载均衡集群中控制节点,确定所述消息主题对应的目标分区集,其中,所述目标分区集内包括至少一个分区单元,所述分区单元用于存储生产者节点发送的消息;所述目标分区集内分区单元的数量是基于所述负载均衡集群中分区单元的数量和与所述负载均衡集群通信的生产者节点的数量的比值确定的;
发布模块,用于确定所述目标分区集中的目标分区单元,并将所述第一消息发布至所述目标分区单元对应的代理节点,所述代理节点用于将所述第一消息传输至与所述负载均衡集群通信的消费者节点。
在一种可能的实现方式中,所述收发模块,还用于:向所述控制节点发送第一请求信息,并接收控制节点返回的第一集群配置信息,其中,所述第一请求信息中包括所述消息主题,所述第一集群配置信息表征与所述消息主题对应的分区单元的数量;所述确定模块,具体用于:基于所述第一集群配置信息,确定所述目标分区集。
在一种可能的实现方式中,所述收发模块,还用于:接收所述控制节点返回的第二集群配置信息,所述第二集群配置信息表征所述消息主题对应的第一消息的数据类型;所述确定模块在基于所述第一集群配置信息,确定所述目标分区集时,具体用于:基于所述第一集群配置信息和所述第二集群配置信息,确定所述目标分区集。
在一种可能的实现方式中,所述收发模块,还用于:向控制节点发送第二请求信息;接收所述控制节点发送的第三集群配置信息,所述第三集群配置信息用于指示目标分区集中的主要分区单元和次要分区单元,其中,所述主要分区单元用于读写所述第一消息,所述次要分区单元用于备份所述第一消息;所述发布模块,具体用于:基于所述第三集群配置,确定所述主要分区单元为目标分区节点。
在一种可能的实现方式中,所述目标分区单元部署于目标代理节点;所述发布模块在将所述第一消息发布至所述目标分区单元对应的代理节点时,具体用于:获取所述目标分区单元对应的目标代理节点的路由地址;基于所述路由地址,将所述第一消息发送至所述目标代理节点,以使所述目标代理节点通过所述目标分区节点将所述第一消息写入所述目标代理节点的本地。
第四方面,本申请提供了一种基于负载均衡集群的通信消息发送装置,应用于控制节点,所述控制节点部署于负载均衡集群内,所述装置包括:
检测模块,用于检测负载均衡集群中分区单元的数量和生产者节点的数量;
配置模块,用于根据所述检测负载均衡集群中分区单元的数量和生产者节点的数量的比值,生成第一集群配置信息,所述第一集群配置信息用于指示目标分区集的内分区单元的数量;
收发模块,用于响应于生产者节点发送的第一请求信息,将所述第一集群配置信息发送至所述生产者节点,以使所述生产者节点确定所述目标分区集。
在一种可能的实现方式中,所述第一请求信息中包括消息主题,所述消息主题表征第一消息的对应的应用业务的类型;所述配置模块,还用于:根据消息主题对应的第一消息的数据类型,生成第二集群配置信息,其中,所述消息主题表征第一消息的对应的应用业务的类型;所述收发模块在将所述第一集群配置信息发送至所述生产者节点时,具体用于:将所述第一集群配置信息和所述第二集群配置信息发送至所述生产者节点。
第五方面,本申请提供了一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如本申请实施例第一方面任一项所述的基于负载均衡集群的通信消息发送方法。
第六方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如本申请实施例第一方面任一项所述的基于负载均衡集群的通信消息发送方法。
根据本申请实施例的第七方面,本申请提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上第一方面任一项所述的基于负载均衡集群的通信消息发送方法。
本申请提供的基于负载均衡集群的通信消息发送方法、装置及设备,通过接收终端设备发送的第一消息,并根据所述第一消息,确定所述第一消息对应的消息主题,所述消息主题用于表征第一消息的对应的应用业务的类型;通过负载均衡集群中控制节点,确定所述消息主题对应的目标分区集,其中,所述目标分区集内包括至少一个分区单元,所述分区单元用于存储生产者节点发送的消息;所述目标分区集内分区单元的数量是基于所述负载均衡集群中分区单元的数量和与所述负载均衡集群通信的生产者节点的数量的比值确定的;确定所述目标分区集中的目标分区单元,并将所述第一消息发布至所述目标分区单元对应的代理节点,所述代理节点用于将所述第一消息传输至与所述负载均衡集群通信的消费者节点。由于在接收到终端设备发送的第一消息后,通过第一消息的消息主题,将第一消息发送到具有固定数量的分区单元的目标分区集中,在该目标分区集内进行消息的负载均衡和队列输出,从而保证负载均衡集群的全局利用率的优化,降低消息发送延迟。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的基于负载均衡集群的通信消息发送方法的一种应用场景图;
图2为本申请一个实施例提供的基于负载均衡集群的通信消息发送方法的流程图;
图3为本申请实施例提供的一种确定目标分区集的过程示意图;
图4为图2所示实施例中步骤S103的具体步骤流程图;
图5为本申请另一个实施例提供的基于负载均衡集群的通信消息发送方法的流程图;
图6为本申请实施例提供一种基于负载均衡集群的通信消息发送方法的信令示意图;
图7为本申请一个实施例提供的基于负载均衡集群的通信消息发送方法的示意图;
图8为本申请一个实施例提供的基于负载均衡集群的通信消息发送装置的结构示意图;
图9为本申请一个实施例提供的基于负载均衡集群的通信消息发送装置的结构示意图;
图10为本申请一个实施例提供的电子设备的示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请的技术方案中,所涉及的用户个人信息以及金融数据的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
下面对本申请实施例的应用场景进行解释:
图1为本申请实施例提供的基于负载均衡集群的通信消息发送方法的一种应用场景图,本申请实施例提供的基于负载均衡集群的通信消息发送方法可以应用于即时通讯的应用场景下,示例性地,在该应用场景下,用户A通过操作第一终端设备向用户B操作的第二终端设备发送消息,如图1所示,本申请实施例提供的方法的执行主体可以为第一服务器,第一服务器接收第一终端设备发送的消息发送请求后,作为生产者节点,将第一消息转发至负载均衡集群,负载均衡集群将第一消息转存至集群中的一个代理节点,并以队列的方式输出至消费者节点,最终经由消费者节点处理后,转发至用户B操作的第二终端设备,完成终端设备A向终端设备B发送消息的过程。
首先需要说明的是,实现负载均衡集群的实现方法有多种,本申请以下实施例以及相关介绍中,以Kafka平台为例进行介绍(以下简称Kafka集群),Kafka为开源流处理平台,通过Scala和Java编写,是一种能够实现高吞吐量的分布式发布订阅消息系统,Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。当然,基于Kafka平台的实现方式仅是示例性地,不仅限定与此,当前以及未来其他能够实现相应功能、具有相应特性的平台或架构,均可以基于本实施例提供的方法实现对应的技术效果,此处不再赘述。
现有技术中,在基于Kafka集群进行通信消息发送时,通常是通过集群中的代理节点(Broker),为每个消息的生产者节点(Producer)提供若干个用于存储消息的分区单元(Partation),进而通过分区单元来缓存和队列输出生产者节点发送的消息。然而,现有技术中常用的负载均衡算法都是相对于单个请求而言,即当生产者节点输出请求消息时候,判断Kafka集群中当前的服务器(节点)状态,根据判断结果决定将此请求消息分配至哪台服务器。这样会带来两个问题,一是只保证了局部优化的效果,即只能保证一个生产者节点的效率最高、发送的消息延迟最低,而无法保证全局的效率最高、消息延迟最低。二是kafka请求分发消息的对象数量都以GB为数量级。如果针对单个请求进行负载处理,很有可能某个请求要分发的对象太大,为集群内的服务器带来过大的负载量,造成负载不均的情况,影响整体完成请求的速度。
因此,现有技术中由于无法实现负载集群层面的全局优化,导致负载分摊集群的整体负载分摊效果不佳,集群内的计算资源利用效率低的问题,进而导致通信消息发送延迟等问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图2为本申请一个实施例提供的基于负载均衡集群的通信消息发送方法的流程图,本实施例提供的基于负载均衡集群的通信消息发送方法可以应用于提供生产者节点的第一服务器,其中,生产者节点可以是第一服务器的一个进程或者第一服务器本身。第一服务器作为生产者节点与负载均衡集群通信。如图2所示,本实施例提供的基于负载均衡集群的通信消息发送方法包括以下几个步骤:
步骤S101,接收第一终端设备发送的第一消息,并根据第一消息,确定第一消息对应的消息主题,消息主题用于表征第一消息的对应的应用业务的类型。
示例性地,第一终端设备为运行目标应用程序的设备,例如智能手机、电脑等,目标应用程序可以为即时通信软件或者浏览器。在第一终端设备通过目标应用程序向第二终端设备发送信息的应用场景下,第一服务器接收第一终端设备发送的第一消息,并通过后续步骤,将第一消息通过传入负载均衡集群,进行列队输出,最终发送至第二终端设备。
具体地,消息主题即表征第一消息的应用业务的类型信息,在Kafka集群下,具体指Topic。Topic表征Kafka处理资源的消息源(feeds of messages)的不同分类,不同应用业务的消息对应不同的Topic。在Kafka集群中,将不同应用业务的消息通过Topic进行区分,在Kafka集群另一侧的消费者节点,通过订阅Topic,来获取对应的应用业务的消息,从而实现消息的分发。其中,不同应用业务对应的消息,与Topic(消息主题)之间具有预设的映射关系,根据该预设的映射关系,第一服务器可以确定第一消息对应的消息主题,该确定消息对应的消息主题的过程为本领域技术人员知晓的现有技术,此处不再赘述。
步骤S102,通过负载均衡集群中控制节点,确定消息主题对应的目标分区集,其中,目标分区集内包括至少一个分区单元,分区单元用于存储生产者节点发送的消息;目标分区集内分区单元的数量是基于负载均衡集群中分区单元的数量和与负载均衡集群通信的生产者节点的数量的比值确定的。
进一步地,消息主题是一个存储消息的逻辑概念,可认为为一个消息的集合,每个消息主题可划分多个分区单元(partition),同一个消息主题下的不同的分区单元包含不同消息。每个消息被添加至分区单元时,分配唯一偏置(offset),以此保证分区单元内消息的顺序性。其中,消息主题和分区单元是存储消息的逻辑概念。而代理节点(broker)则是用于区分服务器的物理概念。在分布式存储场景下,一个消息主题对应多个分区单元,分区单元分布在多个代理节点上,多个代理节点一起提供负载均衡服务。
进一步地,Kafka集群中的多个代理节点中,包括用于配置Kafka集群的控制节点(controller)。更具体地,即运行Zookeeper的节点。Zookeeper是一个分布式的,开放源码的分布式应用程序协调服务,用于为分布式应用提供一致性服务,用于提供的功能包括:配置维护、域名服务、分布式同步、组服务等。通过控制节点内设置的配置信息,可以确定消息主题对应的目标分区集,其中,目标分区集是多个分区单元的集合,该目标分区集中的各分区单元,分布在多个代理节点上,但是该目标分区集内的分区单元的数量是确定,目标分区集内分区单元的数量是基于负载均衡集群中分区单元的数量和与负载均衡集群通信的生产者节点的数量的比值确定的。
例如,当负载均衡集群中分区单元的数量为100,而与负载均衡集群通信的生产者节点(即当前正在运行的生产者节点)的数量为5时,则每一生产者节点对应20个分区单元,也即,每一生产者节点对应一个由20个分区单元组成的目标分区集A;再例如,当负载均衡集群中分区单元的数量为80,而与负载均衡集群通信的生产者节点(即当前正在运行的生产者节点)的数量为10时,则每一生产者节点对应8个分区单元,也即,每一生产者节点对应一个由8个分区单元组成的目标分区集B。本实施例步骤中,通过负载均衡集群中控制节点,获得相应的信息而确定消息主题对应的目标分区集,进而基于一个动态数量的目标分区集进行后续的消息分发,可以实现对负载均衡集群在集群全局层面的优化,提高负载均衡集群的整体效率。
图3为本申请实施例提供的一种确定目标分区集的过程示意图,确定目标分区集的步骤,即确定目标分区集内分区单元的数量的步骤,如图3所示,示例性地,当生产者节点的运行数量为三个时(生产者节点01、生产者节点02和生产者节点03分别与负载均衡集群通信连接并运行),每个生产者节点对应一个主题信息。负载均衡集群内部署有空闲的分区单元为9个,则每个生产者节点对应的分区单元的数量为3,即各生产者节点分别对应一个包含3个分区单元的目标分区集(目标分区集A、目标分区集B、目标分区集C)。而当生产者节点运行数量为四个时(此种情况图中未示出),均衡集群内部署有空闲的分区单元为9个不变,则其中三个生产者节点各自对应一个包含2个分区单元的分区集,一个生产者节点对应一个包含3个分区单元的分区集。在后续步骤中,每一生产者节点,基于对应的主题信息,确定对应的目标分区集,并使用目标分区集所提供的分区单元进行消息的分发。从而实现负载均衡集群在集群全局层面的优化。
步骤S103,确定目标分区集中的目标分区单元,并将第一消息发布至目标分区单元对应的代理节点,代理节点用于将第一消息传输至与负载均衡集群通信的消费者节点。
示例性地,在确定目标分区集后,从目标分区集中,选择出当前的第一消息对应的目标分区单元,然后将第一消息发送至目标分区单元对应的代理节点,实现对第一消息的发布。其中,可以通过轮询的方式,依次确定目标分区集中的目标分区单元,或者基于分区单元中的队列长度等方式,确定目标分区单元。之后,订阅了对应主题信息的消费者节点,会从该代理节点中,以队列的形式,拉取目标分区单元中的第一消息,并按需对第一信息进行相应处理后,发送至第二终端设备,最终实现第一终端设备至第二终端设备之间的消息通信。
示例性地,目标分区单元部署于目标代理节点,如图4所示,步骤S103的具体实现步骤包括:
步骤S1031,获取目标分区单元对应的目标代理节点的路由地址。
步骤S1032,基于路由地址,将第一消息发送至目标代理节点,以使目标代理节点通过目标分区节点将第一消息写入目标代理节点的本地。
示例性地,不同的分区单元部署在不同的代理节点上,其中,分区单元包括主要分区单元(Leader)和次要分区单元(follower)。其中,主要分区单元用于消息读写,次要分区单元用于消息的备份。当主要分区单元对应的代理节点出现故障和异常时,次要分区单元会成为新的主要分区单元,从而保证消息传输的安全。不同的分区单元与代理节点存在多对一的映射关系,该映射关系存储在控制节点内。通过访问控制节点可以获得该映射关系,并基于该映射关系,确定目标分区单元对应的目标代理节点(即主要分区单元所在的代理节点)以及对应的路由地址。进而,基于路由地址,将第一消息发送至目标代理节点,目标代理节点通过主要代理节点,完成消息的本地存储,之后基于队列进行消息转发,完成消息发送的步骤。
本实施例中,通过接收终端设备发送的第一消息,并根据第一消息,确定第一消息对应的消息主题,消息主题用于表征第一消息的对应的应用业务的类型;通过负载均衡集群中控制节点,确定消息主题对应的目标分区集,其中,目标分区集内包括至少一个分区单元,分区单元用于存储生产者节点发送的消息;目标分区集内分区单元的数量是基于负载均衡集群中分区单元的数量和与负载均衡集群通信的生产者节点的数量的比值确定的;确定目标分区集中的目标分区单元,并将第一消息发布至目标分区单元对应的代理节点,代理节点用于将第一消息传输至与负载均衡集群通信的消费者节点。由于在接收到终端设备发送的第一消息后,通过第一消息的消息主题,将第一消息发送到具有固定数量的分区单元的目标分区集中,在该目标分区集内进行消息的负载均衡和队列输出,从而保证负载均衡集群的全局利用率的优化,降低消息发送延迟。
图5为本申请另一个实施例提供的基于负载均衡集群的通信消息发送方法的流程图,如图5所示,本实施例提供的基于负载均衡集群的通信消息发送方法在图2所示实施例提供的基于负载均衡集群的通信消息发送方法的基础上,对步骤S102-S103进一步细化,则本实施例提供的基于负载均衡集群的通信消息发送方法包括以下几个步骤:
步骤S201,接收终端设备发送的第一消息,并根据第一消息,确定第一消息对应的消息主题,消息主题用于表征第一消息的对应的应用业务的类型。
步骤S202,向控制节点发送第一请求信息,并接收控制节点返回的第一集群配置信息,其中,第一请求信息中包括消息主题,第一集群配置信息表征与消息主题对应的分区单元的数量。
示例性地,第一请求信息为生产者节点向控制节点发送的,用于获得第一集群配置信息表征与消息主题对应的分区单元的数量的请求信息。具体地,第一请求信息中包括消息主题,控制节点在接收到第一请求信息后,将预设的指示目标分区集的内分区单元的数量的第一集群配置信息返回生产者节点对应的第一服务器,从而使第一服务器能够基于此确定目标分区集内分区单元的数量。
另一方面,运行控制节点的第三服务器,通过定时地检测负载均衡集群中当前的分区单元的数量,以及当前运行的生产者节点的数量,并根据检测负载均衡集群中分区单元的数量和生产者节点的数量的比值,生成第一集群配置信息,在接收到第一服务器发送的第一请求信息后进行响应,将第一集群配置信息发送至生产者节点,以使生产者节点能够确定目标分区集。
步骤S203,接收控制节点返回的第二集群配置信息,第二集群配置信息表征消息主题对应的第一消息的数据类型。
示例性地,第一服务器还同时接收第二集群配置信息,第二集群配置信息表征消息主题对应的第一消息的数据类型,对于不同数据类型的第一消息,例如图片、文字、语音等,其对应的消息主题不同,集群中用于存储此类消息的分区单元的数量也存在差异,例如数据量较大的图片,对应的目标分区集内的分区单元的数量也较多,从而提高此类消息的传输速度。
另一方面,运行控制节点的第三服务器根据消息主题对应的第一消息的数据类型,生成对应的第二集群配置信息,之后,将第一集群配置信息和第二集群配置信息发送至第一服务器,从而使第一服务器可以确定目标分区集。
步骤S204,基于第一集群配置信息和第二集群配置信息,确定目标分区集。
具体地,可以基于第一集群配置信息确定各目标分区集内的原始的分区单元数量的基础上,再基于第二集群配置信息,根据第一消息的数据类型,对目标分区集内的分区单元数量进行调整,提高大数据量的消息的分区单元的数量,而降低小数据量的消息的分区单元的数量,从而进一步地提高负载均衡集群的整体消息传输效率。
步骤S205,向控制节点发送第二请求信息。
步骤S206,接收控制节点发送的第三集群配置信息,第三集群配置信息用于指示目标分区集中的主要分区单元和次要分区单元,其中,主要分区单元用于读写第一消息,次要分区单元用于备份第一消息。
步骤S207,基于第三集群配置,确定主要分区单元为目标分区节点。
示例性地,第二请求信息是用于获得主要分区单元和次要分区单元的请求信息,第一服务器向控制节点发送第二请求信息后,控制节点返回用于指示目标分区集中的主要分区单元和次要分区单元的第三集群配置信息。之后,示例性地,第一服务器基于第三集群配置,确定主要分区单元为目标分区节点,并向目标分区节点(主要分区单元)。同时或之后,第一服务器还会向次要分区单元发送第一消息。其中,主要分区单元用于读写第一消息,次要分区单元用于备份第一消息,保证第一消息能够安全的被发布。
步骤S208,将第一消息发布至目标分区单元对应的代理节点,代理节点用于将第一消息传输至与负载均衡集群通信的消费者节点。
本实施例中,步骤S201、步骤S208的实现方式与本申请图2所示实施例中的步骤S101、步骤S103中的部分步骤的实现方式相同,在此不再一一赘述。
图6为本申请实施例提供一种基于负载均衡集群的通信消息发送方法的信令示意图,如图6所示,本实施例提供的基于负载均衡集群的通信消息发送方法包括:
S1、第三服务器检测负载均衡集群中分区单元的数量和生产者节点的数量。
S2、第三服务器根据检测负载均衡集群中分区单元的数量和生产者节点的数量的比值,生成第一集群配置信息。
S3、第一服务器接收终端设备发送的第一消息。
S4、第一服务器根据第一消息,确定第一消息对应的消息主题。
S5、第一服务器向第三服务器发送第一请求信息,第一请求信息中包括消息主题。
S6、第三服务器根据消息主题对应的第一消息的数据类型,生成第二集群配置信息。
S7、第三服务器将第一集群配置信息和第二集群配置信息发送至第一服务器。
S8、第一服务器基于第一集群配置信息和第二集群配置信息,确定目标分区集。
S9、第一服务器向第三服务器发送第二请求信息。
S10、第一服务器接收第三服务器发送的第三集群配置信息。
S11、第一服务器基于第三集群配置信息,确定目标分区节点。
S12、第一服务器将第一消息发送至目标代理服务器。
S13、第二服务器从目标代理服务器获取第一消息。
S14、第二服务器将第一消息发送至第二终端设备。
其中,第一服务器对应生产者节点;第二服务器对应消费者节点;第三服务器对应控制节点;目标代理服务器对应负载均衡集群中的目标代理节点。本实施例中的各步骤在上述实施例中进行了详细介绍,此处不再一一赘述。
图7为本申请一个实施例提供的基于负载均衡集群的通信消息发送方法的示意图,如图7所示,本实施例提供的基于负载均衡集群的通信消息发送方法可以应用于提供消费者节点的第二服务器,其中,消费者节点可以是第二服务器的一个进程或者第二服务器本身,第二服务器作为消费者节点与负载均衡集群通信,本实施例提供的方法包括:
步骤S301,检测负载均衡集群中分区单元的数量和生产者节点的数量。
步骤S302,根据检测负载均衡集群中分区单元的数量和生产者节点的数量的比值,生成第一集群配置信息,第一集群配置信息用于指示目标分区集的内分区单元的数量。
步骤S302,响应于生产者节点发送的第一请求信息,将第一集群配置信息发送至生产者节点,以使生产者节点确定目标分区集。
可选地,方法还包括:
根据消息主题对应的第一消息的数据类型,生成第二集群配置信息,其中,消息主题表征第一消息的对应的应用业务的类型;将第一集群配置信息发送至生产者节点,包括:将第一集群配置信息和第二集群配置信息发送至生产者节点。
本实施例中的各步骤在上述实施例中进行了详细介绍,此处不再一一赘述。
图8为本申请一个实施例提供的基于负载均衡集群的通信消息发送装置的结构示意图,如图8所示,本实施例提供的基于负载均衡集群的通信消息发送装置4包括:
收发模块41,用于接收终端设备发送的第一消息,并根据第一消息,确定第一消息对应的消息主题,消息主题用于表征第一消息的对应的应用业务的类型;
确定模块42,用于通过负载均衡集群中控制节点,确定消息主题对应的目标分区集,其中,目标分区集内包括至少一个分区单元,分区单元用于存储生产者节点发送的消息;目标分区集内分区单元的数量是基于负载均衡集群中分区单元的数量和与负载均衡集群通信的生产者节点的数量的比值确定的;
发布模块43,用于确定目标分区集中的目标分区单元,并将第一消息发布至目标分区单元对应的代理节点,代理节点用于将第一消息传输至与负载均衡集群通信的消费者节点。
在一种可能的实现方式中,收发模块41,还用于:向控制节点发送第一请求信息,并接收控制节点返回的第一集群配置信息,其中,第一请求信息中包括消息主题,第一集群配置信息表征与消息主题对应的分区单元的数量;确定模块42,具体用于:基于第一集群配置信息,确定目标分区集。
在一种可能的实现方式中,收发模块41,还用于:接收控制节点返回的第二集群配置信息,第二集群配置信息表征消息主题对应的第一消息的数据类型;确定模块42在基于第一集群配置信息,确定目标分区集时,具体用于:基于第一集群配置信息和第二集群配置信息,确定目标分区集。
在一种可能的实现方式中,收发模块41,还用于:向控制节点发送第二请求信息;接收控制节点发送的第三集群配置信息,第三集群配置信息用于指示目标分区集中的主要分区单元和次要分区单元,其中,主要分区单元用于读写第一消息,次要分区单元用于备份第一消息;发布模块43,具体用于:基于第三集群配置,确定主要分区单元为目标分区节点。
在一种可能的实现方式中,目标分区单元部署于目标代理节点;发布模块43在将第一消息发布至目标分区单元对应的代理节点时,具体用于:获取目标分区单元对应的目标代理节点的路由地址;基于路由地址,将第一消息发送至目标代理节点,以使目标代理节点通过目标分区节点将第一消息写入目标代理节点的本地。
其中,收发模块41、确定模块42和发布模块43依次连接。本实施例提供的基于负载均衡集群的通信消息发送装置4可以执行如图2-图7任一所示的方法实施例中生产者节点对应的技术方案,其实现原理和技术效果类似,此处不再赘述。
图9为本申请一个实施例提供的基于负载均衡集群的通信消息发送装置的结构示意图,如图9所示,本实施例提供的基于负载均衡集群的通信消息发送装置5包括:
检测模块51,用于检测负载均衡集群中分区单元的数量和生产者节点的数量;
配置模块52,用于根据检测负载均衡集群中分区单元的数量和生产者节点的数量的比值,生成第一集群配置信息,第一集群配置信息用于指示目标分区集的内分区单元的数量;
收发模块53,用于响应于生产者节点发送的第一请求信息,将第一集群配置信息发送至生产者节点,以使生产者节点确定目标分区集。
在一种可能的实现方式中,第一请求信息中包括消息主题,消息主题表征第一消息的对应的应用业务的类型;配置模块52,还用于:根据消息主题对应的第一消息的数据类型,生成第二集群配置信息,其中,消息主题表征第一消息的对应的应用业务的类型;收发模块54在将第一集群配置信息发送至生产者节点时,具体用于:将第一集群配置信息和第二集群配置信息发送至生产者节点。
其中,检测模块51、配置模块52和收发模块53依次连接。本实施例提供的基于负载均衡集群的通信消息发送装置4可以执行如图2-图7任一所示的方法实施例中控制节点对应的技术方案,其实现原理和技术效果类似,此处不再赘述。
图10为本申请一个实施例提供的电子设备的示意图,如图10所示,本实施例提供的电子设备4包括:处理器41,以及与处理器41通信连接的存储器42。
其中,存储器42存储计算机执行指令;
处理器41执行存储器42存储的计算机执行指令,以实现本申请图2-图7所对应的实施例中任一实施例提供的基于负载均衡集群的通信消息发送方法。
其中,存储器42和处理器41通过总线43连接。
相关说明可以对应参见图2-图7所对应的实施例中的步骤所对应的相关描述和效果进行理解,此处不做过多赘述。
本申请一个实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行以实现本申请图2-图7所对应的实施例中任一实施例提供的基于负载均衡集群的通信消息发送方法。
其中,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请一个实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本申请图2-图7所对应的实施例中任一实施例提供的基于负载均衡集群的通信消息发送方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (6)
1.一种基于负载均衡集群的通信消息发送方法,其特征在于,所述方法包括:
接收终端设备发送的第一消息,并根据所述第一消息,确定所述第一消息对应的消息主题,所述消息主题用于表征第一消息对应的应用业务的类型;
通过负载均衡集群中控制节点,确定所述消息主题对应的目标分区集,其中,所述目标分区集内包括至少一个分区单元,所述分区单元用于存储生产者节点发送的消息;所述目标分区集内分区单元的数量是基于所述负载均衡集群中分区单元的数量和与所述负载均衡集群通信的生产者节点的数量的比值确定的;
确定所述目标分区集中的目标分区单元,并将所述第一消息发布至所述目标分区单元对应的代理节点,所述代理节点用于将所述第一消息传输至与所述负载均衡集群通信的消费者节点;
所述通过负载均衡集群中控制节点,确定所述消息主题对应的目标分区集,包括:
向所述控制节点发送第一请求信息,并接收控制节点返回的第一集群配置信息,其中,所述第一请求信息中包括所述消息主题,所述第一集群配置信息表征与所述第一消息对应的应用业务的类型对应的分区单元的数量;
接收所述控制节点返回的第二集群配置信息,所述第二集群配置信息表征所述消息主题对应的第一消息的数据类型;
基于所述第一集群配置信息和所述第二集群配置信息,确定所述目标分区集;
所述确定所述目标分区集中的目标分区单元,包括:
向控制节点发送第二请求信息;
接收所述控制节点发送的第三集群配置信息,所述第三集群配置信息用于指示目标分区集中的主要分区单元和次要分区单元,其中,所述主要分区单元用于读写所述第一消息,所述次要分区单元用于备份所述第一消息;
基于所述第三集群配置,确定所述主要分区单元为目标分区节点。
2.根据权利要求1所述的方法,其特征在于,所述目标分区单元部署于目标代理节点;
所述将所述第一消息发布至所述目标分区单元对应的代理节点,包括:
获取所述目标分区单元对应的目标代理节点的路由地址;
基于所述路由地址,将所述第一消息发送至所述目标代理节点,以使所述目标代理节点通过所述目标分区节点将所述第一消息写入所述目标代理节点的本地。
3.一种基于负载均衡集群的通信消息发送方法,其特征在于,所述方法包括:
检测负载均衡集群中分区单元的数量和生产者节点的数量;
根据所述检测负载均衡集群中分区单元的数量和生产者节点的数量的比值,生成第一集群配置信息,所述第一集群配置信息用于指示目标分区集内的分区单元的数量;
接收生产者节点发送的第一请求信息;所述第一请求信息中包括消息主题,所述消息主题表征第一消息的对应的应用业务的类型;
根据所述消息主题对应的第一消息的数据类型生成第二集群配置信息;
将所述第一集群配置信息和所述第二集群配置信息发送给所述生产者节点,以使述生产者节点基于所述第一集群配置信息和所述第二集群配置信息,确定所述目标分区集,并将所述第一消息发布至所述目标分区集中的目标分区单元对应的代理节点,所述代理节点用于将所述第一消息传输至与所述负载均衡集群通信的消费者节点;
所述方法还包括:
接收所述生产者节点发送的第二请求信息;
向所述生产者节点发送第三集群配置信息,以使所述生产者节点基于所述第三集群配置,确定主要分区单元为目标分区节点;所述第三集群配置信息用于指示目标分区集中的主要分区单元和次要分区单元,其中,所述主要分区单元用于读写所述第一消息,所述次要分区单元用于备份所述第一消息。
4.一种基于负载均衡集群的通信消息发送装置,其特征在于,应用于生产者节点,所述生产者节点与负载均衡集群通信,所述装置包括:
收发模块,用于接收终端设备发送的第一消息,并根据所述第一消息,确定所述第一消息对应的消息主题,所述消息主题用于表征第一消息对应的应用业务的类型;
确定模块,用于通过负载均衡集群中控制节点,确定所述消息主题对应的目标分区集,其中,所述目标分区集内包括至少一个分区单元,所述分区单元用于存储生产者节点发送的消息;所述目标分区集内分区单元的数量是基于所述负载均衡集群中分区单元的数量和与所述负载均衡集群通信的生产者节点的数量的比值确定的;
发布模块,用于确定所述目标分区集中的目标分区单元,并将所述第一消息发布至所述目标分区单元对应的代理节点,所述代理节点用于将所述第一消息传输至与所述负载均衡集群通信的消费者节点;
所述确定模块,具体用于向所述控制节点发送第一请求信息,并接收控制节点返回的第一集群配置信息,其中,所述第一请求信息中包括所述消息主题,所述第一集群配置信息表征与所述第一消息对应的应用业务的类型对应的分区单元的数量;接收所述控制节点返回的第二集群配置信息,所述第二集群配置信息表征所述消息主题对应的第一消息的数据类型;基于所述第一集群配置信息和所述第二集群配置信息,确定所述目标分区集;
所述发布模块,具体用于向控制节点发送第二请求信息;接收所述控制节点发送的第三集群配置信息,所述第三集群配置信息用于指示目标分区集中的主要分区单元和次要分区单元,其中,所述主要分区单元用于读写所述第一消息,所述次要分区单元用于备份所述第一消息;基于所述第三集群配置,确定所述主要分区单元为目标分区节点。
5.一种基于负载均衡集群的通信消息发送装置,其特征在于,应用于控制节点,所述控制节点部署于负载均衡集群内,所述装置包括:
检测模块,用于检测负载均衡集群中分区单元的数量和生产者节点的数量;
配置模块,用于根据所述检测负载均衡集群中分区单元的数量和生产者节点的数量的比值,生成第一集群配置信息,所述第一集群配置信息用于指示目标分区集内的分区单元的数量;
收发模块,用于接收生产者节点发送的第一请求信息;所述第一请求信息中包括消息主题,所述消息主题表征第一消息的对应的应用业务的类型;
所述配置模块,还用于根据所述消息主题对应的第一消息的数据类型生成第二集群配置信息;
所述收发模块,还用于将所述第一集群配置信息和所述第二集群配置信息发送给所述生产者节点,以使述生产者节点基于所述第一集群配置信息和所述第二集群配置信息,确定所述目标分区集,并将所述第一消息发布至所述目标分区集中的目标分区单元对应的代理节点,所述代理节点用于将所述第一消息传输至与所述负载均衡集群通信的消费者节点;
所述收发模块,还用于接收所述生产者节点发送的第二请求信息;向所述生产者节点发送第三集群配置信息,以使所述生产者节点基于所述第三集群配置,确定主要分区单元为目标分区节点;所述第三集群配置信息用于指示目标分区集中的主要分区单元和次要分区单元,其中,所述主要分区单元用于读写所述第一消息,所述次要分区单元用于备份所述第一消息。
6.一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1至3中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210087603.4A CN114500546B (zh) | 2022-01-25 | 2022-01-25 | 基于负载均衡集群的通信消息发送方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210087603.4A CN114500546B (zh) | 2022-01-25 | 2022-01-25 | 基于负载均衡集群的通信消息发送方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114500546A CN114500546A (zh) | 2022-05-13 |
CN114500546B true CN114500546B (zh) | 2024-04-30 |
Family
ID=81474271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210087603.4A Active CN114500546B (zh) | 2022-01-25 | 2022-01-25 | 基于负载均衡集群的通信消息发送方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114500546B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109104446A (zh) * | 2017-06-20 | 2018-12-28 | 中兴通讯股份有限公司 | 一种消息保序方法、网络节点及存储介质 |
KR20190048790A (ko) * | 2017-10-31 | 2019-05-09 | 한국과학기술원 | 공간 데이터를 분산 처리하는 시스템 및 방법 |
CN110928491A (zh) * | 2019-10-30 | 2020-03-27 | 平安科技(深圳)有限公司 | 存储分区动态选择方法、系统、计算机设备及存储介质 |
CN112272217A (zh) * | 2020-10-16 | 2021-01-26 | 苏州浪潮智能科技有限公司 | 一种kafka集群负载均衡方法、系统、设备以及介质 |
CN112367384A (zh) * | 2020-10-30 | 2021-02-12 | 上海哔哩哔哩科技有限公司 | 基于Kafka集群的动态限速方法、装置以及计算机设备 |
CN112583931A (zh) * | 2020-12-25 | 2021-03-30 | 北京百度网讯科技有限公司 | 消息处理方法、消息中间件、电子设备和存储介质 |
CN113886032A (zh) * | 2021-09-03 | 2022-01-04 | 北京达佳互联信息技术有限公司 | 事件调度方法、装置、电子设备及存储介质 |
CN113946449A (zh) * | 2021-10-29 | 2022-01-18 | 北京工业大学 | 一种基于Kafka的消费者端负载均衡方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200341855A1 (en) * | 2019-04-28 | 2020-10-29 | Synamedia | Object store specialized backup and point-in-time recovery architecture |
-
2022
- 2022-01-25 CN CN202210087603.4A patent/CN114500546B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109104446A (zh) * | 2017-06-20 | 2018-12-28 | 中兴通讯股份有限公司 | 一种消息保序方法、网络节点及存储介质 |
KR20190048790A (ko) * | 2017-10-31 | 2019-05-09 | 한국과학기술원 | 공간 데이터를 분산 처리하는 시스템 및 방법 |
CN110928491A (zh) * | 2019-10-30 | 2020-03-27 | 平安科技(深圳)有限公司 | 存储分区动态选择方法、系统、计算机设备及存储介质 |
CN112272217A (zh) * | 2020-10-16 | 2021-01-26 | 苏州浪潮智能科技有限公司 | 一种kafka集群负载均衡方法、系统、设备以及介质 |
CN112367384A (zh) * | 2020-10-30 | 2021-02-12 | 上海哔哩哔哩科技有限公司 | 基于Kafka集群的动态限速方法、装置以及计算机设备 |
CN112583931A (zh) * | 2020-12-25 | 2021-03-30 | 北京百度网讯科技有限公司 | 消息处理方法、消息中间件、电子设备和存储介质 |
CN113886032A (zh) * | 2021-09-03 | 2022-01-04 | 北京达佳互联信息技术有限公司 | 事件调度方法、装置、电子设备及存储介质 |
CN113946449A (zh) * | 2021-10-29 | 2022-01-18 | 北京工业大学 | 一种基于Kafka的消费者端负载均衡方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114500546A (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109949111B (zh) | 电子票据标识分配方法、电子票据生成方法、装置及系统 | |
CN106657314B (zh) | 跨数据中心数据同步系统及方法 | |
CN109347757B (zh) | 消息拥塞控制方法、系统、设备及存储介质 | |
CN111212085B (zh) | 物联网平台同步调用的方法、物联网系统和网络设备 | |
CN110442610A (zh) | 负载均衡的方法、装置、计算设备以及介质 | |
EP2215773A1 (en) | Method and system for handling failover in a distributed environment that uses session affinity | |
US8832215B2 (en) | Load-balancing in replication engine of directory server | |
CN109995839B (zh) | 一种负载均衡方法、系统及负载均衡器 | |
CN109286578A (zh) | 消息处理方法、装置、网关设备及存储介质 | |
CN111478829A (zh) | 区块链网络的压力测试方法及装置、系统 | |
CN111427551A (zh) | 编程平台的用户代码运行方法及平台、设备、存储介质 | |
CN113296976A (zh) | 消息处理方法、装置、电子设备、存储介质及程序产品 | |
CN109873855A (zh) | 一种基于区块链网络的资源获取方法和系统 | |
CN110012050A (zh) | 消息处理、存储方法、装置及系统 | |
CN113452778A (zh) | 会话保持方法、装置、设备、系统及存储介质 | |
CN114500546B (zh) | 基于负载均衡集群的通信消息发送方法、装置及设备 | |
CN106790354B (zh) | 一种防数据拥堵的通信方法及其装置 | |
KR20190035592A (ko) | 분산 클라우드 환경에서의 분산 브로커 코디네이터 시스템 및 방법 | |
CN112001800B (zh) | 在区块链系统中进行业务处理的方法和装置 | |
CN115550284A (zh) | 消息处理方法、装置和设备 | |
EP3940536A1 (en) | Event stream processing method and event stream processing program | |
CN109309583B (zh) | 基于分布式系统的信息获取方法、装置、电子设备和介质 | |
CN112118275B (zh) | 过载处理方法、物联网平台及计算机可读存储介质 | |
CN112541038A (zh) | 时序数据管理方法、系统、计算设备及存储介质 | |
CN111913732A (zh) | 一种服务更新方法、装置及管理服务器、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |