CN111459689A - 基于分布式队列的消息处理系统及方法 - Google Patents
基于分布式队列的消息处理系统及方法 Download PDFInfo
- Publication number
- CN111459689A CN111459689A CN202010264888.5A CN202010264888A CN111459689A CN 111459689 A CN111459689 A CN 111459689A CN 202010264888 A CN202010264888 A CN 202010264888A CN 111459689 A CN111459689 A CN 111459689A
- Authority
- CN
- China
- Prior art keywords
- message
- distributed
- queue
- node
- message queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000015654 memory Effects 0.000 claims description 19
- 230000003111 delayed effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 description 5
- 238000005192 partition Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种基于分布式队列的消息处理系统及方法，该系统包括：生产者消息代理模块、分布式消息队列集群以及消费者消息代理模块；所述生产者消息代理模块，用于将生产者生产的消息转发到所述分布式消息队列集群中的消息队列节点，其中，所述分布式消息队列集群包括多种消息队列节点；所述消费消息代理模块，用于根据各消费者的消息订阅信息将消息队列节点中的消息推送到对应的消费者。本发明通过在分布式消息队列集群中设置多种消息队列节点，可以实现对多种类型消息进行处理，以满足不同的业务需求。
Description
技术领域
本发明涉及消息队列，具体而言，涉及一种基于分布式队列的消息处理系统及方法。
背景技术
常见的消息队列例如kafka等可以用来进行消息处理。通常基于分布式队列的消息选择kafka来进行消息处理，kafka是一个开源的分布式处理消息处理平台，具有高吞吐、可持久化、可水平扩展等多种特性。目前随着消息种类的增多，以及需要处理的消息量的增加，kafka已经渐渐难以满足消息处理需求，现有技术需要一种能够同时处理多种类型消息的消息处理系统。
发明内容
本发明为了解决上述背景技术中的至少一个技术问题，提出了一种基于分布式队列的消息处理系统。
为了实现上述目的，根据本发明的一个方面，提供了一种基于分布式队列的消息处理系统，该系统包括：生产者消息代理模块、分布式消息队列集群以及消费者消息代理模块；
所述生产者消息代理模块，用于将生产者生产的消息转发到所述分布式消息队列集群中的消息队列节点，其中，所述分布式消息队列集群包括多种消息队列节点；
所述消费消息代理模块，用于根据各消费者的消息订阅信息将消息队列节点中的消息推送到对应的消费者。
可选的，所述消息队列节点包括：kafka节点、RocketMQ节点以及用于存储延迟消息的延迟消息节点。
可选的，该基于分布式队列的消息处理系统还包括：集群管理模块；所述集群管理模块与所述分布式消息队列集群连接，用于检测各消息队列节点的运行状态。
可选的，该基于分布式队列的消息处理系统还包括：用户控制模块；所述用户控制模块与所述分布式消息队列集群连接，用于用户创建主题以及查询各消息队列节点的消息消费情况，其中，各消息队列节点中的消息以主题为单位进行归类。
可选的，所述生产者包括：客户端、MySQL日志以及Redis日志。
可选的，所述消费者包括：HTTP服务器、Redis缓存、分布式文件系统以及Hbase数据库。
为了实现上述目的，根据本发明的另一方面，提供了一种基于分布式队列的消息处理方法，该方法包括：
将生产者生产的消息转发到所述分布式消息队列集群中的消息队列节点，其中，所述分布式消息队列集群包括多种消息队列节点；
根据各消费者的消息订阅信息将消息队列节点中的消息推送到对应的消费者。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于分布式队列的消息处理方法中的步骤。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述基于分布式队列的消息处理方法中的步骤。
本发明的有益效果为：本发明通过在分布式消息队列集群中设置多种消息队列节点，可以实现对多种类型消息进行处理，以满足不同的业务需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例基于分布式队列的消息处理系统结构图；
图2是本发明实施例基于分布式队列的消息处理方法的流程图；
图3是本发明实施例计算机设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是本发明实施例基于分布式队列的消息处理系统的结构图，如图1所示，本实施例的基于分布式队列的消息处理系统包括：生产者消息代理模块、分布式消息队列集群以及消费者消息代理模块。
在本发明可选实施例中，分布式消息队列集群包括多种消息队列节点，每种消息队列节点可以有多个。在本发明可选实施例中，消息队列节点可以为kafka节点、RocketMQ节点以及用于存储延迟消息的延迟消息节点(Chronos)。在本发明可选实施例中，延迟消息节点(Chronos)使用RocksDB作为延迟消息的存储引擎。在本发明可选实施例中，RocketMQ节点包含主节点和从节点，从节点为主节点的备份。
在本发明可选实施例中，生产者消息代理模块内置Thrift Server，用于根据消息的类型以及预设的消息转发规则将生产者生产的消息转发给各消息队列节点。
在本发明可选实施例中，消费者消息代理模块内置Thrift Server，用于根据各消费者的消息订阅信息将消息队列节点中的消息推送到对应的消费者，此外，消费者消息代理模块还能支持SDK拉取的方式使消费者从消费者消息代理模块拉取消息。
在本发明可选实施例中，生产和消费的消息可以为SDK代码，该SDK代码支持Java/C/C++/Go/PHP/Python等主流语言。
在本发明可选实施例中，生产者可以为客户端、MySQL日志(MySQL binlog)以及Redis日志(Redis binlog)等。
在本发明可选实施例中，消费者可以为HTTP服务器、Redis缓存、分布式文件系统以及Hbase数据库等。HTTP服务器、Redis缓存、分布式文件系统以及Hbase数据库可以通过订阅的方式订阅消息，消费者消息代理模块根据消息订阅信息进行消息推送。在本发明可选实施例中，消费者也可以客户端，客户端可以通过SDK拉取的方式从消费者消息代理模块拉取消息。
如图1所示，本实施例的基于分布式队列的消息处理系统包括集群管理模块(Zookeeper)。所述集群管理模块与所述分布式消息队列集群连接，用于检测各消息队列节点的运行状态。在本发明可选实施例中，分布式消息队列集群中的kafka节点包括主节点和从节点，集群管理模块还用于主节点的配置，以实现节点的高可用。
如图1所示，本实施例的基于分布式队列的消息处理系统还包括用户控制模块(Console)。用户控制模块(Console)可以为基于Spring开发的用户控制台。所述用户控制模块与所述分布式消息队列集群连接，用于用户创建主题以及查询各消息队列节点的消息消费情况，其中，各消息队列节点中的消息以主题为单位进行归类。在本发明可选实施例中，用户控制模块方便用户在控制台上申请Topic，ConsumerGroup，Subscription等资源，并提供消费进度的查看和重置功能。
在本发明可选实施例中，基于分布式队列的消息处理系统还包括监控模块(monitor)，用于提供消费积压监控和集群健康监控。
在本发明可选实施例中，消息队列节点中的消息以主题为单位进行归类，生产者生产的消息发送到对应的主题，消费者订阅主题并消费消息。在本发明可选实施例中，一个主题可以分为多个分区，一个分区只属于单个主题。分区在存储层面肯以看作为一个追加的日志文件，消息在被追加到分区日志文件的时候会分配一个特定的偏移量，以保证消息的顺序性。
本发明的基于分布式队列的消息处理系统为各个业务线提供了低延迟、高并发、高可用、高可靠的消息服务。本发明系统提供了包括实时消息、延迟消息和事务消息在内的多种消息类型以满足不同的业务需求。用户通过统一的Web控制台和傻瓜式的SDK即可轻松接入分布式消息队列集群，生产和消费消息，体验功能丰富、稳定的消息服务。同时，本系统还给运维人员提供了消息可视化监控报警功能，方便运维的维护，不仅可以为应用提供运行时的数据作为依据参考，还可以迅速定位问题，提供预防及告警等功能，很大程度上增强了整体服务的鲁棒性。
由以上实施例可以看出，本发明的基于分布式队列的消息处理系统至少实现了以下有益效果：
1、本发明系统支持P2P，Pub/Sub等消息模型；
2、本发明系统实现海量消息存储，支持消息回溯：使用Kafka作为消息的底层存储引擎；
3、本发明系统实现低延迟高吞吐，毫秒级延迟，单机百万条消息吞吐；
4、本发明系统支持延迟消息，单条消息设置精确到秒级的延迟时间，支持Thrift、HTTP形式的回调接口。提供了丰富的消息类型，包括延迟消息和循环延迟消息。
基于同一发明构思，本发明实施例还提供了一种基于分布式队列的消息处理方法，可以用于实现上述实施例所描述的基于分布式队列的消息处理系统，如下面的实施例所述。由于基于分布式队列的消息处理方法解决问题的原理与基于分布式队列的消息处理系统相似，因此基于分布式队列的消息处理方法的实施例可以参见基于分布式队列的消息处理系统的实施例，重复之处不再赘述。
图2是本发明实施例基于分布式队列的消息处理方法的流程图，如图2所示，本发明实施例基于分布式队列的消息处理方法包括步骤S101和步骤S102。
步骤S101，将生产者生产的消息转发到所述分布式消息队列集群中的消息队列节点，其中，所述分布式消息队列集群包括多种消息队列节点。
步骤S102，根据各消费者的消息订阅信息将消息队列节点中的消息推送到对应的消费者。
在本发明可选实施例中，所述消息队列节点包括：kafka节点、RocketMQ节点以及用于存储延迟消息的延迟消息节点。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图3所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。
上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述基于分布式队列的消息处理系统中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(HardDisk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于分布式队列的消息处理系统，其特征在于，包括：生产者消息代理模块、分布式消息队列集群以及消费者消息代理模块；
所述生产者消息代理模块，用于将生产者生产的消息转发到所述分布式消息队列集群中的消息队列节点，其中，所述分布式消息队列集群包括多种消息队列节点；
所述消费消息代理模块，用于根据各消费者的消息订阅信息将消息队列节点中的消息推送到对应的消费者。
2.根据权利要求1所述的基于分布式队列的消息处理系统，其特征在于，所述消息队列节点包括：kafka节点、RocketMQ节点以及用于存储延迟消息的延迟消息节点。
3.根据权利要求1所述的基于分布式队列的消息处理系统，其特征在于，还包括：集群管理模块；所述集群管理模块与所述分布式消息队列集群连接，用于检测各消息队列节点的运行状态。
4.根据权利要求1所述的基于分布式队列的消息处理系统，其特征在于，还包括：用户控制模块；所述用户控制模块与所述分布式消息队列集群连接，用于用户创建主题以及查询各消息队列节点的消息消费情况，其中，各消息队列节点中的消息以主题为单位进行归类。
5.根据权利要求1所述的基于分布式队列的消息处理系统，其特征在于，所述生产者包括：客户端、MySQL日志以及Redis日志。
6.根据权利要求1所述的基于分布式队列的消息处理系统，其特征在于，所述消费者包括：HTTP服务器、Redis缓存、分布式文件系统以及Hbase数据库。
7.一种基于分布式队列的消息处理方法，其特征在于，包括：
将生产者生产的消息转发到所述分布式消息队列集群中的消息队列节点，其中，所述分布式消息队列集群包括多种消息队列节点；
根据各消费者的消息订阅信息将消息队列节点中的消息推送到对应的消费者。
8.根据权利要求7所述的基于分布式队列的消息处理方法，其特征在于，所述消息队列节点包括：kafka节点、RocketMQ节点以及用于存储延迟消息的延迟消息节点。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求7至8任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求7至8任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010264888.5A CN111459689A (zh) | 2020-04-07 | 2020-04-07 | 基于分布式队列的消息处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010264888.5A CN111459689A (zh) | 2020-04-07 | 2020-04-07 | 基于分布式队列的消息处理系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111459689A true CN111459689A (zh) | 2020-07-28 |
Family
ID=71685894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010264888.5A Pending CN111459689A (zh) | 2020-04-07 | 2020-04-07 | 基于分布式队列的消息处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111459689A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112003949A (zh) * | 2020-09-01 | 2020-11-27 | 中国银行股份有限公司 | 一种was集群下的jms消息进程分发控制系统及方法 |
| CN112256446A (zh) * | 2020-09-11 | 2021-01-22 | 国电南瑞科技股份有限公司 | 一种Kafka消息总线管控方法及系统 |
| CN112291224A (zh) * | 2020-10-23 | 2021-01-29 | 上海淇玥信息技术有限公司 | 一种实时通信的交互方法、装置和电子设备 |
| CN112804332A (zh) * | 2021-01-14 | 2021-05-14 | 广州虎牙科技有限公司 | 消息处理系统、方法、装置、设备及计算机可读存储介质 |
| CN113037803A (zh) * | 2021-01-29 | 2021-06-25 | 中国地质环境监测院 | 地质灾害监测方法及系统、电子设备及存储介质 |
| CN113382048A (zh) * | 2021-05-28 | 2021-09-10 | 广东好太太智能家居有限公司 | 一种消息推送方法、系统、设备及存储介质 |
| CN113746685A (zh) * | 2021-11-02 | 2021-12-03 | 深圳市明源云科技有限公司 | 基于pulsar日志采集流处理方法、处理装置及可读存储介质 |
| CN114090343A (zh) * | 2022-01-18 | 2022-02-25 | 北京华品博睿网络技术有限公司 | 一种基于桶粒度的跨集群复制系统及方法 |
| CN114124957A (zh) * | 2021-11-19 | 2022-03-01 | 厦门大学 | 一种应用于机器人的分布式节点互联方法 |
| CN114338063A (zh) * | 2020-09-29 | 2022-04-12 | 中移物联网有限公司 | 消息队列系统、业务处理方法及计算机可读存储介质 |
| CN114979257A (zh) * | 2022-05-24 | 2022-08-30 | 树根互联股份有限公司 | 消息推送方法、装置、计算机设备及计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103064731A (zh) * | 2012-12-26 | 2013-04-24 | 人民搜索网络股份公司 | 一种提高消息队列系统性能的装置及其方法 |
| US20140245262A1 (en) * | 2011-10-05 | 2014-08-28 | Hartigen Solutions, Llc. | Integrated Software Development and Deployment Architecture and High Availability Client-Server Systems Generated Using the Architecture |
| CN104754036A (zh) * | 2015-03-06 | 2015-07-01 | 合一信息技术（北京）有限公司 | 一种基于kafka的消息处理系统及处理方法 |
| CN107395729A (zh) * | 2017-07-27 | 2017-11-24 | 深圳乐信软件技术有限公司 | 一种消息队列的消费系统、方法及装置 |
| CN108076103A (zh) * | 2016-11-18 | 2018-05-25 | 北京优朋普乐科技有限公司 | 一种消息处理方法、系统及消息生产者集群 |
| US20190129771A1 (en) * | 2017-10-26 | 2019-05-02 | Nokia Solutions And Networks Oy | Balanced message distribution in distributed message handling systems |
-
2020
- 2020-04-07 CN CN202010264888.5A patent/CN111459689A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140245262A1 (en) * | 2011-10-05 | 2014-08-28 | Hartigen Solutions, Llc. | Integrated Software Development and Deployment Architecture and High Availability Client-Server Systems Generated Using the Architecture |
| CN103064731A (zh) * | 2012-12-26 | 2013-04-24 | 人民搜索网络股份公司 | 一种提高消息队列系统性能的装置及其方法 |
| CN104754036A (zh) * | 2015-03-06 | 2015-07-01 | 合一信息技术（北京）有限公司 | 一种基于kafka的消息处理系统及处理方法 |
| CN108076103A (zh) * | 2016-11-18 | 2018-05-25 | 北京优朋普乐科技有限公司 | 一种消息处理方法、系统及消息生产者集群 |
| CN107395729A (zh) * | 2017-07-27 | 2017-11-24 | 深圳乐信软件技术有限公司 | 一种消息队列的消费系统、方法及装置 |
| US20190129771A1 (en) * | 2017-10-26 | 2019-05-02 | Nokia Solutions And Networks Oy | Balanced message distribution in distributed message handling systems |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112003949A (zh) * | 2020-09-01 | 2020-11-27 | 中国银行股份有限公司 | 一种was集群下的jms消息进程分发控制系统及方法 |
| CN112256446A (zh) * | 2020-09-11 | 2021-01-22 | 国电南瑞科技股份有限公司 | 一种Kafka消息总线管控方法及系统 |
| CN112256446B (zh) * | 2020-09-11 | 2022-09-30 | 国电南瑞科技股份有限公司 | 一种Kafka消息总线管控方法及系统 |
| CN114338063B (zh) * | 2020-09-29 | 2023-11-10 | 中移物联网有限公司 | 消息队列系统、业务处理方法及计算机可读存储介质 |
| CN114338063A (zh) * | 2020-09-29 | 2022-04-12 | 中移物联网有限公司 | 消息队列系统、业务处理方法及计算机可读存储介质 |
| CN112291224B (zh) * | 2020-10-23 | 2023-11-24 | 上海淇玥信息技术有限公司 | 一种实时通信的交互方法、装置和电子设备 |
| CN112291224A (zh) * | 2020-10-23 | 2021-01-29 | 上海淇玥信息技术有限公司 | 一种实时通信的交互方法、装置和电子设备 |
| CN112804332A (zh) * | 2021-01-14 | 2021-05-14 | 广州虎牙科技有限公司 | 消息处理系统、方法、装置、设备及计算机可读存储介质 |
| CN112804332B (zh) * | 2021-01-14 | 2023-02-28 | 广州虎牙科技有限公司 | 消息处理系统、方法、装置、设备及计算机可读存储介质 |
| CN113037803A (zh) * | 2021-01-29 | 2021-06-25 | 中国地质环境监测院 | 地质灾害监测方法及系统、电子设备及存储介质 |
| CN113382048A (zh) * | 2021-05-28 | 2021-09-10 | 广东好太太智能家居有限公司 | 一种消息推送方法、系统、设备及存储介质 |
| CN113746685A (zh) * | 2021-11-02 | 2021-12-03 | 深圳市明源云科技有限公司 | 基于pulsar日志采集流处理方法、处理装置及可读存储介质 |
| CN113746685B (zh) * | 2021-11-02 | 2022-02-25 | 深圳市明源云科技有限公司 | 基于pulsar日志采集流处理方法、处理装置及可读存储介质 |
| CN114124957A (zh) * | 2021-11-19 | 2022-03-01 | 厦门大学 | 一种应用于机器人的分布式节点互联方法 |
| CN114090343A (zh) * | 2022-01-18 | 2022-02-25 | 北京华品博睿网络技术有限公司 | 一种基于桶粒度的跨集群复制系统及方法 |
| CN114090343B (zh) * | 2022-01-18 | 2022-06-07 | 北京华品博睿网络技术有限公司 | 一种基于桶粒度的跨集群复制系统及方法 |
| CN114979257A (zh) * | 2022-05-24 | 2022-08-30 | 树根互联股份有限公司 | 消息推送方法、装置、计算机设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111459689A (zh) | 基于分布式队列的消息处理系统及方法 | |
| CN107360206B (zh) | 一种区块链共识方法、设备及系统 | |
| US20210383439A1 (en) | Method and system for interaction servicing | |
| CN111290854B (zh) | 任务管理方法、装置、系统、计算机存储介质及电子设备 | |
| CN107018042B (zh) | 用于在线服务系统的追踪方法及追踪系统 | |
| Smit et al. | Distributed, application-level monitoring for heterogeneous clouds using stream processing | |
| CN110716744B (zh) | 一种数据流处理方法、系统和计算机可读存储介质 | |
| WO2020258290A1 (zh) | 日志数据收集方法、日志数据收集装置、存储介质和日志数据收集系统 | |
| US9069543B2 (en) | Predictive operator graph element processing | |
| US10671443B1 (en) | Infrastructure resource monitoring and migration | |
| CN109117252B (zh) | 基于容器的任务处理的方法、系统及容器集群管理系统 | |
| Jones | Process real-time big data with twitter storm | |
| CN111459986A (zh) | 数据计算系统及方法 | |
| US20210119854A1 (en) | Scalable statistics and analytics mechanisms in cloud networking | |
| CN112579304A (zh) | 基于分布式平台的资源调度方法、装置、设备及介质 | |
| CN103034541A (zh) | 一种分布式消息系统及其中的设备和方法 | |
| Simoncelli et al. | Stream-monitoring with blockmon: convergence of network measurements and data analytics platforms | |
| Eyers et al. | Living in the present: on-the-fly information processing in scalable web architectures | |
| CN106797399A (zh) | 确定计算资源的新配置的配置方法、设备、系统和计算机可读介质 | |
| CN114153609A (zh) | 资源控制方法及装置、电子设备、计算机可读存储介质 | |
| CN112667683B (zh) | 流计算系统及其电子设备和存储介质 | |
| US10110502B1 (en) | Autonomous host deployment in managed deployment systems | |
| CN116775420A (zh) | 基于Flink流计算的信创云平台资源展示和预警方法及系统 | |
| Fang et al. | Design and evaluation of a pub/sub service in the cloud | |
| CN113472638B (zh) | 边缘网关控制方法及系统、装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220913 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Applicant after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |