CN113438281A - 一种分布式消息队列的存储方法、装置、设备及可读介质 - Google Patents
一种分布式消息队列的存储方法、装置、设备及可读介质 Download PDFInfo
- Publication number
- CN113438281A CN113438281A CN202110627991.6A CN202110627991A CN113438281A CN 113438281 A CN113438281 A CN 113438281A CN 202110627991 A CN202110627991 A CN 202110627991A CN 113438281 A CN113438281 A CN 113438281A
- Authority
- CN
- China
- Prior art keywords
- node
- request
- processing
- theme
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 192
- 230000004044 response Effects 0.000 claims abstract description 52
- 238000004590 computer program Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000003993 interaction Effects 0.000 abstract description 13
- 230000007246 mechanism Effects 0.000 abstract description 12
- 238000012423 maintenance Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明公开了一种分布式消息队列的存储方法,包括在分布式消息队列中任意一个节点执行以下步骤:响应于接收到消息处理请求,获取消息处理请求的主题,并判断本节点是否为主题的主节点;若是本节点为主题的主节点,将消息处理请求加入优先队列;对优先队列中的消息处理请求进行处理,并向主题的其他主节点发送请求处理响应;以及响应于接收到所有其他主节点返回的请求处理完成标识,向主题的从节点发送数据同步请求。本发明还公开了一种分布式消息队列的存储装置、计算机设备和可读存储介质。本发明通过分布式消息队列节点内部建立交互机制,降低集群的运维成本、人力成本、管理成本,保障业务的稳定运行。
Description
技术领域
本发明涉及存储技术领域,尤其涉及一种分布式消息队列的存储方法、装置、设备及可读介质。
背景技术
作为大数据生态中重要的信息订阅发布服务组件,Kafka组件通常承担着大量的数据流任务,其自身稳定性对于业务的稳定运行至关重要。
Kafka服务引入一致性服务Zookeeper组件作为其Topic元数据存储后端,但多个服务的叠加会导致业务集群不稳定性增加,Kafka与Zookeeper通过RPC(Remote ProcedureCall,远程过程调用)进行Topic元数据交换,随之带来的是网络的不稳定性,由于Kafka服务对网络带宽占用极高,在某些情况下可达到计算网卡带宽的物理上限,从而导致交互响应不及时,此外Zookeeper服务自身的不稳定性也会导致Kafka集群不稳定,交互超时导致Kafka相关请求失败甚至导致Kafka各节点内对于Topic元数据的处理出现一致性问题进而影响业务正常进行。
综上所述,网络问题、交互问题、一致性问题均对实际Topic处理存在影响,导致运维成本、人力成本、时间成本的消耗。
发明内容
有鉴于此,本发明实施例的目的在于提出一种分布式消息队列的存储方法、装置、设备及可读介质,通过分布式消息队列节点内部建立交互机制,解决主题下的网络分区、请求交互和元信息一致性问题,无需调用分布式系统协调内核,降低集群的运维成本、人力成本、管理成本,保障业务的稳定运行。
基于上述目的,本发明实施例的一方面提供了一种分布式消息队列的存储方法,包括在分布式消息队列中任意一个节点执行以下步骤:响应于接收到消息处理请求,获取所述消息处理请求的主题,并判断本节点是否为所述主题的主节点;若是本节点为所述主题的主节点,将所述消息处理请求加入优先队列;对所述优先队列中的所述消息处理请求进行处理,并向所述主题的其他主节点发送请求处理响应;以及响应于接收到所有所述其他主节点返回的请求处理完成标识,向所述主题的从节点发送数据同步请求。
在一些实施方式中,获取所述消息处理请求的主题,并判断本节点是否为所述主题的主节点包括:获取所述消息处理请求的主题,并判断本节点是否为所述主题的节点;若是本节点为所述主题的节点,进一步判断所述本节点是否为所述主题的主节点。
在一些实施方式中,还包括:若是本节点不为所述主题的节点,获取所述主题的主节点列表,并基于所述主节点列表将所述消息处理请求转发给对应的主节点。
在一些实施方式中,还包括:若是本节点不为所述主题的主节点,将所述消息处理请求加入次要队列;响应于对所述本节点的优先队列中其他主题对应的消息请求处理完成,对所述次要队列中的所述消息处理请求进行处理。
在一些实施方式中,对所述优先队列中的所述消息处理请求进行处理,并向所述主题的其他主节点发送请求处理响应包括:对所述优先队列中的所述消息处理请求进行处理,并判断是否接收到所述主题的其他主节点发送的请求处理响应;若是未接收到所述主题的其他主节点发送的请求处理响应,向所述主题的其他主节点发送请求处理响应。
在一些实施方式中,还包括:若是接收到所述主题的其他节点发送的请求处理响应,反馈请求处理完成标识。
在一些实施方式中,还包括:响应于预设时间内未接收到所有所述其他主节点返回的请求处理完成标识,则认为所述主节点处理失败,并发送告警。
本发明实施例的另一方面,还提供了一种分布式消息队列的存储装置,包括:第一模块,配置用于响应于接收到消息处理请求,获取所述消息处理请求的主题,并判断本节点是否为所述主题的主节点;第二模块,配置用于若是本节点为所述主题的主节点,将所述消息处理请求加入优先队列;第三模块,配置用于对所述优先队列中的所述消息处理请求进行处理,并向所述主题的其他主节点发送请求处理响应;以及第四模块,配置用于响应于接收到所有所述其他主节点返回的请求处理完成标识,向所述主题的从节点发送数据同步请求。
本发明实施例的再一方面,还提供了一种计算机设备,包括:至少一个处理器;以及存储器,存储器存储有可在处理器上运行的计算机指令,指令由处理器执行时实现方法的步骤包括:在分布式消息队列中任意一个节点执行以下步骤:响应于接收到消息处理请求,获取所述消息处理请求的主题,并判断本节点是否为所述主题的主节点;若是本节点为所述主题的主节点,将所述消息处理请求加入优先队列;对所述优先队列中的所述消息处理请求进行处理,并向所述主题的其他主节点发送请求处理响应;以及响应于接收到所有所述其他主节点返回的请求处理完成标识,向所述主题的从节点发送数据同步请求。
在一些实施方式中,获取所述消息处理请求的主题,并判断本节点是否为所述主题的主节点包括:获取所述消息处理请求的主题,并判断本节点是否为所述主题的节点;若是本节点为所述主题的节点,进一步判断所述本节点是否为所述主题的主节点。
在一些实施方式中,还包括:若是本节点不为所述主题的节点,获取所述主题的主节点列表,并基于所述主节点列表将所述消息处理请求转发给对应的主节点。
在一些实施方式中,还包括:若是本节点不为所述主题的主节点,将所述消息处理请求加入次要队列;响应于对所述本节点的优先队列中其他主题对应的消息请求处理完成,对所述次要队列中的所述消息处理请求进行处理。
在一些实施方式中,对所述优先队列中的所述消息处理请求进行处理,并向所述主题的其他主节点发送请求处理响应包括:对所述优先队列中的所述消息处理请求进行处理,并判断是否接收到所述主题的其他主节点发送的请求处理响应;若是未接收到所述主题的其他主节点发送的请求处理响应,向所述主题的其他主节点发送请求处理响应。
在一些实施方式中,还包括:若是接收到所述主题的其他节点发送的请求处理响应,反馈请求处理完成标识。
在一些实施方式中,还包括:响应于预设时间内未接收到所有所述其他主节点返回的请求处理完成标识,则认为所述主节点处理失败,并发送告警。
本发明实施例的再一方面,还提供了一种计算机可读存储介质,计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明具有以下有益技术效果:通过分布式消息队列节点内部建立交互机制,解决主题下的网络分区、请求交互和元信息一致性问题,无需调用分布式系统协调内核,降低集群的运维成本、人力成本、管理成本,保障业务的稳定运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本发明提供的分布式消息队列的存储方法的实施例的示意图;
图2为本发明提供的分布式消息队列的存储装置的实施例的示意图;
图3为本发明提供的计算机设备的实施例的示意图;
图4为本发明提供的计算机可读存储介质的实施例的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
基于上述目的,本发明实施例的第一个方面,提出了分布式消息队列的存储方法的实施例。图1示出的是本发明提供的分布式消息队列的存储方法的实施例的示意图。如图1所示,本发明实施例包括在分布式消息队列中任意一个节点执行以下步骤:
S01、响应于接收到消息处理请求,获取消息处理请求的主题,并判断本节点是否为主题的主节点;
S02、若是本节点为主题的主节点,将消息处理请求加入优先队列;
S03、对优先队列中的消息处理请求进行处理,并向主题的其他主节点发送请求处理响应;以及
S04、响应于接收到所有其他主节点返回的请求处理完成标识,向主题的从节点发送数据同步请求。
在本实施例中,以分布式消息系统Kafka为例,通过在Kafka Broker节点内部建立Topic元数据交互机制,将Kafka Topic相关元数据信息由原有的Zookeeper后端机制变更为Kafka内部处理机制,将Topic元信息处理与Zookeeper服务解耦,解决Kafka Topic的网络分区、请求交互及元信息一致性问题,降低Kafka集群的运维成本、人力成本、管理成本,保障业务的稳定运行。
其中,Kafka是Apache基金会旗下的开源组件,高吞吐量的分布式发布订阅消息系统,是大数据生态中数据传输的重要组件;现有技术Kafka通常引入一致性服务Zookeeper组件作为其Topic元数据存储后端,Zookeeper是Apache基金会旗下的开源组件,为Hadoop生态中的基础组件,是一个分布式的Google Chubby的开源实现,能够为分布式应用提供一致性服务的软件,提供的功能包括配置维护、域名服务、分布式同步、组服务等;Topic是Kafka中的主题,若要使用kafka作为消息订阅发布服务,需使用topic作为数据订阅消费的对象;Kafka Broker是Kafka集群Server服务节点,用于存储Kafka临时数据及进行Topic相关处理。
在本实施例中,包括节点请求分发、主题优先判断、数据处理同步、请求响应反馈四个模块:节点请求分发模块负责集群内主题相关请求的节点转发,待处理主题ISR节点并非当前链接节点,则在Kafka集群内获取主题主节点后将请求转发至其ISR节点,以便后续处理;主题优先判断模块负责将依据主题元数据的优先级进行队列分批,若该主题主节点为本节点,则进入优先队列,若非本节点则进入次要队列;数据处理同步负责进行实际的元数据信息处理,依据不同请求及Kafka内部对主题数据的机制同步进行元数据信息的处理,包括主题数据的生产、消费及分区、备份配置变更等,并在主题主节点完成处理后进行从节点同步;请求响应反馈负责反馈相关元数据的处理结果,目的在于依据节点的处理请求的响应及时反馈至业务端做出下一步处理。
其中,ISR全称in-sync Replica,Kafka通过引入ISR机制保证集群内存在至少一个强一致副本,并在ISR确认后进行从节点的数据同步,从而保证Kafka的高吞吐。
在本实施例中,Kafka服务中主题元数据更新是其最为频繁的数据交互之一,元数据同步时相关数据与主题数据统一封装通过节点间数据通信依靠Netty框架及Linux的Zero Copy机制,相较于原有的Zookeeper通过RPC的方式交互,其稳定性要高于RPC方式,相应的网络开销低于RPC,降低了Kafka集群对Zookeeper服务的依赖性,减少Zookeeper稳定性问题导致的Kafka集群稳定性问题。其中,Netty是一款异步的事件驱动的网络应用程序框架,支持快速地开发可维护的高性能的面向协议的服务器和客户端;Zero-copy(零拷贝技术)是指计算机执行操作时,CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。零拷贝技术可以减少数据拷贝和共享总线操作的次数,消除传输数据在存储器之间不必要的中间拷贝次数,从而有效地提高数据传输效率,而且,零拷贝技术减少了用户进程地址空间和内核地址空间之间因为上下文切换而带来的开销;RPC(Remote Procedure Call,远程过程调用)协议允许运行于一台计算机的程序调用另一个地址空间(通常为一个开放网络的一台计算机)的子程序,而程序员就像调用本地程序一样,无需额外地为这个交互作用编程。RPC是一种服务器-客户端模式,经典实现是一个通过发送请求-接受回应进行信息交互的系统,RPC广泛应用于分布式协议中。
在本发明的一些实施例中,获取消息处理请求的主题,并判断本节点是否为主题的主节点包括:获取消息处理请求的主题,并判断本节点是否为主题的节点;若是本节点为主题的节点,进一步判断本节点是否为主题的主节点。
在本发明的一些实施例中,还包括:若是本节点不为主题的节点,获取主题的主节点列表,并基于主节点列表将消息处理请求转发给对应的主节点。
在本实施例中,由节点请求分发模块负责集群内主题相关请求的节点转发,Kafkabroker集群通常视作为一个整体,客户端不论生产或消费消息时仅链接集群内某一个或多个节点即可视为与整个Kafka集群链接,由于Kafka主题并非分布至集群全部节点,其节点分布依据Kafka内部分区机制进行规则分配,并依据Kafka ISR机制选举主题的主节点,因此本模块负责主题请求转发,通过集群信息获取ISR成员列表,若本节点为并非该请求主题的ISR成员,则将主题请求转发至其ISR成员节点进行处理。
在本发明的一些实施例中,还包括:若是本节点不为主题的主节点,将消息处理请求加入次要队列;响应于对本节点的优先队列中其他主题对应的消息请求处理完成,对次要队列中的消息处理请求进行处理。
在本实施例中,由主题优先判断模块负责主题请求的处理优先判断,Kafka ISR机制为选举主题的主节点,完成选举后该主题所有请求均以ISR中的节点为主,其他节点作为从节点在ISR处理完成后进行同步。对主题的优先级进行判断,若本节点为该主题请求的ISR成员之一,即是主节点之一,则说明该次请求为主属主题的处理,将该次请求放入优先队列进行处理;若本节点并非该次主题请求的ISR成员,即是从节点之一,则说明该次请求为从属主题的处理,将其放置于次要队列中。
需要注意的是优先队列优先级高于次要队列,两者对于同步要求也存在区别,优先队列需要更高的优先级保证元数据的及时更新及处理结果的反馈,要求快速准确的数据处理;而次要队列为同步机制,相较而言其是实时性要求要低很多,其核心要求为完成同步即可。
在本发明的一些实施例中,对优先队列中的消息处理请求进行处理,并向主题的其他主节点发送请求处理响应包括:对优先队列中的消息处理请求进行处理,并判断是否接收到主题的其他主节点发送的请求处理响应;若是未接收到主题的其他主节点发送的请求处理响应,向主题的其他主节点发送请求处理响应。
在本实施例中,由数据处理同步模块负责实际的主题元数据处理,若该主题主节点为本节点则依据Kafka内部对主题数据的机制同步进行元数据信息的处理,包括主题数据的生产、消费及分区、备份配置变更等。在节点内处理完成后向其余ISR节点发送响应反馈,并尝试获取其他ISR节点的请求处理响应,直到所有ISR返回成功标识才视作该次请求ISR节点处理完成保证数据处理结果的一致,并向其余从节点发送数据同步请求,进行次要队列的数据同步处理。
在本发明的一些实施例中,还包括:若是接收到主题的其他节点发送的请求处理响应,反馈请求处理完成标识。
在本实施例中,由请求响应反馈负责请求处理完成后的结果反馈,目的在于依据节点的处理请求的最终响应及时反馈至业务端做出下一步处理,依据节点的处理成功与否返回数据处理结果,若是处理成功则返回成功结果,并允许业务端发起下一轮主题处理请求。
在本发明的一些实施例中,还包括:响应于预设时间内未接收到所有其他主节点返回的请求处理完成标识,则认为主节点处理失败,并发送告警。
在本实施例中,由请求响应反馈负责请求处理完成后的结果反馈,目的在于依据节点的处理请求的最终响应及时反馈至业务端做出下一步处理,依据节点的处理成功与否返回数据处理结果,若是处理失败则依据业务端配置解析进行处理,包括有限次重试、放弃请求等。
需要特别指出的是,上述分布式消息队列的存储方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减,因此,这些合理的排列组合变换之于分布式消息队列的存储方法也应当属于本发明的保护范围,并且不应将本发明的保护范围局限在实施例之上。
基于上述目的,本发明实施例的第二个方面,提出了一种分布式消息队列的存储装置。图2示出的是本发明提供的分布式消息队列的存储装置的实施例的示意图。如图2所示,本发明实施例包括如下模块:第一模块S11,配置用于响应于接收到消息处理请求,获取消息处理请求的主题,并判断本节点是否为主题的主节点;第二模块S12,配置用于若是本节点为主题的主节点,将消息处理请求加入优先队列;第三模块S13,配置用于对优先队列中的消息处理请求进行处理,并向主题的其他主节点发送请求处理响应;以及第四模块S14,配置用于响应于接收到所有其他主节点返回的请求处理完成标识,向主题的从节点发送数据同步请求。
基于上述目的,本发明实施例的第三个方面,提出了一种计算机设备。图3示出的是本发明提供的计算机设备的实施例的示意图。如图3所示,本发明实施例包括如下装置:至少一个处理器S21;以及存储器S22,存储器S22存储有可在处理器上运行的计算机指令S23,指令由处理器执行时实现方法步骤包括:在分布式消息队列中任意一个节点执行以下步骤:响应于接收到消息处理请求,获取消息处理请求的主题,并判断本节点是否为主题的主节点;若是本节点为主题的主节点,将消息处理请求加入优先队列;对优先队列中的消息处理请求进行处理,并向主题的其他主节点发送请求处理响应;以及响应于接收到所有其他主节点返回的请求处理完成标识,向主题的从节点发送数据同步请求。
在本发明的一些实施例中,获取消息处理请求的主题,并判断本节点是否为主题的主节点包括:获取消息处理请求的主题,并判断本节点是否为主题的节点;若是本节点为主题的节点,进一步判断本节点是否为主题的主节点。
在本发明的一些实施例中,还包括:若是本节点不为主题的节点,获取主题的主节点列表,并基于主节点列表将消息处理请求转发给对应的主节点。
在本发明的一些实施例中,还包括:若是本节点不为主题的主节点,将消息处理请求加入次要队列;响应于对本节点的优先队列中其他主题对应的消息请求处理完成,对次要队列中的消息处理请求进行处理。
在本发明的一些实施例中,对优先队列中的消息处理请求进行处理,并向主题的其他主节点发送请求处理响应包括:对优先队列中的消息处理请求进行处理,并判断是否接收到主题的其他主节点发送的请求处理响应;若是未接收到主题的其他主节点发送的请求处理响应,向主题的其他主节点发送请求处理响应。
在本发明的一些实施例中,还包括:若是接收到主题的其他节点发送的请求处理响应,反馈请求处理完成标识。
在本发明的一些实施例中,还包括:响应于预设时间内未接收到所有其他主节点返回的请求处理完成标识,则认为主节点处理失败,并发送告警。
本发明还提供了一种计算机可读存储介质。图4示出的是本发明提供的计算机可读存储介质的实施例的示意图。如图4所示,计算机可读存储介质存储S31有被处理器执行时执行如上方法的计算机程序S32。
最后需要说明的是,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关硬件来完成,分布式消息队列的存储方法的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例,可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
此外,根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序,该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时,执行本发明实施例公开的方法中限定的上述功能。
此外,上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能,但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
在一个或多个示例性设计中,功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现,则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质,该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的,该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备,或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外,任何连接都可以适当地称为计算机可读介质。例如,如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件,则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的,磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘,其中磁盘通常磁性地再现数据,而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。
应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种分布式消息队列的存储方法,其特征在于,包括在分布式消息队列中任意一个节点执行以下步骤:
响应于接收到消息处理请求,获取所述消息处理请求的主题,并判断本节点是否为所述主题的主节点;
若是本节点为所述主题的主节点,将所述消息处理请求加入优先队列;
对所述优先队列中的所述消息处理请求进行处理,并向所述主题的其他主节点发送请求处理响应;以及
响应于接收到所有所述其他主节点返回的请求处理完成标识,向所述主题的从节点发送数据同步请求。
2.根据权利要求1所述的分布式消息队列的存储方法,其特征在于,获取所述消息处理请求的主题,并判断本节点是否为所述主题的主节点包括:
获取所述消息处理请求的主题,并判断本节点是否为所述主题的节点;
若是本节点为所述主题的节点,进一步判断所述本节点是否为所述主题的主节点。
3.根据权利要求2所述的分布式消息队列的存储方法,其特征在于,还包括:
若是本节点不为所述主题的节点,获取所述主题的主节点列表,并基于所述主节点列表将所述消息处理请求转发给对应的主节点。
4.根据权利要求2所述的分布式消息队列的存储方法,其特征在于,还包括:
若是本节点不为所述主题的主节点,将所述消息处理请求加入次要队列;
响应于对所述本节点的优先队列中其他主题对应的消息请求处理完成,对所述次要队列中的所述消息处理请求进行处理。
5.根据权利要求1所述的分布式消息队列的存储方法,其特征在于,对所述优先队列中的所述消息处理请求进行处理,并向所述主题的其他主节点发送请求处理响应包括:
对所述优先队列中的所述消息处理请求进行处理,并判断是否接收到所述主题的其他主节点发送的请求处理响应;
若是未接收到所述主题的其他主节点发送的请求处理响应,向所述主题的其他主节点发送请求处理响应。
6.根据权利要求5所述的分布式消息队列的存储方法,其特征在于,还包括:
若是接收到所述主题的其他节点发送的请求处理响应,反馈请求处理完成标识。
7.根据权利要求1所述的分布式消息队列的存储方法,其特征在于,还包括:
响应于预设时间内未接收到所有所述其他主节点返回的请求处理完成标识,则认为所述主节点处理失败,并发送告警。
8.一种分布式消息队列的存储装置,其特征在于,包括:
第一模块,配置用于响应于接收到消息处理请求,获取所述消息处理请求的主题,并判断本节点是否为所述主题的主节点;
第二模块,配置用于若是本节点为所述主题的主节点,将所述消息处理请求加入优先队列;
第三模块,配置用于对所述优先队列中的所述消息处理请求进行处理,并向所述主题的其他主节点发送请求处理响应;以及
第四模块,配置用于响应于接收到所有所述其他主节点返回的请求处理完成标识,向所述主题的从节点发送数据同步请求。
9.一种计算机设备,其特征在于,包括:
至少一个处理器;以及
存储器,所述存储器存储有可在所述处理器上运行的计算机指令,所述指令由所述处理器执行时实现权利要求1-7任意一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110627991.6A CN113438281B (zh) | 2021-06-05 | 2021-06-05 | 一种分布式消息队列的存储方法、装置、设备及可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110627991.6A CN113438281B (zh) | 2021-06-05 | 2021-06-05 | 一种分布式消息队列的存储方法、装置、设备及可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113438281A true CN113438281A (zh) | 2021-09-24 |
CN113438281B CN113438281B (zh) | 2023-02-28 |
Family
ID=77803762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110627991.6A Active CN113438281B (zh) | 2021-06-05 | 2021-06-05 | 一种分布式消息队列的存储方法、装置、设备及可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113438281B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110258268A1 (en) * | 2010-04-19 | 2011-10-20 | International Business Machines Corporation | Controlling message delivery in publish/subscribe messaging |
US20150222524A1 (en) * | 2012-12-14 | 2015-08-06 | International Business Machines Corporation | Using content based routing to scale cast iron like appliances |
CN107273440A (zh) * | 2017-05-25 | 2017-10-20 | 北京邮电大学 | 计算机应用、数据存储方法、微服务和微数据库 |
CN109451072A (zh) * | 2018-12-29 | 2019-03-08 | 广东电网有限责任公司 | 一种基于Kafka的消息缓存系统和方法 |
CN110875935A (zh) * | 2018-08-30 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 消息发布、处理、订阅方法、装置及系统 |
CN111309501A (zh) * | 2020-04-02 | 2020-06-19 | 无锡弘晓软件有限公司 | 高可用分布式队列 |
CN111818112A (zh) * | 2019-04-11 | 2020-10-23 | 中国移动通信集团四川有限公司 | 一种基于Kafka系统的发送消息的方法和装置 |
CN112162841A (zh) * | 2020-09-30 | 2021-01-01 | 重庆长安汽车股份有限公司 | 面向大数据处理的分布式调度系统、方法及存储介质 |
CN112256433A (zh) * | 2020-10-30 | 2021-01-22 | 上海哔哩哔哩科技有限公司 | 基于Kafka集群的分区迁移方法和装置 |
-
2021
- 2021-06-05 CN CN202110627991.6A patent/CN113438281B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110258268A1 (en) * | 2010-04-19 | 2011-10-20 | International Business Machines Corporation | Controlling message delivery in publish/subscribe messaging |
US20150222524A1 (en) * | 2012-12-14 | 2015-08-06 | International Business Machines Corporation | Using content based routing to scale cast iron like appliances |
CN107273440A (zh) * | 2017-05-25 | 2017-10-20 | 北京邮电大学 | 计算机应用、数据存储方法、微服务和微数据库 |
CN110875935A (zh) * | 2018-08-30 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 消息发布、处理、订阅方法、装置及系统 |
CN109451072A (zh) * | 2018-12-29 | 2019-03-08 | 广东电网有限责任公司 | 一种基于Kafka的消息缓存系统和方法 |
CN111818112A (zh) * | 2019-04-11 | 2020-10-23 | 中国移动通信集团四川有限公司 | 一种基于Kafka系统的发送消息的方法和装置 |
CN111309501A (zh) * | 2020-04-02 | 2020-06-19 | 无锡弘晓软件有限公司 | 高可用分布式队列 |
CN112162841A (zh) * | 2020-09-30 | 2021-01-01 | 重庆长安汽车股份有限公司 | 面向大数据处理的分布式调度系统、方法及存储介质 |
CN112256433A (zh) * | 2020-10-30 | 2021-01-22 | 上海哔哩哔哩科技有限公司 | 基于Kafka集群的分区迁移方法和装置 |
Non-Patent Citations (1)
Title |
---|
郭宗怀: ""Kafka消息系统可靠性研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113438281B (zh) | 2023-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112069265A (zh) | 配置数据的同步方法、业务数据系统、计算机系统和介质 | |
CN113641511A (zh) | 一种消息通信方法和装置 | |
CN111143382A (zh) | 数据处理方法、系统和计算机可读存储介质 | |
US8832215B2 (en) | Load-balancing in replication engine of directory server | |
CN113873005B (zh) | 一种微服务集群的节点选主方法、系统、设备及介质 | |
US11240302B1 (en) | Live migration of log-based consistency mechanisms for data stores | |
CN111064626A (zh) | 配置更新方法、装置、服务器及可读存储介质 | |
CN115185705A (zh) | 一种消息通知方法、装置、介质及设备 | |
US11030220B2 (en) | Global table management operations for multi-region replicated tables | |
CN111163172B (zh) | 消息处理系统、方法、电子设备及存储介质 | |
CN114900449B (zh) | 一种资源信息管理方法、系统及装置 | |
CN114448686B (zh) | 一种基于微服务的跨网络通信装置与方法 | |
CN113079098B (zh) | 路由更新的方法、装置、设备和计算机可读介质 | |
CN113438281B (zh) | 一种分布式消息队列的存储方法、装置、设备及可读介质 | |
CN112052104A (zh) | 基于多机房实现的消息队列的管理方法及电子设备 | |
WO2023186154A1 (zh) | 数据传输系统以及方法 | |
CN111984686A (zh) | 一种数据处理的方法和装置 | |
CN110324425B (zh) | 混合云交易路由处理方法及装置 | |
CN110661857B (zh) | 一种数据同步方法和装置 | |
CN114615320A (zh) | 服务治理方法、装置、电子设备及计算机可读存储介质 | |
Tian et al. | Adjoin: A causal consistency model based on the adjacency list in a distributed system | |
CN114448781B (zh) | 一种数据处理系统 | |
Wang et al. | Routing Distribution Model Based on Node Role for MQTT Broker | |
US11722319B1 (en) | Scheduled synchronization of a data store with certificate revocation lists independent of connection requests | |
US20240121297A1 (en) | Method and apparatus for distributed synchronization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |