CN116455968A - 一种消息中间件管理方法及相关设备 - Google Patents
一种消息中间件管理方法及相关设备 Download PDFInfo
- Publication number
- CN116455968A CN116455968A CN202310375490.2A CN202310375490A CN116455968A CN 116455968 A CN116455968 A CN 116455968A CN 202310375490 A CN202310375490 A CN 202310375490A CN 116455968 A CN116455968 A CN 116455968A
- Authority
- CN
- China
- Prior art keywords
- consumption
- message middleware
- offset
- target resource
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000008569 process Effects 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002085 persistent effect Effects 0.000 claims description 2
- 230000006403 short-term memory Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000957 no side effect Toxicity 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/562—Brokering proxy services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了一种消息中间件管理方法,包括:接收消费请求,所述消费请求用于获取目标资源;判断所述资源类型是否为幂等类型;若所述资源类型为幂等类型,则查询消费偏移记录,消费偏移记录由消费偏移管理服务记录;基于消费偏移记录从消息中间件中获得目标资源;发送目标资源。基于上述方法可知,本申请所提供的消息中间件管理方法通过对消费者所请求的目标资源的类型进行判断,若资源为幂等类型,则基于消费偏移记录查询得到目标资源,进而确定幂等类型资源的消费情况,基消费情况向消费者提供准确的非重复的消费资源,从而解决了由于消息中间件或消费端重启导致的消费重复问题,提高了用户的使用体验,保证了消息中间件的稳定性和使用效果。
Description
技术领域
本申请属于数据处理领域,尤其涉及一种消息中间件管理方法及相关设备。
背景技术
消息中间件(Message Queue),是分布式系统中重要的组件,其通用的使用场景可以简单地描述为:当不需要立即获得结果,但是并发量又需要进行控制的时候,差不多就是需要使用消息队列的时候。消息队列主要解决了应用耦合、异步处理、流量削锋等问题。
RocketMQ作为一款纯java、分布式、队列模型的开源消息中间件具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。但由于RocketMQ本身消费队列设计分配机制的原因,在每次重新对消费队列进行rebalance(再平衡)过程中,RocketMQ会根据消费者总数与队列总数进行队列的重新分配(默认策略是平均分配),当RocketMQ服务重新启动(异常),都会发生队列的重新分配,在重新分配的过程中,如果队列数据已经消费,但offset(消费偏移,表示消费的具体位置)没有及时更新至服务端,重新分配的队列会从上一次offset处消费数据进而导至数据的重复。
这一问题导致用户可能接收到重复的消费资源,对于非幂等性的资源而言用户体验影响不大,但对于幂等性资源而言,可能会造成如重复等较为严重的问题,此外对于其他类型的消息中间件也可能存在类似的问题。
发明内容
本发明的目的在于提供一种消息中间件管理方法,旨在解决现有的幂等性资源处理不当的问题,本申请提供的消息中间件管理方法包括:
本申请实施例第一方面提供了一种消息中间件管理方法,包括:
接收消费请求,所述消费请求用于获取目标资源;
判断所述资源类型是否为幂等类型;
若所述资源类型为幂等类型,则查询消费偏移记录,所述消费偏移记录由消费偏移管理服务记录;
基于所述消费偏移记录从消息中间件中获得所述目标资源;
发送所述目标资源。
基于本申请实施例第一方面所提供的消息中间件管理方法,可选的,所述方法还包括:
更新所述消费偏移管理服务;
基于本申请实施例第一方面所提供的消息中间件管理方法,可选的,所述更新所述消费偏移管理服务,包括:
判断所述目标资源是否被消费;
若所述目标资源被消费,则向所述消费偏移管理服务递交更新请求,以使得所述消费偏移管理服务对消费偏移记录进行更新。
若所述目标资源息未被消费,则不更新所述消费偏移管理服务。
基于本申请实施例第一方面所提供的消息中间件管理方法,可选的,所述所述消费偏移管理服务对消息偏移记录进行更新过程中,所述目标资源所属的消息队列为锁定状态。
基于本申请实施例第一方面所提供的消息中间件管理方法,可选的,所述方法应用于采用远程过程调用框架及RocketMQ消息中间件的消息队列接入平台中。
基于本申请实施例第一方面所提供的消息中间件管理方法,可选的,所述消费偏移管理服务基于远程字典服务,并采用Lua脚本实现。
本申请实施例第二方面提供了一种消息中间件管理设备,包括:
接收单元,用于接收消费请求,所述消费请求用于获取目标资源;
判断单元,用于判断所述资源类型是否为幂等类型;
查询单元,用于若所述资源类型为幂等类型,则查询消费偏移记录,所述消费偏移记录由消费偏移管理服务记录;
获取单元,用于基于所述消费偏移记录从消息中间件中获取所述目标资源;
发送单元,用于发送所述目标资源。
基于本申请实施例第二方面所提供的消息中间件管理设备,可选的,所述设备还包括:
更新单元,用于更新所述消费偏移管理服务。
基于本申请实施例第二方面所提供的消息中间件管理设备,可选的,所述更新单元具体用于:
判断所述目标资源是否被消费;
若所述目标资源被消费,则向所述消费偏移管理服务递交更新请求,以使得所述消费偏移管理服务对消费偏移记录进行更新;
若所述目标资源息未被消费,则不更新所述消费偏移管理服务。
基于本申请实施例第二方面所提供的消息中间件管理设备,可选的,所述所述消费偏移管理服务对消息偏移记录进行更新过程中,所述目标资源所属的消息队列为锁定状态。
基于本申请实施例第二方面所提供的消息中间件管理设备,可选的,所述设备应用于采用远程过程调用框架及RocketMQ消息中间件的消息队列接入平台。
基于本申请实施例第二方面所提供的消息中间件管理设备,可选的,所述消费偏移管理服务基于远程字典服务,并采用lua脚本实现。
本申请实施例第三方面提供了一种中间件管理设备,包括:
中央处理器,存储器,输入输出接口,有线或无线网络接口以及电源;
所述存储器为短暂存储存储器或持久存储存储器;
所述中央处理器配置为与所述存储器通信,在所述设备上执行所述存储器中的指令操作以执行本申请实施例第一方面中任意一项所述的方法。
本申请实施例第四方面提供了一种计算机可读存储介质,包括指令,当所述指令在计算机上运行时,使得计算机执行如本申请实施例第一方面中任意一项所述的方法。
本申请实施例第五方面提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如本申请实施例第一方面中任意一项所述的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:本申请提供了一种消息中间件管理方法,包括:接收消费请求,所述消费请求用于获取目标资源;判断所述资源类型是否为幂等类型;若所述资源类型为幂等类型,则查询消费偏移记录,所述消费偏移记录由消费偏移管理服务记录;基于所述消费偏移记录从消息中间件中获得所述目标资源;发送所述目标资源。基于上述方法可知,本申请所提供的消息中间件管理方法通过对消费者所请求的目标资源的类型进行判断,若资源为幂等类型,则基于消费偏移记录查询得到目标资源,进而确定幂等类型资源的消费情况,基消费情况向消费者提供准确的非重复的消费资源,从而解决了由于消息中间件或消费端重启导致的消费重复问题,提高了用户的使用体验,保证了消息中间件的稳定性和使用效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。可以理解的是,本部分所提供的附图仅用于更好地理解本方案,不构成对本申请的限定。
图1为本申请所提供的中间件管理方法实施例的一个流程示意图。
图2为本申请所提供的中间件管理方法实施例的另一个流程示意图。
图3为本申请所提供的中间件管理设备实施例的一个结构示意图。
图4为本申请所提供的中间件管理设备实施例的另一个流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。同时,为了描述清楚和简明,以下的描述中省略了对公知的功能和结构的描述。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
消息中间件(Message Queue),是分布式系统中重要的组件,其通用的使用场景可以简单地描述为:当不需要立即获得结果,但是并发量又需要进行控制的时候,差不多就是需要使用消息队列的时候。消息队列主要解决了应用耦合、异步处理、流量削锋等问题。
RocketMQ作为一款纯java、分布式、队列模型的开源消息中间件具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。但由于RocketMQ本身消费队列设计分配机制的原因,在每次重新对消费队列进行rebalance(再平衡)过程中,RocketMQ会根据消费者总数与队列总数进行队列的重新分配(默认策略是平均分配),当RocketMQ服务重新启动(异常),都会发生队列的重新分配,在重新分配的过程中,如果队列数据已经消费,但offset(消费偏移,表示消费的具体位置)没有及时更新至服务端,重新分配的队列会从上一次offset处消费数据进而导至数据的重复。
这一问题导致用户可能接收到重复的消费资源,对于非幂等性的资源而言用户体验影响不大,但对于幂等性资源而言,可能会造成如重复等较为严重的问题,此外对于其他类型的消息中间件也可能存在类似的问题。
在介绍本方案前有必要对消费偏移(offset)进行一定介绍,消息中间件中的offset管理是指消息消费者消费消息时,记录和管理已经消费过的消息的位置信息。在消息中间件中,每个消息都有一个唯一的标识符,称为消息的offset。消费者消费一条消息后,就会更新自己的offset位置,以便下次从该位置继续消费消息。
在传统的消息队列系统中,offset通常由消费者自己维护,消费者需要记录每个队列中已经消费过的消息的offset位置,并且在消费者重启或者故障恢复时,还需要从存储介质中读取之前已经消费的消息的offset位置,以便继续消费。
请参阅图1,本申请所提供的消息中间件管理的一个实施例包括:步骤101-步骤105。
101、接收消费请求。
具体的,在对本方案进行介绍前,有必要对本方案的实施环境进行介绍,本方用于对消息中间件的控制过程,其中消息中间件的具体类型可为RocketMQ,
RocketMQ是一款纯java、分布式、队列模型的开源消息中间件,其主要优势有:支持事务型消息(消息发送和DB操作保持两方的最终一致性),支持结合RocketMQ的多个系统之间数据最终一致性(多方事务,二方事务是前提),支持18个级别的延迟消息,支持指定次数和时间间隔的失败消息重发,支持Consumer端Tag过滤,减少不必要的网络传输(即过滤由MQ完成,而不是由消费者完成)支持重复消费,在实际实施过程中所适用的范围也可包括消息中间件功能更为完善的消息队列服务平台,特别的,如以rpc框架为基础的使用RocketMQ的消息队列服务平台,可以理解的是,本方案也可适用其他类型的消息中间件,具体此处不做限定。
在实际实施过程中由消费者向消息中间件发送消费请求至消息中间件系统,消费请求用于向消息中间件请求获得目标资源在实际实施过程中消费请求中应包括消费端所需要的目标资源的资源ID,进而便于后续步骤的执行,在实际实施过程中消费端与消息中间件侧服务可事先约定资源ID及消费请求的格式内容,进而支持后续步骤实现,具体可依据实际情况而定,此处不做限定。
102、判断所述资源类型是否为幂等类型。
具体的,消息中间件侧服务判断所述资源类型是否为幂等类型。若基于消费请求确定资源类型为幂等类型,则说明消费者所需的目标资源具有幂等性需求,幂等性:就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的,不会因为多次点击而产生副作用,通过保证消息的幂等性进而可以避免可能出现的多次下单或表单多次提交等问题,在实际实施过程中可通过消费请求中所包括的资源ID的特定参数或消费请求中的特定字段确定消费端所需的资源的资源类型,若资源类型为幂等类型,则执行步骤103,查询消费偏移记录。若资源类型为非幂等类型,则无需进行其他处理,向用户返回相应的消费资源即可。
103、查询消费偏移记录。
具体的,若资源类型为幂等类型,则查询消费偏移记录,所述消费偏移记录由消费偏移管理服务记录。其中消费偏移管理服务为预先设置的专用于记录幂等消息消费情况的服务,在消费偏移管理服务中记录有不同队列消息的消费情况,并基于消费偏移记录确定本次应当提供的资源队列位置等信息,从而提确定准确无误的目标资源。在实际实施过程中本步骤所查询得到的消费偏移记录可为目标资源在特定消息队列中的位置,也可以为新消息队列开始提供,具体的由上一次消费者的消费情况而定,此处不做限定。
在实际实施过程中消费偏移管理服务可在每次幂等资源被消费者消费后记录相应情况,进而使得消费偏移管理服务中所记录的幂等资源消费情况准确无误,在实施过程中消费偏移管理服务的更新过程可依据实际情况进行,具体此处不做限定。
104、基于所述消费偏移记录从消息中间件中获得所述目标资源。
具体的,基于所述消费偏移记录从消息中间件中获得所述目标资源。进而得到消费者所需的消费资源,由于目标资源经过了消费偏移服务的预先确认,因此可以保证目标资源的幂等性,进而使得所得到的目标资源符合消费者的使用需求。
105、发送所述目标资源。
具体的,向消费者发送所述目标资源,进而使得消费者可以按照实际需求得到并使用目标资源。
从以上技术方案可以看出,本申请实施例具有以下优点:本申请提供了一种消息中间件管理方法,包括:接收消费请求,所述消费请求用于获取目标资源;判断所述资源类型是否为幂等类型;若所述资源类型为幂等类型,则查询消费偏移记录,所述消费偏移记录由消费偏移管理服务记录;基于所述消费偏移记录从消息中间件中获得所述目标资源;发送所述目标资源。基于上述方法可知,本申请所提供的消息中间件管理方法通过对消费者所请求的目标资源的类型进行判断,若资源为幂等类型,则基于消费偏移记录查询得到目标资源,进而确定幂等类型资源的消费情况,基消费情况向消费者提供准确的非重复的消费资源,从而解决了由于消息中间件或消费端重启导致的消费重复问题,提高了用户的使用体验,保证了消息中间件的稳定性和使用效果。
为便于在实际实施过程中使用本方法,本申请还提供了一种可选择实施的更为详细的实施例,请参阅图2,本申请所提供的消息中间件管理方法的一个实施例包括:步骤201-步骤208。
201、接收消费请求。
具体的,本方案的适用场景可为采用了ICE(Internet Communications Engine,中间件平台)和rocketmq的高性能消息队列统一接入平台,由于ICE具有的开源的c++高性能rpc框架特定,可以进一步保证方案的实施效果。在实际实施过程中消息队列平台可支持sdk(Software Development Kit,软件开发工具包)接口,进而便于消费者接入消息中间件以使用相应服务,
在实际实施过程中消费者(业务端)通过sdk请求消费数据。此过程中的消费者指集成消息中间件的的sdk使用消息队列服务的业务进程或服务。
202、判断所述资源类型是否为幂等类型。
203、查询消费偏移记录。
204、基于所述消费偏移记录从消息中间件中获得所述目标资源。
205、发送所述目标资源。
具体的,消息队列服务根据业务端请求中的资源id判断资源是否为幂等的,如果是幂等类型,则请求offset-manager(消费偏移管理服务),查询上次消费的offset(消费偏移),如果没有查询到则说明为首次请求,则先从rocketmq获取消息及对应的offset并设置offset到offset-manager,若查询到,则基于上次消费的offset顺序获得对应的消息,并将消息返回至消费者。
在本实施例中所适用的消费偏移管理服务基于远程字典服务(Redis),并采用Lua脚本实现。Redis是一种内存数据存储系统,它支持键值对存储和多种数据结构的操作,以及如Lua脚本等高级功能Redis内置了一个Lua解释器,可以直接执行Lua脚本。在实际实施过程中工作人员可预先编写用于实现相应功能的Lua脚本,进而支持本方案的实现。此外消费偏移管理服务使用rpc接口与整个消息队列服务建立联系,保证了消费偏移管理服务本身的原子性,进而保证了整个方案的稳定实现。
上述步骤202至步骤205与前述图1对应实施例中步骤102至步骤105类似,具体此处不做赘述。
206、判断所述目标资源是否被消费。
具体的,在消费者得到所需的目标资源后,应当向消息队列服务提供消费完成的信息,以便消息队列服务依据该信息进行offset-manager更新,具体的,的消费者处理消息后提交offset,分为如下两种情况。
消费成功,则执行步骤207,向所述消费偏移管理服务递交更新请求。
消费失败,则说明目标资源未被使用,提交不需要持久化结束流程,即执行步骤208,不更新所述消费偏移管理服务。
207、向所述消费偏移管理服务递交更新请求。
具体的,若消费成功,则向所述消费偏移管理服务递交更新请求,以使得消费偏移管理服务进行offset的更新,值得注意的是,在更新过程中可能存在更新失败情形,此时的失败情形可能包括多种,需分别进行不同处理。
(1)业务端提交请求至消息队列服务失败,此时可以由业务端重复尝试多次提交更新请求,并可将失败信息暂存至本地,后续可以提交时再与消费请求一同提交,进而可以尽可能的保证方案的顺利实现。
(2)消息队列服务向消费偏移管理服务提交更新请求失败,此时需要多次重试直到更新完成,需要注意的是在重试更新过程中,所述目标资源所属的消息队列为锁定状态,进而保证资源的幂等性,避免重复消费。
此外,在某些方案中还可能存在需要消息队列服务向内部所包含的消息中间件提交更新请求的形式,此种情况出现于消息中间件需记录offset的情况,在本方案中由于offset-manager服务已经替代了消息中间件记录offset的功能,因此无需执行该步骤,或无需对该步骤的执行结果进行课外处理即可。
208、不更新所述消费偏移管理服务。
具体的,目标资源消费失败,则说明目标资源未被使用,提交不需要持久化结束流程,不更新所述消费偏移管理服务。
从以上技术方案可以看出,本申请实施例具有以下优点:本申请提供了一种消息中间件管理方法,包括:接收消费请求,所述消费请求用于获取目标资源;判断所述资源类型是否为幂等类型;若所述资源类型为幂等类型,则查询消费偏移记录,所述消费偏移记录由消费偏移管理服务记录;基于所述消费偏移记录从消息中间件中获得所述目标资源;发送所述目标资源。基于上述方法可知,本申请所提供的消息中间件管理方法通过对消费者所请求的目标资源的类型进行判断,若资源为幂等类型,则基于消费偏移记录查询得到目标资源,进而确定幂等类型资源的消费情况,基消费情况向消费者提供准确的非重复的消费资源,从而解决了由于消息中间件或消费端重启导致的消费重复问题,提高了用户的使用体验,保证了消息中间件的稳定性和使用效果。
上述内容对本申请所提供的消息中间件管理方法进行了描述,为支持上述实施例的实施,本申请还提供了一种消息中间件管理设备,请参阅图3,本申请所提供的消息中间件管理设备的一个实施例包括:
接收单元301,用于接收消费请求,所述消费请求用于获取目标资源;
判断单元302,用于判断所述资源类型是否为幂等类型;
查询单元303,用于若所述资源类型为幂等类型,则查询消费偏移记录,所述消费偏移记录由消费偏移管理服务记录;
获取单元304,用于基于所述消费偏移记录从消息中间件中获取所述目标资源;
发送单元305,用于发送所述目标资源。
可选的,所述设备还包括:
更新单元,用于更新所述消费偏移管理服务。
可选的,所述更新单元具体用于:
判断所述目标资源是否被消费;
若所述目标资源被消费,则向所述消费偏移管理服务递交更新请求,以使得所述消费偏移管理服务对消费偏移记录进行更新;
若所述目标资源息未被消费,则不更新所述消费偏移管理服务。
可选的,所述所述消费偏移管理服务对消息偏移记录进行更新过程中,所述目标资源所属的消息队列为锁定状态。
可选的,所述设备应用于采用远程过程调用框架及RocketMQ消息中间件的消息队列接入平台。
可选的,所述消费偏移管理服务基于远程字典服务,并采用lua脚本实现。
本实施例中,消息中间件管理设备中各单元所执行的流程与前述图1或图2所对应的实施例中描述的方法流程类似,此处不再赘述。
图4示出了可以用来实施本申请的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示,设备400包括计算单元401,其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序,来执行各种适当的动作和处理。在RAM 403中,还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405,包括:输入单元406,例如键盘、鼠标等;输出单元407,例如各种类型的显示器、扬声器等;存储单元408,例如磁盘、光盘等;以及通信单元409,例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理,例如消息中间件管理方法。例如,在一些实施例中,可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元408。在一些实施例中,计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时,可以执行上文描述的消息中间件管理方法的一个或多个步骤。备选地,在其他实施例中,计算单元401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行消息中间件管理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
本申请实施例还提供了一种计算机存储介质,该计算机存储介质用于储存为上述消息中间件管理方法所用的计算机软件指令,其包括用于执行为消息中间件管理方法所设计的程序。
该消息中间件管理方法可以如前述图1中所描述的消息中间件管理方法。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机软件指令,该计算机软件指令可通过处理器进行加载来实现上述图1图2中任意一项的消息中间件管理方法的流程。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,电路的等效变换,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种消息中间件管理方法,其特征在于,包括:
接收消费请求,所述消费请求用于获取目标资源;
判断所述资源类型是否为幂等类型;
若所述资源类型为所述幂等类型,则查询消费偏移记录,所述消费偏移记录由消费偏移管理服务记录;
基于所述消费偏移记录从消息中间件中获得所述目标资源;
发送所述目标资源。
2.根据权利要求1所述的消息中间件管理方法,其特征在于,所述方法还包括:
更新所述消费偏移管理服务。
3.根据权利要求2所述的消息中间件管理方法,其特征在于,所述更新所述消费偏移管理服务,包括:
判断所述目标资源是否被消费;
若所述目标资源被消费,则向所述消费偏移管理服务递交更新请求,以使得所述消费偏移管理服务对消费偏移记录进行更新;
若所述目标资源息未被消费,则不更新所述消费偏移管理服务。
4.根据权利要求3所述的消息中间件管理方法,其特征在于,所述所述消费偏移管理服务对消息偏移记录进行更新过程中,所述目标资源所属的消息队列为锁定状态。
5.根据权利要求1所述的消息中间件管理方法,其特征在于,所述方法应用于采用远程过程调用框架及RocketMQ消息中间件的消息队列接入平台中。
6.根据权利要求1所述的消息中间件管理方法,其特征在于,所述消费偏移管理服务基于远程字典服务,并采用Lua脚本实现。
7.一种消息中间件管理设备,其特征在于,包括:
接收单元,用于接收消费请求,所述消费请求用于获取目标资源;
判断单元,用于判断所述资源类型是否为幂等类型;
查询单元,用于若所述资源类型为幂等类型,则查询消费偏移记录,所述消费偏移记录由消费偏移管理服务记录;
获取单元,用于基于所述消费偏移记录从消息中间件中获取所述目标资源;
发送单元,用于发送所述目标资源。
8.一种消息中间件管理设备,其特征在于,包括:
中央处理器,存储器,输入输出接口,有线或无线网络接口以及电源;
所述存储器为短暂存储存储器或持久存储存储器;
所述中央处理器配置为与所述存储器通信,在所述消息中间件管理设备上执行所述存储器中的指令操作以权利要求1至6中任意一项所述的方法。
9.一种计算机可读存储介质,其特征在于,包括指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1至6中任意一项所述的方法。
10.一种包含指令的计算机程序产品,其特征在于,当其在计算机上运行时,使得计算机执行如权利要求1至6中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310375490.2A CN116455968A (zh) | 2023-03-30 | 2023-03-30 | 一种消息中间件管理方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310375490.2A CN116455968A (zh) | 2023-03-30 | 2023-03-30 | 一种消息中间件管理方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116455968A true CN116455968A (zh) | 2023-07-18 |
Family
ID=87121395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310375490.2A Pending CN116455968A (zh) | 2023-03-30 | 2023-03-30 | 一种消息中间件管理方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116455968A (zh) |
-
2023
- 2023-03-30 CN CN202310375490.2A patent/CN116455968A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10628213B2 (en) | Client controlled transaction processing involving a plurality of participants | |
CN113934464A (zh) | Linux系统中启动安卓应用的方法、装置和电子设备 | |
EP3816802A2 (en) | Method and device for processing mini program data | |
CN111770176B (zh) | 流量调度方法及装置 | |
KR20220151585A (ko) | 업무 데이터 처리 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
CN110737510B (zh) | 块设备管理系统 | |
CN112948081B (zh) | 延时处理任务的方法、装置、设备以及存储介质 | |
CN112817992B (zh) | 执行更改任务的方法、装置、电子设备以及可读存储介质 | |
CN113656239A (zh) | 针对中间件的监控方法、装置及计算机程序产品 | |
CN115129429B (zh) | 容器应用管理方法、装置、电子设备及存储介质 | |
CN116455968A (zh) | 一种消息中间件管理方法及相关设备 | |
CN114500443B (zh) | 消息推送方法、装置、系统、电子设备和存储介质 | |
CN114138397B (zh) | 页面显示方法、装置、电子设备及存储介质 | |
US20230093004A1 (en) | System and method for asynchronous backend processing of expensive command line interface commands | |
CN113641688B (zh) | 节点更新方法、相关装置及计算机程序产品 | |
CN115587119A (zh) | 一种数据库查询方法、装置、电子设备及存储介质 | |
CN115437709A (zh) | 应用首页闪屏资源的加载方法及装置 | |
CN113486116A (zh) | 一种数据同步方法、装置、电子设备及计算机可读介质 | |
CN118151864B (zh) | 分布式系统的选主方法、设备、程序产品及分布式系统 | |
CN113778504B (zh) | 一种发布方法、发布系统及路由装置 | |
CN118568097A (zh) | 一种数据读取方法、数据更新方法及数据库系统 | |
CN115036044A (zh) | 一种消息处理方法、装置、电子设备及存储介质 | |
CN113765971A (zh) | 控制接口的方法、装置、设备和计算机可读介质 | |
CN114443773A (zh) | 一种分布式系统数据同步方法、装置、设备和存储介质 | |
CN117675897A (zh) | 应用交互方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |