CN114860473A - 一种消息处理方法、处理器和存储介质 - Google Patents

Abstract

本申请涉及一种消息处理方法、处理器和存储介质。所述方法包括：对多个消息进行配置，以确定每个消息的生产端和消费端；将多个消息中的目标消息持久化到消息表，再将目标消息投递至消息中间件，以通过消息中间件将目标消息发送至对应的消费端；目标消息的消费端在接收到目标消息后，将目标消息持久化到消息表，再对目标消息进行确认与消费。

Description

一种消息处理方法、处理器和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种消息处理方法、处理器和存储介质。

背景技术

在软件开发行业中,大部分的软件架构都是基于微服务实现的。微服务是一种云原生架构方法，在单个应用中包含众多松散耦合而且可单独部署的小型组件或服务。这些服务通常拥有自己的技术栈，包括数据库和数据管理模型；通过接口、事件流和消息代理的组合相互通信；以及按照业务能力进行组织，具有通常称为有界上下文的服务分隔线。消息代理通常都是基于消息队列协议，一个提供统一消息服务的应用层标准高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同的开发语言等条件的限制。

现有技术中，消息队列协议实现厂商,几乎都是把消息持久化在磁盘或者为了快速响应就关闭持久化功能,以Rabbit MQ为例,如果消息持久化在Exchange 不持久化在Queue仍然面临着消息丢失的可能,消息在消费的时候如果没有及时确认,那么就很容易造成消息堆积甚至会压垮消息中间件,又或者现在的消息在执行的过程中很难追踪到哪一步,比如说有一个长事务的消息,有1～7步,前面执行成功了3,那么下次在重新执行的时候是可以直接从第4步开始等,目前的消息厂商对于这些功能都是没有很好的支持。

发明内容

基于此，有必要针对上述技术问题，提供一种消息处理方法、处理器和存储介质。

为了实现上述目的，本发明第一方面提供一种消息处理方法，包括：

对多个消息进行配置，以确定每个消息的生产端和消费端；

将多个消息中的目标消息持久化到消息表，再将目标消息投递至消息中间件，以通过消息中间件将目标消息发送至对应的消费端；

目标消息的消费端在接收到目标消息后，将目标消息持久化到消息表，再对目标消息进行确认与消费。

在本申请的实施例中，方法还包括：在目标消息的消费端在接收到目标消息后之后，若MongoDB中已经存在目标消息的消息记录，则不执行将目标消息持久化到消息表的步骤。

在本申请的实施例中，其特征在于，对多个消息进行配置还包括：确定每个消息的锁定key；根据锁定key生成与每个消息对应的分布式锁，以通过调用分布式锁来发送消息。

在本申请的实施例中，对多个消息进行确认与消费包括：通过指定的消费协议对目标消息进行确认与消费。

在本申请的实施例中，指定的消费协议包括HTTP协议、BEAN调用、AMQP 协议中的任意一者。

在本申请的实施例中，对多个消息进行配置还包括：在预设服务的访问量超出预设阈值的情况下，将多个消息配置为不消费；方法还包括：目标消息的消费端在接收到目标消息后，将目标消息持久化到消息表，再对目标消息进行确认；在预设服务的访问量低于预设阈值的情况下，对确认后的目标消息进行消费。

在本申请的实施例中，方法还包括：在通过消息中间件将目标消息发送至对应的消费端失败的情况下，再次将目标消息加入至消息队列中；在消费表中找到发送失败的目标消息，并将发送失败的目标消息重新投递至消息中间件。

在本申请的实施例中，消息中间件为Rabbit MQ。

本发明第二方面提供一种处理器，被配置成执行上述的消息处理方法。

本发明第三方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的消息处理方法。

上述消息处理方法，通过对多个消息进行配置，以确定每个消息的生产端和消费端；将多个消息中的目标消息持久化到消息表，再将目标消息投递至消息中间件，以通过消息中间件将目标消息发送至对应的消费端；目标消息的消费端在接收到目标消息后，将目标消息持久化到消息表，再对目标消息进行确认与消费。通过该方法，可以灵活选择消息消费的协议步骤和是否不消费可以保证用户服务的稳定性和健壮性,接入用户不需要修改任何代码即可,同时也兼容交互的双方不需要都对接同一个消息中间件。极大的满足了消息代理帮助构建公共集成机制，以支持云原生、基于微服务、无服务器以及混合云架构。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1示意性示出了根据本发明实施例的消息处理方法的流程示意图；

图2示意性示出了根据本发明实施例的计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1示意性示出了根据本发明实施例的消息处理方法的流程示意图。如图1 所示，在本发明一实施例中，提供了一种订单处理方法，包括以下步骤：

步骤101，对多个消息进行配置，以确定每个消息的生产端和消费端。

步骤102，将多个消息中的目标消息持久化到消息表，再将目标消息投递至消息中间件，以通过消息中间件将目标消息发送至对应的消费端。

步骤103，目标消息的消费端在接收到目标消息后，将目标消息持久化到消息表，再对目标消息进行确认与消费。

在消息中心对多个消息进行配置，指定消息的生产者和消费者，具体配置内容包括消息加锁、消息重试、消息重试次数、消息执行步骤，用户集成消息中心客户端，消息中心客户端可以是软件，APP，小程序，公众号等，客户端对接消息队列，可以接收消息队列中的信息。在消息服务启动时根据消息中心的配置创建并绑定消息生产者和消费者，当业务服务发送目标消息时，通过消息中心客户端把目标消息存储到消息表，再将目标消息投递至消息中间件，消息中间件是消息生产者发送消息和消费者进行异步的数据传输和通信的系统，以通过消息中间件将目标消息发送至对应的消费端，消费者在消费目标消息的时候通过消息客户端确认目标消息是否持久化到消息表中，持久化到消息表是指将消息数据保存到数据库中，持久化到数据表可以让数据长久保存，不会丢失，如果消息没有持久化到消息表中，会先把消息持久化到消息表再确认消息，然后消费，如果消费表中存在消息记录则跳过持久化直接确认再消费，在消息发送和消费的时候都支持业务自定义消息锁,若在消息中心配置了消息锁，在消息发送的时候会根据业务自定义的锁定键值加上分布式锁，防止消息重复发送，消费消息的时候也会根据业务自定义的锁定键值加上分布式锁，保证了业务的幂等性和可重入性，其中幂等性和可重复性是指对消息进行一次或多次消费时结果是一致的；若在消息中心配置了消息重试，当消息消费失败时，可以在消息中心重试，重新将消费失败的消息投递消息队列中，消费者即可重新消费队列中的消息，或者通过消息中心的消息管理页面，从消费表中找到消费失败的消息，将消费表中的消息重新投递到消息队列中，消费者可重新消费队列中的消息。

在一个实施例中，方法还包括：在目标消息的消费端在接收到目标消息后之后，若MongoDB中已经存在目标消息的消息记录，则不执行将目标消息持久化到消息表的步骤。

当业务服务发送目标消息时，通过消息中心客户端把目标消息持久化到消息表，消息表可以使用MongoDB，MongoDB是储存数据的数据库，再将目标消息投递至消息中间件，目标消息的消费端在接收到目标消息后之后，消费端在消费消息的时候通过消息客户端确认目标消息是否持久化到MongoDB中，如果消息没有持久化到MongoDB，会先把目标消息持久化到MongoDB，再确认目标消息，然后消费目标消息，如果MongoDB本身就存在目标消息记录则跳过持久化到MongoDB的步骤，直接确认目标消息并消费目标消息。

在一个实施例中，对多个消息进行配置还包括：确定每个消息的锁定key，根据锁定key生成与每个消息对应的分布式锁，以通过调用分布式锁来发送消息。

在消息发送和消费的时候都支持业务自定义消息锁，可以在消息中心对消息锁进行配置，在消息发送的时候会根据业务自定义的锁定key，锁定key是指在消息中心根据不同的业务来配置区分消息的名称，通过锁定的key加上分布式锁，当消息持久化到消息表中，生成一个唯一的值关联生成的消息，消费的目标消息会带上这个唯一的值，当消息消费成功时，通过这个唯一的值将消息表中的消息记录状态改为已消费，保证了业务的幂等性，防止消息重复发送和重复消费。

在一个实施例中，对多个消息进行确认与消费包括：通过指定的消费协议对目标消息进行确认与消费。

对多个消息进行确认与消费包括：通过指定的消费协议对目标消息进行确认与消费。消费协议是指消息的通信协议，比如HTTP协议、BEAN调用、AMQP 协议等等。

在一个实施例中，指定的消费协议包括HTTP协议、BEAN调用、AMQP 协议中的任意一者。

对多个消息进行确认与消费包括：通过指定的消费协议对目标消息进行确认与消费，指定的消费协议包括HTTP协议、BEAN调用、AMQP协议中的任意一者。HTTP协议是超文本传输协议，通过浏览器和服务器进行数据交互,进行超文本数据传输；BEAN调用是框架中的一个组件，通过这个组件可以进行数据传输，AMQP协议是一个进程间传递异步消息的网络协议。HTTP协议、 BEAN调用、AMQP协议都可以进行数据传输通信。

在一个实施例中，对多个消息进行配置还包括：在预设服务的访问量超出预设阈值的情况下，将多个消息配置为不消费；方法还包括：目标消息的消费端在接收到目标消息后，将目标消息持久化到消息表，再对目标消息进行确认；在预设服务的访问量低于预设阈值的情况下，对确认后的目标消息进行消费。

在消息中心可以配置当预设服务的访问量超出预设阈值的情况下，将多个消息配置为不消费，目标消息的消费端在接收到目标消息后，将目标消息持久化到消息表，再对目标消息进行确认；在预设服务的访问量低于预设阈值的情况下，对确认后的目标消息进行消费；例如，在某个服务的访问量突然加剧且超过消息中心预设阈值情况下，指定该服务消息不消费，将所有消息持久化到 MongoDB数据表中，再对目标消息进行确认，当访问量下降且访问量低于预设阈值的情况下，系统自动开启消息消费，消费者可以直接在MongoDB数据表找到消息，并消费，保证了消息中间件的稳定性和健壮性。

在一个实施例中，方法还包括：在通过消息中间件将目标消息发送至对应的消费端失败的情况下，再次将目标消息加入至消息队列中；在消费表中找到发送失败的目标消息，并将发送失败的目标消息重新投递至消息中间件。

在通过消息中间件将目标消息发送至对应的消费端失败的情况下可以通过重试对消息再次进行消费，重试方式包括再次将目标消息加入至消息队列中，在消息中心找到消费失败的目标消息，在消息中心可以直接将目标消息重新投递到消息队列中，消费者可以在消息队列中对目标消息消费；在消费表中找到发送失败的目标消息，并将发送失败的目标消息重新投递至消息中间件，业务服务发送目标消息时，通过消息中心客户端把目标消息存储到消息表，当目标消息消费失败时，通过消息表找到目标消息，并将发送失败的目标消息重新投递至消息中间件，消费者即可消费目标消息。

在一个实施例中，消息中间件为Rabbit MQ。

消息中间件是消息生产者发送消息和消费者进行异步的数据传输和通信的系统，Rabbit MQ是消息中间件中的一种。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述消息处理方法。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述消息处理方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图2所示。该计算机设备包括通过系统总线连接的处理器 A01、网络接口A02、显示屏A04、输入装置A05和存储器(图中未示出)。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A06。该非易失性存储介质A06存储有操作系统B01和计算机程序B02。该内存储器A03为非易失性存储介质A06 中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序被处理器A01执行时以实现一种订单处理方法。该计算机设备的显示屏A04可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置A05可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：对多个消息进行配置，以确定每个消息的生产端和消费端；将多个消息中的目标消息持久化到消息表，再将目标消息投递至消息中间件，以通过消息中间件将目标消息发送至对应的消费端；目标消息的消费端在接收到目标消息后，将目标消息持久化到消息表，再对目标消息进行确认与消费。

在一个实施例中，方法还包括：在目标消息的消费端在接收到目标消息后之后，若MongoDB中已经存在目标消息的消息记录，则不执行将目标消息持久化到消息表的步骤。

在一个实施例中，其特征在于，对多个消息进行配置还包括：确定每个消息的锁定key；根据锁定key生成与每个消息对应的分布式锁，以通过调用分布式锁来发送消息。

在一个实施例中，对多个消息进行确认与消费包括：通过指定的消费协议对目标消息进行确认与消费。

在一个实施例中，指定的消费协议包括HTTP协议、BEAN调用、AMQP 协议中的任意一者。

在一个实施例中，对多个消息进行配置还包括：在预设服务的访问量超出预设阈值的情况下，将多个消息配置为不消费；方法还包括：目标消息的消费端在接收到目标消息后，将目标消息持久化到消息表，再对目标消息进行确认；在预设服务的访问量低于预设阈值的情况下，对确认后的目标消息进行消费。

在一个实施例中，方法还包括：在通过消息中间件将目标消息发送至对应的消费端失败的情况下，再次将目标消息加入至消息队列中；在消费表中找到发送失败的目标消息，并将发送失败的目标消息重新投递至消息中间件。

在一个实施例中，消息中间件为Rabbit MQ。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种消息处理方法，其特征在于，所述方法包括：

对多个消息进行配置，以确定每个消息的生产端和消费端；

将所述多个消息中的目标消息持久化到消息表，再将所述目标消息投递至消息中间件，以通过所述消息中间件将所述目标消息发送至对应的消费端；

所述目标消息的消费端在接收到所述目标消息后，将所述目标消息持久化到所述消息表，再对所述目标消息进行确认与消费。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述目标消息的消费端在接收到所述目标消息后之后，若MongoDB中已经存在所述目标消息的消息记录，则不执行将所述目标消息持久化到所述消息表的步骤。

3.根据权利要求1所述的方法，其特征在于，所述对多个消息进行配置还包括：

确定每个消息的锁定key；

根据所述锁定key生成与每个消息对应的分布式锁，以通过调用所述分布式锁来发送所述消息。

4.根据权利要求1所述的方法，其特征在于，对所述多个消息进行确认与消费包括：

通过指定的消费协议对所述目标消息进行确认与消费。

5.根据权利要求4所述的方法，其特征在于，所述指定的消费协议包括HTTP协议、BEAN调用、AMQP协议中的任意一者。

6.根据权利要求1所述的方法，其特征在于，所述对多个消息进行配置还包括：

在预设服务的访问量超出预设阈值的情况下，将所述多个消息配置为不消费；

所述方法还包括：

所述目标消息的消费端在接收到所述目标消息后，将所述目标消息持久化到所述消息表，再对所述目标消息进行确认；

在所述预设服务的访问量低于所述预设阈值的情况下，对确认后的目标消息进行消费。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在通过所述消息中间件将所述目标消息发送至对应的消费端失败的情况下，再次将所述目标消息加入至消息队列中；

在所述消费表中找到发送失败的目标消息，并将所述发送失败的目标消息重新投递至所述消息中间件。

8.根据权利要求1至7中任意一项所述的方法，其特征在于，所述消息中间件为RabbitMQ。

9.一种处理器，其特征在于，包括根据权利要求8所述的消息处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images