CN110489249A - 一种消息的处理方法及系统 - Google Patents

Abstract

本发明公开了一种消息的处理方法，包括：依据预设的注册机制，将目标消费者与各个目标消息队列建立关联关系；当所述目标消费者接收到目标消息处理请求时，获取所述目标消息的维度，其中，所述目标消息存在于任意一个目标消息队列中，所述目标消息中至少包含一条消息；依据所述维度，在所述目标消费者对应的处理通道中建立与所述维度相同的协程；所述目标消息并行的发送给所述处理通道的各个协程进行处理。上述的方法，实现了对所述目标消息中各个消息的并行处理，避免了消息的处理是顺序执行的，一次只能处理一个消息，处理效率低的问题。

Description

一种消息的处理方法及系统

技术领域

本发明涉及数据处理技术领域，尤其涉及一种消息的处理方法及系统。

背景技术

在高并发环境下，通过使用消息队列，可以异步处理消息队列中的消息，从而缓解系统的压力，将消息队列中的消息依次传递给对应的消费者进行处理，只有当前消息处理完成时，才可以处理下一个消息。

发明人对现有的消息处理方法进行研究发现，消费者和消息队列中存在对应关系，消费者只能处理与其对应的消息队列中的消息，消息的处理是顺序执行的，一次只能处理一个消息，处理效率低。

发明内容

有鉴于此，本发明提供了一种消息的处理方法及系统，用以解决现有技术中消息的处理是顺序执行的，一次只能处理一个消息，处理效率低的问题。

具体方案如下：

一种消息的处理方法，包括：

依据预设的注册机制，将目标消费者与各个目标消息队列建立关联关系；

当所述目标消费者接收到目标消息处理请求时，获取所述目标消息的维度，其中，所述目标消息存在于任意一个目标消息队列中，所述目标消息中至少包含一条消息；

依据所述维度，在所述目标消费者对应的处理通道中建立与所述维度相同的协程；

将所述目标消息并行的发送给所述处理通道的各个协程进行处理。

上述的方法，可选的，还包括：

当检测到所述目标消费者的空闲时长达到预设的时长时，将所述目标消费者和各个消息队列进行重置连接。

上述的方法，可选的，还包括：

对所述目标消费者各个处理通道中预存消息的数量进行设置；

对每一个处理通道中构建协程的数量进行设置。

上述的方法，可选的，还包括：

当检测到所述目标消费者中任意协程中断时，将其中正在处理的消息处理完成后再中断。

上述的方法，可选的，还包括：

获取所述目标消息对应的各个处理结果；

依据所述各个处理结果，返回定对应的确认字符。

一种消息的处理系统，包括：

注册模块，用于依据预设的注册机制，将目标消费者与各个目标消息队列建立关联关系；

第一获取模块，用于当所述目标消费者接收到目标消息处理请求时，获取所述目标消息的维度，其中，所述目标消息存在于任意一个目标消息队列中，所述目标消息中至少包含一条消息；

建立模块，用于依据所述维度，在所述目标消费者对应的处理通道中建立与所述维度相同的协程；

处理模块，用于将所述目标消息并行的发送给所述处理通道的各个协程进行处理。

上述的系统，可选的，还包括：

重置连接模块，用于当检测到所述目标消费者的空闲时长达到预设的时长时，将所述目标消费者和各个消息队列进行重置连接。

上述的系统，可选的，还包括：

第一设置模块，用于对所述目标消费者各个处理通道中预存消息的数量进行设置；

第二设置模块，用于对每一个处理通道中构建协程的数量进行设置。

上述的系统，可选的，还包括：

中断模块，用于当检测到所述目标消费者中任意协程中断时，将其中正在处理的消息处理完成后再中断。

上述的系统，可选的，还包括：

第二获取模块，用于获取所述目标消息对应的各个处理结果；

返回模块，用于依据所述各个处理结果，返回定对应的确认字符。

与现有技术相比，本发明包括以下优点：

本发明公开了一种消息的处理方法，包括：依据预设的注册机制，将目标消费者与各个目标消息队列建立关联关系，当所述目标消费者接收到目标消息处理请求时，获取所述目标消息的维度，其中，所述目标消息存在于任意一个目标消息队列中，所述目标消息中至少包含一条消息，依据所述维度，在所述目标消费者对应的处理通道中建立与所述维度相同的协程，将所述目标消息并行的发送给所述处理通道的各个协程进行处理。实现了对所述目标消息中各个消息的并行处理，避免了消息的处理是顺序执行的，一次只能处理一个消息，处理效率低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种消息的处理方法流程图；

图2为本申请实施例公开的一种消息的处理方法又一流程图；

图3为本申请实施例公开的一种消息的处理系统结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

本发明公开了一种消息的处理方法及系统，所述方法应用在消息队列中消息的处理过程中，所述方法的执行主体可以为一个控制器、处理器或者处理框架，优选的，以执行主体为处理框架为例对所述处理方法进行说明，所述处理框架可以为通过Kombu和Gevent库封装的，基于Phython语言进行编写，通过yaml文件来进行用户的相关配置，通过Kombu来控制rabbitmq原生的相关功能实现，包括单个进程订阅多个队列的消息的路由机制以及通过协程的方式来实现消息维度的并发处理，大大提升处理效率。

所述处理方法的执行流程如图1所示，包括步骤：

S101、依据预设的注册机制，将目标消费者与各个目标消息队列建立关联关系；

本发明实施例中，所述预设的注册机制指利用Kombu原生的transport和handler的注册机制，可以使得一个消费者consumer协程可以处理来自同一个broker_url的不同队列的消息。避免每一个消息队列，都必须单独部署消费者，甚至在docker环境配置单独的pipeline，造成消费者协程过多且不利于管理的困扰。依据上述的注册机制，将目标消费者与各个目标消息队列建立关联关系，实现了一个目标消费者关联多个目标消息队列。其中，Kombu是OpenStack中的一个消息通信组件，有很多好的封装，可以同时创建多个处理通道来监听来自不同消息队列的消息。

S102、当所述目标消费者接收到目标消息处理请求时，获取所述目标消息的维度，其中，所述目标消息存在于任意一个目标消息队列中，所述目标消息中至少包含一条消息；

本发明实施例中，通过Gevent协程改造，当所述目标消费者接收到目标消息处理请求时，获取所述目标消息的维度，使得所述目标消费消息可以按照消息维度来进行异步并发处理。其中，所述目标消息存在于任意一个目标消息队列中，所述目标消息中至少包含一条消息。

S103、依据所述维度，在所述目标消费者对应的处理通道中建立与所述维度相同的协程；

本发明实施例中，依据所述目标消息，在所述目标消费者的各个处理通道中，依据名称，标号或者其它的优选标识，确定与所述目标消息对应的处理通道，并在该处理通道中依据所述维度建立对应的进行，其中，一个协程可以处理一条消息。

S104、将所述目标消息并行的发送给所述处理通道的各个协程进行处理。

本发明实施例中，获取所述目标消息中包含的各个消息，将所述各个消息翻倍发送给所述出路通道中的各个协程进行处理。

本发明实施例中，上述的处理方法需要度与消费者对应的配置文件进行配置，其中，具体的配置过程如图2所示，包括步骤：

S201、加载配置文件conf，注册register，选择对应的broke_name；

S202、初始化阶段：将当前路径添加到sys_path，判断是否Gevent patch并对业务系统进行初始化；

S203、准备阶段：创建conf中需要创建的exchange，解绑相关队列，创建相应队列并绑定；

S204、加载消费者配置，并开始对消息队列中的消息进行处理。

本发明实施例中，S201-S203为预处理过程，确定每一个消费者包含的各个消息队列。可以使得在平时开发项目的开发者不用了解过多队列的实现和使用细节，就可以实现日常高效的处理消息。

本发明公开了一种消息的处理方法，包括：依据预设的注册机制，将目标消费者与各个目标消息队列建立关联关系，当所述目标消费者接收到目标消息处理请求时，获取所述目标消息的维度，其中，所述目标消息存在于任意一个目标消息队列中，所述目标消息中至少包含一条消息，依据所述维度，在所述目标消费者对应的处理通道中建立与所述维度相同的协程，将所述目标消息并行的发送给所述处理通道的各个协程进行处理。实现了对所述目标消息中各个消息的并行处理，避免了消息的处理是顺序执行的，一次只能处理一个消息，处理效率低的问题。

本发明实施例中，所述处理方法还包括：当检测到所述目标消费者的空闲时长达到预设的时长时，将所述目标消费者和各个消息队列进行重置连接。.通过自身设置的safety_timeout机制，既能防止tcp连接被远程server半关闭，又能避免当消息的处理时间过长，而导致原先heartbeart机制没有收到导致的任务中断重发。其中，safety_timeout是处理框架内部实现的一种计时器重连机制，原生的heartbeat是指在一定的时间内rabbitmq server端没有收到心跳响应时，发起断开连接进行重连，而此时通过消息来进行长任务处理时，任务会被中断，且导致消息重发。为了实现能够基于一个消息长时间处理一个任务，所以该框架会关闭原生的heartbeat，但是又要避免长时间闲置可能导致的tcp半关闭，所以在消费者空闲时间超过safety_timeout后，会进行主动发起的重置连接。

本发明实施例中，所述处理方法还包括：对所述目标消费者各个处理通道中预存消息的数量进行设置并且对对每一个处理通道中构建协程的数量进行设置，具体的方法如下：通过设定处理通道的qos以及设置Gevent的pool size来控制消费的速率，且能避免大量的unack消息导致的所述目标消费者端内存占用过大，且当所述目标消费者中断时，有大量消息需要从unack置为ready状态。

本发明实施例中，所述处理方法还包括：当检测到所述目标消费者中任意协程中断时，能够peaceful关闭，当异步模式的Gevent pool里有正在处理的消息时，则会优先消费完。

本发明实施例中，所述处理方法还设置了灵活的确认字符ack策略，让业务方能够自行设置ack相关策略，其中，所述策略包括：auto_ack，always_ack以及no_ack这三种，分别代表着消息正常消费发送ack消息，消息无论正常消费还是发生异常都发送消息，在收到消息的时候返回ack。获取所述目标消息对应的各个处理结果，依据所述各个处理结果，返回定对应的确认字符。

本发明实施例中，基于上述的处理方法，对业务系统完全没有任何的侵入性，甚至完全感知不到框架的存在，使得业务开发人员只需要专注于自身消息处理逻辑的实现，而其他方面只需要在配置文件上做好配置，通过特定的命令启动进程即可。且从实现本身，通过协程池的形式来处理消息，且能够订阅多个队列，注册多个处理函数，处理效率高，且部署简单。

本发明实施例中，基于上述的消息处理方法，本发明实施例中还提供了一种消息处理系统，所述消息处理系统的结构框图如图3所示，包括：

注册模块301、第一获取模块302、建立模块303和处理模块304。

其中，

所述注册模块301，用于依据预设的注册机制，将目标消费者与各个目标消息队列建立关联关系；

所述第一获取模块302，用于当所述目标消费者接收到目标消息处理请求时，获取所述目标消息的维度，其中，所述目标消息存在于任意一个目标消息队列中，所述目标消息中至少包含一条消息；

所述建立模块303，用于依据所述维度，在所述目标消费者对应的处理通道中建立与所述维度相同的协程；

所述处理模块304，用于将所述目标消息并行的发送给所述处理通道的各个协程进行处理。

本发明公开了一种消息的处理系统，包括：依据预设的注册机制，将目标消费者与各个目标消息队列建立关联关系，当所述目标消费者接收到目标消息处理请求时，获取所述目标消息的维度，其中，所述目标消息存在于任意一个目标消息队列中，所述目标消息中至少包含一条消息，依据所述维度，在所述目标消费者对应的处理通道中建立与所述维度相同的协程，将所述目标消息并行的发送给所述处理通道的各个协程进行处理。实现了对所述目标消息中各个消息的并行处理，避免了消息的处理是顺序执行的，一次只能处理一个消息，处理效率低的问题。

本发明实施例中，所述处理系统还包括：重置连接模块305。

其中，

所述重置连接模块305，用于当检测到所述目标消费者的空闲时长达到预设的时长时，将所述目标消费者和各个消息队列进行重置连接。

本发明实施例中，所述处理系统还包括：

第一设置模块306和第二设置模块307。

其中，

所述第一设置模块306，用于对所述目标消费者各个处理通道中预存消息的数量进行设置；

所述第二设置模块307，用于对每一个处理通道中构建协程的数量进行设置。

本发明实施例中，所述处理系统还包括：中断模块208。

其中，

所述中断模块308，用于当检测到所述目标消费者中任意协程中断时，将其中正在处理的消息处理完成后再中断。

本发明实施例中，所述处理系统还包括：

第二处理模块309和返回模块310。

其中，

所述第二获取模块309，用于获取所述目标消息对应的各个处理结果；

所述返回模块310，用于依据所述各个处理结果，返回定对应的确认字符。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种消息的处理方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种消息的处理方法，其特征在于，包括：

依据预设的注册机制，将目标消费者与各个目标消息队列建立关联关系；

当所述目标消费者接收到目标消息处理请求时，获取所述目标消息的维度，其中，所述目标消息存在于任意一个目标消息队列中，所述目标消息中至少包含一条消息；

依据所述维度，在所述目标消费者对应的处理通道中建立与所述维度相同的协程；

将所述目标消息并行的发送给所述处理通道的各个协程进行处理。

2.根据权利要求1所述的方法，其特征在于，还包括：

当检测到所述目标消费者的空闲时长达到预设的时长时，将所述目标消费者和各个消息队列进行重置连接。

3.根据权利要求1所述的方法，其特征在于，还包括：

对所述目标消费者各个处理通道中预存消息的数量进行设置；

对每一个处理通道中构建协程的数量进行设置。

4.根据权利要求1所述的方法，其特征在于，还包括：

当检测到所述目标消费者中任意协程中断时，将其中正在处理的消息处理完成后再中断。

5.根据权利要求1所述的方法，其特征在于，还包括：

获取所述目标消息对应的各个处理结果；

依据所述各个处理结果，返回定对应的确认字符。

6.一种消息的处理系统，其特征在于，包括：

注册模块，用于依据预设的注册机制，将目标消费者与各个目标消息队列建立关联关系；

第一获取模块，用于当所述目标消费者接收到目标消息处理请求时，获取所述目标消息的维度，其中，所述目标消息存在于任意一个目标消息队列中，所述目标消息中至少包含一条消息；

建立模块，用于依据所述维度，在所述目标消费者对应的处理通道中建立与所述维度相同的协程；

处理模块，用于将所述目标消息并行的发送给所述处理通道的各个协程进行处理。

7.根据权利要求6所述的系统，其特征在于，还包括：

重置连接模块，用于当检测到所述目标消费者的空闲时长达到预设的时长时，将所述目标消费者和各个消息队列进行重置连接。

8.根据权利要求6所述的系统，其特征在于，还包括：

第一设置模块，用于对所述目标消费者各个处理通道中预存消息的数量进行设置；

第二设置模块，用于对每一个处理通道中构建协程的数量进行设置。

9.根据权利要求6所述的系统，其特征在于，还包括：

中断模块，用于当检测到所述目标消费者中任意协程中断时，将其中正在处理的消息处理完成后再中断。

10.根据权利要求6所述的系统，其特征在于，还包括：

第二获取模块，用于获取所述目标消息对应的各个处理结果；

返回模块，用于依据所述各个处理结果，返回定对应的确认字符。