CN107391271B - 一种基于消息队列系统的延时任务触发方法和装置 - Google Patents

Abstract

本公开提供一种基于消息队列系统的延时任务触发方法和装置，其中方法包括：作为生产者的消息队列客户端生产对应延时任务的消息，所述消息中包括触发所述延时任务所需的任务信息；所述作为生产者的消息队列客户端将各个消息发送至所述消息队列，所述各个消息在消息队列中按照超时时间顺序排列，并且同一消息队列的各个消息对应的延时任务的延迟时间相同；所述消息队列将所述各个消息依照排列顺序发送至作为消费者的消息队列客户端，由所述消费者的消息队列客户端依序在消息到达超时时间，根据所述任务信息触发对应的延时任务。本公开降低了延时任务的触发时延和成本。

Description

一种基于消息队列系统的延时任务触发方法和装置

技术领域

本公开涉及计算机技术领域，特别涉及一种基于消息队列系统的延时任务触发方法和装置。

背景技术

有一种类型的业务需求如下：以转账业务为例，转账业务估计三分钟后到账，每一笔转账发生三分钟后对该笔业务进行检查是否到账，如果没到账则告警。上述对转账业务是否到账的查询就是一种延时任务，即转账发生一段时间(例如，三分钟)后再去查询是否到账，而不是立刻查询。为了在延时任务到达超时时间后实现对延时任务的触发，当前主流的实现方式可以是每发生一笔转账，则把相应信息写入database(数据库)，由定时器定期扫描数据库，例如每10秒扫描一次，对于到达超时时间的转账业务，定时器再去查询该笔转账是否到账；如果没到账则通过告警中心告警。

但是上述这种触发延时任务的方式存在很多缺点，首先，数据库的实现成本较高；其次，定时器间隔固定的时间去扫描数据库，间隔时间如果偏小，则对数据库的性能提出更高要求(查询次数更多)，而如果间隔时间偏大，则延后发现满足条件数据的时机，造成延时任务触发的延迟。再次，无效的扫描次数多，浪费机器性能，比如，假如3分钟后数据满足条件，10秒扫一次，那么在数据满足条件前，数据会被读取60秒*3/10秒＝18次。

发明内容

有鉴于此，本公开提供一种基于消息队列系统的延时任务触发方法和装置，以降低延时任务触发的实现成本和触发时延。

具体地，本公开是通过如下技术方案实现的：

第一方面，提供一种基于消息队列系统的延时任务触发方法，该方法包括：

作为生产者的消息队列客户端生产对应延时任务的消息，所述消息中包括触发所述延时任务所需的任务信息；

所述作为生产者的消息队列客户端将各个消息发送至所述消息队列，所述各个消息在消息队列中按照超时时间顺序排列，并且同一消息队列的各个消息对应的延时任务的延迟时间相同；

所述消息队列将所述各个消息依照排列顺序发送至作为消费者的消息队列客户端，由所述消费者的消息队列客户端依序在消息到达超时时间，根据所述任务信息触发对应的延时任务。

第二方面，提供一种消息队列系统，所述系统包括：消息队列服务端和消息队列客户端，消息队列客户端包括分别作为生产者和消费者的消息队列客户端，所述消息队列服务端包括用于在生产者和消费者之间传输消息的消息队列；

所述作为生产者的消息队列客户端，用于生产对应延时任务的消息，所述消息中包括触发所述延时任务所需的任务信息；

所述消息队列服务端，用于接收所述作为生产者的消息队列客户端发送的各个延时任务的消息，并将消息存储至消息队列，所述各个消息在消息队列中按照超时时间顺序排列，并且同一消息队列的各个消息对应的延时任务的延迟时间相同；

所述作为消费者的消息队列客户端，用于接收所述消息队列依照排列顺序发送的各个消息，并依序在消息到达超时时间，触发对应的延时任务。

第三方面，提供一种计算机可读存储介质，所述介质上存储有计算机指令，该指令被处理器执行时，用于实现消息队列系统，所述消息队列系统包括消息队列服务端和消息队列客户端，所述消息队列客户端包括分别作为生产者和消费者的消息队列客户端，所述消息队列服务端包括用于在生产者和消费者之间传输消息的消息队列；所述消息队列系统执行以下步骤：

所述作为生产者的消息队列客户端生产对应延时任务的消息，所述消息中包括触发所述延时任务所需的任务信息；

所述作为生产者的消息队列客户端将各个消息发送至所述消息队列，所述各个消息在消息队列中按照超时时间顺序排列，并且同一消息队列的各个消息对应的延时任务的延迟时间相同；

所述消息队列将所述各个消息依照排列顺序发送至作为消费者的消息队列客户端，由所述消费者的消息队列客户端依序在消息到达超时时间，根据所述任务信息触发对应的延时任务。

第四方面，提供一种消息处理设备，所述设备包括存储器、处理器，以及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现消息队列系统，所述消息队列系统包括消息队列服务端和消息队列客户端，所述消息队列客户端包括分别作为生产者和消费者的消息队列客户端，所述消息队列服务端包括用于在生产者和消费者之间传输消息的消息队列；所述消息队列系统执行以下步骤：

所述作为生产者的消息队列客户端生产对应延时任务的消息，所述消息中包括触发所述延时任务所需的任务信息；

所述作为生产者的消息队列客户端将各个消息发送至所述消息队列，所述各个消息在消息队列中按照超时时间顺序排列，并且同一消息队列的各个消息对应的延时任务的延迟时间相同；

所述消息队列将所述各个消息依照排列顺序发送至作为消费者的消息队列客户端，由所述消费者的消息队列客户端依序在消息到达超时时间，根据所述任务信息触发对应的延时任务。

本公开的基于消息队列系统的延时任务触发方法和装置，通过在消息队列中各个消息依照FIFO机制排序，并且各个消息的延迟时间相等，使得顺序消费各个消息即可，不用做重复的扫描，降低了延时任务的触发时延；并且，通过采用消息队列系统实现对延时任务的触发，相对于数据库定时扫描方式，降低了成本。

附图说明

图1是本公开一个例子中提供的消息队列系统的系统架构图；

图2是本公开一个例子中提供的延时任务触发方法的应用系统架构图；

图3是本公开一个例子中提供的延时任务触发方法的流程图；

图4是本公开一个例子中提供的消息队列向消费者端发送消息的原理图。

具体实施方式

消息队列技术是分布式应用间交换信息的一种技术，可以用于实现系统解耦、提高系统的响应时间等作用。图1示例了一个消息队列系统的系统架构图，如图1所示，一个消息队列系统可以包括三个部分：Producer11、消息队列(Message Queue)12、Consumer13。一个消息的投递过程可以包括：Producer11作为消息的生产者(传输的数据即为消息，例如，各种类型的数据文件，或者，一个应用向其他应用发送的处理请求等)，可以将生产的一个个消息14发送至消息队列12，Consumer13可以由消息队列12拉取消息进行消费(例如，根据拉取的消息触发某个任务)。

本公开的例子中，上述的消息队列12可以称为消息队列服务端，Producer11和Consumer13可以称为消息队列客户端；并且，Producer11是作为消息生产者的消息队列客户端，Consumer13是作为消息消费者的消息队列客户端。在消息队列系统的实际应用中，可以有多个Producer11，也可以有多个Consumer13，而且消息队列12也可以包括多个消息主题Topic的队列。

本公开的例子中，可以将消息队列系统应用于延时任务的触发。例如，对于三分钟查询转账业务是否到账，即可应用消息队列系统实现对查询转账这种延时任务的触发。应用消息队列系统来触发延时任务，相对于定时器扫描数据库的方式将可以降低实现成本，数据库的tps(每秒支持写入笔数)和qps(每秒支持查询数)不如消息队列，使用消息队列可以节省数据库的大量机器。

如下结合图2，描述本公开的延时任务触发方法的流程，如图2所示，Producer A是消息的生产者，可以分别向Topic 1和Topic 2的消息队列发送消息，Consumer A和Consumer B是消息的消费者，可以分别对应拉取Topic 1和Topic2消息队列中的消息进行消费。

本例子中，不同的Topic对应不同的DelayLevel，图2中的消息队列中的消息都是延迟消息DelayMessage。正常的消息一旦被Producer发布后，Consumer即可消费，而延迟消息是设定好延迟一定的时间才可被Consumer消费。而DelayLevel则是延迟消息的延迟级别，每个延迟级别对应固定的时间。例如，DelayLevel_1＝3分钟；DelayLevel_2＝5分钟。在图2中，不同消息主题Topic的消息队列中的消息对应的延迟时间可以不同，比如，Topic1对应的是DelayLevel_1，Topic2对应的是DelayLeve2。每个Topic存放对应的DelayLevel的消息。具体实施中，一个Topic的DelayLevel的时间长度，可以根据发送至该Topic的消息对应的延迟任务决定。如图3所示，延时任务触发方法可以包括：

在步骤301中，作为生产者的消息队列客户端生产对应延时任务的消息，所述消息中包括触发所述延时任务所需的任务信息。

例如，所述任务信息可以包括：延时任务的超时时间、以及所述延时任务的任务标识。以转账业务在三分钟以后查询为例，假设发生了一笔转账，Producer A可以生产一个对应该笔转账的一个消息，消息中可以包括该转账业务的业务ID以及超时查询时间(例如，15:03超时)。

在步骤302中，作为生产者的消息队列客户端将各个消息发送至所述消息队列，所述各个消息在消息队列中按照超时时间顺序排列，并且同一消息队列的各个消息对应的延时任务的延迟时间相同。

例如，Producer A在生产一个消息后，可以将该消息发送至消息队列。以转账业务为例，Producer A可以将消息发送至预先分配的Topic 1，Topic 1的每个消息的延迟时间均为3分钟，图2中已经存放了两个消息，这两个消息是基于FIFO(first in first out，先进先出)机制排列，序号为0的消息先进入队列，序号为1的消息后进入队列。而且，Topic中的消息是先进先出，也就是先被produce的消息一定会早于后produce的消息出队，被Consumer消费；还可以说是，序号小的消息会比序号大的消息先到达超时时间，例如，ProducerA在15:00向Topic 1发送Message0，Message0的超时时间＝15:03，在15:01向Topic 1发送Message1，Message1的超时时间＝15:04。

在步骤303中，消息队列将所述各个消息依照排列顺序发送至作为消费者的消息队列客户端。

例如，Topic 1可以将其中的各个消息按照FIFO的顺序，依次将消息发送至Consumer A。

以图4为例说明消息队列向Consumer A发送消息的过程：例如，作为消费者的消息队列客户端Consumer A可以向Topic 1发送消息拉取请求，该请求用于请求Topic 1在预定时间内推送接收到的消息。比如，预定时间是两秒钟，那么Topic 1在接收到请求开始的两秒钟内，只要一接收到消息就会立刻主动推送至Consumer A，Consumer A也会按照接收顺序，将各个消息存储在本地缓存中，如图4中所示的缓存。而如果在上述的两秒钟内Topic 1未接收到消息，Consumer A也不会再请求，而是等到预定时间超时后再次发送消息拉取请求。

上述图4的这种消息发送方式，使得在预定时间内的消息能够尽快的发送至消费端Consumer，相对于传统方式中的定时器定期扫描，能够避免满足条件的数据会由于定期扫描的间隔而延后发现，只要有消息就会尽快发送至Consumer；并且即使在预定时间内没有消息，消息队列和Consumer之间也不会有数据传输，Consumer只要等待即可，相对于传统方式中的定时器定期扫描，不会有多次的无效请求，节省机器性能和传输资源。

在步骤304中，所述消费者的消息队列客户端依序在消息到达超时时间，触发对应的延时任务。

例如，图4中的Consumer A可以包括两部分，一个是Topic Consumer，一个是业务Consumer(Service Consumer)。其中，Topic Consumer是用于与Topic1对接，可以接收Topic1传输的消息，并将消息依照接收顺序存储在缓存中；而Service Consumer是用于触发延时任务，比如，当Topic Consumer发现缓存中某个消息已经到达超时时间，则可以将消息中的任务信息发送至Service Consumer，比如任务信息可以是转账业务的业务ID，则Service Consumer可以根据该业务ID去查询该转账业务是否到账。Topic Consumer可以按照缓存中的各个消息的排列顺序，顺序判断各个消息是否达到超时时间，若超时，则通知Service Consumer触发对应的延时任务；否则，继续等待消息超时。

本例子的基于消息队列系统的延时任务触发方法，通过在消息队列中各个消息依照FIFO机制排序，并且各个消息的延迟时间相等，使得顺序消费各个消息即可，不用做重复的扫描，降低了延时任务的触发时延；并且，通过采用消息队列系统实现对延时任务的触发，相对于数据库定时扫描方式，降低了成本。

上述实施例阐明的装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机指令的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。例如，所述计算机指令被设备中的处理器执行时，可以实现消息队列系统，所述消息队列系统包括消息队列服务端和消息队列客户端，所述消息队列客户端包括分别作为生产者和消费者的消息队列客户端，所述消息队列服务端包括用于在生产者和消费者之间传输消息的消息队列；所述消息队列系统可以实现以下步骤：所述作为生产者的消息队列客户端生产对应延时任务的消息，所述消息中包括触发所述延时任务所需的任务信息；所述作为生产者的消息队列客户端将各个消息发送至所述消息队列，所述各个消息在消息队列中按照超时时间顺序排列，并且同一消息队列的各个消息对应的延时任务的延迟时间相同；所述消息队列将所述各个消息依照排列顺序发送至作为消费者的消息队列客户端，由所述消费者的消息队列客户端依序在消息到达超时时间，根据所述任务信息触发对应的延时任务。

在一个例子中，本公开还可以提供一种消息处理设备，该设备可以包括存储器、一个或多个处理器(CPU)、输入/输出接口、网络接口和内存，以及存储在存储器上并可在处理器上运行的计算机指令。所述处理器执行所述指令时实现消息队列系统，所述消息队列系统包括消息队列服务端和消息队列客户端，所述消息队列客户端包括分别作为生产者和消费者的消息队列客户端，所述消息队列服务端包括用于在生产者和消费者之间传输消息的消息队列；所述消息队列系统执行以下步骤：所述作为生产者的消息队列客户端生产对应延时任务的消息，所述消息中包括触发所述延时任务所需的任务信息；所述作为生产者的消息队列客户端将各个消息发送至所述消息队列，所述各个消息在消息队列中按照超时时间顺序排列，并且同一消息队列的各个消息对应的延时任务的延迟时间相同；所述消息队列将所述各个消息依照排列顺序发送至作为消费者的消息队列客户端，由所述消费者的消息队列客户端依序在消息到达超时时间，根据所述任务信息触发对应的延时任务。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (9)

1.一种基于消息队列系统的延时任务触发方法，所述消息队列系统包括消息队列服务端和消息队列客户端，所述消息队列客户端包括分别作为生产者和消费者的消息队列客户端，所述消息队列服务端包括用于在生产者和消费者之间传输消息的消息队列；所述方法包括：

所述作为生产者的消息队列客户端生产对应延时任务的消息，所述消息中包括触发所述延时任务所需的任务信息；

所述作为生产者的消息队列客户端将各个消息发送至所述消息队列，所述各个消息在消息队列中按照超时时间顺序排列，并且同一消息队列的各个消息对应的延时任务的延迟时间相同；

所述消息队列将所述各个消息依照排列顺序发送至作为消费者的消息队列客户端，由所述消费者的消息队列客户端依序在消息到达超时时间，根据所述任务信息触发对应的延时任务；

所述消息队列将所述各个消息依照排列顺序发送至作为消费者的消息队列客户端，包括：

所述作为消费者的消息队列客户端向所述消息队列发送消息拉取请求，所述消息拉取请求用于请求所述消息队列在预定时间内推送接收到的消息；

所述消息队列将所述预定时间内接收到的各个消息，依照接收顺序依次发送至所述作为消费者的消息队列客户端；

所述作为消费者的消息队列客户端依照接收顺序将各个消息存储在缓存中。

2.根据权利要求1所述的方法，所述消息队列服务端包括多个分别属于不同消息主题Topic的消息队列，不同Topic中的消息对应的延迟时间不同。

3.根据权利要求1所述的方法，所述任务信息包括：延时任务的超时时间、以及所述延时任务的任务标识。

4.根据权利要求1所述的方法，所述由所述消费者的消息队列客户端依序在消息到达超时时间，触发对应的延时任务，包括：

所述作为消费者的消息队列客户端依照各个消息的排列顺序，顺序判断各个消息是否达到超时时间；

若超时，则触发对应的延时任务；否则，继续等待消息超时。

5.一种消息队列系统，所述系统包括：消息队列服务端和消息队列客户端，所述消息队列客户端包括分别作为生产者和消费者的消息队列客户端，所述消息队列服务端包括用于在生产者和消费者之间传输消息的消息队列；

所述作为生产者的消息队列客户端，用于生产对应延时任务的消息，所述消息中包括触发所述延时任务所需的任务信息；

所述消息队列服务端，用于接收所述作为生产者的消息队列客户端发送的各个延时任务的消息，并将消息存储至消息队列，各个消息在消息队列中按照超时时间顺序排列，并且同一消息队列的各个消息对应的延时任务的延迟时间相同；

所述作为消费者的消息队列客户端，用于接收所述消息队列依照排列顺序发送的各个消息，并依序在消息到达超时时间，触发对应的延时任务；

所述作为消费者的消息队列客户端，具体用于向所述消息队列发送消息拉取请求，所述消息拉取请求用于请求所述消息队列在预定时间内推送接收到的消息，并将依照接收顺序将各个消息存储在缓存中；所述消息队列，具体用于将所述预定时间内接收到的各个消息，依照接收顺序依次发送至所述作为消费者的消息队列客户端。

6.根据权利要求5所述的系统，所述消息队列服务端包括多个分别属于不同消息主题Topic的消息队列，不同Topic中的消息对应的延迟时间不同。

7.根据权利要求5所述的系统，所述任务信息包括：延时任务的超时时间、以及所述延时任务的任务标识。

8.一种计算机可读存储介质，所述介质上存储有计算机指令，该指令被处理器执行时，用于实现消息队列系统，所述消息队列系统包括消息队列服务端和消息队列客户端，所述消息队列客户端包括分别作为生产者和消费者的消息队列客户端，所述消息队列服务端包括用于在生产者和消费者之间传输消息的消息队列；所述消息队列系统执行以下步骤：

所述作为生产者的消息队列客户端生产对应延时任务的消息，所述消息中包括触发所述延时任务所需的任务信息；

所述作为生产者的消息队列客户端将各个消息发送至所述消息队列，所述各个消息在消息队列中按照超时时间顺序排列，并且同一消息队列的各个消息对应的延时任务的延迟时间相同；

所述消息队列将所述各个消息依照排列顺序发送至作为消费者的消息队列客户端，由所述消费者的消息队列客户端依序在消息到达超时时间，根据所述任务信息触发对应的延时任务；

所述消息队列将所述各个消息依照排列顺序发送至作为消费者的消息队列客户端，包括：

所述作为消费者的消息队列客户端向所述消息队列发送消息拉取请求，所述消息拉取请求用于请求所述消息队列在预定时间内推送接收到的消息；

所述消息队列将所述预定时间内接收到的各个消息，依照接收顺序依次发送至所述作为消费者的消息队列客户端；

所述作为消费者的消息队列客户端依照接收顺序将各个消息存储在缓存中。

9.一种消息处理设备，所述设备包括存储器、处理器，以及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现消息队列系统，所述消息队列系统包括消息队列服务端和消息队列客户端，所述消息队列客户端包括分别作为生产者和消费者的消息队列客户端，所述消息队列服务端包括用于在生产者和消费者之间传输消息的消息队列；所述消息队列系统执行以下步骤：

所述作为生产者的消息队列客户端生产对应延时任务的消息，所述消息中包括触发所述延时任务所需的任务信息；

所述作为生产者的消息队列客户端将各个消息发送至所述消息队列，所述各个消息在消息队列中按照超时时间顺序排列，并且同一消息队列的各个消息对应的延时任务的延迟时间相同；

所述消息队列将所述各个消息依照排列顺序发送至作为消费者的消息队列客户端，由所述消费者的消息队列客户端依序在消息到达超时时间，根据所述任务信息触发对应的延时任务；

所述消息队列将所述各个消息依照排列顺序发送至作为消费者的消息队列客户端，包括：

所述作为消费者的消息队列客户端向所述消息队列发送消息拉取请求，所述消息拉取请求用于请求所述消息队列在预定时间内推送接收到的消息；

所述消息队列将所述预定时间内接收到的各个消息，依照接收顺序依次发送至所述作为消费者的消息队列客户端；

所述作为消费者的消息队列客户端依照接收顺序将各个消息存储在缓存中。

Images