CN107590005A - 一种Redis内存队列中数据的获取方法及系统 - Google Patents

Abstract

本发明涉及一种Redis内存队列中数据的获取方法及系统，包括：接收数据获取指令，数据获取指令包括Redis内存队列名称；根据数据获取指令，从内存队列中按照预设获取周期获取数据；当按照预设获取周期获取不到数据时，则进入休眠状态。本发明在确保Redis中某一内存队列中的业务数据能够在规定时间内被处理的条件下，减少对该内存队列的空调度，将获取数据的操作对象让给有数据且需要进行业务数据处理的Redis中的其他内存队列，在相同的硬件条件下提升了Redis的整体吞吐能力。

Description

一种Redis内存队列中数据的获取方法及系统

技术领域

本发明涉及Redis数据调度技术领域，特别涉及一种Redis内存队列中数据的获取方法及系统。

背景技术

Redis是一个基于BSD许可开源的内存数据库，它可用作缓存、消息代理，并支持通过Redis Cluster进行自动分区。通过Redis提供的消息代理机制，可以很方便的实现基于内存队列的速率控制。但是当内存队列数量持续增长，各个内存队列吞吐数据的速率不同，各内存队列处于繁忙、空闲状态不一，遍历Redis中的内存队列并从内存队列中获取数据会导致检查Redis内存队列中是否有数据的流量持续增加，导致需要进行业务数据处理的队列数据处理延迟成倍增加。

发明内容

本发明提供了一种Redis内存队列中数据的获取方法及系统，用以解决对Redis内存队列的空调度的问题，提升了Redis内存队列的整体吞吐能力。

本发明解决上述技术问题的技术方案如下：一种Redis内存队列中数据的获取方法，包括以下步骤：

步骤1、接收数据获取指令，所述数据获取指令包括Redis内存队列名称；

步骤2、根据所述数据获取指令，从所述Redis内存队列名称对应的内存队列中按照预设获取周期获取数据；

步骤3、当按照所述预设获取周期获取不到数据时，则进入休眠状态。

本发明的有益效果是：本发明是将Redis中的内存队列进行空闲、繁忙标记并对获取数据的时间周期进行设置(即当接收到数据获取指令时，就按照预设获取周期开始连续获取数据，此为内存队列的繁忙状态，当按照预设获取周期获取不到数据时，则自动进入休眠状态，此为空闲标记)，在确保Redis中某一内存队列中的业务数据能够在规定时间内被处理的条件下，减少对该内存队列的空调度，避免无用的内存队列中是否有数据的检查操作，将获取数据的操作对象让给有数据且需要进行业务数据处理的Redis中的其他内存队列，在相同的硬件条件下提升了Redis的整体吞吐能力。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述预设获取周期为多个，所述步骤2包括：

步骤2.1、根据所述数据获取指令，按照第一预设获取周期连续从所述内存队列中获取数据；

步骤2.2、当按照所述第一预设获取周期获取不到数据时，则按照第二预设获取周期获取数据；

步骤2.3、当按照所述第二预设获取周期获取到数据时，则执行步骤2.1，否则，执行步骤3，

其中，所述第一预设获取周期和所述第二预设获取周期分别为多个所述预设获取周期中不同的预设获取周期；

则所述步骤3包括：

当按照所述第二预设获取周期获取不到数据时，则进入休眠状态。

本发明的进一步有益效果是：对获取数据的时间周期进行两级设置(即设置两个周期用于获取数据)，当按照第一个周期获取不到数据时，则按照第二个周期获取数据，当按照第二个周期获取到数据时，则再以第一个周期获取数据，当按照第二个周期获取不到数据时，说明内存队列中没有数据，则进入休眠状态，避免了按照第一个周期和第二个周期对内存队列的连续多次空调度、浪费调度流量、降低Redis的整体吞吐能力等的问题。另外，设置两个周期，有利于对内存队列中的数据进行准确、彻底地调度，避免按照一个周期进行连续调度时因调度周期过短或调度周期单一而导致调度不到数据并造成对内存队列无数据的误判的问题。

进一步，所述第一预设获取周期的时长短于所述第二预设获取周期的时长。

本发明的进一步有益效果：先按照一个较短的获取周期从内存队列中连续获取数据，当按照这个较短的获取周期获取不到数据时，再拉长获取数据的等待周期，按照第二个获取周期去内存队列中获取数据，有利于对内存队列中的数据进行准确、彻底地获取，避免按照一个周期进行连续调度时因调度周期过短而导致调度不到数据并造成对内存队列无数据的误判的问题。

进一步，所述步骤2.2具体包括：

当按照所述第一预设获取周期连续m次获取不到数据时，则按照所述第二预设获取周期获取数据；

所述步骤3具体包括：

当按照所述第二预设获取周期连续n次获取不到数据时，则进入休眠状态；

其中，m和n分别为正整数。

本发明的进一步有益效果是：设置连续获取不到数据的次数限制，进一步避免按照第一个周期和第二个周期对内存队列的连续多次空调度、浪费调度流量、降低Redis的整体吞吐能力等的问题。

进一步，所述方法还包括：

步骤4、当按照所述第二预设获取周期获取数据的过程中，再次接收到所述数据获取指令时，则按照所述第二预设获取周期完成一次数据获取动作后，执行步骤2.1；

或者，

步骤5、当在休眠状态中，再次接收到所述数据获取指令，则执行步骤2.1。

为解决本发明的技术问题，还提供了一种Redis内存队列中数据的获取系统，包括：

指令接收模块，用于接收数据获取指令，所述数据获取指令包括Redis内存队列名称；

所述数据获取模块，用于根据所述指令接收模块接收的所述数据获取指令，从所述Redis内存队列名称对应的内存队列中按照预设获取周期获取数据，当按照所述预设获取周期获取不到数据时，则进入休眠状态。

进一步，所述预设获取周期为多个，所述数据获取模块具体用于：

根据所述数据获取指令，按照第一预设获取周期连续从所述内存队列中获取数据；当按照所述第一预设获取周期获取不到数据时，则按照第二预设获取周期获取数据；当按照所述第二预设获取周期获取到数据时，则再次按照第一预设获取周期连续从所述内存队列中获取数据；当按照所述第二预设获取周期获取不到数据时，则进入休眠状态，其中，所述第一预设获取周期和所述第二预设获取周期分别为多个所述预设获取周期中不同的预设获取周期。

进一步，所述数据获取模块中的所述第一预设获取周期的时长短于所述第二预设获取周期的时长。

进一步，所述数据获取模块具体用于：

当按照所述第一预设获取周期连续m次获取不到数据时，则按照所述第二预设获取周期获取数据；

当按照所述第二预设获取周期连续n次获取不到数据时，则进入休眠状态，

其中，m和n分别为正整数。

进一步，所述指令接收模块还用于：当所述数据获取模块在按照所述第二预设获取周期获取数据的过程中，再次接收所述数据获取指令；

所述数据获取模块还用于：

当按照所述第二预设获取周期获取数据的过程中，根据所述指令接收模块再次接收的所述数据获取指令，按照所述第二预设获取周期完成一次数据获取动作后，按照所述第一预设获取周期连续从所述内存队列中获取数据；

或者，

当在休眠状态中，根据所述指令接收模块再次接收的所述数据获取指令，按照所述第一预设获取周期连续从所述内存队列中获取数据。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明一个实施例提供的一种Redis内存队列中数据的获取方法的流程示意图；

图2为现有技术中的Redis内存队列中数据的获取方法的示意性框图；

图3为本发明另一个实施例提供的一种Redis内存队列中数据的获取方法的流程示意图；

图4为本发明另一个实施例提供的一种Redis内存队列中数据的获取方法的流程示意图；

图5为本发明另一个实施例提供的一种Redis内存队列中数据的获取方法的流程示意图；

图6为本发明另一个实施例提供的一种Redis内存队列中数据的获取方法的流程示意图；

图7为本发明一个实施例提供的一种Redis内存队列中数据的获取系统的示意性框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一

一种Redis内存队列中数据的获取方法100，如图1所示，包括以下步骤：

步骤110、接收数据获取指令，数据获取指令包括Redis内存队列名称。

步骤120、根据数据获取指令，从Redis内存队列名称对应的内存队列中按照预设获取周期获取数据。

步骤130、当按照预设获取周期获取不到数据时，则进入休眠状态。

现有技术中，当使用Redis作为内存队列进行业务数据的缓冲以及按照指定速率处理缓冲在内存队列中的业务数据时，会涉及各个内存队列获取数据的调度方法，而各个内存队列吞吐数据的速率不同，内存队列混合存在繁忙空闲时，如图2所示，现有技术是数据生产者(软件模块)将生成的数据按照的数据类型将数据放入Redis中的不同内存队列中，数据消费者(软件模块)遍历Redis中所有内存队列并从内存队列中获取数据，这样会导致检查Redis内存队列中是否有数据的流量持续增加，导致需要进行业务数据处理的内存队列中的数据处理延迟成倍增加。

本实施例为对从Redis内存队列中获取业务数据的方法的一种改进，将Redis中的内存队列进行空闲、繁忙标记并对获取数据的时间周期进行设置(即当接收到数据获取指令时，就按照预设获取周期开始连续获取数据，此为内存队列的繁忙状态，当按照预设获取周期获取不到数据时，则自动进入休眠状态，此为空闲标记)，在确保某一内存队列中的业务数据能够在规定时间内被处理的条件下，减少对该内存队列的空调度，避免无用的内存队列中是否有数据的检查操作，将获取数据的操作对象让给有数据且需要进行业务数据处理的内存队列，因而，在相同的硬件条件下提升了Redis的整体吞吐能力。

需要说明的是，在步骤110中，数据生产者(软件模块)会按照其产生的数据直接往Redis的队列推送数据，推送的目标内存队列名称根据数据的类型分别放置到不同的队列中。因此，数据生成者将数据放到A内存队列后，会通知负责A内存队列数据获取和处理的数据消费者(软件模块)，数据消费者根据该通知(该通知有内存队列的名称)去A内存队列获取数据。

实施例二

在实施例一的基础上，如图3所示，步骤120包括：

步骤121、根据数据获取指令，按照第一预设获取周期连续从内存队列中获取数据。

步骤122、当按照第一预设获取周期获取不到数据时，则按照第二预设获取周期获取数据。

步骤123、判断按照第二预设获取周期是否获取到数据时，如是，则执行步骤121，否则，执行步骤130，

其中，第一预设获取周期和第二预设获取周期分别为多个预设获取周期中不同的预设获取周期。

则步骤130包括：

当按照第二预设获取周期获取不到数据时，则进入休眠状态。

需要说明的是，从内存队列中获取数据的速率由系统的CPU处理能力决定，该频率由工作人员根据系统的配置信息进行预设，在系统运行时根据该预设的频率获取数据。频率可表示为每秒钟获取k条数据，例如，第一预设获取周期为1秒，那么等待1秒后去内存队列获取数据，获取数据的数量为k条，当第一预设获取周期为2秒时，那么等待2秒后去内存队列获取数据，获取数据的数量为2k条。

另外，需要说明的是，根据第一预设获取周期去内存队列获取数据时，获取到的数据数量可能会低于预设的获取频率对应的数据数量，例如，频率为每秒钟获取5条，可能在按照第一预设获取周期获取数据时，随着时间的延长，可能每隔第一预设获取周期获取到的数据条数为4条、3条或2条等。根据第二预设获取周期去内存队列获取数据时频率同第一预设获取周期，在此不再赘述。

对获取数据的时间周期进行两级设置(即设置两个周期用于获取数据)，当按照第一个周期获取不到数据时，则按照第二个周期获取数据，当按照第二个周期获取到数据时，则再以第一个周期获取数据，当按照第二个周期获取不到数据时，说明内存队列中没有数据，则进入休眠状态，避免了按照第一个周期和第二个周期对内存队列的连续多次空调度、浪费调度流量、降低Redis的整体吞吐能力等的问题。另外，设置两个周期，有利于对内存队列中的数据进行准确、彻底地调度，避免按照一个周期进行连续调度时因调度周期过短或调度周期单一而导致调度不到数据并造成对内存队列无数据的误判的问题。

另外，第一预设获取周期短于第二预设获取周期，例如，第一预设获取周期为1秒，第二获取周期为10秒。先按照一个较短的获取周期从内存队列中连续获取数据，当按照这个较短的获取周期获取不到数据时，再拉长获取数据的等待周期，按照第二个获取周期去内存队列中获取数据，有利于对内存队列中的数据进行准确、彻底地获取，避免按照一个周期进行连续调度时因调度周期过短而导致调度不到数据并造成对内存队列无数据的误判的问题。

实施例三

在实施例二的基础上，如图4所示，步骤122具体包括：

当按照第一预设获取周期连续m次获取不到数据时，则按照第二预设获取周期获取数据。

步骤130具体包括：

当按照第二预设获取周期连续n次获取不到数据时，则进入休眠状态。

其中，m和n分别为正整数。

设置连续获取不到数据的次数限制，进一步避免按照第一个周期和第二个周期对内存队列的连续多次空调度、浪费调度流量、降低Redis的整体吞吐能力等的问题。

需要说明的是，m和n为工作人员根据系统配置信息或其他因素进行预设，m和n的取值可以相同也可以不同。

实施例四

在实施例二的基础上，如图5所示，方法100还包括：

步骤140、当按照第二预设获取周期获取数据的过程中，再次接收到上述数据获取指令时，则按照第二预设获取周期完成一次数据获取动作后，执行步骤121。或者，

如图6所示，方法100还包括：

步骤150、当在休眠状态中，再次接收到上述数据获取指令，则执行步骤121。

需要说明的是，还可在上述实施例三的基础上，方法100还包括上述步骤140和上述150。

实施例五

一种Redis内存队列中数据的获取系统200，如图7所示，包括：

指令接收模块，用于接收数据获取指令，数据获取指令包括Redis内存队列名称。

数据获取模块，用于根据指令接收模块接收到的数据获取指令，从Redis内存队列名称对应的内存队列中按照预设获取周期获取数据，当按照预设获取周期获取不到数据时，则进入休眠状态。

实施例六

在实施例五的基础上，预设获取周期为多个，数据获取模块具体用于：

根据数据获取指令，按照第一预设获取周期连续从内存队列中获取数据；当按照第一预设获取周期获取不到数据时，则按照第二预设获取周期获取数据；当按照第二预设获取周期获取到数据时，则再次按照第一预设获取周期连续从内存队列中获取数据；当按照第二预设获取周期获取不到数据时，则进入休眠状态。

其中，数据获取模块中的第一预设获取周期和第二预设获取周期分别为多个预设获取周期中的不同的预设获取周期，且第一预设获取周期短于第二预设获取周期。例如，第一预设获取周期为1秒，第二获取周期为10秒。

实施例七

在实施例六的基础上，数据获取模块具体用于：

当按照第一预设获取周期连续m次获取不到数据时，则按照第二预设获取周期获取数据。

当按照第二预设获取周期连续n次获取不到数据时，则进入休眠状态。

其中，m和n分别为正整数。

实施例八

在实施例六的基础上，指令接收模块还用于：当数据获取模块在按照第二预设获取周期获取数据的过程中，再次接收数据获取指令。

数据获取模块还用于：当按照第二预设获取周期获取数据的过程中，根据指令接收模块再次接收的数据获取指令，按照第二预设获取周期完成一次数据获取动作后，按照第一预设获取周期连续从内存队列中获取数据。或者，

当在休眠状态中，根据指令接收模块再次接收的数据获取指令，按照第一预设获取周期连续从内存队列中获取数据。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种Redis内存队列中数据的获取方法，其特征在于，包括：

步骤1、接收数据获取指令，所述数据获取指令包括Redis内存队列名称；

步骤2、根据所述数据获取指令，从所述Redis内存队列名称对应的内存队列中按照预设获取周期获取数据；

步骤3、当按照所述预设获取周期获取不到数据时，则进入休眠状态。

2.根据权利要求1所述的一种Redis内存队列中数据的获取方法，其特征在于，所述预设获取周期为多个，所述步骤2包括：

步骤2.1、根据所述数据获取指令，按照第一预设获取周期连续从所述内存队列中获取数据；

步骤2.2、当按照所述第一预设获取周期获取不到数据时，则按照第二预设获取周期获取数据；

步骤2.3、当按照所述第二预设获取周期获取到数据时，则执行步骤2.1，否则，执行步骤3，

其中，所述第一预设获取周期和所述第二预设获取周期分别为多个所述预设获取周期中不同的预设获取周期；

则所述步骤3包括：

当按照所述第二预设获取周期获取不到数据时，则进入休眠状态。

3.根据权利要求2所述的一种Redis内存队列中数据的获取方法，其特征在于，所述第一预设获取周期的时长短于所述第二预设获取周期的时长。

4.根据权利要求2或3所述的一种Redis内存队列中数据的获取方法，其特征在于，所述步骤2.2具体包括：

当按照所述第一预设获取周期连续m次获取不到数据时，则按照所述第二预设获取周期获取数据；

所述步骤3具体包括：

当按照所述第二预设获取周期连续n次获取不到数据时，则进入休眠状态；

其中，m和n分别为正整数。

5.根据权利要求2或3所述的一种Redis内存队列中数据的获取方法，其特征在于，所述方法还包括：

步骤4、当按照所述第二预设获取周期获取数据的过程中，再次接收到所述数据获取指令时，则按照所述第二预设获取周期完成一次数据获取动作后，执行步骤2.1；

或者，

步骤5、当在休眠状态中，再次接收到所述数据获取指令，则执行步骤2.1。

6.一种Redis内存队列中数据的获取系统，其特征在于，包括：

指令接收模块，用于接收数据获取指令，所述数据获取指令包括Redis内存队列名称；

所述数据获取模块，用于根据所述指令接收模块接收的所述数据获取指令，从所述Redis内存队列名称对应的内存队列中按照预设获取周期获取数据，当按照所述预设获取周期获取不到数据时，则进入休眠状态。

7.根据权利要求6所述的一种Redis内存队列中数据的获取系统，其特征在于，所述预设获取周期为多个，所述数据获取模块具体用于：

根据所述数据获取指令，按照第一预设获取周期连续从所述内存队列中获取数据；当按照所述第一预设获取周期获取不到数据时，则按照第二预设获取周期获取数据；当按照所述第二预设获取周期获取到数据时，则再次按照第一预设获取周期连续从所述内存队列中获取数据；当按照所述第二预设获取周期获取不到数据时，则进入休眠状态，其中，所述第一预设获取周期和所述第二预设获取周期分别为多个所述预设获取周期中不同的预设获取周期。

8.根据权利要求7所述的一种Redis内存队列中数据的获取系统，其特征在于，所述数据获取模块中的所述第一预设获取周期的时长短于所述第二预设获取周期的时长。

9.根据权利要求7或8所述的一种Redis内存队列中数据的获取系统，其特征在于，所述数据获取模块具体用于：

当按照所述第一预设获取周期连续m次获取不到数据时，则按照所述第二预设获取周期获取数据；

当按照所述第二预设获取周期连续n次获取不到数据时，则进入休眠状态，

其中，m和n分别为正整数。

10.根据权利要求7或8所述的一种Redis内存队列中数据的获取系统，其特征在于，所述指令接收模块还用于：当所述数据获取模块在按照所述第二预设获取周期获取数据的过程中，再次接收所述数据获取指令；

所述数据获取模块还用于：

当按照所述第二预设获取周期获取数据的过程中，根据所述指令接收模块再次接收的所述数据获取指令，按照所述第二预设获取周期完成一次数据获取动作后，按照所述第一预设获取周期连续从所述内存队列中获取数据；

或者，

当在休眠状态中，根据所述指令接收模块再次接收的所述数据获取指令，按照所述第一预设获取周期连续从所述内存队列中获取数据。