CN109445965B - 由Redis和MySQL实现的消息处理方法和设备 - Google Patents

Abstract

本发明提供了一种基于仅由Redis和MySQL这两种数据库实现的消息异步处理的方法和电子设备。所述方法包括：将所述产生的消息存储到Redis数据库的消息队列中；所述Redis数据库对所述消息队列进行预处理；所述应用系统从所述Redis数据库的消息队列中提消息；所述提取的消息保存到MySQL数据库中；所述应用系统调用消息处理接口处理消息；如果所述消息处理完成，则将MySQL中保存的所述提取的消息删除。本发明不仅可提供较高的消息响应速度，还具有较高的数据稳定性和安全性。

Description

由Redis和MySQL实现的消息处理方法和设备

技术领域

本发明涉及数据处理领域，具体涉及一种基于仅由Redis和MySQL这两种数据库实现的消息处理方法和设备。

背景技术

在开源数据系统中，常用的有Redis、Memcached等。其中，Redis是一个key-value存储系统，与分布式的快取系统Memcached相比，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，Redis支持各种不同方式的排序。与Memcached一样，为了保证效率，数据都是缓存在内存中。但区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。可见，Redis是一个具有更高性能的key-value数据库，很大程度补偿了Memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。

MySQL一种关系数据库管理系统，关系数据库将数据保存在不同的具有关联关系的表中，是建立在关系数据库模型基础上的数据库，其借助于集合代数等概念和方法来处理数据库中的数据，同时也是一个被组织成一组拥有正式描述性的表格，该形式的表格作用的实质是装载着数据项的特殊收集体，这些表格中的数据能以许多不同的方式被存取或重新召集而不需要重新组织数据库表格。

在数据处理领域，最常见的操作是请求-响应操作，请求通常是以消息的形式提供，处理消息有两种形式，一种是同步实时处理，另一种是异步非实时处理，对于前者，对请求的响应和处理时间要求极为严格，因而对系统的硬件处理能力有着更高的要求，从而导致其硬件成本昂贵，因而不适合被广泛应用。而异步消息处理方式由于不需要上述严格的时间限制，因而逐步发展为数据处理领域中最为常用的方式之一。在数据处理领域，主要是通过消息中间件实现消息的处理，主要如：(1)ActiveMQ支持JMS1.1和J2EE1.4规范的JMSProvider实现的消息中间件，(2)目前流行的RabbitMQ是基于erlang语言开发的开源消息队列系统，RabbitMQ采用AMQP(高级消息队列协议)的标准，(3)Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，可以支持每秒数百万的消息，支持通过Kafka服务器和消费机集群来分区消息。另外，ActiveMQ、RabbitMQ采用发送者把消息发送给消息服务器，消息服务器对于消息做一定的包装与处理，消息服务器将消息存放在若干队列/主题中并通过设置的方式将消息持久化保障数据的可靠性，在合适的时候，消息服务器会将消息转发给接受者。在这个过程中，发送和接收是异步的，也就是消息发送后无需等待响应，而且发送者和接收者的生命周期也没有必然关系。

可见，现有技术的实现方案适用于大多数对于消息不作处理仅用于中间存储的系统使用，Kafka对于中间消息的处理性能没有问题，但是对于数据安全性以及可靠性高的系统而言则不太实用，ActiveMQ、RabbitMq数据安全性以及可靠性高，但是性能相比于Kafka存在一定的差距，并且现有技术的实现都需要在系统中添加独立的第三方软件应用，使得系统的复杂度更加复杂。

发明内容

为了解决Redis在数据采集中的上述技术问题，本发明通过将Redis和MySQL相结合，提出了一种新的实现异步消息中间件的方法。为实现上述目的，本发明提出了一种基于仅由Redis和MySQL这两种数据库实现的异步消息中间件。具体的，采用以下技术方案：

第一方面，本发明提供了一种基于仅由Redis和MySQL这两种数据库组成实现的消息异步处理的方法，其中，所述Redis数据库和MySQL数据库都提供数据存储服务，还包括：

步骤1、将所述产生的消息存储到Redis数据库的消息队列中；

步骤2、所述Redis数据库对所述消息队列进行预处理；

步骤3、应用系统从所述Redis数据库的消息队列中提取消息；

步骤4、所述提取的消息保存到MySQL数据库中；

步骤5、所述应用系统调用消息处理接口处理消息；

步骤6、如果所述消息处理完成，则将MySQL中保存的所述提取的消息删除。

进一步的，在上述技术方案的基础上，作为更优的技术方案，所述步骤2的消息队列是list类型。

进一步的，在上述技术方案的基础上，作为更优的技术方案，所述步骤2中的预处理包括：

将具有联系的消息处理成一条消息。

进一步的，在上述技术方案的基础上，作为更优的技术方案，所述处理成一条消息包括：

确定所述具有联系的消息的关联关系；

根据关联关系选择处理方式。所述关联关系包括前后依赖关系、包容关系、互斥关系。

进一步的，在上述技术方案的基础上，作为更优的技术方案，所述提取的消息保存到MySQL数据库还包括：

针对每个提取的消息设置一计时器和时长阈值；

当所述计时器所计的时长超过时长阈值，则向所述应用系统发送提示信息，并将所述时长阈值延长一设定值，继续所述计时器的计时，并监测所述计时器的计时是否达到的所述被延长的时长阈值，如果达到且所述消息未被所述应用系统删除，则主动将所述消息删除。所述应用系统当接收到提示信息时，正常情况下会优先处理所述消息，消息处理完后，删除存储在MySQL中的所述消息。

进一步的，在上述技术方案的基础上，作为更优的技术方案，所述设定值按照如下方式确定：

设定值＝(所述MySQL数据库中用于存储所述消息的磁盘的空闲空间×调节系数)/(所述磁盘的单位时间内的平均数据的写入量)，所述调节系数为小于1的正数。

进一步的，在上述技术方案的基础上，作为更优的技术方案，所述调节系数为0.3。

另一方面，本发明还提供了一种基于仅由Redis数据库和MySQL数据库这两种数据库实现的消息异步处理的设备，其特征在于包括：

处理器和存储器，所述存储器具有存储有程序代码的介质，当所述处理器读取所述介质存储的程序代码时，所述电子设备能够执行上述方法。

与现有技术方案相比，本发明实施例的技术方案至少具有以下有益的技术效果：

本发明仅使用Redis和MySQL这两种流行的开源数据库，因而结构复杂度要远远低于现有的技术方案，本发明提出的消息队列能够在不增加系统的复杂度的情况下，实现消息的异步通信，并且Redis为基于内存的数据存储并且支持多种数据存储结构以及数据计算，消息存储不存在性能问题，另外，由于添加了MySQL进一步对消息进行存储，提升了消息的安全性。可见，本发明利用Redis和MySQL解决了消息安全性以及稳定性的问题。此外，还通过消息的预处理解决了对于中间数据需要计算，并且需要多种数据存储结构以及性能和安全性高的消息中间存储以及处理的问题。另外，由于本发明仅使用Redis和MySQL，不额外引入其他应用，因而能够在不增加系统复杂度的情况下实现需要使用数据存储性能高、安全性高的消息中间件。同时，使用基于仅由Redis和MySQL这两种数据库实现消息处理的中间件，可充分利用Redis提供的多种数据类型，如string(字符串)、list(链表)、set(集合)、zset(sorted set，有序集合)和hash(哈希类型),这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作；并且Redis为内存数据库，所以数据存储性能不存在问题；利用MySQL数据库的持久化存储数据保证了数据的可靠性，可见，本发明的上述技术方案不仅提供了多种数据存储结构以及对于数据的取交集并集和差集及更丰富的操作，而且进一步完善了消息中间件的功能。

附图说明

图1是本发明提出的仅由Redis和MySQL这两种数据实现的消息中间件的结构及流程示意图；

图2是本发明提出的仅由Redis和MySQL这两种数据实现的异步消息处理的一个更佳实施例结构及流程示意图；

图3是本发明提出的仅由Redis和MySQL这两种数据实现的异步消息处理的电子设备的一个更佳实施例的示意图。

下面对本发明进一步详细说明。但下述的实例仅仅是本发明的简易例子，并不代表或限制本发明的权利保护范围，本发明的保护范围以权利要求书为准。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

为更好地说明本发明，便于理解本发明的技术方案，本发明的典型但非限制性的实施例如下：这里需要特别说明的是本发明说明书所列的实施方式仅是为了说明问题方便而给出的示例性实施方法，其不得理解为是本发明唯一正确的实施方式，更不得理解为是对本发明保护范围的限制性说明。

在数据处理领域，最常见的操作是表查询操作，其一般采取“请求—响应”机制，因此，响应速度是首要考量因素，但是，响应速度一般与系统的实现成本成正相关的关系。因此，处于对实现成本控制的考虑，对系统实现成本要求相对低的异步非实时处理方式得到了更为广泛的应用。虽然，异步处理方式不像实时处理方式有着严格的响应速度，但是，响应速度的快慢仍然是考量异步处理方式的一个很重要的指标之一。除此之外，安全性、稳定性和复杂度也都是考量异步处理方式必不可少的因素。

现有技术方案中的Kafka存储性能高，但数据安全性不够，RabbitMQ、ActiveMQ数据存储安全性高，但是这使得它的可扩展性差，速度却又较慢。同时，由于RabbitMQ、ActiveMQ对数据做了封装处理，所以存储的数据封装后也比较大，还需要单独在服务器上安装相应的应用服务程序，增加了服务器的复杂度，并且对于已存储的数据无法进行二次计算处理能力。

为了兼顾低硬件成本和高响应速度、可靠性、安全性等诸多因素，本发明将Redis和MySQL创新的结合在一起，参见图1，为本发明提出的仅由Redis和MySQL这两种数据库实现的消息中间件的结构及流程示意图。从左至右，包括4个主要部分：(1)用于基于结果产生消息的应用系统，其作为消息的产生端；(2)提供数据存储服务的Redis；(3)提供数据存储服务的MySQL，(4)处理所述消息的应用系统，其作为所述消息的消费端。

首先，产生消息的应用系统产生需要处理的消息，并将消息存储到Redis的list队列中；

其次，通过Redis的计算能力对消息进行相关的计算并得到结果，消费消息的应用系统将消息从Redis的list队列中获取消息，然后，同时将所述消息保存到MySQL中，实现消息的数据持久化，因而确保了消息处理成功之前的数据的可靠性和安全性；

消费消息的应用系统将数据保存到MySQL中后，再调用处理消息的接口处理消息；当消息处理成功返回后，再将MySQL中的消息删除。

当消费消息的应用系统处理消息的速度比产生消息的应用系统的产生消息的速度慢时，则产生的消息会被排队成队列，形成消息队列，作为另一个更佳实施方式，消息队列可以list(列表)类型的形式存储。在这些消息中，往往会具有相应的联系，例如，后进入队列的消息是先进入队列的至少一条消息的重复消息(由用户重复发送同样的请求消息导致)，或者后进入队列的消息与先进入队列的至少一条消息的(由不同用户发送同样的查询表请求消息导致)请求的内容完全相同，等等，此时，可预先对保存在Redis数据库的消息队列进行预处理，具体地，首先确定所述具有联系的消息的关联关系，然后根据关联关系选择处理方式。例如，对重复的多条消息进行去重操作，从而可减少消息队列中的消息数量，对请求源不同但请求内容完全相同的多条消息进行合并操作，从而可减少实际的消息处理操作，如多个用户发出的查询同一个内容的表查询表操作，可将这些操作合并成一条包括多个请求源的操作。通过对消息队列中的消息进行预处理，从而将具有联系的多条消息处理成一条消息，因而大大提升了消息处理的效率。

为了避免当消息处理时间较长时，导致保存到MySQL数据库中的消息长时间停留所引起的消息阻塞现象(即后进入消息队列的消息长时间得不到响应处理)和数据库数据膨胀现象(数据库中的数据长时间停留)，作为一个更佳的实施方式，当获取的消息保存到MySQL数据库时，针对每个提取的消息设置一计时器和时长阈值；当所述计时器所计的时长超过时长阈值，则向所述应用系统发送提示信息，收到提示信息的应用系统优先对所述消息进行处理。并将所述时长阈值延长一设定值，继续所述计时器的计时，并监测所述计时器的计时是否达到的所述被延长的时长阈值，如果达到且所述消息未被所述应用系统删除，则主动将所述消息删除。通过计时器监控消息在MySQL数据库中的存储时间，至少具有以下效果：(1)可以有效减少当消费消息的应用系统成功处理完消息时所需要的删除消息的时间，提升了消息处理的整体效率；(2)可以提前腾空数据库空间，既有利于多个消费消息的应用系统同时共享同一个MySQL数据库空间(避免由于某一个消费消息的应用系统长时间占用数据库空间，导致其他消费消息的应用系统缺乏足够的数据库空间存储消息)；(3)有利于所述消费消息的应用系统获取多个具有关联关系的消息同时处理；(4)通过提醒机制，便于所述消费消息的应用系统合理调度消息的处理顺序。可见，通过主动删除消息既可有效避免消息阻塞和数据膨胀现象，也有利于多应用系统并发共享同一个数据库空间。作为一个优选方式，所述设定值按照如下方式确定：

设定值＝(所述MySQL数据库中用于存储所述消息的磁盘的空闲空间×调节系数)/(所述磁盘的单位时间内的平均数据的写入量)，所述调节系数为小于1的正数。其中，所述调节系统优选为0.3。

参见图2，为本发明的一个应用于某公司项目中的更佳实施方式，通过仅由Redis和MySQL数据库来实现异步消息中间件。该公司项目中的规则计算引擎主要用于实现规则、策略的计算并将计算结果(告警、安全事件)二次计算之后保存到Redis数据库中，规则引擎控制台系统从Redis数据库中获取的计算结果首先将计算结果保存到MySQL数据库中保证数据安全性，然后解析计算结果(告警、安全事件)并封装数据封装为需要发送的告警和安全事件邮件，将封装后的邮件信息发送给用户。其流程如下：

(1)首先规则计算引擎获取用户行为日志，并调用计算接口开始分析计算用户行为日志，计算产生指标结果、规则结果、策略结果；

(2)由于规则引擎系统对于系统性能要求较高，但又不希望增加系统的复杂度，因此，对于计算结果的处理虽然采取了异步处理方式，但将对应的指标、规则、策略等计算结果保存到具有较快速度的Redis数据库的内存中，兼顾了性能和系统复杂度的平衡；

(3)通过Redis数据库的预处理，即二次计算得到对应的告警和安全事件信息；

(4)规则引擎控制台系统(即图中的“应用服务器”)从Redis中获取告警和安全事件消息，首先数据持久化写入到MySQL数据中；

(5)写入数据到MySQL中后，封装告警和安全事件消息为需要发送的邮件消息，并将邮件信息发送给用户；

(6)当邮件信息成功发送给用户后，规则引擎控制台系统删除MySQL数据库中的消息。

本发明利用Redis的高性能的存储机制，可以加快数据的处理，同时利用MySQL数据库，实现的数据的稳定性和安全性。

作为本发明的第二个方面，还提供一种电子设备，参见图3，包括：处理器1120和存储器1140，所述存储器1140具有存储有程序代码的介质(计算机可读存储介质)，当所述处理器读取所述介质存储的程序代码时，通过输入单元1130和输出单元1150的协助，使得所述电子设备能够执行上述方法步骤。

对于方法实施，本发明提出的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，本发明提出的各种实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、处理器、微处理器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，本发明提出的各种实施方式可以在图所示的处理器1120中实施。对于软件实施，本发明提出的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器1140中并且由处理器1120执行。

申请人声明，本发明通过上述实施例来说明本发明的详细结构特征，但本发明并不局限于上述详细结构特征，即不意味着本发明必须依赖上述详细结构特征才能实施。所属技术领域的技术人员应该明了，对本发明的任何改进，对本发明所选用部件的等效替换以及辅助部件的增加、具体方式的选择等，均落在本发明的保护范围和公开范围之内。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (3)

1.一种基于仅由Redis和MySQL这两种数据库实现的消息异步处理的方法，所述Redis数据库和MySQL数据库都提供数据存储服务，其特征在于包括：

步骤1、将产生的消息存储到Redis数据库的消息队列中；

步骤2、所述Redis数据库对所述消息队列进行预处理；

步骤3、应用系统从所述Redis数据库的消息队列中提取消息；

步骤4、应用系统将所述提取的消息保存到MySQL数据库中；

步骤5、所述应用系统调用消息处理接口处理所述提取的消息；

步骤6、如果所述消息处理完成，则将MySQL中保存的所述提取的消息删除；

所述提取的消息保存到MySQL数据库还包括：

针对每个提取的消息设置一计时器和时长阈值；

当所述计时器所计的时长超过时长阈值，则向所述应用系统发送提示信息，并将所述时长阈值延长一设定值，继续所述计时器的计时，并监测所述计时器的计时是否达到的所述被延长的时长阈值，如果达到且所述消息未被所述应用系统删除，则主动将所述消息删除；

所述步骤2的消息队列是List类型；

所述步骤2中的预处理包括：将具有联系的消息处理成一条消息；

所述处理成一条消息包括：

确定所述具有联系的消息的关联关系；

根据关联关系选择处理方式；

所述设定值按照如下方式确定：设定值＝(所述MySQL数据库中用于存储所述消息的磁盘的空闲空间×调节系数)/(所述磁盘的单位时间内的平均数据的写入量)；

所述调节系数为0.3。

2.一种基于仅由Redis和MySQL这两种数据库实现的消息异步处理的电子设备，其特征在于包括：

处理器和存储器，所述存储器具有存储有程序代码的介质，当所述处理器读取所述介质存储的程序代码时，所述电子设备能够执行权利要求1所述的方法。

3.一种计算机可读存储介质，该存储介质存储有计算机程序指令，通过执行所述计算机程序指令，实现如权利要求1所述的方法。

Images