CN109739913A - 一种基于可配置化的热点数据缓存处理方法及设备 - Google Patents

Abstract

本发明提供了一种基于可配置化的热点数据缓存处理方法，包括：接收外部系统推送的数据；将所述推送的数据发送给提供MySQL服务的MySQL服务装置和提供热点数据缓存服务的热点数据缓存服务装置；所述MySQL服务装置将接收的所述推送数据进行持久化操作，即存储在磁盘存储设备中；所述热点数据缓存服务装置根据其配置文件对所述推送数据进行过滤处理，并将过滤后的需要存储的数据存储在所述热点数据缓存服务装置中。

Description

一种基于可配置化的热点数据缓存处理方法及设备

技术领域

本发明涉及数据存储领域，具体涉及一种基于可配置化的热点数据缓存处 理方法及设备。

背景技术

MySQL是一种被广泛应用的开源关系数据库管理系统，由于关系数据库通过 将数据保存在不同的表中，并通过建立不同表的关联关系来实现数据的访问， 因而有效提高了数据库使用的灵活性和访问速度。MySQL所使用的SQL语言是 用于访问数据库的最常用标准化语言。MySQL由于其体积小、速度快、总体拥有 成本低，以及开放源码的特点，因而受到中小型网站的开发者的欢迎，成为这 类网站的首选数据库。

在网站数据库应用中，通常将数据信息存入到MySQL数据库中，但当网站 的访问量非常大时，由于受到磁盘存储系统访问的限制，MySQL的处理能力会下 降，从而使得网站的访问、交互效率降低。因此，就必须对MySQL数据库进行 必要的优化。

发明内容

为了解决上述技术问题，本发明基于将Redis作为MySQL数据库的缓存的 发明构思，利用Redis将数据存储在内存中的高性能特点，有效解决了MySQL 不适应大数据量访问的不足。其中，Redis是一种开源的使用ANSIC语言编写、 遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据存 储系统。Redis提供了包括Ruby、Python、PHP、Perl、Lua、Java、C#、C、C++以及GO等多种编程语言的客户端的应用程序接口(API)。Redis的特点是使 用了字典结构的存储数据，其中字典中的键值支持的数据类型有字符串(String),哈希(Hash),列表(list),集合(Set)和有序集合(sorted set),并 允许其他应用通过TCP协议读写字典中的内容。Redis还支持数据的持久化及数 据备份，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使 用。并且，本发明还针对Redis作为MySQL数据库的缓存以存储需要频繁访问 的热点数据，将频繁访问的数据存储在内存系统中时存在的在存储每种热点数 据类型时，都需要各自独立的接口判断其是否是热点数据类型，然后再确认是 否存入Redis中的判断过程所导致的代码冗余，系统维护复杂度的问题。通过 事先将热点数据类型信息动态地写入到配置文件中，在存储数据时解析配置文件完成对热点数据的过滤与封装，同时在热点数据存入Redis的操作中只用调 用一个公用的入库接口，因而在不同的项目或应用场景中，只需要修改配置文 件中的配置信息即可选择存入Redis中的缓存数据。进一步解决了当使用Redis 作为MySQL缓存时，需要人为过滤并编写不同热点数据类型的Redis入库接口 的问题。

为实现上述目的，第一方面，本发明提出了一种基于可配置化的热点数据 缓存处理方法，采用以下技术方案：

步骤1、接收外部系统推送的数据；

步骤2、将所述推送的数据发送给提供MySQL服务的MySQL服务装置和提供 热点数据缓存服务的热点数据缓存服务装置；

步骤3、所述MySQL服务装置将接收的所述推送数据进行持久化操作，即存 储在磁盘存储设备中；

步骤4、所述热点数据缓存服务装置根据其配置文件对所述推送数据进行过 滤处理，并将过滤后的需要存储的数据存储在所述热点数据缓存服务装置。

进一步的，在上述技术方案的基础上，所述配置文件包括所述热点数据的 类型属性。

进一步的，在上述技术方案的基础上，所述热点数据缓存服务装置包括 Redis存储系统。

进一步的，在上述技术方案的基础上，所述类型属性包括至少下述一种：

(1)数据存入到所述Redis存储系统中的数据类型；(2)数据的信息名称； (3)唯一标识字段；(4)数据的过期时间；(5)在所述Redis中存储时的关键 字(Key)值前缀。

进一步的，在上述技术方案的基础上，所述步骤4还包括：

根据所述配置文件中的信息对所述接收的推送数据进行过滤，过滤后的数 据属于需要存储的数据；

将所述需要存储的数据存储到所述Redis存储系统中。

进一步的，在上述技术方案的基础上，将所述需要存储的数据存储到所述 Redis存储系统中还包括：

将所述需要存储的数据进行封装，并调用统一的热点数据入库接口存储到 Redis存储系统中。

由于单位容量的电子存储器(如：固态盘)的价格远远高于磁存储的价格， 出于成本考虑，MySQL服务装置的磁盘存储设备和Redis存储系统的存储空间不 可能配置的完全相同，通常MySQL的磁盘存储空间要大于Redis存储系统的的 存储空间，但是，本发明提出的上述技术方案中，Redis存储系统由于仅存储热 点数据，因而其存储的数据量要远远小于MySQL数据库存储的数据量，因而会 出现MySQL数据库已经存满了数据，而Redis存储系统还存在大量空闲空间的 情况，从而导致存储空间浪费。为了充分利用所有的存储空间，本发明进一步 提出了存储空间利用最大化的策略，通过检测MySQL和Redis存储空间的关系， 适时地屏蔽热点数据缓存服务的数据过滤功能，在热点数据缓存服务装置的存 储空间容量允许的情况下，存储推送数据的全部内容，而此时，MySQL服务装置 由于可用空间不足则不再存储推送数据。即在上述技术方案的基础上，进一步 还包括下述步骤：

步骤5、所述MySQL服务装置检测所述磁盘存储设备的可使用空间，当存储 空间的可使用率低于第一阈值时，则所述MySQL服务装置丢弃所述推送数据； 同时所述热点数据缓存服务装置检测所述Redis存储系统的可使用空间，当所 述可使用空间的容量高于第二阈值时，则屏蔽所述热点数据缓存服务装置的过 滤功能，存储所述推送数据的全部信息，否则所述热点数据缓存服务装置也丢 弃所述推送数据。

进一步的，在上述技术方案的基础上，所述第一阈值为0.1，所述第二阈值 为0.1*C,其中，所述C为所述磁盘存储设备的总容量。

第二方面，本发明还提出了一种基于可配置化的热点数据缓存处理设备， 包括：MySQL服务装置和热点数据缓存服务装置，处理器和存储器，所述存储器 具有存储有程序代码的介质，当所述处理器读取所述介质存储的程序代码时， 所述处理设备能够执行上述基于可配置化的热点数据缓存处理的方法。

与现有技术方案相比，本发明实施例的技术方案至少具有以下有益的技术 效果：

利用Redis的高性能存储机制，将Redis作为MySQL的缓存解决并发量较 高的数据访问的性能问题，并进一步通过读取动态的配置文件调用统一的Redis 入库接口对需要存储的数据进行过滤和封装，避免了不同类型热点数据存入Redis时需要编写独立的接口，降低了项目中代码的冗余度，解耦了数据存储的 业务处理,提高了WEB项目整体的稳定性，节约了开发成本。此外，本发明还进 一步基于存储空间利用最大化的策略，有效地利用了数据存储空间。

附图说明

图1是本发明提出基于可配置的热点数据缓存处理方法的模块示意图；

图2是本发明提出的基于Redis和Logstash的数据采集方法的更佳实施例 结构及流程示意图；

图3是本发明提出的基于可配置的热点数据缓存处理设备的一个更佳实施 例的结构示意图。

下面对本发明进一步详细说明。但下述的实例仅仅是本发明的简易或者最 佳例子，并不代表或限制本发明的权利保护范围，本发明的保护范围以权利要 求书为准。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

为更好地说明本发明，便于理解本发明的技术方案，本发明的典型但非限 制性的实施例如下：这里需要特别说明的是本发明说明书所列的实施方式仅是 为了说明问题方便而给出的示例性实施方法，其不得理解为是本发明唯一正确 的实施方式，更不得理解为是对本发明保护范围的限制性说明。

在WEB项目开发中，特别是面向公众的WEB开发项目，由于数据存储带宽 的限制，最需要考虑的一个技术难点是如何应对大数据量的同时访问，传统的 解决思路主要包括：(1)降低每个访问用户的数据访问带宽，以防止访问用户 过多时导致数据量激增，避免数据存储系统的访问负荷突然增大，(2)采用高 性能的数据存储设备，如分布式存储设备，等。但是，第一种思路会造成用户 体验降低，第二种思路则会增加项目开发的成本。因此，上述传统解决思路对 于经费有限的中小型项目难以满足他们对性能的较高要求。

为了便于理解，以更佳的实施例为例来阐述本发明的发明构思以及实施方 式，但不表明本发明所保护的范围仅限于所述实施例。

参见图1，本实施例包括外部系统、提供MySQL服务的MySQL服务装置、提 供热点数据缓存服务的热点数据缓存服务装置。其中，MySQL服务装置和热点数 据缓存服务装置组成数据存储系统，MySQL服务装置和热点缓存服务装置分别连 接有MySQL数据库和Redis数据库。

当所述数据存储系统接收到外部系统推送的数据时，将所述推送的数据发 送给提供MySQL服务的MySQL服务装置和提供热点数据缓存服务的热点数据缓 存服务装置。其中，MySQL服务装置将接收的数据将接收的所述推送数据进行持 久化操作，即存储在MySQL磁盘存储设备中(参见图1中的“MySQL”)，进行数 据持久化操作，防止数据丢失；所述热点数据缓存服务装置根据其配置文件对 所述推送数据进行过滤处理，并将过滤后的需要存储的数据存储在所述热点数 据缓存服务装置。

由于热点数据缓存服务装置采用了比MySQL服务装置性能更好的存储方式， 其访问速度和带宽要优于MySQL服务装置，因此，当访问的数据集中于热点数 据缓存服务装置中时，即使同时访问的数据量急剧增加，也能够提供较高的访 问性能。

作为一个更佳的实施方式，热点数据缓存服务装置所提供的热点数据缓存 服务基于Redis存储系统实现，参见图1，其实现过程如下：

接收外部系统推送的数据；

解析热点数据配置文件获取热点数据的类型属性；所述数据配置文件可由 开发或者运维人员针对不同应用场景或者项目在开始或者部署时预先配置，在 配置文件中可指定存储的热点数据类型属性，可包括：数据存入Redis中的数 据类型(如：String、Hash等)；数据信息名称；唯一标识字段；数据的过期时 间；在Redis中存储时的key值前缀，等等。根据所述热点数据的类型属性对 所述推送的数据进行过滤，提取出属于热点数据类型属性的数据；

将所述需要存储的热点数据封装，可将热点数据名称、唯一标识字段等组 合作为关键字key值按照配置的数据类型进行存储。

调用Redis入库接口将封装的热点数据存储到Redis存储系统(参见图1 中的“Redis”)中。

由于Redis存储系统具有三个特点：(1)采用纯内存访问：Redis将所有数 据放在内存中，内存的响应时间大约为100纳秒，因而能够达到每秒万级别访 问速度；(2)使用非阻塞I/O：Redis使用epoll作为I/O多路复用技术的实现， 在加上Redis自身的事件处理模型将epoll中的链接、读写、关闭都转换为事 件，不在网络I/O上浪费过多的时间；(3)单线程处理方式：Redis的单线程避 免了线程切换和竞态产生的消耗。因此，本实施例通过对推送数据过滤、筛选， 将热点数据同时保存在访问性能更优的Redis数据库中，充分利用Redis数据 库优于MySQL数据库的访问性能，同时又能够利用MySQL低成本、大容量数据 存储的功能，使得本实施例既能获得低成本的大容量存储空间，又能获得较优 访问性能。

为了便于理解上述实施例，以下以一个简化的例子来说明，如外部系统推 送了一段数据，包括以下内容：

“苹果公司发布新的手机(字符串，标题)；2016年9月23日(字符串， 发表时间)；搜狐网(字符串，作者)；引发一波新的手机更新换代热，……(字 符串，全文内容)”。其中，括号里的内容是数据的类型属性，可见，数据内容 至少包括一种类型属性，在本例中，均包含两种类型属性，如“苹果公司发布 新的手机”的类型属性是“字符串”和“标题”。

预先配置的热点数据配置文件将以下数据类型属性作为热点数据：(字符 串，标题)和(字符串，作者)。

推送的数据同时被MySQL服务装置和热点数据缓存服务装置接收，MySQL服 务装置将上述推送的数据全部存储到磁盘存储系统中，实现数据的持久化保存。 而热点数据缓存服务装置先根据预先配置的热点数据配置文件对接收的推送数 据进行过滤，则过滤后的数据只剩下“苹果公司发布新的手机(字符串，标题)， 搜狐网(字符串，作者)”。过滤后的数据属于需要存储到热点数据缓存装置的 数据，对这些数据进行封装，然后调用Redis入库接口将封装的热点数据存入 到Redis中。当用户访问含有“苹果公司发布新的手机”的内容时，首先由热 点数据缓存服务装置利用其访问性能的优势，从Redis数据库提取出相关内容 展现给用户，如果用户对该数据的全部信息有兴趣时，则在进一步从MySQL数 据库提取全部数据发送给用户，如果用户对该数据没有兴趣，则不再从MySQL 数据库进一步提取数据，从而减少了MySQL数据的访问压力，整体改善了数据 存储系统的访问性能。

由于单位容量的电子存储器(如：固态盘)的价格远远高于磁存储的价格， 出于成本考虑，MySQL服务装置的磁盘存储设备和Redis存储系统的存储空间不 可能配置的完全相同，通常MySQL的磁盘存储空间要大于Redis存储系统的存 储空间，但是，由于Redis存储系统仅存储热点数据，因而其存储的数据量要 远远小于MySQL数据库存储的数据量，因而会出现MySQL数据库已经存满了数 据，而Redis存储系统还存在大量空闲空间的情况，从而导致存储空间浪费， 为了充分利用所有的存储空间，本发明提出了一种存储空间利用最大化策略， 通过检测MySQL和Redis存储空间的关系，适时地屏蔽热点数据缓存服务的数 据过滤功能，在热点数据缓存服务装置的存储空间容量允许的情况下，存储推 送数据的全部内容，而此时，MySQL服务装置则不再存储数据，以充分利用存储 空间。即在上述实施例的基础上，还包括下述步骤：

所述MySQL服务装置检测所述磁盘存储设备的可使用空间，当存储空间的 可使用率低于第一阈值时，则所述MySQL服务装置丢弃所述推送数据；同时所 述热点数据缓存服务装置检测所述Redis存储系统的可使用空间，当所述可使 用空间的容量高于第二阈值时，则屏蔽所述热点数据缓存服务装置的过滤功能， 封装并存储所述推送数据的全部信息，否则所述热点数据缓存服务装置也丢弃 所述推送数据。作为一个更优的实施例，所述第一阈值为0.1，所述第二阈值为 0.1*C,其中，其中，所述C为MySQL服务装置的磁盘存储设备的总容量。

参见图2，为本发明又一最佳实施方式，其用于日志的保存。提供外部服务 的外部服务装置定时将普通日志、敏感日志等日志信息推送给包括提供MySQL 服务和热点数据缓存服务的数据存储装置，MySQL服务负责将推送的各类日志信 息存入到MySQL存储系统中；热点数据配置文件将敏感操作日志的相关信息作 为热点数据，热点数据缓存服务根据热点数据配置文件将接收的推送数据过滤 出敏感操作日志，然后经过数据封装、入库，因而将经常被访问、展示的敏感 操作日志的数据作为热点数据存入到Redis存储系统中。

当外部Web服务发起Web页面请求时，将经常访问展示的敏感操作日志从 Redis数据库获取并进行展示。由于所展示的是用户经常访问的日志信息，通常 都是用户需要访问的日志信息，同时利用Redis数据库的较高的访问性能，因 此能够极大改善用户访问Web页面的用户体验度。并且，利用热点数据配置文 件，可以灵活地配置需要保存到Redis的热点数据，并通过统一的入库接口存 储到Redis数据库中，降低了代码的冗余度，解耦了数据存储的业务处理。提 高了web项目整体的稳定性，节约了开发成本。

参见图3，是本发明提出的基于可配置化的热点数据缓存处理设备的一个较 佳实施方式，包括：处理器1120和存储器1140，所述存储器1140具有存储有 程序代码的介质(计算机可读存储介质)，当所述处理器读取所述介质存储的程 序代码时，通过输入单元1130和输出单元1150的协助，使得所述电子设备能 够执行上述方法步骤。

对于方法实施，本发明提出的各种实施方式可以以使用例如计算机软件、 硬件或其任何组合的计算机可读介质来实施。对于硬件实施，本发明提出的各 种实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、 数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、 处理器、处理器、微处理器、微处理器、被设计为执行这里描述的功能的电子 单元中的至少一种来实施，在一些情况下，本发明提出的各种实施方式可以在 图所示的处理器1120中实施。对于软件实施，本发明提出的各种实施方式可以 与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存 储在存储器1140中并且由处理器1120执行。

申请人声明，本发明通过上述实施例来说明本发明的详细结构特征，但本 发明并不局限于上述详细结构特征，即不意味着本发明必须依赖上述详细结构 特征才能实施。所属技术领域的技术人员应该明了，对本发明的任何改进，对 本发明所选用部件的等效替换以及辅助部件的增加、具体方式的选择等，均落 在本发明的保护范围和公开范围之内。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施 方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进 行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征， 在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重 复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不 违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (9)

1.一种基于可配置化的热点数据缓存处理方法，其特征在于包括：

步骤1、接收外部系统推送的数据；

步骤2、将所述推送的数据发送给提供MySQL服务的MySQL服务装置和提供热点数据缓存服务的热点数据缓存服务装置；

步骤3、所述MySQL服务装置将接收的所述推送数据进行持久化操作，即存储在磁盘存储设备中；

步骤4、所述热点数据缓存服务装置根据其配置文件对所述推送数据进行过滤处理，并将过滤后的需要存储的数据存储在所述热点数据缓存服务装置中。

2.根据权利要求1所述的热点数据缓存处理方法，其特征在于所述配置文件包括所述热点数据的类型属性。

3.根据权利要求2所述的热点数据缓存处理方法，其特征在于所述热点数据缓存服务装置包括Redis存储系统。

4.根据权利要求3所述的热点数据缓存处理方法，其特征在于所述类型属性包括至少下述一种：

(1)数据存入到所述Redis存储系统中的数据类型；(2)数据的信息名称；(3)唯一标识字段；(4)数据的过期时间；(5)在所述Redis中存储时的关键字(Key)值前缀。

5.根据权利要求4所述的热点数据缓存处理方法，其特征在于所述步骤4还包括：

根据所述配置文件中的信息对所述接收的推送数据进行过滤，过滤后的数据属于需要存储的数据；

将所述需要存储的数据存储到所述Redis存储系统中。

6.根据权利要求5所述的热点数据缓存处理方法，其特征在于将所述需要存储的数据存储到所述Redis存储系统中还包括：

将所述需要存储的数据进行封装，并调用统一的热点数据入库接口存储到Redis存储系统中。

7.根据权利要求6所述的热点数据缓存处理方法，其特征在于还包括下述步骤：步骤5、所述MySQL服务装置检测所述磁盘存储设备的可使用空间，当存储空间的可使用率低于第一阈值时，则所述MySQL服务装置丢弃所述推送数据；同时所述热点数据缓存服务装置检测所述Redis存储系统的可使用空间，当所述可使用空间的容量高于第二阈值时，则屏蔽所述热点数据缓存服务装置的过滤功能，直接存储所述推送数据，否则所述热点数据缓存服务装置也丢弃所述推送数据。

8.根据权利要求7所述的热点数据缓存处理方法，其特征在于所述第一阈值为0.1，所述第二阈值为0.1*C,其中，所述C为所述磁盘存储设备的总容量。

9.一种基于可配置化的热点数据缓存处理设备，其特征在于包括：MySQL服务装置和热点数据缓存服务装置，处理器和存储器，所述存储器具有存储有程序代码的介质，当所述处理器读取所述介质存储的程序代码时，所述处理设备能够执行权利要求1-8任一项所述的方法。