CN109446222A - 一种双缓存的数据存储方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种双缓存的数据存储方法、装置及存储介质，其通过将缓存分为一级缓存和二级缓存；其中，一级缓存直接在内存进行存储热点数据，二级缓存按照不同的数据类型进行分类存储热点数据；接收查询请求时，根据查询请求先到一级缓存中进行查询；若一级缓存中存在查询请求对应的查询数据，则向请求方返回查询数据，并将查询数据缓存至一级缓存中作为一级缓存的热点数据；若一级缓存无法获得查询数据则到二级缓存中进行查询；若二级缓存中存在查询请求对应的查询数据，则向请求方返回查询数据，并将查询数据缓存至二级缓存中作为二级缓存的对应的数据类型下的热点数据；从而降低磁盘开销，提高存储效率。

Description

一种双缓存的数据存储方法、装置及存储介质

技术领域

本发明涉及信息处理技术领域，特别是一种双缓存的数据存储方法及其应用该方法的装置和存储介质。

背景技术

随着网络通信技术的发展和生活节奏的加快，人们获知信息的方式越来越多，同时获知信息的速度也越来越快，例如，许多事件甚至刚刚发生就在网络上广为流传，而提供这些热点新闻的服务方往往需要应付大量用户在短时间内极大量的数据查询。服务方通常将获取到的数据采用数据库进行存储，存储的数据写入硬盘中，而在用户希望查询数据时如果直接从硬盘读取数据，会造成硬盘访问压力过大。通常采取的做法是将数据库中的数据写入缓存中，当接收到数据查询请求时从缓存中查找数据。

然而，对于数据库的操作大多涉及磁盘操作，特别是，对于在短时间内接收到大量数据查询请求的情况，即使在读取速度更快的缓存中查找数据有时也会造成缓存访问压力过大，而一旦读取速度更快的缓存崩溃，大量的数据查询请求就会直接读取数据库的硬盘，由于硬盘的读取速度不如缓存，可以预见硬盘也会崩溃。

为了尽量少操作磁盘，主流设计会为数据库增加缓存，先去缓存查找数据，缓存没有数据再去数据库进行查询，但是，传统一级缓存只能覆盖最新最热数据,无法覆盖到不同功能模块的热门数据。

发明内容

本发明为解决上述问题，提供了一种双缓存的数据存储方法、装置及存储介质，其将缓存分为一级缓存和二级缓存，并将二级缓存按照数据类型进行分类存储热点数据，从而降低磁盘开销，提高存储效率。

为实现上述目的，本发明采用的技术方案为：

一种双缓存的数据存储方法，其包括以下步骤：

a.将缓存分为一级缓存和二级缓存；其中，所述一级缓存直接在内存进行存储热点数据，所述二级缓存按照不同的数据类型进行分类存储热点数据；

b.接收查询请求，并根据所述查询请求先到所述一级缓存中进行查询；若所述一级缓存中存在所述查询请求对应的查询数据，则向请求方返回所述查询数据，并将所述查询数据缓存至所述一级缓存中作为所述一级缓存的热点数据；若所述一级缓存无法获得查询数据则到所述二级缓存中进行查询；

c.若所述二级缓存中存在所述查询请求对应的查询数据，则向请求方返回所述查询数据，并将所述查询数据缓存至所述二级缓存中作为所述二级缓存的对应的数据类型下的热点数据。

优选的，所述的步骤a中，所述一级缓存和所述二级缓存分别根据预设的缓存淘汰机制进行存储热点数据；所述的步骤b或步骤c中，当所述一级缓存或者所述二级缓存的缓存容量满时，则将所述查询数据根据预设的缓存淘汰机制缓存至所述一级缓存中作为所述一级缓存的热点数据，或者，将所述查询数据根据预设的缓存淘汰机制缓存至所述二级缓存中作为所述二级缓存的对应的数据类型下的热点数据。

进一步的，所述一级缓存和所述二级缓存分别根据预设的缓存淘汰机制进行数据淘汰；所述缓存淘汰机制采用LRU数据淘汰机制和/或Redis数据淘汰机制。

进一步的，所述一级缓存设有最大缓存容量；当所述一级缓存的缓存容量满时，则将所述一级缓存的淘汰数据缓存至所述二级缓存中。

优选的，所述二级缓存自身带持久化；当写入或修改数据时，先写入或修改所述一级缓存和所述二级缓存，所述二级缓存将所述写入或所述修改的数据进行保存，当达到预设规模时再写入元数据库。

优选的，所述二级缓存通过搭建主从结构集群实现高可用。

优选的，所述二级缓存按照不同的数据类型进行分类存储热点数据，是指根据业务类型或者功能属性进行划分数据类型。

与所述方法相对应的，本发明还提供一种双缓存的数据存储装置，其包括：

缓存设置模块，用于将缓存分为一级缓存和二级缓存；其中，所述一级缓存直接在内存进行存储热点数据，所述二级缓存按照不同的数据类型进行分类存储热点数据；

数据查询模块，用于接收查询请求，并根据所述查询请求先到所述一级缓存中进行查询；若所述一级缓存中存在所述查询请求对应的查询数据，则向请求方返回所述查询数据，若所述一级缓存无法获得查询数据则到所述二级缓存中进行查询；若所述二级缓存中存在所述查询请求对应的查询数据，则向请求方返回所述查询数据，若所述二级缓存无法获得查询数据则到元数据库中进行查询；

缓存更新模块，若所述一级缓存中存在所述查询请求对应的查询数据，则将所述查询数据缓存至所述一级缓存中作为所述一级缓存的热点数据；若所述二级缓存中存在所述查询请求对应的查询数据，则将所述查询数据缓存至所述二级缓存中作为所述二级缓存的对应的数据类型下的热点数据。

另外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，数据存储装置执行所述指令使得数据存储装置实现上述任一项所述的数据存储方法。

本发明的有益效果是：

(1)本发明的一种双缓存的数据存储方法、装置及存储介质，其通过将缓存分为一级缓存和二级缓存，并将二级缓存按照数据类型进行分类存储热点数据，从而降低磁盘开销，提高存储效率；

(2)本发明的一级缓存和二级缓存分别根据预设的缓存淘汰机制进行存储热点数据；当缓存容量满时，则将所述查询数据根据预设的缓存淘汰机制缓存至所述一级缓存中或者二级缓存的对应的数据类型下，从而保证一级缓存和二级缓存中的大概率是热点数据；

(3)本发明的一级缓存设有最大缓存容量；当所述一级缓存的缓存容量满时，则将所述一级缓存的淘汰数据缓存至所述二级缓存中，从而避免缓存数量过大而导致内存不足；

(4)本发明的二级缓存自身带持久化；所述二级缓存将所述写入或所述修改的数据先进行保存，当达到预设规模时再写入元数据库，从而降低磁盘IO的开销，提高存储效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一种双缓存的数据存储方法的流程简图；

图2为本发明一种双缓存的数据存储装置的结构示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的一种双缓存的数据存储方法，其包括以下步骤：

a.将缓存分为一级缓存和二级缓存；其中，所述一级缓存直接在内存进行存储热点数据，所述二级缓存按照不同的数据类型进行分类存储热点数据；

b.接收查询请求，并根据所述查询请求先到所述一级缓存中进行查询；若所述一级缓存中存在所述查询请求对应的查询数据，则向请求方返回所述查询数据，并将所述查询数据缓存至所述一级缓存中作为所述一级缓存的热点数据；若所述一级缓存无法获得查询数据则到所述二级缓存中进行查询；

c.若所述二级缓存中存在所述查询请求对应的查询数据，则向请求方返回所述查询数据，并将所述查询数据缓存至所述二级缓存中作为所述二级缓存的对应的数据类型下的热点数据。

所述的步骤a中，所述一级缓存和所述二级缓存分别根据预设的缓存淘汰机制进行存储热点数据；所述的步骤b或步骤c中，当所述一级缓存或者所述二级缓存的缓存容量满时，则将所述查询数据根据预设的缓存淘汰机制缓存至所述一级缓存中作为所述一级缓存的热点数据，或者，将所述查询数据根据预设的缓存淘汰机制缓存至所述二级缓存中作为所述二级缓存的对应的数据类型下的热点数据。其中，所述一级缓存和所述二级缓存分别根据预设的缓存淘汰机制进行数据淘汰；所述缓存淘汰机制采用LRU数据淘汰机制和/或Redis数据淘汰机制。

本实施例中，以LRU数据淘汰机制为例：当数据a被查询时，数据a会被存到一级缓存作为热点数据，而下次如果查询数据b，那数据b将作为热点数据存入一级缓存且排在数据a之前，如果数据a再次被查询则数据a将再次排名在数据b之前；而一级缓存是有容量限制的，当一级缓存容量满时，会开始淘汰数据，首先淘汰的是热点数据中排名最后的数据，再依次向前淘汰，这样的淘汰机制能保证一级缓存中的大概率是热点数据。同理，二级缓存也可采用LRU数据淘汰机制。

本实施例中，所述一级缓存设有最大缓存容量；当所述一级缓存的缓存容量满时，则将所述一级缓存的淘汰数据缓存至所述二级缓存中。所述二级缓存按照不同的数据类型进行分类存储热点数据，是指根据业务类型或者功能属性进行划分数据类型。二级缓存按功能属性或者业务类型分类为多个存储模块，如关系型元数据库可根据不同表分为不同的存储模块，用户一级缓存无法查询到，再根据查询表到不同的二级缓存中找到对应的存储模块。

所述二级缓存自身带持久化；当写入或修改数据时，先写入或修改所述一级缓存和所述二级缓存，所述二级缓存将所述写入或所述修改的数据进行保存，当达到预设规模时再写入元数据库。所述预设规模可根据需要进行设定，通常应结合二级缓存的持久化频率设定，持久化频率较高可等规模较大时再写入元数据库，从而避免频繁修改对磁盘开销较大。

另外，本实施例的所述二级缓存还可通过搭建主从结构(master-slave)集群实现高可用。例如，采用多台服务器以服务器集群的方式为终端提供数据库服务，服务器中设置有数据库；可以设置其中一个服务器为master服务器,其余服务器为slave服务器；Redis的主从复制功能非常强大，一个master可以拥有多个slave，而一个slave又可以拥有多个slave，如此下去，形成了强大的多级服务器集群架构。当设置好slave服务器后，slave会建立和master的连接，然后发送sync命令。无论是第一次同步建立的连接还是连接断开后的重新连接，master都会启动一个后台进程，将数据库快照保存到文件中，同时master主进程会开始收集新的写命令并缓存起来。后台进程完成写文件后，master就发送文件给slave，slave将文件保存到磁盘上，然后加载到内存恢复数据库快照到slave上。接着master就会把缓存的命令转发给slave。而且后续master收到的写命令都会通过开始建立的连接发送给slave。从master到slave的同步数据的命令和从client发送的命令使用相同的协议格式。当master和slave的连接断开时slave可以自动重新建立连接。如果master同时收到多个slave发来的同步连接命令，只会使用启动一个进程来写数据库镜像，然后发送给所有slave。

如图2所示，本发明还提供一种双缓存的数据存储装置，其包括：

缓存设置模块，用于将缓存分为一级缓存和二级缓存；其中，所述一级缓存直接在内存进行存储热点数据，所述二级缓存按照不同的数据类型进行分类存储热点数据；

数据查询模块，用于接收查询请求，并根据所述查询请求先到所述一级缓存中进行查询；若所述一级缓存中存在所述查询请求对应的查询数据，则向请求方返回所述查询数据，若所述一级缓存无法获得查询数据则到所述二级缓存中进行查询；若所述二级缓存中存在所述查询请求对应的查询数据，则向请求方返回所述查询数据，若所述二级缓存无法获得查询数据则到元数据库中进行查询；

缓存更新模块，若所述一级缓存中存在所述查询请求对应的查询数据，则将所述查询数据缓存至所述一级缓存中作为所述一级缓存的热点数据；若所述二级缓存中存在所述查询请求对应的查询数据，则将所述查询数据缓存至所述二级缓存中作为所述二级缓存的对应的数据类型下的热点数据。

本实施例所述的数据存储装置可以是计算机设备，该计算机设备可以是上述的服务器，数据存储装置包括至少一个处理器，通信总线，存储器以及至少一个通信接口。其中，处理器可以是一个通用中央处理器(CPU)，微处理器，ASIC特定应用集成电路，或一个或多个用于控制本发明方案程序执行的集成电路。通信总线可包括一通路，在上述组件之间传送信息。所述通信接口，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，WLAN无线局域网等。存储器可以是ROM只读存储器或可存储静态信息和指令的其他类型的静态存储设备，RAM随机存取存储器或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM电可擦可编程只读存储器、CD-ROM只读光盘或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。其中，所述存储器用于存储执行本发明方案的程序代码，并由处理器来控制执行。所述处理器用于执行所述存储器中存储的程序代码。数据存储装置的存储器中存储了一个或多个软件模块。数据存储装置可以通过处理器以及存储器中的程序代码来实现软件模块，实现上述实施例所说的数据存储方法。

另外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，数据存储装置执行所述指令使得数据存储装置实现上述任一项所述的数据存储方法。其中，数据存储装置可以是计算机设备，通过计算机设备中的处理器执行该指令，使得该数据存储装置实现上述实施例所说的数据存储方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例和存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.一种双缓存的数据存储方法，其特征在于，包括以下步骤：

a.将缓存分为一级缓存和二级缓存；其中，所述一级缓存直接在内存进行存储热点数据，所述二级缓存按照不同的数据类型进行分类存储热点数据；

b.接收查询请求，并根据所述查询请求先到所述一级缓存中进行查询；若所述一级缓存中存在所述查询请求对应的查询数据，则向请求方返回所述查询数据，并将所述查询数据缓存至所述一级缓存中作为所述一级缓存的热点数据；若所述一级缓存无法获得查询数据则到所述二级缓存中进行查询；

c.若所述二级缓存中存在所述查询请求对应的查询数据，则向请求方返回所述查询数据，并将所述查询数据缓存至所述二级缓存中作为所述二级缓存的对应的数据类型下的热点数据。

2.根据权利要求1所述的一种双缓存的数据存储方法，其特征在于：所述的步骤a中，所述一级缓存和所述二级缓存分别根据预设的缓存淘汰机制进行存储热点数据；所述的步骤b或步骤c中，当所述一级缓存或者所述二级缓存的缓存容量满时，则将所述查询数据根据预设的缓存淘汰机制缓存至所述一级缓存中作为所述一级缓存的热点数据，或者，将所述查询数据根据预设的缓存淘汰机制缓存至所述二级缓存中作为所述二级缓存的对应的数据类型下的热点数据。

3.根据权利要求2所述的一种双缓存的数据存储方法，其特征在于：所述一级缓存和所述二级缓存分别根据预设的缓存淘汰机制进行数据淘汰；所述缓存淘汰机制采用LRU数据淘汰机制和/或Redis数据淘汰机制。

4.根据权利要求3所述的一种双缓存的数据存储方法，其特征在于：所述一级缓存设有最大缓存容量；当所述一级缓存的缓存容量满时，则将所述一级缓存的淘汰数据缓存至所述二级缓存中。

5.根据权利要求1至4任一项所述的一种双缓存的数据存储方法，其特征在于：所述二级缓存自身带持久化；当写入或修改数据时，先写入或修改所述一级缓存和所述二级缓存，所述二级缓存将所述写入或所述修改的数据进行保存，当达到预设规模时再写入元数据库。

6.根据权利要求1至4任一项所述的一种双缓存的数据存储方法，其特征在于：所述二级缓存通过搭建主从结构集群实现高可用。

7.根据权利要求1至4任一项所述的一种双缓存的数据存储方法，其特征在于：所述二级缓存按照不同的数据类型进行分类存储热点数据，是指根据业务类型或者功能属性进行划分数据类型。

8.一种双缓存的数据存储装置，其特征在于，包括：

缓存设置模块，用于将缓存分为一级缓存和二级缓存；其中，所述一级缓存直接在内存进行存储热点数据，所述二级缓存按照不同的数据类型进行分类存储热点数据；

数据查询模块，用于接收查询请求，并根据所述查询请求先到所述一级缓存中进行查询；若所述一级缓存中存在所述查询请求对应的查询数据，则向请求方返回所述查询数据，若所述一级缓存无法获得查询数据则到所述二级缓存中进行查询；若所述二级缓存中存在所述查询请求对应的查询数据，则向请求方返回所述查询数据，若所述二级缓存无法获得查询数据则到元数据库中进行查询；

缓存更新模块，若所述一级缓存中存在所述查询请求对应的查询数据，则将所述查询数据缓存至所述一级缓存中作为所述一级缓存的热点数据；若所述二级缓存中存在所述查询请求对应的查询数据，则将所述查询数据缓存至所述二级缓存中作为所述二级缓存的对应的数据类型下的热点数据。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，数据存储装置执行所述指令使得数据存储装置实现权利要求1至7任一项所述的数据存储方法。