CN106599199A - 一种数据缓存与同步方法 - Google Patents

Abstract

本发明涉及数据缓存与同步策略领域，尤其是一种基于Redis作为缓存容器根据查询语句匹配的数据缓存与同步方法。本发明所述的方法是在传统的数据缓存思路的基础上，以查询SQL语句的哈希值作为键，查询结果集为值，将其存储到内存数据库Redis中。通过一定的缓存确定与过时机制，来提高缓存的命中率；通过对查询对象结果集的有效性状态判断来保证数据的一致性。可以满足一些高并发、高可用实时系统的需求，在减缓数据库压力的同时突破原有性能瓶颈。本发明可以应用于数据缓存与同步策略的优化与相关实际应用场景中。

Description

一种数据缓存与同步方法

技术领域

本发明涉及数据缓存与同步策略领域，尤其是一种基于Redis作为缓存容器根据查询语句匹配的数据缓存与同步方法。

背景技术

随着信息技术的快速发展，现代社会信息量呈爆炸式增长，在大数据时代的今天应用数据体积激增，传统的数据架构已经不能满足大型互联网应用的高并发、高可用、优质响应时间等需求。由此产生了一系列的例如NoSQL的解决方案，其中Redis作为其中优质的选择之一，渐渐被各大企业采用作为其数据架构的补充。然而传统的Redis架构缓存的局限性在于，当要处理基于业务逻辑的，类似于关系型数据库的条件查询时，由于其key-value数据库的本身属性，导致在数据结构的设计，以及查询方式的处理上，对实施者要求相对较高，步骤也相对繁琐，对其查询效率有较大影响。如何在保证高效查询的基础上，使得缓存实施更加简便成为大家关心的话题。

发明内容

本发明解决的技术问题在于提供一种基于Redis作为缓存容器根据查询语句匹配的数据缓存与同步方法，这种方法能够解决当前Redis缓存中，基于关系型条件查询相对繁琐的问题。

本发明解决上述技术问题的技术方案是：

所述的方法是以查询SQL语句的哈希值作为键，查询结果集为值，将其存储到内存数据库Redis中，通过一定的缓存确定与过时机制，来提高缓存的命中率；通过对查询对象结果集的有效性状态判断来保证数据的一致性。

所述的以查询SQL语句的哈希值作为键是每次后台请求数据时根据其对数据库查询的SQL语句，通过特定的字符串Hash值计算算法，生成对应的32位整数作为缓存对应的键，以String类型存放在Redis中。

所述的以查询SQL查询结果集作为值是将每次后台请求的查询结果集，通过序列化的方式以String类型作为缓存对应的值存放在Redis中。

所述的通过一定的缓存确定与过时机制，来提高缓存的命中率；并不把所有数据都进行缓存处理，仅仅把在短时间内即5分钟内重复执行同一查询语句三次以上的数据进行缓存；与此同时通过计时器来控制缓存的过期处理，在某些已经缓存了的数据中，如果有超过一小时还没有被再次访问的，则把它们从Redis中删除以释放有效的内存空间；而当缓存数据超过内存的百分之八十时，启用缓存淘汰机制将部分缓存删除，以免造成内存溢出。

所述的对查询对象结果集的有效性状态判断来保证数据的一致性，需要在Redis中维护一个Hash数据结构来存储所有结果集的有效信息，其结构为：键-(域-值)；其中“键”是这个Hash结构的名称；“域”代表了数据库表名称或者数据实体名称；“值”是存在于缓存中，所有与“域”所在表相关的SQL查询语句的Hash值，多个值之间可用逗号分隔；每当数据有写操作发生时，都会由监视器去查询Redis中的有效信息Hash，把“域”等于涉及到的写操作数据库表名称旗下的所有“值”清空，并将以这些“值”为“键”的所有存在于Redis中的数据缓存删除。

所述方法的具体步骤为：

S1、搭建Redis服务：首先搭建Redis运行时环境，在官网下载Redis对应版本，在本地解压后，在该目录下运行Redis-cli可以打开客户端，输入ping命令，如果Redis返回pong回复，则说明Redis安装成功；

S2、创建缓存监视器：在Redis搭建完毕以后，创建一个缓存监视器来监视当前缓存的使用情况；缓存监视器的运行逻辑在于：监视器监视Redis中的缓存存放时间，每十分钟则检查所有有效信息存放Hash中的所有键所关联的最近读取时间，如果在最近一小时内都没有该数据的读取记录，则应该将其从缓存中删除，释放其占用的内存空间，同时更新有效信息Hash；当缓存的大小超过了缓存服务器上设置的最大内存的百分之八十时，启用缓存淘汰机制，缓存的淘汰机制可以使用最近最久未使用策略进行淘汰；

当后台对数据进行写操作时，则先对数据库进行写，然后把Redis的有效Hash中，对应的涉及到该对象所在表的“域”中，所有相关的“值”所代表的缓存键删除，并将其读取计数归零；整个过程需要事务支持，保证缓存有效信息的准确；

S3、创建缓存所需数据结构：以上缓存数据有效性判断的实现，需要在Redis中维护一个Hash数据结构来存储所有结果集的有效信息，其结构为：键-(域-值)；其中“键”则是这个Hash结构的名称，“域”代表了数据库表名称或者数据实体名称，“值”则是存在于缓存中，所有与“域”所在表相关的SQL查询语句的Hash值，多个值之间可用逗号分隔；每当数据有写操作发生时，都会由监视器去查询Redis中的有效信息Hash，把“域”等于涉及到的写操作数据库表名称旗下的所有“值”清空，并将以这些“值”为“键”的所有存在于Redis中的数据缓存删除；由此可以保证当数据发生改变时，缓存及时失去有效性，从而保证缓存数据与数据库中的数据保持一致。

本发明提供了一种基于Redis作为缓存容器根据查询语句匹配的数据缓存与同步方法；通过一定的缓存确定与过时机制，来提高缓存的命中率；通过对查询对象结果集的有效性状态判断来保证数据的一致性。可以满足一些高并发、高可用实时系统的需求，在减缓数据库压力的同时突破原有性能瓶颈。

附图说明

下面附图对本发明进一步说明：

图1是本发明数据架构示意图；

具体实施方式与步骤

如图1所示，本发明的方法实施步骤如下：

S1、搭建Redis服务：首先需要搭建Redis运行时环境，在官网下载Redis对应版本，在本地解压后，在该目录下运行Redis-cli可以打开客户端，输入ping命令，如果Redis返回pong回复，则说明Redis安装成功。

S2、创建缓存监视器：在Redis搭建完毕以后，需要创建一个缓存监视器来监视当前缓存的使用情况；缓存监视器的运行逻辑在于：监视器来监视Redis中的缓存存放时间，每十分钟则检查所有有效信息存放Hash中的所有键所关联的最近读取时间，如果在最近一小时内都没有该数据的读取记录，则应该将其从缓存中删除，释放其占用的内存空间，同时更新有效信息Hash。当缓存的大小超过了缓存服务器上设置的最大内存的百分之八十时，需要将部分缓存删除并将其读取计数归零，以免发生内存溢出的情况。缓存的淘汰规则可以使用最近最久未使用策略进行淘汰。

当后台对数据进行写操作时，则先对数据库进行写，然后把Redis的有效Hash中，对应的涉及到该对象所在表的“域”中，所有相关的“值”所代表的缓存键删除，并将其读取计数归零。整个过程需要事务支持，保证缓存有效信息的准确。

S3、创建缓存所需数据结构：以上缓存数据有效性判断的实现，需要在Redis中维护一个Hash数据结构来存储所有结果集的有效信息，其结构为：键-(域-值)。其中“键”则是这个Hash结构的名称，“域”代表了数据库表名称或者数据实体名称，“值”则是存在于缓存中，所有与“域”所在表相关的SQL查询语句的Hash值，多个值之间可用逗号分隔。每当数据有写操作发生时，都会由监视器去查询Redis中的有效信息Hash，把“域”等于涉及到的写操作数据库表名称旗下的所有“值”清空，并将以这些“值”为“键”的所有存在于Redis中的数据缓存删除。由此可以保证当数据发生改变时，缓存及时失去有效性，从而保证缓存数据与数据库中的数据保持一致。

S4、测试缓存效果并评估：当完成了以上的工作之后，就可以正式使用我们的缓存系统了。模拟高并发访问数据，在应用了Redis缓存以后和没有使用缓存时，比对他们的响应时间、最大可支持并发数等关键性能指标，从而得出缓存效果指标，同时对使用传统的缓存手法时，繁琐的操作进行比较，并根据这些对比指标做出对本发明效果的评估。

以上描述的实施案例只是本发明的一个实例而非全部，基于本发明中的实例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其他实例，都属于本发明的保护范围。

Claims (6)

1.一种数据缓存与同步方法，其特征在于：所述的方法是以查询SQL语句的哈希值作为键，查询结果集为值，将其存储到内存数据库Redis中，通过一定的缓存确定与过时机制，来提高缓存的命中率；通过对查询对象结果集的有效性状态判断来保证数据的一致性。

2.根据权利要求1所述的数据缓存与同步方法，其特征在于：所述的以查询SQL语句的哈希值作为键是每次后台请求数据时根据其对数据库查询的SQL语句，通过特定的字符串Hash值计算算法，生成对应的32位整数作为缓存对应的键，以String类型存放在Redis中。

3.根据权利要求1所述的数据缓存与同步方法，其特征在于：所述的以查询SQL查询结果集作为值是将每次后台请求的查询结果集，通过序列化的方式以String类型作为缓存对应的值存放在Redis中。

4.根据权利要求1所述的数据缓存与同步方法，其特征在于：所述的通过一定的缓存确定与过时机制，来提高缓存的命中率；并不把所有数据都进行缓存处理，仅仅把在短时间内即5分钟内重复执行同一查询语句三次以上的数据进行缓存；与此同时通过计时器来控制缓存的过期处理，在某些已经缓存了的数据中，如果有超过一小时还没有被再次访问的，则把它们从Redis中删除以释放有效的内存空间；而当缓存数据超过内存的百分之八十时，启用缓存淘汰机制将部分缓存删除，以免造成内存溢出。

5.根据权利要求1所述的数据缓存与同步方法，其特征在于：所述的对查询对象结果集的有效性状态判断来保证数据的一致性，需要在Redis中维护一个Hash数据结构来存储所有结果集的有效信息，其结构为：键-(域-值)；其中“键”是这个Hash结构的名称；“域”代表了数据库表名称或者数据实体名称；“值”是存在于缓存中，所有与“域”所在表相关的SQL查询语句的Hash值，多个值之间可用逗号分隔；每当数据有写操作发生时，都会由监视器去查询Redis中的有效信息Hash，把“域”等于涉及到的写操作数据库表名称旗下的所有“值”清空，并将以这些“值”为“键”的所有存在于Redis中的数据缓存删除。

6.根据权利要求1至5任一项所述的数据缓存与同步方法，其特征在于：

所述方法的具体步骤为：

S1、搭建Redis服务：首先搭建Redis运行时环境，在官网下载Redis对应版本，在本地解压后，在该目录下运行Redis-cli可以打开客户端，输入ping命令，如果Redis返回pong回复，则说明Redis安装成功；

S2、创建缓存监视器：在Redis搭建完毕以后，创建一个缓存监视器来监视当前缓存的使用情况；缓存监视器的运行逻辑在于：监视器监视Redis中的缓存存放时间，每十分钟则检查所有有效信息存放Hash中的所有键所关联的最近读取时间，如果在最近一小时内都没有该数据的读取记录，则应该将其从缓存中删除，释放其占用的内存空间，同时更新有效信息Hash；当缓存的大小超过了缓存服务器上设置的最大内存的百分之八十时，启用缓存淘汰机制，缓存的淘汰机制可以使用最近最久未使用策略进行淘汰；

当后台对数据进行写操作时，则先对数据库进行写，然后把Redis的有效Hash中，对应的涉及到该对象所在表的“域”中，所有相关的“值”所代表的缓存键删除，并将其读取计数归零；整个过程需要事务支持，保证缓存有效信息的准确；

S3、创建缓存所需数据结构：以上缓存数据有效性判断的实现，需要在Redis中维护一个Hash数据结构来存储所有结果集的有效信息，其结构为：键-(域-值)；其中“键”则是这个Hash结构的名称，“域”代表了数据库表名称或者数据实体名称，“值”则是存在于缓存中，所有与“域”所在表相关的SQL查询语句的Hash值，多个值之间可用逗号分隔；每当数据有写操作发生时，都会由监视器去查询Redis中的有效信息Hash，把“域”等于涉及到的写操作数据库表名称旗下的所有“值”清空，并将以这些“值”为“键”的所有存在于Redis中的数据缓存删除；由此可以保证当数据发生改变时，缓存及时失去有效性，从而保证缓存数据与数据库中的数据保持一致。