CN108614847B

CN108614847B - 一种数据的缓存方法及系统

Info

Publication number: CN108614847B
Application number: CN201611253381.XA
Authority: CN
Inventors: 莫迪
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2016-12-30
Filing date: 2016-12-30
Publication date: 2022-02-01
Anticipated expiration: 2036-12-30
Also published as: CN108614847A

Abstract

本发明公开了一种数据的缓存方法及系统，在JVM中将本地的JVM Cache用来存储应用所需数据且在JVM设置异步刷新功能，当要获取应用所需数据时，由JVM判断是否JVM Cache开启并具有所获取的数据，如果是，则直接返回，并通过设置的异步刷新功能进行应用所需数据由源数据库存储到redis集群和JVM Cache的操作；否则，则从redis集群获取应用所需数据。这样，由于JVM Cache中的应用所需数据是采用异步刷新功能实时缓存的，所以不会出现存储数据滞后的问题，且在流量大时，也不会出现JVM+redis数据库集群的宕机问题。

Description

一种数据的缓存方法及系统

技术领域

本申请涉及计算机领域，特别涉及一种数据的缓存方法及系统。

背景技术

目前，随着互联网技术的发展，大量第三方应用和用户通过网络获取数据。对于一些营销功能的应用来说，应用接口日请求数据的数量超过10亿，大促期间的请求数量的峰值流量达到2000万/分，这会对数据源的存取造成较大压力，甚至是宕机风险。为了应对上述问题，越来越多的非实时数据需要放入到缓存中，以应对高速发展的数据存取需求。

目前，各种应用存储数据的方法为：首先，在网络侧平台构建基于Java语言的虚拟机，称为JVM，在网络侧平台还设置redis数据库集群，redis数据库集群采用ANSIC语言编写，支撑网络，是可基于内存亦可持久化的日志型数据库，可以提供多种计算机编程语言的接口，由JVM+redis数据库集群构成提供应用所需的数据的网络侧；其次，在JVM+redis数据库集群中定时的将源数据库中的已有的应用所需的数据进行存储，在这里，数据库可以是持久化关系型或非关系型数据库；再次，当查询应用所需的数据时，直接到JVM+redis数据库集群查询获取，如果获取失败，则先反馈为空，并且JVM+redis数据库集群与源数据库进行交互，从源数据库得到查询获取失败的数据后，缓存至redis数据库集群中。

采用上述方法存储数据存在缺陷：第一，定时将源数据库中已有的应用所需数据缓存到JVM+redis数据库集群中，存在缓存数据滞后的问题，业务体验度差；第二，获取数据失败时，需要JVM+redis数据库集群与源数据库进行交互，当流量洪峰且获取数据失败率大时，大量数据需要在JVM+redis数据库集群与源数据库之间传输，则造成JVM+redis数据库集群的压力大，甚至宕机的风险。

发明内容

有鉴于此，本申请实施例提供一种数据的缓存方法，该方法能够在进行数据缓存时，解决缓存数据滞后及JVM+redis数据库集群的宕机问题。

本申请实施例还提供一种数据的缓存系统，该系统能够解决解决缓存数据滞后及JVM+redis数据库集群的宕机问题。

本发明实施例的方案是这样实现的：

一种数据的缓存方法，该方法包括：

Java虚拟机JVM接收应用所需数据的查询请求；

JVM判断JVM静态缓存Cache是否开启且在JVM Cache中缓存了要查询的应用所需数据；

如果是，JVM将JVM Cache中缓存了的要查询的应用所需数据返回，并启动设置的异步刷新功能进行应用所需数据由源数据库存储到redis集群和JVM Cache的操作；

如果否，JVM从redis集群获取要查询的应用所需数据返回。

一种数据缓存的系统，所述包括：控制处理模块、异步刷新模块、JVM Cache模块、redis集群及源数据库，其中，

控制模块，用于接收应用所需数据的查询请求，判断JVM Cache是否开启且在JVMCache中缓存了要查询的应用所需数据，如果是，则将JVM Cache中缓存了的要查询的应用所需数据返回，并启动异步刷新模块；如果否，则从redis集群获取要查询的应用所需数据返回；

异步刷新模块，用于在控制模块的控制下启动，进行应用所需数据由源数据库存储到redis集群和JVM Cache的操作；

JVM Cache模块，用于缓存应用所需数据；

redis集群，用于缓存应用所需数据；

源数据库，用于缓存应用所需数据，在异步刷新模块的控制下将缓存应用所需数据传给给JVM Cache模块和redis集群。

从上述方案可以看出，本发明实施例在JVM中将本地的静态缓存(Cache)用来存储应用所需数据且在JVM设置异步刷新功能，当要获取应用所需数据时，由JVM判断是否JVMCache开启并具有所获取的数据，如果是，则直接返回，并通过设置的异步刷新功能进行应用所需数据由源数据库存储到redis集群和JVM Cache的操作；否则，则从redis集群获取应用所需数据。这样，由于JVM Cache中的应用所需数据是采用异步刷新功能实时缓存的，所以不会出现存储数据滞后的问题，且在流量大时，也不会出现JVM+redis数据库集群的宕机问题。

附图说明

图1为本发明实施例提供的数据缓存的方法流程图；

图2为本发明实施例提供的数据缓存的系统结构示意图；

图3为本发明实施例提供的数据查询具体例子流程图；

图4为本发明实施例提供的异步刷新功能的执行流程图；

图5为本发明实施例提供的控制模块的控制方法流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明作进一步详细说明。

本发明实施例在JVM中将本地的Cache用来存储应用所需数据且在JVM设置异步刷新功能，当要获取应用所需数据时，由JVM判断是否JVM Cache开启并具有所获取的数据，如果是，则直接返回所获取的数据，并通过设置的异步刷新功能进行应用所需数据由源数据库存储到redis集群和JVM Cache的操作；否则，则从redis集群获取应用所需数据。

更进一步地，在redis集群获取了应用所需数据之后，还包括：将redis集群获取的所需数据存储到JVM Cache中，以便后续提供应用所需数据时直接提供，在这里，JVM Cache是开启状态的。

这样，由于JVM Cache中的应用所需数据是采用异步刷新功能实时缓存的，所以不会出现存储数据滞后的问题，且在流量大时，也不会出现JVM+redis数据库集群的宕机问题。在获取应用所需数据时，JVM直接到JVM Cache中获取到，而不需要再访问redis集群或进一步访问源数据库获取到，提高了获取应用所需数据的效率且不会造成网络堵塞。

图1为本发明实施例提供的数据缓存的方法流程图，其具体步骤为：

步骤101、JVM接收应用所需数据的查询请求；

步骤102、JVM判断JVM Cache是否开启且在JVM Cache中缓存了要查询的应用所需数据，如果是，执行步骤103；如果否，执行步骤104；

步骤103、JVM将JVM Cache中缓存了的要查询的应用所需数据返回，并启动设置的异步刷新功能进行应用所需数据由源数据库存储到redis集群和JVM Cache的操作；

在本步骤中，所述redis集群是开启的，所述JVM Cache是开启的，如果其中一个未开启，则不进行未开启设备的存储操作；

步骤104、JVM从redis集群获取要查询的应用所需数据返回。

在本步骤中，redis集群预先已经从源数据库中已经获取到了应用所需数据；

在本步骤中，还包括：将redis集群获取的所需数据存储到JVM Cache中，以便后续提供应用所需数据时直接提供，这时，JVM Cache是开启状态的。

在该方法中，在步骤104之前，还包括：JVM判断是否redis集群开启并具有要查询的应用所需的数据，如果是，则执行步骤104；如果否，则从源数据库获取要查询的应用所需的数据，获取到直接返回，并将所获取的数据写入到JVM Cache及redis集群中，在这里，JVMCache及redis集群是开启状态的。

在该方法中，在启动设置的异步刷新功能之后，该方法还包括：判断是否达到异步刷新功能设置的刷新上限值，如果是，则结束本流程；如果否，则进一步判断是否达到源数据库设置的保护资源上限，如果是，则结束本流程，如果否，则进行应用所需数据由源数据库存储到redis集群和JVM Cache的操作。

图2为本发明实施例提供的数据缓存的系统结构示意图，包括：控制处理模块、异步刷新模块、JVM Cache模块、redis集群及源数据库，其中，

JVM Cache模块，用于缓存应用所需数据；

redis集群，用于缓存应用所需数据；

在该结构中，redis集群，还用于在将从源数据库接收的应用所需数据存储后，存储到JVM Cache中。

在该结构中，所述控制模块，还用于判断是否redis集群开启并具有要查询的应用所需的数据，如果是，则执行从redis集群获取要查询的应用所需数据返回；如果否，则从源数据库获取要查询的应用所需的数据，获取到直接返回，并将所获取的数据写入到JVMCache及redis集群中。

在该结构中，所述异步刷新模块，还用于判断是否达到异步刷新功能设置的刷新上限值，如果是，则结束本流程；如果否，则进一步判断是否达到源数据库设置的保护资源上限，如果是，则结束本流程，如果否，则进行应用所需数据由源数据库存储到redis集群和JVM Cache的操作。

可以看出，在该结构中，主要包括了六个模块，其中，

异步刷新模块，主要用于在缓存数据尚未失效前，及时更新缓存数据，杜绝大量数据失效后造成的集中回馈到源数据库的问题，其能有效降低源数据库峰值请求量，有效保护源数据库；JVM Cache用于将数据存储存储在JVM本地，其优点是读取速率快，但存在集群环境同步难的问题，主要用来存储热点数据，使用近期最少使用算法(LRU，Least RecentlyUsed)算法管理数据，通过重写HashMap来实现；redis集群，用于将数据存储在redis集群中，其具有灵活扩展、易维护、存储容量大的特点，可以长时间存储大量数据；读写效率低于JVM Cache，高于源数据库；源数据库，一般采用持续化或非关系型数据库，比如Mysql、Oracle、Mongo或/和HBase等数据库，其具有稳定、安全、存储容量大等特点，适合长时间存储大量数据；但其读取效率通常不高，通常会成为现代互联网系统的性能瓶颈点，且其存储的数据往往非常重要，属于重点保护区域；控制模块，用于控制各个模块的开启以及相应限制，包括：JVM Cache开启状态、JVM Cache缓存大小(包括长度和存储行数上限)、JVM Cache缓存时效(缓存失效时间：ms)、redis集群开启状态、redis集群缓存时效(缓存失效时间：ms)，源数据库请求速率限制(速率按各个服务器单独控制)、异步数据刷新阈值(时间：ms)及读取法方法默认超时时间(时间：ms)。

在该结构中，还包括设置模块，用于开放控制模块的控制项给用户灵活配置，支持spring、zookeeper同步及单实例内存等多种形式。

图3为本发明实施例提供的数据查询具体例子流程图，在例子中，应用所需数据简称为数据，其具体步骤为：

步骤301、判断是否开启了JVM Cache，如果是，则转入步骤305，如果否，则转入步骤302；

步骤302、判断是否开启了redis集群，如果是，则转入步骤306执行；如果否，则转入步骤303执行；

步骤303、判断源数据库是否超过了设置的流量上限值，如果是，则执行步骤304；如果否，则执行308；

步骤304、判断是否本次请求数据耗时超过了设置的超时时间，如果是，则结束；如果否，则返回步骤303执行；

步骤305、从JVM Cache获取数据成功，执行步骤309；

步骤306、从redis集群中读取数据成功，执行步骤307；

步骤307、从redis集群中将数据更新到JVM Cache中，执行步骤309；

步骤308、从源数据库将数据更新到redis集群中以及更新到JVM Cache中，结束；

步骤309、判断是否到达异步刷新功能设置的异步刷新更新数据量，如果是，则执行步骤310；如果否，则结束；

步骤310、判断是否超过设置的资源保护上限，如果是，则结束；如果否，执行步骤311；

步骤311、采用异步刷新功能进行异步刷新，从redis集群获取数据。

图4为本发明实施例提供的异步刷新功能的执行流程图，其具体步骤为：

步骤401、判断异步刷新功能是否正在执行异步刷新操作，如果是，则结束，如果否，则执行步骤402；

在本步骤中，正在执行异步刷新操作是判断异步刷新功能的缓存key是否在被执行；

步骤402、判断异步刷新功能是否达到设置的更新界限，如果是，则执行步骤403；如果否，则结束本流程；

在该步骤中，更新界限的含义为缓存数据达到需更新的标准。具体标准可以为(满足一种具体标准就可以)：1、数据发生变化；2、缓存将要失效或过期(若缓存剩余有效时长小于缓存总时长的1/3，即为将要失效)；

步骤403、判断读取源数据库是否超过流量上限限制，如果是，则结束本流程，如果否，则执行步骤404；

步骤404、从源数据库读取数据，执行步骤405及步骤407；

步骤405、判断是否开启了redis集群，如果是，则执行步骤406；如果否，则结束本流程；

步骤406、将读取的数据写入到redis集群中，结束；

步骤407、是否开启了JVM Cache，如果是，则执行步骤408，如果否，则结束本流程；

步骤408、写入或更新JVM Cache中的相应数据。

图5为本发明实施例提供的控制模块的控制方法流程图，其具体步骤为：

步骤501、进入到对数据缓存的系统管理页面(setting)，通过页面通过提示配置相应参数；

步骤502、进入所述系统的控制模块，如果调整参数属于JVM Cache部分，则进入步骤503；如果调整参数属于redis集群，则进入步骤504；如果调整参数属于源数据库，则进入步骤505；

步骤503、调整JVM Cache中的参数，结束；

步骤504、调整redis集群中的参数，结束；

步骤505、调整源数据库中的参数，结束。

采用本发明实施例，可以在各个营销中心使用，使得Mysql QPS从80000降低到2000。接口TP99降到2毫秒(ms)，支撑单接口日PV11亿，有效提高系统的稳定性，提高接口体验。

以上举较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种数据的缓存方法，其特征在于，该方法包括：

Java虚拟机JVM接收应用所需数据的查询请求；

如果是，JVM将JVM Cache中缓存了的要查询的应用所需数据返回，并启动设置的异步刷新功能进行应用所需数据由源数据库实时存储到redis集群和JVM Cache的操作；

如果否，JVM从redis集群获取要查询的应用所需数据返回。

2.如权利要求1所述的方法，其特征在于，所述进行应用所需数据由源数据库存储到redis集群和JVM Cache的操作时，所述redis集群和JVM Cache开启。

3.如权利要求1所述的方法，其特征在于，所述JVM从redis集群获取要查询的应用所需数据返回之前，还包括：

redis集群预先已经从源数据库中已经获取到了应用所需数据；

所述JVM从redis集群获取要查询的应用所需数据返回之后，还包括：

将redis集群获取的所需数据存储到JVM Cache中。

4.如权利要求1或3所述的方法，其特征在于，在所述JVM从redis集群获取要查询的应用所需数据返回之前，该方法还包括：

JVM判断是否redis集群开启并具有要查询的应用所需的数据，如果是，则执行所述JVM从redis集群获取要查询的应用所需数据返回的步骤；如果否，则从源数据库获取要查询的应用所需的数据，获取到直接返回，并将所获取的数据写入到JVM Cache及redis集群中。

5.如权利要求4所述的方法，其特征在于，所述将所获取的数据写入到JVM Cache及redis集群中时，所述JVM Cache及redis集群是开启状态的。

6.如权利要求4所述的方法，其特征在于，在所述启动设置的异步刷新功能之后，还包括：判断是否达到异步刷新功能设置的刷新上限值，如果是，则结束；如果否，则进一步判断是否达到源数据库设置的保护资源上限，如果是，则结束本流程，如果否，则进行应用所需数据由源数据库存储到redis集群和JVM Cache的操作。

7.一种数据缓存的系统，其特征在于，所述包括：控制处理模块、异步刷新模块、JVMCache模块、redis集群及源数据库，其中，

异步刷新模块，用于在控制模块的控制下启动，进行应用所需数据由源数据库实时存储到redis集群和JVM Cache的操作；

JVM Cache模块，用于缓存应用所需数据；

redis集群，用于缓存应用所需数据；

8.如权利要求7所述的系统，其特征在于，所述redis集群，还用于在将从源数据库接收的应用所需数据存储后，存储到JVM Cache中。

9.如权利要求7或8所述的系统，其特征在于，所述控制模块，还用于判断是否redis集群开启并具有要查询的应用所需的数据，如果是，则执行从redis集群获取要查询的应用所需数据返回；如果否，则从源数据库获取要查询的应用所需的数据，获取到直接返回，并将所获取的数据写入到JVM Cache及redis集群中。

10.如权利要求9所述的系统，其特征在于，所述异步刷新模块，还用于判断是否达到异步刷新功能设置的刷新上限值，如果是，则结束；如果否，则进一步判断是否达到源数据库设置的保护资源上限，如果是，则结束，如果否，则进行应用所需数据由源数据库存储到redis集群和JVM Cache的操作。

11.一种数据的缓存方法装置，其特征在于，包括：

存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1～6任一所述的数据的缓存方法。

12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1～6任一所述的数据的缓存方法。