CN109947668A - 存储数据的方法和装置 - Google Patents

Abstract

本发明公开了存储数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：统计缓存系统的三级缓存中目标数据的被查询频率，并将被查询频率超过预设值的目标数据作为热数据；将热数据存储至缓存系统的二级缓存。该实施方式降低了对读服务系统的缓存系统进行维护的难度；并提高查询效率。

Description

存储数据的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种存储数据的方法和装置。

背景技术

读服务系统是一种能够为其他系统、终端或应用提供数据查询服务的数据缓存系统，读服务系统具有以下特点：

1.数据量大：通常读服务系统需要提供数十亿级的数据查询服务，而这些数据需要PB级别的存储空间；

2.数据量增长快：随着读服务系统的业务的不断发展，数据量的增长速度快；

3.访问量高：读服务系统需要为大量的系统、终端或应用提供查询服务，因此，读服务系统的访问量极高；此外读服务是底层服务，性能要求响应时间在5ms以内；

4.重要性高：读服务系统能够影响系统、终端或应用的业务流程，直接影响系统、终端或应用的服务性能。

现有读服务系统的数据缓存方案是将全量数据以分片的方式存放在缓存数据库(Redis)集群中，并提供多组Redis集群用于分担负载和故障切换。当数据量增长到Redis集群容量的上限时，需要将Redis 集群规模扩大一倍以满足需求。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1.读服务系统使用的Redis集群在每次扩容时都需要将现有的存储规模扩大一倍，降低了读服务系统的服务响应时间；

2.随着读服务系统使用的Redis集群的存储规模越来越庞大，其维护的难度也越来越大。

发明内容

有鉴于此，本发明实施例提供一种存储数据的方法和装置，能够降低对读服务系统的缓存系统进行维护的难度；并提高查询效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种存储数据的方法。

本发明实施例的一种存储数据的方法包括：统计缓存系统的三级缓存中目标数据的被查询频率，并将被查询频率超过预设值的所述目标数据作为热数据；将所述热数据存储至所述缓存系统的二级缓存。

可选地，所述方法还包括：将主数据库中的变更数据存储至所述二级缓存；其中，所述缓存系统中的数据来源于所述主数据库；所述变更数据是发生业务变更或新增的数据。

可选地，将主数据库中的变更数据存储至所述二级缓存包括：将所述主数据库中的所述变更数据存储至异构数据库；将所述异构数据库中的所述变更数据利用同步命令推送到所述二级缓存进行存储。

可选地，统计缓存系统的三级缓存中目标数据的被查询频率包括：当所述三级缓存中的所述目标数据被查询时，将所述目标数据添加到上报队列；根据所述上报队列中的数据统计所述目标数据的被查询频率。

可选地，将所述目标数据添加到上报队列之前还包括：根据查询请求在所述缓存系统的一级缓存库中查询所述目标数据；如果查询到所述目标数据，则返回所述目标数据；如果未查询到所述目标数据，则根据查询请求查询所述二级缓存库；如果在所述二级缓存库中查询到所述目标数据，则将所述目标数据存储至所述一级缓存库，并返回所述目标数据；如果在所述二级缓存库中未查询到所述目标数据，则根据查询请求查询所述三级缓存库；如果在所述三级缓存库中查询到所述目标数据，则将所述目标数据存储至所述一级缓存库，并返回所述目标数据；如果在所述三级缓存库中未查询到所述目标数据，则结束查询；其中，所述一级缓存用于存储查询得到的所述目标数据，且为所述目标数据设置有效时间；所述二级缓存中的所述变更数据和所述热数据设置有过期时间；所述三级缓存用于存储缓存系统的全部数据，且在所述变更数据存储至所述二级缓存时，将所述变更数据更新存储至所述三级缓存。

可选地，将所述热数据存储至所述缓存系统的二级缓存包括：将所述上报队列中的所述热数据向所述汇总系统上报；将所述汇总系统中的所述热数据进行去重处理后利用持久化操作存储至异构数据库；将所述异构数据库中的所述热数据利用同步命令推送到所述二级缓存进行存储。

可选地，所述异构数据库设置有业务表，所述业务表中记载有所述热数据和与所述热数据对应的版本字段，当写入所述热数据时更新所述版本字段。

可选地，所述二级缓存划分为与被查询频率对应的N个级别的存储库，根据被查询频率将所述热数据存储于级别与被查询频率对应的所述存储库，以及将所述变更数据存储于预设级别的所述存储库。

为实现上述目的，根据本发明实施例的另一个方面，提供了一种存储数据的装置。

本发明实施例的一种存储数据的装置包括：统计模块，用于统计缓存系统的三级缓存中目标数据的被查询频率，并将被查询频率超过预设值的所述目标数据作为热数据；

第一存储模块，用于将所述热数据存储至所述缓存系统的二级缓存。

可选地，所述装置还包括：第二存储模块，用于将主数据库中的变更数据存储至所述二级缓存；其中，所述缓存系统中的数据来源于所述主数据库；所述变更数据是发生业务变更或新增的数据。

可选地，所述第二存储模块还用于：将所述主数据库中的所述变更数据存储至异构数据库；将所述异构数据库中的所述变更数据利用同步命令推送到所述二级缓存进行存储。

可选地，所述统计模块还用于：当所述三级缓存中的所述目标数据被查询时，将所述目标数据添加到上报队列；根据所述上报队列中的数据统计所述目标数据的被查询频率。

可选地，所述装置还包括：查询模块，用于根据查询请求在所述缓存系统的一级缓存库中查询所述目标数据；如果查询到所述目标数据，则返回所述目标数据；如果未查询到所述目标数据，则根据查询请求查询所述二级缓存库；如果在所述二级缓存库中查询到所述目标数据，则将所述目标数据存储至所述一级缓存库，并返回所述目标数据；如果在所述二级缓存库中未查询到所述目标数据，则根据查询请求查询所述三级缓存库；如果在所述三级缓存库中查询到所述目标数据，则将所述目标数据存储至所述一级缓存库，并返回所述目标数据；如果在所述三级缓存库中未查询到所述目标数据，则结束查询；其中，所述一级缓存用于存储查询得到的所述目标数据，且为所述目标数据设置有效时间；所述二级缓存中的所述变更数据和所述热数据设置有过期时间；所述三级缓存用于存储缓存系统的全部数据，且在所述变更数据存储至所述二级缓存时，将所述变更数据更新存储至所述三级缓存。

可选地，所述第一存储模块还用于：将所述上报队列中的所述热数据向所述汇总系统上报；将所述汇总系统中的所述热数据进行去重处理后利用持久化操作存储至异构数据库；将所述异构数据库中的所述热数据利用同步命令推送到所述二级缓存进行存储。

可选地，所述异构数据库设置有业务表，所述业务表中记载有所述热数据和与所述热数据对应的版本字段，当写入所述热数据时更新所述版本字段。

可选地，所述二级缓存划分为与被查询频率对应的N个级别的存储库，根据被查询频率将所述热数据存储于级别与被查询频率对应的所述存储库，以及将所述变更数据存储于预设级别的所述存储库。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种存储数据的电子设备。

本发明实施例的一种存储数据的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种存储数据的方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读存储介质。

本发明实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种存储数据的方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用将读服务系统使用的缓存系统按功能进行存储区域划分，且在缓存系统的二级缓存中存储有被访问量高的热数据，使占用少量存储空间的二级缓存能够存储大量的热数据，并承载大部分的访问量的技术手段，所以克服了缓存系统在每次扩容时都需要将现有存储规模扩大一倍，导致读服务系统的服务响应时间降低；以及维护缓存系统的难度越来越大的技术问题，进而达到降低对读服务系统的缓存系统进行维护的难度；以及提高查询效率的技术效果。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的存储数据的方法的主要步骤的示意图；

图2是根据本发明实施例的存储数据的方法的实现框架的示意图；

图3是根据本发明实施例的存储数据的方法的访问三级缓存系统的流程示意图；

图4是根据本发明实施例的存储数据的方法的上报热数据的示意图；

图5是根据本发明实施例的存储数据的方法的上报队列的示意图；

图6是根据本发明实施例的存储数据的方法的汇总系统处理热数据的示意图；

图7是根据本发明实施例提供的缓存系统与现有技术提供的缓存系统的对比示意图；

图8是根据本发明实施例的存储数据的装置的主要模块的示意图；

图9是本发明实施例可以应用于其中的示例性系统架构图；

图10是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的存储数据的方法的主要步骤的示意图。

如图1所示，本发明实施例的一种存储数据的方法主要包括以下步骤：

步骤S101：统计缓存系统的三级缓存中目标数据的被查询频率，并将被查询频率超过预设值的目标数据作为热数据。

为了提高查询效率，本发明实施例提出一种读服务系统使用的缓存系统，该缓存系统可以按功能划分出至少一个用于存储热数据的二级缓存，该二级缓存可以用于存储缓存系统中被访问次数高或可能被多次访问的热数据，且二级缓存中所存储的数据的规模可以根据需要设定，例如二级缓存占用的存储资源在整个缓存系统的存储资源的20％以下，从而使占用少量存储资源的二级缓存承载大部分的访问量。

本发明实施例根据被查询频率从缓存系统的三级缓存中提取热数据，当三级缓存中的某个目标数据的被查询频率超过预设值时，说明该目标数据可能是未被发现的热数据，此时，可以根据该目标数据的被查询频率来确定该目标数据是否为热数据。

此外，为了控制读服务系统使用的数据库规模，减少读服务系统占用的存储资源，以及便于后期对读服务系统进行维护，缓存系统可以按功能进一步划分为一级缓存、二级缓存和三级缓存三个存储区域，其中，一级缓存可以由访问读服务系统的其它系统、终端或应用的内存组成，可以用于存储查询得到的目标数据，且为目标数据设置过期时间，例如几秒钟的过期时间；二级缓存和三级缓存可以由数据库、数据集市或云存储系统等存储系统组成，例如Redis集群，二级缓存可以用于存储变更数据和热数据，且为变更数据和热数据设置过期时间例如几天的过期时间；三级缓存可以用于存储缓存系统的全部数据，且在变更数据或热数据存储至二级缓存时，将变更数据或热数据更新存储至三级缓存。由于一级缓存和二级缓存中的数据设置过期时间，过期后自动删除，可以保证一级缓存和二级缓存的容量是一个稳定的值，从而控制一级缓存和二级缓存中的数据规模，提高服务效率。需要说明的是，上述一级缓存、二级缓存和三级缓存并非是缓存系统中三个级别的存储系统，在使用缓存系统的过程中，可以根据查询请求按照从缓存系统的一级缓存到二级缓存再到三级缓存的顺序逐级进行查询，也可以直接查询二级缓存再查询三级缓存。

在本发明实施例中，目标数据添加到上报队列之前还包括以下步骤：根据查询请求在缓存系统的一级缓存中查询目标数据；如果查询到目标数据，则返回目标数据；如果未查询到目标数据，则根据查询请求查询二级缓存；如果在二级缓存中查询到目标数据，则将目标数据存储至一级缓存，并返回目标数据；如果在二级缓存中未查询到目标数据，则根据查询请求查询三级缓存；如果在三级缓存中查询到目标数据，则将目标数据存储至一级缓存，并返回目标数据；如果在三级缓存中未查询到目标数据，则结束查询；其中，一级缓存用于存储查询得到的目标数据，且为目标数据设置有效时间；二级缓存中的变更数据和热数据设置有过期时间；三级缓存用于存储缓存系统的全部数据，且在变更数据存储至二级缓存时，将变更数据更新存储至三级缓存。

当其它的系统、终端或应用通过缓存系统查询数据时，如果在一级缓存中查询到目标数据，则不需要查询二级缓存和三级缓存，如果在二级缓存中查询到目标数据，则不需要查询三级缓存，从而提高查询效率。同时，在变更数据或热数据存储至二级缓存时，将变更数据或热数据更新存储至三级缓存，从而控制缓存系统占用的存储规模，并降低对读服务系统的缓存系统中二级缓存进行维护的难度。其中，更新存储是指如果三级缓存中存在该变更数据或热数据，就对该变更数据或热数据进行更新；如果三级缓存中不存在该变更数据，就增加存储该变更数据，从而及时更新缓存系统中的数据，保证数据的一致性，以及所查询到的数据是当前的最新数据。

在本发明实施例中，统计缓存系统的三级缓存中目标数据的被查询频率可以通过以下步骤实现：当三级缓存中的目标数据被查询时，将目标数据添加到上报队列；根据上报队列中的数据统计目标数据的被查询频率。

为降低三级缓存的负载，可以在三级缓存中的目标数据被查询时将该目标数据先放到上报队列中，并设置过期时间和访问次数，当该目标数据再次被查询时更新访问次数，同时监听该上报队列中目标数据的移动事件(即上报队列中有目标数据被删除)，当移动事件被触发时，说明该目标数据在上报队列中的过期时间到期了，然后判断该目标数据的访问次数是否达到了预设值，如果达到了预设值，则将该目标数据作为热数据发送至汇总系统，反之直接删除，从而基于上报队列的数据统计目标数据在过期时间内的访问次数，即得到目标数据的被查询频率，进而在上报队列的目标数据中筛选出热数据。

为了进一步提高服务效率，还可以对二级缓存进一步的划分为多个(N，N≥1)级别的存储库，在查询时，可以按照所存储数据的被查询频率由高至低的顺序查询该N个级别的存储库。当有热数据写入时，可以根据该热数据被查询的次数将该热数据存储至相应级别的存储库中；同时，当有变更数据写入时，可以写入预选级别的存储库中，例如被查询频率最高的数据所对应的存储库或被查询频率最低的数据所对应的存储库。在本发明实施例中，可以进一步将二级缓存划分为与被查询频率对应的N个级别的存储库，根据被查询频率将热数据存储于级别与被查询频率对应的存储库，以及将变更数据存储于预设级别的存储库。

步骤S102：将热数据存储至缓存系统的二级缓存。

当某个目标数据在三级缓存中被查询频率超过预设值时，该目标数据为热数据，需要存储至二级缓存。此外，通常数据总量的增长速度远大于热数据的增长速度，从三级缓存中提取热数据存储于二级缓存，能够提供高效的查询服务。

在本发明实施例中，步骤S102可以根据以下步骤实现：将上报队列中的热数据向汇总系统上报；将汇总系统中的热数据进行去重处理后利用持久化操作存储至异构数据库；将异构数据库中的热数据利用同步命令推送到二级缓存进行存储。其中，去重处理是指去除重复的数据，例如同一个数据在一段时间内上报了100次，不需要将该数据在异构数据库中重复存储100次，只需存储1次；持久化操作是指将内存中的数据模型转换为存储模型，或将存储模型转换为内存中的数据模型，数据模型可以是任何数据结构或对象模型，例如关系模型、二进制流等，持久化操作包括保存、更新、删除或查询等。

在本发明实施例中，异构数据库设置有业务表，业务表中记载有热数据和与热数据对应的版本字段，当写入热数据时更新版本字段。

热数据只是本发明实施例判定的被查询频率比较高的数据，而热数据本身并没有更新，也不能强行更新业务字段，因此，可以增加一个非业务字段，即版本字段，该版本字段用于对热数据进行标记以对热数据和其它数据进行区分，当有热数据上报时可能更新该版本字段，从而对热数据进行标记。在异构数据库中可以通业务表来记录热数据及其版本字段。

通常读服务系统的所有数据均由主数据库提供，该主数据库可以是数据库、数据集市或云存储系统等存储系统，主数据库中存储有读服务系统所需要的所有数据。主数据库中发生业务变更或新增的数据 (即变更数据)也可能是被多次访问的数据，因此，除了将热数据存储于二级缓存之外，还可以将主数据库中的发生业务变更或新增的数据(即变更数据)存储于二级缓存，业务变更是指数据的属性或内容等发生变更，例如XX数据记录的是某个商品的价格，当该商品的价格发生变化时XX数据的内容也随之变化，则变化后的XX数据为变更数据。在本发明实施例中，还可以将主数据库中的变更数据存储至二级缓存；其中，缓存系统中的数据来源于主数据库；变更数据是发生业务变更或新增的数据。

在本发明实施例中，将主数据库中的变更数据存储至二级缓存可以通过以下方式实现：将主数据库中的变更数据存储至异构数据库；将异构数据库中的变更数据利用同步命令推送到二级缓存进行存储。其中，异构数据库是指相关的多个数据库系统的集合，可以实现数据的共享和透明访问，每个数据库系统在加入异构数据库系统之前本身就已经存在，拥有自己的数据库管理系统，且异构数据库的各个组成部分具有自身的自治性，在实现数据共享的同时每个数据库系统仍保有自己的应用特性、完整性控制和安全性控制。同步命令是一种拉取日志文件的操作指令。

根据本发明实施例的存储数据的方法可以看出，因为采用将读服务系统使用的缓存系统按功能进行存储区域划分，且在缓存系统的二级缓存中存储有被访问量高的热数据，使占用少量存储空间的二级缓存能够存储大量的热数据，并承载大部分的访问量的技术手段，所以克服了缓存系统在每次扩容时都需要将现有存储规模扩大一倍，导致读服务系统的服务响应时间降低；以及维护缓存系统的难度越来越大的技术问题，进而达到降低对读服务系统的缓存系统进行维护的难度；并提高查询效率的技术效果。

图2是根据本发明实施例的存储数据的方法的实现框架的示意图。

如图2所示，本发明实施例提供的缓存系统中存储有供读服务系统为其它系统、终端或应用提供查询服务所需要的所有数据。缓存系统的更新主要根据以下两种数据进行：一种是主数据库中的变更数据；另一种是缓存系统中访问量超过预设值的热数据。

在本发明实施例中，利用双向复制计划将变更数据存储到异构数据库；使用汇总系统和持久化系统向异构数据库写入缓存系统中的热数据；使用数据推送系统向缓存系统推送变更数据或热数据。

关于变更数据：主数据库中的数据在发生业务变更之后，利过双向复制计划将发生业务变更或新增的数据(即变更数据)存储到异构数据库，进而将变更数据推送到缓存系统的二级缓存和三级缓存中进行更新存储。其中，双向复制计划是指两个或多个视窗操作系统 (Windows)服务器既作为数据“发布者”也作为数据“接收者”，例如有服务器A和服务器B，在双向复制计划中，服务器A上发生变化的数据会被复制到服务器B上，同样的，服务器B上发生变化的数据也会被复制到服务器A上，但在此过程中，服务器A和服务器B不会重复复制。更新存储是指如果二级缓存或三级缓存中存在该变更数据，则对二级缓存或三级缓存中的该变更数据进行更新；如果不存在该变更数据，就在二级缓存或三级缓存中增加存储该变更数据。

具体地，将变更数据更新存储至缓存系统可以通过以下步骤实现：首先，数据推送系统向异构数据库发送同步命令，以拉取异构数据库的日志文件；然后，解析该日志文件获得变更数据；最后，将解析得到的变更数据同时推送到二级缓存和三级缓存。通过上述步骤还可以使二级缓存和三级缓存中存储最新的数据，并保证数据的一致性。

关于热数据：在使用过程中根据查询请求查询缓存系统，当二级缓存中未查询到目标数据，而三级缓存中查询到目标数据时，说明该被查询的目标数据可能是热数据，此时，将三级缓存中的目标数据利用上报队列向汇总系统上报，且该上报队列为上报的目标数据设置了过期时间和访问次数，如果某个目标数据在过期时间内访问次数达到了预设值，则确定该目标数据为热数据，将该目标数据(即热数据) 发送至汇总系统，再通过持久化操作将汇总系统中的目标数据(即热数据)存储至异构数据库，最后利用同步命令将异构数据库中的目标数据(即热数据)推送到二级缓存。

需要注意的是，热数据只是本发明实施中判定的访问量比较高的数据，热数据本身并没有更新，也不能强行更新业务字段，因此，可以增加一个非业务字段，即版本字段，当有热数据上报时可能更新该版本字段，从而对热数据进行标记。

此外，异构数据库只有在发生数据更新时(即插入、修改或删除等操作)，才会写日志文件。如果数据发生更新，数据推送系统可以从异构数据库的日志文件中获取变更数据，并将变更数据写入缓存系统的二级缓存和三级缓存中；而如果数据没有更新，异构数据库就不会写日志文件，数据推送系统就没有办法将数据推送到缓存中，因此，可以在异构数据库的业务表上增加一个版本字段，当写入热数据后更新版本字段，从而触发异构数据库写日志文件，使数据推送系统能够从异构数据库的日志文件中获取热数据，进而将热数据写入缓存系统的二级缓存和三级缓存中。

图3是根据本发明实施例的存储数据的方法的访问三级缓存系统的流程示意图。

如图3所示，在使用过程中可以根据查询请求按照从缓存系统的一级缓存到二级缓存再到三级缓存的顺序逐级进行查询。即根据查询请求在一级缓存中查询目标数据；如果查询到目标数据，则返回目标数据；如果未查询到目标数据，则根据查询请求查询二级缓存；如果在二级缓存中查询到目标数据，则将目标数据存储至一级缓存，并返回目标数据；如果在二级缓存中未查询到目标数据，则根据查询请求查询三级缓存；如果在三级缓存中查询到目标数据，则将目标数据存储至一级缓存，并返回目标数据；如果在三级缓存中未查询到目标数据，则结束查询。

需要说明的是，当二级缓存中未查询到目标数据，而三级缓存中查询到目标数据时，说明该被查询的目标数据可能是热数据，此时，将三级缓存中的目标数据利用上报队列向汇总系统上报。

由于汇总系统能够承受这样的压力有限，上报的目标数据并不能实时上报至汇总系统，所以，可以将上报的目标数据先放到上报队列中，并设置过期时间和访问次数，当再次上报相同的数据时更新该访问次数，如果某个目标数据在过期时间内访问次数达到了预设值，则将该目标数据发送至汇总系统。

如图4所示，在利用上报队列上报目标数据时，先查询上报队列，判断上报队列中是否存在该目标数据，如果不存在，则将该目标数据加入到上报队列中，并设置该目标数据的访问次数为1、该目标数据的过期时间；如果存在则将上报队列中该目标数据的访问次数+1，例如上报队列中该目标数据的访问次数为3次则更改为4次。

接下来，定时检查上报队列中有无到期的目标数据，例如，每秒检查两次，如果无到期的目标数据，则结束，并不向汇总系统上报，等待下次检查；如果有到期的目标数据，则从上报队列中删除到期的目标数据，并判断该到期的目标数据的访问次数是否达到阀值，该阀值可以根据需要预先设置，若是，则向汇总系统上报该到期的目标数据，若否，则结束，并不向汇总系统上报，等待下次检查。

需要说明的是，提取访问量高的热数据实际上就是提取一段时间内被访问次数比较多的数据，但是，缓存系统可能一直保持服务状态 (即每时每刻都在提供查询服务)，且访问量极高，如果在提取访问量高的数据的同时，将所提取到的数据更新到缓存系统，很容易使缓存系统出现异常导致无法正常提供服务等问题，因此，需要将变更数据或热数据经过多次合并、淘汰后更新到缓存系统，即可以通过上报队列对变更数据或热数据进行合并或淘汰，以选出需要更新到缓存系统的数据。

如图5所示，为本发明实施例的存储数据的方法的上报队列的示意图，上报队列对数据进行处理有两种不同的结果，即进入发送队列，发送至汇总系统，或过期后直接删除。本发明实施例中，S1、S2…… Sn分别表示上报队列中的位置，Sn位置可以表示上报队列中最新加入的数据，S1位置可以表示上报队列中最早加入的数据。

现以数据111和数据222为例对上报队列进行说明，假设数据111 和数据222为上报队列中已存在的目标数据，当上报数据111时，由于上报队列中已存在该数据111，则直接将数据111的访问次数增加一次，同样的，数据222也是如此。上报队列在定时检查有无到期数据时，数据111和数据222均已到期，数据111被访问次数达到预设值，而数据222被访问次数未达到预设值，则数据111是热数据，将进入发送队列发送至汇总系统，数据222直接删除。

此外，因为提取热数据的频率及数量都很高，如果每个提取到的热数据都单独发给汇总系统，可能存在汇总系统因压力过大而无法正常服务，因此，进入到发送队列的热数据也不会直接发送到汇总系统，可以定期将发送队列的热数据分批次发送到汇总系统。

如图6所示，为根据本发明实施例的存储数据的方法的汇总系统处理热数据的示意图。当收到发送队列发送的热数据后，先放到汇总系统的缓存中，并且汇总系统对发送队列发送的热数据进行去重处理，具体地，判断缓存中是否有该热数据，如果缓存中有该热数据，则将该热数据直接丢弃；如果缓存中无该热数据，则将该热数据放到汇总系统的缓存中。定时查询缓存中的数据量是否到达阀值，如果是则从队列中取出限定数量的热数据并发送给汇总系统，然后等待下一次检查汇总系统的缓存；如果否则从队列中取出全部的热数据并发送给汇总系统，然后等待下一次检查汇总系统的缓存。热数据到达汇总系统后再发送到持久化系统以写入到异构数据库，进而更新缓存系统。

图7是根据本发明实施例提供的缓存系统与现有技术提供的缓存系统的对比示意图。

如图7所示，为本发明实施例提供的缓存系统与现有技术提供的缓存系统的对比示意图。其中，本发明实施例提供的缓存系统中仅体现了二级缓存和三级缓存，而并未体现出一级缓存，且二级缓存和三级缓存均采用Redis集群。

现有技术提供的缓存系统中，当数据的数量增长到Redis集群容量的上限时，需要将现有集群的存储容量扩大一倍，以满足功能的需求。而本发明实施例提供的缓存系统当数据的数量增长到Redis集群的存储容量的上限时，仅需要将三级缓存的存储容量扩大一倍。

需要说明的是，本发明实施例提供的缓存系统的二级缓存可以提供多组Redis集群用于分摊流量和故障切换，从而提高二级缓存的服务性能，并提高用户体验；且二级缓存存储的是被访问量高的数据，即占用少量存储资源的二级缓存承载大部分的访问量，即使缓存系统的存储容量扩大一倍，其查询效率及服务的响应时间均没有变长。

图8是根据本发明实施例的存储数据的装置的主要模块的示意图。

如图8所示，本发明实施例的一种存储数据的装置800主要包括：统计模块801和第一存储模块802。

其中，

统计模块801，用于统计缓存系统的三级缓存中目标数据的被查询频率，并将被查询频率超过预设值的所述目标数据作为热数据；

第一存储模块802，用于将所述热数据存储至所述缓存系统的二级缓存。

在本发明实施例中，所述装置还包括：第二存储模块，用于将主数据库中的变更数据存储至所述二级缓存；其中，所述缓存系统中的数据来源于所述主数据库；所述变更数据是发生业务变更或新增的数据。

在本发明实施例中，所述第二存储模块还用于：将所述主数据库中的所述变更数据存储至异构数据库；将所述异构数据库中的所述变更数据利用同步命令推送到所述二级缓存进行存储。

在本发明实施例中，所述统计模块801还用于：当所述三级缓存中的所述目标数据被查询时，将所述目标数据添加到上报队列；根据所述上报队列中的数据统计所述目标数据的被查询频率。

在本发明实施例中，所述装置还包括：查询模块，用于根据查询请求在所述缓存系统的一级缓存库中查询所述目标数据；如果查询到所述目标数据，则返回所述目标数据；如果未查询到所述目标数据，则根据查询请求查询所述二级缓存库；如果在所述二级缓存库中查询到所述目标数据，则将所述目标数据存储至所述一级缓存库，并返回所述目标数据；如果在所述二级缓存库中未查询到所述目标数据，则根据查询请求查询所述三级缓存库；如果在所述三级缓存库中查询到所述目标数据，则将所述目标数据存储至所述一级缓存库，并返回所述目标数据；如果在所述三级缓存库中未查询到所述目标数据，则结束查询；其中，所述一级缓存用于存储查询得到的所述目标数据，且为所述目标数据设置有效时间；所述二级缓存中的所述变更数据和所述热数据设置有过期时间；所述三级缓存用于存储缓存系统的全部数据，且在所述变更数据存储至所述二级缓存时，将所述变更数据更新存储至所述三级缓存。

在本发明实施例中，所述第一存储模块802还用于：将所述上报队列中的所述热数据向所述汇总系统上报；将所述汇总系统中的所述热数据进行去重处理后利用持久化操作存储至异构数据库；将所述异构数据库中的所述热数据利用同步命令推送到所述二级缓存进行存储。

此外，所述异构数据库设置有业务表，所述业务表中记载有所述热数据和与所述热数据对应的版本字段，当写入所述热数据时更新所述版本字段。

此外，所述二级缓存划分为与被查询频率对应的N个级别的存储库，根据被查询频率将所述热数据存储于级别与被查询频率对应的所述存储库，以及将所述变更数据存储于预设级别的所述存储库。

根据本发明实施例的存储数据的装置可以看出，因为采用将读服务系统使用的缓存系统按功能进行存储区域划分，且在缓存系统的二级缓存中存储有被访问量高的热数据，使占用少量存储空间的二级缓存能够存储大量的热数据，并承载大部分的访问量的技术手段，所以克服了缓存系统在每次扩容时都需要将现有存储规模扩大一倍，导致读服务系统的服务响应时间降低；以及维护缓存系统的难度越来越大的技术问题，进而达到降低对读服务系统的缓存系统进行维护的难度；并提高查询效率的技术效果。

图9示出了可以应用本发明实施例的存储数据的方法或存储数据的装置的示例性系统架构900。

如图9所示，系统架构900可以包括终端设备901、902、903，网络904和服务器905。网络904用以在终端设备901、902、903和服务器905之间提供通信链路的介质。网络904可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备901、902、903通过网络904与服务器905 交互，以接收或发送消息等。终端设备901、902、903上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备901、902、903可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器905可以是提供各种服务的服务器，例如对用户利用终端设备901、902、903所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。

需要说明的是，本发明实施例所提供的存储数据的方法一般由服务器905执行，相应地，存储数据的装置一般设置于服务器905中。

应该理解，图9中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图10，其示出了适于用来实现本发明实施例的终端设备的计算机系统1000的结构示意图。图10示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图10所示，计算机系统1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分 1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统1000操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口 1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元 (CPU)1001执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括统计模块和第一存储模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，第一存储模块还可以被描述为“将所述热数据在所述缓存系统的二级缓存进行存储的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：步骤S101：统计缓存系统的三级缓存中目标数据的被查询频率，并将被查询频率超过预设值的目标数据作为热数据；步骤S102：将热数据存储至缓存系统的二级缓存。

根据本发明实施例的技术方案，因为采用将读服务系统使用的缓存系统按功能进行存储区域划分，且在缓存系统的二级缓存中存储有被访问量高的热数据，使占用少量存储空间的二级缓存能够存储大量的热数据，并承载大部分的访问量的技术手段，所以克服了缓存系统在每次扩容时都需要将现有存储规模扩大一倍，导致读服务系统的服务响应时间降低；以及维护缓存系统的难度越来越大的技术问题，进而达到降低对读服务系统的缓存系统进行维护的难度；并提高查询效率的技术效果。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种存储数据的方法，其特征在于，包括：

统计缓存系统的三级缓存中目标数据的被查询频率，并将被查询频率超过预设值的所述目标数据作为热数据；

将所述热数据存储至所述缓存系统的二级缓存。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将主数据库中的变更数据存储至所述二级缓存；

其中，所述缓存系统中的数据来源于所述主数据库；所述变更数据是发生业务变更或新增的数据。

3.根据权利要求2所述的方法，其特征在于，将主数据库中的变更数据存储至所述二级缓存包括：

将所述主数据库中的所述变更数据存储至异构数据库；

将所述异构数据库中的所述变更数据利用同步命令推送到所述二级缓存进行存储。

4.根据权利要求1所述的方法，其特征在于，统计缓存系统的三级缓存中目标数据的被查询频率包括：

当所述三级缓存中的所述目标数据被查询时，将所述目标数据添加到上报队列；

根据所述上报队列中的数据统计所述目标数据的被查询频率。

5.根据权利要求4所述的方法，其特征在于，将所述目标数据添加到上报队列之前还包括：

根据查询请求在所述缓存系统的一级缓存库中查询所述目标数据；如果查询到所述目标数据，则返回所述目标数据；如果未查询到所述目标数据，则根据查询请求查询所述二级缓存库；

如果在所述二级缓存库中查询到所述目标数据，则将所述目标数据存储至所述一级缓存库，并返回所述目标数据；如果在所述二级缓存库中未查询到所述目标数据，则根据查询请求查询所述三级缓存库；

如果在所述三级缓存库中查询到所述目标数据，则将所述目标数据存储至所述一级缓存库，并返回所述目标数据；如果在所述三级缓存库中未查询到所述目标数据，则结束查询；

其中，所述一级缓存用于存储查询得到的所述目标数据，且为所述目标数据设置有效时间；

所述二级缓存中的所述变更数据和所述热数据设置有过期时间；

所述三级缓存用于存储缓存系统的全部数据，且在所述变更数据存储至所述二级缓存时，将所述变更数据更新存储至所述三级缓存。

6.根据权利要求4所述的方法，其特征在于，将所述热数据存储至所述缓存系统的二级缓存包括：

将所述上报队列中的所述热数据向所述汇总系统上报；

将所述汇总系统中的所述热数据进行去重处理后利用持久化操作存储至异构数据库；

将所述异构数据库中的所述热数据利用同步命令推送到所述二级缓存进行存储。

7.根据权利要求2或6所述的方法，其特征在于，

所述异构数据库设置有业务表，所述业务表中记载有所述热数据和与所述热数据对应的版本字段，当写入所述热数据时更新所述版本字段。

8.根据权利要求2所述的方法，其特征在于，

所述二级缓存划分为与被查询频率对应的N个级别的存储库，根据被查询频率将所述热数据存储于级别与被查询频率对应的所述存储库，以及将所述变更数据存储于预设级别的所述存储库。

9.一种存储数据的装置，其特征在于，包括：

统计模块，用于统计缓存系统的三级缓存中目标数据的被查询频率，并将被查询频率超过预设值的所述目标数据作为热数据；

第一存储模块，用于将所述热数据存储至所述缓存系统的二级缓存。

10.一种存储数据的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。