CN105357314A - 一种定点分布式缓存系统及其缓存方法 - Google Patents

Abstract

本发明公开了一种定点分布式缓存系统及其缓存方法，包括缓存配置模块、缓存刷新模块、业务数据响应模块、缓存存储模块和多个存储服务器，在各个存储节点的存储服务器配置缓存策略，当用户向已接入同网域的存储服务器发出数据请求，该节点将后台服务器数据库中的业务数据取出，并作缓存同步更新。本发明实现了对业务数据的分布式缓存，大大减轻后台业务数据处理压力及同域用户访问的高并发请求和带宽压力，避免后台服务器I/O的堵塞，提高用户的业务数据访问速度。

Description

一种定点分布式缓存系统及其缓存方法

技术领域

本发明涉及数据缓存管理领域，具体是一种定点分布式缓存系统及其缓存方法。

背景技术

近年来，作为企业的业务系统与数据资源进行集中、集成、共享、分析的场地、工具、流程等的有机组合的数据中心，随着云存储、云计算以及搜索引擎等新技术的兴起而迅速发展。由于数据中心强大的计算能力和可靠性等特征，越来越多的企业将自己的网络服务转移到数据中心，随着数据中心服务器间传输的数据量的迅速增加，数据中心中的带宽变得越来越稀缺。现有的对数据缓存管理一般采用的是集中式缓存方法，此方法在存储服务器宕机时会造成数据的丢失，同时集中缓存在用户数据请求时也容易造成接口堵塞。

发明内容

本发明的目的在于提供一种定点分布式缓存系统及其缓存方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种定点分布式缓存系统，包括缓存配置模块、缓存刷新模块、缓存存储模块和至少两个存储节点的存储服务器，所述缓存配置模块用于配置后台缓存管理策略，所述缓存刷新模块根据后台缓存管理配置策略提取数据库中的业务数据，并根据业务数据唯一主键值将业务数据分发到该存储服务器对应的存储节点；所述缓存存储模块，用于将所有数据写入缓存日志。

作为本发明再进一步的方案：所述的后台缓存管理策略还包括设定数据源、数据表、数据字段、主键字段、全量刷新时间、增量刷新时间、刷新顺序、缓存模式、存储服务器地址。

作为本发明再进一步的方案：所述缓存刷新模块中将业务数据分发到对应存储服务器的存储节点具体为采用队列模式。

本发明还提供一种定点分布式缓存系统的缓存方法，步骤如下：

步骤10，在后台缓存管理配置上配置后台缓存管理策略，通过后台缓存管理策略设定各个业务数据存储的存储服务器存储节点；

步骤20，当用户向同网域的存储服务器发起新数据访问请求时，根据用户请求数据后台将数库中的业务数据取出，并根据业务数据唯一主键值将业务数据推送到该网域对应的存储服务器存储节点，用户通过该存储节点访问业务数据；

步骤30，后继用户访问同域存储服务器对应的存储节点的业务数据存在变化时，采用增量或全量更新数据方案，将数据库中变化的数据取出，并根据业务数据唯一主键更新或新增业务数据至该存储服务器对应的存储节点，将所有数据写入缓存存储模块。

与现有技术相比，本发明的有益效果是：

1、把数据Hash到不同存储服务器上，解决集中式存储服务器宕机数据丢失问题；

2、业务数据扩展需要时，只需上新服务器即可满足业务扩展；

3、当记录新增字段时，只需处理新增内容无需刷新历史数据；

4、可将大数据Hash到其它带宽宽裕的服务器，解决网络I/O堵塞问题。

附图说明

图1为定点分布式缓存系统的执行流程图。

图2为定点分布式缓存系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1和图2，本发明实施例中，定点分布式缓存系统的缓存步骤：

步骤10，在后台缓存管理配置上配置后台缓存管理策略，后台缓存管理策略包括设定各个业务数据对应存储的存储服务器。各个业务数据对应存储的存储服务器为后台缓存管理配置中最主要的内容，为了优化数据的缓存，进一步地，所述的后台缓存管理策略还包括设定数据源、数据表、数据字段、主键字段、全量刷新时间、增量刷新时间、刷新顺序、缓存模式、存储服务器地址。具体的配置字段内容可以为下面几方面：a)全量多行约定：表名；b)增量多行约定：表名、开始时间、结束时间；c)全量列字段：表名、字段名；d)增量列字段：表名、开始时间、结束时间、列表名；e)单行约定：表、主键；f)单格约定：表、主键、字段名；g)单行选删除：表、主键。

步骤20，在生成业务数据时，根据后台缓存管理配置策略将数据库中的业务数据取出，并根据业务数据唯一主键值将业务数据分发到对应的存储服务器。优选地，将业务数据分发到对应的存储服务器具体为采用队列模式以及采用Hash算法，实现简单，避免数据库压力过大。

步骤30，后继业务数据发生变化时，采用增量或全量更新数据方案，将数据库中的变化数据取出，并根据业务数据唯一主键更新或新增业务数据至对应的存储服务器，将所有数据写入缓存日志，所有数据包括对业务数据的操作数据和对后继业务数据的操作数据，使用缓存日志方便对数据进行跟踪。步骤30的实现可以设计缓存刷新API接口，而后通过实时调用缓存刷新API接口，把需要更新或新增的业务数据及时写入缓存节点。其中增量或全量的更新方案可以通过后台缓存管理策略来预设，当配置了增量刷新时间等增量相关配置即支持增量更新数据方案。更新或新增业务数据至对应的存储服务器具体为采用Hash算法。

当用户发起数据访问请求时，根据用户请求数据接入到相应的存储服务器，用户通过该节点访问业务数据。

本发明实现了对业务数据的分布式缓存，大大减轻了存储服务器的压力，避免业务数据的丢失以及存储服务器I/O的堵塞。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (4)

1.一种定点分布式缓存系统，其特征在于，包括缓存配置模块、缓存刷新模块、缓存存储模块和至少两个存储节点的存储服务器，所述缓存配置模块用于配置后台缓存管理策略，所述缓存刷新模块根据后台缓存管理配置策略提取数据库中的业务数据，并根据业务数据唯一主键值将业务数据分发到该存储服务器对应的存储节点；所述缓存存储模块，用于将所有数据写入缓存日志。

2.根据权利要求1所述的定点分布式缓存系统，其特征在于，所述的后台缓存管理策略还包括设定数据源、数据表、数据字段、主键字段、全量刷新时间、增量刷新时间、刷新顺序、缓存模式、存储服务器地址。

3.根据权利要求1所述的定点分布式缓存系统，其特征在于，所述缓存刷新模块中将业务数据分发到对应存储服务器的存储节点具体为采用队列模式。

4.一种如权利要求1所述的定点分布式缓存系统的缓存方法，其特征在于，步骤如下：

步骤10，在后台缓存管理配置上配置后台缓存管理策略，通过后台缓存管理策略设定各个业务数据存储的存储服务器存储节点；

步骤20，当用户向同网域的存储服务器发起新数据访问请求时，根据用户请求数据后台将数库中的业务数据取出，并根据业务数据唯一主键值将业务数据推送到该网域对应的存储服务器存储节点，用户通过该存储节点访问业务数据；

步骤30，后继用户访问同域存储服务器对应的存储节点的业务数据存在变化时，采用增量或全量更新数据方案，将数据库中变化的数据取出，并根据业务数据唯一主键更新或新增业务数据至该存储服务器对应的存储节点，将所有数据写入缓存存储模块。