CN108183961A - 一种基于Redis的分布式缓存方法 - Google Patents

Abstract

本发明提供一种基于Redis的分布式缓存方法，包括：1、客户端与健康的接入机建立连接；2、客户端向某个接入机发起读写请求，该接入机接收到读写请求后，转发至目标数据分片节点；3、该目标数据分片节点对读写请求进行处理并将结果信息返回给接入机，再由接入机将结果信息返回给客户端；4、应用中心、接入机集群及Redis集群将监控指标数据汇聚到监控数据存储中心，再由监控模块进行分析并上报到外部组件的监控中心；5、管理模块提供对配置集群、接入机集群及Redis集群的管理配置，并提供统一的管理入口及可视化页面；6、同步中心通过统一数据访问层获取数据，通过接入机集群同步到Redis集群。本发明便于应用分布化。

Description

一种基于Redis的分布式缓存方法

技术领域

本发明涉及通讯技术领域，尤其涉及一种基于Redis的分布式缓存方法。

背景技术

随着软件系统平台业务的不断发展，缓存数据存储的需求越来越大，传统系统中缓存的资料数据已达到T以上，这些数据目前集中部署在小型机的共享内存上，数据规模已经达到单台主机的内存瓶颈,后续扩容成本高昂，目前迫切需要引入分布式缓存技术，解决以下关键性问题：

1、将数据部署在小型机的共享内存，内存容量已达上限，存储量小；

2、业务不断增长的数据实时扩展需求，系统弹性伸缩性瓶颈；

3、大规模并发的数据I/O性能瓶颈，数据库的负载压力大，事务吞吐率低、系统延时长。

发明内容

本发明要解决的技术问题，在于提供一种基于Redis的分布式缓存方法，是基于Redis数据服务，在支持Redis源生API接口外还支持对数据加解锁、对象数据存储等更多样化API数据服务接口。

本发明是这样实现的：

一种基于Redis的分布式缓存方法，包括如下步骤：

步骤1、应用中心的缓存客户端与接入机集群中至少一健康的接入机建立连接；

步骤2、缓冲客户端向已连接的某个接入机发起读写请求，该接入机接收到读写请求后，将该读写请求转发至Redis集群中对应的目标数据分片节点；

步骤3、该目标数据分片节点接收读写请求后，对读写请求进行处理并将结果信息返回给接入机，再由接入机将结果信息返回给缓存客户端；

步骤4、应用中心、接入机集群及Redis集群将监控指标数据汇聚到监控数据存储中心，再由监控模块进行分析并上报到外部组件的监控中心；

步骤5、管理模块提供对配置集群、接入机集群及Redis集群的管理配置，并提供统一的管理入口及可视化页面，外部组件的配置中心和运维平台通过http协议从管理入口和可视化页面进入，并进行管理配置及部署；

步骤6、同步中心通过外部组件的统一数据访问层获取到数据，并定时的增量或全量将数据通过接入机集群同步到Redis集群中，以提供给应用中心访问。

进一步地，所述步骤1具体为：

应用中心的缓存客户端通过配置集群获取接入机集群的配置信息，并根据接入机集群的配置信息向接入机集群发起连接请求，接入机集群接收到该连接请求后验证缓存客户端的安全性，验证成功后，接入机集群返回各接入机当前健康状态给缓存客户端，缓存客户端通过配置集群获取接入机负载均衡策略，根据接入机负载均衡策略选择接入机集群中健康的至少一个接入机建立连接。

进一步地，所述步骤2具体为：

缓存客户端通过API接口向已连接的接入机中的任意一个接入机发起读写请求，该接入机接收到该读写请求后，通过配置集群获取key数据分片规则，通过一致性哈希算法，并根据key数据分片规则计算出Redis集群中对应的目标数据分片节点，并将缓存客户端的读写请求转发至该目标据分片节点。

本发明具有如下优点：

1、将已有部署在小型机的巨大的共享内存，分布部署到多台PC serve上；形成分布式缓存，节约成本，又便于应用分布化；

2、业务不断增长的数据实时扩展需求，解决了系统弹性伸缩性瓶颈问题；

3、克服了大规模并发的数据I/O性能瓶颈，减轻数据库的负载压力，提高事务吞吐率、降低系统延时。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明方法执行流程图。

具体实施方式

为使得本发明更明显易懂，现以一优选实施例，并配合附图作详细说明如下。

如图1所示，本发明的一种基于Redis的分布式缓存方法，包括如下步骤：

步骤1、应用中心的缓存客户端与接入机集群中至少一健康的接入机建立连接；具体为：

应用中心的缓存客户端通过配置集群获取接入机集群的配置信息，并根据接入机集群的配置信息向接入机集群发起连接请求，接入机集群接收到该连接请求后验证缓存客户端的安全性，验证成功后，接入机集群返回各接入机当前健康状态给缓存客户端，缓存客户端通过配置集群获取接入机负载均衡策略，根据接入机负载均衡策略选择接入机集群中健康的至少一个接入机建立连接；保障了系统的安全性和可靠性；

步骤2、缓冲客户端向已连接的某个接入机发起读写请求，该接入机接收到读写请求后，将该读写请求转发至Redis集群中对应的目标数据分片节点；具体为：

缓存客户端通过API接口向已连接的接入机中的任意一个接入机发起读写请求，该接入机接收到该读写请求后，通过配置集群获取key数据分片规则，通过一致性哈希算法，并根据key数据分片规则计算出Redis集群中对应的目标数据分片节点，并将缓存客户端的读写请求转发至该目标据分片节点；

步骤3、该目标数据分片节点接收读写请求后，对读写请求进行处理并将结果信息返回给接入机，再由接入机将结果信息返回给缓存客户端；

步骤4、应用中心、接入机集群及Redis集群将监控指标数据汇聚到监控数据存储中心，再由监控模块进行分析并上报到外部组件的监控中心；对数据的监控，能提高数据的安全性和可靠性；

步骤5、管理模块提供对配置集群、接入机集群及Redis集群的管理配置，并提供统一的管理入口及可视化页面，外部组件的配置中心和运维平台通过http协议从管理入口和可视化页面进入，并进行管理配置及部署；对配置集群、接入机集群及Redis集群统一管理，具有易用性；

步骤6、同步中心通过外部组件的统一数据访问层获取到数据，并定时的增量或全量将数据通过接入机集群同步到Redis集群中，以提供给应用中心访问；对数据进行同步，保证了数据一致性。

分布式缓存平台包括应用中心(缓存客户端)、配置集群、接入机集群、Redis集群、监控模块、管理模块及同步中心和外部组件。

缓存客户端：包含Redis源生API接口、缓存工具类、应用定制API、直连客户端、统一接入客户端；

配置集群：提供缓存分组、接入机分组、集群配置信息等；接入机集群：缓存接入机实现中间层统一管理控制，瘦客户端模式，提供统一的缓存接入层，支持网络框架、资源管理、代理协议、异常管理、集群控制、数据分组、高可用控制等；

Redis集群：提供内存数据存储、数据持久化、主从配置、数据同步、内存管理等功能；

监控模块：提供客户端实时监控、接入机实时及状态监控、Redis状态监控；

管理模块：提供缓存分组申请、分组管理、指标统计分析、接入机管理、Redis实例管理、平台资源管理、缓存数据管理、数据同步管理等功能

同步中心：提供缓存加载策略、更新策略、系统策略配置及任务管理、数据同步、故障处理等功能；提供数据库与缓存间的数据自动同步，支持多种数据同步策略；

外部组件：包含配置中心、运维平台、统一数据访问层和监控中心；运维平台用于自动安装部署，包含Redis实例自动化安装部署、接入机自动安装部署、服务启停控制等；统一数据访问层用于分布式配置存储的zookeeper,用于缓存与数据库的数据更新服务的消息中间件和统一数据访问层；监控中心用于集约化各个平台能力组件的监控数据采集、存储与分析，并通过调用分布式缓存标准的运维管理服务接口对组件信息进行修改配置。

主备切换支持故障时故障自动发现、故障切换、配置变更、路由变更等功能；自动无损扩容提供扩容资源准备、扩容配置、数据迁移、无损扩容、重复数据删除等扩容功能。

统一事务：更新数据库的数据时，将更新分布服务的内存数据操作纳入同一个事务，模块开放同步接口。

淘汰更新策略：支持定时对设置过期时间的缓存数据做淘汰，应用对缓存的数据进行失效操作，在二次缓存对象获取的时候，如果发现对象失效则重新更新缓存。

异步更新：通过应用层向数据同步中心注册同步策略，数据同步中心主动向数据库发起缓存同步。

自动运维模块：支持在线实时扩容，满足业务不断增长的缓存数据存储需求及业务连续性；采用统一管理方式，提供标准化管理接口，与外部系统快速对接；支持实时故障检测、故障通知、故障切换。保证信息系统的高并发能力，大容量存储，开放性、稳定性和可扩展性。

本发明采用多租户管理模式，满足不同应用对缓存不同的读写性能、数据持久化要求；通过多租户管理模式实现多样化的部署、配置提供高性能、高可用等特性服务。同时多租户模式有利于缓存应用的故障隔离，动态扩容缩容以及节约设备成本；不同分组间的访问通过分组号进行识别控制。应用可以按照不同的业务或模块对通过缓存配置中进行缓存空间申请。缓存配置中心会结合应用需求分配不同的缓存组。

采用数据统一接入服务方式，对海量并发有效控制，保障平台稳定性，同时应用共享接入控制层，按照应用中心进行聚合，支持水平扩展及自动故障漂移。服务层采用异步长连接以及大并发的网络通讯模式，解决了传统I/O中连接数量大时，线程所占用的栈内存和CPU线程切换的开销大问题。

本发明具有如下优点：

高性能：通过分布式缓存架构保证大数据缓存存储，通过缓存分片、读写分离机制，保证高并发数据请求的快速响应。单节点容量与服务器硬件相关。

高可用：包含数据可用性与服务可用性两方面：

服务可用性：通过缓存灾备机制实现无单点失效(single point of failure),支持故障的自动发现，透明地实施故障切换。

数据可用性：通过持久化策略、备份策略保证不会因服务器故障而导致缓存数据丢失。

数据一致性：通过更新(一致性)机制，为系统提供强、中、弱一致性三种数据同步业务需求。

易用性：通过缓存监控为分布式缓存系统提供了图形化的管理控制台，用于提供可预测的性能与扩展性；同时，最大限度地提高资源利用率。

缓存扩展：通过分布式缓存扩容及数据迁移机制来支持弹性扩展，以满足不断增长的系统数据增长需求。

安全性和可靠性：系统针对主机、数据库、网络、应用等各层次要制定相应的安全策略和可靠性策略，保障系统的安全性和可靠性，应用软件应具有处理各种非正常状态和事件的能力。

综上所述，以高效内存作为存储介质，提升数据存取能力，解决大量并发的数据库性能瓶颈，减轻数据库的负载压力,提升系统稳定性；具备高效大规模并发缓存数据服务来降低系统交互环节与时间、提高事务吞吐率、有效降低系统延时；支持随着业务的增长与变化，组件可以对服务资源实时扩容缩容调整，过程对应用整体无感知，保障业务连续性；提供大规模数据临时储存，支持LRU淘汰策略，清理过期失效数据，来解决系统中大量临时的数据存储，提升资源的利用率。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (3)

1.一种基于Redis的分布式缓存方法，其特征在于：包括如下步骤：

步骤1、应用中心的缓存客户端与接入机集群中至少一健康的接入机建立连接；

步骤2、缓冲客户端向已连接的某个接入机发起读写请求，该接入机接收到读写请求后，将该读写请求转发至Redis集群中对应的目标数据分片节点；

步骤3、该目标数据分片节点接收读写请求后，对读写请求进行处理并将结果信息返回给接入机，再由接入机将结果信息返回给缓存客户端；

步骤4、应用中心、接入机集群及Redis集群将监控指标数据汇聚到监控数据存储中心，再由监控模块进行分析并上报到外部组件的监控中心；

步骤5、管理模块提供对配置集群、接入机集群及Redis集群的管理配置，并提供统一的管理入口及可视化页面，外部组件的配置中心和运维平台通过http协议从管理入口和可视化页面进入，并进行管理配置及部署；

步骤6、同步中心通过外部组件的统一数据访问层获取到数据，并定时的增量或全量将数据通过接入机集群同步到Redis集群中，以提供给应用中心访问。

2.根据权利要求1所述的一种基于Redis的分布式缓存方法，其特征在于：所述步骤1具体为：

应用中心的缓存客户端通过配置集群获取接入机集群的配置信息，并根据接入机集群的配置信息向接入机集群发起连接请求，接入机集群接收到该连接请求后验证缓存客户端的安全性，验证成功后，接入机集群返回各接入机当前健康状态给缓存客户端，缓存客户端通过配置集群获取接入机负载均衡策略，根据接入机负载均衡策略选择接入机集群中健康的至少一个接入机建立连接。

3.根据权利要求1所述的一种基于Redis的分布式缓存方法，其特征在于：所述步骤2具体为：

缓存客户端通过API接口向已连接的接入机中的任意一个接入机发起读写请求，该接入机接收到该读写请求后，通过配置集群获取key数据分片规则，通过一致性哈希算法，并根据key数据分片规则计算出Redis集群中对应的目标数据分片节点，并将缓存客户端的读写请求转发至该目标据分片节点。