CN109857739A - 一种基于RK(Redis and Kafka)的实时高效缓存机制 - Google Patents

Abstract

本发明提出了本发明提出了一种基于RK(Redis and Kafka)的实时高效缓存机制，结合Redis数据库的高效缓存性能与Kafka高吞吐量的实时消息队列特性，设计实时高效缓存机制。利用Kafka消息队列的拓扑结构，配合多终端并行服务机制，实现请求合理资源分配。针对写入请求所附带的数据更新，首先缓存到Redis，然后协调写入后台HBase数据库，保证数据的同步性、持久化。缓存在Redis的数据，在接收到Kafka的请求后将缓存数据发送服务端给与回复。保证了各平台数据缓存的协调同步、平台各事务的快速调度，提升了平台整体执行效率。

Description

一种基于RK(Redis and Kafka)的实时高效缓存机制

技术领域

本发明涉及海量时间序列数据的存储和实时处理领域，具体涉及到一种基于RK(Redis and Kafka)的实时高效缓存机制。

背景技术

一种基于RK(Redis and Kafka)的实时高效缓存机制，基于Redis数据库与Kafka消息系统。保证各平台数据缓存的协调同步、平台各事务的快速调度，提升了平台整体执行效率。最接近本发明的技术有：

(1)、Redis数据库：Redis是一个开源的底层使用C语言编写的Key-Value存储数据库。可用于缓存、事件发布订阅、高速队列等场景。最常用作数据缓存，在消息队列方面相当于消息订阅系统，如果对数据有较高一致性要求时，无法完全发挥其性能。

(2)、Kafka消息系统：Kafka于2011年成为Apache的孵化项目，随后于2012年成为Apache的主要项目之一。Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。Kafka具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。但是Kafka对于消息数据的缓存不是基于内存的，在缓存速度方面存在很大的提升空间。

为充分利用Redis和Kafka的优势，弥补Redis消息队列能力欠缺以及Kafka缓存能力欠缺，将其结合创新设计基于RK(Redis andKafka)的实时高效缓存机制。本方法保证了各平台数据缓存的协调同步、平台各事务的快速调度，提升了平台整体执行效率。

发明内容

为解决现有技术中的缺点和不足，本发明提出了一种基于RK(Redis and Kafka)的实时高效缓存机制，结合Redis数据库的高效缓存性能与Kafka高吞吐量的实时消息队列特性，设计实时高效缓存机制。

本发明的技术方案为：

步骤(1)、基于Kafka消息系统，实现服务平台各终端、各环境的读取请求实时入队；

步骤(2)、配合多终端并行服务机制，实现请求合理资源分配；

步骤(3)、针对写入请求所附带的数据更新，首先缓存到Redis，然后协调写入后台HBase数据库；

步骤(4)、缓存在Redis的数据，在接收到Kafka的请求后将缓存数据发送服务端给予回复。

本发明的有益效果：

(1)本方法利用Kafka消息队列的拓扑结构，保证请求缓存的灵活性、拓展性、实时性、顺序性、高效性；

(2)配合多终端并行服务机制，实现请求合理资源分配，保证数据的实时性、同步性；

(3)针对写入请求所附带的数据更新问题，首先缓存到Redis，然后协调写入后台HBase数据库，保证了数据的同步性、持久化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于RK(Redis and Kafka)的实时高效缓存机制的缓存模型简图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，基于RK(Redis and Kafka)的实时高效缓存机制的缓存模型简图，结合了Redis数据库的高效缓存性能与Kafka高吞吐量的实时消息队列特性，设计实时高效缓存机制。

下面对基于RK(Redis and Kafka)的实时高效缓存机制的具体流程进行详细说明：

步骤(1)、基于Kafka消息系统，实现服务平台各终端、各环境的读取请求实时入队；

步骤(2)、配合多终端并行服务机制，实现请求合理资源分配；

步骤(3)、针对写入请求所附带的数据更新，首先缓存到Redis，然后协调写入后台HBase数据库；

步骤(4)、缓存在Redis的数据，在接收到Kafka的请求后将缓存数据发送服务端给予回复。

本发明的基于RK(Redis and Kafka)的实时高效缓存机制，通过结合Redis数据库的高效缓存性能与Kafka高吞吐量的实时消息队列特性，设计实时高效缓存机制。保证了各平台数据缓存的协调同步、平台各事务的快速调度，提升了平台整体执行效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于RK(Redis and Kafka)的实时高效缓存机制，其特征在于，该缓存机制结合了Redis数据库的高效缓存性能与Kafka高吞吐量的实时消息队列特性设计实时高效缓存机制，包括以下步骤：

步骤(1)、基于Kafka消息系统，实现服务平台各终端、各环境的读取请求实时入队；

步骤(2)、配合多终端并行服务机制，实现请求合理资源分配；

步骤(3)、针对写入请求所附带的数据更新，首先缓存到Redis，然后协调写入后台HBase数据库；

步骤(4)、缓存在Redis的数据，在接收到Kafka的请求后将缓存数据发送服务端给予回复。