CN108108416A - redis数据过期处理的方法和装置 - Google Patents

Abstract

本发明属于互联网技术领域，尤其涉及一种redis数据过期处理的方法和装置，方法包括以下步骤：S1：etcd提供映射的目录，将redis键注册到该目录下；S2：发起对etcd的监听服务，并且在监听到具有至少一个键触发到期事件时向redis发起删除操作请求；S3：查询触发到期事件的键所在的redis节点，并对该节点执行删除该键的删除操作。本发明具有能够提高优化redis性能，提升用户体验等优点。

Description

redis数据过期处理的方法和装置

技术领域

本发明属于互联网技术领域，尤其涉及一种redis数据过期处理的方法和装置。

背景技术

随着信息技术的快速发展，现代社会信息量呈爆炸式增长，在大数据时代的今天应用数据体积激增，传统的数据架构已经不能满足大型互联网应用的高并发、高可用、优质响应时间等需求。由此产生了一系列的例如NoSQL的解决方案，其中Redis作为其中优质的选择之一，渐渐被各大企业采用作为其数据架构的补充。

目前，公司线上业务对redis过期键处理的方式主要是通过ttl参数进行实现，这样的操作虽然简单，但是在大量键同时过期时，批量处理ttl到期的键，容易导致redis性能在短时间之内下降，影响用户体验。

随着企业业务的快速增长，我们使用redis的场景逐渐变得复杂，通常在高并发的场景下，我们大量使用redis。如商城的发现消息中的热点消息，为了提高热点消息的读取速度，提高用户体验，我们将这些消息利用redis进行缓存，但是redis利用内存实现，内存空间有限，容易造成内存占用过多，导致系统崩溃。

为了解决上述技术问题，人们进行了长期的探索，例如中国专利公开了一种数据缓存与同步方法[申请号：CN201611155893.2]所述的方法是以查询SQL语句的哈希值作为键，查询结果集为值，将其存储到内存数据库Redis中，通过一定的缓存确定与过时机制，来提高缓存的命中率；通过对查询对象结果集的有效性状态判断来保证数据的一致性。

上述方案实现了减缓数据库压力的目标，能够在一定程度上提升redis性能。但是仍然存在不足，例如，上述方案仍然基于redis键的ttl参数实现过期清理功能，而redis自身处理ttl的方式对redis性能影响较大，并且当一个redis键被配置ttl时间，那么redis会生成一个计时器与该键对象进行绑定，如果有大量的键配置ttl，那么就会产生大量的计时器，导致redis性能下降，此外，在进行超时处理时，可能遇到一些极端场景，某一时刻大量的键ttl到期，那么同时触发删除操作，会造成性能的瞬时下降。

发明内容

本发明的目的是针对上述问题，提供一种能够优化redis性能和内存占用的redis数据过期处理的方法；

本方案的另一目的是提供一种基于上述redis数据过期处理的方法的redis数据过期处理的装置。

为达到上述目的，本发明采用了下列技术方案：

本发明的redis数据过期处理的方法包括以下步骤：

S1：etcd提供映射的目录，将redis键注册到该目录下；

S2：发起对etcd的监听服务，并且在监听到具有至少一个键触发到期事件时向redis发起删除操作请求。

通过上述技术方案，将redis的失效处理服务迁移至具有类似ttl处理的etcd，使得最终只对redis进行常规的del操作，即可实现ttl的功能，降低设置ttl对reis的性能影响，提高用户体验。

在上述的redis数据过期处理的方法中，在步骤S2之后，还执行以下步骤：

S3：查询触发到期事件的键所在的redis节点，并对该节点执行删除该键的删除操作。

在上述的redis数据过期处理的方法中，将redis键注册到该目录下的方法包括：

在调用方发起对redis的写操作前先判断写入的是否是一个设置了失效时间的键，若是，则先访问etcd注册键以将该键注册至etcd提供映射的目录下，如果注册失败，则本次写操作返回失败，如果注册成功，则执行redis写操作。

在上述的redis数据过期处理的方法中，在步骤S3中，基于优先级调度算法根据各删除操作请求的优先级执行删除操作。

在上述的redis数据过期处理的方法中，各删除操作请求的优先级排列方式包括：

将各删除操作请求根据不同业务的数据进行优先级划分，在删除操作请求发出的时候部署消息队列以将不同优先级的删除操作请求推送至不同的队列。

在上述的redis数据过期处理的方法中，当短时间内有大量的键触发到期事件时，将各删除操作请求分组或单独延时发送。

一种基于上述的redis数据过期处理的方法的redis数据过期处理的装置，包括处理器，所述的处理器包括依次相互连接的监听模块、删除操作请求模块、查询模块和删除模块，其中，

监听模块，用于对etcd执行监听服务；

删除操作请求模块，用于在监听模块监听到具有至少一个键触发到期事件的时候向redis发起删除操作请求；

查询模块，用于查询触发到期事件的键所在的redis节点；

删除模块，用于对触发到期事件的键执行删除操作。

在上述的redis数据过期处理的装置中，所述的处理器还包括注册模块，所述的注册模块用于将设置了失效时间的键注册至etcd的注册目录下。

在上述的redis数据过期处理的装置中，所述的删除模块连接有优先级划分模块，所述的优先级划分模块用于将删除操作请求根据不同业务的数据进行优先级划分，并在将删除操作请求发送出去的时候部署消息队列，将不同优先级的删除操作请求推送至不同的队列以使删除模块能够根据优先级调度算法执行删除操作。

在上述的redis数据过期处理的装置中，所述的删除操作请求模块连接有延时模块，所述的延时模块用于在短时间内有大量的到期事件触发时将删除操作请求分组或单独地延迟发送。

本发明相较于现有技术具有以下优点：通过将redis的ttl功能迁移降低了因为设置ttl对redis性能的影响，减少redis对原生ttl机制的依赖，使得redis性能和内存占用等方面得到优化，提高redis的并发性能。

附图说明

图1是本发明实施例一的方法流程图一；

图2是本发明实施例一的方法流程图二；

图3是本发明实施例三的装置结构框图。

附图标记：处理器1；监听模块11；删除操作请求模块12；查询模块13；删除模块14；注册模块15；优先级划分模块16；延时模块17。

具体实施方式

虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

本发明的redis数据过期处理的方法和装置主要应用于互联网技术的数据处理技术领域，解决了现有技术中redis数据过期处理影响redis性能，降低用户体验等问题，以下是本发明的优选实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明不限于这些实施例。

实施例一

本发明基于现有的ttl机制，提出替代的解决方案，减少redis对原生ttl机制的依赖，使得redis性能和内存占用等方面得到优化。

ttl(Time To Live，生存时间)，其由发送主机设置，该字段指定IP包被路由器丢弃之前允许通过的最大网段数量，以防止数据包不断在IP互联网络上永不终止地循环。当某一个键的ttl设定的时间到的时候，该键就会被执行失效处理，也就是删除处理。

redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API，它通过使用位于Redis安装文件夹内的redis-trib.rb可以完成创建集群的操作，redis-trib.rb是使用ruby开发的Redis集群管理程序，具有创建集群，检查集群的上线情况和槽指派情况、对集群进行重新分片、向集群添加新节点或者从集群中移除节点等功能。

本实施例提出的具体解决方案如下：

如图1所示，redis数据过期处理的方法包括以下步骤：

S1：etcd提供一个映射的目录，将全部redis键注册到该目录下，从而将redis的ttl功能迁移到etcd，etcd是键值存储仓库，用于配置共享和服务发现；etcd具有类似的ttl处理功能，并且etcd数据是通过持久化存储的，不需要考虑存储空间。

S2：发起对etcd的监听服务，并且在监听到具有至少一个键触发expire(到期)事件时向redis发起删除操作请求。

进一步地，如图2所示，在步骤S2之后，也就是在捕获到etcd键失效信息后还执行以下步骤：

S3：查询触发到期事件的键所在的redis节点，并对该节点执行删除该键的删除操作。

具体地，将redis键注册到该目录下的方法包括：

在调用方发起对redis的写操作前先判断写入的是否是一个设置了失效时间的键，若是，则先访问etcd注册键以将该键注册至etcd提供映射的目录下，如果注册失败，则本次写操作返回失败，如果注册成功，则执行redis写操作。

优选地，为了避免网络延迟可将etcd映射的失效时间缩短，并支持在短时间内有大量的键触发到期事件时，将各删除操作请求分组或单独延时发送，避免对redis在短时间的频繁操作，保证redis读性能。

将各删除操作请求分组延时发送是指，当有大量的键触发到期事件时，将这些触发到期事件的大量的键随机或者按照触发的先后顺序或者其他合适的规则分为若干组，例如，当短时间内有100个键触发到期事件时，将这100个键随机分成5个组，每组20个，然后这五个组按照随机或者优先级或者触发的先后顺序排列，先将第一个组的20个删除操作请求发送，其余组依次发送，并且每两个组之间具有一合适的间隔时间以使redis保持较好的读性能，当然短时间内可能没有100个删除操作请求也可能超过100个删除操作请求，分的组数、每组的个数和间隔时间的长短根据具体情况而定，在此不设限制；

将各删除操作请求单独延时发送是指，当有大量的键触发到期事件时，使两个间隔发送的删除操作请求的时间间隔拉长到不小于某个预设值，例如1微秒，对于间隔小于1微秒的两个删除操作请求则将在后的删除操作请求延迟发送使其与在前的删除操作请求的发送间隔大于1微秒。当然这里的时间间隔也可以为其他值，具体根据系统的整体性能和redis的读性能确定。

本实施例通过采用具有类似ttl处理功能的etcd对redis的失效处理进行服务迁移，使得最终只对redis进行常规的删除操作，即可实现ttl的功能，降低设置ttl对redis的性能影响，提高用户体验。

实施例二

本实施例与实施例一类似，不同之处在于，本实施例在步骤S3中，基于优先级调度算法根据各删除操作请求的优先级执行删除操作。

优先级调度算法是指：

1、当该算法用于作业调度时，系统从后背作业队列中选择若干个优先级最高的，且系统能满足资源要求的作业装入内存运行；

2、当该算法用于进程调度时，将把处理机分配给就绪进行队列中优先级最高的进程。

优先级调度算法采用现有技术的手段，在此不进行赘述。

具体地，各删除操作请求的优先级排列方式包括：

将各删除操作请求根据不同业务的数据进行优先级划分，在删除操作请求发出的时候部署消息队列以将不同优先级的删除操作请求推送至不同的队列。

就是说将相同或类似业务数据的删除操作请求归为一类，各类队列的优先级根据具体情况设置，哪一类需要先处理就给它较高的优先级，例如，当前总共有100个删除请求操作的消息，然后将这100个消息划分为多个消息队列，例如A类业务的为第一个队列，B类业务的为第二个队列，C类业务的为第三个队列，然后归为A类业务的有30个删除消息请求操作的消息，归为B类业务的有35个删除消息请求操作的消息，归为C类业务的也有35个删除消息请求操作的消息，A类业务比较重要，需要优先处理，那么A类业务就是优先级最高的一个队列，A类业务中的删除操作请求相对于其他类别业务里的删除操作请求具有更高的优先级，当然，如果一直保持A类具有最高优先级，那么如果A累业务不断的话B类和C类中的删除操作请求只会越积越多，无法消化，所以本实施例采用根据消息时间分类的原则来处理删除操作请求，例如，将2分钟内收到的删除操作请求分类，然后按照优先级处理这些删除操作请求，当这些请求处理完毕后，再将在处理过程中接收到的删除操作请求分类，然后按照优先级处理这些删除操作请求，当这些请求又处理完毕后，再一次将这次处理过程中接收到的删除操作请求分类，然后按照优先级处理这些删除操作请求，依次类推。

本实施例对删除操作请求进行优先级划分处理，能够优先且有序地处理各删除操作请求，提高redis的并发性能。

实施例三

一种基于实施例一或实施例二的redis数据过期处理的方法的redis数据过期处理的装置，包括处理器1，所述的处理器1包括依次相互连接的监听模块11、删除操作请求模块12、查询模块13和删除模块14，其中，

监听模块11，用于对etcd执行监听服务；

删除操作请求模块12，用于在监听模块监听到具有至少一个键触发到期事件的时候向redis发起删除操作请求；

查询模块13，用于查询触发到期事件的键所在的redis节点；

删除模块14，用于对触发到期事件的键执行删除操作。

进一步地，处理器1还包括注册模块15，所述的注册模块15用于将设置了失效时间的键注册至etcd的注册目录下。

优选地，删除模块14连接有优先级划分模块16，所述的优先级划分模块16用于将删除操作请求根据不同业务的数据进行优先级划分，并在将删除操作请求发送出去的时候部署消息队列，将不同优先级的删除操作请求推送至不同的队列以使删除模块能够根据优先级调度算法执行删除操作。

优选地，删除操作请求模块13连接有延时模块17，所述的延时模块17用于在短时间内有大量的到期事件触发时将删除操作请求分组或单独地延迟发送。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了处理器1；监听模块11；删除操作请求模块12；查询模块13；删除模块14；注册模块15；优先级划分模块16；延时模块17等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (10)

1.一种redis数据过期处理的方法，其特征在于，包括以下步骤：

S1：etcd提供映射的目录，将redis键注册到该目录下；

S2：发起对etcd的监听服务，并且在监听到具有至少一个键触发到期事件时向redis发起删除操作请求。

2.根据权利要求1所述的redis数据过期处理的方法，其特征在于，在步骤S2之后，还执行以下步骤：

S3：查询触发到期事件的键所在的redis节点，并对该节点执行删除该键的删除操作。

3.根据权利要求1或2所述的redis数据过期处理的方法，其特征在于，将redis键注册到该目录下的方法包括：

在调用方发起对redis的写操作前先判断写入的是否是一个设置了失效时间的键，若是，则先访问etcd注册键以将该键注册至etcd提供映射的目录下，如果注册失败，则本次写操作返回失败，如果注册成功，则执行redis写操作。

4.根据权利要求2所述的redis数据过期处理的方法，其特征在于，在步骤S3中，基于优先级调度算法根据各删除操作请求的优先级执行删除操作。

5.根据权利要求4所述的redis数据过期处理的方法，其特征在于，各删除操作请求的优先级排列方式包括：

将各删除操作请求根据不同业务的数据进行优先级划分，在删除操作请求发出的时候部署消息队列以将不同优先级的删除操作请求推送至不同的队列。

6.根据权利要求1所述的redis数据过期处理的方法，其特征在于，当短时间内有大量的键触发到期事件时，将各删除操作请求分组或单独延时发送。

7.一种基于权利要求1-6所述的redis数据过期处理的方法的redis数据过期处理的装置，包括处理器(1)，其特征在于，所述的处理器(1)包括依次相互连接的监听模块(11)、删除操作请求模块(12)、查询模块(13)和删除模块(14)，其中，

监听模块(11)，用于对etcd执行监听服务；

删除操作请求模块(12)，用于在监听模块(11)监听到具有至少一个键触发到期事件的时候向redis发起删除操作请求；

查询模块(13)，用于查询触发到期事件的键所在的redis节点；

删除模块(14)，用于对触发到期事件的键执行删除操作。

8.根据权利要求7所述的redis数据过期处理的装置，其特征在于，所述的处理器(1)还包括注册模块(15)，所述的注册模块(15)用于将设置了失效时间的键注册至etcd的注册目录下。

9.根据权利要求7或8所述的redis数据过期处理的装置，其特征在于，所述的删除模块(14)连接有优先级划分模块(16)，所述的优先级划分模块(16)用于将删除操作请求根据不同业务的数据进行优先级划分，并在将删除操作请求发送出去的时候部署消息队列，将不同优先级的删除操作请求推送至不同的队列以使删除模块(14)能够根据优先级调度算法执行删除操作。

10.根据权利要求9所述的redis数据过期处理的装置，其特征在于，所述的删除操作请求模块(12)连接有延时模块(17)，所述的延时模块(17)用于在短时间内有大量的到期事件触发时将删除操作请求分组或单独地延迟发送。