CN108984431B - 用于清空过期缓存的方法和装置 - Google Patents
用于清空过期缓存的方法和装置 Download PDFInfo
- Publication number
- CN108984431B CN108984431B CN201710402941.1A CN201710402941A CN108984431B CN 108984431 B CN108984431 B CN 108984431B CN 201710402941 A CN201710402941 A CN 201710402941A CN 108984431 B CN108984431 B CN 108984431B
- Authority
- CN
- China
- Prior art keywords
- bucket
- cache
- key
- expiration time
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0891—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches using clearing, invalidating or resetting means
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种用于清空过期缓存的方法、装置、电子设备和可读存储介质。该方法包括:配置指示桶的大小的桶间距值;确定是否存在需要缓存的数据;在确定存在需要缓存的数据时,根据所述桶间距值和需要缓存的数据的过期时间将与需要缓存的数据相对应的键划分到多个与桶相对应的节点中的一个节点处;以及以所述桶间距值为间隔定时地删除划分到所述节点中的过期节点的所有键。
Description
技术领域
本发明涉及计算机应用领域,更具体地涉及一种用于清空过期缓存的方法、装置、电子设备和可读存储介质。
背景技术
随着web应用的发展,频繁的读写操作对于存储数据的关系数据库服务器是无法承受的。为了应对web应用的频繁的读写操作,许多web服务器将数据从关系数据库移到非关系数据库(NOSQL)上。
随着人们对WEB服务器的请求频率的爆发增长,WEB服务器请求NOSQL服务器有时也会出现时间上的瓶颈,这在OLAP类型的应用尤其明显。而且,每台WEB服务器对缓存的要求不同,导致NOSQL服务器可能有很多冗余数据,造成浪费效率不高。
在这种情况下,选择在WEB应用的内存中建立缓存不失为明智之举,但是这需要维护缓存的数据的过期时间,否则会导致明显的内存泄露。
在现有技术中,通常采用以下来处理缓存:1)单独开启一个线程来轮询各缓存主键(key)的过期时间,一旦过期时间小于或等于当前时间,则将该键的缓存清空。然而,如果缓存的键过多,每次轮询会消耗大量的CPU时间;如果针对每个键开启一个定时器,则将会产生大量定时器,从而降低性能。2)将缓存置于Java虚拟机(JVM)的永久代中。在该情况中,可视为内存泄露,并且在机器IO高时,需要频繁地将页缓存切到硬盘中,甚至造成机器空转假死,失去了缓存的意义。
因此,需要提供一种能够高效地清空过期缓存的方法、装置、电子设备和可读存储介质。
发明内容
有鉴于此,本发明实施例提供一种用于清空过期缓存的方法、装置、电子设备和可读存储介质,其使用桶回收,通过减少清理的次数来提高清理效率,降低遍历所有缓存键给服务器带来的压力。
为实现上述目的,根据本发明实施例的一个方面,提供了一种用于清空过期缓存的方法。
根据本发明实施例的一种用于清空过期缓存的方法包括:配置指示桶的大小的桶间距值;确定是否存在需要缓存的数据;在确定存在需要缓存的数据时,根据所述桶间距值和需要缓存的数据的过期时间将与需要缓存的数据相对应的键划分到多个与桶相对应的节点中的一个节点处;以及以所述桶间距值为间隔定时地删除划分到所述节点中的过期节点的所有键。
可选地,当确定存在需要缓存的数据时,确定缓存策略。
可选地,当确定所述缓存策略是桶回收模式时,执行所述根据所述桶间距值和需要缓存的数据的过期时间将与需要缓存的数据相对应的键划分到所述节点中的一个节点处的步骤。
可选地,当确定所述缓存策略是普通回收模式时,维护键与过期时间之间的映射,并且轮询各键的过期时间,一旦键的过期时间小于或等于当前时间,则将该键的缓存清空,不执行所述根据所述桶间距值和需要缓存的数据的过期时间将与需要缓存的数据相对应的键划分到所述节点中的一个节点处的步骤以及所述以所述桶间距值为间隔定时地删除划分到所述节点中的过期节点的所有键的步骤。
可选地,根据应用对缓存过期时间要求是否严格以及应用缓存的过期时间值的大小来配置桶间距值。
可选地,根据以下公式来确定一个键所划分到的节点:
(floor(expireTime/interval)+1)*interval
其中,floor表示向下取整函数,expireTime表示过期时间并且等于设置缓存的当前时间加上超时时间,以及interval表示所述桶间距值。
为实现上述目的,根据本发明实施例的另一个方面,提供了一种用于清空过期缓存的装置,包括:配置模块,用于配置指示桶的大小的桶间距值;缓存数据确定模块,用于确定是否存在需要缓存的数据;键-节点划分模块,用于根据所述桶间距值和需要缓存的数据的过期时间将键划分到多个与桶相对应的节点中的一个节点处;以及缓存清空模块,用于以所述桶间距值为间隔定时地删除划分到所述节点中的过期节点的所有键。
可选地,所述装置进一步包括:缓存策略确定模块,用于确定缓存策略。
可选地,当所述缓存策略确定模块确定缓存策略是桶回收模式时,所述键-节点划分模块根据所述桶间距值和需要缓存的数据的过期时间将键划分到所述节点中的一个节点处。
可选地,当所述缓存策略确定模块确定缓存策略是普通回收模式时,所述键-节点划分模块直接维护键与过期时间之间的映射,而不将键划分到节点中;并且所述缓存清空模块轮询各键的过期时间,一旦键的过期时间小于或等于当前时间,则将该键的缓存清空,而不是以所述桶间距值为间隔定时地删除划分到所述节点中的过期节点的所有键。
可选地,所述配置模块根据应用对缓存过期时间要求是否严格以及应用缓存的过期时间值的大小来设置所述桶间距值。
可选地,所述键-节点划分模块根据以下公式确定一个键所划分到的节点:
(floor(expireTime/interval)+1)*interval
其中,floor表示向下取整函数,expireTime表示过期时间并且等于设置缓存的当前时间加上超时时间,以及interval表示所述桶间距值。
为实现上述目的,根据本发明实施例的另一个方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现根据本发明实施例的用于清空过期缓存的方法。
为实现上述目的,根据本发明实施例的另一个方面,提供了一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现根据本发明实施例的用于清空过期缓存的方法。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的用于清空过期缓存的方法的主要步骤的示意图;
图2示出了根据本发明实施例的用于将键划分到多个节点中的一个节点处的示意图;
图3是根据本发明实施例的用于清空过期缓存的装置的主要模块的示意图;以及
图4是本发明实施例可以应用于其中的示例性系统架构图;
图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本申请的发明人发现,缓存的业务数据有以下特性:往往对过期时间要求并不严格(如果严格,则可以采用定时器做定时任务),在内存中多存活1秒或早清除1秒对业务不产生明显影响。根据本发明的技术方案采用桶的概念,将大量的散列点归并到与桶相对应的节点上,从而使得不需要每时每刻检查过期的键,而只需要在每个节点处对过期的键回收一轮。根据本发明的技术方案将平均复杂度从0(n)降低到0(1)。
图1是根据本发明实施例的用于清空过期缓存的方法的主要步骤的示意图。
如图1所示,本发明实施例的一种用于清空过期缓存的方法主要包括如下步骤:
步骤S11:配置指示桶的大小的桶间距值。例如,当将桶的大小或桶间距值设置为T秒时,可以将过期时间处于时间t至时间t+T之间的缓存划分在一个桶中。由于本发明的技术方案采用桶的概念,可以将过期时间处于时间t至时间t+T之间的所有缓存都在节点t+T处清空,从而认为每个桶对应于一个节点。
在配置桶间距值时,可以根据应用对缓存过期时间要求是否严格以及应用缓存的过期时间值的大小进行设置。例如,可以考虑以下几个方面来配置桶间隔值:
1.如果应用对缓存过期时间要求比较严格,则可以配置较小的桶间距值;反之,如果应用对缓存过期时间要求比较宽松,则可以配置较大的桶间距值。
2.如果应用缓存的过期时间普遍偏小,则可以减小桶间距值;反之,如果应用缓存的过期时间普遍偏大,则可以增大桶间距值
3.如果设置的桶间距值过小,则散列效果不明显,导致作用不大。
作为示例,对于过期时间在10秒-300秒较多的键,可以设为1秒;对于过期时间以小时为单位的,可以设为2秒;对于过期时间以天为单位的,建议10秒;对于过期时间既有’小时’也有’天’的,可以设置为以上建议值的最大公约数;对于过期时间不到10秒的,不建议使用缓存,可以选择定时器。
继续上面的示例,对于过期时间以小时为单位的情况,如果应用对缓存过期时间要求比较严格,则可以替代地不将桶间距值设置为1秒。
步骤S12:确定是否存在需要缓存的数据。例如,当需要对不经常改变的图片/页面启用缓存时,确定存在需要缓存的数据。
可选地,步骤S13:当确定存在需要缓存的数据时,确定缓存策略。缓存策略包括将缓存设置为普通缓存模式和桶回收模式中的一个模式。
步骤S14:根据配置的桶间距值和需要缓存的数据的过期时间将键划分到多个节点中的一个节点处。如本领域技术人员所理解的,过期时间(也被称为期满时间)是设置缓存的当前时间加上超时时间,并且超时时间可以由应用或编程人员根据实际情况来确定和/或设置。如果执行步骤S13,则在步骤S14:当确定缓存策略是桶回收模式时,根据配置的桶间距值和需要缓存的数据的过期时间将键划分到多个对应于桶的节点中的一个节点处。
图2示出了根据本发明实施例的用于将键划分到多个节点中的一个节点处的示意图。
如图2中所示,将时间轴上将过期时间落在第n个节点所对应的层n与第n+1个节点所对应的层n+1之间的任何键向上取整到n+1层(即在第n+1个节点所对应的时间清空该键,即将该键的缓存清空)。如本领域技术人员可以理解的,在本发明中使用的节点和层具有相同的含义并可以交换地使用。
虽然可以例如利用函数Math.ceil(double a)来向上取整,但是该函数只能以1为单位向上取整。根据本发明实施例的技术方案根据以下公式来确定一个键所划分到的节点:
(floor(expireTime/interval)+1)*interval
其中,floor表示向下取整函数,expireTime表示过期时间并且等于设置缓存的当前时间加上超时时间,以及interval表示桶间距值。
如将理解的,也可以替代地利用下取整来代替上取整,即可以替代地将时间轴上将过期时间落在第n个节点所对应的层n与第n+1个节点所对应的层n+1之间的任何键向下取整到n层(即在第n个节点所对应的时间清空该键)。
因此,当确定缓存策略是桶回收模式时,只需要维护键与层或节点之间的关系,而不需要维护键与过期时间之间映射。
可选地,如果执行步骤S13,则可在步骤S15处:当确定缓存策略是普通回收模式时,维护键与过期时间之间的映射。
在步骤S16:以桶间距值为间隔定时地删除划分到节点中的过期节点的所有键。应理解,过期节点是指该节点所对应的时间小于或等于当前时间的节点。
如果执行步骤S13,则在步骤16处:当确定缓存策略是桶回收模式时,以桶间距值为间隔定时地删除被划分到节点中的过期节点的所有键;以及可选地,在步骤S17处:当确定缓存策略是普通回收模式时,轮询各键的过期时间,一旦键的过期时间小于或等于当前时间,则将该键的缓存清空。
图3是根据本发明实施例的用于清空过期缓存的装置的主要模块的示意图。
如图3所示,本发明实施例的用于清空过期缓存的装置300主要包括:配置模块301、缓存数据确定模块302、缓存策略确定模块303、键-节点划分模块304、以及缓存清空模块305。
配置模块301用于配置指示桶的大小的桶间距值。配置模块301可以如前面所述地根据应用对缓存过期时间要求是否比较严格以及应用缓存的过期时间值的大小来设置桶间距值。
在应用对缓存过期时间要求比较严格的情况下,配置模块301可以配置较小的桶间距值;在应用对缓存过期时间要求比较宽松的情况下,配置模块301可以配置较大的桶间距值。
在应用缓存的过期时间普遍偏小的情况下,配置模块301可以适当地减小桶间距值;在应用缓存的过期时间普遍偏大的情况下,配置模块301可以增大桶间距值。
缓存数据确定模块302用于确定是否存在需要缓存的数据。当需要对不经常改变的图片/页面启用缓存时,缓存数据确定模块302确定存在需要缓存的数据。
缓存策略确定模块303用于确定缓存策略。缓存策略确定模块303可以将缓存设置为普通缓存模式和桶回收模式中的一个模式。例如,缓存策略确定模块303在确定需要高的缓存清空准确率时将缓存设置为普通缓存模式,而在确定需要提高效率时将缓存设置为桶回收模式。
键-节点划分模块304根据配置的桶间距值和需要缓存的数据的过期时间将键划分到多个节点中的一个节点处。
键-节点划分模块304可以进一步配置为用于:在配置缓存策略的情况下,当确定缓存策略是桶回收模式时,根据配置的桶间距值和需要缓存的数据的过期时间将键划分到多个节点中的一个节点处。替选地,键-节点划分模块304可以进一步配置为用于:在配置缓存策略的情况下,当确定缓存策略是普通回收模式时,直接维护键与过期时间之间的映射,而不将键划分到节点中。
键-节点划分模块304根据以下公式确定一个键所划分到的节点:
(floor(expireTime/interval)+1)*interval
其中,floor表示向下取整函数,expireTime表示过期时间并且等于设置缓存的当前时间加上超时时间,以及interval表示桶间距值。
缓存清空模块305用于以桶间距值为间隔定时地删除划分到多个节点中的过期节点的所有键。
缓存清空模块305可以进一步配置为用于:在配置缓存策略的情况下,当确定缓存策略是桶回收模式时,以桶间距值为间隔定时地删除被划分到多个节点中的过期节点的所有键;以及当确定缓存策略是普通回收模式时,轮询各键的过期时间,一旦键的过期时间小于或等于当前时间,则将该键的缓存清空。
根据本发明实施例的技术方案,采用桶的概念,将大量的键归并到节点上,使得以桶间距值为间隔定时地删除过期节点的所有键,从而使得减少清理的次数来提高清理效率,降低遍历所有缓存键给服务器带来的压力。
而且,根据本发明实施例的技术方案,可以进一步通过设置缓存策略,来根据需要选择采取桶回收模式或普通回收模式,从而能够兼顾效率和准确率。
图4示出了可以应用本发明实施例的清空过期缓存方法或清空过期缓存装置的示例性系统架构400。
如图4所示,系统架构400可以包括终端设备401、402、403,网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互,以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器,例如对用户利用终端设备401、402、403所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的请求等数据进行分析等处理,并将处理结果反馈给终端设备。
需要说明的是,本发明实施例所提供的清空过期缓存方法一般由服务器405执行,相应地,清空过期缓存装置一般设置于服务器405中。
应该理解,图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图5,其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括配置模块、缓存数据确定模块、键-节点划分模块、缓存清空模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,配置模块还可以被描述为“用于配置指示桶的大小的桶间距值的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:配置指示桶的大小的桶间距值;确定是否存在需要缓存的数据;在确定存在需要缓存的数据时,根据所述桶间距值和需要缓存的数据的过期时间将与需要缓存的数据相对应的键划分到多个与桶相对应的节点中的一个节点处;以及以所述桶间距值为间隔定时地删除划分到所述节点中的过期节点的所有键
根据本发明实施例的技术方案,使用桶回收,通过减少清理的次数来提高清理效率,降低遍历所有缓存键给服务器带来的压力。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种用于清空过期缓存的方法,包括:
根据应用对缓存过期时间要求是否严格以及应用缓存的过期时间值的大小,配置指示桶的大小的桶间距值;
确定是否存在需要缓存的数据;
在确定存在需要缓存的数据、且缓存策略是桶回收模式时,根据所述桶间距值和需要缓存的数据的过期时间将与需要缓存的数据相对应的键划分到多个与桶相对应的节点中的一个节点处;以及
以所述桶间距值为间隔定时地删除划分到所述节点中的过期节点的所有键。
2.根据权利要求1所述的方法,其中,当确定所述缓存策略是普通回收模式时,维护键与过期时间之间的映射,并且轮询各键的过期时间,一旦键的过期时间小于或等于当前时间,则将该键的缓存清空,不执行所述根据所述桶间距值和需要缓存的数据的过期时间将与需要缓存的数据相对应的键划分到所述节点中的一个节点处的步骤以及所述以所述桶间距值为间隔定时地删除划分到所述节点中的过期节点的所有键的步骤。
3.根据权利要求1所述的方法,其中,根据应用对缓存过期时间要求是否严格以及应用缓存的过期时间值的大小来配置桶间距值。
4.根据权利要求1所述的方法,其中,根据以下公式来确定一个键所划分到的节点:
(floor(expireTime/interval)+1)*interval
其中,floor表示向下取整函数,expireTime表示过期时间并且等于设置缓存的当前时间加上超时时间,以及interval表示所述桶间距值。
5.一种用于清空过期缓存的装置,包括:
配置模块,用于根据应用对缓存过期时间要求是否严格以及应用缓存的过期时间值的大小,配置指示桶的大小的桶间距值;
缓存数据确定模块,用于确定是否存在需要缓存的数据;
键-节点划分模块,用于当缓存策略为桶回收模式时,根据所述桶间距值和需要缓存的数据的过期时间将键划分到多个与桶相对应的节点中的一个处;以及
缓存清空模块,用于以所述桶间距值为间隔定时地删除划分到所述节点中的过期节点的所有键。
6.根据权利要求5所述的装置,其中,当所述缓存策略确定模块确定缓存策略是普通回收模式时,所述键-节点划分模块直接维护键与过期时间之间的映射,而不将键划分到节点中;并且所述缓存清空模块轮询各键的过期时间,一旦键的过期时间小于或等于当前时间,则将该键的缓存清空,而不是以所述桶间距值为间隔定时地删除划分到所述节点中的过期节点的所有键。
7.根据权利要求5所述的装置,其中,所述配置模块根据应用对缓存过期时间要求是否严格以及应用缓存的过期时间值的大小来设置所述桶间距值。
8.根据权利要求5所述的装置,其中,所述键-节点划分模块根据以下公式确定一个键所划分到的节点:
(floor(expireTime/interval)+1)*interval
其中,floor表示向下取整函数,expireTime表示过期时间并且等于设置缓存的当前时间加上超时时间,以及interval表示所述桶间距值。
9.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710402941.1A CN108984431B (zh) | 2017-06-01 | 2017-06-01 | 用于清空过期缓存的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710402941.1A CN108984431B (zh) | 2017-06-01 | 2017-06-01 | 用于清空过期缓存的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108984431A CN108984431A (zh) | 2018-12-11 |
CN108984431B true CN108984431B (zh) | 2021-04-30 |
Family
ID=64502155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710402941.1A Active CN108984431B (zh) | 2017-06-01 | 2017-06-01 | 用于清空过期缓存的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108984431B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113253922B (zh) * | 2021-03-12 | 2023-07-25 | 北京百度网讯科技有限公司 | 缓存管理方法、装置、电子设备和计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6052698A (en) * | 1996-12-23 | 2000-04-18 | Microsoft Corporation | Reorganization of collisions in a hash bucket of a hash table to improve system performance |
CN104809135A (zh) * | 2014-01-27 | 2015-07-29 | 腾讯科技(深圳)有限公司 | 一种数据存取方法及装置 |
CN105653198A (zh) * | 2014-11-13 | 2016-06-08 | 杭州迪普科技有限公司 | 数据处理方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101887396A (zh) * | 2009-05-14 | 2010-11-17 | 灰熊(北京)科技有限公司 | 一种实现可配置缓存的方法 |
-
2017
- 2017-06-01 CN CN201710402941.1A patent/CN108984431B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6052698A (en) * | 1996-12-23 | 2000-04-18 | Microsoft Corporation | Reorganization of collisions in a hash bucket of a hash table to improve system performance |
CN104809135A (zh) * | 2014-01-27 | 2015-07-29 | 腾讯科技(深圳)有限公司 | 一种数据存取方法及装置 |
CN105653198A (zh) * | 2014-11-13 | 2016-06-08 | 杭州迪普科技有限公司 | 数据处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108984431A (zh) | 2018-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109947668B (zh) | 存储数据的方法和装置 | |
US10209908B2 (en) | Optimization of in-memory data grid placement | |
CN108694075B (zh) | 处理报表数据的方法、装置、电子设备和可读存储介质 | |
US20220129468A1 (en) | Method, device, and program product for managing index of streaming data storage system | |
US10277707B2 (en) | Memcached systems having local caches | |
CN110914814B (zh) | 分布式存储环境的认知文件和对象管理 | |
US20160034504A1 (en) | Efficient aggregation, storage and querying of large volume metrics | |
US20190034487A1 (en) | Cognitive data filtering for storage environments | |
US9948743B2 (en) | Managing memory usage in server systems | |
CN113760982B (zh) | 一种数据处理方法和装置 | |
CN113392863A (zh) | 一种机器学习训练数据集的获取方法、获取装置及终端 | |
CN111857539A (zh) | 用于管理存储系统的方法、设备和计算机程序产品 | |
CN113885780A (zh) | 数据同步方法、装置、电子设备、系统和存储介质 | |
CN112783887A (zh) | 一种基于数据仓库的数据处理方法及装置 | |
CN108984431B (zh) | 用于清空过期缓存的方法和装置 | |
CN112817687A (zh) | 一种数据同步方法和装置 | |
CN111177109A (zh) | 一种删除过期键的方法和装置 | |
US10067678B1 (en) | Probabilistic eviction of partial aggregation results from constrained results storage | |
US9858283B2 (en) | Method for en passant workload shift detection | |
CN113641670A (zh) | 数据存储及数据检索方法、装置、电子设备及存储介质 | |
CN113220981A (zh) | 一种优化缓存的方法和装置 | |
CN111459981A (zh) | 查询任务的处理方法、装置、服务器及系统 | |
CN111209308B (zh) | 一种优化分布式缓存的方法和装置 | |
CN113297002B (zh) | 数据库工作模式的切换方法和装置 | |
CN113760965B (zh) | 数据查询的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |