CN105045723A - 一种缓存数据处理方法、装置和系统 - Google Patents
一种缓存数据处理方法、装置和系统 Download PDFInfo
- Publication number
- CN105045723A CN105045723A CN201510364473.4A CN201510364473A CN105045723A CN 105045723 A CN105045723 A CN 105045723A CN 201510364473 A CN201510364473 A CN 201510364473A CN 105045723 A CN105045723 A CN 105045723A
- Authority
- CN
- China
- Prior art keywords
- data
- time
- priority
- buffer memory
- chained list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种缓存数据处理方法、装置和系统;本发明实施例采用对缓存的存储空间进行监控,若根据监控结果确定缓存的已使用空间超过预置阈值,则确定该缓存中是否存在超时的数据,若存在超时的数据,则删除该超时的数据,反之,若不存在超时的数据,则根据数据优先级从低到高的顺序依次删除数据,直至该缓存的已使用空间低于该预置阈值;该方案可以为不同数据提供不同级别的保护,改善计算效果,提高投放精准性。
Description
技术领域
本发明涉及通信技术领域,具体涉及一种缓存数据处理方法、装置和系统。
背景技术
在线广告业务是在大数据的背景下应运而生的新兴业务,是大数据时代数据变现的重要途径之一。精准、海量和实时是在线广告业务的三大要素,而要保证精准,计算过程中所使用数据的准确与可靠至关重要。
在实时广告业务的计算请求过程中,会涉及到大量的数据查询,包括用户画像和广告信息等,由于数据量很大,目前的数据都存放于后端的分布式KV(关键字/值,Key/Value)存储引擎中。为了保证上述的高实时性,推荐系统会在本地设置缓存模块,将从KV存储引擎中查询回来的数据缓存起来,以提高数据查询速度。然而,由于本地缓存的存储空间有限,不可能将所有数据都保存在本地,因此设有一个缓存阀值,当缓存的数据到达该值,就使用某种淘汰策略进行数据淘汰。目前推荐系统的缓存使用“超时淘汰”机制,只针对各种数据的更新频率,在超时时间上作出区分。数据写入时,保存在对应的超时链表上,当缓存写满,则优先淘汰超时节点,若没有超时节点,则在每个超时链上强制删除一些以释放空间。
在对现有技术的研究和实践过程中,本发明的发明人发现,根据现有的淘汰方案,在缓存已满的情况下,每次的读写请求都会触发数据超时淘汰操作,而没有超时节点时,则在每个超时链上强制删除一些节点,因此,可能会误删除一些重要数据,使得无法为后续的计算提供准确的数据,影响计算效果,最终导致投放精准性的降低。
发明内容
本发明实施例提供一种缓存数据处理方法、装置和系统,可以为不同数据提供不同级别的保护,改善计算效果,提高投放精准性。
本发明实施例提供一种缓存数据处理方法,包括:
对缓存的存储空间进行监控;
若根据监控结果确定缓存的已使用空间超过预置阈值,则确定所述缓存中是否存在超时的数据;
若存在超时的数据,则删除所述超时的数据;
若不存在超时的数据,则根据数据优先级从低到高的顺序依次删除数据,直至所述缓存的已使用空间低于所述预置阈值。
相应的,本发明实施例还提供一种缓存数据处理装置,其特征在于,包括:
监控单元,用于对缓存的存储空间进行监控;
判断单元,用于在根据监控结果确定缓存的已使用空间超过预置阈值时,确定所述缓存中是否存在超时的数据;
第一处理单元,用于在判断单元确定存在超时的数据时,删除所述超时的数据;
第二处理单元,用于在判断单元确定不存在超时的数据时,根据数据优先级从低到高的顺序依次删除数据,直至所述缓存的已使用空间低于所述预置阈值。
此外,本发明实施例还提供一种信息推荐系统,包括本发明实施例所提供的任一种缓存数据处理装置。
本发明实施例采用对缓存的存储空间进行监控,若根据监控结果确定缓存的已使用空间超过预置阈值,则确定该缓存中是否存在超时的数据,若存在超时的数据,则删除该超时的数据,反之,若不存在超时的数据,则根据数据优先级从低到高的顺序依次删除数据,直至该缓存的已使用空间低于该预置阈值;由于该方案在不存在超时数据的情况下,可以按照数据优先级的高低对数据进行删除,以释放缓存的存储空间,因此,相对于现有技术只能随机删除数据的方案而言,大大提高了操作的灵活性,可以为不同数据提供不同级别的保护,从而避免重要数据被误删,有利于为后续的计算提供准确的数据,可以改善计算效果,提高投放精准性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的信息推荐系统的示意图;
图1b是本发明实施例提供的缓存数据处理方法的流程图;
图2a是本发明实施例提供的缓存数据处理方法的另一流程图;
图2b是本发明实施例提供的缓存数据处理方法中删除操作的示意图;
图3是本发明实施例提供的缓存数据处理方法的又一流程图;
图4a是本发明实施例提供的缓存数据处理装置的结构示意图;
图4b是本发明实施例提供的缓存数据处理装置的另一结构示意图;
图4c是本发明实施例提供的缓存数据处理装置的又一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种缓存数据处理方法、装置和系统。
如图1a所示,该信息推荐系统可以包括数据接收模块、缓存模块、计算模块和信息投放模块;以广告为例,其中,数据接收模块主要用于获取需要进行投放的广告数据,然后将这些广告数据缓存在缓存模块中,由计算模块从缓存模块中获取所需的广告数据进行计算,然后再由信息投放模块根据计算结果进行广告投放。由于缓存模块中的存储空间是有限的,因此,在已使用空间超过预置阈值时,对空间进行释放是十分必要的。
本发明实施例所提供的任一种缓存数据处理装置,正是可以集成在该缓存模块中,主要用于对缓存的存储空间进行监控,在确定缓存的已使用空间超过预置阈值时,确定该缓存中是否存在超时的数据,若存在超时的数据,则删除该超时的数据;若不存在超时的数据,则根据数据优先级从低到高的顺序依次删除数据,直至该缓存的已使用空间低于该预置阈值,从而实现对缓存空间的释放。
当然,该缓存数据处理装置也可以以独立的实体存在,另外,需说明的是,在该信息推荐系统中,还可以包括其他的模块(在图1a中并未示出),在此不再列举。
以下将分别进行详细说明。
实施例一、
本实施例中将从缓存数据处理装置的角度进行描述,该缓存数据处理装置具体可以集成在信息推荐系统的服务器或其他设备中。
一种缓存数据处理方法,包括:对缓存的存储空间进行监控;若根据监控结果确定缓存的已使用空间超过预置阈值,则确定该缓存中是否存在超时的数据;若存在超时的数据,则删除该超时的数据;若不存在超时的数据,则根据数据优先级从低到高的顺序依次删除数据,直至该缓存的已使用空间低于该预置阈值。
如图1b所示,该缓存数据处理方法的具体流程可以如下:
101、对缓存的存储空间进行监控。
例如,具体可以启动并调用监控进程,利用该监控进程对缓存的存储空间进行监控,等等。其中,监控的方式可以由多种,可以根据实际应用的需求而定,在此不再赘述。
102、若根据监控结果确定缓存的已使用空间超过预置阈值,则确定该缓存中是否存在超时的数据;若存在超时的数据,则删除该超时的数据;若不存在超时的数据,则根据数据优先级从低到高的顺序依次删除数据,直至该缓存的已使用空间低于该预置阈值。
其中,该预置阈值可以根据实际应用的需求进行设置,在此不再赘述。
其中,根据存储方式的不同,步骤102的处理方式也会有所区别,例如,具体可以采用如下任意一种方式:
(1)第一种方式;
查找超时链表,以确定是否存在超时的数据节点;
若存在超时的数据节点,则删除该超时链表中超时的数据节点;
若不存在超时的数据节点,则查找优先级链表,按照数据优先级从低到高的顺序依次删除该优先级链表中的数据节点,直至该缓存的已使用空间低于该预置阈值。
其中,优先级链表可以在系统启动时,根据配置的数据优先级信息来进行创建。即在步骤“对缓存的存储空间进行监控”之前,该缓存数据处理方法还可以包括:
获取配置的数据优先级信息,该数据优先级信息包括多个优先级级别,根据该数据优先级信息创建优先级链表,使得每一个优先级级别对应一个优先级链表。
例如,如果需要配置“0~9”十个优先级别,则可以在数据优先级信息中指示“0~9”十个优先级别,这样,该缓存数据处理装置获取到该数据优先级信息后,便可以创建10个优先级链表,使得每一个优先级级别对应一个优先级链表,比如,所创建的优先级链表可以包括:优先级别为“0”对应的优先级链表,优先级别为“1”对应的优先级链表,优先级别为“2”对应的优先级链表……优先级别为“9”对应的优先级链表,等等。
其中,优先级别的高低可以根据实际应用的需求而定,比如,可以设置优先级别为“0”的优先级最高,优先级别为“1”的优先级次之,而优先级别为“9”的优先级最低,或者,也可以设置优先级别为“9”的优先级最高,优先级别为“8”的优先级次之,而优先级别为“0”的优先级最低,等等,在此不再赘述。
其中,超时链表也可以在系统启动时进行创建,具体的创建方法可参见现在技术,在此不再赘述。
在超时链表和优先级链表创建好之后,便可以将需要写入缓存的数据分别写入到相应的超时链表和优先级链表中,即在按照现有方案将数据写入超时链表的同时,还需要将该数据写入优先级链表中;例如,具体可以如下:
获取需要写入缓存的数据,该需要写入缓存的数据可以包括属性信息和时间信息等;根据该属性信息为该需要写入缓存的数据设置数据优先级;按照该时间信息将该需要写入缓存的数据作为数据节点写入相应的超时链表中;按照设置的数据优先级将该需要写入缓存的数据作为数据节点写入相应的优先级链表中。
其中,属性信息用于指示数据的类型和重要性等信息,时间信息主要用于指示数据的超时时间。
例如,若设置具有A属性的数据为最重要的数据,则在确定该需要写入缓存的数据具有A属性时,便可以将该数据的优先级设置为最高的优先级别,比如优先级别“0”,然后,在按照时间信息将该数据写入相应的超时链表中的同时,还需要将该数据写入优先级别“0”对应的优先级链表中。
又例如,若设置具有B属性的数据为最不重要的数据,则在确定该需要写入缓存的数据具有B属性时,便可以将该数据的优先级设置为最低的优先级别,比如优先级别“9”,然后,在按照时间信息将该数据写入相应的超时链表中的同时,还需要将该数据写入优先级别“9”对应的优先级链表中,以此类推,等等。
(2)第二种方式
除了可以如第一种方式般,将超时链表和优先级链表分开使用之外,也可以将超时链表和优先级链表结合在一起,只使用一个优先级链表,然后为每一个节点增加超时时间域,并且在写入时就按照超时时间的到期先后排序进行写入,为了描述方便,在本实施例中,将这样一个优先级链表称为综合链表。若使用综合链表,则步骤102具体可以如下:
查找综合链表,以确定是否存在超时的数据节点;
若存在超时的数据节点,则删除该综合链表中超时的数据节点;
若不存在超时的数据节点,则查找该综合链表,按照数据优先级从低到高的顺序依次删除该综合链表中的数据节点,直至该缓存的已使用空间低于该预置阈值。
其中,综合链表可以在系统启动时,根据配置的数据优先级信息来进行创建。即在步骤“对缓存的存储空间进行监控”之前,该缓存数据处理方法还可以包括:
获取配置的数据优先级信息,该数据优先级信息包括多个优先级级别,根据该数据优先级信息创建综合链表,使得每一个优先级级别对应一个综合链表。
例如,如果需要配置“0~9”十个优先级别,则可以在数据优先级信息中指示“0~9”十个优先级别,这样,该缓存数据处理装置获取到该数据优先级信息后,便可以创建10个综合链表,使得每一个优先级级别对应一个综合链表,比如,所创建的优先级链表可以包括:优先级别为“0”对应的综合链表,优先级别为“1”对应的综合链表,优先级别为“2”对应的综合链表……优先级别为“9”对应的综合链表,等等。
其中,优先级别的高低可以根据实际应用的需求而定,比如,可以设置优先级别为“0”的优先级最高,优先级别为“1”的优先级次之,而优先级别为“9”的优先级最低,或者,也可以设置优先级别为“9”的优先级最高,优先级别为“8”的优先级次之,而优先级别为“0”的优先级最低,等等,在此不再赘述。
在综合链表创建好之后,便可以将需要写入缓存的数据写入该综合链表中,例如,具体可以如下:
获取需要写入缓存的数据,该需要写入缓存的数据包括属性信息和时间信息等;根据该属性信息为该需要写入缓存的数据设置数据优先级,以及根据该时间信息为该需要写入缓存的数据设置超时时间域;根据设置的数据优先级确定该需要写入缓存的数据将要写入的综合链表,得到目标综合链表;按照超时时间域所指示的超时时间的到期先后排序将该需要写入缓存的数据作为数据节点写入该目标综合链表中。
其中,属性信息用于指示数据的类型和重要性等信息,时间信息主要用于指示数据的超时时间。
例如,若设置具有A属性的数据为最重要的数据,则在确定该需要写入缓存的数据1和数据2均具有A属性时,便可以将该数据1和数据2的优先级设置为最高的优先级别,比如优先级别“0”,并且,根据该时间信息分别为数据1和数据2设置超时时间域,比如数据1的超时时间先到期,而数据2的超时时间后到期,那么,在根据数据优先级确定目标综合链表为“0”对应的综合链表之后,便可以先将数据2写入该优先级别“0”对应的综合链表中,然后再将数据1写入该优先级别“0”对应的综合链表中。
由上可知,本实施例采用对缓存的存储空间进行监控,若根据监控结果确定缓存的已使用空间超过预置阈值,则确定该缓存中是否存在超时的数据,若存在超时的数据,则删除该超时的数据,反之,若不存在超时的数据,则根据数据优先级从低到高的顺序依次删除数据,直至该缓存的已使用空间低于该预置阈值;由于该方案在不存在超时数据的情况下,可以按照数据优先级的高低对数据进行删除,以释放缓存的存储空间,因此,相对于现有技术只能随机删除数据的方案而言,大大提高了操作的灵活性,可以为不同数据提供不同级别的保护,从而避免重要数据被误删,有利于为后续的计算提供准确的数据,可以改善计算效果,提高信息如广告的投放精准性。
根据实施例一所描述的方法,以下将在实施例二和三举例作进一步详细说明。
实施例二、
在本实施例中,将以该缓存数据处理装置具体集成在信息推荐系统的服务器中为例进行详细说明。
首先,在系统启动时,需要创建超时链表和优先级链表,其中,优先级链表的创建方法可以如下:
获取配置的数据优先级信息,其中,该数据优先级信息包括多个优先级级别,然后,根据该数据优先级信息创建优先级链表,使得每一个优先级级别对应一个优先级链表。为了描述方便,在本实施例中,将以配置“0~9”十个优先级别为例进行说明,其中,“0”的优先级最高,“1”的优先级次之,依次类推,直至“9”的优先级最低。
其次,在超时链表和优先级链表创建好之后,便可以将需要写入缓存的数据分别写入到相应的超时链表和优先级链表中,在此过程中,可以对缓存的存储空间进行监控,在确定缓存的已使用空间超过预置阈值时,对空间进行释放,以下将该过程进行详细说明。
如图2a所示,一种缓存数据处理方法,具体流程可以如下:
201、服务器获取需要写入缓存的数据。
其中,该需要写入缓存的数据可以包括属性信息和时间信息等;属性信息用于指示数据的类型和重要性等信息,时间信息主要用于指示数据的超时时间。
202、服务器根据该属性信息为该需要写入缓存的数据设置数据优先级。
例如,若设置具有A属性的数据为最重要的数据,则在确定该需要写入缓存的数据具有A属性时,便可以将该数据的优先级设置为最高的优先级别,比如优先级别“0”。
203、服务器按照该时间信息将该需要写入缓存的数据作为数据节点写入相应的超时链表中,以及,按照设置的数据优先级将该需要写入缓存的数据作为数据节点写入相应的优先级链表中。
例如,以该数据设置的数据优先级为“0”为例,则此时服务器在按照时间信息将该数据写入相应的超时链表中之外,还需要将该数据写入优先级别“0”对应的优先级链表中。
204、服务器对缓存的存储空间进行监控。
例如,具体可以启动并调用监控进程,利用该监控进程对缓存的存储空间进行监控,等等。其中,监控的方式可以由多种,可以根据实际应用的需求而定,在此不再赘述。
需说明的是,数据的写入步骤(即步骤201~203)与该监控步骤(即步骤204)的执行可以不分先后,即系统运行期间,服务器可以一直对缓存的存储空间进行监控,而当有数据需要进行写入时,则执行写入操作。
205、若根据监控结果确定缓存的已使用空间超过预置阈值,则服务器查找超时链表,以确定是否存在超时的数据节点,若存在超时的数据节点,则执行步骤206;若不存在超时的数据节点,则执行步骤207。
其中,该预置阈值可以根据实际应用的需求进行设置,在此不再赘述。
206、服务器在确定存在超时的数据节点时,删除该超时链表中超时的数据节点,流程结束。
例如,参见图2b,若缓存中存在T1、T2、T3、T4……Tk等k个超时链表,且通过查找超时链表发现T2链表和T3链表中均存在超时的数据节点,则删除该超时的数据节点,参见图2b中超时链表中的黑色节点。
207、服务器在确定不存在超时的数据节点时,查找优先级链表,按照数据优先级从低到高的顺序依次删除该优先级链表中的数据节点,直至该缓存的已使用空间低于该预置阈值。
例如,参见图2b,缓存中存在P0、P1……P7、P7、P8和P9等10个优先级链表,分别对应着“0~9”十个优先级别,其中,优先级别为“0”表示优先级最高,即具有该优先级别的数据的重要程度最高,其他“1~9”的优先级逐渐降低,表示数据的重要程度依次降低,缓存已使用空间超过预置阈值时被淘汰的概率也依次增大。因此,在确定超时链表中不存在超时的数据节点时,服务器便会查找这些优先级链表,从优先级最低的P9链表开始删除数据节点,比如,如果需要删除n个数据节点才能使该缓存的已使用空间低于该预置阈值,则此时需要在P9链表上删除n个数据节点,若将P9链表上所有的数据节点都删除了还未能满n个,则删除优先级低一级的链表——P8链表上的数据节点,若将P8链表上所有的数据节点都删除了还未能满n个,则删除优先级再低一级的链表——P7链表上的数据节点,以此类推,直至删除的数据节点满n个为止,则流程结束,比如,参见图2b中优先级链表上的黑色节点即为被删除的数据节点。
需说明的是,可选的,对于优先级最高的数据,还可以设置其对应的数据即便在缓存的已使用空间超过预置阈值时也不会被淘汰,比如,参见图2b中P9链表上的数据节点(图中的灰色节点),由于这些数据节点的优先级别均为“0”,为最高优先级别,表示这些数据均有重要程度最高的数据,因此,即便缓存的存储空间超过阈值,比如存储空间已满,也不会删除这些数据节点,在此不再赘述。
由上可知,本实施例采用对缓存的存储空间进行监控,若根据监控结果确定缓存的已使用空间超过预置阈值,则确定超时链表上是否存在超时的数据节点,若存在,则删除该超时的数据节点,反之,若不存,则查找优先级链表,按照数据优先级从低到高的顺序依次删除该优先级链表中的数据节点,直至该缓存的已使用空间低于该预置阈值;由于该方案在不存在超时数据的情况下,可以按照数据优先级的高低对数据进行删除,以释放缓存的存储空间,因此,相对于现有技术只能随机删除数据的方案而言,大大提高了操作的灵活性,可以为不同数据提供不同级别的保护,从而避免重要数据被误删,有利于为后续的计算提供准确的数据,可以改善计算效果,提高信息如广告的投放精准性。
实施例三、
在本实施例中,同样以该缓存数据处理装置具体集成在信息推荐系统的服务器中为例进行说明,与实施例二不同的是,在本实施例中,不区分超时链表和优先级链表,而是将超时链表和优先级链表结合在一起,以综合链表的形式来实现,以下将进行详细说明。
首先,在系统启动时,需要创建综合链表,其中,综合链表的创建方法可以如下:
获取配置的数据优先级信息,其中,该数据优先级信息包括多个优先级级别,然后,根据该数据优先级信息创建综合链表,使得每一个优先级级别对应一个综合链表。为了描述方便,在本实施例中,将以配置“0~9”十个优先级别为例进行说明,其中,“0”的优先级最高,“1”的优先级次之,依次类推,直至“9”的优先级最低。
其次,在综合链表创建好之后,便可以将需要写入缓存的数据写入到相应的综合链表中,在此过程中,可以对缓存的存储空间进行监控,在确定缓存的已使用空间超过预置阈值时,对空间进行释放,以下将该过程进行详细说明。
如图3所示,一种缓存数据处理方法,具体流程可以如下:
301、服务器获取需要写入缓存的数据。
其中,该需要写入缓存的数据可以包括属性信息和时间信息等;属性信息用于指示数据的类型和重要性等信息,时间信息主要用于指示数据的超时时间。
302、服务器根据该属性信息为该需要写入缓存的数据设置数据优先级,以及根据该时间信息为该需要写入缓存的数据设置超时时间域。
例如,若设置具有A属性的数据为最重要的数据,则在确定该需要写入缓存的数据具有A属性时,便可以将该数据的优先级设置为最高的优先级别,比如优先级别“0”。
若设置时间信息满足B1条件的数据对应着超时时间域T1,时间信息满足B2条件的数据对应着超时时间域T2,则在确定该需要写入缓存的数据的时间信息满足B1条件时,将其超时时间域设置为超时时间域T1,同理,若在确定该需要写入缓存的数据的时间信息满足B2条件,那么,就可以将其超时时间域设置为超时时间域T2,依次类推,等等。
303、服务器根据设置的数据优先级确定该需要写入缓存的数据将要写入的综合链表,得到目标综合链表。
例如,如果在步骤302中,为该需要写入缓存的数据所设置的数据优先级为优先级别“0”,则此时,可以将该优先级别“0”对应的综合链表作为目标综合链表。
304、服务器按照超时时间域所指示的超时时间的到期先后排序将该需要写入缓存的数据作为数据节点写入该目标综合链表中。
例如,若数据1的超时时间域为T1,数据2的超时时间域T2,其中,T1的超时时间先到期,T2的超时时间后到期,则可以将数据2作为数据节点先写入该目标综合链表中,再将数据1作为数据节点写入该目标综合链表中;需说明的是,若在写入数据2之前,数据1已存在该目标综合链表中,则此时可以将数据2插入到数据1之前,以保证该综合链表上的数据节点可以按照超时时间的到期先后进行排序,在此不再赘述。
305、服务器对缓存的存储空间进行监控。
例如,具体可以启动并调用监控进程,利用该监控进程对缓存的存储空间进行监控,等等。其中,监控的方式可以由多种,可以根据实际应用的需求而定,在此不再赘述。
需说明的是,数据的写入步骤(即步骤301~304)与该监控步骤(即步骤305)的执行可以不分先后,即系统运行期间,服务器可以一直对缓存的存储空间进行监控,而当有数据需要进行写入时,则执行写入操作。
306、若根据监控结果确定缓存的已使用空间超过预置阈值,则服务器查找综合链表,以确定是否存在超时的数据节点,若存在超时的数据节点,则执行步骤307;若不存在超时的数据节点,则执行步骤308。
其中,该预置阈值可以根据实际应用的需求进行设置,在此不再赘述。
307、服务器在确定存在超时的数据节点时,删除该综合链表中超时的数据节点,流程结束。
该步骤与在超时链表中删除超时的数据节点的操作类似,详见实施二,在此不再赘述。
308、服务器在确定不存在超时的数据节点时,查找该综合链表,按照数据优先级从低到高的顺序依次删除该综合链表中的数据节点,直至该缓存的已使用空间低于该预置阈值。
该步骤与在优先级链表中删除数据节点的操作类似,详见实施二,在此不再赘述。
由上可知,本实施例采用对缓存的存储空间进行监控,若根据监控结果确定缓存的已使用空间超过预置阈值,则确定综合链表中是否存在超时的数据节点,若存在,则删除该超时的数据节点,反之,若不存,则根据数据优先级从低到高的顺序依次删除数据节点,直至该缓存的已使用空间低于该预置阈值;由于该方案在不存在超时数据的情况下,可以按照数据优先级的高低对数据进行删除,以释放缓存的存储空间,因此,相对于现有技术只能随机删除数据的方案而言,大大提高了操作的灵活性,可以为不同数据提供不同级别的保护,从而避免重要数据被误删,有利于为后续的计算提供准确的数据,可以改善计算效果,提高信息如广告的投放精准性。
实施例四、
为了更好地实施以上方法,本发明实施例还提供一种缓存数据处理装置,如图4a所示,该缓存数据处理装置包括监控单元301、判断单元302、第一处理单元303和第二处理单元304,如下:
监控单元301,用于对缓存的存储空间进行监控。
例如,具体可以启动并调用监控进程,利用该监控进程对缓存的存储空间进行监控,等等。其中,监控的方式可以由多种,可以根据实际应用的需求而定,在此不再赘述。
判断单元302,用于在根据监控结果确定缓存的已使用空间超过预置阈值时,确定该缓存中是否存在超时的数据。
其中,该预置阈值可以根据实际应用的需求进行设置,在此不再赘述。
第一处理单元303,用于在判断单元302确定存在超时的数据时,删除该超时的数据;
第二处理单元304,用于在判断单元302确定不存在超时的数据时,根据数据优先级从低到高的顺序依次删除数据,直至该缓存的已使用空间低于该预置阈值。
其中,根据存储方式的不同,判断单元302、第一处理单元303和第二处理单元304的处理方式也会有所区别,例如,具体可以采用如下任意一种方式:
(1)第一种方式;
判断单元302,具体用于在根据监控结果确定缓存的已使用空间超过预置阈值时,查找超时链表,以确定是否存在超时的数据节点。
第一处理单元303,具体用于在判断单元302确定存在超时的数据节点时,删除该超时链表中超时的数据节点。
第二处理单元304,具体用于在判断单元确定不存在超时的数据节点时,查找优先级链表,按照数据优先级从低到高的顺序依次删除该优先级链表中的数据节点,直至该缓存的已使用空间低于该预置阈值。
其中,优先级链表可以在系统启动时,根据配置的数据优先级信息来进行创建。即如图4b所示,该缓存数据处理装置还可以包括第一创建单元A305,如下:
第一创建单元A305,用于获取配置的数据优先级信息,该数据优先级信息包括多个优先级级别,根据该数据优先级信息创建优先级链表,使得每一个优先级级别对应一个优先级链表。
例如,如果需要配置“0~9”十个优先级别,则可以在数据优先级信息中指示“0~9”十个优先级别,这样,该第一创建单元A305获取到该数据优先级信息后,便可以创建10个优先级链表,使得每一个优先级级别对应一个优先级链表,比如,所创建的优先级链表可以包括:优先级别为“0”对应的优先级链表,优先级别为“1”对应的优先级链表,优先级别为“2”对应的优先级链表……优先级别为“9”对应的优先级链表,等等。
其中,优先级别的高低可以根据实际应用的需求而定,比如,可以设置优先级别为“0”的优先级最高,优先级别为“1”的优先级次之,而优先级别为“9”的优先级最低,或者,也可以设置优先级别为“9”的优先级最高,优先级别为“8”的优先级次之,而优先级别为“0”的优先级最低,等等,在此不再赘述。
其中,超时链表也可以在系统启动时进行创建,具体的创建方法可参见现在技术,在此不再赘述。
在超时链表和优先级链表创建好之后,便可以将需要写入缓存的数据分别写入到相应的超时链表和优先级链表中,即该缓存处理装置还可以包括第一获取单元A306、第一设置单元A307和第一写入单元A308;
第一获取单元A306,用于获取需要写入缓存的数据,该需要写入缓存的数据包括属性信息和时间信息等;其中,属性信息用于指示数据的类型和重要性等信息,时间信息主要用于指示数据的超时时间。
第一设置单元A307,用于根据该属性信息为该需要写入缓存的数据设置数据优先级。
第一写入单元A308,用于按照该时间信息将该需要写入缓存的数据作为数据节点写入相应的超时链表中,以及按照设置的数据优先级将该需要写入缓存的数据作为数据节点写入相应的优先级链表中。
(2)第二种方式;
判断单元302,具体用于在根据监控结果确定缓存的已使用空间超过预置阈值时,查找综合链表,以确定是否存在超时的数据节点。
第一处理单元303,具体用于在判断单元确定存在超时的数据节点时,删除该综合链表中超时的数据节点。
第二处理单元304,具体用于在判断单元确定不存在超时的数据节点时,查找该综合链表,按照数据优先级从低到高的顺序依次删除该综合链表中的数据节点,直至该缓存的已使用空间低于该预置阈值。
其中,综合链表可以在系统启动时,根据配置的数据优先级信息来进行创建。即如图4c所示,该缓存数据处理装置还可以包括第二创建单元B305,如下:
第二创建单元B305,用于获取配置的数据优先级信息,该数据优先级信息包括多个优先级级别;根据该数据优先级信息创建综合链表,使得每一个优先级级别对应一个综合链表。
例如,如果需要配置“0~9”十个优先级别,则可以在数据优先级信息中指示“0~9”十个优先级别,这样,该缓存数据处理装置获取到该数据优先级信息后,便可以创建10个综合链表,使得每一个优先级级别对应一个综合链表,比如,所创建的优先级链表可以包括:优先级别为“0”对应的综合链表,优先级别为“1”对应的综合链表,优先级别为“2”对应的综合链表……优先级别为“9”对应的综合链表,等等。
其中,优先级别的高低可以根据实际应用的需求而定,比如,可以设置优先级别为“0”的优先级最高,优先级别为“1”的优先级次之,而优先级别为“9”的优先级最低,或者,也可以设置优先级别为“9”的优先级最高,优先级别为“8”的优先级次之,而优先级别为“0”的优先级最低,等等,在此不再赘述。
在综合链表创建好之后,便可以将需要写入缓存的数据写入该综合链表中,即该缓存数据处理装置还可以包括第二获取单元B306、第二设置单元B307和第二写入单元B308,如下:
第二获取单元B306,用于获取需要写入缓存的数据,该需要写入缓存的数据包括属性信息和时间信息等;其中,属性信息用于指示数据的类型和重要性等信息,时间信息主要用于指示数据的超时时间。
第二设置单元B307,用于根据该属性信息为该需要写入缓存的数据设置数据优先级,以及根据该时间信息为该需要写入缓存的数据设置超时时间域。
第二写入单元B308,用于根据设置的数据优先级确定该需要写入缓存的数据将要写入的综合链表,得到目标综合链表;按照超时时间域所指示的超时时间的到期先后排序将该需要写入缓存的数据作为数据节点写入该目标综合链表中。
该缓存数据处理装置具体可以集成在信息推荐系统的服务器或其他设备中。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的缓存数据处理装置的监控单元301可以对缓存的存储空间进行监控,若根据监控结果确定缓存的已使用空间超过预置阈值,则由判断单元302确定该缓存中是否存在超时的数据,若存在超时的数据,则由第一处理单元303删除该超时的数据,反之,若不存在超时的数据,则由第二处理单元304根据数据优先级从低到高的顺序依次删除数据,直至该缓存的已使用空间低于该预置阈值;由于该方案在不存在超时数据的情况下,可以按照数据优先级的高低对数据进行删除,以释放缓存的存储空间,因此,相对于现有技术只能随机删除数据的方案而言,大大提高了操作的灵活性,可以为不同数据提供不同级别的保护,从而避免重要数据被误删,有利于为后续的计算提供准确的数据,可以改善计算效果,提高投放信息如广告的精准性。
实施例五、
相应的,本发明实施例还提供一种信息推荐系统,包括本发明实施例所提供的任一种缓存数据处理装置,具体可参见实施例四,例如,具体可以如下:
缓存数据处理装置,用于对缓存的存储空间进行监控;若根据监控结果确定缓存的已使用空间超过预置阈值,则确定该缓存中是否存在超时的数据;若存在超时的数据,则删除该超时的数据;若不存在超时的数据,则根据数据优先级从低到高的顺序依次删除数据,直至该缓存的已使用空间低于该预置阈值。
例如,该缓存数据处理装置,具体可以用于对缓存的存储空间进行监控;若根据监控结果确定缓存的已使用空间超过预置阈值,则查找超时链表,以确定是否存在超时的数据节点;若存在超时的数据节点,则删除该超时链表中超时的数据节点;若不存在超时的数据节点,则查找优先级链表,按照数据优先级从低到高的顺序依次删除该优先级链表中的数据节点,直至该缓存的已使用空间低于该预置阈值。
或者,该缓存数据处理装置,具体可以用于对缓存的存储空间进行监控;若根据监控结果确定缓存的已使用空间超过预置阈值,则查找综合链表,以确定是否存在超时的数据节点;若存在超时的数据节点,则删除该综合链表中超时的数据节点;若不存在超时的数据节点,则查找该综合链表,按照数据优先级从低到高的顺序依次删除该综合链表中的数据节点,直至该缓存的已使用空间低于该预置阈值。
其中,优先级链表和综合链表的创建、以及缓存数据的写入具体可参见前面的实施例,在此不再赘述。
此外,该信息推荐系统还可以包括其他的模块,比如,还可以接收模块、计算模块和信息投放模块等,如下:
接收模块,用于获取需要进行投放的信息的相关数据,然后将数据发送该缓存数据处理装置;
计算模块,用于从缓存中获取需要进行计算的数据,按照预置策略对该需要进行计算的数据进行计算,得到计算结果,将计算结果发送给信息投放模块。
信息投放模块,用于接收计算模块发送的技术结果,根据计算结果进行信息投放。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由于该信息推荐系统可以包括本发明实施例所提供的任一种缓存数据处理装置,因此,可以实现本发明实施例所提供的任一种缓存数据处理装置所能实现的有益效果,详见前面的实施例,在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,ReadOnlyMemory)、随机存取记忆体(RAM,RandomAccessMemory)、磁盘或光盘等。
以上对本发明实施例所提供的一种缓存数据处理方法、装置和系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种缓存数据处理方法,其特征在于,包括:
对缓存的存储空间进行监控;
若根据监控结果确定缓存的已使用空间超过预置阈值,则确定所述缓存中是否存在超时的数据;
若存在超时的数据,则删除所述超时的数据;
若不存在超时的数据,则根据数据优先级从低到高的顺序依次删除数据,直至所述缓存的已使用空间低于所述预置阈值。
2.根据权利要求1所述的方法,其特征在于,所述确定所述缓存中是否存在超时的数据,若存在超时的数据,则删除所述超时的数据,若不存在超时的数据,则根据数据优先级从低到高的顺序依次删除数据,直至所述缓存的已使用空间低于所述预置阈值,包括:
查找超时链表,以确定是否存在超时的数据节点;
若存在超时的数据节点,则删除所述超时链表中超时的数据节点;
若不存在超时的数据节点,则查找优先级链表,按照数据优先级从低到高的顺序依次删除所述优先级链表中的数据节点,直至所述缓存的已使用空间低于所述预置阈值。
3.根据权利要求2所述的方法,其特征在于,还包括:
获取需要写入缓存的数据,所述需要写入缓存的数据包括属性信息和时间信息;
根据所述属性信息为所述需要写入缓存的数据设置数据优先级;
按照所述时间信息将所述需要写入缓存的数据作为数据节点写入相应的超时链表中;
按照设置的数据优先级将所述需要写入缓存的数据作为数据节点写入相应的优先级链表中。
4.根据权利要求2或3所述的方法,其特征在于,所述对缓存的存储空间进行监控之前,还包括:
获取配置的数据优先级信息,所述数据优先级信息包括多个优先级级别;
根据所述数据优先级信息创建优先级链表,使得每一个优先级级别对应一个优先级链表。
5.根据权利要求1所述的方法,其特征在于,所述确定所述缓存中是否存在超时的数据,若存在超时的数据,则删除所述超时的数据,若不存在超时的数据,则根据数据优先级从低到高的顺序依次删除数据,直至所述缓存的已使用空间低于所述预置阈值,包括:
查找综合链表,以确定是否存在超时的数据节点;
若存在超时的数据节点,则删除所述综合链表中超时的数据节点;
若不存在超时的数据节点,则查找所述综合链表,按照数据优先级从低到高的顺序依次删除所述综合链表中的数据节点,直至所述缓存的已使用空间低于所述预置阈值。
6.根据权利要求5所述的方法,其特征在于,还包括:
获取需要写入缓存的数据,所述需要写入缓存的数据包括属性信息和时间信息;
根据所述属性信息为所述需要写入缓存的数据设置数据优先级,以及根据所述时间信息为所述需要写入缓存的数据设置超时时间域;
根据设置的数据优先级确定所述需要写入缓存的数据将要写入的综合链表,得到目标综合链表;
按照超时时间域所指示的超时时间的到期先后排序将所述需要写入缓存的数据作为数据节点写入所述目标综合链表中。
7.根据权利要求5或6所述的方法,其特征在于,所述对缓存的存储空间进行监控之前,还包括:
获取配置的数据优先级信息,所述数据优先级信息包括多个优先级级别;
根据所述数据优先级信息创建综合链表,使得每一个优先级级别对应一个综合链表。
8.一种缓存数据处理装置,其特征在于,包括:
监控单元,用于对缓存的存储空间进行监控;
判断单元,用于在根据监控结果确定缓存的已使用空间超过预置阈值时,确定所述缓存中是否存在超时的数据;
第一处理单元,用于在判断单元确定存在超时的数据时,删除所述超时的数据;
第二处理单元,用于在判断单元确定不存在超时的数据时,根据数据优先级从低到高的顺序依次删除数据,直至所述缓存的已使用空间低于所述预置阈值。
9.根据权利要求8所述的装置,其特征在于,
所述判断单元,具体用于在根据监控结果确定缓存的已使用空间超过预置阈值时,查找超时链表,以确定是否存在超时的数据节点;
所述第一处理单元,具体用于在判断单元确定存在超时的数据节点时,删除所述超时链表中超时的数据节点;
所述第二处理单元,具体用于在判断单元确定不存在超时的数据节点时,查找优先级链表,按照数据优先级从低到高的顺序依次删除所述优先级链表中的数据节点,直至所述缓存的已使用空间低于所述预置阈值。
10.根据权利要求9所述的装置,其特征在于,还包括第一获取单元、第一设置单元和第一写入单元;
所述第一获取单元,用于获取需要写入缓存的数据,所述需要写入缓存的数据包括属性信息和时间信息;
所述第一设置单元,用于根据所述属性信息为所述需要写入缓存的数据设置数据优先级;
所述第一写入单元,用于按照所述时间信息将所述需要写入缓存的数据作为数据节点写入相应的超时链表中,以及按照设置的数据优先级将所述需要写入缓存的数据作为数据节点写入相应的优先级链表中。
11.根据权利要求9或10任一项所述的装置,其特征在于,还包括第一创建单元;
所述第一创建单元,用于获取配置的数据优先级信息,所述数据优先级信息包括多个优先级级别,根据所述数据优先级信息创建优先级链表,使得每一个优先级级别对应一个优先级链表。
12.根据权利要求8所述的装置,其特征在于,
所述判断单元,具体用于在根据监控结果确定缓存的已使用空间超过预置阈值时,查找综合链表,以确定是否存在超时的数据节点;
所述第一处理单元,具体用于在判断单元确定存在超时的数据节点时,删除所述综合链表中超时的数据节点;
所述第二处理单元,具体用于在判断单元确定不存在超时的数据节点时,查找所述综合链表,按照数据优先级从低到高的顺序依次删除所述综合链表中的数据节点,直至所述缓存的已使用空间低于所述预置阈值。
13.根据权利要求12所述的装置,其特征在于,还包括第二获取单元、第二设置单元和第二写入单元;
所述第二获取单元,用于获取需要写入缓存的数据,所述需要写入缓存的数据包括属性信息和时间信息;
所述第二设置单元,用于根据所述属性信息为所述需要写入缓存的数据设置数据优先级,以及根据所述时间信息为所述需要写入缓存的数据设置超时时间域;
所述第二写入单元,用于根据设置的数据优先级确定所述需要写入缓存的数据将要写入的综合链表,得到目标综合链表;按照超时时间域所指示的超时时间的到期先后排序将所述需要写入缓存的数据作为数据节点写入所述目标综合链表中。
14.根据权利要求12或13所述的装置,其特征在于,还包括第二创建单元;
所述第二创建单元,用于获取配置的数据优先级信息,所述数据优先级信息包括多个优先级级别;根据所述数据优先级信息创建综合链表,使得每一个优先级级别对应一个综合链表。
15.一种信息推荐系统,其特征在于,包括权利要求8至14任一项所述的缓存数据处理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510364473.4A CN105045723A (zh) | 2015-06-26 | 2015-06-26 | 一种缓存数据处理方法、装置和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510364473.4A CN105045723A (zh) | 2015-06-26 | 2015-06-26 | 一种缓存数据处理方法、装置和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105045723A true CN105045723A (zh) | 2015-11-11 |
Family
ID=54452286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510364473.4A Pending CN105045723A (zh) | 2015-06-26 | 2015-06-26 | 一种缓存数据处理方法、装置和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105045723A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106201432A (zh) * | 2016-07-19 | 2016-12-07 | 网易(杭州)网络有限公司 | 目标对象的信息的处理方法和装置 |
CN106534329A (zh) * | 2016-11-28 | 2017-03-22 | 桐城市闲产网络服务有限公司 | 一种网络数据存储管理方法 |
CN106785121A (zh) * | 2016-12-30 | 2017-05-31 | 中山大学 | 带有智能数据管理与电池包异常警报的电池管理系统 |
CN106776043A (zh) * | 2017-01-06 | 2017-05-31 | 郑州云海信息技术有限公司 | 一种基于文件为客户端分配缓存配额的方法及其装置 |
CN107526690A (zh) * | 2016-06-21 | 2017-12-29 | 中兴通讯股份有限公司 | 清除缓存的方法及装置 |
CN108874322A (zh) * | 2018-06-29 | 2018-11-23 | 郑州云海信息技术有限公司 | 一种事件处理方法、装置和计算机可读存储介质 |
CN109362103A (zh) * | 2018-10-30 | 2019-02-19 | 维沃移动通信有限公司 | 一种数据缓存方法及终端设备 |
CN109756428A (zh) * | 2018-12-14 | 2019-05-14 | 麒麟合盛网络技术股份有限公司 | 广告投放方法及装置 |
CN110674121A (zh) * | 2019-08-22 | 2020-01-10 | 平安科技(深圳)有限公司 | 缓存数据清理方法、装置、设备及计算机可读存储介质 |
US10664405B2 (en) * | 2017-11-03 | 2020-05-26 | Google Llc | In-memory distributed cache |
CN111930306A (zh) * | 2020-07-29 | 2020-11-13 | 北京京东乾石科技有限公司 | 一种数据处理方法和装置 |
CN112000281A (zh) * | 2020-07-30 | 2020-11-27 | 北京浪潮数据技术有限公司 | 一种存储系统重删元数据的缓存方法、系统及装置 |
CN112380175A (zh) * | 2021-01-15 | 2021-02-19 | 北京东方通软件有限公司 | 一种针对操作系统接收临时文件的时间管理方法 |
CN112491871A (zh) * | 2020-11-25 | 2021-03-12 | 北京宝兰德软件股份有限公司 | 一种tcp重组方法、装置、电子设备及存储介质 |
CN112579652A (zh) * | 2020-12-28 | 2021-03-30 | 咪咕文化科技有限公司 | 缓存数据的删除方法、装置、电子设备及存储介质 |
CN113485644A (zh) * | 2021-07-05 | 2021-10-08 | 深圳市杉岩数据技术有限公司 | 一种io数据存储方法和服务器 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101060402A (zh) * | 2006-04-21 | 2007-10-24 | 盛趣信息技术(上海)有限公司 | 基于Hash-map的多点缓存装置 |
CN102333079A (zh) * | 2011-02-25 | 2012-01-25 | 北京兴宇中科科技开发股份有限公司 | 一种磁盘空间清理方法 |
CN102456048A (zh) * | 2010-10-28 | 2012-05-16 | 无锡江南计算技术研究所 | 海量数据处理方法及系统 |
CN103024329A (zh) * | 2013-01-04 | 2013-04-03 | 四川长虹电子系统有限公司 | 一种监控录像的存储管理方法 |
CN103236989A (zh) * | 2013-04-25 | 2013-08-07 | 青岛海信传媒网络技术有限公司 | 一种内容分发网络中的缓存控制方法、设备及系统 |
CN104219561A (zh) * | 2014-08-20 | 2014-12-17 | 北京奇艺世纪科技有限公司 | 一种离线视频的清理方法和用户设备 |
-
2015
- 2015-06-26 CN CN201510364473.4A patent/CN105045723A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101060402A (zh) * | 2006-04-21 | 2007-10-24 | 盛趣信息技术(上海)有限公司 | 基于Hash-map的多点缓存装置 |
CN102456048A (zh) * | 2010-10-28 | 2012-05-16 | 无锡江南计算技术研究所 | 海量数据处理方法及系统 |
CN102333079A (zh) * | 2011-02-25 | 2012-01-25 | 北京兴宇中科科技开发股份有限公司 | 一种磁盘空间清理方法 |
CN103024329A (zh) * | 2013-01-04 | 2013-04-03 | 四川长虹电子系统有限公司 | 一种监控录像的存储管理方法 |
CN103236989A (zh) * | 2013-04-25 | 2013-08-07 | 青岛海信传媒网络技术有限公司 | 一种内容分发网络中的缓存控制方法、设备及系统 |
CN104219561A (zh) * | 2014-08-20 | 2014-12-17 | 北京奇艺世纪科技有限公司 | 一种离线视频的清理方法和用户设备 |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107526690A (zh) * | 2016-06-21 | 2017-12-29 | 中兴通讯股份有限公司 | 清除缓存的方法及装置 |
CN107526690B (zh) * | 2016-06-21 | 2022-12-02 | 中兴通讯股份有限公司 | 清除缓存的方法及装置 |
CN106201432A (zh) * | 2016-07-19 | 2016-12-07 | 网易(杭州)网络有限公司 | 目标对象的信息的处理方法和装置 |
CN106201432B (zh) * | 2016-07-19 | 2019-08-06 | 网易(杭州)网络有限公司 | 目标对象的信息的处理方法和装置 |
CN106534329A (zh) * | 2016-11-28 | 2017-03-22 | 桐城市闲产网络服务有限公司 | 一种网络数据存储管理方法 |
CN106785121A (zh) * | 2016-12-30 | 2017-05-31 | 中山大学 | 带有智能数据管理与电池包异常警报的电池管理系统 |
CN106776043A (zh) * | 2017-01-06 | 2017-05-31 | 郑州云海信息技术有限公司 | 一种基于文件为客户端分配缓存配额的方法及其装置 |
US10664405B2 (en) * | 2017-11-03 | 2020-05-26 | Google Llc | In-memory distributed cache |
US11797453B2 (en) * | 2017-11-03 | 2023-10-24 | Google Llc | In-memory distributed cache |
US20220019540A1 (en) * | 2017-11-03 | 2022-01-20 | Google Llc | In-Memory Distributed Cache |
CN108874322A (zh) * | 2018-06-29 | 2018-11-23 | 郑州云海信息技术有限公司 | 一种事件处理方法、装置和计算机可读存储介质 |
CN109362103A (zh) * | 2018-10-30 | 2019-02-19 | 维沃移动通信有限公司 | 一种数据缓存方法及终端设备 |
CN109756428A (zh) * | 2018-12-14 | 2019-05-14 | 麒麟合盛网络技术股份有限公司 | 广告投放方法及装置 |
CN110674121A (zh) * | 2019-08-22 | 2020-01-10 | 平安科技(深圳)有限公司 | 缓存数据清理方法、装置、设备及计算机可读存储介质 |
CN110674121B (zh) * | 2019-08-22 | 2023-08-22 | 平安科技(深圳)有限公司 | 缓存数据清理方法、装置、设备及计算机可读存储介质 |
CN111930306A (zh) * | 2020-07-29 | 2020-11-13 | 北京京东乾石科技有限公司 | 一种数据处理方法和装置 |
CN112000281A (zh) * | 2020-07-30 | 2020-11-27 | 北京浪潮数据技术有限公司 | 一种存储系统重删元数据的缓存方法、系统及装置 |
CN112491871A (zh) * | 2020-11-25 | 2021-03-12 | 北京宝兰德软件股份有限公司 | 一种tcp重组方法、装置、电子设备及存储介质 |
CN112579652A (zh) * | 2020-12-28 | 2021-03-30 | 咪咕文化科技有限公司 | 缓存数据的删除方法、装置、电子设备及存储介质 |
CN112579652B (zh) * | 2020-12-28 | 2024-04-09 | 咪咕文化科技有限公司 | 缓存数据的删除方法、装置、电子设备及存储介质 |
CN112380175A (zh) * | 2021-01-15 | 2021-02-19 | 北京东方通软件有限公司 | 一种针对操作系统接收临时文件的时间管理方法 |
CN113485644A (zh) * | 2021-07-05 | 2021-10-08 | 深圳市杉岩数据技术有限公司 | 一种io数据存储方法和服务器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105045723A (zh) | 一种缓存数据处理方法、装置和系统 | |
US10133679B2 (en) | Read cache management method and apparatus based on solid state drive | |
US20200150890A1 (en) | Data Deduplication Method and Apparatus | |
US10152233B2 (en) | File management method, distributed storage system, and management node | |
US9507720B2 (en) | Block storage-based data processing methods, apparatus, and systems | |
JP2013509658A (ja) | 将来の使用推量に基づく記憶メモリの割り当て | |
US10241681B2 (en) | Management of physical extents for space efficient storage volumes | |
US10001926B2 (en) | Management of extents for space efficient storage volumes by reusing previously allocated extents | |
CN109213696B (zh) | 用于缓存管理的方法和设备 | |
US11366758B2 (en) | Method and devices for managing cache | |
CN106331148A (zh) | 一种客户端数据读取时的缓存管理方法及其装置 | |
CN105095495B (zh) | 一种分布式文件系统缓存管理方法和系统 | |
US20160070475A1 (en) | Memory Management Method, Apparatus, and System | |
CN103635887A (zh) | 缓存数据的方法和存储系统 | |
CN103064797A (zh) | 数据处理方法和虚拟机管理平台 | |
CN103927136B (zh) | 输入输出io类型的识别方法和装置 | |
CN103491152A (zh) | 分布式文件系统中元数据获取方法、装置及系统 | |
CN103095686A (zh) | 热点元数据访问控制方法和服务器 | |
JP6522168B2 (ja) | ストレージデバイスを管理するための方法および装置 | |
US10209905B2 (en) | Reusing storage blocks of a file system | |
JP2018511131A (ja) | オンライン媒体のための階層的なコストベースのキャッシング | |
US20190303476A1 (en) | Dynamic buffer pools for process non-conforming tasks | |
CN109976896B (zh) | 业务排重处理方法和装置 | |
CN110658999B (zh) | 一种信息更新方法、装置、设备及计算机可读存储介质 | |
KR101643278B1 (ko) | 데이터베이스 시스템에서 스토리지 서버 관리 방법, 장치 및 컴퓨터 판독가능 매체에 저장된 컴퓨터-프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151111 |
|
RJ01 | Rejection of invention patent application after publication |