CN107943718A - 一种清理缓存文件的方法和装置 - Google Patents
一种清理缓存文件的方法和装置 Download PDFInfo
- Publication number
- CN107943718A CN107943718A CN201711285172.8A CN201711285172A CN107943718A CN 107943718 A CN107943718 A CN 107943718A CN 201711285172 A CN201711285172 A CN 201711285172A CN 107943718 A CN107943718 A CN 107943718A
- Authority
- CN
- China
- Prior art keywords
- cache file
- cache
- file index
- cleaning
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004140 cleaning Methods 0.000 claims abstract description 147
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 238000013500 data storage Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0891—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches using clearing, invalidating or resetting means
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种清理缓存文件的方法和装置,属于数据存储技术领域。所述方法包括:当满足预设的磁盘清理条件时,读取本地存储的缓存文件索引,其中所述缓存文件索引中的节点按照对应的缓存文件的最后访问时间进行排序,根据预设的磁盘清理规则在所述缓存文件索引中确定初始清理节点,删除所述缓存文件索引中,排序在所述初始清理节点之后或之前的所有节点及其对应的缓存文件。采用本发明,可以提高磁盘清理的效率。
Description
技术领域
本发明涉及数据存储技术领域,尤其是关于一种清理缓存文件的方法和装置。
背景技术
缓存服务器是一种用于存储需要频繁访问的文件资源的设备,一般部署在距离用户较近的区域,用户可以较为快速地从缓存服务器中获取其存储的文件资源。
受磁盘容量的限制,缓存服务器需要定期清理缓存文件,具体可以定期扫描磁盘,计算磁盘上的缓存文件的最后访问时间与当前时间的时间戳之差,如果某个缓存文件对应的时间戳之差大于预设阈值,则表示该缓存文件已过期,缓存服务器则可以将该缓存文件清除。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
每次进行磁盘清理时,缓存服务器都需要扫描磁盘中全部的缓存文件,这样,需要占用大量的磁盘处理资源,花费大量的处理时间,故而磁盘清理的效率较低。
发明内容
为了克服相关技术中存在的问题,本发明实施例提供了一种清理缓存文件的方法和装置。所述技术方案如下:
第一方面,提供一种清理缓存文件的方法,所述方法包括:
当满足预设的磁盘清理条件时,读取本地存储的缓存文件索引,其中所述缓存文件索引中的节点按照对应的缓存文件的最后访问时间进行排序;
根据预设的磁盘清理规则在所述缓存文件索引中确定初始清理节点;
删除所述缓存文件索引中,排序在所述初始清理节点之后或之前的所有节点及其对应的缓存文件。
可选的,所述当满足预设的磁盘清理条件时,读取本地预先存储的缓存文件索引,包括:
当到达预设的清理周期时间点时,读取本地预先存储的缓存文件索引;或者,
当磁盘已存储容量到达预设阈值时,读取本地预先存储的缓存文件索引。
可选的,所述根据预设的磁盘清理规则在所述缓存文件索引中确定初始清理节点,包括:
在所述缓存文件索引中确定最后访问时间先于且距离预设时间点最近的节点为初始清理节点;或者,
将所述缓存文件索引中预设序号对应的节点确定为初始清理节点。
可选的,所述缓存文件索引中记录有各缓存文件的价值等级;
所述根据预设的磁盘清理规则在所述缓存文件索引中确定初始清理节点,包括:
根据预设的磁盘清理规则在所述缓存文件索引中确定各价值等级对应的初始清理节点;
所述删除所述缓存文件索引中,排序在所述初始清理节点之后或之前的所有节点对应的缓存文件,包括:
删除所述缓存文件索引的各价值等级中,排序在所述初始清理节点之后或之前的所有节点及其对应的缓存文件。
可选的,所述方法还包括:
周期性更新所述缓存文件索引中各缓存文件对应的最后访问时间;或者,
当检测到对于目标缓存文件的访问结束时,更新所述缓存文件索引中所述目标缓存文件对应的最后访问时间。
第二方面,提供了一种清理缓存文件的装置,所述装置包括:
读取模块,用于当满足预设的磁盘清理条件时,读取本地存储的缓存文件索引,所述缓存文件索引中的节点按照对应的缓存文件的最后访问时间进行排序;
确定模块,用于根据预设的磁盘清理规则在所述缓存文件索引中确定初始清理节点;
删除模块,用于删除所述缓存文件索引中,排序在所述初始清理节点之后或之前的所有节点及其对应的缓存文件。
可选的,所述读取模块,具体用于:
当到达预设的清理周期时间点时,读取本地预先存储的缓存文件索引;或者,
当磁盘已存储容量到达预设阈值时,读取本地预先存储的缓存文件索引。
可选的,所述确定模块,具体用于:
在所述缓存文件索引中确定最后访问时间先于且距离预设时间点最近的节点为初始清理节点;或者,
将所述缓存文件索引中预设序号对应的节点确定为初始清理节点。
可选的,所述缓存文件索引中记录有各缓存文件的价值等级;
所述确定模块,具体用于:
根据预设的磁盘清理规则在所述缓存文件索引中确定各价值等级对应的初始清理节点;
所述删除模块,具体用于:
删除所述缓存文件索引的各价值等级中,排序在所述初始清理节点之后或之前的所有节点及其对应的缓存文件。
可选的,所述装置还包括更新模块,用于:
周期性更新所述缓存文件索引中各缓存文件对应的最后访问时间;或者,
当检测到对于目标缓存文件的访问结束时,更新所述缓存文件索引中所述目标缓存文件对应的最后访问时间。
第三方面,提供了一种缓存服务器,所述缓存服务器包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的清理缓存文件的方法。
第四方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的清理缓存文件的方法。
本发明实施例提供的技术方案可以包括以下有益效果:
本发明实施例中,当满足预设的磁盘清理条件时,缓存服务器读取本地存储的缓存文件索引,缓存文件索引中的节点按照对应的缓存文件的最后访问时间进行排序;根据预设的磁盘清理规则在缓存文件索引中确定初始清理节点;删除缓存文件索引中,排序在初始清理节点之后或之前的所有节点及其对应的缓存文件。这样,在进行磁盘清理时,缓存服务器可以直接在缓存文件索引中锁定初始清理节点,然后删除排序在初始清理节点之后或之前的所有节点及对应的缓存文件,无需对全部缓存文件逐个扫描,从而节省了处理资源和处理时间,可以提高磁盘清理的效率。
附图说明
图1是根据一示例性实施例示出的一种清理缓存文件的方法流程图;
图2是根据一示例性实施例示出的一种清理缓存文件的装置示意图;
图3是根据一示例性实施例示出的一种清理缓存文件的装置示意图;
图4是根据一示例性实施例示出的一种缓存服务器的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种清理缓存文件的方法,该方法的执行主体可以是缓存服务器。其中,缓存服务器可以是具备文件存储功能的服务器,外界设备可以将需要存储的文件资源发送至缓存服务器,缓存服务器则可以将上述文件资源存储在本地磁盘中,并保留一段时间。外界设备则可以通过访问缓存服务器获取其磁盘中存储的文件资源。上述缓存服务器可以包括处理器、存储器、收发器,处理器可以用于进行下述流程中清理缓存文件的处理,存储器可以用于存储下述处理过程中需要的数据以及产生的数据,收发器可以用于接收和发送下述处理过程中的相关数据,如用于接收外界设备的文件访问请求。在一定场景下,本方法可以由多台缓存服务器组成的缓存系统实现,多台缓存服务器的磁盘可以挂载在同一目录下,下述清理缓存文件的相关处理可以同时在多台缓存服务器的磁盘中进行。本实施例中以执行主体为一台缓存服务器为例进行说明,多台缓存服务器的情况与之相似,在必要处将会具体说明。
下面将结合实施方式,对图1所示的处理流程进行详细的说明,内容可以如下:
步骤101,当满足预设的磁盘清理条件时,读取本地预先存储的缓存文件索引。
其中,缓存文件索引中的节点按照对应的缓存文件的最后访问时间进行排序。
在实施中,缓存服务器中可以创建有Redis数据库,并在Redis数据库中以有序数据链表的形式建立缓存文件索引。该缓存文件索引为LRU Cache(Least Recently UsedCache,最近最少使用缓存)的索引结构,包括多个节点,一个节点对应一个缓存文件,每个节点均采用键值对(key-value)的形式存储对应的缓存文件的文件信息。其中,节点名为缓存文件名,节点的key为缓存文件的绝对路径值,value为文件大小、创建时间、最后访问时间等缓存文件的属性信息,多个节点在缓存文件索引中的排序,是根据对应的各缓存文件的最后访问时间来确定的。缓存文件索引中排序越靠前的节点对应的缓存文件的最后访问时间越近,或者缓存文件索引中排序越靠前的节点对应的缓存文件的最后访问时间越远。这样,当缓存服务器存储新的文件时,可以在上述缓存文件索引中添加对应的节点。另外,缓存服务器处可以预先设定有磁盘清理条件,用于清理磁盘中部分缓存文件,释放磁盘存储空间。当满足上述预设的磁盘清理条件时,缓存服务器则可以开始清理缓存文件的处理,具体的,可以先读取本地存储的缓存文件索引。
可选的,预设的磁盘清理条件多种多样,此处给出了步骤101的两种可行的处理方式:
方式一:当到达预设的清理周期时间点时,读取本地预先存储的缓存文件索引。
在实施中,缓存服务器可以设定有缓存文件的清理周期,每次到达预设的清理周期时间点时,缓存服务器可以开始缓存文件的清理工作,即可以触发缓存服务器读取本地预先存储的缓存文件索引。
方式二:当磁盘已存储容量到达预设阈值时,读取本地预先存储的缓存文件索引。
在实施中,缓存服务器可以设定磁盘的最大可用容量,当磁盘已存储容量到达预设阈值(即该最大可用容量)时,则需要开始清理磁盘中的缓存文件,故而可以触发缓存服务器读取本地预先存储的缓存文件索引。
步骤102,根据预设的磁盘清理规则在缓存文件索引中确定初始清理节点。
在实施中,技术人员可以预先设定用于清理缓存文件的磁盘清理规则,并将该磁盘清理规则存储在缓存服务器中。这样,当缓存服务器读取了本地存储的缓存文件索引后,可以基于上述预设的磁盘清理规则,从缓存文件索引中确定初始清理节点。可以理解,该初始清理节点对应的缓存文件可以是待清理缓存文件与待保留缓存文件的边界缓存文件,即在清理缓存文件时需要清理排序在该初始清理节点一侧的所有节点对应的缓存文件,而保留该初始清理节点另一侧的所有节点对应的缓存文件。
可选的,预设的磁盘清理规则多种多样,此处给出了步骤102的两种可行的处理方式:
方式一:在缓存文件索引中确定最后访问时间先于且距离预设时间点最近的节点为初始清理节点。
在实施中,缓存服务器处可以设定文件有效时长,这样,缓存服务器在清理缓存文件时,可以清理掉最后访问时间距当前时刻的时间差值大于文件有效时长的缓存文件,这样,缓存服务器可以在读取缓存文件索引后,基于文件有效时长和当前时刻确定预设时间点,然后在缓存文件索引中确定最后访问时间先于且距离预设时间点最近的节点为初始清理节点。例如文件有效时长为2天,读取缓存文件索引时间为1月3日12点,那么预设时间点则为1月1日12点,进而,可以找到最后访问时间在1月1日12点之前,且最接近该时刻的初始清理节点。
方式二,将缓存文件索引中预设序号对应的节点确定为初始清理节点。
在实施中,缓存服务器可以设定每次清理缓存文件时,需要清理的文件个数,然后可以根据缓存文件索引的总序号数预先设定清理的开始序号(即预设序号),例如,缓存服务器每次清理200个缓存文件,缓存文件索引的总序号数为1000,则预设序号可以为800。这样,缓存服务器可以在读取缓存文件索引后,可以将缓存文件索引中预设序号对应的节点确定为初始清理节点。
可选的,缓存服务器可以对缓存文件按照价值等级进行分类,在清理缓存文件时,可以对不同价值等级的缓存文件分别进行清理,相应的,步骤102的处理可以如下:根据预设的磁盘清理规则在缓存文件索引中确定各价值等级对应的初始清理节点。
在实施中,缓存服务器可以对缓存文件按照价值等级进行分类,并在存储文件时将缓存文件的价值等级记录在缓存文件索引中。此处,缓存文件的价值等级可以由缓存服务器根据文件属性进行确定,例如,可以根据文件所属客户的重要等级来确定,也可以根据文件类型确定,还可以根据文件大小确定。另外,缓存服务器在存储缓存文件后,还可以根据外界设备对缓存文件的访问频率,周期性地调整缓存文件的价值等级。这样,在进行磁盘清理时,缓存服务器可以根据预设的磁盘清理规则,对缓存文件索引中不同价值等级的缓存文件分别进行处理,即确定各价值等级对应的初始清理节点。值得一提的是,对于不同的价值等级,预设的磁盘清理规则可以相同也可以不同。例如,存在三个价值等级A、B、C,磁盘清理规则可以均为清理排序在最后的100个节点对应的缓存文件,也可以依次为清理序列末尾的10%、15%、20%的节点对应缓存文件。
步骤103,删除缓存文件索引中,排序在初始清理节点之后或之前的所有节点及其对应的缓存文件。
在实施中,如果在缓存文件索引中,排序越靠前的节点对应的缓存文件的最后访问时间越近,则排序在初始清理节点后的所有节点对应的缓存文件的最后访问时间,均远于初始清理节点对应的缓存文件的最后访问时间。这样,在清理缓存文件时,基于保留最近最多使用的缓存文件的原则,缓存服务器可以删除缓存文件索引中,排序在初始清理节点之后的所有节点,以及这些节点对应的缓存文件。当然,如果缓存文件索引中排序越靠后的节点对应的缓存文件的最后访问时间越近,此处则可以删除缓存文件索引中,排序在初始清理节点之前的所有节点及其对应的缓存文件。
基于上述缓存服务器对不同价值等级的缓存文件分别进行清理的处理,步骤103的处理可以如下:删除缓存文件索引的各价值等级中,排序在初始清理节点之后或之前的所有节点及其对应的缓存文件。
在实施中,缓存服务器在确定了各价值等级对应的初始清理节点后,可以在各价值等级对应的节点中,找到排序在初始清理节点之后或之前的所有节点,这些即为最后访问时间较远的缓存文件对应的节点,进而缓存服务器可以删除上述的节点,以及上述节点对应的缓存文件,完成磁盘清理。
可选的,缓存服务器可以基于外界对缓存文件的访问情况,及时调整个缓存文件对应的最后访问时间,具体的处理可以如下:周期性更新缓存文件索引中各缓存文件对应的最后访问时间;或者,当检测到对于目标缓存文件的访问结束时,更新缓存文件索引中目标缓存文件对应的最后访问时间。
在实施中,在外界设备访问缓存服务器中已存储的缓存文件(如目标缓存文件)后,缓存服务器可以记录上述缓存文件的访问结束时间,即缓存文件的最后访问时间。之后,在一种情况下,缓存服务器可以直接在缓存文件索引中,更新目标缓存文件对应的最后访问时间;在另一种情况下,缓存服务器可以每隔一个指定更新周期,更新该缓存文件的最后访问时间至上述缓存文件索引中,这样,设定更新周期统一进行更新,可将该周期内发生的更新集合在一个更新请求中,相较于每次访问后就更新的方式而言,可以减少更新次数,缓解缓存服务器对于更新请求的处理压力。当然,早更新完缓存文件的最后访问时间后,还可以基于最新的最后访问时间调整各节点在缓存文件索引中的顺序。
同样的,当缓存服务器中新增缓存文件时,缓存服务器可以记录该缓存文件的文件名、绝对路径、访问时间等相关信息。之后,在一种情况下,缓存服务器可以直接在缓存文件索引中添加新增缓存文件的节点,并基于访问时间确认缓存文件索引中该节点所在位置;另一种情况下,缓存服务器可以每隔一个指定更新周期,在缓存文件索引中添加新增缓存文件的节点,以减少新增次数,缓解缓存服务器对于新增请求的处理压力。
本发明实施例中,当满足预设的磁盘清理条件时,缓存服务器读取本地存储的缓存文件索引,缓存文件索引中的节点按照对应的缓存文件的最后访问时间进行排序;根据预设的磁盘清理规则在缓存文件索引中确定初始清理节点;删除缓存文件索引中,排序在初始清理节点之后或之前的所有节点及其对应的缓存文件。这样,在进行磁盘清理时,缓存服务器可以直接在缓存文件索引中锁定初始清理节点,然后删除排序在初始清理节点之后或之前的所有节点对应的缓存文件,无需对全部缓存文件逐个扫描,从而节省了处理资源和处理时间,可以提高磁盘清理的效率。
基于相同的技术构思,本发明实施例还提供了一种清理缓存文件的装置,如图2所示,该装置包括:
读取模块201,用于当满足预设的磁盘清理条件时,读取本地存储的缓存文件索引,所述缓存文件索引中的节点按照对应的缓存文件的最后访问时间进行排序;
确定模块202,用于根据预设的磁盘清理规则在所述缓存文件索引中确定初始清理节点;
删除模块203,用于删除所述缓存文件索引中,排序在所述初始清理节点之后或之前的所有节点及其对应的缓存文件。
可选的,所述读取模块201,具体用于:
当到达预设的清理周期时间点时,读取本地预先存储的缓存文件索引;或者,
当磁盘已存储容量到达预设阈值时,读取本地预先存储的缓存文件索引。
可选的,所述确定模块202,具体用于:
在所述缓存文件索引中确定最后访问时间先于且距离预设时间点最近的节点为初始清理节点;或者,
将所述缓存文件索引中预设序号对应的节点确定为初始清理节点。
可选的,所述缓存文件索引中记录有各缓存文件的价值等级;
所述确定模块202,具体用于:
根据预设的磁盘清理规则在所述缓存文件索引中确定各价值等级对应的初始清理节点;
所述删除模块203,具体用于:
删除所述缓存文件索引的各价值等级中,排序在所述初始清理节点之后或之前的所有节点及其对应的缓存文件。
可选的,如图3所示,所述装置还包括更新模块204,用于:
周期性更新所述缓存文件索引中各缓存文件对应的最后访问时间;或者,
当检测到对于目标缓存文件的访问结束时,更新所述缓存文件索引中所述目标缓存文件对应的最后访问时间。
本发明实施例中,当满足预设的磁盘清理条件时,缓存服务器读取本地存储的缓存文件索引,缓存文件索引中的节点按照对应的缓存文件的最后访问时间进行排序;根据预设的磁盘清理规则在缓存文件索引中确定初始清理节点;删除缓存文件索引中,排序在初始清理节点之后或之前的所有节点及其对应的缓存文件。这样,在进行磁盘清理时,缓存服务器可以直接在缓存文件索引中锁定初始清理节点,然后删除排序在初始清理节点之后或之前的所有节点对应的缓存文件,无需对全部缓存文件逐个扫描,从而节省了处理资源和处理时间,可以提高磁盘清理的效率。
需要说明的是:上述实施例提供的清理缓存文件的装置在清理缓存文件时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的清理缓存文件的装置与清理缓存文件的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图4是本发明实施例提供的缓存服务器的结构示意图。该缓存服务器400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器422(例如,一个或一个以上处理器)和存储器432,一个或一个以上存储应用程序442或数据444的存储介质430(例如一个或一个以上海量存储设备)。其中,存储器432和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对缓存服务器中的一系列指令操作。更进一步地,中央处理器422可以设置为与存储介质430通信,在缓存服务器400上执行存储介质430中的一系列指令操作。
缓存服务器400还可以包括一个或一个以上电源426,一个或一个以上有线或无线网络接口450,一个或一个以上输入输出接口458,一个或一个以上键盘456,和/或,一个或一个以上操作系统441,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
缓存服务器400可以包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行上述清理缓存文件的指令。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种清理缓存文件的方法,其特征在于,所述方法包括:
当满足预设的磁盘清理条件时,读取本地存储的缓存文件索引,其中所述缓存文件索引中的节点按照对应的缓存文件的最后访问时间进行排序;
根据预设的磁盘清理规则在所述缓存文件索引中确定初始清理节点;
删除所述缓存文件索引中,排序在所述初始清理节点之后或之前的所有节点及其对应的缓存文件。
2.根据权利要求1所述的方法,其特征在于,所述当满足预设的磁盘清理条件时,读取本地预先存储的缓存文件索引,包括:
当到达预设的清理周期时间点时,读取本地预先存储的缓存文件索引;或者,
当磁盘已存储容量到达预设阈值时,读取本地预先存储的缓存文件索引。
3.根据权利要求1所述的方法,其特征在于,所述根据预设的磁盘清理规则在所述缓存文件索引中确定初始清理节点,包括:
在所述缓存文件索引中确定最后访问时间先于且距离预设时间点最近的节点为初始清理节点;或者,
将所述缓存文件索引中预设序号对应的节点确定为初始清理节点。
4.根据权利要求1所述的方法,其特征在于,所述缓存文件索引中记录有各缓存文件的价值等级;
所述根据预设的磁盘清理规则在所述缓存文件索引中确定初始清理节点,包括:
根据预设的磁盘清理规则在所述缓存文件索引中确定各价值等级对应的初始清理节点;
所述删除所述缓存文件索引中,排序在所述初始清理节点之后或之前的所有节点对应的缓存文件,包括:
删除所述缓存文件索引的各价值等级中,排序在所述初始清理节点之后或之前的所有节点及其对应的缓存文件。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
周期性更新所述缓存文件索引中各缓存文件对应的最后访问时间;或者,
当检测到对于目标缓存文件的访问结束时,更新所述缓存文件索引中所述目标缓存文件对应的最后访问时间。
6.一种清理缓存文件的装置,其特征在于,所述装置包括:
读取模块,用于当满足预设的磁盘清理条件时,读取本地存储的缓存文件索引,所述缓存文件索引中的节点按照对应的缓存文件的最后访问时间进行排序;
确定模块,用于根据预设的磁盘清理规则在所述缓存文件索引中确定初始清理节点;
删除模块,用于删除所述缓存文件索引中,排序在所述初始清理节点之后或之前的所有节点及其对应的缓存文件。
7.根据权利要求6所述的装置,其特征在于,所述读取模块,具体用于:
当到达预设的清理周期时间点时,读取本地预先存储的缓存文件索引;或者,
当磁盘已存储容量到达预设阈值时,读取本地预先存储的缓存文件索引。
8.根据权利要求6所述的装置,其特征在于,所述确定模块,具体用于:
在所述缓存文件索引中确定最后访问时间先于且距离预设时间点最近的节点为初始清理节点;或者,
将所述缓存文件索引中预设序号对应的节点确定为初始清理节点。
9.根据权利要求6所述的装置,其特征在于,所述缓存文件索引中记录有各缓存文件的价值等级;
所述确定模块,具体用于:
根据预设的磁盘清理规则在所述缓存文件索引中确定各价值等级对应的初始清理节点;
所述删除模块,具体用于:
删除所述缓存文件索引的各价值等级中,排序在所述初始清理节点之后或之前的所有节点及其对应的缓存文件。
10.根据权利要求6-9任一项所述的装置,其特征在于,所述装置还包括更新模块,用于:
周期性更新所述缓存文件索引中各缓存文件对应的最后访问时间;或者,
当检测到对于目标缓存文件的访问结束时,更新所述缓存文件索引中所述目标缓存文件对应的最后访问时间。
11.一种缓存服务器,其特征在于,所述缓存服务器包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一所述的清理缓存文件的方法。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一所述的清理缓存文件的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711285172.8A CN107943718B (zh) | 2017-12-07 | 2017-12-07 | 一种清理缓存文件的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711285172.8A CN107943718B (zh) | 2017-12-07 | 2017-12-07 | 一种清理缓存文件的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107943718A true CN107943718A (zh) | 2018-04-20 |
CN107943718B CN107943718B (zh) | 2021-09-14 |
Family
ID=61946042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711285172.8A Expired - Fee Related CN107943718B (zh) | 2017-12-07 | 2017-12-07 | 一种清理缓存文件的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107943718B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109408496A (zh) * | 2018-09-18 | 2019-03-01 | 沈文策 | 一种减少数据冗余的方法及装置 |
CN109947367A (zh) * | 2019-03-15 | 2019-06-28 | 维沃移动通信有限公司 | 一种文件的处理方法及终端 |
CN110287160A (zh) * | 2019-05-31 | 2019-09-27 | 广东睿江云计算股份有限公司 | 一种缓存空间清理方法及装置 |
CN110955612A (zh) * | 2019-11-07 | 2020-04-03 | 浪潮电子信息产业股份有限公司 | 一种数据缓存方法及相关装置 |
CN111444116A (zh) * | 2020-03-23 | 2020-07-24 | 海信电子科技(深圳)有限公司 | 存储空间碎片处理方法及装置 |
CN111737209A (zh) * | 2020-06-23 | 2020-10-02 | 深圳市网心科技有限公司 | 一种文件清理方法及其相关设备 |
CN111736753A (zh) * | 2019-03-25 | 2020-10-02 | 贵州白山云科技股份有限公司 | 一种持久缓存方法、装置和计算机设备 |
CN111930735A (zh) * | 2020-08-14 | 2020-11-13 | 中国工商银行股份有限公司 | 一种数据清理方法、装置及电子设备 |
CN113138856A (zh) * | 2021-04-27 | 2021-07-20 | 上海淇玥信息技术有限公司 | 一种资源回收的方法、装置及电子设备 |
CN115374065A (zh) * | 2022-10-25 | 2022-11-22 | 山东捷瑞数字科技股份有限公司 | 一种基于云平台日志记录监控的文件清理方法及系统 |
CN116661706A (zh) * | 2023-07-26 | 2023-08-29 | 江苏华存电子科技有限公司 | 一种固态硬盘的缓存清理分析方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101697168A (zh) * | 2009-10-22 | 2010-04-21 | 中国科学技术大学 | 一种分布式文件系统动态元数据管理方法及系统 |
CN102024018A (zh) * | 2010-11-04 | 2011-04-20 | 曙光信息产业(北京)有限公司 | 一种分布式文件系统中垃圾元数据的在线回收方法 |
CN102117309A (zh) * | 2010-01-06 | 2011-07-06 | 卓望数码技术(深圳)有限公司 | 一种数据缓存系统和数据查询方法 |
CN102841860A (zh) * | 2012-08-17 | 2012-12-26 | 珠海世纪鼎利通信科技股份有限公司 | 一种大数据量信息存储与访问方法 |
CN103761306A (zh) * | 2014-01-22 | 2014-04-30 | 深圳市欧珀通信软件有限公司 | 一种智能终端文件清理方法及装置 |
CN104303162A (zh) * | 2012-01-12 | 2015-01-21 | 才智知识产权控股公司(2) | 用于管理缓存接纳的系统和方法 |
CN105243105A (zh) * | 2015-09-18 | 2016-01-13 | 广州酷狗计算机科技有限公司 | 内容排序方法及装置 |
US9529731B1 (en) * | 2014-06-12 | 2016-12-27 | Emc Corporation | Contention-free approximate LRU for multi-threaded access |
CN106294206A (zh) * | 2015-05-21 | 2017-01-04 | 广州华多网络科技有限公司 | 一种缓存数据处理方法以及装置 |
-
2017
- 2017-12-07 CN CN201711285172.8A patent/CN107943718B/zh not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101697168A (zh) * | 2009-10-22 | 2010-04-21 | 中国科学技术大学 | 一种分布式文件系统动态元数据管理方法及系统 |
CN102117309A (zh) * | 2010-01-06 | 2011-07-06 | 卓望数码技术(深圳)有限公司 | 一种数据缓存系统和数据查询方法 |
CN102024018A (zh) * | 2010-11-04 | 2011-04-20 | 曙光信息产业(北京)有限公司 | 一种分布式文件系统中垃圾元数据的在线回收方法 |
CN104303162A (zh) * | 2012-01-12 | 2015-01-21 | 才智知识产权控股公司(2) | 用于管理缓存接纳的系统和方法 |
CN102841860A (zh) * | 2012-08-17 | 2012-12-26 | 珠海世纪鼎利通信科技股份有限公司 | 一种大数据量信息存储与访问方法 |
CN103761306A (zh) * | 2014-01-22 | 2014-04-30 | 深圳市欧珀通信软件有限公司 | 一种智能终端文件清理方法及装置 |
US9529731B1 (en) * | 2014-06-12 | 2016-12-27 | Emc Corporation | Contention-free approximate LRU for multi-threaded access |
CN106294206A (zh) * | 2015-05-21 | 2017-01-04 | 广州华多网络科技有限公司 | 一种缓存数据处理方法以及装置 |
CN105243105A (zh) * | 2015-09-18 | 2016-01-13 | 广州酷狗计算机科技有限公司 | 内容排序方法及装置 |
Non-Patent Citations (1)
Title |
---|
张国强等: "信息中心网络中的内置缓存技术研究", 《软件学报》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109408496A (zh) * | 2018-09-18 | 2019-03-01 | 沈文策 | 一种减少数据冗余的方法及装置 |
CN109947367A (zh) * | 2019-03-15 | 2019-06-28 | 维沃移动通信有限公司 | 一种文件的处理方法及终端 |
CN109947367B (zh) * | 2019-03-15 | 2024-01-09 | 维沃移动通信有限公司 | 一种文件的处理方法及终端 |
CN111736753A (zh) * | 2019-03-25 | 2020-10-02 | 贵州白山云科技股份有限公司 | 一种持久缓存方法、装置和计算机设备 |
CN110287160B (zh) * | 2019-05-31 | 2023-09-12 | 广东睿江云计算股份有限公司 | 一种缓存空间清理方法及装置 |
CN110287160A (zh) * | 2019-05-31 | 2019-09-27 | 广东睿江云计算股份有限公司 | 一种缓存空间清理方法及装置 |
CN110955612A (zh) * | 2019-11-07 | 2020-04-03 | 浪潮电子信息产业股份有限公司 | 一种数据缓存方法及相关装置 |
CN110955612B (zh) * | 2019-11-07 | 2022-03-08 | 浪潮电子信息产业股份有限公司 | 一种数据缓存方法及相关装置 |
CN111444116A (zh) * | 2020-03-23 | 2020-07-24 | 海信电子科技(深圳)有限公司 | 存储空间碎片处理方法及装置 |
CN111737209A (zh) * | 2020-06-23 | 2020-10-02 | 深圳市网心科技有限公司 | 一种文件清理方法及其相关设备 |
CN111930735A (zh) * | 2020-08-14 | 2020-11-13 | 中国工商银行股份有限公司 | 一种数据清理方法、装置及电子设备 |
CN113138856A (zh) * | 2021-04-27 | 2021-07-20 | 上海淇玥信息技术有限公司 | 一种资源回收的方法、装置及电子设备 |
CN113138856B (zh) * | 2021-04-27 | 2023-03-10 | 上海淇玥信息技术有限公司 | 一种资源回收的方法、装置及电子设备 |
CN115374065B (zh) * | 2022-10-25 | 2023-02-28 | 山东捷瑞数字科技股份有限公司 | 一种基于云平台日志记录监控的文件清理方法及系统 |
CN115374065A (zh) * | 2022-10-25 | 2022-11-22 | 山东捷瑞数字科技股份有限公司 | 一种基于云平台日志记录监控的文件清理方法及系统 |
CN116661706A (zh) * | 2023-07-26 | 2023-08-29 | 江苏华存电子科技有限公司 | 一种固态硬盘的缓存清理分析方法及系统 |
CN116661706B (zh) * | 2023-07-26 | 2023-11-14 | 江苏华存电子科技有限公司 | 一种固态硬盘的缓存清理分析方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107943718B (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107943718B (zh) | 一种清理缓存文件的方法和装置 | |
CN107491523B (zh) | 存储数据对象的方法及装置 | |
US7117294B1 (en) | Method and system for archiving and compacting data in a data storage array | |
EP3229142A1 (en) | Read cache management method and device based on solid state drive | |
CN106294206B (zh) | 一种缓存数据处理方法以及装置 | |
CN111198856B (zh) | 文件管理方法、装置、计算机设备和存储介质 | |
US11842046B2 (en) | Storage fragment management method and terminal | |
JP5861473B2 (ja) | 情報処理装置、メモリ管理方法およびメモリ管理プログラム | |
US11294805B2 (en) | Fast and safe storage space reclamation for a data storage system | |
CN109460345B (zh) | 实时数据的计算方法及系统 | |
CN107704507B (zh) | 数据库处理方法和设备 | |
CN108319634B (zh) | 分布式文件系统的目录访问方法和装置 | |
CN115840731A (zh) | 文件处理方法、计算设备及计算机存储介质 | |
CN102819570B (zh) | 一种数据访问方法、装置及系统 | |
US9851925B2 (en) | Data allocation control apparatus and data allocation control method | |
CN113885801A (zh) | 一种内存数据的处理方法及装置 | |
CN113779426B (zh) | 数据存储方法、装置、终端设备及存储介质 | |
CN114253950B (zh) | 管理数据库的方法和装置 | |
CN115987759A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN111625500B (zh) | 文件快照方法及装置、电子设备和存储介质 | |
CN109408496A (zh) | 一种减少数据冗余的方法及装置 | |
CN115904211A (zh) | 一种存储系统、数据处理方法及相关设备 | |
CN108376104B (zh) | 节点调度方法及装置、计算机可读存储介质 | |
CN112597112A (zh) | 数据处理方法及装置、电子设备和存储介质 | |
CN117009439B (zh) | 数据处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210914 |
|
CF01 | Termination of patent right due to non-payment of annual fee |