CN104092670A - 网络缓存服务器处理文件的方法及处理缓存文件的设备 - Google Patents

网络缓存服务器处理文件的方法及处理缓存文件的设备 Download PDF

Info

Publication number
CN104092670A
CN104092670A CN201410291015.8A CN201410291015A CN104092670A CN 104092670 A CN104092670 A CN 104092670A CN 201410291015 A CN201410291015 A CN 201410291015A CN 104092670 A CN104092670 A CN 104092670A
Authority
CN
China
Prior art keywords
file
temperature
network cache
cache servers
minimum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410291015.8A
Other languages
English (en)
Inventor
黄龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Blue It Technologies Co ltd
Original Assignee
Beijing Blue It Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Blue It Technologies Co ltd filed Critical Beijing Blue It Technologies Co ltd
Priority to CN201410291015.8A priority Critical patent/CN104092670A/zh
Publication of CN104092670A publication Critical patent/CN104092670A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明提供一种网络缓存服务器处理文件的方法及处理缓存文件的设备,该方法包括:接收到上层应用读取文件请求后,根据网络缓存服务器内存中的索引表中查找所述文件的存储位置,所述索引表中存储全部文件在网络缓存服务器低速外部存储设备、网络缓存服务器内存和网络缓存服务器高速外部存储设备中的位置;在所述存储位置获取所述文件,发送到所述上层应用。通过本发明,利用索引表查找文件的存储位置,更加快了读取文件速度,节省了资源。

Description

网络缓存服务器处理文件的方法及处理缓存文件的设备
技术领域
本发明涉及通信领域技术,尤其涉及网络缓存服务器处理文件的方法及处理缓存文件的设备。
背景技术
现有技术,网络缓存服务器等存储设备处理海量文件时,需要使用大量的低速外部存储设备如硬盘阵列存储数据。获取数据时,服务器首先在自身的内存中查找数据,若不存在该数据,则依次查找每个低速外部存储设备,查找到该数据后,发送服务器中的内存,未查找到时,向服务器返回查找失败。由于低速外部存储设备存储了全部文件,且处理数据的速度低,获取的文件效率较低,尤其当某个文件被多次获取时,每次都需要重新在低速外部存储设备中查找获取,浪费了大量资源。
发明内容
本发明实施例提供了网络缓存服务器中网络缓存服务器处理文件的方法、设备及网络缓存服务器,通过使用网络缓存服务器高速外部存储设备存储网络缓存服务器内存中读取次数较多的文件,缩短了读取文件的时间,并利用索引表查找文件的存储位置,进一步加快了读取文件速度,节省了资源。
本发明实施例提供了一种网络缓存服务器处理文件的方法,应用于网络缓存服务器中,该方法包括:
接收到上层应用读取文件请求后,根据网络缓存服务器内存中的索引表中查找所述文件的存储位置,所述索引表中存储全部文件在网络缓存服务器低速外部存储设备、网络缓存服务器内存和网络缓存服务器高速外部存储设备中的位置;
在所述存储位置获取所述文件,发送到所述上层应用。
相应的,本发明实施例提供了一种处理缓存文件的设备,包括:
查找单元,用于接收到上层应用读取文件请求后,根据网络缓存服务器内存中的索引表中查找所述文件的存储位置,所述索引表中存储全部文件在网络缓存服务器低速外部存储设备、网络缓存服务器内存和/或网络缓存服务器高速外部存储设备中的位置;
获取单元,用于在所述存储位置获取所述文件,发送到所述上层应用。
本发明实施例提供了网络缓存服务器中网络缓存服务器处理文件的方法及处理缓存文件的设备,用于接收到上层应用读取文件请求后,根据网络缓存服务器内存中的索引表中查找所述文件的存储位置,所述索引表中存储全部文件在网络缓存服务器低速外部存储设备、网络缓存服务器内存和网络缓存服务器高速外部存储设备中的位置;在所述存储位置获取所述文件,发送到所述上层应用。使用本发明实施例提供的网络缓存服务器处理文件的方法、设备及网络缓存服务器,使用网络缓存服务器高速外部存储设备存储网络缓存服务器内存中读取次数较多的文件,缩短了读取文件的时间,并利用索引表查找文件的存储位置,更加快了读取文件速度,节省了资源。
附图说明
图1为本发明实施例中网络缓存服务器处理文件的方法流程示意图;
图2为本发明另一实施例中网络缓存服务器处理文件的方法流程示意图;
图3为本发明实施例中将文件写入网络缓存服务器内存时的流程示意图;
图4为本发明实施例中将文件写入网络缓存服务器高速外部存储设备时的流程示意图;
图5A-图5B为本发明另一实施例中处理文件的设备示意图;
图6为本发明另一实施例中处理文件的系统示意图。
具体实施方式
下面结合各个附图对本发明实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细地阐述。
为了解决现有技术存在的问题,本发明实施例提供了一种网络缓存服务器处理文件的方法,应用于网络缓存服务器中,如图1所示,包括以下步骤:
步骤101、接收到上层应用读取文件请求后,根据网络缓存服务器内存中的索引表中查找文件的存储位置,该索引表中存储全部文件在网络缓存服务器内存和/或网络缓存服务器高速外部存储设备以及网络缓存服务器低速外部存储设备中的位置;
步骤102、在存储位置获取文件,发送到上层应用。
具体的,本发明实施例中在接收上层应用文件请求之前,还包括根据文件访问热度将不同热度的文件存储在络缓存服务器低速外部存储设备、网络缓存服务器内存或网络缓存服务器高速外部存储设备中。
网络缓存服务器内存中存储写入的当前文件,以及全部文件中上一次读取时间与当前时间的时间差值小于时间阈值的第一类文件。该网络缓存服务器内存相当于中转站,新写入的文件必须先写入到网络缓存服务器内存中,再写入外部存储设备,如网络缓存服务器高速外部存储设备、网络缓存服务器低速外部存储设备,同时,网络缓存服务器内存也具有一定的容量,用于存储较少的文件,如新写入的文件、最近访问过的文件。
具体的,本发明实施例中判断最近访问过的文件时,将该文件的上一次读取时间与当前时间进行比较,获得两者的时间差,若该时间差小于时间阈值,则可判定该文件为最近访问过的文件,归为第一类文件,并将其存储在网络缓存服务器内存中。
本发明实施例中优选在网络缓存服务器内存中存储热度最高的文件,在网络缓存服务器中存储热度最高的文件可采用如下方式:
按照公式:热度=(文件访问次数*文件大小)/间隔时间,计算当前文件的热度;
根据当前文件的热度,判断当前文件是否为热度最高的文件;
如果当前文件为热度最高的文件,将网络缓存服务器内存中缓存的热度最低的文件进行换出操作,并将当前文件写入网络缓存服务器内存中。
进一步的,本发明实施例中判断当前文件是否为热度最高的文件,具体包括:
采用固定大小的最小二叉堆算法,对全部文件的热度进行堆栈排序,并确定当前文件的热度是否大于堆顶元素的热度;
在当前文件的热度大于堆顶元素的热度时,确定当前文件为热度最高文件。
进一步的,本发明实施例中按照最小二叉堆算法进行文件存储时,可优选如下方式:
首先,最小二叉堆的内存存储空间是设定的,一般是整个内存空间的60%左右;
其次,当设定的最小二叉堆的内存存储空间足够时,文件可直接存储至内存中,当设定的最小二叉堆的内存存储空间不足时,对设定的最小二叉堆的内存存储空间中存储的文件进行最小二叉堆排序,以实际访问为基础确定二叉堆大小,实现将位于堆顶以内的元素对应的文件存储在内存中。
本发明实施例中进行热度最高文件筛选时采用固定大小的最小二叉堆,利用最小二叉堆的特性可以有效的避免比较的次数,同时我们并不关心最热文件的实际访问次数,只需要保证热度最高的这部分文件的内容保存在内存,即可使得系统内存的利用率最高。
网络缓存服务器高速外部存储设备存储全部文件中读取次数大于次数阈值的第二类文件。由于网络缓存服务器内存存储的文件数量有限,因此需要将文件存储在不易丢失文件的外部存储设备中。该网络缓存服务器高速外部存储设备中存储网络缓存服务器内存中读取次数较多的文件,也就是文件读取次数大于次数阈值时,判定该文件为读取次数较多的文件,被认为是热点访问的文件,将其归为第二类文件;
优选的,本发明实施例中第二类文件可以是热度最低的文件,本发明实施例中采用固定大小的最大二叉堆算法,筛选出热度最低的文件;将热度最低的文件,存储在网络缓存服务器高速外部存储设备中。
具体的,所述将所述热度最低的文件,存储在网络缓存服务器高速外部存储设备中,具体包括:
当网络缓存服务器高速外部存储设备的剩余存储空间大于当前热度最低的文件大小时,直接将所述热度最低文件存储在网络缓存服务器高速外部存储设备中;
当网络缓存服务器高速外部存储设备的剩余存储空间小于当前热度最低的文件大小时,将当前热度最低文件与近期最少使用LRU队列中倒数的m个文件的热度进行比较,若当前热度最低文件的热度高于所述m个文件的热度,则将队列中倒数m个文件进行换出操作,并将当前热度最低文件存储在网络缓存服务器高速外部存储设备中。
本发明实施例中确定固定大小的最大二叉堆时,可优选如下方式:
首先,确定存储在网络缓存服务器高速外部存储设备中字节数最大的文件,最大二叉堆的文件的总字节数约为最大文件的2倍;
其次,假定当前平均文件的字节数约为16KB,则最大二叉堆的大小=最大二叉堆的文件的总字节数/16KB。
本发明实施例中采用固定大小的最大二叉堆算法来筛选出热度最低的文件,同时用LRU(Least Recently Used,近期最少使用)队列将最大二叉堆的元素进行组织,这样低热度文件基本上是有序组织的。
网络缓存服务器低速外部存储设备存储全部文件,以确保全部文件的完整性和安全性。
进一步的,本发明实施例中对于网络缓存服务器低速外部存储设备、网络缓存服务器内存和网络缓存服务器高速外部存储设备进行文件存储时均采用文件系统形式,并采用具体的缓存指令进行存储空间的设定,具体形式如下:
Sata_cache_dir   /data/sata_cache1    300g  max_size=1g;
Ssd_cache_dir    /data/ssd_cache1     60g   max_size=1g;
Mem_cache_dir    /data/mem_cache2     4g    max_size=100M。
在网络缓存服务器内存中具有的索引表中存储全部文件在网络缓存服务器低速外部存储设备、网络缓存服务器内存和/或网络缓存服务器高速外部存储设备中的位置,用于查找网络缓存服务器内存、网络缓存服务器高速外部存储设备和网络缓存服务器低速外部存储设备中文件的具体位置。因为一个文件可能同时存储在3个位置:网络缓存服务器内存、网络缓存服务器高速外部存储设备和网络缓存服务器低速外部存储设备;还有可能同时存储在两个位置:网络缓存服务器内存和网络缓存服务器低速外部存储设备;或者网络缓存服务器高速外部存储设备和网络缓存服务器低速外部存储设备;还有可能仅存储在网络缓存服务器低速外部存储设备。当接收到上层应用读取文件的请求后,在索引表中查找该文件的存储位置时,可以按照读取速率由高到底的顺序,依次在索引表中对应于网络缓存服务器内存、网络缓存服务器高速外部存储设备和网络缓存服务器低速外部存储设备的区域查找。因为文件可能同时存在于上述三个存储设备中,从读取速率最高的网络缓存服务器内存对应的索引表区域开始查找,读取该文件的路径端,速度快,有利于性能的最大化。当网络缓存服务器内存中不存在该文件时,查找网络缓存服务器高速外部存储设备对应的索引表区域,若存在,则将该文件从网络缓存服务器高速外部存储设备中读取到网络缓存服务器内存中,再发送到上层应用,同时更新索引表;若仍不存在,查找网络缓存服务器低速外部存储设备对应的索引表区域,若存在,则将该文件从网络缓存服务器低速外部存储设备中读取到网络缓存服务器内存中,再发送到上层应用,同时更新索引表。若在各个存储设备中均不存在该文件,则向上层应用回复表示文件不存在的消息。
下面通过具体实施例对本发明实施例提供的网络缓存服务器处理文件的方法进行详细说明,假设上层应用需要读取网络缓存服务器中文件A,如图2所示,包括以下步骤:
步骤201、接收上层应用发送的读取文件A的请求;
步骤202、通过索引表,查找该文件是否存储在网络缓存服务器内存中;若是,则在网络缓存服务器内存中读取将该文件A,发送到上层应用;否则,执行步骤203;
步骤203、通过索引表,查找该文件是否存储在网络缓存服务器高速外部存储设备中;若是,执行步骤205;否则,执行步骤204;
步骤204、通过索引表,查找该文件是否存储在网络缓存服务器低速外部存储设备中;若是,执行步骤205;否则,向上层应用发送读取失败消息;
步骤205、将该文件读取到网络缓存服务器内存中,再发送到上层应用;
步骤206、更新文件A在索引表中的存储位置信息。
通过上述描述,可以看出,使用本发明实施例提供的网络缓存服务器中网络缓存服务器处理文件的方法,通过按照文件的读取次数存储在不同的存储设备中,并在需要读取文件时,根据索引表,按照各个存储设备的读取速率依次查找该文件,缩短了读取文件的速率,提高了整体性能。
由于网络缓存服务器内存的存储空间有限,当存储空间已满,需要添加当前文件时,如图3所示,执行以下步骤:
步骤301、检测网络缓存服务器内存的剩余空间是否大于当前文件的大小;若大于,则执行步骤302;若不大于,则执行步骤303;
步骤302、将当前文件写入网络缓存服务器内存以及网络缓存服务器低速外部存储设备;在添加的文件同时写入网络缓存服务器低速外部存储设备,有利于确保文件的完整性和安全性。
步骤303、获取存储的各个文件的上一次读取时间,获取其与当前时间的时间差;
步骤304、将上一次读取时间与当前时间的时间差最大的文件删除,继续执行步骤301。若删除一个文件后的剩余空间,仍不大于当前文件的大小,则继续执行上述步骤,删除最长时间未读取的文件。当然在步骤304中,可以删除多个文件,此时可以设置一个时间差阈值,将上一次读取时间与当前时间的时间差大于该时间差阈值的文件均删除。
进一步的,由于文件访问读取的随机性非常大,内存中删除的文件有可能在较短的时间内又成为访问次数比较多的热点文件,此时由于网络缓存服务器内存中并没有缓存该文件,而存储在网络缓存服务器低速外部存储设备中,导致大部分的文件读取操作仍然需要该网络缓存服务器低速外部存储设备处理,从而导致文件读取速度慢。故本发明实施例中将网络缓存服务器内存中上一次读取时间与当前时间的时间差最大的文件删除后,判断网络缓存服务器内存中删除的文件的读取次数是否大于将文件写入网络缓存服务器高速外部存储设备的次数阈值,若大于,将网络缓存服务器内存中删除的文件写入网络缓存服务器高速外部存储设备中,以确保读取次数比较多的热点文件能够缓存在较高效的存储介质中,提高文件读取速度。
将网络缓存服务器内存中读取次数较多的文件写入网络缓存服务器高速外部存储设备时,如图4所示,执行以下步骤:
步骤401、获取网络缓存服务器内存中读取次数大于次数阈值的第二类文件;将网络缓存服务器内存中读取次数大于次数阈值文件归为第二类文件,将其存储在网络缓存服务器高速外部存储设备中,以便其在网络缓存服务器内存中被删除后再读取时,缩短读取时间,提高效率。
步骤402、检测网络缓存服务器高速外部存储设备的剩余空间是否大于第二类文件的大小,若大于,则将该第二类文件写入网络缓存服务器高速外部存储设备;否则,执行步骤403;
步骤403、按照网络缓存服务器高速外部存储设备中文件存储的时间顺序,删除部分文件,继续执行步骤401,直到将第二类文件写入网络缓存服务器高速外部存储设备。当然可以删除一个或多个文件,直到剩余空间大于第二类文件的大小。该网络缓存服务器高速外部存储设备采用环形存储的方式,空间已满时,将新写入的文件覆盖掉最先写入的文件,以确保其存储读取次数相对较多的文件。
当上述网络缓存服务器内存、或网络缓存服务器高速外部存储设备、或网络缓存服务器低速外部存储设备中存储的文件变化时,相应的更新网络缓存服务器内存中的索引表,确保文件存储位置记录准确。
通过上述描述,可以看出,使用本发明实施例提供的网络缓存服务器处理文件的方法,通过使用网络缓存服务器高速外部存储设备存储网络缓存服务器内存中读取次数较多的文件,缩短了读取文件的时间,并利用索引表查找文件的存储位置,更加快了读取文件速度,节省了资源。而且,本发明实施例还提供了网络缓存服务器内存及网络缓存服务器高速外部存储设备更新文件的方式,完善了网络缓存服务器处理文件的方法。
本发明实施例还提供了处理文件的设备,应用于网络缓存服务器中,如图5A所示,包括:
查找单元501,用于接收到上层应用读取文件请求后,根据网络缓存服务器内存中的索引表中查找所述文件的存储位置,所述索引表中存储全部文件在网络缓存服务器低速外部存储设备、网络缓存服务器内存和/或网络缓存服务器高速外部存储设备中的位置;
获取单元502,用于在所述存储位置获取所述文件,发送到所述上层应用。
上述设备可以位于网络缓存服务器中,也可以为与网络缓存服务器具有信息交互的独立设备。
通过上述描述,可以看出,使用本发明实施例提供的处理文件的设备,通过使用网络缓存服务器高速外部存储设备存储网络缓存服务器内存中读取次数较多的文件,缩短了读取文件的时间,并利用索引表查找文件的存储位置,更加快了读取文件速度,节省了资源。而且,本发明实施例还提供了网络缓存服务器内存及网络缓存服务器高速外部存储设备更新文件的方式,完善了网络缓存服务器处理文件的方法。
较佳的,该设备还包括:分级存储配置单元503,如图5B所示,分级存储配置单元503用于:
按照公式:热度=(文件访问次数*文件大小)/间隔时间,计算当前文件的热度;
根据当前文件的热度,判断当前文件是否为热度最高的文件;
如果当前文件为热度最高的文件,将网络缓存服务器内存中缓存的热度最低的文件进行换出操作,并将当前文件写入网络缓存服务器内存中
进一步的,所述分级存储配置单元,具体用于:
采用固定大小的最小二叉堆算法,对全部文件的热度进行堆栈排序,并确定当前文件的热度是否大于堆顶元素的热度;
在所述当前文件的热度大于堆顶元素的热度时,确定当前文件为热度最高文件。
更进一步的,所述分级存储配置单元,还用于:
采用固定大小的最大二叉堆算法,筛选出热度最低的文件;
将所述热度最低的文件,存储在网络缓存服务器高速外部存储设备中。
进一步的,所述分级存储配置单元,具体用于:
当网络缓存服务器高速外部存储设备的剩余存储空间大于当前热度最低的文件大小时,直接将所述热度最低文件存储在网络缓存服务器高速外部存储设备中;
当网络缓存服务器高速外部存储设备的剩余存储空间小于热度最低的文件大小时,将热度最低文件与LRU队列中倒数的第m个文件的热度进行比较,若热度最低文件的热度高于第m个文件的热度,则将队列中倒数m个文件进行换出操作,并将热度最低文件存储在网络缓存服务器高速外部存储设备中。
相应的,本发明实施例还提供了一种网络缓存服务器,如图6所示,包括:网络缓存服务器内存601、网络缓存服务器高速外部存储设备602、网络缓存服务器低速外部存储设备603和处理文件的设备604;
网络缓存服务器内存601,用于存储写入的当前文件,以及全部文件中上一次读取时间与当前时间的时间差值小于时间阈值的第一类文件;
网络缓存服务器高速外部存储设备602,用于存储全部文件中读取次数大于次数阈值的第二类文件;
网络缓存服务器低速外部存储设备603,用于存储全部文件;
处理文件的设备604,用于接收到上层应用读取文件请求后,根据网络缓存服务器内存中的索引表中查找所述文件的存储位置,所述索引表中存储全部文件在网络缓存服务器内存和/或网络缓存服务器高速外部存储设备以及网络缓存服务器低速外部存储设备中的位置;在所述存储位置获取所述文件,发送到所述上层应用。
较佳的,网络缓存服务器内存601,用于向所述网络缓存服务器内存中存储所述当前文件时,检测所述网络缓存服务器内存的剩余空间是否大于所述当前文件的大小;若大于,则将所述当前文件存储在所述网络缓存服务器内存中;若不大于,将上一次读取时间与当前时间的时间差最大的文件删除,将所述当前文件存储在所述网络缓存服务器内存中。
较佳的,网络缓存服务器高速外部存储设备602,用于获取所述网络缓存服务器内存中读取次数大于次数阈值的第二类文件,检测所述网络缓存服务器高速外部存储设备的剩余空间是否大于所述第二类文件的大小,若不大于,按照所述网络缓存服务器高速外部存储设备中文件存储的时间顺序,删除部分文件,将所述第二类文件存储在所述网络缓存服务器高速外部存储设备中。
较佳的,网络缓存服务器内存601,还用于,将网络缓存服务器内存中上一次读取时间与当前时间的时间差最大的文件删除后,判断所述网络缓存服务器内存中删除的文件的读取次数是否大于所述次数阈值,若大于,将所述网络缓存服务器内存中删除的文件写入所述网络缓存服务器高速外部存储设备中。
较佳的,网络缓存服务器内存601,还用于在所述网络缓存服务器内存或所述网络缓存服务器高速外部存储设备或所述网络缓存服务器低速外部存储设备中存储的文件变化时,相应的更新所述网络缓存服务器内存中的索引表。
通过上述描述,可以看出,使用本发明实施例提供的网络缓存服务器,通过使用网络缓存服务器高速外部存储设备存储网络缓存服务器内存中读取次数较多的文件,缩短了读取文件的时间,并利用索引表查找文件的存储位置,更加快了读取文件速度,节省了资源。而且,本发明实施例还提供了网络缓存服务器内存及网络缓存服务器高速外部存储设备更新文件的方式,完善了网络缓存服务器处理文件的过程。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种网络缓存服务器处理文件的方法,其特征在于,包括:
接收到上层应用读取文件请求后,根据网络缓存服务器内存中的索引表查找所述文件的存储位置,所述索引表中存储全部文件在网络缓存服务器低速外部存储设备、网络缓存服务器内存和网络缓存服务器高速外部存储设备中的位置;
在所述存储位置获取所述文件,发送到所述上层应用。
2.如权利要求1所述的方法,其特征在于,在接收上层应用读取文件请求之前,该方法还包括:
按照公式:热度=(文件访问次数*文件大小)/间隔时间,计算当前文件的热度;
根据当前文件的热度,判断当前文件是否为热度最高的文件;
如果当前文件为热度最高的文件,将网络缓存服务器内存中缓存的热度最低的文件进行换出操作,并将当前文件写入网络缓存服务器内存中。
3.如权利要求2所述的方法,其特征在于,所述根据当前文件的热度,判断当前文件是否为热度最高的文件,具体包括:
采用固定大小的最小二叉堆算法,对全部文件的热度进行堆栈排序,并确定当前文件的热度是否大于堆顶元素的热度;
在所述当前文件的热度大于堆顶元素的热度时,确定当前文件为热度最高文件。
4.如权利要求1所述的方法,该方法还包括:
采用固定大小的最大二叉堆算法,筛选出全部文件中热度最低的文件;
将所述热度最低的文件,存储在网络缓存服务器高速外部存储设备中。
5.如权利要求4所述的方法,所述将所述热度最低的文件,存储在网络缓存服务器高速外部存储设备中,具体包括:
当网络缓存服务器高速外部存储设备的剩余存储空间大于所述热度最低的文件大小时,直接将所述热度最低文件存储在网络缓存服务器高速外部存储设备中;
当网络缓存服务器高速外部存储设备的剩余存储空间小于当前热度最低的文件大小时,将所述热度最低文件与按照近期最少使用LRU算法得到的队列中倒数第m个文件的热度进行比较,若当前热度最低文件的热度高于所述第m个文件的热度,则将队列中倒数m个文件进行换出操作,并将所述热度最低文件存储在网络缓存服务器高速外部存储设备中。
6.一种处理缓存文件的设备,其特征在于,包括:
查找单元,用于接收到上层应用读取文件请求后,根据网络缓存服务器内存中的索引表中查找所述文件的存储位置,所述索引表中存储全部文件在网络缓存服务器低速外部存储设备、网络缓存服务器内存和网络缓存服务器高速外部存储设备中的位置;
获取单元,用于在所述存储位置获取所述文件,发送到所述上层应用。
7.如权利要求6所述的设备,其特征在于,还包括:分级存储配置单元,所述分级存储配置单元用于:
按照公式:热度=(文件访问次数*文件大小)/间隔时间,计算当前文件的热度;
根据当前文件的热度,判断当前文件是否为热度最高的文件;
如果当前文件为热度最高的文件,将网络缓存服务器内存中缓存的热度最低的文件进行换出操作,并将当前文件写入网络缓存服务器内存中。
8.如权利要求7所述的设备,其特征在于,所述分级存储配置单元,具体用于:
采用固定大小的最小二叉堆算法,对全部文件的热度进行堆栈排序,并确定当前文件的热度是否大于堆顶元素的热度;
在所述当前文件的热度大于堆顶元素的热度时,确定当前文件为热度最高文件。
9.如权利要求8所述的设备,其特征在于,所述分级存储配置单元,还用于:
采用固定大小的最大二叉堆算法,筛选出全部文件中热度最低的文件;
将所述热度最低的文件,存储在网络缓存服务器高速外部存储设备中。
10.如权利要求9所述的设备,其特征在于,所述分级存储配置单元,具体用于:
当网络缓存服务器高速外部存储设备的剩余存储空间大于所述热度最低的文件大小时,直接将所述热度最低文件存储在网络缓存服务器高速外部存储设备中;
当网络缓存服务器高速外部存储设备的剩余存储空间小于当前热度最低的文件大小时,将所述热度最低文件与按照近期最少使用LRU算法得到的队列中倒数第m个文件的热度进行比较,若当前热度最低文件的热度高于所述第m个文件的热度,则将队列中倒数m个文件进行换出操作,并将所述热度最低文件存储在网络缓存服务器高速外部存储设备中。
CN201410291015.8A 2014-06-25 2014-06-25 网络缓存服务器处理文件的方法及处理缓存文件的设备 Pending CN104092670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410291015.8A CN104092670A (zh) 2014-06-25 2014-06-25 网络缓存服务器处理文件的方法及处理缓存文件的设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410291015.8A CN104092670A (zh) 2014-06-25 2014-06-25 网络缓存服务器处理文件的方法及处理缓存文件的设备

Publications (1)

Publication Number Publication Date
CN104092670A true CN104092670A (zh) 2014-10-08

Family

ID=51640351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410291015.8A Pending CN104092670A (zh) 2014-06-25 2014-06-25 网络缓存服务器处理文件的方法及处理缓存文件的设备

Country Status (1)

Country Link
CN (1) CN104092670A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701233A (zh) * 2016-02-18 2016-06-22 焦点科技股份有限公司 一种优化服务器缓存管理的方法
CN105988715A (zh) * 2015-02-05 2016-10-05 深圳市腾讯计算机系统有限公司 数据存储方法及装置
WO2016192057A1 (zh) * 2015-06-03 2016-12-08 华为技术有限公司 索引表的更新方法和设备
CN107220287A (zh) * 2017-04-24 2017-09-29 东软集团股份有限公司 用于日志查询的索引管理方法、装置、存储介质及设备
CN108287793A (zh) * 2018-01-09 2018-07-17 网宿科技股份有限公司 响应消息的缓冲方法及服务器
CN108846598A (zh) * 2018-03-29 2018-11-20 宏图物流股份有限公司 一种车辆定位的方法及装置
CN109284258A (zh) * 2018-08-13 2019-01-29 华东计算技术研究所(中国电子科技集团公司第三十二研究所) 基于hdfs的分布式多级存储系统及方法
CN110020290A (zh) * 2017-09-29 2019-07-16 腾讯科技(深圳)有限公司 网页资源缓存方法、装置、存储介质及电子装置
CN110263010A (zh) * 2019-05-31 2019-09-20 广东睿江云计算股份有限公司 一种缓存文件自动更新方法及装置
CN110807010A (zh) * 2019-10-29 2020-02-18 北京猎豹移动科技有限公司 文件读取方法、装置、电子设备和存储介质
CN114089912A (zh) * 2021-10-19 2022-02-25 银联商务股份有限公司 基于消息中间件的数据处理方法及装置、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040117437A1 (en) * 2002-12-16 2004-06-17 Exanet, Co. Method for efficient storing of sparse files in a distributed cache
CN102750174A (zh) * 2012-06-29 2012-10-24 Tcl集团股份有限公司 文件加载方法及装置
CN103001870A (zh) * 2012-12-24 2013-03-27 中国科学院声学研究所 一种内容中心网络协同缓存方法及系统
CN103095805A (zh) * 2012-12-20 2013-05-08 江苏辰云信息科技有限公司 一种对数据进行智能分层管理的云存储系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040117437A1 (en) * 2002-12-16 2004-06-17 Exanet, Co. Method for efficient storing of sparse files in a distributed cache
CN102750174A (zh) * 2012-06-29 2012-10-24 Tcl集团股份有限公司 文件加载方法及装置
CN103095805A (zh) * 2012-12-20 2013-05-08 江苏辰云信息科技有限公司 一种对数据进行智能分层管理的云存储系统
CN103001870A (zh) * 2012-12-24 2013-03-27 中国科学院声学研究所 一种内容中心网络协同缓存方法及系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105988715A (zh) * 2015-02-05 2016-10-05 深圳市腾讯计算机系统有限公司 数据存储方法及装置
WO2016192057A1 (zh) * 2015-06-03 2016-12-08 华为技术有限公司 索引表的更新方法和设备
US10642817B2 (en) 2015-06-03 2020-05-05 Huawei Technologies Co., Ltd. Index table update method, and device
CN105701233A (zh) * 2016-02-18 2016-06-22 焦点科技股份有限公司 一种优化服务器缓存管理的方法
CN105701233B (zh) * 2016-02-18 2018-12-14 南京焦点领动云计算技术有限公司 一种优化服务器缓存管理的方法
CN107220287A (zh) * 2017-04-24 2017-09-29 东软集团股份有限公司 用于日志查询的索引管理方法、装置、存储介质及设备
CN110020290A (zh) * 2017-09-29 2019-07-16 腾讯科技(深圳)有限公司 网页资源缓存方法、装置、存储介质及电子装置
CN110020290B (zh) * 2017-09-29 2022-12-13 腾讯科技(深圳)有限公司 网页资源缓存方法、装置、存储介质及电子装置
CN108287793A (zh) * 2018-01-09 2018-07-17 网宿科技股份有限公司 响应消息的缓冲方法及服务器
CN108846598A (zh) * 2018-03-29 2018-11-20 宏图物流股份有限公司 一种车辆定位的方法及装置
CN109284258A (zh) * 2018-08-13 2019-01-29 华东计算技术研究所(中国电子科技集团公司第三十二研究所) 基于hdfs的分布式多级存储系统及方法
CN110263010A (zh) * 2019-05-31 2019-09-20 广东睿江云计算股份有限公司 一种缓存文件自动更新方法及装置
CN110263010B (zh) * 2019-05-31 2023-05-02 广东睿江云计算股份有限公司 一种缓存文件自动更新方法及装置
CN110807010A (zh) * 2019-10-29 2020-02-18 北京猎豹移动科技有限公司 文件读取方法、装置、电子设备和存储介质
CN114089912A (zh) * 2021-10-19 2022-02-25 银联商务股份有限公司 基于消息中间件的数据处理方法及装置、存储介质
CN114089912B (zh) * 2021-10-19 2024-05-24 银联商务股份有限公司 基于消息中间件的数据处理方法及装置、存储介质

Similar Documents

Publication Publication Date Title
CN104092670A (zh) 网络缓存服务器处理文件的方法及处理缓存文件的设备
US10289315B2 (en) Managing I/O operations of large data objects in a cache memory device by dividing into chunks
KR101422557B1 (ko) 예측 데이터 로더
US11232070B2 (en) Metadata compaction in a distributed storage system
US9727479B1 (en) Compressing portions of a buffer cache using an LRU queue
CN103514210B (zh) 小文件处理方法及装置
CN104503703B (zh) 缓存的处理方法和装置
CN102467572B (zh) 支持重复数据删除程序的数据区块查询方法
CN111949629B (zh) 一种面向边缘云的文件存储方法及终端
CN105468642A (zh) 数据的存储方法及装置
US10621085B2 (en) Storage system and system garbage collection method
CN103581331A (zh) 虚拟机在线迁移方法与系统
CN109144431B (zh) 数据块的缓存方法、装置、设备及存储介质
CN104616680A (zh) 基于光盘存储的重复数据删除系统及数据操作方法、装置
JP2019028954A (ja) ストレージ制御装置、プログラム、及び重複排除方法
US9836222B2 (en) Storage apparatus, storage control method, and storage system
CN104462388A (zh) 一种基于级联式存储介质的冗余数据清理方法
US10628305B2 (en) Determining a data layout in a log structured storage system
CN111625531B (zh) 基于可编程装置的合并装置、数据合并方法及数据库系统
CN109375868B (zh) 一种数据存储方法、调度装置、系统、设备及存储介质
KR101686346B1 (ko) 하이브리드 ssd 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법
CN107274923A (zh) 一种提高固态硬盘中顺序读取流性能的方法及固态硬盘
CN107430546B (zh) 一种文件更新方法及存储设备
US11099983B2 (en) Consolidating temporally-related data within log-based storage
CN104252423A (zh) 基于多内核处理器的一致性处理方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20141008

RJ01 Rejection of invention patent application after publication