CN102511043B - 缓存文件替换方法、装置及系统 - Google Patents

缓存文件替换方法、装置及系统 Download PDF

Info

Publication number
CN102511043B
CN102511043B CN201180002900.4A CN201180002900A CN102511043B CN 102511043 B CN102511043 B CN 102511043B CN 201180002900 A CN201180002900 A CN 201180002900A CN 102511043 B CN102511043 B CN 102511043B
Authority
CN
China
Prior art keywords
cache file
frequency
access frequency
accessed
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180002900.4A
Other languages
English (en)
Other versions
CN102511043A (zh
Inventor
凌强
徐理想
陆海翔
王凤
陈骞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN102511043A publication Critical patent/CN102511043A/zh
Application granted granted Critical
Publication of CN102511043B publication Critical patent/CN102511043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12Replacement control
    • G06F12/121Replacement control using replacement algorithms
    • G06F12/122Replacement control using replacement algorithms of the least frequently used [LFU] type, e.g. with individual count value
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0871Allocation or management of cache space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/46Caching storage objects of specific type in disk cache
    • G06F2212/463File

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种缓存文件替换方法,该方法包括以下步骤:获取已存储的各个缓存文件的历史访问频率和当前访问频率;根据所述各个缓存文件的历史访问频率、当前访问频率、预设的历史访问频率的权重值、预设的当前访问频率的权重值获得各个缓存文件的平均访问频率,其中预设的历史访问频率的权重值小于预设的当前访问频率的权重值;获取平均访问频率最小的缓存文件,用新的缓存文件替换平均访问频率最小的缓存文件。本发明提供的缓存文件替换方法能够提高缓存决策的有效性。另,本发明还提供一种缓存文件替换装置、一种使用所述缓存文件替换方法的网络系统。

Description

缓存文件替换方法、装置及系统
技术领域
本发明涉及计算机通信领域,尤其涉及一种缓存文件替换方法、装置及系统。
背景技术
随着网络的普及,网络传输的数据不仅仅局限于文本,还包括了视频数据。由于视频VOD(Video On Demand,视频点播技术)应用的数据传输存在着大码率、长时间传输的特点,对VOD服务器的带宽与响应速度都有很高要求。
因此考虑使用有限的存储空间存储部分视频内容作为本地代理服务器向用户提供数据,从而减少网络干线的数据流量。如图1所示,1、2、3是流媒体文件服务器,4是代理服务器,用户5通过代理服务器享受流媒体服务。
由于代理服务器的缓存空间是有限度的,当这个空间装满以后,必须把一些利用率低的数据移走,才能更好的提供服务。缓存的替换策略就是用来决定将哪些缓存数据移走,它的目标就是要更好的利用可用的空间资源。
目前比较典型的替换策略有以下两种:
1.LRU(Least Recently Used,最近最少使用)算法,该算法维护一个缓存项队列,队列中的缓存项按每项的最后被访问时刻排序。当缓存空间已满时,将处于队尾的缓存项(即最后被访问时刻距离现在最久的一项)删除,将新的区段放入队列首。
2.LFU(Least Frequently Used,最不经常使用)算法,该算法按每个缓存块的被访问频率将缓存中的各块排序,当缓存空间已满时,替换掉缓存队列中访问频率最低的一项。
然而,上述两种算法均存在很多问题。LRU算法受波动性的影响比较大。例如某一部影片偶然被访问了一次,以后不再被访问,那么处理该影片时该影片会被放入缓存,而一部较流行的影片可能被从缓存中删除。
而LFU算法由于仅维护各项的被访问频率信息,对于某个过去有着极高的访问频率而最近访问频率较低的缓存项,当缓存空间已满时该缓存项很难被从缓存中替换出来,进而导致命中率下降。
发明内容
本发明实施例所要解决的技术问题在于,提供一种缓存文件替换方法、装置及系统,用以解决现有技术中由于访问频率低的缓存文件不能被及时从缓存中被替换掉,进而导致访问命中率下降的问题。
本发明实施例提供一种缓存文件替换方法,该方法包括以下步骤:
获取已存储的各个缓存文件的历史访问频率和当前访问频率;
根据所述各个缓存文件的所述历史访问频率、所述当前访问频率、预设的历史访问频率的权重值、预设的当前访问频率的权重值获得各个缓存文件的平均访问频率,其中所述预设的历史访问频率的权重值小于所述预设的当前访问频率的权重值;
获取平均访问频率最小的缓存文件,用新的缓存文件替换所述平均访问频率最小的缓存文件。
相应的,本发明实施例还提供了一种缓存文件替换装置,该装置包括:
获取模块,用于获取已存储的各个缓存文件的历史访问频率和当前访问频率;
访问频率模块,用于根据所述各个缓存文件的所述历史访问频率、所述当前访问频率、预设的历史访问频率的权重值、预设的当前访问频率的权重值获得各个缓存文件的平均访问频率,其中所述预设的历史访问频率的权重值小于所述预设的当前访问频率的权重值;
替换模块,用于获取平均访问频率最小的缓存文件,用新的缓存文件替换所述平均访问频率最小的缓存文件。
一种网络系统,所述网络系统包括流媒体文件服务器及代理服务器,其中,所述代理服务器包括上述缓存文件替换装置,从所述流媒体文件服务器中获取流媒体文件,并将所述流媒体文件保存为所述代理服务器内的缓存文件。
本发明实施例提供的缓存文件替换方法不但能够根据旧的平均访问时间间隔保持一定的稳定性,降低最新访问信息的波动性的影响。另一方面通过在新的平均访问时间间隔中将旧的平均访问时间间隔所占的比重小于当前的访问间隔,从而可以在经过一定时间之后,逐渐减弱比较久远的访问信息对当前的访问信息的影响,避免了很久以前的访问信息在访问模式变化之后对现在的排序造成干扰,从而准确反映缓存文件当前的访问状态。
另外,本发明实施例提供的缓存文件替换方法还进一步通过预测公式预测下一个时刻的平均访问时间间隔,从而使得缓存文件最新一次被访问越靠近当前时刻,将获得更大的热度,加大所述缓存文件最近访问状态对热度的影响。使得所述热度更加贴近于所述缓存文件当前的真实访问状态。
本发明实施例提供的缓存文件替换方法还通过在价值公式中增加加权因子,从而通过历史访问数据的统计分析区分两个热度相差较小的缓存文件,确定出两个视频片段热度的实际相对大小。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是现有流媒体网络示意图;
图2是本发明第一实施例提供的缓存文件替换方法的流程图;
图3是本发明第一实施例提供的缓存文件替换装置的示意图;
图4是本发明第二实施例提供的缓存文件替换方法的流程图;
图5是本发明第二实施例提供的缓存文件替换装置的示意图;
图6是本发明第三实施例提供的缓存文件替换方法的流程图;
图7是本发明第三实施例提供的缓存文件替换装置的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的缓存文件替换方法能够降低最新访问信息的波动性的影响,并避免了很久以前的访问信息在访问模式变化之后对现在的排序造成干扰。
请参阅图2,为本发明第一实施方式提供的一种缓存文件替换方法。该方法用于代理服务器中各个缓存文件的替换。该方法包括以下步骤:
步骤101:获取已存储的各个缓存文件的历史访问频率和当前访问频率。
所述历史访问频率可以用过去一段时间内的访问次数表示,也可以用过去一段时间内访问的平均时间间隔表示。所述当前访问频率可以用距当前时刻最近的一段时间的访问次数表示,也可以用距当前时刻最近的一段时间内访问的时间间隔表示。本实施方式中,所述历史访问频率用所述缓存文件被访问的平均访问时间间隔表示,所述当前访问频率用根据获取的所述缓存文件当前被访问的时刻与所述缓存文件上次被访问的时刻之间的时间间隔表示。本步骤中获取缓存文件当前被访问的时刻、所述缓存文件上次被访问的时刻及所述缓存文件被访问的平均访问时间间隔。所述缓存文件可以是一个视频中一个视频片段,也可以是一个完整的视频。本实施方式中,所述缓存文件为一个视频中一个视频片段。代理服务器中可以将一个大的视频文件按照预设的时间段长度分成多个等长的视频片段,如将20分钟的视频分成0-5分钟,5-10分钟,10-15分钟、15-20分钟四个视频片段。当用户访问视频时,代理服务器先将用户对视频文件的请求转化为对所述视频文件相应视频段的请求,如开始时对应0-5分钟的视频片段。本步骤中,当某一个缓存文件被用户访问时,获取所述缓存文件当前被访问的时刻、代理服务器中保存的所述缓存文件上次被访问的时刻及所述缓存文件被访问的平均访问时间间隔。所述平均访问时间间隔的初始值设为当前被访问的时刻减去所述缓存文件上次被访问的时刻。
步骤103:根据所述各个缓存文件的所述历史访问频率、所述当前访问频率、预设的历史访问频率的权重值、预设的当前访问频率的权重值获得各个缓存文件的平均访问频率,其中所述预设的历史访问频率的权重值小于所述预设的当前访问频率的权重值。
本实施方式中采用预设的时间间隔公式及价值公式获得各个缓存文件的平均访问频率。所述时间间隔公式及价值公式为:
T=(1-a)×T0+a×(N2-N1);            (1)
M = 1 T ; - - - ( 2 )
其中,T为更新后的平均访问间隔;a为遗忘因子且满足0.5<a<1;T0为所述缓存文件被访问的平均访问时间间隔;N2为所述缓存文件当前被访问的时刻;N1为所述缓存文件上次被访问的时刻;M为所述缓存文件的热度,即所述平均访问频率。所述a为预设的当前访问频率的权重值,(1-a)为预设的历史访问频率的权重值。
上述时间间隔公式中,T0是由之前的访问情况决定的旧的平均访问时间间隔,其值的大小能够较准确地反映出该缓存文件在过去一段时间内的真实访问状态。所述T0的初始值设为当前被访问的时刻减去所述缓存文件上次被访问的时刻。旧的平均访问时间间隔T0与最新的访问信息(所述缓存文件当前被访问的时刻N2)通过遗忘因子a结合起来之后,一方面最新访问信息的波动性的影响会降低,从而达到本发明的目的。另一方面,a是一个遗忘因子,且取值在0.5到1之间。本实施方式中,可以假定所述a=0.7。当然,在其他实施方式中,所述a也可以取其他值。在新的平均访问时间间隔T中,旧的平均访问时间间隔T0所占的比重小于当前的访问间隔(N2-N1)。所以影片每被访问一次,之前的访问情况T0在T的比重中就会以一定的比率降低一点,当过了一定时间之后,距离现在比较久远的访问信息在T中的比重就会变得很小直至可以忽略不计。这样就避免了很久以前的访问信息在访问模式变化之后对现在的排序造成干扰,从而达到本发明时变特性的目的。即避免了过去有着极高的访问频率而最近访问频率较低的缓存文件对现在缓存文件替换的影响。
步骤105:获取平均访问频率最小的缓存文件,用新的缓存文件替换所述平均访问频率最小的缓存文件。
所述热度计算得到的值越大,说明热度越高。即所述缓存文件最近被访问的越频繁。
根据所述缓存文件的热度的大小对多个所述缓存文件进行排序。以所述缓存文件的热度进行排序,能够获得哪些缓存文件最近频繁被访问,哪些文件最近访问频率较低,从而给代理服务器替换文件提供参考。
将热度最小的缓存文件删除,即,将平均访问间隔最长(平均访问频率最小)的所述缓存文件删除,并将从流媒体文件服务器中获得的新文件存储在代理服务器中成为新的所述缓存文件,提高缓存决策的有效性。
请参阅图3,为本发明第一实施方式提供的一种缓存文件替换装置200。所述缓存文件替换装置200设置于一个代理服务器110中。所述代理服务器110与流媒体文件服务器120组成一个网络系统100。所述代理服务器110将用户访问过的所述流媒体文件服务器120中的部分流媒体文件作为缓存文件保存在所述代理服务器110的硬盘(未图示)上。所述缓存文件替换装置200包括获取模块210、访问频率模块220及替换模块230。
所述获取模块210用于获取已存储的各个缓存文件的历史访问频率和当前访问频率。本实施方式中,所述获取模块210用于获取缓存文件当前被访问的时刻、所述缓存文件上次被访问的时刻及所述缓存文件被访问的平均访问时间间隔。本实施例中,当某一个缓存文件被用户访问时,获取所述缓存文件当前被访问的时刻、代理服务器中保存的所述缓存文件上次被访问的时刻及所述缓存文件被访问的平均访问时间间隔。
所述访问频率模块220用于根据所述各个缓存文件的所述历史访问频率、所述当前访问频率、预设的历史访问频率的权重值、预设的当前访问频率的权重值获得各个缓存文件的平均访问频率,其中所述预设的历史访问频率的权重值小于所述预设的当前访问频率的权重值。本实施方式中,所述访问频率模块220用于根据获取的所述缓存文件当前被访问的时刻、所述缓存文件上次被访问的时刻、所述缓存文件被访问的平均访问时间间隔及预设的时间间隔公式更新所述缓存文件被访问的平均访问时间间隔,所述时间间隔公式为:T=(1-a)×T0+a×(N2-N1);其中,T为更新后的平均访问间隔;a为遗忘因子,且满足0.5<a<1;T0为所述缓存文件被访问的平均访问时间间隔;N2为所述缓存文件当前被访问的时刻;N1为所述缓存文件上次被访问的时刻。所述访问频率模块220采用所述步骤103的方法计算所述缓存文件被访问的平均访问时间间隔。
所述访问频率模块220包括热度子模块221。所述热度子模块221用于根据更新后的平均访问时间间隔及价值公式计算所述缓存文件的热度,所述价值公式为:
M = 1 T .
所述热度计算得到的值越大,说明热度越高。即所述缓存文件最近被访问的越频繁。
所述替换模块230用于替换所述平均访问频率最小的缓存文件。本实施方式中,所述替换模块230包括排序子模块231。
所述排序子模块231用于根据所述缓存文件的热度的大小对多个所述缓存文件进行排序。以所述缓存文件的热度进行排序,能够使得最近频繁访问的缓存文件在缓存空间中不易被删除,而最近访问频率较低的缓存文件能够在缓存空间中更快的被删除。所述替换模块230用于将从流媒体文件服务器中获得的新文件替换热度最小的缓存文件。
请参阅图4,为本发明第二实施方式提供的一种缓存文件替换方法。该方法包括以下步骤:
步骤301:获取各个缓存文件历史访问频率、当前访问频率及下一个时刻的访问频率。
本实施方式中,获取缓存文件当前被访问的时刻、所述缓存文件上次被访问的时刻及所述缓存文件被访问的平均访问时间间隔。本实施方式中,采用所述步骤101相同的方法获取上述各参数。所述下一个时刻的访问频率可以用获取的所述缓存文件当前被访问的时刻与所述当前时刻的下一个时刻之间的时间间隔表示。
步骤303:根据所述各个缓存文件的所述历史访问频率、所述当前访问频率、预设的历史访问频率的权重值、预设的当前访问频率的权重值获得各个缓存文件的平均访问频率,其中所述预设的历史访问频率的权重值小于所述预设的当前访问频率的权重值。
本实施方式中采用预设的时间间隔公式及价值公式获得各个缓存文件的平均访问频率。所述时间间隔公式及价值公式为:
T=(1-a)×T0+a×(N2-N1);            (1)
M = 1 T ; - - - ( 2 )
其中,T为更新后的平均访问间隔;a为遗忘因子且满足0.5<a<1;T0为所述缓存文件被访问的平均访问时间间隔;N2为所述缓存文件当前被访问的时刻;N1为所述缓存文件上次被访问的时刻;M为所述缓存文件的热度,即所述平均访问频率。所述a为预设的当前访问频率的权重值,(1-a)为预设的历史访问频率的权重值。
步骤305:根据各个缓存文件的所述当前访问频率、所述下一个时刻的访问频率、所述预设的当前访问频率的权重值、预设的下一个时刻的访问频率的权重值获得各个缓存文件的预测访问频率。
本实施方式中,根据公式(1)及以下两个公式获得各个缓存文件的平均访问频率,
T_est=(1-c)×T′+c×(N_est-N′);         (3)
M = 1 T _ est ; - - - ( 4 )
其中,T_est为预测的未来的平均访问时间间隔;T′为最新的平均访问时间间隔,当所述缓存文件当前时刻没有被用户访问时,T′=T0,当所述缓存文件当前时刻被用户访问时,T′=T;c为预估因子,且满足0.5<c<1;N_est为当前时刻的下一个时刻;N′为所述缓存文件最新一次被访问的时刻,当所述缓存文件当前时刻没有被用户访问时,N′=N1,当所述缓存文件当前时刻被用户访问时,N′=N2。所述c为预设的下一个时刻的访问频率的权重值。
当所述缓存文件当前时刻没有被用户访问时,T′为过去的所述缓存文件的平均访问时间间隔,即T0。N′为所述缓存文件上次被访问的时刻,即N1。当所述缓存文件当前时刻被用户访问时,N′为所述缓存文件当前被访问的时刻,即N2。
所述预估因子c与所述遗忘因子a作用相同。本实施方式中,可以假定所述预估因子c=0.7。所述当前时刻的下一个时刻N_est为在当前时刻加1秒钟。当然,在其他实施方式中,所述预估因子也可以取其他值,或者与所述遗忘因子a取相同的值。所述当前时刻的下一个时刻N_est也可以在当前时刻增加1毫秒、5秒或1分钟。
根据实际用户访问情况,把历史平均访问时间间隔和预测得到的下一次访问时间间隔以不同的权重融合起来,得到一个对未来访问时间间隔的估计值。
步骤307:用新的缓存文件替换所述下一个时刻的访问频率最小的缓存文件。
从预测公式中可以看出,所述缓存文件最新一次被访问的时刻N′越靠近当前时刻的所述缓存文件,间隔时间越短,热度M越大。从而能够加大所述缓存文件最近访问状态对热度M的影响。使得所述热度M更加贴近于所述缓存文件当前的真实访问状态。
根据所述缓存文件的热度的大小对多个所述缓存文件进行排序。本实施方式中,采用所述步骤105相同的方法进行排序,并替换所述热度最小的缓存文件。
请参阅图5,为本发明第二实施方式提供的一种缓存文件替换装置510。所述缓存文件替换装置510与所述第一实施方式提供的缓存文件替换装置200基本相同,用于相同的代理服务器及网络系统中。所述缓存文件替换装置510包括获取模块511、访问频率模块512、预测模块513及替换模块514。
所述获取模块511用于获取各个缓存文件历史访问频率、当前访问频率及下一个时刻的访问频率。本实施方式中,采用所述步骤301的方法获取各参数。
所述访问频率模块512用于根据所述各个缓存文件的所述历史访问频率、所述当前访问频率、预设的历史访问频率的权重值、预设的当前访问频率的权重值获得各个缓存文件的平均访问频率,其中所述预设的历史访问频率的权重值小于所述预设的当前访问频率的权重值。本实施方式中采用预设的时间间隔公式及价值公式获得各个缓存文件的平均访问频率。所述时间间隔公式及价值公式为:
T=(1-a)×T0+a×(N2-N1);             (1)
M = 1 T ; - - - ( 2 )
其中,T为更新后的平均访问间隔;a为遗忘因子且满足0.5<a<1;T0为所述缓存文件被访问的平均访问时间间隔;N2为所述缓存文件当前被访问的时刻;N1为所述缓存文件上次被访问的时刻;M为所述缓存文件的热度,即所述平均访问频率。所述a为预设的当前访问频率的权重值,(1-a)为预设的历史访问频率的权重值。本实施方式中,所述访问频率模块512采用所述步骤303相同的方法获得各个缓存文件的平均访问频率。
所述预测模块513用于根据各个缓存文件的所述当前访问频率、所述下一个时刻的访问频率、所述预设的当前访问频率的权重值、预设的下一个时刻的访问频率的权重值获得各个缓存文件的预测访问频率。本实施方式中,所述预测模块513采用所述步骤305相同的方法计算下一个时刻的平均访问时间间隔。所述预测模块513包括热度子模块513a,用于根据所述预测公式计算出的平均访问时间间隔及公式(4)计算所述缓存文件的热度。
所述替换模块514用于用新的缓存文件替换所述下一个时刻的访问频率最小的缓存文件。本实施方式中,所述替换模块514包括排序子模块514a。
所述排序子模块514a用于根据所述缓存文件的热度的大小对多个所述缓存文件进行排序。本实施方式中,所述排序子模块514a与所述第一实施方式中的所述排序子模块231相同。所述替换模块514用于将从流媒体文件服务器中获得的新文件替换热度最小的缓存文件。
请参阅图6,为本发明第三实施方式提供的一种缓存文件替换方法。本实施方式中,所述缓存文件替换方法处理的缓存文件是视频片段。该方法包括以下步骤:
步骤601:获取多个视频,将每个视频分成至少一个视频片段,并将不同视频中的各视频片段采用相同的标号规则标号。
本实施方式中,以5分钟为一段将每个视频分成多段,并将各视频中的各个视频片段按照时间顺序依次以0,1,2…标号。当然,在其他实施方式中,也可以采用其他数字或字母标号。
步骤603:获取缓存文件历史访问频率和当前访问频率及所述视频片段的标号。
本实施方式中,获取所述视频片段当前被访问的时刻、所述视频片段上次被访问的时刻、所述视频片段被访问的平均访问时间间隔及所述视频片段的标号。本实施方式中,采用所述步骤101相同的方法获取所述视频片段当前被访问的时刻、所述视频片段上次被访问的时刻及所述视频片段被访问的平均访问时间间隔。另外,本步骤中,还获取各个视频片段的标号。
步骤605:根据所述各个缓存文件的所述历史访问频率、所述当前访问频率、预设的历史访问频率的权重值、预设的当前访问频率的权重值获得各个缓存文件的平均访问频率,其中所述预设的历史访问频率的权重值小于所述预设的当前访问频率的权重值。
本实施方式中采用预设的时间间隔公式及价值公式获得各个缓存文件的平均访问频率。所述时间间隔公式及价值公式为:
T=(1-a)×T0+a×(N2-N1);             (1)
M = 1 T ; - - - ( 2 )
其中,T为更新后的平均访问间隔;a为遗忘因子且满足0.5<a<1;T0为所述缓存文件被访问的平均访问时间间隔;N2为所述缓存文件当前被访问的时刻;N1为所述缓存文件上次被访问的时刻;M为所述缓存文件的热度,即所述平均访问频率。所述a为预设的当前访问频率的权重值,(1-a)为预设的历史访问频率的权重值。
步骤607:根据各个缓存文件的所述当前访问频率、所述下一个时刻的访问频率、所述预设的当前访问频率的权重值、预设的下一个时刻的访问频率的权重值获得各个缓存文件的预测访问频率。
本实施方式中,根据公式(1)及以下两个公式获得各个缓存文件的平均访问频率,
T_est=(1-c)×T′+c×(N_est-N′);            (3)
其中,T_est为预测的未来的平均访问时间间隔;T′为最新的平均访问时间间隔,当所述缓存文件当前时刻没有被用户访问时,T′=T0,当所述缓存文件当前时刻被用户访问时,T′=T;c为预估因子,且满足0.5<c<1;N_est为当前时刻的下一个时刻;N′为所述缓存文件最新一次被访问的时刻,当所述缓存文件当前时刻没有被用户访问时,N′=N1,当所述缓存文件当前时刻被用户访问时,N′=N2。所述c为预设的下一个时刻的访问频率的权重值。
步骤609:获取所述缓存文件的访问概率。
本实施方式中,根据预设的访问概率公式计算各个视频片段的平均访问概率,所述访问概率公式为:
Tbar[j]=a2×Tbar[j]+(1-a2)×X,j=0,1,2,3…;(5)
其中,j为所述视频片段的标号;Tbar[j]为标号为j的视频片段预设的平均点播概率,初始值为1;a2为常数,a2大于等于0.9,且小于1;X为一个访问状态系数,当所述视频片段被访问时,所述X=1,否则X=0。
本实施方式中,所述j=0,1,2,3…。Tbar[j]为第j个所述视频片段预设的平均点播概率。a2为0.999。当然,在其他实施方式中,所述a2也可以为其他小于且接近1的小数。例如,第0视频片段第一次被访问,则Tbar[0]=0.999×1+(1-0.999)×1=1。其余视频片段Tbar[1]、Tbar[2]、Tbar[3]则等于=0.999×1+(1-0.999)×0=0.999。上述公式相当于低通滤波器,a2=0.999可以使滤波器带宽很小,从而减小用户访问行为随机性的影响。
根据预设的归一化公式将计算出的所述各个视频片段的平均访问概率归一化,所述归一化公式为:
P _ k [ j ] = Tbar [ m ] Tbar [ j ] ; - - - ( 6 )
其中,m为j中任意一个数;P_k[j]为标号为j的视频片段的归一化后的平均访问概率。
本实施方式中,以一个Tbar[m]为基准将所有Tbar[j]做归一化处理。所述p_k[j]是一个中间变量数组。
根据归一化的平均访问概率及参数公式计算加权参数,所述参数公式为:
P[j]=a3×P[j]+(1-a3)×y;                  (7)
其中,P[j]为标号为j的视频片段的加权参数,其初始值为1;a3为常数,a3大于等于0.9,且小于1;若P_k[j]>1000,则y=1000,若P_k[j]≤1000,则y=P_k[j]。
上述公式也是一个低通滤波器,为了不使P[j]发生过于剧烈的变化。限定y的最大值不超过1000,避免过于剧烈的加权值带来的扰动。
将计算出的所有所述加权参数按相同比例调整为小于T_est的加权因子b[j]。为了不使加权之后视频片段的相对热度大小变化得过于剧烈,需要将不同视频片段对应的加权参数减小为小于T_est的数。本实施方式中,通过实验发现取所述加权参数的四分之一次幂时,视频片段在代理服务器上的命中率较高。因而采用调整公式b[j]=p[j]0.25将所有所述加权参数按相同比例调整为小于T_est的数。当然,在其他实施方式中,也可以是采用乘以小数或按百分比调整所述加权参数。
步骤611:用新的缓存文件替换所述下一个时刻的访问频率最小且访问概率最低的所述缓存文件。
本实施方式中,根据所述加权因子及价值公式计算所述缓存文件的热度,所述价值公式为:
M = 1 T _ est × b [ j ] ; - - - ( 8 )
由于受波动性的影响,某一时刻两个视频片段的热度M大小可能相差无几,在这种情况下就不容易确定两个视频片段热度M的真实相对大小。本实施方式中,通过对视频片段的历史访问数据的统计分析,得出视频片段的重要性(即加权因子b[j])。把加权因子b[j]与视频片段的下一个时刻的平均访问时间间隔T_est相结合来评价热度M。从而把历史访问信息中的趋势性信息用到价值函数 M = 1 T _ est × b [ j ] 中,
滤除了当前波动性的影响,从而确定出两个视频片段热度M的实际相对大小,并用获取的新的文件替换所述下一个时刻的访问频率最小且访问概率最低的所述缓存文件。
本实施方式中,当视频片段被访问时,把本次的访问情况和历史访问情况以公式Tbar[j]=a2×Tbar[j]+(1-a2)×X结合起来,得到视频片段的平均点播概率;然后把得到的平均点播概率Tbar[j]利用设定的方法进行归一化,得到一个中间参数p_k[j];把本次得到的中间参数p_k[j]和历史上的中间参数P[j]以公式P[j]=a3×P[j]+(1-a3)×y结合起来,得到一个平均的中间参数P[j];最后,把得到的平均中间参数P[j]利用公式b[j]=p[j]0.25进行调整,得到一个最新的、合理的加权因子b[j]。这种方法既保证了加权因子b[j]能够实时地反映最新的用户访问情况,又能避免加权因子b[j]发生过大的变化从而给决策带来扰动。
请参阅图7,为本发明第三实施方式提供的一种缓存文件替换装置700。所述缓存文件替换装置700包括分割模块710、获取模块720、访问频率模块730、预测模块740、概率模块750及替换模块760。
所述分割模块710用于获取多个视频,将每个视频分成至少一个视频片段,并将不同视频中的各视频片段采用相同的标号规则标号。本实施方式中,采用所述步骤601相同的方法进行分割及标号。
所述获取模块720用于获取缓存文件历史访问频率和当前访问频率及所述视频片段的标号。本实施方式中采用所述步骤603相同的方法获取所述视频片段当前被访问的时刻、所述视频片段上次被访问的时刻、所述视频片段被访问的平均访问时间间隔及所述视频片段的标号。
所述访问频率模块730用于根据所述各个缓存文件的所述历史访问频率、所述当前访问频率、预设的历史访问频率的权重值、预设的当前访问频率的权重值获得各个缓存文件的平均访问频率,其中所述预设的历史访问频率的权重值小于所述预设的当前访问频率的权重值。本实施方式中,采用所述步骤605相同的方法计算所述平均访问时间间隔。
所述预测模块740用于根据各个缓存文件的所述当前访问频率、所述下一个时刻的访问频率、所述预设的当前访问频率的权重值、预设的下一个时刻的访问频率的权重值获得各个缓存文件的预测访问频率。本实施方式中,采用与所述步骤607相同的方法计算各个缓存文件的预测访问频率。
所述概率模块750用于获取所述缓存文件的访问概率。本实施方式中,所述概率模块750包括概率子模块751、归一化子模块752、加权参数子模块753及调整子模块754。
所述概率子模块751用于根据预设的访问概率公式计算各个视频片段的平均访问概率,所述访问概率公式为:
Tbar[j]=a2×Tbar[j]+(1-a2)×X,j=0,1,2,3…;(5)
其中,j为所述视频片段的标号;Tbar[j]为标号为j的视频片段预设的平均点播概率,初始值为1;a2为常数,a2大于等于0.9,且小于1;X为一个访问状态系数,当所述视频片段被访问时,所述X=1,否则X=0。
本实施方式中,所述j=0,1,2,3…。Tbar[j]为第j个所述视频片段预设的平均点播概率。a2为0.999。当然,在其他实施方式中,所述a2也可以为其他小于且接近1的小数。例如,第0视频片段第一次被访问,则Tbar[0]=0.999×1+(1-0.999)×1=1。其余视频片段Tbar[1]、Tbar[2]、Tbar[3]则等于=0.999×1+(1-0.999)×0=0.999。上述公式相当于低通滤波器,a2=0.999可以使滤波器带宽很小,从而减小用户访问行为随机性的影响。
所述归一化子模块752用于根据预设的归一化公式将计算出的所述各个视频片段的平均访问概率归一化,所述归一化公式为:
P _ k [ j ] = Tbar [ m ] Tbar [ j ] ; - - - ( 6 )
其中,j=0,1,2,3…;m为j中任意一个数;p_k[j]为标号为j的视频片段的归一化后的平均访问概率。本实施方式中,以一个Tbar[m]为基准将所有Tbar[j]做归一化处理。所述p_k[j]是一个中间变量数组。
所述加权参数子模块753用于根据归一化的平均访问概率及参数公式计算加权参数,所述参数公式为:P[j]=a3×P[j]+(1-a3)×y;(7)
其中,P[j]为标号为j的视频片段的加权参数,其初始值为1;a3为常数,a3大于等于0.9,且小于1;若P_k[j]>1000,则y=1000,若P_k[j]≤1000,则y=P_k[j]。上述公式这也是一个低通滤波器,为了不使P[j]发生过于剧烈的变化。限定y的最大值不超过1000,避免过于剧烈的加权值带来的扰动。
所述调整子模块754用于将计算出的所有所述加权参数按相同比例调整为小于T_est的加权因子b[j]。本实施方式中,采用调整公式b[j]=p[j]0.25将所有所述加权参数按相同比例调整为小于T_est的加权因子。
所述加权因子b[j]也可以按照经验值设定,从而省略所述归一化子模块752、加权参数子模块753及调整子模块754。所述加权因子b[j]中也可以采用能实现所述归一化子模块752、加权参数子模块753及调整子模块754功能的其他公式。
所述替换模块760还包括热度子模块761及排序子模块762。
所述热度子模块761用于根据所述加权因子及价值公式计算所述缓存文件的热度,所述价值公式为:
M = 1 T _ est × b [ j ] . - - - ( 8 )
所述排序子模块762用于根据所述缓存文件的热度的大小对多个所述缓存文件进行排序。所述替换模块760用于将从流媒体文件服务器中获得的新文件替换热度最小的缓存文件。
本发明实施例提供的缓存文件替换方法和装置不但能够根据旧的平均访问时间间隔保持一定的稳定性,降低最新访问信息的波动性的影响。另一方面通过在新的平均访问时间间隔中将旧的平均访问时间间隔所占的比重小于当前的访问间隔,从而可以在经过一定时间之后,逐渐减弱比较久远的访问信息对当前的访问信息的影响,避免了很久以前的访问信息在访问模式变化之后对现在的排序造成干扰,从而准确反映缓存文件当前的访问状态。
另外,本发明实施例提供的缓存文件替换方法和装置还进一步通过预测公式预测下一个时刻的平均访问时间间隔,从而使得缓存文件最新一次被访问越靠近当前时刻,将获得更大的热度,加大所述缓存文件最近访问状态对热度的影响。使得所述热度更加贴近于所述缓存文件当前的真实访问状态。
本发明实施例提供的缓存文件替换方法和装置还通过在价值公式中增加加权因子,从而通过历史访问数据的统计分析区分两个热度相差较小的缓存文件,确定出两个视频片段热度的实际相对大小。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个调整单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(RandomAccess Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种缓存文件替换方法,该方法包括以下步骤:
获取已存储的各个缓存文件的历史访问频率和当前访问频率;
根据所述各个缓存文件的所述历史访问频率、所述当前访问频率、预设的历史访问频率的权重值、预设的当前访问频率的权重值获得各个缓存文件的平均访问频率,其中所述预设的历史访问频率的权重值小于所述预设的当前访问频率的权重值;
获取平均访问频率最小的缓存文件,用新的缓存文件替换所述平均访问频率最小的缓存文件;
其中,
所述获取已存储的各个缓存文件历史访问频率和当前访问频率还包括:获取下一个时刻的访问频率;
在根据各个缓存文件的所述历史访问频率、所述当前访问频率、预设的历史访问频率的权重值、预设的当前访问频率的权重值获得各个缓存文件的平均访问频率的步骤之后还包括:
根据各个缓存文件的所述当前访问频率、所述下一个时刻的访问频率、所述预设的当前访问频率的权重值、预设的下一个时刻的访问频率的权重值获得各个缓存文件的预测访问频率,其中所述预设的当前访问频率的权重值小于所述预设的下一个时刻的访问频率的权重值;
相应的,所述获取平均访问频率最小的缓存文件,用新的缓存文件替换所述平均访问频率最小的缓存文件还包括:用新的缓存文件替换所述下一个时刻的访问频率最小的缓存文件。
2.如权利要求1所述的缓存文件替换方法,其特征在于,在根据各个缓存文件的所述当前访问频率、所述下一个时刻的访问频率、所述预设的当前访问频率的权重值、预设的下一个时刻的访问频率的权重值获得各个缓存文件的预测访问频率的步骤之后还包括:
获取所述各个缓存文件的访问概率;
相应的,所述用新的缓存文件替换所述下一个时刻的访问频率最小的缓存文件包括:用新的缓存文件替换所述下一个时刻的访问频率最小且访问概率最低的缓存文件。
3.如权利要求1或2所述的缓存文件替换方法,其特征在于,所述根据所述各个缓存文件的所述历史访问频率、所述当前访问频率、预设的历史访问频率的权重值、预设的当前访问频率的权重值获得各个缓存文件的平均访问频率包括:
T=(1-a)×T0+a×(N2-N1);
M = 1 T ;
其中,T为更新后的平均访问间隔;a为遗忘因子,且满足0.5<a<1;T0为所述缓存文件被访问的平均访问时间间隔;N2为所述缓存文件当前被访问的时刻;N1为所述缓存文件上次被访问的时刻;M为所述平均访问频率。
4.如权利要求3所述的缓存文件替换方法,其特征在于,所述根据各个缓存文件的所述当前访问频率、所述下一个时刻的访问频率、所述预设的当前访问频率的权重值、预设的下一个时刻的访问频率的权重值获得各个缓存文件的预测访问频率包括:
T_est=(1-c)×T'+c×(N_est-N');
M = 1 T _ est ;
其中,T_est为预测的未来的平均访问时间间隔;T'为最新的平均访问时间间隔,当所述缓存文件当前时刻没有被用户访问时,T'=T0,当所述缓存文件当前时刻被用户访问时,T'=T;c为预估因子,且满足0.5<c<1;N_est为当前时刻的下一个时刻;N'为所述缓存文件最新一次被访问的时刻,当所述缓存文件当前时刻没有被用户访问时,N'=N1,当所述缓存文件当前时刻被用户访问时,N'=N2。
5.如权利要求4所述的缓存文件替换方法,其特征在于,所述缓存文件为视频片段,在获取已存储的各个缓存文件的历史访问频率和当前访问频率的步骤之前,还包括以下步骤:
获取多个视频,将每个视频分成至少一个视频片段,并将不同视频中的各视频片段采用相同的标号规则标号;
在获取已存储的各个缓存文件的历史访问频率和当前访问频率的步骤中,还获取所述视频片段的标号;
在所述根据各个缓存文件的所述当前访问频率、所述下一个时刻的访问频率、所述预设的当前访问频率的权重值、预设的下一个时刻的访问频率的权重值获得各个缓存文件的预测访问频率的步骤中,根据下式获得各个缓存文件的平均访问频率;
Tbar[j]=a2×Tbar[j]+(1-a2)×X;
P _ k [ j ] = Tbar [ m ] Tbar [ j ] , j = 0,1,2,3 . . . ;
P[j]=a3×P[j]+(1-a3)×y;
b[j]=p[j]0.25
M = 1 T _ est &times; b [ j ] ;
其中,j为所述视频片段的标号;Tbar[j]为标号为j的视频片段预设的平均点播概率,初始值为1;a2为常数,a2大于等于0.9,且小于1;X为一个访问状态系数,当所述视频片段被访问时,所述X=1,否则X=0;m为j中任意一个数;P_k[j]为标号为j的视频片段的归一化后的平均访问概率;P[j]为标号为j的视频片段的加权参数,其初始值为1;a3为常数,a3大于等于0.9,且小于1;若P_k[j]>1000,则y=1000,若P_k[j]≤1000,则y=P_k[j];b[j]为加权因子。
6.如权利要求1所述的缓存文件替换方法,其特征在于,所述根据所述各个缓存文件的所述历史访问频率、所述当前访问频率、预设的历史访问频率的权重值、预设的当前访问频率的权重值获得各个缓存文件的平均访问频率包括:
T=(1-a)×T0+a×(N2-N1);
M = 1 T ;
其中,T为更新后的平均访问间隔;a为遗忘因子,且满足0.5<a<1;T0为所述缓存文件被访问的平均访问时间间隔;N2为所述缓存文件当前被访问的时刻;N1为所述缓存文件上次被访问的时刻;M为所述平均访问频率。
7.一种缓存文件替换装置,该装置包括:
获取模块,用于获取已存储的各个缓存文件的历史访问频率和当前访问频率;
访问频率模块,用于根据所述各个缓存文件的所述历史访问频率、所述当前访问频率、预设的历史访问频率的权重值、预设的当前访问频率的权重值获得各个缓存文件的平均访问频率,其中所述预设的历史访问频率的权重值小于所述预设的当前访问频率的权重值;
替换模块,用于获取平均访问频率最小的缓存文件,用新的缓存文件替换所述平均访问频率最小的缓存文件;
其中,
所述获取模块用于获取下一个时刻的访问频率,所述缓存文件替换装置还包括:
预测模块,用于根据各个缓存文件的所述当前访问频率、所述下一个时刻的访问频率、所述预设的当前访问频率的权重值、预设的下一个时刻的访问频率的权重值获得各个缓存文件的预测访问频率,其中所述预设的当前访问频率的权重值小于所述预设的下一个时刻的访问频率的权重值;
相应的,所述替换模块,用于用新的缓存文件替换所述下一个时刻的访问频率最小的缓存文件。
8.如权利要求7所述的缓存文件替换装置,其特征在于,所述缓存文件替换装置还包括:
概率模块,用于获取所述缓存文件的访问概率;
相应的,所述替换模块还用于用新的缓存文件替换所述下一个时刻的访问频率最小且访问概率最低的所述缓存文件。
9.如权利要求7或8中任一项所述的缓存文件替换装置,其特征在于,
所述访问频率模块用于根据下式获得各个缓存文件的平均访问频率,
T=(1-a)×T0+a×(N2-N1);
M = 1 T ;
其中,T为更新后的平均访问间隔;a为遗忘因子,且满足0.5<a<1;T0为所述缓存文件被访问的平均访问时间间隔;N2为所述缓存文件当前被访问的时刻;N1为所述缓存文件上次被访问的时刻;M为所述平均访问频率。
10.如权利要求9所述的缓存文件替换装置,其特征在于,所述访问频率模块用于根据下式获得各个缓存文件的平均访问频率,
T_est=(1-c)×T'+c×(N_est-N');
M = 1 T _ est ;
其中,T_est为预测的未来的平均访问时间间隔;T'为最新的平均访问时间间隔,当所述缓存文件当前时刻没有被用户访问时,T'=T0,当所述缓存文件当前时刻被用户访问时,T'=T;c为预估因子,且满足0.5<c<1;N_est为当前时刻的下一个时刻;N'为所述缓存文件最新一次被访问的时刻,当所述缓存文件当前时刻没有被用户访问时,N'=N1,当所述缓存文件当前时刻被用户访问时,N'=N2。
11.如权利要求10所述的缓存文件替换装置,其特征在于,所述缓存文件是视频片段,所述缓存文件替换装置还包括:
分割模块,用于获取多个视频,将每个视频分成至少一个视频片段,并将不同视频中的各视频片段采用相同的标号规则标号;
所述获取模块还用于获取所述视频片段的标号;
所述访问频率模块用于根据下式获得各个缓存文件的平均访问频率,
Tbar[j]=a2×Tbar[j]+(1-a2)×X;
P _ k [ j ] = Tbar [ m ] Tbar [ j ] , j = 0,1,2,3 . . . ;
P[j]=a3×P[j]+(1-a3)×y;
b[j]=p[j]0.25
M = 1 T _ est &times; b [ j ] ;
其中,j为所述视频片段的标号;Tbar[j]为标号为j的视频片段预设的平均点播概率,初始值为1;a2为常数,a2大于等于0.9,且小于1;X为一个访问状态系数,当所述视频片段被访问时,所述X=1,否则X=0;m为j中任意一个数;P_k[j]为标号为j的视频片段的归一化后的平均访问概率;P[j]为标号为j的视频片段的加权参数,其初始值为1;a3为常数,a3大于等于0.9,且小于1;若P_k[j]>1000,则y=1000,若P_k[j]≤1000,则y=P_k[j];b[j]为加权因子。
12.一种网络系统,其特征在于,所述网络系统包括流媒体文件服务器及代理服务器,其中,所述代理服务器包括如权利要求7或8所述的缓存文件替换装置,从所述流媒体文件服务器中获取流媒体文件,并将所述流媒体文件保存为所述代理服务器内的缓存文件。
CN201180002900.4A 2011-11-26 2011-11-26 缓存文件替换方法、装置及系统 Active CN102511043B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/082996 WO2013075341A1 (zh) 2011-11-26 2011-11-26 缓存文件替换方法、装置及系统

Publications (2)

Publication Number Publication Date
CN102511043A CN102511043A (zh) 2012-06-20
CN102511043B true CN102511043B (zh) 2014-07-09

Family

ID=46222773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180002900.4A Active CN102511043B (zh) 2011-11-26 2011-11-26 缓存文件替换方法、装置及系统

Country Status (2)

Country Link
CN (1) CN102511043B (zh)
WO (1) WO2013075341A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9015413B2 (en) 2012-10-02 2015-04-21 International Business Machines Corporation Management of data using inheritable attributes
CN103902473B (zh) * 2012-12-31 2018-07-03 华为技术有限公司 一种数据处理方法及数据缓存系统
CN104111900B (zh) * 2013-04-22 2017-06-20 中国移动通信集团公司 一种缓存中数据替换方法及装置
CN104123243B (zh) * 2013-04-24 2018-08-03 鸿富锦精密电子(天津)有限公司 数据缓存系统及方法
CN103870393B (zh) * 2013-07-09 2017-05-17 上海携程商务有限公司 缓存管理方法及系统
CN103442000B (zh) * 2013-08-22 2016-08-10 北京星网锐捷网络技术有限公司 Web缓存置换方法及装置、http代理服务器
CN103607386B (zh) * 2013-11-15 2017-11-10 南京云川信息技术有限公司 一种P2P Cache系统中的协作缓存方法
CN103813181A (zh) * 2014-02-14 2014-05-21 华为技术有限公司 一种视频优化系统及方法
US9612964B2 (en) * 2014-07-08 2017-04-04 International Business Machines Corporation Multi-tier file storage management using file access and cache profile information
CN105354193A (zh) * 2014-08-19 2016-02-24 阿里巴巴集团控股有限公司 数据库数据缓存方法、查询方法及缓存装置、查询装置
CN105471952A (zh) * 2014-09-10 2016-04-06 中国移动通信集团公司 一种基于全局价值的缓存方法和缓存服务器
US9740635B2 (en) * 2015-03-12 2017-08-22 Intel Corporation Computing method and apparatus associated with context-aware management of a file cache
US10725922B2 (en) * 2015-06-25 2020-07-28 Intel Corporation Technologies for predictive file caching and synchronization
CN105488180B (zh) * 2015-11-30 2019-04-26 中国建设银行股份有限公司 一种数据存储方法及系统
CN105740445A (zh) * 2016-02-02 2016-07-06 贵州大学 一种数据库查询方法及装置
KR102580820B1 (ko) * 2016-03-10 2023-09-20 에스케이하이닉스 주식회사 데이터 저장 장치 및 그것의 동작 방법
CN106528604A (zh) * 2016-09-26 2017-03-22 平安科技(深圳)有限公司 数据缓存控制方法及系统
CN107870726A (zh) * 2016-09-26 2018-04-03 北京优朋普乐科技有限公司 基于冗余机制的数据存储方法和装置、服务器
CN106502789A (zh) * 2016-10-12 2017-03-15 阔地教育科技有限公司 一种资源访问方法及装置
CN106776380A (zh) * 2016-11-28 2017-05-31 清华大学 终端内容缓存替换方法及替换装置
CN106991060B (zh) * 2017-02-27 2020-04-14 华为技术有限公司 一种读cache的淘汰优化方法及装置
CN107391696A (zh) * 2017-07-27 2017-11-24 合肥泓泉档案信息科技有限公司 一种档案信息化管理系统
CN107666516A (zh) * 2017-09-20 2018-02-06 重庆邮电大学 一种基于消息热度保证kafka集群数据一致性的方法
CN107911711B (zh) * 2017-10-24 2020-09-01 北京邮电大学 一种考虑分区的边缘缓存替换改进方法
CN107943720A (zh) * 2017-11-29 2018-04-20 武汉理工大学 混合云中基于文件收益及优先级权重的lru缓存优化算法
CN108183867B (zh) * 2017-12-25 2021-08-10 重庆邮电大学 信息中心网络节点缓存替换方法
CN108777802B (zh) * 2018-06-05 2021-07-13 网宿科技股份有限公司 一种缓存vr视频的方法和装置
CN110290394A (zh) * 2019-07-15 2019-09-27 宁波华数广电网络有限公司 一种视频点播系统及方法
CN110688401B (zh) * 2019-09-10 2023-11-03 中国平安财产保险股份有限公司 动态缓存处理方法、装置、存储介质及电子设备
CN110807009B (zh) * 2019-11-06 2022-04-26 湖南快乐阳光互动娱乐传媒有限公司 文件处理方法及装置
CN111083236A (zh) * 2019-12-31 2020-04-28 扬州大学 基于流行度度量的缓存替换方法
CN111984889A (zh) * 2020-02-21 2020-11-24 广东三维家信息科技有限公司 缓存方法及系统
CN111752902A (zh) * 2020-06-05 2020-10-09 江苏任务网络科技有限公司 动态热数据缓存方法
CN112363986B (zh) * 2021-01-15 2021-07-02 北京东方通软件有限公司 一种针对文件缓存的时间优化方法
CN113784170B (zh) * 2021-11-11 2022-03-22 深圳市名竹科技有限公司 内容数据预热方法、装置、计算机设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE512880C2 (sv) * 1998-07-03 2000-05-29 Ericsson Telefon Ab L M Ett cacheservernät
JP4873653B2 (ja) * 2004-10-06 2012-02-08 トムソン ライセンシング データをキャッシングする方法およびシステム
CN100395750C (zh) * 2005-12-30 2008-06-18 华为技术有限公司 一种缓存管理方法
CN100547994C (zh) * 2006-12-19 2009-10-07 北京邮电大学 用于移动流媒体代理服务器的流媒体文件的缓存方法

Also Published As

Publication number Publication date
WO2013075341A1 (zh) 2013-05-30
CN102511043A (zh) 2012-06-20

Similar Documents

Publication Publication Date Title
CN102511043B (zh) 缓存文件替换方法、装置及系统
US11169967B2 (en) Selective deduplication
US11200174B2 (en) Considering a frequency of access to groups of tracks and density of the groups to select groups of tracks to destage
US7386675B2 (en) Systems and methods for using excitement values to predict future access to resources
US10579281B2 (en) Rule-based tiered storage system
Amer et al. File access prediction with adjustable accuracy
CN109344092B (zh) 一种提高冷存储数据读取速度的方法和系统
US9779031B2 (en) Caching policies for selection and replacement of objects
US8407423B2 (en) Automatic determination of read-ahead amount
US20080016021A1 (en) System and method of dynamically changing file representations
US9965389B2 (en) Adaptive storage management for optimizing multi-tier data storage system
US11403525B2 (en) Using reinforcement learning to dynamically tune cache policy parameters
EP3089039A1 (en) Cache management method and device
CN111917882B (zh) 文件缓存方法、装置及电子设备
CN109413694B (zh) 一种基于内容流行度预测的小小区缓存方法及装置
EP3588913B1 (en) Data caching method, apparatus and computer readable medium
CN107506154A (zh) 一种元数据的读取方法、装置及计算机可读存储介质
CN107886352B (zh) 一种广告结算的方法及系统
US10657449B2 (en) System and method for load distribution in a network
CN112734982A (zh) 无人车驾驶行为数据的存储方法和系统
Akhtar et al. Avic: a cache for adaptive bitrate video
US11693570B2 (en) Machine learning to improve caching efficiency in a storage system
US9336155B2 (en) Statistical cache promotion
CN110134828B (zh) 一种视频下架检测方法及装置
EP2901656B1 (en) System and method for load distribution in a network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220214

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technology Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.