CN105849704B - 缓存管理装置和缓存管理方法 - Google Patents

缓存管理装置和缓存管理方法 Download PDF

Info

Publication number
CN105849704B
CN105849704B CN201480070446.XA CN201480070446A CN105849704B CN 105849704 B CN105849704 B CN 105849704B CN 201480070446 A CN201480070446 A CN 201480070446A CN 105849704 B CN105849704 B CN 105849704B
Authority
CN
China
Prior art keywords
web content
list
access
frequency
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480070446.XA
Other languages
English (en)
Other versions
CN105849704A (zh
Inventor
住吉泰明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN105849704A publication Critical patent/CN105849704A/zh
Application granted granted Critical
Publication of CN105849704B publication Critical patent/CN105849704B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682Policies or rules for updating, deleting or replacing the stored data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种缓存管理装置,包括:最近访问列表获取单元,用于获取示出在被设定为基准的当前之前的预定时间段内被访问的Web内容的历史的最近访问列表;以及删除对象确定单元,用于在基于最近访问列表而Web内容被添加至高频率访问列表的情况下确定删除对象Web内容,其中,删除对象Web内容是应当从高频率访问列表中删除的Web内容,高频率访问列表示出应当作为缓存数据被分发服务器装置累积的Web内容。该删除对象确定单元针对多个不同时间段的各时间段指定访问频率比下限基准低的Web内容,并且从所指定的Web内容中选择删除对象Web内容。

Description

缓存管理装置和缓存管理方法
技术领域
本发明涉及一种缓存管理装置、缓存管理方法和程序。
背景技术
在互联网中的提供Web内容的服务器和用户终端装置之间配置有多个分发服务器(缓存服务器)装置,将从这些分发服务器装置提供Web内容的框架称为CDN(内容分发网络)。在CDN中,来自用户的访问被分散,从而降低了各服务器装置和网络上的负荷。
提供这种类型的CDN作为服务的运营商根据内容提供者预先确定要缓存的Web内容,并且在一些情况下,将这些Web内容累积在分发服务器装置中。
内置于分发服务器装置或者连接至分发服务器装置的存储装置存在容量限制。由于这个原因,在分发服务器装置中缓存所有的Web内容是不现实的。通常,通过存储装置的存储容量和Web内容的最后访问时间来管理分发服务器装置中所累积的Web内容。例如,存在如下方法:在所累积的数据的数据大小超过了预先设置的上限值的情况下,按从最后访问日期最老的内容开始的顺序执行删除,以生成可用容量,并且将新访问的新的Web内容累积在该可用容量中(参照专利文献1)。
接着,提供通信网络的通信运营商将考虑在网络上的网关中提供的Web内容缓存功能和设置在网关附近的分发服务器装置。例如,内容提供者使用缓存功能的目的是:通过使得用户能够访问运营商的Web内容以舒适地访问公司提供的特定内容来获得商机,并且防止由于公司的内容提供服务器装置上的负荷集中而产生宕机。与此相对,通信运营商使用缓存功能的目的与内容提供者的目的不同。通信运营商以削减无用通信以防止公司提供的通信网络的带宽饱和以及通信速度下降的目的引入分发服务器装置(缓存功能)。通信运营商可能不是以内容提供运营商和CDN服务器提供运营商的方式来仅处理特定的内容,而必须处理从用户访问的全部内容。通过使用缓存功能,通信运营商期望针对互联网上的全部Web内容,提高其所提供的通信网络的带宽使用效率。例如,如果仅累积具有低的访问率的Web内容,则可能由于访问具有高访问率的Web内容而导致通信量增加,从而将对通信线路产生压力。另一方面,如果可以仅累积具有高访问率的Web内容,则由于访问该Web内容的通信量仅限定在分发服务器装置和用户终端装置之间,因此存在能够提高通信网络的带宽使用效率的可能性。即,在无法预先限制成为对象的Web内容和前来访问的装置的环境下,通信运营商的目标是在有限的存储容量中尽可能地仅累积具有高访问率的Web内容。
现有技术文献
专利文献
专利文献1:日本特开2006-185169。
发明内容
发明要解决的技术问题
将说明在将利用专利文献1的方法来管理所累积的缓存数据的方法应用到通信运营商的分发服务器装置的情况下的问题。
(1)利用专利文献1的方法,在超过了容量限制的情况下,按从访问时间早的内容开始的顺序执行删除。在这种情况下,可以说由于访问时间早的内容从访问时开始直到目前为止没有被访问,因此与该时间段有关的访问率较低。然而,即使仅由于Web内容被新访问而缓存该Web内容,也不可能预测从今以后将以何种频率来访问这些Web内容,并且也存在这些Web内容在没有被再次访问的情况下而从分发服务器装置中删除的可能性。与此相对,对于之前由于早的原因而删除的Web内容,在最后被访问之前的时间段内可能存在一定量以上的访问,并且可能存在一定量以上的定期访问。在这种情况下,当从缓存中删除时,与访问次数相对应的通信量将再次产生。即,从通信网络的带宽使用效率的角度,仅由于最后的访问时间早而删除缓存数据是不必要且不恰当的。
(2)即使针对诸如活动网站等的瞬间发生爆发性访问的网站而进行缓存生成及保存,爆发性访问的发生也不会持续。因此,在不存在随后的访问的情况下,缓存是无用的,而具有一定访问的Web内容的缓存数据由于缓存容量而被删除,导致缓存管理效率的下降。
即,如果仅由于Web内容被新访问而对该Web内容进行缓存,则从提高通信网络的使用率的角度,这是不必要且不合适的。
本发明的典型目的是提供用于解决上述问题的缓存管理装置、缓存管理方法和程序。
用于解决问题的方案
为了解决上述问题而实现了本发明。根据本发明的一个典型方面的缓存管理装置包括:最近访问列表获取单元,用于获取示出在被设定为基准的当前之前的预定时间段内被访问的Web内容的历史的最近访问列表;以及删除对象确定单元,用于在基于所述最近访问列表而Web内容被添加至高频率访问列表的情况下确定删除对象Web内容,其中,所述删除对象Web内容是应当从所述高频率访问列表中删除的Web内容,所述高频率访问列表示出应当作为缓存数据被分发服务器装置累积的Web内容,其中,所述删除对象确定单元针对多个不同时间段的各时间段指定访问频率比下限基准低的Web内容,并且从所指定的Web内容中选择所述删除对象Web内容。
根据本发明的一个典型方面的缓存管理方法包括:获取示出在被设定为基准的当前之前的预定时间段内被访问的Web内容的历史的最近访问列表;以及在基于所述最近访问列表将Web内容添加至高频率访问列表的情况下确定删除对象Web内容,其中,所述删除对象Web内容是应当从所述高频率访问列表中删除的Web内容,所述高频率访问列表示出应当作为缓存数据被分发服务器装置累积的Web内容,其中,确定所述删除对象Web内容包括:针对多个不同时间段的各时间段指定访问频率比下限基准低的Web内容,并且从所指定的Web内容中选择所述删除对象Web内容。
根据本发明的一个典型方面的程序使得缓存管理装置的计算机执行以下步骤:获取示出在被设定为基准的当前之前的预定时间段内被访问的Web内容的历史的最近访问列表;以及在基于所述最近访问列表将Web内容添加至高频率访问列表的情况下确定删除对象Web内容,其中,所述删除对象Web内容是应当从所述高频率访问列表中删除的Web内容,所述高频率访问列表示出应当作为缓存数据被分发服务器装置累积的Web内容,其中,确定所述删除对象Web内容包括:针对多个不同时间段的各时间段指定访问频率比下限基准低的Web内容,并且从所指定的Web内容中选择所述删除对象Web内容。
发明的效果
根据本发明,在有限的存储容量下,能够累积具有高命中率的Web内容的缓存数据。
附图说明
图1是示出根据本发明的第一典型实施例的缓存管理装置的结构的图。
图2是示出根据本发明的第一典型实施例的缓存管理装置的具体结构的图。
图3是示出包括根据本发明的第一典型实施例的缓存管理装置的网络系统的概要的图。
图4是示出根据本发明的第一典型实施例的缓存管理装置的处理流程的图。
图5A是示出根据本发明的第一典型实施例的缓存管理装置所生成的24小时列表的示例的图。
图5B是示出根据本发明的第一典型实施例的缓存管理装置所生成的7天列表的示例的图。
图5C是示出根据本发明的第一典型实施例的缓存管理装置所生成的4周列表的示例的图。
具体实施方式
第一典型实施例
以下将参考图1~图5C来说明根据本发明的第一典型实施例的缓存管理装置。
图1示出根据第一典型实施例的缓存管理装置的结构。
图1示出缓存管理装置1。如图1所示,缓存管理装置1至少包括最近访问列表获取单元20和删除对象确定单元50。缓存管理装置1是用于对分发服务器(缓存服务器)缓存的Web内容进行管理的装置。
最近访问列表获取单元20从用户请求了的Web内容的历史(“全部最近访问列表”)中获取示出在预定时间段内被访问了预定次数以上的Web内容的“最近访问列表”。
删除对象确定单元50确定要从当前的缓存数据中删除的Web内容,以确保用于缓存新Web内容的存储空间。
删除对象确定单元50指定相对于已缓存的Web内容、针对之前的不同长度的多个时间段中的各个时间段的访问频率较低的Web内容,并且确定该Web内容作为删除对象。注意,之前的不同长度的多个时间段例如可以是之前的24小时、之前的7天和之前的4周。
图2是示出根据第一典型实施例的缓存管理装置的具体结构的图。参考图2,将说明构成缓存管理装置1的除了最近访问列表获取单元20和删除对象确定单元50以外的功能单元。
全部最近访问列表生成单元10基于从分发服务器装置2(参照图3)接收到的Web内容的访问信息来生成全部最近访问列表。在该全部最近访问列表中,记录有Web内容识别信息以及预定时间内该Web内容识别信息的访问次数等。这里,该预定时间例如是10分钟或者1小时。Web内容识别信息包括例如包含查询的访问目的地的URL、构成访问目的地Web内容的部分信息、以及基于访问来源的用户终端信息等利用哈希所生成的密钥信息。
构成访问目的地Web内容的部分信息包含在Web内容识别信息中的原因是存在即使访问目的地URL相同时Web内容也改变的情况,并且存在对该内容被改变之前的情况和该内容被改变之后的情况进行区分的必要性。在Web内容识别信息中包括用户终端信息的原因是即使针对相同访问目的地的Web内容,也存在例如在被移动终端访问的情况和被PC终端访问的情况之间返回的Web内容不同的情形。
假设在从分发服务器装置2接收到的访问信息中,包括Web内容识别信息所需的信息和Web内容的数据大小的信息。
以下Web内容指Web内容识别信息示出的Web内容。
高频率访问列表生成单元30生成用于累积表示在用户的访问当中最近访问频率高的Web内容的“最近访问列表”的信息的“高频率访问列表”。“高频率访问列表”中所记录的由Web内容识别信息所表示的内容累积在分发服务器装置2的存储单元中。在高频率访问列表生成单元30将“最近访问列表”的信息添加至“高频率访问列表”的情况下,“高频率访问列表”增加。因此,随着分发服务器装置2的存储单元中所累积的Web内容的容量增加,不久后该容量超过分发服务器装置2中所设置的存储单元的存储容量。因此,高频率访问列表生成单元30根据之前描述的删除对象确定单元的确定,从“高频率访问列表”中删除表示要从缓存对象中移除的内容的Web内容识别信息。在“高频率访问列表”中,包括诸如Web内容识别信息、之前的访问历史、最后访问日期和时间等的信息。之前的访问历史例如是之前的4周每天的访问次数、或者全部访问时间。
访问频率输出单元40基于“高频率访问列表”中的之前的访问历史信息,来输出针对多个时间段的“访问频率列表”。例如,访问频率输出单元40针对各Web内容识别信息,生成之前的24小时的访问的高频率顺序列表、生成之前的7天的访问的高频率顺序列表和生成之前的4周的访问的高频率顺序列表。作为其它方法,访问频率输出单元40可以综合出之前的7天和4周内一周的各天的访问次数。删除对象确定单元50根据访问频率输出单元40生成的访问趋势信息确定删除对象缓存数据。
通信单元60从分发服务器装置2接收用户请求的Web内容的Web内容识别信息。此外,通信单元60发送用于指定应当在分发服务器装置2中累积或者应当从分发服务器装置2删除的Web内容的信息。
存储单元70存储高频率访问列表和最近访问列表。
全部最近访问列表生成单元10、最近访问列表获取单元20、高频率访问列表生成单元30、访问频率输出单元40和删除对象确定单元50是通过设置在缓存管理装置1的CPU(中央处理单元)执行程序来在缓存管理装置1中提供的功能。
图3示出包括根据第一典型实施例的缓存管理装置1的网络系统S的概要。
参考图3,将说明网络系统S的概要。
网络系统S包括缓存管理装置1、分发服务器装置2、用户终端装置3、内容提供源服务器装置4和通信网络5。分发服务器装置2将访问信息发送至缓存管理装置1,并且对缓存管理装置1进行查询(参照箭头R1)。缓存管理装置1指示向分发服务器装置2进行缓存的添加或删除(参照箭头R2)。在图3所示的示例中,用户终端装置3包括计算机终端3A和移动终端3B。
将说明在缓存管理装置1中各功能单元生成的列表的类型。列表类型包括全部最近访问列表L100、最近访问列表L101、高频率访问列表L102、7天列表L104、4周列表L105和删除列表L106。稍后将使用图4来说明准备这些列表的方法。
全部最近访问列表L100是全部最近访问列表生成单元10针对在预定时间内被访问了的全部Web内容而记录的访问次数的列表。
基于分发服务器装置2发送的访问信息来生成全部最近访问列表L100。
最近访问列表L101是通过最近访问列表获取单元20从全部最近访问列表L100中选择访问次数大于或等于预定次数的Web内容而生成的列表。
高频率访问列表L102是通过高频率访问列表生成单元30所生成的列表,并且表示在分发服务器装置2中成为缓存对象的Web内容。分发服务器装置2向缓存管理装置1询问有关应当缓存的内容。缓存管理装置1参考高频率访问列表L102来指示应当缓存的内容和/或不应当缓存的内容。
24小时列表L103是之前的24小时的时间段内的访问次数的列表。7天列表L104是之前的7天的时间段内的访问次数的列表。4周列表L105是之前的4周的时间段内的访问次数的列表。24小时列表L103、7天列表L104和4周列表L105是访问频率输出单元40基于高频率访问列表L102而生成并输出的列表。
删除列表L106是删除对象确定单元50基于24小时列表L103、7天列表L104和4周列表L105而确定的表示当前累积的缓存数据中应当删除的内容的列表。缓存管理装置1基于删除列表L106指示分发服务器装置2删除缓存数据。
接着,将说明图3的网络系统S的操作。
分发服务器装置2从用户终端装置3接收访问Web内容的请求。如果分发服务器装置2已经缓存了所请求的Web内容,则从包括在分发服务器装置2中的存储单元读出该Web内容,并向用户终端装置3发送所读出的Web内容的响应(Web内容)。如果分发服务器装置2没有缓存该Web内容,则访问内容提供源服务器装置4以获取该内容,并且向用户终端装置3发送响应(该Web内容)。
分发服务器装置2除了向用户终端装置3发送响应(访问信息)以外,还根据从用户终端装置3接收到的请求和向用户终端装置3发送的Web内容来生成访问信息,并且向缓存管理装置1发送该访问信息。在没有缓存所请求的Web内容的情况下,分发服务器装置2向缓存管理装置1询问是否应当缓存该Web内容。
如果在高频率访问列表L102中记录有与所询问的Web内容相对应的Web内容识别信息,则缓存管理装置1经由通信单元60向分发服务器装置2发送用于指示缓存这些内容的指示信息。如果在高频率访问列表L102中没有记录与所询问的Web内容相对应的Web内容识别信息,则缓存管理装置1经由通信单元60向分发服务器装置2发送用于指示不缓存这些内容的指示信息。
分发服务器装置2在接收到指示其缓存内容的指示信息的情况下,根据该指示信息来缓存Web内容。
高频率访问列表L102的内容由于最近访问列表L101的内容被添加或者删除列表L106的内容被删除而每隔预定时间改变。因此,存在如下可能性:针对来自分发服务器装置2的询问,缓存管理装置1的是否执行缓存的指示将每隔预定时间改变。因而,分发服务器装置2可以根据最近的访问趋势来缓存Web内容。
在高频率访问列表的内容改变的情况下,缓存管理装置1经由通信单元60向分发服务器装置2发送表示应当从删除列表L106所记录的缓存数据中删除的Web内容的信息。如稍后将参考图4描述的,删除列表L106表示的Web内容的数据大小的总和至少等于或大于分发服务器装置2新缓存的内容的数据大小的总和。
当接收到删除指示信息时,分发服务器装置2根据该指示从之前累积的缓存数据中删除指定的Web内容的数据。因而,能够防止缓存数据的大小超过分发服务器装置2的存储装置的容量。
通过这种方式,缓存管理装置1进行缓存对象的选择和管理,以提高分发服务器装置2累积的缓存数据的命中率。结果,通过在用户终端装置3和分发服务器装置2之间保持基于来自用户的请求的通信,能够减少流经通信网络5的数据量、确保通信网络5的带宽、并且防止通信速度的下降。
图4示出根据本典型实施例的缓存管理装置的处理流程。
图5A~5C示出根据本典型实施例的缓存管理装置所准备的列表的示例。
参考图4所示的处理流程,将说明缓存管理装置1准备前述列表L100~L106的处理。
首先,如参考图3所述,在存在从用户请求Web内容的情况下,分发服务器装置2向缓存管理装置1发送与该请求有关的访问信息。在该访问信息中包括Web内容的数据大小。
步骤S1:“全部最近访问列表”更新处理
在缓存管理装置1中,全部最近访问列表生成单元10使用访问信息来生成Web内容识别信息。全部最近访问列表生成单元10从存储单元70中读出全部最近访问列表L100,并且判断在当前的全部最近访问列表L100中是否存在所生成的Web内容识别信息。在判断为存在Web内容识别信息的情况下,全部最近访问列表生成单元10将全部最近访问列表L100中的该Web内容识别信息的访问次数的值加“1”。在判断为不存在Web内容识别信息的情况下,全部最近访问列表生成单元10在全部最近访问列表L100中重新登记该Web内容识别信息,并且将该Web内容识别信息的访问次数的值记录为“1”。在全部最近访问列表生成单元10更新Web内容识别信息的访问次数的情况下,全部最近访问列表生成单元10将全部最近访问列表L100存储在存储单元70中。此外,全部最近访问列表生成单元10将所接收到的内容的数据大小和最后访问时间与该Web内容识别信息相对应地记录在全部最近访问列表L100中。
步骤S2:“最近访问列表”生成处理
接着,每隔预定时间,最近访问列表获取单元20从存储单元70读出全部最近访问列表L100并且提取在预定时间内被访问了预定次数以上的Web内容识别信息。该预定时间例如可以是10分钟或者大约1个小时。该预定时间可以根据访问数据或者通信网络的通信状态来设置。最近访问列表获取单元20将所提取出的Web内容识别信息记录在存储单元70中。所记录的信息是最近访问列表L101。
最近访问列表获取单元20基于访问频率来选择缓存对象。结果,可以减小如下可能性:以预期的具有一定程度的高访问频率的缓存数据被删除为代价,而将新访问的全部内容设置成要缓存。例如,通过以下方式能够防止无意义的缓存数据的生成以及缓存管理效率的下降:即使暂时存在很多访问,但如果一个小时(预定时间)内的访问次数小于预定次数,则也不添加为缓存对象。
步骤S3:“高频率访问列表”生成处理
当最近访问列表获取单元20生成最近访问列表L101时,在该时刻高频率访问列表生成单元30使用最近访问列表L101的信息来更新高频率访问列表L102。将说明在最近访问列表L101中所登记的Web内容识别信息已经列在高频率访问列表L102中的情况。在这种情况下,高频率访问列表生成单元30更新最后访问时间,并且更新(增加)访问次数。将说明在最近访问列表L101中所登记的Web内容识别信息不是高频率访问列表L102中的Web内容识别信息的情况。在这种情况下,高频率访问列表生成单元30将该识别信息新登记在高频率访问列表L102中。
此外,高频率访问列表生成单元30从最近访问列表L101中获取最近访问列表L101中的新添加至高频率访问列表L102中的全部Web内容的数据大小,并且计算总和。该总和值是在分发服务器装置2中对新添加至高频率访问列表L102中的Web内容进行缓存的情况下所请求的存储装置的容量。高频率访问列表生成单元30将该总和值记录在存储单元70中。
高频率访问列表L102示出分发服务器装置2缓存的Web内容。通过仅提取针对诸如10分钟或者一个小时等的相对短的各时间间隔所累积的具有高访问频率的这些Web内容并使这些Web内容成为缓存对象,能够防止通信网络的带宽由于访问相同的Web内容的通信而被占用。
因此,目前为止说明了仅将具有高访问频率的内容添加至缓存对象的过程。在分发服务器装置2包括的存储装置的容量存在空余的情况下,足以将最近访问列表L101添加至高频率访问列表L102。然而,分发服务器装置2能够累积的缓存内容的容量存在限制。由于这个原因,需要从分发服务器装置2删除具有与新添加的Web内容的数据大小相对应的数据大小的缓存内容。通常在互联网中,访问集中在某些Web内容上。由于这个原因,是否能够缓存具有高访问频率的Web内容,命中率存在很大不同。因此,进行缓存数据的删除,以使具有高访问率的Web内容保留。
步骤S4:“访问频率列表”生成处理
在确定了要添加至高频率访问列表L102的Web内容的情况下,接着,访问频率输出单元40生成成为用于判断什么缓存内容应当删除的指标的访问频率列表。访问频率输出单元40针对多个不同时间段各自生成访问频率列表。访问频率列表例如是24小时列表L103、7天列表L104和4周列表L105。
首先,访问频率输出单元40根据高频率访问列表L102中所记录的访问历史对之前的24小时内各Web内容识别信息的访问次数进行计数,并且生成24小时列表L103。图5A是访问频率输出单元40所生成的24小时列表L103的示例。
同样,访问频率输出单元40对之前的7天内各Web内容识别信息的访问次数进行计数,并且生成7天列表L104。此外,访问频率输出单元40对之前的4周内各Web内容识别信息的访问次数进行计数,并且生成4周列表L105。图5B是访问频率输出单元40所生成的7天列表L104的示例。图5C是访问频率输出单元40所生成的4周列表L105的示例。
访问频率输出单元40将24小时列表L103、7天列表L104和4周列表L105记录在存储单元70中。
步骤S5:“删除列表”生成列表
接着,删除对象确定单元50从存储单元70中读出24小时列表L103、7天列表L104和4周列表L105,并且确定要删除的Web内容。在参考图5A~5C的情况下,将说明删除对象确定单元50确定删除的对象的方法。
图5A的24小时列表L103的第一行示出针对由Web内容识别信息“Ah”表示的内容在之前的24小时内存在“10111”次访问请求。在24小时列表L103中,按从具有高访问次数的那些内容开始的顺序列出内容。24小时列表L103示出由Web内容识别信息“F”、“Cd”和“Bw”所表示的Web内容是在之前的24小时内具有最低访问次数的内容。
7天列表L104示出由“F”和“Cw”所表示的内容是在之前的7天内具有最低访问次数的内容。4周列表L105示出由“F”和“H”所表示的内容是在之前的4周内具有最低访问次数的内容。在这些时间段具有低访问次数的内容是包括在高频率访问列表L102中的内容,即,在当前成为缓存对象的内容中在各时间段具有低访问次数的内容。
删除目标确定单元50通过读取各列表L103~L105来提取各时间段内具有低访问次数的内容。作为提取方法的示例,通过使用访问次数,可以仅提取具有预定访问次数以下的那些内容。作为提取方法的其它示例,可以指定列表上的排位,并且可以提取访问次数在预定排位以下的内容。
接着,删除目标确定单元50从所提取出的删除的候选中选择要删除的对象。将使用图5A~5C作为示例来给出说明。首先,作为提取的结果,将说明删除目标确定单元50从24小时列表L103中选择“F”、“Cd”和“Bw”作为删除的候选、从7天列表L104中选择“F”和“Cw”作为删除的候选、以及从4周列表L105中选择“F”和“H”作为删除的候选。
接着,删除目标确定单元50从所提取出的删除候选中确定删除对象。具体地,如果删除候选的访问频率在全部三个列表中均不高,则删除目标确定单元50使该删除候选的内容成为删除对象。
首先,删除目标确定单元50检查“F”。在全部列表中,“F”的访问次数均是最低排位。因此,删除目标确定单元50确定使“F”成为删除对象。接着,删除目标确定单元50检查“Cd”。在24小时列表L103中,“Cd”处于最低排位,而在7天列表L104中,其访问次数是第三高的。即,在之前的24小时内,“Cd”被访问不多,但在之前的7天内“Cd”是被访问较多的内容。删除目标确定单元50判断为这种类型的内容在未来(例如,下周)被访问一定量以上的可能性高,因此确定不使“Cd”成为删除对象。接着,删除目标确定单元50检查“Bw”和“Cw”。在24小时列表L103中,“Bw”处于最低排位。在7天列表L104中,“Cw”处于最低排位。然而,在4周列表L105中,“Bw”和“Cw”均处于具有最高排位的内容当中。删除目标确定单元50将“Bw”和“Cw”判断为在4周的时间段(以月为单位)内具有一定的访问量的内容,因此可以预期下个月访问将再次在一定量以上,因此确定不使“Bw”和“Cw”成为删除对象。
通过这种方式,在第一典型实施例中,基于之前的不同周期内的访问频率来删除具有低访问频率的缓存数据。由于这个原因,例如,不删除在之前的24小时访问率不高但可以预期在7天的时间段内访问率高的内容。即,可以对短时间内传输的新内容组和已存在的缓存进行有效率地选择和排除。
接着,删除目标确定单元50检查“H”。在4周列表L105中,“H”具有最低排位的访问次数。删除目标确定单元50基于24小时列表L103和7天列表L105中预先确定的何种程度的访问次数表示访问频率高的判断基准,来确定是否使该“H”成为删除对象。此外,如果在最近7天的时间段内不存在对该“H”表示的Web内容的访问,则删除目标确定单元50判断为“H”没有记录在24小时列表L103和7天列表L105中。在这种情况下,删除目标确定单元50确定“H”成为删除对象。
通过这种方式,删除目标确定单元50建立针对访问次数的下限基准,并且提取访问次数小于该下限基准的内容。此外,删除目标确定单元50建立针对访问次数的上限基准。删除目标确定单元50确定作为访问次数比下限基准少的内容而提取出的内容在其它访问频率列表中的访问次数是否超过在该其它访问频率列表中所设置的访问次数的上限基准。此外,删除目标确定单元50确定访问次数比下限基准少的内容是否记录在其它访问频率列表中。对于在任意访问频率列表中访问次数低的Web内容,如果该Web内容的访问次数不超过任意其它访问频率列表中的上限基准、或者该Web内容均没有记录在任意其它访问频率列表中,则删除目标确定单元50确定该Web内容成为删除对象。
删除目标确定单元50重复该确定删除对象的过程直到要删除的数据的大小等于或者大于要添加的数据的大小为止。
具体地,删除目标确定单元50从存储单元70中读出高频率访问列表30已经计算出的要新缓存的内容所需的数据大小(添加的数据大小)。此外,删除目标确定单元50从存储单元70中读出已经被确定为删除对象Web内容(图5A~5C中“F”所表示的内容)的数据大小,并且计算读出的数据大小的总和(删除数据大小)。删除目标确定单元50将添加的数据大小和删除数据大小进行比较,并且重复前述删除对象确定过程直到删除数据大小达到追加的数据大小为止。
删除目标确定单元50可以通过根据删除过程的重复次数提高下限基准来增加作为访问次数低的内容而提取的内容的数量,并且利用相同的过程来确定删除对象。作为其它方法,删除目标确定单元50可以保持下限基准不变,并且通过根据删除过程的重复次数提高访问次数的上限基准来减少从删除候选中排除的内容的数量,并且通过相同过程来再次确定删除对象。
在删除对象的确定完成的情况下,删除目标确定单元50生成示出成为删除对象Web内容的Web内容识别信息的删除列表L106。此外,删除目标确定单元50经由通信单元60向分发服务器装置2发送该删除列表L106。此外,删除目标确定单元50向高频率访问列表生成单元30输出该删除列表L106。高频率访问列表生成单元30从高频率访问列表L102中删除记录在删除列表L106中的该Web内容识别信息。
利用上述过程,本处理流程结束。
通过这种方式,删除目标确定单元50从仅保留在被设定为基准的当前之前的不同长度的多个时间段内访问频率高的Web内容的角度,来确定要从缓存数据中删除的Web内容。通过这种方式,通过考虑长度呈多阶段设置的不同时间段的访问频率,能够基于样本的访问趋势根据时间段的长度而不同来生成缓存数据。通信运营商的通信网络接收到的访问数量是巨大的。由于这个原因,在使用依次缓存所访问的Web内容和删除老的缓存数据的一般方法的情况下,缓存数据可能在很短的时间段(例如,几分钟)内被替换。在这种情况下,分发服务器装置的操作在没能提高命中率的情况下,可能由于缓存数据的生成而存在不堪重负的危险。相反,根据本典型实施例,在没有仅被最近访问束缚的情况下,从每日、每周和每月的不同时间段的角度,通过把握较长时间段的访问趋势来生成缓存数据。结果,能够生成数据大小较小且命中率高的缓存数据。
在更新了高频率访问列表L102并且分发服务器装置2中完成了删除列表L106所列出的缓存数据的删除的情况下,如图3所述,缓存管理装置1根据更新后的高频率访问列表L102来管理分发服务器装置2中所累积的内容。
根据本典型实施例,能够获得将具有高命中率的Web内容的缓存数据累积在有限的存储容量中的效果。因而,通信运营商能够提高其所提供的线路网的使用率。
如上所述的缓存管理装置1内部具有计算机。将如上所述的缓存管理装置1的各处理的过程以程序的形式存储在计算机可读记录介质中。通过计算机读取并执行该程序来进行前述处理。计算机可读记录介质包括磁盘、光学磁盘、CD-ROM、DVD-ROM和半导体存储器等。此外,可以通过通信线路将该计算机程序分发至计算机,并且接收该分发的计算机可以执行该程序。
此外,前述程序可以是用于实现上述功能的一部分的程序。前述程序还可以是能够与已经存储在计算机系统中的程序相结合来实现上述功能的差分文件(差分程序)。
另外,在不偏离本发明的范围的范围内,可以利用已知的构成元件来替换上述典型实施例中的构成元件。此外,本发明的技术范围不限于前述典型实施例,并且能够在不偏离本发明的范围的范围内进行各种改变。
上述典型实施例的一部分或者全部还可以描述成以下补充说明,但不限于以下描述。
(补充说明1):一种缓存管理装置,包括:最近访问列表获取单元,用于获取示出在被设定为基准的当前之前的预定时间段内被访问的Web内容的历史的最近访问列表;以及删除对象确定单元,用于在基于所述最近访问列表而Web内容被添加至高频率访问列表的情况下确定删除对象Web内容,其中,所述删除对象Web内容是应当从所述高频率访问列表中删除的Web内容,所述高频率访问列表示出应当作为缓存数据被分发服务器装置累积的Web内容,其中,所述删除对象确定单元针对多个不同时间段的各时间段指定访问频率比下限基准低的Web内容,并且从所指定的Web内容中选择所述删除对象Web内容。
(补充说明2):根据补充说明1所述的缓存管理装置,其中,所述删除对象确定单元从所述删除对象Web内容中排除在所述多个不同时间段的任意时间段中的访问频率比上限基准高的Web内容。
(补充说明3):根据补充说明1或2所述的缓存管理装置,其中,所述最近访问列表是示出在所述预定时间段内被访问了预定次数以上的Web内容的访问列表。
(补充说明4):根据补充说明1至3中任一项所述的缓存管理装置,其中,所述删除对象确定单元以以下方式确定所述删除对象Web内容:使得所述删除对象Web内容的数据大小的总和变得等于或者大于要添加至所述高频率访问列表的、所述最近访问列表所示出的Web内容中要新累积在所述分发服务器装置中的Web内容的数据大小的总和。
(补充说明5):根据补充说明1至4中任一项所述的缓存管理装置,其中,所述多个不同时间段包括被设定为基准的当前之前的24小时和之前的7天。
(补充说明6):一种缓存管理方法,包括以下步骤:获取示出在被设定为基准的当前之前的预定时间段内被访问的Web内容的历史的最近访问列表;以及在基于所述最近访问列表将Web内容添加至高频率访问列表的情况下确定删除对象Web内容,其中,所述删除对象Web内容是应当从所述高频率访问列表中删除的Web内容,所述高频率访问列表示出应当作为缓存数据被分发服务器装置累积的Web内容,其中,确定所述删除对象Web内容包括:针对多个不同时间段的各时间段指定访问频率比下限基准低的Web内容,并且从所指定的Web内容中选择所述删除对象Web内容。
(补充说明7):一种程序,用于使缓存管理装置的计算机执行以下步骤:获取示出在被设定为基准的当前之前的预定时间段内被访问的Web内容的历史的最近访问列表;以及在基于所述最近访问列表将Web内容添加至高频率访问列表的情况下确定删除对象Web内容,其中,所述删除对象Web内容是应当从所述高频率访问列表中删除的Web内容,所述高频率访问列表示出应当作为缓存数据被分发服务器装置累积的Web内容,其中,确定所述删除对象Web内容包括:针对多个不同时间段的各时间段指定访问频率比下限基准低的Web内容,并且从所指定的Web内容中选择所述删除对象Web内容。
本申请基于并要求于2013年12月25日提交的日本专利申请2013-266917的优先权,这里通过引用将其全部内容包含于此。
产业上的可利用性
本发明可以应用至缓存管理装置、缓存管理方法和程序。
附图标记
1:缓存管理装置
2:分发服务器装置
3:用户终端装置
4:内容提供源服务器装置
5:通信网络
10:全部最近访问列表生成单元
20:最近访问列表获取单元
30:高频率访问列表生成单元
40:访问频率输出单元
50:删除对象确定单元
60:通信单元
70:存储单元
L100:全部最近访问列表
L101:最近访问列表
L102:高频率访问列表
L103:24小时列表
L104:7天列表
L105:4周列表
L106:删除列表

Claims (5)

1.一种缓存管理装置,包括:
最近访问列表获取单元,用于获取示出在被设定为基准的当前之前的预定时间段内被访问的Web内容的历史的最近访问列表;以及
删除对象确定单元,用于在基于所述最近访问列表而Web内容被添加至高频率访问列表的情况下确定删除对象Web内容,其中,所述删除对象Web内容是应当从所述高频率访问列表中删除的Web内容,所述高频率访问列表示出应当作为缓存数据被分发服务器装置累积的Web内容,
其中,所述删除对象确定单元针对多个不同时间段的各时间段指定访问频率比下限基准低的Web内容,并且从所指定的Web内容中选择所述删除对象Web内容,以及
所述删除对象确定单元从所述删除对象Web内容中排除在所述多个不同时间段的一个时间段中的访问频率比所述下限基准低并且在所述多个不同时间段的另一个时间段中的访问频率比上限基准高的Web内容。
2.根据权利要求1所述的缓存管理装置,其中,所述最近访问列表是示出在所述预定时间段内被访问了预定次数以上的Web内容的访问列表。
3.根据权利要求1所述的缓存管理装置,其中,所述删除对象确定单元以以下方式确定所述删除对象Web内容:使得所述删除对象Web内容的数据大小的总和变得等于或者大于要添加至所述高频率访问列表的、所述最近访问列表所示出的Web内容中要新累积在所述分发服务器装置中的Web内容的数据大小的总和。
4.根据权利要求1所述的缓存管理装置,其中,所述多个不同时间段包括被设定为基准的当前之前的24小时和之前的7天。
5.一种缓存管理方法,包括以下步骤:
获取示出在被设定为基准的当前之前的预定时间段内被访问的Web内容的历史的最近访问列表;以及
在基于所述最近访问列表将Web内容添加至高频率访问列表的情况下确定删除对象Web内容,其中,所述删除对象Web内容是应当从所述高频率访问列表中删除的Web内容,所述高频率访问列表示出应当作为缓存数据被分发服务器装置累积的Web内容,
其中,确定所述删除对象Web内容包括:针对多个不同时间段的各时间段指定访问频率比下限基准低的Web内容,并且从所指定的Web内容中选择所述删除对象Web内容;以及
确定所述删除对象Web内容从所述删除对象Web内容中排除在所述多个不同时间段的一个时间段中的访问频率比所述下限基准低并且在所述多个不同时间段的另一个时间段中的访问频率比上限基准高的Web内容。
CN201480070446.XA 2013-12-25 2014-12-25 缓存管理装置和缓存管理方法 Expired - Fee Related CN105849704B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013266917 2013-12-25
JP2013-266917 2013-12-25
PCT/JP2014/084258 WO2015099018A1 (ja) 2013-12-25 2014-12-25 キャッシュ管理装置、キャッシュ管理方法、プログラム

Publications (2)

Publication Number Publication Date
CN105849704A CN105849704A (zh) 2016-08-10
CN105849704B true CN105849704B (zh) 2019-04-09

Family

ID=53478865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480070446.XA Expired - Fee Related CN105849704B (zh) 2013-12-25 2014-12-25 缓存管理装置和缓存管理方法

Country Status (5)

Country Link
US (1) US20170034299A1 (zh)
EP (1) EP3089038A4 (zh)
JP (1) JP6160710B2 (zh)
CN (1) CN105849704B (zh)
WO (1) WO2015099018A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107819804B (zh) * 2016-09-14 2021-03-16 先智云端数据股份有限公司 云端储存设备系统及决定其架构的高速缓存中数据的方法
CN107577618B (zh) * 2017-09-13 2020-09-29 武大吉奥信息技术有限公司 一种三路均衡缓存淘汰方法及装置
CN112364016B (zh) * 2020-10-27 2021-08-31 中国地震局地质研究所 一种异频数据对象的时间嵌套缓存模型的构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001356956A (ja) * 2000-06-15 2001-12-26 Seiko Epson Corp キャッシュサーバ装置及びキャッシング方法
JP2003036199A (ja) * 2001-07-26 2003-02-07 Nippon Telegr & Teleph Corp <Ntt> インターネットにおける情報キャッシュ方法
EP2624524A1 (en) * 2012-02-02 2013-08-07 Comcast Cable Communications, LLC Content distribution network supporting popularity-based caching

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07182220A (ja) * 1993-12-21 1995-07-21 Hitachi Ltd 分散ファイルシステムおよびそのファイルキャッシング方法
JP4331101B2 (ja) 2004-12-27 2009-09-16 株式会社東芝 キャッシュ制御装置、キャッシュ制御方法およびキャッシュ制御プログラム
JP2008204055A (ja) * 2007-02-19 2008-09-04 Hitachi Ltd コンテンツ管理方法、ファイルサーバおよび読み出し制御プログラム
US8949533B2 (en) * 2010-02-05 2015-02-03 Telefonaktiebolaget L M Ericsson (Publ) Method and node entity for enhancing content delivery network
US9491253B2 (en) * 2012-11-27 2016-11-08 Fastly, Inc. Data storage based on content popularity
JP2014160343A (ja) * 2013-02-19 2014-09-04 Nippon Telegr & Teleph Corp <Ntt> コンテンツキャッシュ制御装置およびその動作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001356956A (ja) * 2000-06-15 2001-12-26 Seiko Epson Corp キャッシュサーバ装置及びキャッシング方法
JP2003036199A (ja) * 2001-07-26 2003-02-07 Nippon Telegr & Teleph Corp <Ntt> インターネットにおける情報キャッシュ方法
EP2624524A1 (en) * 2012-02-02 2013-08-07 Comcast Cable Communications, LLC Content distribution network supporting popularity-based caching

Also Published As

Publication number Publication date
EP3089038A4 (en) 2017-06-28
CN105849704A (zh) 2016-08-10
JP6160710B2 (ja) 2017-07-12
US20170034299A1 (en) 2017-02-02
WO2015099018A1 (ja) 2015-07-02
JPWO2015099018A1 (ja) 2017-03-23
EP3089038A1 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
CN104702625B (zh) 一种cdn网络中访问请求调度方法及装置
JP4997950B2 (ja) ネットワーク管理システム、ネットワーク管理プログラムおよびネットワーク管理方法
CN109167828A (zh) Cdn缓存方法和系统
US6598119B2 (en) Database management system with a multiple-level cache arrangement
CN101263494B (zh) 用于监控与存储网络中的对象相关的事务的方法和装置
US20080189294A1 (en) Method and apparatus for sharing content
CN105634845A (zh) 一种用于对海量dns日志进行多维统计分析的方法及系统
CN105867845A (zh) 一种应用程序存储空间的管理方法及装置
JP2001502830A (ja) 分散型コンピュータネットワーク上における、最適化されたデータ記憶および検索のためのシステムおよび方法
CN101635734A (zh) 非易失性存储介质上的下载数据存储管理方法及装置
CN105849704B (zh) 缓存管理装置和缓存管理方法
CN104516920B (zh) 数据查询方法和数据查询系统
CN102800005A (zh) 网络广告投放方法与装置
CN106326499B (zh) 一种数据处理方法及装置
CN103338249A (zh) 缓存方法及装置
CN103067479A (zh) 一种基于文件冷热的网盘同步方法及系统
CN107368608A (zh) 基于arc替换算法的hdfs小文件缓存管理方法
CN110263001A (zh) 文件管理方法、装置、系统、设备及计算机可读存储介质
CN109388624A (zh) 分布式文件删除方法、装置、系统及计算机可读存储介质
CN102710535A (zh) 一种数据获取方法和设备
CN110381137A (zh) 基于ceph的对象存储使用量统计方法及系统
CN106326280B (zh) 数据处理方法、装置及系统
CN103825922B (zh) 一种数据更新方法及web服务器
JP2004527820A (ja) コンピュータ予約システムにおけるデータの処理及びアクセス方法、並びにその方法を実施するためのシステム
CN110267717B (zh) 在多租户环境中按不同单独租户自动生成自动缩放呼叫规则的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190409

Termination date: 20211225