CN104133881B - 一种调整文件缓存时间的方法与装置 - Google Patents

一种调整文件缓存时间的方法与装置 Download PDF

Info

Publication number
CN104133881B
CN104133881B CN201410360927.6A CN201410360927A CN104133881B CN 104133881 B CN104133881 B CN 104133881B CN 201410360927 A CN201410360927 A CN 201410360927A CN 104133881 B CN104133881 B CN 104133881B
Authority
CN
China
Prior art keywords
current file
time
information
file
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410360927.6A
Other languages
English (en)
Other versions
CN104133881A (zh
Inventor
刘杰
梁润强
霍键聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Ruijiang Cloud Computing Co Ltd
Original Assignee
Guangdong Ruijiang Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Ruijiang Cloud Computing Co Ltd filed Critical Guangdong Ruijiang Cloud Computing Co Ltd
Priority to CN201410360927.6A priority Critical patent/CN104133881B/zh
Publication of CN104133881A publication Critical patent/CN104133881A/zh
Application granted granted Critical
Publication of CN104133881B publication Critical patent/CN104133881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种调整文件缓存时间的方法及装置，所述方法包括:定时扫描当前文件，每次扫描当前文件后，记录当次扫描得到的当前文件的信息，并根据记录的信息确定当前文件相较于前一扫描时间是否被修改，若确定被修改则记录修改时间；根据记录的修改时间，统计预设时间段内当前文件的修改频率，依据修改频率计算当前文件的缓冲时间；并根据计算结果设定当前文件的缓冲时间。通过本发明实施例公开了一种调整文件缓存时间的方法及装置，实现动态调整缓冲时间，减少文件回源的次数，节省带宽和服务器端资源。

Description

一种调整文件缓存时间的方法与装置
技术领域
本发明实施例涉及互联网技术领域，尤其涉及一种调整文件缓存时间的方法与装置。
背景技术
HTTP(Hypertext transfer protocol，超文本传输协议)缓存技术可以将万维网Web服务器发送的HTTP文件缓存在本地，当用户再次请求访问HTTP文件时，不需要向Web服务器请求发送HTTP文件，直接读取本地HTTP文件即可，可以节省大量的带宽资源并且降低Web服务器的响应负载。
由于HTTP文件有着不同的修改频率，有些HTTP文件修改频率比较高，可以设置较短的缓存时间，有些HTTP文件修改频率较低，可以设置较长的缓存时间，合理的设置缓存时间可以节省带宽和服务器端资源。
目前依靠人工的方式来设定缓存时间，但是在一些大型的Web服务器中，HTTP文件数量众多，只能将HTTP文件区分成几个目录来设置缓存时间。简单的依靠目录或者其他的一些静态的指标来设置缓存时间，设置的缓存时间并不精确，缓存容量不能得到充分的利用，增加了HTTP文件回源的次数，会浪费带宽资源，增加Web服务器的响应负载。
发明内容
本发明提供一种调整文件缓存时间的方法与装置，以实现减少文件回源的次数，节省带宽和服务器端资源的目的。
一方面，本发明实施例公开了一种调整文件缓存时间的方法，包括：
定时扫描当前文件，每次扫描所述当前文件后，记录当次扫描得到的所述当前文件的信息，并根据记录的信息确定所述当前文件相较于前一扫描时间是否被修改，若确定被修改则记录修改时间；
根据记录的修改时间，统计预设时间段内所述当前文件的修改频率，依据所述修改频率计算所述当前文件的缓冲时间；
并根据计算结果设定所述当前文件的缓冲时间。
优选地，所述根据记录的信息确定所述当前文件相较于前一扫描时间是否被修改包括:
获取前一次扫描得到的所述当前文件的信息，比较前一次扫描得到的所述当前文件的信息和当次扫描得到的所述当前文件的信息；
如果前一次扫描得到的所述当前文件的信息与当次扫描得到的所述当前文件的信息不一致，则确定所述当前文件相较于前一扫描时间被修改，否则，确定所述当前文件相较于前一扫描时间未被修改。
优选地，所述当前文件的信息包括：摘要信息、最后修改信息、被请求变量的实体值ETag和文件内容中的至少一个。
优选地，所述根据计算结果设定所述当前文件的缓冲时间包括：
依据所述当前文件的缓存时间，选择服务器或缓存节点的缓存设定接口，设定所述当前文件的缓存时间。
另一方面，本发明实施例提供了一种调整文件缓存时间的装置，包括：
当前文件扫描模块，用于定时扫描当前文件，每次扫描所述当前文件后，记录当次扫描得到的所述当前文件的信息，并根据记录的信息确定所述当前文件相较于前一扫描时间是否被修改，若确定被修改则记录修改时间；
缓冲时间计算模块，用于根据记录的修改时间，统计预设时间段内所述当前文件的修改频率，依据所述修改频率计算所述当前文件的缓冲时间；
缓冲时间设定模块，用于并根据计算结果设定所述当前文件的缓冲时间。
优选地，所述当前文件扫描模块包括:
定时扫描模块，用于定时扫描当前文件，每次扫描所述当前文件后，记录当次扫描得到的所述当前文件的信息；和
信息比较模块，用于获取前一次扫描得到的所述当前文件的信息，比较前一次扫描得到的所述当前文件的信息和当次扫描得到的所述当前文件的信息；如果前一次扫描得到的所述当前文件的信息与当次扫描得到的所述当前文件的信息不一致，则确定所述当前文件相较于前一扫描时间被修改，否则，确定所述当前文件相较于前一扫描时间未被修改。
优选地，所述当前文件的信息包括：摘要信息、最后修改信息、被请求变量的实体值ETag和文件内容中的至少一个。
优选地，缓冲时间设定模块具体用于，依据所述当前文件的缓存时间，选择服务器或缓存节点的缓存设定接口，设定所述当前文件的缓存时间。
本发明实施例提供了一种调整文件缓存时间的方法与装置，定时扫描当前文件，每次扫描当前文件后，记录当次扫描得到的当前文件的信息，并根据记录的信息确定当前文件相较于前一扫描时间是否被修改，若确定被修改则记录修改时间；根据记录的修改时间，统计预设时间段内当前文件的修改频率，依据修改频率计算当前文件的缓冲时间；并根据计算结果设定当前文件的缓冲时间，实现动态调整缓冲时间，减少文件回源的次数，节省带宽和服务器端资源。
附图说明
图1为本发明实施例一提供的一种调整文件缓存时间的方法的流程图；
图2为本发明实施例二提供的一种调整文件缓存时间的方法的流程图；
图3为本发明实施例三提供的一种调整文件缓存时间的装置的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种调整文件缓存时间的方法的流程图，本实施例可适用于将文件从服务器缓存到本地的情况下，该方法可以由调整文件缓存时间的装置来执行，具体包括如下步骤：
步骤S101，定时扫描当前文件，每次扫描当前文件后，记录当次扫描得到的当前文件的信息，并根据记录的信息确定当前文件相较于前一扫描时间是否被修改，若确定被修改则记录修改时间。
在步骤S101中，记录的当前文件的信息可以包括：摘要信息、最后修改信息、被请求变量的实体值ETag和文件内容中的至少一个。优选的是，可以通过MD5(Message DigestAlgorithm5，消息摘要算法第五版)算法和SHA1(Secure Hash Algorithm，安全哈希算法)算法获得摘要信息。并可以根据摘要信息、最后修改信息、被请求变量的实体值ETag和文件内容中的至少一个，确定当前文件相较于前一扫描时间是否被修改，若确定被修改则记录修改时间。
步骤S102，根据记录的修改时间，统计预设时间段内当前文件的修改频率，依据修改频率计算当前文件的缓冲时间。
在步骤S102中，具体的，记录的修改时间可以是在扫描周期内历次修改的修改时间。可以根据记录的当前文件历次修改时间，统计预设时间段内当前文件的修改频率，依据修改频率计算当前文件的缓冲时间。例如，当前文件修改频率高于预设的频率时，可以缩短当前文件的缓冲时间；当前文件修改频率低于预设的频率时，可以延长当前文件的缓冲时间。由于缓冲容量有限，调整缓冲时间，可以合理分配缓冲容量，防止发生由于缓冲文件的容量超过缓存容量，发生随机丢弃缓存文件的状况。
步骤S103，并根据计算结果设定当前文件的缓冲时间。
在步骤S103中，依据当前文件的缓存时间，可以通过选择服务器或缓存节点的缓存设定接口，设定当前文件的缓存时间。
通过本发明实施例一提供的一种调整文件缓存时间的方法，实现动态调整缓冲时间，减少文件回源的次数，节省带宽和服务器端资源。
实施例二
图2为本发明实施例二提供的一种调整文件缓存时间的方法的流程图示意图。本发明实施例二提供了一种调整文件缓存时间的方法，如图2所示，包括以下步骤：
步骤S201，定时扫描当前文件，每次扫描所述当前文件后，记录当次扫描得到的所述当前文件的信息；
在步骤S201中，扫描获得的当前文件的信息可以包括：摘要信息、最后修改信息、被请求变量的实体值ETag和文件内容中的至少一个。
步骤S202，获取前一次扫描得到的当前文件的信息，比较前一次扫描得到的当前文件的信息和当次扫描得到的当前文件的信息；如果前一次扫描得到的当前文件的信息与当次扫描得到的当前文件的信息不一致，则确定当前文件相较于前一扫描时间被修改，则执行步骤S203；否则，确定当前文件相较于前一扫描时间未被修改，返回执行步骤S201。
在步骤S202中，可以通过比较前一次扫描得到的当前文件的信息和当次扫描得到的当前文件的信息中摘要信息、最后修改信息、被请求变量的实体值ETag和文件内容中的至少一个，判断前一次扫描得到的当前文件的信息与当次扫描得到的当前文件的信息是否一致。
步骤S203，记录当前文件的修改时间。
在步骤S203中，可以记录的扫描周期内的历次当前文件的修改时间。
步骤S204，根据记录的修改时间，统计预设时间段内所述当前文件的修改频率，依据所述修改频率计算所述当前文件的缓冲时间；
步骤S205，根据计算结果设定所述当前文件的缓冲时间。
通过本发明实施例二提供的一种通过动态调整缓冲时间，减少文件回源的次数，节省带宽和服务器端资源。
实施例三
图3为本发明实施例三提供的一种调整文件缓存时间的装置的结构示意图。
本发明实施例三提供了一种调整文件缓存时间的装置，如图3所示，包括：当前文件扫描模块31、缓冲时间计算模块32和缓冲时间设定模块33。
其中，当前文件扫描模块31，用于定时扫描当前文件，每次扫描当前文件后，记录当次扫描得到的当前文件的信息，并根据记录的信息确定当前文件相较于前一扫描时间是否被修改，若确定被修改则记录修改时间；缓冲时间计算模块32，用于根据记录的修改时间，统计预设时间段内当前文件的修改频率，依据修改频率计算当前文件的缓冲时间；缓冲时间设定模块33，用于并根据计算结果设定当前文件的缓冲时间。
在当前文件扫描模块31中，当前文件的信息包括：摘要信息、最后修改信息、被请求变量的实体值ETag和文件内容中的至少一个。
当前文件扫描模块31具体包括：定时扫描模块311和信息比较模块312。定时扫描模块311，用于定时扫描当前文件，每次扫描当前文件后，记录当次扫描得到的当前文件的信息；信息比较模块312，用于获取前一次扫描得到的当前文件的信息，比较前一次扫描得到的当前文件的信息和当次扫描得到的当前文件的信息；如果前一次扫描得到的当前文件的信息与当次扫描得到的当前文件的信息不一致，则确定当前文件相较于前一扫描时间被修改，否则，确定当前文件相较于前一扫描时间未被修改。
在缓冲时间计算模块32中，具体的记录的修改时间可以是在扫描周期内，当前文件历次修改的修改时间。可以根据记录的当前文件历次修改时间，统计预设时间段内当前文件的修改频率，依据修改频率计算当前文件的缓冲时间。具体的，当前文件修改频率较高时，可以缩短当前文件的缓冲时间；当前文件修改频率较低时，可以延长当前文件的缓冲时间。由于缓冲容量有限，调整缓冲时间，可以合理分配缓冲容量，防止发生由于缓冲文件的容量超过缓存容量，发生随机丢弃缓存文件的状况。
缓冲时间设定模块33具体用于，依据当前文件的缓存时间，选择服务器或缓存节点的缓存设定接口，设定当前文件的缓存时间。
通过本发明实施例三提供的一种通过动态调整缓冲装置，减少文件回源的次数，节省带宽和服务器端资源。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种调整文件缓存时间的方法，其特征在于，应用于HTTP文件缓存，包括：
定时扫描当前文件，每次扫描所述当前文件后，记录当次扫描得到的所述当前文件的信息，并根据记录的信息确定所述当前文件相较于前一扫描时间是否被修改，若确定被修改则记录修改时间；
根据记录的修改时间，统计预设时间段内所述当前文件的修改频率，依据所述修改频率计算所述当前文件的缓存时间；
依据所述当前文件的缓存时间，选择服务器或缓存节点的缓存设定接口，设定所述当前文件的缓存时间。
2.根据权利要求1所述的方法，其特征在于，所述根据记录的信息确定所述当前文件相较于前一扫描时间是否被修改包括:
获取前一次扫描得到的所述当前文件的信息，比较前一次扫描得到的所述当前文件的信息和当次扫描得到的所述当前文件的信息；
如果前一次扫描得到的所述当前文件的信息与当次扫描得到的所述当前文件的信息不一致，则确定所述当前文件相较于前一扫描时间被修改，否则，确定所述当前文件相较于前一扫描时间未被修改。
3.根据权利要求2所述的方法，其特征在于，所述当前文件的信息包括：摘要信息、最后修改信息、被请求变量的实体值ETag和文件内容中的至少一个。
4.一种调整文件缓存时间的装置，其特征在于，应用于HTTP文件缓存，包括：
当前文件扫描模块，用于定时扫描当前文件，每次扫描所述当前文件后，记录当次扫描得到的所述当前文件的信息，并根据记录的信息确定所述当前文件相较于前一扫描时间是否被修改，若确定被修改则记录修改时间；
缓冲时间计算模块，用于根据记录的修改时间，统计预设时间段内所述当前文件的修改频率，依据所述修改频率计算所述当前文件的缓存时间；
缓冲时间设定模块，用于依据所述当前文件的缓存时间，选择服务器或缓存节点的缓存设定接口，设定所述当前文件的缓存时间。
5.根据权利要求4所述的装置，其特征在于，所述当前文件扫描模块包括:
定时扫描模块，用于定时扫描当前文件，每次扫描所述当前文件后，记录当次扫描得到的所述当前文件的信息；和
信息比较模块，用于获取前一次扫描得到的所述当前文件的信息，比较前一次扫描得到的所述当前文件的信息和当次扫描得到的所述当前文件的信息；如果前一次扫描得到的所述当前文件的信息与当次扫描得到的所述当前文件的信息不一致，则确定所述当前文件相较于前一扫描时间被修改，否则，确定所述当前文件相较于前一扫描时间未被修改。
6.根据权利要求5所述的装置，其特征在于，所述当前文件的信息包括：摘要信息、最后修改信息、被请求变量的实体值ETag和文件内容中的至少一个。
CN201410360927.6A 2014-07-25 2014-07-25 一种调整文件缓存时间的方法与装置 Active CN104133881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410360927.6A CN104133881B (zh) 2014-07-25 2014-07-25 一种调整文件缓存时间的方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410360927.6A CN104133881B (zh) 2014-07-25 2014-07-25 一种调整文件缓存时间的方法与装置

Publications (2)

Publication Number Publication Date
CN104133881A CN104133881A (zh) 2014-11-05
CN104133881B true CN104133881B (zh) 2018-04-27

Family

ID=51806559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410360927.6A Active CN104133881B (zh) 2014-07-25 2014-07-25 一种调整文件缓存时间的方法与装置

Country Status (1)

Country Link
CN (1) CN104133881B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354258B (zh) * 2015-10-22 2019-11-15 努比亚技术有限公司 一种更新网站数据缓存的装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827381A (zh) * 2009-03-06 2010-09-08 中国移动通信集团公司 Lte系统信息有效期自适应方法、基站及系统
CN101833726A (zh) * 2010-04-19 2010-09-15 昆山科大宏威软件科技有限公司 Bpc硬件架构及bpc数据中心服务器
CN102571778A (zh) * 2011-12-28 2012-07-11 奇智软件（北京）有限公司 一种提供数据的方法及装置
CN102789469A (zh) * 2011-05-20 2012-11-21 腾讯科技（深圳）有限公司 页面更新方法及系统
CN102982121A (zh) * 2012-11-12 2013-03-20 北京奇虎科技有限公司 一种文件扫描方法、文件扫描装置及文件检测系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187376A (ja) * 2008-02-07 2009-08-20 Canon Inc ファイル管理装置、ファイル管理方法、及びプログラム
CN102271089B (zh) * 2011-08-29 2014-02-05 北京航空航天大学 一种基于时间预测和定向确认的容迟网络缓存清理方法
CN102521078B (zh) * 2011-12-01 2014-04-02 北京邮电大学 基于第三方云的教务资源等级备份方法
CN103023998B (zh) * 2012-11-29 2016-02-10 网宿科技股份有限公司 基于内容分发网络节点的临时跳转纠错方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827381A (zh) * 2009-03-06 2010-09-08 中国移动通信集团公司 Lte系统信息有效期自适应方法、基站及系统
CN101833726A (zh) * 2010-04-19 2010-09-15 昆山科大宏威软件科技有限公司 Bpc硬件架构及bpc数据中心服务器
CN102789469A (zh) * 2011-05-20 2012-11-21 腾讯科技（深圳）有限公司 页面更新方法及系统
CN102571778A (zh) * 2011-12-28 2012-07-11 奇智软件（北京）有限公司 一种提供数据的方法及装置
CN102982121A (zh) * 2012-11-12 2013-03-20 北京奇虎科技有限公司 一种文件扫描方法、文件扫描装置及文件检测系统

Also Published As

Publication number Publication date
CN104133881A (zh) 2014-11-05

Similar Documents

Publication Publication Date Title
CN104133880B (zh) 一种设置文件缓存时间的方法与装置
EP3522466B1 (en) Dynamic scheduling and allocation method and system for network traffic
CN105100876B (zh) 一种流媒体的播放方法及装置
CN104715020B (zh) 缓存数据的删除方法及服务器
EP3244589A1 (en) Method and system for guaranteeing resource utilization rate of website using content distribution network
CN102882974B (zh) 一种通过网站识别版本号节省网站访问资源的方法
JP2017509074A (ja) 動的キャッシュ割当およびネットワーク管理
WO2021093763A1 (zh) 一种数据缓存方法和装置
US11256663B2 (en) Caching with dynamic and selective compression of content
JP6546192B2 (ja) 帯域幅依存のファイル転送のための方法及びシステム
US20130318197A1 (en) Dynamic selection of resources for compression in a content delivery network
CN105354258B (zh) 一种更新网站数据缓存的装置及方法
US20200320154A1 (en) A webpage loading method, webpage loading system and server
US9900384B2 (en) Distributed caching in a communication network
CN104253868A (zh) 一种云存储数据同步的方法及装置
CN104092620A (zh) 一种实现网络带宽调整的方法及装置
CN105978936A (zh) Cdn服务器及其缓存数据的方法
CN109587232A (zh) 基于iOS网络的文件断点续传方法
CN104580432A (zh) memcached系统及内存缓存数据提供、维护和集群维护方法及装置
CN102026228B (zh) 通信网络性能数据的统计方法和设备
Li et al. Coarse-grained cloud synchronization mechanism design may lead to severe traffic overuse
CN106095835A (zh) 一种客户端图片四层缓存方法
CN107704465A (zh) 静态资源更新方法以及静态资源管理系统
CN109471989A (zh) 一种页面请求处理方法及相关装置
CN104133881B (zh) 一种调整文件缓存时间的方法与装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 705-708, room two, No. 121, north south of the Five Ridges Avenue, Chancheng District, Guangdong, Foshan, 528000

Applicant after: GUANGDONG RUIJIANG CLOUD COMPUTING CO., LTD.

Address before: Chancheng District of Guangdong city of Foshan province south of the Five Ridges 528000 Avenue North 121 East International A District Office 7-8

Applicant before: Guangdong Efly Network Co., Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant