CN108416017B - 一种cdn缓存清除方法和系统 - Google Patents

一种cdn缓存清除方法和系统 Download PDF

Info

Publication number
CN108416017B
CN108416017B CN201810180393.7A CN201810180393A CN108416017B CN 108416017 B CN108416017 B CN 108416017B CN 201810180393 A CN201810180393 A CN 201810180393A CN 108416017 B CN108416017 B CN 108416017B
Authority
CN
China
Prior art keywords
time
file
clearing
source station
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810180393.7A
Other languages
English (en)
Other versions
CN108416017A (zh
Inventor
刘晓光
汪志武
赵子毅
张晴晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Isurecloud Technology Co ltd
Original Assignee
Beijing Isurecloud Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Isurecloud Technology Co ltd filed Critical Beijing Isurecloud Technology Co ltd
Priority to CN201810180393.7A priority Critical patent/CN108416017B/zh
Publication of CN108416017A publication Critical patent/CN108416017A/zh
Application granted granted Critical
Publication of CN108416017B publication Critical patent/CN108416017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种CDN缓存清除方法和系统，包括数据处理器；通信接口模块；存储器；通信总线；数据处理器、通信接口、存储器通过通信总线完成相互间的通信。这种方法，CDN内部所有节点均可以记录某个文件第一次从源站获取的时间；在缓存的文件元数据中记录文件最近一次清除的时间，该时间表示对某文件最近一次清除的时间，在中心下发刷新任务时，会统一标记此次清除任务的时间，在各个层级的节点机器接收到清除时间后，将清除时间存储至元数据中；通过对于某一个文件，全网记录统一的清除时间。本发明的优点是：刷新效率高，能够对全网实时刷新；刷新时间比较短；系统维护简单。

Description

一种CDN缓存清除方法和系统
技术领域
本发明属于信息技术领域，特别是涉及一种CDN缓存清除方法和系统。
背景技术
在CDN等分布式系统中，内容通过缓存机制，存储到CDN节点，用户通过CDN节点来获取数据。因为CDN节点做了缓存，就可能存在CDN节点和源站数据不一致的情况。在实际业务中，经常会遇到清除CDN中指定文件缓存的功能，以达到CDN与源站数据完全同步。因为CDN系统在全网存储大量的节点，各个节点又存在边缘—父层—超级父层等等的层次关系，在这种层次关系中，用户请求到达边缘，边缘不是直接回客户源站，而是回父层，父层再回到超级父层，超级父层再回到客户真实的源站。对不同域名经过的层级和节点是不一样的。在清除内容的时候，要保证一次操作能清除整个CDN内的所有缓存，保证整个CDN内部的缓存与源站一致。在多层结构中，高效并且准确的清除缓存是一个难点，考虑这种情况：用户内容已缓存在边缘A，以及父层B中，用户发出清除缓存的指令，要求清除CDN内部全部数据。此时，如果清除边缘A，以及父层B的动作同时无序进行，可能会出现下面的情况：1.先清除了边缘A的缓存，父层B的缓存还没有清除。2.此时(A缓存已清除，父层B的缓存还没清除的情况下)，A节点又接收到用户对该资源的访问。3.A会回源到B，从B获取到旧的文件并缓存下来。4.此时父层B的老文件进行清除。这种情况下，清除指令执行完成后，边缘A的缓存仍是老版本，父层B的缓存是新的版本。没能达到CDN内部的缓存与源站缓存同步的作用。传统方案为了解决这种问题，在传统方案中，对一次清除操作，分批次进行。先清除最靠近用户源站的节点(比如超级父、父层)，最后再清除边缘节点。每个阶段完成后，再进行下个节点的清除操作。通过逐批清除，确保各层级不会缓存到老的文件。传统方案的劣势：1.刷新效率较低，无法并发同时清除父层以及边缘，整体清除时间变长。2.刷新系统需要维护各层级关系，实现较复杂。
发明内容
本发明提供了一多CDN缓存清除方法和系统，目的在于提高缓存清除及刷新效率。
本发明提供的这种CDN缓存清除系统，包括数据处理器：进行各种数据的处理包括记录文件从源站获取的时间、记录文件最近一次清除的时间、比对清除时间与从源站获取时间的先后关系、发出清除缓存的指令等；通信接口模块：各个模块间通过接口进行数据通信；存储器：用于存放各个节点文件的时间，包括从源站获取的时间、最近一次清除的时间，以及计算机应用程序；通信总线：数据处理器、通信接口、存储器通过通信总线完成相互间的通信。
这种CDN缓存清除方法，在缓存文件的元数据中记录该文件从源站获取的时间，该时间是记录的是从源站获取到该文件的时间；对于直接回源层(父层)，记录为从源站获取的时间；当边缘节点第一次向父层获取数据时，父层将回源时间传递给边缘节点，边缘也继承了第一次从源站获取该文件的时间；通过这种机制，CDN内部所有节点均可以记录某个文件第一次从源站获取的时间；在缓存的文件元数据中记录文件最近一次清除的时间，该时间表示对某文件最近一次清除的时间，在中心下发刷新任务时，会统一标记此次清除任务的时间，在各个层级的节点机器接收到清除时间后，将清除时间存储至元数据中；通过对于某一个文件，全网记录统一的清除时间；在用户请求到达节点，以及边缘节点的请求到达父层时，若文件存在，节点机器首先检查下文件的清除时间是否比源站获取时间新，如果新则说明该文件是旧版本，此时执行回源动作；在缓存时，若清除时间比回源时间新，则不缓存该文件，直至清除时间比从源站获取的时间早才缓存该文件；对于边缘已标记清除后，父层还未标记清除的情况：边缘检查会发现文件清除时间比源站获取时间新，此时回父层获取，因为父层尚未更新，边缘检查清除时间比获取时间仍新，则不缓存该文件，透传给用户；直至父层接到清除指令，文件从客户源站获取最新的清除时间后，才触发层层边缘节点进行缓存。
本发明的优点是：刷新效率高，能够对全网实时刷新；刷新时间比较短；系统维护简单。
附图说明
图1是本发明示意图。
具体实施方式
下面对本发明优选实施例作详细说明。
本发明这种CDN缓存清除系统，包括数据处理器：进行各种数据的处理包括记录文件从源站获取的时间、记录文件最近一次清除的时间、比对清除时间与从源站获取时间的先后关系、发出清除缓存的指令等；通信接口模块：各个模块间通过接口进行数据通信；存储器：用于存放各个节点文件的时间，包括从源站获取的时间、最近一次清除的时间，以及计算机应用程序；通信总线：数据处理器、通信接口、存储器通过通信总线完成相互间的通信。
本发明这种CDN缓存清除方法，如图1所示，在缓存文件的元数据中记录该文件从源站获取的时间，该时间是记录的是从源站获取到该文件的时间；对于直接回源层(父层)，记录为从源站获取的时间；当边缘节点第一次向父层获取数据时，父层将回源时间传递给边缘节点，边缘也继承了第一次从源站获取该文件的时间；通过这种机制，CDN内部所有节点均可以记录某个文件第一次从源站获取的时间；在缓存的文件元数据中记录文件最近一次清除的时间，该时间表示对某文件最近一次清除的时间，在中心下发刷新任务时，会统一标记此次清除任务的时间，在各个层级的节点机器接收到清除时间后，将清除时间存储至元数据中；通过对于某一个文件，全网记录统一的清除时间；在用户请求到达节点，以及边缘节点的请求到达父层时，若文件存在，节点机器首先检查下文件的清除时间是否比源站获取时间新，如果新则说明该文件是旧版本，此时执行回源动作；在缓存时，若清除时间比回源时间新，则不缓存该文件，直至清除时间比从源站获取的时间早才缓存该文件；对于边缘已标记清除后，父层还未标记清除的情况：边缘检查会发现文件清除时间比源站获取时间新，此时回父层获取，因为父层尚未更新，边缘检查清除时间比获取时间仍新，则不缓存该文件，透传给用户；直至父层接到清除指令，文件从客户源站获取最新的清除时间后，才触发层层边缘节点进行缓存。
当然，本技术领域的普通技术人员应当认识到，以上实施例仅是用来说明本发明的，而并非对本发明的限定，只要在本发明的范围内对以上实施例的变化、变型都在本发明的保护范围之内。

Claims (1)

1.一种CDN缓存清除系统，其特征在于，包括数据处理器：进行各种数据的处理包括记录文件从源站获取的时间、记录文件最近一次清除的时间、比对清除时间与从源站获取时间的先后关系、发出清除缓存的指令；通信接口模块：各个模块间通过接口进行数据通信；存储器：用于存放各个节点文件的时间，包括从源站获取的时间、最近一次清除的时间，以及计算机应用程序；通信总线：数据处理器、通信接口、存储器通过通信总线完成相互间的通信；所述计算机应用程序执行以下方法：
在缓存文件的元数据中记录该文件从源站获取的时间，该时间记录的是从源站获取到该文件的时间；对于直接回源层即父层，记录为从源站获取的时间；当边缘节点第一次向父层获取数据时，父层将回源时间传递给边缘节点，边缘也继承了第一次从源站获取该文件的时间；通过这种机制，CDN内部所有节点均可以记录某个文件第一次从源站获取的时间；在缓存的文件元数据中记录文件最近一次清除的时间，该时间表示对某文件最近一次清除的时间，在中心下发刷新任务时，会统一标记此次清除任务的时间，在各个层级的节点机器接收到清除时间后，将清除时间存储至元数据中；通过对于某一个文件，全网记录统一的清除时间；在用户请求到达节点，以及边缘节点的请求到达父层时，若文件存在，节点机器首先检查下文件的清除时间是否比源站获取时间新，如果新则说明该文件是旧版本，此时执行回源动作；在缓存时，若清除时间比回源时间新，则不缓存该文件，直至清除时间比从源站获取的时间早才缓存该文件；对于边缘已标记清除后，父层还未标记清除的情况：边缘检查会发现文件清除时间比源站获取时间新，此时回父层获取，因为父层尚未更新，边缘检查清除时间比获取时间仍新，则不缓存该文件，透传给用户；直至父层接到清除指令，文件从源站获取最新的清除时间后，才触发边缘节点进行缓存。
CN201810180393.7A 2018-03-05 2018-03-05 一种cdn缓存清除方法和系统 Active CN108416017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810180393.7A CN108416017B (zh) 2018-03-05 2018-03-05 一种cdn缓存清除方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810180393.7A CN108416017B (zh) 2018-03-05 2018-03-05 一种cdn缓存清除方法和系统

Publications (2)

Publication Number Publication Date
CN108416017A CN108416017A (zh) 2018-08-17
CN108416017B true CN108416017B (zh) 2022-11-01

Family

ID=63129754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810180393.7A Active CN108416017B (zh) 2018-03-05 2018-03-05 一种cdn缓存清除方法和系统

Country Status (1)

Country Link
CN (1) CN108416017B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109618174B (zh) * 2018-12-11 2021-12-03 深圳市网心科技有限公司 一种直播数据传输方法、装置、系统以及存储介质
CN114466032B (zh) * 2021-12-27 2023-11-03 天翼云科技有限公司 一种cdn系统合并回源方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023998A (zh) * 2012-11-29 2013-04-03 网宿科技股份有限公司 基于内容分发网络边缘节点的临时跳转纠错方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8612413B2 (en) * 2010-08-12 2013-12-17 Cdnetworks Co., Ltd. Distributed data cache for on-demand application acceleration
CN103188294A (zh) * 2011-12-28 2013-07-03 百度在线网络技术（北京）有限公司 分布式缓存的删除方法及删除系统
US20140068005A1 (en) * 2012-08-31 2014-03-06 Microsoft Corporation Identification, caching, and distribution of revised files in a content delivery network
CN103236989B (zh) * 2013-04-25 2015-12-02 青岛海信传媒网络技术有限公司 一种内容分发网络中的缓存控制方法、设备及系统
CN104320410A (zh) * 2014-11-11 2015-01-28 南京优速网络科技有限公司 基于http的全业务cdn系统及其工作方法
CN106202112B (zh) * 2015-05-06 2019-07-02 阿里巴巴集团控股有限公司 缓存目录刷新方法和装置
CN105868234A (zh) * 2015-12-07 2016-08-17 乐视云计算有限公司 缓存数据的更新方法及装置
CN107181734B (zh) * 2017-04-07 2020-04-07 南京邮电大学 一种cdn-p2p网络架构的流媒体缓存替换方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023998A (zh) * 2012-11-29 2013-04-03 网宿科技股份有限公司 基于内容分发网络边缘节点的临时跳转纠错方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
缓存规则简介(V1.0);网宿科技;《https://sipic.chinanetcenter.com/docs/缓存规则简介(V1.0).pdf》;20160831;1-14 *

Also Published As

Publication number Publication date
CN108416017A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN108234641B (zh) 基于分布式一致性协议实现的数据读写方法及装置
US20130054869A1 (en) Methods and apparatus to access data in non-volatile memory
US7716258B2 (en) Method and system for multiprocessor garbage collection
US8548945B2 (en) Database caching utilizing asynchronous log-based replication
CN109960686B (zh) 数据库的日志处理方法和装置
CN106878376B (zh) 一种配置管理方法与系统
CN108509462B (zh) 一种同步活动事务表的方法及装置
US7783607B2 (en) Decentralized record expiry
CN105549905A (zh) 一种多虚拟机访问分布式对象存储系统的方法
CN104113587A (zh) 一种分布式文件系统客户端元数据缓存优化方法
EP3818454B1 (en) Asynchronous cache coherency for mvcc based database systems
CN111596922A (zh) 基于redis实现自定义缓存注解的方法
CN108416017B (zh) 一种cdn缓存清除方法和系统
US20090132622A1 (en) Method and system for garbage collection
US11061889B2 (en) Systems and methods of managing manifest refresh in a database
US10761936B2 (en) Versioned records management using restart era
CN111127252A (zh) 一种水资源管理决策支持系统的数据管理方法
US10430341B2 (en) Log-structured storage method and server
CN105915619B (zh) 顾及访问热度的网络空间信息服务高性能内存缓存方法
CN115587118A (zh) 任务数据的维表关联处理方法及装置、电子设备
CN110032543A (zh) 一种存储文件系统的管理方法
CN114528255A (zh) 元数据管理方法、电子设备及计算机程序产品
WO2022148306A1 (zh) 一种淘汰数据的方法、装置、缓存节点以及缓存系统
CN102724301B (zh) 云数据库系统以及云数据读写处理方法、设备
US20180322675A1 (en) Image Processing Method and Computing Device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant