CN108416017A - 一种cdn缓存清除方法和系统 - Google Patents

一种cdn缓存清除方法和系统 Download PDF

Info

Publication number
CN108416017A
CN108416017A CN201810180393.7A CN201810180393A CN108416017A CN 108416017 A CN108416017 A CN 108416017A CN 201810180393 A CN201810180393 A CN 201810180393A CN 108416017 A CN108416017 A CN 108416017A
Authority
CN
China
Prior art keywords
time
file
layer
source station
father
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810180393.7A
Other languages
English (en)
Other versions
CN108416017B (zh
Inventor
刘晓光
汪志武
赵子毅
张晴晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wisdom Cloud Technology Co Ltd
Original Assignee
Beijing Wisdom Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wisdom Cloud Technology Co Ltd filed Critical Beijing Wisdom Cloud Technology Co Ltd
Priority to CN201810180393.7A priority Critical patent/CN108416017B/zh
Publication of CN108416017A publication Critical patent/CN108416017A/zh
Application granted granted Critical
Publication of CN108416017B publication Critical patent/CN108416017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种CDN缓存清除方法和系统，包括数据处理器；通信接口模块；存储器；通信总线；数据处理器、通信接口、存储器通过通信总线完成相互间的通信。这种方法，CDN内部所有节点均可以记录某个文件第一次从源站获取的时间；在缓存的文件元数据中记录文件最近一次清除的时间，该时间表示对某文件最近一次清除的时间，在中心下发刷新任务时，会统一标记此次清除任务的时间，在各个层级的节点机器接收到清除时间后，将清除时间存储至元数据中；通过对于某一个文件，全网记录统一的清除时间。本发明的优点是：刷新效率高，能够对全网实时刷新；刷新时间比较短；系统维护简单。

Description

一种CDN缓存清除方法和系统
技术领域
本发明属于信息技术领域，特别是涉及一种CDN缓存清除方法和系统。
背景技术
在CDN等分布式系统中，内容通过缓存机制，存储到CDN节点，用户通过CDN节点来获取数据。因为CDN节点做了缓存，就可能存在CDN节点和源站数据不一致的情况。在实际业务中，经常会遇到清除CDN中指定文件缓存的功能，以达到CDN与源站数据完全同步。因为CDN系统在全网存储大量的节点，各个节点又存在边缘—父层—超级父层等等的层次关系，在这种层次关系中，用户请求到达边缘，边缘不是直接回客户源站，而是回父层，父层再回到超级父层，超级父层再回到客户真实的源站。对不同域名经过的层级和节点是不一样的。在清除内容的时候，要保证一次操作能清除整个CDN内的所有缓存，保证整个CDN内部的缓存与源站一致。在多层结构中，高效并且准确的清除缓存是一个难点，考虑这种情况：用户内容已缓存在边缘A，以及父层B中，用户发出清除缓存的指令，要求清除CDN内部全部数据。此时，如果清除边缘A，以及父层B的动作同时无序进行，可能会出现下面的情况：1.先清除了边缘A的缓存，父层B的缓存还没有清除。2.此时(A缓存已清除，父层B的缓存还没清除的情况下)，A节点又接收到用户对该资源的访问。3.A会回源到B，从B获取到旧的文件并缓存下来。4.此时父层B的老文件进行清除。这种情况下，清除指令执行完成后，边缘A的缓存仍是老版本，父层B的缓存是新的版本。没能达到CDN内部的缓存与源站缓存同步的作用。传统方案为了解决这种问题，在传统方案中，对一次清除操作，分批次进行。先清除最靠近用户源站的节点(比如超级父、父层)，最后再清除边缘节点。每个阶段完成后，再进行下个节点的清除操作。通过逐批清除，确保各层级不会缓存到老的文件。传统方案的劣势：1.刷新效率较低，无法并发同时清除父层以及边缘，整体清除时间变长。2.刷新系统需要维护各层级关系，实现较复杂。
发明内容
本发明提供了一多CDN缓存清除方法和系统，目的在于提高缓存清除及刷新效率。
本发明提供的这种CDN缓存清除系统，包括数据处理器：进行各种数据的处理包括记录文件从源站获取的时间、记录文件最近一次清除的时间、比对清除时间与从源站获取时间的先后关系、发出清除缓存的指令等；通信接口模块：各个模块间通过接口进行数据通信；存储器：用于存放各个节点文件的时间，包括从源站获取的时间、最近一次清除的时间，以及计算机应用程序；通信总线：数据处理器、通信接口、存储器通过通信总线完成相互间的通信。
这种CDN缓存清除方法，在缓存文件的元数据中记录该文件从源站获取的时间，该时间是记录的是从源站获取到该文件的时间；对于直接回源层(父层)，记录为从源站获取的时间；当边缘节点第一次向父层获取数据时，父层将回源时间传递给边缘节点，边缘也继承了第一次从源站获取该文件的时间；通过这种机制，CDN内部所有节点均可以记录某个文件第一次从源站获取的时间；在缓存的文件元数据中记录文件最近一次清除的时间，该时间表示对某文件最近一次清除的时间，在中心下发刷新任务时，会统一标记此次清除任务的时间，在各个层级的节点机器接收到清除时间后，将清除时间存储至元数据中；通过对于某一个文件，全网记录统一的清除时间；在用户请求到达节点，以及边缘节点的请求到达父层时，若文件存在，节点机器首先检查下文件的清除时间是否比源站获取时间新，如果新则说明该文件是旧版本，此时执行回源动作；在缓存时，若清除时间比回源时间新，则不缓存该文件，直至获取时间比从源站获取的时间早才缓存该文件；对于边缘已标记清除后，父层还未标记清除的情况：边缘检查会发现文件清除时间比源站获取时间新，此时回父层获取，因为父层尚未更新，边缘检查清除时间比获取时间仍新，则不缓存该文件，透传给用户；直至父层接到清除指令，文件从客户源站获取最新的后，才触发层层进行缓存。
本发明的优点是：刷新效率高，能够对全网实时刷新；刷新时间比较短；系统维护简单。
附图说明
图1是本发明示意图。
具体实施方式
下面对本发明优选实施例作详细说明。
本发明这种CDN缓存清除系统，包括数据处理器：进行各种数据的处理包括记录文件从源站获取的时间、记录文件最近一次清除的时间、比对清除时间与从源站获取时间的先后关系、发出清除缓存的指令等；通信接口模块：各个模块间通过接口进行数据通信；存储器：用于存放各个节点文件的时间，包括从源站获取的时间、最近一次清除的时间，以及计算机应用程序；通信总线：数据处理器、通信接口、存储器通过通信总线完成相互间的通信。
本发明这种CDN缓存清除方法，如图1所示，在缓存文件的元数据中记录该文件从源站获取的时间，该时间是记录的是从源站获取到该文件的时间；对于直接回源层(父层)，记录为从源站获取的时间；当边缘节点第一次向父层获取数据时，父层将回源时间传递给边缘节点，边缘也继承了第一次从源站获取该文件的时间；通过这种机制，CDN内部所有节点均可以记录某个文件第一次从源站获取的时间；在缓存的文件元数据中记录文件最近一次清除的时间，该时间表示对某文件最近一次清除的时间，在中心下发刷新任务时，会统一标记此次清除任务的时间，在各个层级的节点机器接收到清除时间后，将清除时间存储至元数据中；通过对于某一个文件，全网记录统一的清除时间；在用户请求到达节点，以及边缘节点的请求到达父层时，若文件存在，节点机器首先检查下文件的清除时间是否比源站获取时间新，如果新则说明该文件是旧版本，此时执行回源动作；在缓存时，若清除时间比回源时间新，则不缓存该文件，直至获取时间比从源站获取的时间早才缓存该文件；对于边缘已标记清除后，父层还未标记清除的情况：边缘检查会发现文件清除时间比源站获取时间新，此时回父层获取，因为父层尚未更新，边缘检查清除时间比获取时间仍新，则不缓存该文件，透传给用户；直至父层接到清除指令，文件从客户源站获取最新的后，才触发层层进行缓存。
当然，本技术领域的普通技术人员应当认识到，以上实施例仅是用来说明本发明的，而并非对本发明的限定，只要在本发明的范围内对以上实施例的变化、变型都在本发明的保护范围之内。

Claims (2)

1.一种CDN缓存清除系统，其特征在于包括数据处理器：进行各种数据的处理包括记录文件从源站获取的时间、记录文件最近一次清除的时间、比对清除时间与从源站获取时间的先后关系、发出清除缓存的指令等；通信接口模块：各个模块间通过接口进行数据通信；存储器：用于存放各个节点文件的时间，包括从源站获取的时间、最近一次清除的时间，以及计算机应用程序；通信总线：数据处理器、通信接口、存储器通过通信总线完成相互间的通信。
2.根据权利要求1所述的CDN缓存清除系统的一种CDN缓存清除方法，其特征在于：在缓存文件的元数据中记录该文件从源站获取的时间，该时间是记录的是从源站获取到该文件的时间；对于直接回源层(父层)，记录为从源站获取的时间；当边缘节点第一次向父层获取数据时，父层将回源时间传递给边缘节点，边缘也继承了第一次从源站获取该文件的时间；通过这种机制，CDN内部所有节点均可以记录某个文件第一次从源站获取的时间；在缓存的文件元数据中记录文件最近一次清除的时间，该时间表示对某文件最近一次清除的时间，在中心下发刷新任务时，会统一标记此次清除任务的时间，在各个层级的节点机器接收到清除时间后，将清除时间存储至元数据中；通过对于某一个文件，全网记录统一的清除时间；在用户请求到达节点，以及边缘节点的请求到达父层时，若文件存在，节点机器首先检查下文件的清除时间是否比源站获取时间新，如果新则说明该文件是旧版本，此时执行回源动作；在缓存时，若清除时间比回源时间新，则不缓存该文件，直至获取时间比从源站获取的时间早才缓存该文件；对于边缘已标记清除后，父层还未标记清除的情况：边缘检查会发现文件清除时间比源站获取时间新，此时回父层获取，因为父层尚未更新，边缘检查清除时间比获取时间仍新，则不缓存该文件，透传给用户；直至父层接到清除指令，文件从客户源站获取最新的后，才触发层层进行缓存。
CN201810180393.7A 2018-03-05 2018-03-05 一种cdn缓存清除方法和系统 Active CN108416017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810180393.7A CN108416017B (zh) 2018-03-05 2018-03-05 一种cdn缓存清除方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810180393.7A CN108416017B (zh) 2018-03-05 2018-03-05 一种cdn缓存清除方法和系统

Publications (2)

Publication Number Publication Date
CN108416017A true CN108416017A (zh) 2018-08-17
CN108416017B CN108416017B (zh) 2022-11-01

Family

ID=63129754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810180393.7A Active CN108416017B (zh) 2018-03-05 2018-03-05 一种cdn缓存清除方法和系统

Country Status (1)

Country Link
CN (1) CN108416017B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109618174A (zh) * 2018-12-11 2019-04-12 深圳市网心科技有限公司 一种直播数据传输方法、装置、系统以及存储介质
CN114466032A (zh) * 2021-12-27 2022-05-10 天翼云科技有限公司 一种cdn系统合并回源方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120041970A1 (en) * 2010-08-12 2012-02-16 Cdnetworks Co., Ltd. Distributed data cache for on-demand application acceleration
CN103023998A (zh) * 2012-11-29 2013-04-03 网宿科技股份有限公司 基于内容分发网络边缘节点的临时跳转纠错方法和系统
CN103188294A (zh) * 2011-12-28 2013-07-03 百度在线网络技术（北京）有限公司 分布式缓存的删除方法及删除系统
CN103236989A (zh) * 2013-04-25 2013-08-07 青岛海信传媒网络技术有限公司 一种内容分发网络中的缓存控制方法、设备及系统
US20140068005A1 (en) * 2012-08-31 2014-03-06 Microsoft Corporation Identification, caching, and distribution of revised files in a content delivery network
CN104320410A (zh) * 2014-11-11 2015-01-28 南京优速网络科技有限公司 基于http的全业务cdn系统及其工作方法
CN105868234A (zh) * 2015-12-07 2016-08-17 乐视云计算有限公司 缓存数据的更新方法及装置
CN106202112A (zh) * 2015-05-06 2016-12-07 阿里巴巴集团控股有限公司 缓存目录刷新方法和装置
CN107181734A (zh) * 2017-04-07 2017-09-19 南京邮电大学 一种cdn‑p2p网络架构的流媒体缓存替换方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120041970A1 (en) * 2010-08-12 2012-02-16 Cdnetworks Co., Ltd. Distributed data cache for on-demand application acceleration
CN103188294A (zh) * 2011-12-28 2013-07-03 百度在线网络技术（北京）有限公司 分布式缓存的删除方法及删除系统
US20140068005A1 (en) * 2012-08-31 2014-03-06 Microsoft Corporation Identification, caching, and distribution of revised files in a content delivery network
CN103023998A (zh) * 2012-11-29 2013-04-03 网宿科技股份有限公司 基于内容分发网络边缘节点的临时跳转纠错方法和系统
CN103236989A (zh) * 2013-04-25 2013-08-07 青岛海信传媒网络技术有限公司 一种内容分发网络中的缓存控制方法、设备及系统
CN104320410A (zh) * 2014-11-11 2015-01-28 南京优速网络科技有限公司 基于http的全业务cdn系统及其工作方法
CN106202112A (zh) * 2015-05-06 2016-12-07 阿里巴巴集团控股有限公司 缓存目录刷新方法和装置
CN105868234A (zh) * 2015-12-07 2016-08-17 乐视云计算有限公司 缓存数据的更新方法及装置
CN107181734A (zh) * 2017-04-07 2017-09-19 南京邮电大学 一种cdn‑p2p网络架构的流媒体缓存替换方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIAN NI ET AL.: "Large-Scale Cooperative Caching and Application-Level Multicast in Multimedia Content Delivery Networks", 《IEEE COMMUNICATIONS MAGAZINE》 *
王成 等: "Web前端性能优化方案与实践", 《计算机应用与软件》 *
网宿科技: "缓存规则简介(V1.0)", 《HTTPS://SIPIC.CHINANETCENTER.COM/DOCS/缓存规则简介(V1.0).PDF》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109618174A (zh) * 2018-12-11 2019-04-12 深圳市网心科技有限公司 一种直播数据传输方法、装置、系统以及存储介质
CN114466032A (zh) * 2021-12-27 2022-05-10 天翼云科技有限公司 一种cdn系统合并回源方法、装置及存储介质
CN114466032B (zh) * 2021-12-27 2023-11-03 天翼云科技有限公司 一种cdn系统合并回源方法、装置及存储介质

Also Published As

Publication number Publication date
CN108416017B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN103377137B (zh) 使用增强的频繁块检测进行存储去重的方法和系统
CN103092905B (zh) 使用虚拟文件数据对象的列式数据库
US11487714B2 (en) Data replication in a data analysis system
CN105701219B (zh) 一种分布式缓存的实现方法
CN110457281A (zh) 数据处理方法、装置、设备及介质
CN106202569A (zh) 一种基于大数据量的清洗方法
CN107463511A (zh) 一种基于多级缓存的数据国际化实现方法及装置
KR20160067289A (ko) 분산 파일 시스템에서 소형 파일에 대한 접근성 향상을 위한 캐시 관리 시스템
CN104423982B (zh) 请求的处理方法和处理设备
CN110162306A (zh) 系统的提前编译方法和装置
CN107911799B (zh) 一种利用智能路由的方法
CN106599152A (zh) 一种数据缓存方法及系统
US10747665B2 (en) Cost-based garbage collection scheduling in a distributed storage environment
CN103116627A (zh) 一种高并发soa技术访问数据库的方法和系统
CN105915619B (zh) 顾及访问热度的网络空间信息服务高性能内存缓存方法
CN106528071A (zh) 目标代码的选取方法及装置
US7895247B2 (en) Tracking space usage in a database
CN108416017A (zh) 一种cdn缓存清除方法和系统
CN106161193B (zh) 一种邮件处理方法、装置和系统
CN108614847A (zh) 一种数据的缓存方法及系统
US20170116116A1 (en) Non-blocking parallel memory mechanisms
CN107766355B (zh) 层级数据管理方法、层级数据管理系统及即时通信系统
CN108416016A (zh) 一种cdn按前缀缓存清除方法和系统
CN108319634A (zh) 分布式文件系统的目录访问方法和装置
CN104484136B (zh) 一种可支撑高并发内存数据的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant