CN103338272B - 一种内容分发网络及其缓存实现方法 - Google Patents

一种内容分发网络及其缓存实现方法 Download PDF

Info

Publication number
CN103338272B
CN103338272B CN201310311597.7A CN201310311597A CN103338272B CN 103338272 B CN103338272 B CN 103338272B CN 201310311597 A CN201310311597 A CN 201310311597A CN 103338272 B CN103338272 B CN 103338272B
Authority
CN
China
Prior art keywords
cache
node
master
file
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310311597.7A
Other languages
English (en)
Other versions
CN103338272A (zh
Inventor
白宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Yunliu Future Technology Co ltd
Kunlun Core Beijing Technology Co ltd
Original Assignee
Xingyun Rongchuang Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xingyun Rongchuang Beijing Technology Co Ltd filed Critical Xingyun Rongchuang Beijing Technology Co Ltd
Priority to CN201310311597.7A priority Critical patent/CN103338272B/zh
Publication of CN103338272A publication Critical patent/CN103338272A/zh
Application granted granted Critical
Publication of CN103338272B publication Critical patent/CN103338272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种内容分发网络及其缓存实现方法，属于互联网技术领域。所述方法包括：预取服务器获取需要进行缓存的缓存文件标识，从多个缓存节点中选取一个主缓存节点和一个或多个缓存同步节点；预取服务器发送缓存预取指令到主缓存节点；主缓存节点根据所述预取缓存指令，从源站点获取缓存文件后更新本地缓存，并发送缓存同步指令到缓存同步节点；缓存同步节点根据所述缓存同步指令，从主缓存节点获取缓存文件后更新本地缓存。根据本发明，能够缩短用户第一次浏览页面的时间，并减少回源站点获取缓存文件的次数。

Description

一种内容分发网络及其缓存实现方法
技术领域
本发明涉及互联网领域，尤其涉及一种内容分发网络及其缓存实现方法。
背景技术
一般内容分发网络(Content Delivery Network，CDN)的web加速节点(缓存节点)可以通过缓存来提高客户端浏览器的访问速度，而当网站添加到web加速节点后，web加速节点上并没有立即生成源站点的缓存，只有当有用户访问的时候缓存才能生成，这样在用户第一次访问的时候就不能起到加速作用。
可见，现有的缓存实现方法，对于一个可缓存文件的第一次访问不能命中缓存，需要回源站获取，延长了第一次浏览页面的时间。而且，如果有多个web加速节点，则需要多次回源站获取此缓存文件。
发明内容
有鉴于此，本发明的目的是提供一种内容分发网络及其缓存实现方法，以缩短用户第一次浏览页面的时间，并减少回源站点获取缓存文件的次数。
为实现上述目的，本发明提供技术方案如下：
一种内容分发网络的缓存实现方法，所述内容分发网络包括预取服务器和多个缓存节点，所述方法包括：
预取服务器获取需要进行缓存的缓存文件标识，从所述多个缓存节点中选取一个主缓存节点和一个或多个缓存同步节点；
预取服务器发送缓存预取指令到主缓存节点，所述缓存预取指令中包括缓存文件标识、缓存文件的源站点地址和缓存同步节点地址；
主缓存节点根据所述缓存预取指令，从源站点获取缓存文件后更新本地缓存，并发送缓存同步指令到缓存同步节点，所述缓存同步指令中包括缓存文件标识和主缓存节点地址；
缓存同步节点根据所述缓存同步指令，从主缓存节点获取缓存文件后更新本地缓存。
上述的方法，其中，预取服务器获取需要进行缓存的缓存文件标识，包括：预取服务器根据用户配置的可缓存文件列表获取需要进行缓存的缓存文件标识。
上述的方法，其中，预取服务器获取需要进行缓存的缓存文件标识，包括：
预取服务器根据网络爬虫的爬行结果获取需要进行缓存的缓存文件标识。
上述的方法，其中，预取服务器发送缓存预取指令到主缓存节点，包括：
预取服务器根据缓存文件的超时时间，定时发送缓存预取指令到主缓存节点。
上述的方法，其中，预取服务器从所述多个缓存节点中选取一个主缓存节点，包括：
预取服务器从所述多个缓存节点中选取一个距离缓存文件的源站点最近的缓存节点作为主缓存节点。
一种内容分发网络，包括预取服务器和多个缓存节点，其中：
预取服务器用于获取需要进行缓存的缓存文件标识，从所述多个缓存节点中选取一个主缓存节点和一个或多个缓存同步节点；
预取服务器还用于发送缓存预取指令到主缓存节点，所述缓存预取指令中包括缓存文件标识、缓存文件的源站点地址和缓存同步节点地址；
主缓存节点用于根据所述缓存预取指令，从源站点获取缓存文件后更新本地缓存，并发送缓存同步指令到缓存同步节点，所述缓存同步指令中包括缓存文件标识和主缓存节点地址；
缓存同步节点用于根据所述缓存同步指令，从主缓存节点获取缓存文件后更新本地缓存。
上述的内容分发网络，其中，预取服务器进一步用于：
根据用户配置的可缓存文件列表获取需要进行缓存的缓存文件标识。
上述的内容分发网络，其中，预取服务器进一步用于：
根据网络爬虫的爬行结果获取需要进行缓存的缓存文件标识。
上述的内容分发网络，其中，预取服务器进一步用于：
根据缓存文件的超时时间，定时发送缓存预取指令到主缓存节点。
上述的内容分发网络，其中，预取服务器进一步用于：
从所述多个缓存节点中选取一个距离缓存文件的源站点最近的缓存节点作为主缓存节点。
与现有技术由用户浏览行为触发web加速节点(缓存节点)对缓存文件进行缓存相比，本发明的技术方案能够自动在缓存节点上生成源站点的缓存，并且在缓存超时的时候可以自动刷新缓存，另外，缓存节点之间还可以同步缓存。如此，能够缩短用户第一次浏览页面的时间，并能够减少回源站点获取缓存文件的次数。
附图说明
图1是根据本发明一个实施例的内容分发网络的结构示意图；
图2是根据本发明一个实施例的内容分发网络的缓存实现方法流程图。
具体实施方式
以下结合附图对本发明实施例进行详细描述。
为解决现有技术由用户浏览行为触发web加速节点(缓存节点)对缓存文件进行缓存所引起的，第一次浏览页面的时间过长、需要多次回源站获取缓存文件的问题，本发明实施例提供一种内容分发网络及其缓存实现方法，通过自动在缓存节点上生成源站点的缓存，并且缓存节点之间进行缓存同步，从而能够缩短用户第一次浏览页面的时间，并能够减少回源站点获取缓存文件的次数。
图1是根据本发明一个实施例的内容分发网络的结构示意图。参照图1，所述内容分发网络可以包括预取服务器和多个缓存节点，图中仅示出了源站Web服务器www.a.com的3个缓存节点，分别为：缓存节点A、缓存节点B和缓存节点C。在具体实现时，缓存节点的数目和分布位置可以根据实际情况确定。其中：
预取服务器用于获取需要进行缓存的缓存文件标识，从所述多个缓存节点中选取一个主缓存节点和一个或多个缓存同步节点，并发送缓存预取指令到主缓存节点，所述缓存预取指令中包括缓存文件标识、缓存文件的源站点地址和缓存同步节点地址。这里，所述从所述多个缓存节点中选取一个主缓存节点和一个或多个缓存同步节点可以为：首先从所述多个缓存节点中选取为该缓存文件所属的源站点提供加速服务(缓存服务)的目标缓存节点集合，然后，从所述目标缓存节点集合中选取一个缓存节点和一个或多个缓存同步节点。其中，预取服务器可以从所述多个缓存节点中选取一个距离缓存文件的源站点最近的缓存节点作为主缓存节点。
例如，a.com网站有三个缓存节点进行加速，分别为缓存节点A、缓存节点B和缓存节点C，在缓存节点生效之后需要将www.a.com的缓存文件(例如www.a.com/pic.jpg)刷新到这三个缓存节点上。预取服务器负责从三个缓存节点中选取一个主缓存节点，假设选取的主缓存节点为缓存节点A。预取服务器向缓存节点A发送预取pic.jpg的指令，指令中包括：缓存文件标识：www.a.com/pic.jpg，www.a.com源站web服务器的ip地址，其他待刷新缓存的节点B和节点C的地址。
主缓存节点用于根据所述预取缓存指令，从源站点获取缓存文件后更新本地缓存，并发送缓存同步指令到缓存同步节点，所述缓存同步指令中包括缓存文件标识和主缓存节点地址。
例如，缓存节点A接收到所述预缓存指令。缓存节点A无论本身是否已经存在pic.jpg的缓存，都会回到源站获取pic.jpg，同时将其缓存到本地；然后，缓存节点A向缓存节点B和缓存节点C发送缓存同步指令，指令中的www.a.com源站web服务器地址为缓存节点A的地址，这样缓存节点B和缓存节点C就会到缓存节点A获取pic.jpg的数据，而不需要回源获取。
缓存同步节点用于根据所述缓存同步指令，从主缓存节点获取缓存文件后更新本地缓存。
例如，缓存节点B和缓存节点C接收到所述缓存同步指令，则不论本身是否已经存在pic.jpg的缓存，都会到缓存节点A获取pic.jpg的数据，而不需要回源获取。
另外，预取服务器中保存每个缓存文件的超时时间，当超时时间到期后预取服务器会再次发起缓存预取操作，即定时发送缓存预取指令到主缓存节点，从而达到对即将失效缓存的更新操作。
进一步，预取服务器可以根据用户配置的可缓存文件列表获取需要进行缓存的缓存文件标识；也可以根据网络爬虫的爬行结果获取需要进行缓存的缓存文件标识，即通过网络爬虫分析页面文件内容(如html、css)，来预取其包含的可缓存资源，如分析html文件获取其包含的图片文件连接进行预取。
图2是根据本发明一个实施例的内容分发网络的缓存实现方法流程图，所述内容分发网络包括预取服务器和多个缓存节点。参照图2，所述方法可以包括如下步骤：
步骤201，预取服务器获取需要进行缓存的缓存文件标识，从所述多个缓存节点中选取一个主缓存节点和一个或多个缓存同步节点；
预取服务器可以根据用户配置的可缓存文件列表获取需要进行缓存的缓存文件标识，也可以根据网络爬虫的爬行结果获取需要进行缓存的缓存文件标识。其中，预取服务器可以从所述多个缓存节点中选取一个距离缓存文件的源站点最近的缓存节点作为主缓存节点。
步骤202，预取服务器发送缓存预取指令到主缓存节点，所述缓存预取指令中包括缓存文件标识、缓存文件的源站点地址和缓存同步节点地址；
预取服务器可以根据缓存文件的超时时间，定时发送缓存预取指令到主缓存节点。
步骤203～204，主缓存节点根据所述预取缓存指令，从源站点获取缓存文件后更新本地缓存；
步骤205，主缓存节点发送缓存同步指令到缓存同步节点，所述缓存同步指令中包括缓存文件标识和主缓存节点地址；
步骤206～207，缓存同步节点根据所述缓存同步指令，从主缓存节点获取缓存文件后更新本地缓存。
综上所述，本发明实施例的技术方案能够自动在缓存节点上生成源站点的缓存，并且在缓存超时的时候可以自动刷新缓存，另外，缓存节点之间还可以同步缓存。如此，能够缩短用户第一次浏览页面的时间，并能够减少回源站点获取缓存文件的次数
需要说明的是，在附图的流程图示出的步骤可以在诸如设置有一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。另外，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种内容分发网络的缓存实现方法，所述内容分发网络包括预取服务器和多个缓存节点，所述方法包括：
预取服务器获取需要进行缓存的缓存文件标识，从所述多个缓存节点中选取一个主缓存节点和一个或多个缓存同步节点；
预取服务器发送缓存预取指令到主缓存节点，所述缓存预取指令中包括缓存文件标识、缓存文件的源站点地址和缓存同步节点地址；
主缓存节点根据所述缓存预取指令，从源站点获取缓存文件后更新本地缓存，并发送缓存同步指令到缓存同步节点，所述缓存同步指令中包括缓存文件标识和主缓存节点地址；
缓存同步节点根据所述缓存同步指令，从主缓存节点获取缓存文件后更新本地缓存。
2.如权利要求1所述的方法，其中，预取服务器获取需要进行缓存的缓存文件标识，包括：
预取服务器根据用户配置的可缓存文件列表获取需要进行缓存的缓存文件标识。
3.如权利要求1所述的方法，其中，预取服务器获取需要进行缓存的缓存文件标识，包括：
预取服务器根据网络爬虫的爬行结果获取需要进行缓存的缓存文件标识。
4.如权利要求1所述的方法，其中，预取服务器发送缓存预取指令到主缓存节点，包括：
预取服务器根据缓存文件的超时时间，定时发送缓存预取指令到主缓存节点。
5.如权利要求1所述的方法，其中，预取服务器从所述多个缓存节点中选取一个主缓存节点，包括：
预取服务器从所述多个缓存节点中选取一个距离缓存文件的源站点最近的缓存节点作为主缓存节点。
6.一种内容分发网络，包括预取服务器和多个缓存节点，其中：
预取服务器用于获取需要进行缓存的缓存文件标识，从所述多个缓存节点中选取一个主缓存节点和一个或多个缓存同步节点；
预取服务器还用于发送缓存预取指令到主缓存节点，所述缓存预取指令中包括缓存文件标识、缓存文件的源站点地址和缓存同步节点地址；
主缓存节点用于根据所述缓存预取指令，从源站点获取缓存文件后更新本地缓存，并发送缓存同步指令到缓存同步节点，所述缓存同步指令中包括缓存文件标识和主缓存节点地址；
缓存同步节点用于根据所述缓存同步指令，从主缓存节点获取缓存文件后更新本地缓存。
7.如权利要求6所述的内容分发网络，其中，预取服务器进一步用于：
根据用户配置的可缓存文件列表获取需要进行缓存的缓存文件标识。
8.如权利要求6所述的内容分发网络，其中，预取服务器进一步用于：
根据网络爬虫的爬行结果获取需要进行缓存的缓存文件标识。
9.如权利要求6所述的内容分发网络，其中，预取服务器进一步用于：
根据缓存文件的超时时间，定时发送缓存预取指令到主缓存节点。
10.如权利要求6所述的内容分发网络，其中，预取服务器进一步用于：
从所述多个缓存节点中选取一个距离缓存文件的源站点最近的缓存节点作为主缓存节点。
CN201310311597.7A 2013-07-23 2013-07-23 一种内容分发网络及其缓存实现方法 Active CN103338272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310311597.7A CN103338272B (zh) 2013-07-23 2013-07-23 一种内容分发网络及其缓存实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310311597.7A CN103338272B (zh) 2013-07-23 2013-07-23 一种内容分发网络及其缓存实现方法

Publications (2)

Publication Number Publication Date
CN103338272A CN103338272A (zh) 2013-10-02
CN103338272B true CN103338272B (zh) 2016-08-10

Family

ID=49246366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310311597.7A Active CN103338272B (zh) 2013-07-23 2013-07-23 一种内容分发网络及其缓存实现方法

Country Status (1)

Country Link
CN (1) CN103338272B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685551A (zh) * 2013-12-25 2014-03-26 乐视网信息技术（北京）股份有限公司 更新cdn缓存文件的方法和装置
CN104869139B (zh) * 2014-02-25 2019-04-16 上海帝联信息科技股份有限公司 缓存文件更新方法、装置及系统
CN104038842B (zh) * 2014-06-18 2018-09-18 百视通网络电视技术发展有限责任公司 一种在cdn网络中预取点播节目信息的方法与设备
US10504034B2 (en) * 2015-01-27 2019-12-10 Huawei Technologies Co., Ltd. Systems, devices and methods for distributed content interest prediction and content discovery
CN107465707B (zh) * 2016-06-03 2021-02-02 阿里巴巴集团控股有限公司 一种内容分发网络的内容刷新方法及装置
CN108111551B (zh) * 2016-11-23 2021-05-14 北京国双科技有限公司 连接处理方法及装置
CN109408150A (zh) * 2018-10-30 2019-03-01 维沃移动通信有限公司 一种快应用加载方法及移动终端
US11023379B2 (en) * 2019-02-13 2021-06-01 Google Llc Low-power cached ambient computing
CN110276042A (zh) * 2019-06-30 2019-09-24 浪潮卓数大数据产业发展有限公司 一种基于机器学习的智能Web代理缓存系统及方法
CN110442382B (zh) * 2019-07-31 2021-06-15 西安芯海微电子科技有限公司 预取缓存控制方法、装置、芯片以及计算机可读存储介质
CN110601802B (zh) * 2019-08-16 2022-05-20 网宿科技股份有限公司 一种降低集群回父带宽的方法及装置
CN110493350A (zh) * 2019-08-27 2019-11-22 北京百度网讯科技有限公司 文件上传方法和装置、电子设备和计算机可读介质
CN112437329B (zh) * 2020-11-05 2024-01-26 上海幻电信息科技有限公司 一种播放视频的方法、装置、设备、及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150421A (zh) * 2006-09-22 2008-03-26 华为技术有限公司 一种分布式内容分发方法、边缘服务器和内容分发网
CN101472166A (zh) * 2007-12-26 2009-07-01 华为技术有限公司 一种内容缓存、查询方法及点对点媒体传输系统
CN101911636A (zh) * 2007-12-26 2010-12-08 阿尔卡特朗讯公司 预测性缓存内容分发网络
CN203014859U (zh) * 2012-10-26 2013-06-19 北京视达科科技有限公司 智能双向cdn系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8156243B2 (en) * 2008-03-31 2012-04-10 Amazon Technologies, Inc. Request routing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150421A (zh) * 2006-09-22 2008-03-26 华为技术有限公司 一种分布式内容分发方法、边缘服务器和内容分发网
CN101472166A (zh) * 2007-12-26 2009-07-01 华为技术有限公司 一种内容缓存、查询方法及点对点媒体传输系统
CN101911636A (zh) * 2007-12-26 2010-12-08 阿尔卡特朗讯公司 预测性缓存内容分发网络
CN203014859U (zh) * 2012-10-26 2013-06-19 北京视达科科技有限公司 智能双向cdn系统

Also Published As

Publication number Publication date
CN103338272A (zh) 2013-10-02

Similar Documents

Publication Publication Date Title
CN103338272B (zh) 一种内容分发网络及其缓存实现方法
CN107105029B (zh) 一种基于Docker技术的CDN动态内容加速方法及系统
US9292467B2 (en) Mobile resource accelerator
CN107623729B (zh) 一种缓存方法、设备及缓存服务系统
US8285693B2 (en) System and method for remote updates
Atre et al. Caching with delayed hits
US8150914B1 (en) Simultaneous download of application file portions
US20180285470A1 (en) A Mobile Web Cache Optimization Method Based on HTML5 Application Caching
CN110069419A (zh) 多级缓存系统及其访问控制方法、设备和存储介质
CN101739296B (zh) 数据处理系统和方法
US20120226738A1 (en) Simultaneous download of application file portions
CN104796439B (zh) 网页推送方法、客户端、服务器及系统
EP3161668A1 (en) Batch-optimized render and fetch architecture
CN107465707A (zh) 一种内容分发网络的内容刷新方法及装置
KR101785595B1 (ko) 구조화 문서의 페이지렛의 캐싱
CN106453625B (zh) 信息同步方法及高可用性集群系统
CN103856408A (zh) 一种基于DNS的IPv6和IPv4互通信方法
CN105930528A (zh) 一种网页缓存的方法及服务器
CN102523285A (zh) 一种基于对象分布式文件系统的存储缓存方法
CN105354258B (zh) 一种更新网站数据缓存的装置及方法
CN103347089A (zh) 一种对网站动态资源和静态资源分离加速的方法及装置
CN108920600A (zh) 一种基于数据关联性的分布式文件系统元数据预取方法
CN106066877A (zh) 一种异步更新数据的方法及系统
EP2833602B1 (en) Shared data de-publication method and system
CN104320488A (zh) 代理服务器系统及代理服务方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151111

Address after: 100080, room 10, building 1, 3 Haidian Avenue, Beijing,, Haidian District

Applicant after: Xingyun Rongchuang (Beijing) Technology Co.,Ltd.

Address before: 100080 Beijing City, Haidian District Haidian Street No. 3 electronic market office building A block 10 layer

Applicant before: Xingyun Rongchuang (Beijing) Information Technology Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100080 room 1001-029, 10 / F, building 1, 3 Haidian Street, Haidian District, Beijing

Patentee after: Kunlun core (Beijing) Technology Co.,Ltd.

Address before: 100080 room 1001-029, 10 / F, building 1, 3 Haidian Street, Haidian District, Beijing

Patentee before: Xingyun Rongchuang (Beijing) Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220324

Address after: 401331 2-98, No. 37-100, Jingyang Road, Huxi street, Shapingba District, Chongqing

Patentee after: Chongqing Yunliu Future Technology Co.,Ltd.

Address before: 100080 room 1001-029, 10 / F, building 1, 3 Haidian Street, Haidian District, Beijing

Patentee before: Kunlun core (Beijing) Technology Co.,Ltd.