CN103023998A - 基于内容分发网络边缘节点的临时跳转纠错方法和系统 - Google Patents

基于内容分发网络边缘节点的临时跳转纠错方法和系统 Download PDF

Info

Publication number
CN103023998A
CN103023998A CN2012105011145A CN201210501114A CN103023998A CN 103023998 A CN103023998 A CN 103023998A CN 2012105011145 A CN2012105011145 A CN 2012105011145A CN 201210501114 A CN201210501114 A CN 201210501114A CN 103023998 A CN103023998 A CN 103023998A
Authority
CN
China
Prior art keywords
url
interim redirect
interim
content
error correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105011145A
Other languages
English (en)
Other versions
CN103023998B (zh
Inventor
洪珂
郭文强
董曙佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201210501114.5A priority Critical patent/CN103023998B/zh
Publication of CN103023998A publication Critical patent/CN103023998A/zh
Application granted granted Critical
Publication of CN103023998B publication Critical patent/CN103023998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了基于内容分发网络边缘节点的临时跳转纠错方法和系统,通过智能纠错保证用户获得实时的网页信息,通过控制用户代理缓存解决了用户代理缓存临时跳转的问题。其技术方案为:方法包括:CDN节点初始化探测周期;CDN节点从临时跳转队列中选取URL;CDN节点向URL发送探测请求;若探测成功,则删除对应URL的缓存目标文件,并保存正常响应以用于后面用户的请求,从临时跳转队列中删除处理过的URL,若探测失败,则更新临时跳转的缓存时间值,并根据探测结果动态更改探测周期,将当前的URL按照优先级置于临时跳转队列的对应位置。

Description

基于内容分发网络边缘节点的临时跳转纠错方法和系统
技术领域
本发明涉及智能纠错技术,尤其涉及内容分发网络边缘节点的临时跳转的智能纠错方法和系统。
背景技术
现实中存在这样的需要,很多CDN(内容分发网络)客户为了提高服务质量,经常会对HTTP错误响应(如404或500等)做临时跳转。
目前CDN对这样的临时跳转采用正常响应的缓存时间策略,该时间策略包含两个部分内容:如果响应中携带缓存控制头,则根据该头的值决定响应是否缓存,如果需要缓存,则给出缓存时间;如果响应中未携带缓存控制头,则根据最后修改头和响应生成时间头,以及相关的配置阈值,决定响应是否缓存,并计算缓存时间。
尽管该时间策略中提供了对缓存时间的动态设置,除非响应中显式给出时间,否则仍然是不确定值。如果临时跳转缓存时间设置不合理,一旦源服务器恢复正常服务,由于CDN边缘节点临时跳转缓存没有过期,仍然处于缓存命中状态,将导致CDN依然做临时跳转,客户不能正常服务。不仅如此,有些用户代理也会对临时跳转进行缓存,导致用户使用过期信息。
因此,现有技术方案存在以下弊端:
CDN节点对临时跳转使用正常响应的缓存时间策略,该时间策略并无法保证决策的正确性,这会导致CDN节点出现不能正常服务的情况,同时,对缓存时间的猜测也违背了HTTP协议语义透明性的要求。
无法解决有些用户代理缓存临时跳转的情况。用户代理终端一般会对临时响应进行缓存,这将严重影响信息响应的实时性,尤其对电子商务网站等实时性要求较高的网站影响较大。
发明内容
本发明的目的在于解决上述问题,提供了一种基于内容分发网络边缘节点的临时跳转纠错方法和系统,通过智能纠错保证用户获得实时的网页信息,通过控制用户代理缓存解决了用户代理缓存临时跳转的问题。
本发明的技术方案为:本发明揭示了一种基于内容分发网络边缘节点的临时跳转纠错方法,包括:
步骤1:内容分发网络节点初始化探测周期;
步骤2:内容分发网络节点从临时跳转队列中选取URL;
步骤3:内容分发网络节点向选取的URL发送探测请求;
步骤4:根据探测是否成功进行对应的操作,若探测成功,则删除对应URL的缓存目标文件,并保存正常响应以用于后面用户的请求,然后从临时跳转队列中删除处理过的URL并转入步骤2,若探测失败,则更新临时跳转的缓存时间值,并根据探测结果动态更改探测周期,将当前的URL按照优先级置于临时跳转队列的对应位置并转入步骤2。
根据本发明的基于内容分发网络边缘节点的临时跳转纠错方法的一实施例,在步骤4中,根据内容分发网络节点收到的响应判断探测是否成功:若内容分发网络节点接收到正常的响应包则判断为探测成功,若内容分发网络节点接收到临时跳转包则判断为探测失败。
根据本发明的基于内容分发网络边缘节点的临时跳转纠错方法的一实施例,更新临时跳转的缓存时间值是根据源站点资源的更改频率更新缓存时间值。
根据本发明的基于内容分发网络边缘节点的临时跳转纠错方法的一实施例,动态更改探测周期是指当探测失败时动态延长探测周期,且当探测周期达到给定上限值时不再延长探测周期。
根据本发明的基于内容分发网络边缘节点的临时跳转纠错方法的一实施例,在步骤4中,当判断出用户请求的URL为临时跳转时,内容分发网络节点通过更改缓存控制头使得用户代理不会缓存该临时跳转响应。
本发明还揭示了一种基于内容分发网络边缘节点的临时跳转纠错系统,包括:
探测周期初始化模块,内容分发网络节点初始化探测周期;
URL选取模块,内容分发网络节点从临时跳转队列中选取URL;
探测请求发送模块,内容分发网络节点向选取的URL发送探测请求;
探测结果判断模块,根据内容分发网络节点收到的响应判断探测是否成功;
探测成功处理模块,在探测成功的情况下,删除对应URL的缓存目标文件,并保存正常响应以用于后面用户的请求,然后从临时跳转队列中删除处理过的URL,转入URL选取模块处理;
探测失败处理模块,在探测失败的情况下,更新临时跳转的缓存时间值,并根据探测结果动态更改探测周期,将当前的URL按照优先级置于临时跳转队列的对应位置,转入URL选取模块处理。
根据本发明的基于内容分发网络边缘节点的临时跳转纠错系统的一实施例,探测结果判断模块的判断依据是:若内容分发网络节点接收到正常的响应包则判断为探测成功,若内容分发网络节点接收到临时跳转包则判断为探测失败。
根据本发明的基于内容分发网络边缘节点的临时跳转纠错系统的一实施例,探测失败处理模块中的更新临时跳转的缓存时间值是根据源站点资源的更改频率更新缓存时间值。
根据本发明的基于内容分发网络边缘节点的临时跳转纠错系统的一实施例,探测失败处理模块中的动态更改探测周期是指当探测失败时动态延长探测周期,且当探测周期达到给定上限值时不再延长探测周期。
根据本发明的基于内容分发网络边缘节点的临时跳转纠错系统的一实施例,在探测失败处理模块中,当判断出用户请求的URL为临时跳转时,内容分发网络节点通过更改缓存控制头使得用户代理不会缓存该临时跳转响应。
本发明对比现有技术有如下的有益效果:本发明的方案是在CDN节点现有方案的基础上,引入智能纠错技术方案,周期性的探测源站点,一旦发现源站点可以正常服务,即不再以临时跳转响应客户,将动态删除CDN节点的临时跳转的缓存目标文件,从而达到智能纠错的目的,保证用户获得实时的网页信息。如果源站点仍然无法正常服务,本发明将根据现有的缓存时间计算方法动态决定临时跳转的缓存时间。为了取消用户代理对临时跳转的缓存,本发明通过智能控制HTTP报文的缓存控制头,对用户代理的缓存进行智能控制。相较于现有技术,本发明可以保证用户获得实时的网页信息,并解决了用户代理缓存临时跳转的问题。
附图说明
图1示出了本发明的基于内容分发网络边缘节点的临时跳转纠错方法的较佳实施例的流程图。
图2示出了本发明的基于内容分发网络边缘节点的临时跳转纠错系统的较佳实施例的原理图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
基于内容分发网络边缘节点的临时跳转纠错方法的实施例
图1示出了本发明的基于内容分发网络边缘节点的临时跳转纠错方法的较佳实施例的流程。请参见图1,下面是对本实施例的临时跳转纠错方法的各个步骤的详细描述。
步骤S10:CDN节点初始化探测周期。
在系统刚启动的事后,CDN节点根据用户配置初始化探测周期。也就是说,CDN节点会周期性的探测源站点。探测周期不能过长,也不能过短。过长则无法保证源站的实时性,过短则影响性能。因此,周期的选择是根据用户的配置和探测结果进行动态设定的。
步骤S11:CDN节点从临时跳转列表中选取URL。
步骤S12:CDN节点向选取的URL发送探测请求包。
步骤S13:判断探测是否成功,若探测成功则进入步骤S14处理,若探测失败则进入步骤S16处理。
判断的依据是:根据内容分发网络节点收到的响应判断探测是否成功。亦即,若内容分发网络节点接收到正常的响应包则判断为探测成功,若内容分发网络节点接收到临时跳转包则判断为探测失败。
步骤S14:删除对应URL的缓存目标文件,并将正常响应内容保存下来,用于后面用户的请求。
步骤S15:从临时跳转队列中删除处理过的URL,然后返回步骤S11。
步骤S16:更新临时跳转的缓存时间值。
在本实施例中,是根据源站点资源的更改频率更新缓存时间值。如果源站点的资源不经常更改,则缓存时间较长,反之,缓存时间较短。
较佳的,若用户请求的URL为临时跳转时,CDN节点更改缓存控制头为“no-cache”值,保证用户代理不会缓存该临时跳转响应。
步骤S17:根据探测结果动态更改探测周期。
当探测失败时,动态延长探测周期,周期延长值默认是1分钟,当探测周期达到给定上限值时,不再延长探测周期。
步骤S18:将当前URL按照优先级置于临时跳转队列的对应位置,然后返回步骤S11。
基于内容分发网络边缘节点的临时跳转纠错系统的实施例
图2示出了本发明的基于内容分发网络边缘节点的临时跳转纠错系统的实施例的原理。请参见图2,本实施例的系统包括:探测周期初始化模块10、URL选取模块11、探测请求发送模块12、探测结果判断模块13、探测成功处理模块14、探测失败处理模块15。
探测周期初始化模块10中,内容分发网络节点初始化探测周期。URL选取模块11中,内容分发网络节点从临时跳转队列中选取URL。探测请求发送模块12中,内容分发网络节点向选取的URL发送探测请求。
探测结果判断模块13根据内容分发网络节点收到的响应判断探测是否成功。若成功则由探测成功处理模块14进行处理,若失败则由探测失败处理模块15进行处理。
探测结果判断模块13的判断依据是:若内容分发网络节点接收到正常的响应包则判断为探测成功,若内容分发网络节点接收到临时跳转包则判断为探测失败。
探测成功处理模块14删除对应URL的缓存目标文件,并保存正常响应以用于后面用户的请求,然后从临时跳转队列中删除处理过的URL,转入URL选取模块11处理。
探测失败处理模块15更新临时跳转的缓存时间值,并根据探测结果动态更改探测周期,将当前的URL按照优先级置于临时跳转队列的对应位置,转入URL选取模块11处理。
探测失败处理模块15中的更新临时跳转的缓存时间值是根据源站点资源的更改频率更新缓存时间值。如果源站点的资源不经常更改,则缓存时间较长,反之,缓存时间较短。
探测失败处理模块15中的动态更改探测周期是指当探测失败时动态延长探测周期,且当探测周期达到给定上限值时不再延长探测周期。
较佳的,在探测失败处理模块15中,当判断出用户请求的URL为临时跳转时,CDN节点更改缓存控制头为“no-cache”值,使得用户代理不会缓存该临时跳转响应。
上述实施例是提供给本领域普通技术人员来实现和使用本发明的,本领域普通技术人员可在不脱离本发明的发明思想的情况下,对上述实施例做出种种修改或变化,因而本发明的保护范围并不被上述实施例所限,而应该是符合权利要求书所提到的创新性特征的最大范围。

Claims (10)

1.一种基于内容分发网络边缘节点的临时跳转纠错方法,包括:
步骤1:内容分发网络节点初始化探测周期;
步骤2:内容分发网络节点从临时跳转队列中选取URL;
步骤3:内容分发网络节点向选取的URL发送探测请求;
步骤4:根据探测是否成功进行对应的操作,若探测成功,则删除对应URL的缓存目标文件,并保存正常响应以用于后面用户的请求,然后从临时跳转队列中删除处理过的URL并转入步骤2,若探测失败,则更新临时跳转的缓存时间值,并根据探测结果动态更改探测周期,将当前的URL按照优先级置于临时跳转队列的对应位置并转入步骤2。
2.根据权利要求1所述的基于内容分发网络边缘节点的临时跳转纠错方法,其特征在于,在步骤4中,根据内容分发网络节点收到的响应判断探测是否成功:若内容分发网络节点接收到正常的响应包则判断为探测成功,若内容分发网络节点接收到临时跳转包则判断为探测失败。
3.根据权利要求1所述的基于内容分发网络边缘节点的临时跳转纠错方法,其特征在于,更新临时跳转的缓存时间值是根据源站点资源的更改频率更新缓存时间值。
4.根据权利要求1所述的基于内容分发网络边缘节点的临时跳转纠错方法,其特征在于,动态更改探测周期是指当探测失败时动态延长探测周期,且当探测周期达到给定上限值时不再延长探测周期。
5.根据权利要求1所述的基于内容分发网络边缘节点的临时跳转纠错方法,其特征在于,在步骤4中,当判断出用户请求的URL为临时跳转时,内容分发网络节点通过更改缓存控制头使得用户代理不会缓存该临时跳转响应。
6.一种基于内容分发网络边缘节点的临时跳转纠错系统,包括:
探测周期初始化模块,内容分发网络节点初始化探测周期;
URL选取模块,内容分发网络节点从临时跳转队列中选取URL;
探测请求发送模块,内容分发网络节点向选取的URL发送探测请求;
探测结果判断模块,根据内容分发网络节点收到的响应判断探测是否成功;
探测成功处理模块,在探测成功的情况下,删除对应URL的缓存目标文件,并保存正常响应以用于后面用户的请求,然后从临时跳转队列中删除处理过的URL,转入URL选取模块处理;
探测失败处理模块,在探测失败的情况下,更新临时跳转的缓存时间值,并根据探测结果动态更改探测周期,将当前的URL按照优先级置于临时跳转队列的对应位置,转入URL选取模块处理。
7.根据权利要求6所述的基于内容分发网络边缘节点的临时跳转纠错系统,其特征在于,探测结果判断模块的判断依据是:若内容分发网络节点接收到正常的响应包则判断为探测成功,若内容分发网络节点接收到临时跳转包则判断为探测失败。
8.根据权利要求6所述的基于内容分发网络边缘节点的临时跳转纠错系统,其特征在于,探测失败处理模块中的更新临时跳转的缓存时间值是根据源站点资源的更改频率更新缓存时间值。
9.根据权利要求6所述的基于内容分发网络边缘节点的临时跳转纠错系统,其特征在于,探测失败处理模块中的动态更改探测周期是指当探测失败时动态延长探测周期,且当探测周期达到给定上限值时不再延长探测周期。
10.根据权利要求6所述的基于内容分发网络边缘节点的临时跳转纠错系统,其特征在于,在探测失败处理模块中,当判断出用户请求的URL为临时跳转时,内容分发网络节点通过更改缓存控制头使得用户代理不会缓存该临时跳转响应。
CN201210501114.5A 2012-11-29 2012-11-29 基于内容分发网络节点的临时跳转纠错方法和系统 Active CN103023998B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210501114.5A CN103023998B (zh) 2012-11-29 2012-11-29 基于内容分发网络节点的临时跳转纠错方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210501114.5A CN103023998B (zh) 2012-11-29 2012-11-29 基于内容分发网络节点的临时跳转纠错方法和系统

Publications (2)

Publication Number Publication Date
CN103023998A true CN103023998A (zh) 2013-04-03
CN103023998B CN103023998B (zh) 2016-02-10

Family

ID=47972122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210501114.5A Active CN103023998B (zh) 2012-11-29 2012-11-29 基于内容分发网络节点的临时跳转纠错方法和系统

Country Status (1)

Country Link
CN (1) CN103023998B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104133881A (zh) * 2014-07-25 2014-11-05 广东睿江科技有限公司 一种调整文件缓存时间的方法与装置
CN104133880A (zh) * 2014-07-25 2014-11-05 广东睿江科技有限公司 一种设置文件缓存时间的方法与装置
CN105847395A (zh) * 2016-04-25 2016-08-10 乐视控股(北京)有限公司 一种缓存文件处理方法及设备
CN106357775A (zh) * 2016-09-23 2017-01-25 成都知道创宇信息技术有限公司 一种基于cdn节点的网站实时在线实现方法
CN108416017A (zh) * 2018-03-05 2018-08-17 北京云端智度科技有限公司 一种cdn缓存清除方法和系统
WO2018161447A1 (zh) * 2017-03-10 2018-09-13 网宿科技股份有限公司 一种cdn客户源站的防护方法和系统
CN108769166A (zh) * 2018-05-17 2018-11-06 北京云端智度科技有限公司 一种基于元数据的cdn缓存内容管理装置
CN110086756A (zh) * 2018-01-26 2019-08-02 沪江教育科技(上海)股份有限公司 一种验证方法、终端以及服务器
CN110807137A (zh) * 2019-04-11 2020-02-18 上海丛云信息科技有限公司 一种分布式大数据采集实现方法
CN111131498A (zh) * 2018-03-23 2020-05-08 贵州白山云科技股份有限公司 Url信息更新方法、缓存服务器、设备及存储介质
CN113660178A (zh) * 2021-06-30 2021-11-16 新浪网技术(中国)有限公司 一种cdn内容管理系统
CN114448871A (zh) * 2021-12-23 2022-05-06 天翼云科技有限公司 一种用于cdn的数据反馈选路方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100281311A1 (en) * 2009-04-30 2010-11-04 International Business Machines Corporation Method and system for reconstructing error response messages under web application environment
CN102111310A (zh) * 2010-12-31 2011-06-29 网宿科技股份有限公司 Cdn设备状态监控方法和系统
CN102427412A (zh) * 2011-12-31 2012-04-25 网宿科技股份有限公司 基于内容分发网络的零延时主备源灾备切换方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100281311A1 (en) * 2009-04-30 2010-11-04 International Business Machines Corporation Method and system for reconstructing error response messages under web application environment
CN102111310A (zh) * 2010-12-31 2011-06-29 网宿科技股份有限公司 Cdn设备状态监控方法和系统
CN102427412A (zh) * 2011-12-31 2012-04-25 网宿科技股份有限公司 基于内容分发网络的零延时主备源灾备切换方法和系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104133880A (zh) * 2014-07-25 2014-11-05 广东睿江科技有限公司 一种设置文件缓存时间的方法与装置
CN104133880B (zh) * 2014-07-25 2018-04-20 广东睿江云计算股份有限公司 一种设置文件缓存时间的方法与装置
CN104133881A (zh) * 2014-07-25 2014-11-05 广东睿江科技有限公司 一种调整文件缓存时间的方法与装置
CN105847395A (zh) * 2016-04-25 2016-08-10 乐视控股(北京)有限公司 一种缓存文件处理方法及设备
CN106357775A (zh) * 2016-09-23 2017-01-25 成都知道创宇信息技术有限公司 一种基于cdn节点的网站实时在线实现方法
WO2018161447A1 (zh) * 2017-03-10 2018-09-13 网宿科技股份有限公司 一种cdn客户源站的防护方法和系统
CN110086756A (zh) * 2018-01-26 2019-08-02 沪江教育科技(上海)股份有限公司 一种验证方法、终端以及服务器
CN108416017A (zh) * 2018-03-05 2018-08-17 北京云端智度科技有限公司 一种cdn缓存清除方法和系统
CN108416017B (zh) * 2018-03-05 2022-11-01 北京云端智度科技有限公司 一种cdn缓存清除方法和系统
CN111131498A (zh) * 2018-03-23 2020-05-08 贵州白山云科技股份有限公司 Url信息更新方法、缓存服务器、设备及存储介质
CN111131498B (zh) * 2018-03-23 2023-04-21 贵州白山云科技股份有限公司 Url信息更新方法、缓存服务器、设备及存储介质
CN108769166A (zh) * 2018-05-17 2018-11-06 北京云端智度科技有限公司 一种基于元数据的cdn缓存内容管理装置
CN110807137A (zh) * 2019-04-11 2020-02-18 上海丛云信息科技有限公司 一种分布式大数据采集实现方法
CN113660178A (zh) * 2021-06-30 2021-11-16 新浪网技术(中国)有限公司 一种cdn内容管理系统
CN114448871A (zh) * 2021-12-23 2022-05-06 天翼云科技有限公司 一种用于cdn的数据反馈选路方法及系统
CN114448871B (zh) * 2021-12-23 2023-11-03 天翼云科技有限公司 一种用于cdn的数据反馈选路方法及系统

Also Published As

Publication number Publication date
CN103023998B (zh) 2016-02-10

Similar Documents

Publication Publication Date Title
CN103023998A (zh) 基于内容分发网络边缘节点的临时跳转纠错方法和系统
US10587544B2 (en) Message processing method, processing server, terminal, and storage medium
CN106664592B (zh) 用于内容分发的方法和系统及相应的计算机可读介质
RU2019109163A (ru) Системы и способы для управления сеансом блока данных протокола (pdu), адаптированного к приложению
US9967315B2 (en) Electronic device, storage medium and file transferring method
WO2017045538A1 (zh) 基于http协议的缓存、请求、响应方法及相应装置
US10313452B2 (en) Migrating a chat message service provided by a chat server to a new chat server
US11876716B2 (en) Systems and methods for adjusting a congestion window value of a content delivery network
EP2920714A1 (en) Improving web sites performance using edge servers in fog computing architecture
KR101272670B1 (ko) 사용자 단말의 접속 네트워크 식별 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
WO2015039559A1 (zh) 页面重定向方法、路由设备、终端设备及系统
US9596313B2 (en) Method, terminal, cache server and system for updating webpage data
CN105100032A (zh) 一种防止资源盗取的方法及装置
WO2015014295A1 (en) Multi-source download scheduling
CN108366104B (zh) 一种数据下载控制方法和装置
CN103281356B (zh) 一种分发文件的方法及系统
CN107347015B (zh) 一种内容分发网络的识别方法、装置及系统
EP3582116A1 (en) Webpage loading method, webpage loading system, and server
CN104734985A (zh) 数据接收流量控制方法及其系统
US20200106852A1 (en) Cache data control method and device
CN108804515B (zh) 一种网页加载方法、网页加载系统和服务器
CN107707689A (zh) 一种dhcp报文处理方法、dhcp服务器及网关设备
CN102984266A (zh) 一种数据交互处理方法及装置
CN102754488A (zh) 用户访问的控制方法、装置及系统
EP3119044B1 (en) Page insertion method and device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant