CN110300140A - 用于云分发网络中内容更新的方法、刷新客户端及网络节点 - Google Patents

用于云分发网络中内容更新的方法、刷新客户端及网络节点 Download PDF

Info

Publication number
CN110300140A
CN110300140A CN201810244982.7A CN201810244982A CN110300140A CN 110300140 A CN110300140 A CN 110300140A CN 201810244982 A CN201810244982 A CN 201810244982A CN 110300140 A CN110300140 A CN 110300140A
Authority
CN
China
Prior art keywords
url
deleted
information
cache
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810244982.7A
Other languages
English (en)
Other versions
CN110300140B (zh
Inventor
卢畅
苗辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Baishan Cloud Polytron Technologies Inc
Original Assignee
Guizhou Baishan Cloud Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Baishan Cloud Polytron Technologies Inc filed Critical Guizhou Baishan Cloud Polytron Technologies Inc
Priority to CN201810244982.7A priority Critical patent/CN110300140B/zh
Priority to CN201911411603.XA priority patent/CN111131498B/zh
Publication of CN110300140A publication Critical patent/CN110300140A/zh
Application granted granted Critical
Publication of CN110300140B publication Critical patent/CN110300140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于云分发网络中内容更新的方法、刷新客户端和网络节点。该方法包括：网络节点的刷新客户端获取待删除URL信息，指示网络节点上的缓存服务器删除与待删除URL相关的缓存信息；刷新客户端获取访问频繁URL信息，并在指示删除与待删除URL相关的缓存信息后的设定时间段后，再次指示缓存服务器删除与访问频繁URL相关的缓存信息。采用本发明的方案，可以避免边缘节点回父节点拿到旧文件的问题，刷新客户端重新上线后，可以将故障期间没有执行的任务继续完成。

Description

用于云分发网络中内容更新的方法、刷新客户端及网络节点
技术领域
本发明涉及数据传输领域，尤其涉及一种用于云分发网络中内容更新的方法、刷新客户端及网络节点。
背景技术
在当前的网络环境下，诸如图片、网页、音乐、视频等内容通常使用具有分布在全球各地的缓存节点的内容分发网络(Content Delivery Network，简称CDN)来为终端用户提供更快的内容访问服务。这是通过在现有的互联网中增加一层新的网络架构，将网站的内容发布到最接近用户的网络“边缘”，使得用户可以就近取得所需的内容，而无需回源服务器请求内容，这就提高了用户访问网站或下载文件的相应速度。然而，当目标业务的提供者对业务服务器内的目标业务进行升级变化时，业务服务器存储的目标业务得到更新，此时就需要对缓存有目标业务的缓存节点服务器进行更新，以保证用户终端通过缓存节点服务器获取到的目标业务的内容资源为更新后的内容资源。
当网站更新资源后，所有缓存该部分内容的节点也都需要及时更新(含删除)，否则用户就会继续获得旧的内容，如某新闻网站刊登的内容一旦出现错误或者被黑客篡改，为避免更严重的事态，全网内容需要即时更新，由于CDN往往有大量的分布在不同地域的节点，要及时更新所有节点上缓存内容是一大挑战。
在传统的CDN缓存机制中，全网内容更新基于消息队列的形式实现，当内容更新时，由一台中心服务器管理上千台设备，中心需要确认所有设备的状态并跟踪设备的推送情况，当设备更新失败时需要重试。由于中心机负载高，离其它节点距离远，跨运营商等原因，当更新失败时，通过设备跟踪、失败重传的方式，系统可以实现内容在全网的更新完成。这种方式存在如下缺陷：
1、推送消息的模式有不同模式：一种是一个父节点对应多个边缘节点，这样可以先进行父节点的推送，再由父节点进行二级推送，推送到边缘节点。另一种是由于消息到达全网的机器顺序是不可控的，导致会先推送掉边缘节点的内容，后推送父节点的内容。对于访问比较频繁的统一资源定位符(Uniform Resource Locator，URL)，会在推送了边缘节点后，边缘节点会回父拿到旧的文件，由于p2p传输是随机的，有可能先推送父，有可能是先推送边缘，先推送边缘会有一定的概率出现问题。
2、故障机器重新上线后，无法记录之前提交的推送任务，导致故障期间推送的URL都无法正常推送。
3、消息队列只通过任务开始的时间顺序对任务进行排队处理，而任务更新的紧迫程度和任务开始的时间顺序不相符，这导致任务更新的不公平。
4、传统使用p2p都使用高效的udp协议，而该协议对每次发送内容的大小有限制，当遇到URL长度大于这个限制的情况时，就不能进行有效的发送。
5、一旦网络出状况，以目前的网络实际状况来看，传统内容更新方式有可能出现服务器在任务有效时间内无法获取更新。此时，中心收到跟踪反馈后会重传，最终效率大打折扣。内容更新可能同时涉及到数量庞大的URL,消息队列处理一条URL所用时间一般在上万毫秒级别，一次全网内容的完整更新则需要数分钟甚至数十分钟，显然无法满足企业需求。
因此，需要一种能够解决上述问题的云分发网络中内容更新的方法。
发明内容
为了解决现有技术中内容更新中的问题，提出了一种用于云分发网络中内容更新的方法、刷新客户端及网络节点。
根据本发明的一个方面，提供了一种用于云分发网络中内容更新的方法，所述方法包括：
网络节点的刷新客户端获取待删除URL信息，指示所述网络节点上的缓存服务器删除与所述待删除URL相关的缓存信息；
所述刷新客户端获取访问频繁URL信息，并在指示删除与所述待删除URL相关的缓存信息后的设定时间段后，再次指示所述缓存服务器删除与所述访问频繁URL相关的缓存信息。
其中，获取访问频繁URL信息包括：
所述刷新客户端基于从所述缓存服务器接收的Squid返回码200，获取访问频繁URL信息。
其中，所述方法还包括：
当所述刷新客户端重启后，记录重启时刻，并获取在重启前最后成功删除与所述待删除URL相关的缓存信息的时刻；
获取在所述最后成功删除与所述待删除URL相关的缓存信息的时刻与所述重启时刻之间，发送到所述网络节点的丢失的待删除URL信息，并指示所述缓存服务器删除与所述丢失的待删除URL相关的缓存信息。
其中，获取在重启前最后成功删除与所述待删除URL相关的缓存信息的时刻包括：
获取在重启前最后接收到Squid返回码200或404的时刻。
其中，删除所述待删除URL相关的缓存信息还包括：
获取所述待删除URL的优先级，按照所述优先级从高到低的顺序指示所述缓存服务器删除与所述待删除URL相关的缓存信息。
其中，所述刷新客户端获取待删除URL信息还包括：
判断获取的待删除URL信息是否包含拆分信息，所述拆分信息包括指示相应的URL的唯一标识符和指示该待删除URL信息在相应的URL中的位置的序列号，若包含，则合并在所述拆分信息中具有相同唯一标识符的待删除URL信息，以确定待删除URL信息。
根据本发明的另一方面，提供了一种用于云分发网络中内容更新的刷新客户端，所述刷新客户端包括：
URL获取模块，用于获取待删除URL信息，以及获取访问频繁URL信息；
删除模块，指示所述网络节点上的缓存服务器删除与所述待删除URL相关的缓存信息，并在指示删除与所述待删除URL相关的缓存信息后的设定时间段后，再次指示所述缓存服务器删除与所述访问频繁URL相关的缓存信息。
其中，所述URL获取模块还用于基于从所述缓存服务器接收的Squid返回码200，获取访问频繁URL信息。
其中，所述刷新客户端还包括：时刻获取模块，用于当所述刷新客户端重启后，记录重启时刻，并获取在重启前最后成功删除与所述待删除URL相关的缓存信息的时刻；
所述URL获取模块还用于获取在所述最后成功删除与所述待删除URL相关的缓存信息的时刻与所述重启时刻之间，发送到所述刷新客户端所在网络节点的丢失的待删除URL信息，
所述删除模块还用于指示所述缓存服务器删除与所述丢失的待删除URL相关的缓存信息。
其中，所述时刻获取模块还用于获取在所述刷新客户端重启前最后接收到Squid返回码200或400的时刻，并将该时刻作为最后成功删除与所述待删除URL相关的缓存信息的时刻。
其中，所述刷新客户端还包括：优先级获取模块，用于获取所述待删除URL的优先级；
所述删除模块还用于按照所述优先级从高到低的顺序指示所述缓存服务器删除与所述待删除URL相关的缓存信息。
其中，所述URL获取模块还用于判断获取的待删除URL信息是否包含拆分信息，所述拆分信息包括指示相应的URL的唯一标识符和指示该待删除URL信息在相应的URL中的位置的序列号，若包含，则合并在所述拆分信息中具有相同唯一标识符的待删除URL信息，以确定待删除URL信息。
根据本发明的另一方面，还提供了一种云分发网络中内容更新的网络节点，所述网络节点包括上述的刷新客户端。
本发明中的用于云分发网络中的内容更新的方法和客户端具有下述有益效果：
(1)当网络中先推送边缘节点，后推送父节点时，不会出现边缘节点回父节点拿到旧文件的问题；
(2)故障机器重新上线后，可以将故障期间没有执行的推送任务进行正常推送；
(3)具有认为优先级管理能力，可以优先处理紧急的任务；
(4)系统的网络传输与响应能力大幅度提升，大大提高了文件(特别是大文件)的分发速度；
(5)借助P2P机制降低源服务器的压力，减少回原带宽，缩减带宽成本；
(6)整体下载耗时减少，下载稳定性更强。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明的用于云分发网络中内容更新的方法的流程图；
图2是根据本发明的刷新服务器与缓存服务器之间的交互过程示意图；
图3是根据本发明的用于云分发网络中内容更新的刷新客户端的模块图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
本发明提供了一种用于云分发网络中内容更新的方法，如图1所示，该方法包括：
步骤101，网络节点的刷新客户端获取待删除URL信息，指示网络节点上的缓存服务器删除与待删除URL相关的缓存信息；
步骤102，刷新客户端获取访问频繁URL信息，并在指示删除与待删除URL相关的缓存信息后的设定时间段后，再次指示缓存服务器删除与访问频繁URL相关的缓存信息。
这里删除网络节点上与待删除URL相关的缓存信息即是指推送该URL。刷新客户端通过推送任务获取程序从任务中心获取URL推送任务，即获取待删除URL信息。
刷新客户端在指示缓存服务器删除该URL相关的缓存信息后大概2秒时间后，就可以完成全网对该URL的推送，即在全网的网络节点上删除该URL的相关缓存信息。在完成全网推送后，为了确保该节点不会取回该URL的旧文件、对访问频繁的URL信息的收集，再次进行缓存信息的删除。步骤101中的指示删除与待删除URL相关的缓存信息的设定时间段后，即全网推送后，例如可以将该设定时间段设置为5s。
如图2所示，刷新客户端从P2P客户端获取URL列表，向Squid缓存服务器发出删除缓存的指示，Squid缓存服务器执行删除操作并给出反馈，网络节点基于不同的反馈执行不同的操作，例如，反馈异常则执行报警操作，反馈成功则正常退出，以及反馈返回码200则对访问频繁URL再次推送。
步骤102中，获取访问频繁URL信息包括：刷新客户端基于从缓存服务器接收的Squid返回码200，获取访问频繁URL信息。
在每个边缘节点上都有自己的Squid缓存服务器，若Squid缓存服务器在接收到刷新客户端的删除指示并删除URL相关的信息后，Squid返回码为200，则认为与该Squid 200返回码相关的URL为访问频繁URL，则指示该节点上的缓存服务器对访问频繁的URL的相关信息再次进行删除。这里是通过接收到Squid返回码200来判断对应的URL是否为访问频繁URL，实际操作中，也可以通过其他方式来确定一URL是否为访问频繁URL。
该方法还包括：当刷新客户端重启后，记录重启时刻，并获取在重启前最后成功删除与待删除URL相关的缓存信息的时刻；获取在最后成功删除与待删除URL相关的缓存信息的时刻与重启时刻之间，发送到网络节点的丢失的待删除URL信息，并指示缓存服务器删除与丢失的待删除URL相关的缓存信息。
当刷新客户端发生故障关机后，就无法获得在故障关机期间从中心下发的URL推送任务，因此当刷新客户端重启后，需要获得在该期间丢失的URL推送任务，重新执行这些任务。
其中，获取在重启前最后成功删除与待删除URL相关的缓存信息的时刻包括：获取在重启前最后接收到Squid返回码为200或404的时刻。
每条URL的推送都会在推送日志中生成一行日志记录，通过level＝error或者level＝info判断该条URL推送是失败还是成功。推送成功时，会收到Squid返回码200或404，若收到其它返回码则表示推送失败。因此，通过查找推送日志可以获取重启前最后成功删除与待删除URL相关的缓存信息的时刻。
刷新客户端若接收到Squid返回码200或404就认为与待删除URL相关的缓存信息被成功删除，因此重启前最后接收到Squid返回码200或404的时刻，即为重启前最后成功删除与待删除URL相关的缓存信息的时刻。其中，最后接收到Squid返回码200或404的时刻记录在推送日志中，推送日志记录URL的推送时间和状态，因此刷新客户端重启时，检查推送日志即可。
步骤101中，删除待删除URL相关的信息还包括：获取待删除URL的优先级，按照优先级从高到低的顺序指示缓存服务器删除与待删除URL相关的缓存信息。
在推送URL时，即删除节点上缓存的与该URL相关的缓存信息时，需要针对URL的优先级进行删除。这是因为不同的客户对时间的敏感度不一样，一些客户，例如电商客户对时间的敏感度很高，要求在很短时间内完成对其URL的推送。这就需要基于URL的优先级，按照优先级从高到低的顺序删除URL相关的缓存信息。
此外，为了保证时间敏感客户的使用体验，在实际操作时，可以并行执行两个推送任务获取程序。这样以保证时间敏感客户的使用体验。具体地，刷新客户端设置两个推送任务获取程序，并通过该两个推送任务获取程序从中心获取URL推送任务，基于获取的待删除URL的优先级，为这些URL推送任务分配不同的执行速度。
步骤101中，刷新客户端获取待删除URL信息还包括：判断获取的待删除URL信息是否包含拆分信息，拆分信息包括指示相应的URL的唯一标识符和指示该待删除URL信息在相应的URL中的位置的序列号，若包含，则合并在拆分信息中具有相同唯一标识符的待删除URL信息，以确定待删除URL信息。
网络节点之间的信息传输所使用的协议，例如高效的UDP协议对每次发送内容的大小有限制，正常对URL长度限制在512字节，如果URL信息的长度大于该限制，就需要对URL信息进行拆分。其中这里的URL信息包括URL本身，还可能包括一些跟该URL相关的信息。因此，在发送时将长度超过限制的URL信息进行拆分，对拆分得到的每个部分添加拆分信息，该拆分信息包括指示该URL的唯一标识符和指示该部分在整个URL信息中的位置的序列号。例如，下面的URL的长度超过限制，进行拆分：
URL：http://test.test.com/labcd...2abcd...3abcd
拆分后的部分如下表所示：
表1
唯一标识符 序列号 拆分后的部分
ID2001 1 <u>http://test.test.com/labcd</u>...
ID2001 2 <u>2abcd</u>...
ID2001 3 <u>3abcd</u>...
刷新客户端在收到拆分的各部分后，基于各部分携带的拆分信息，将各部分进行合并。
下面详细描述根据本发明的具体实施例，在该具体实施例中，边缘节点的刷新客户端执行该内容更新的方法，该方法包括如下步骤：
步骤一，边缘节点的刷新客户端通过实时监测获取待删除URL：http:// test.test.com/labcd的信息。
步骤二，指示该边缘节点上的缓存服务器Squid删除与该URL：http:// test.test.com/labcd相关的缓存信息。
步骤三，刷新客户端收到缓存服务器Squid针对上述删除指示返回的返回码为200，将该URL放入访问频繁URL队列中，同时，将收到该返回码200的时刻记录在推送日志中。
步骤四，刷新客户端在指示缓存服务器删除与该URL相关的缓存信息后5s后，指示缓存服务器Squid删除与该URL相关的缓存信息。
步骤五，刷新客户端故障重启后，检查推送日志，获取重启前最后接收到Squid返回码200的时刻。
步骤六，刷新客户端从任务下发中心获取重启前最后接收到Squid返回码200的时刻到重启时刻之间丢失的待删除URL信息，并指示缓存服务器删除与这些丢失的待删除URL相关的缓存信息。
本发明还提供了一种用于云分发网络中内容更新的刷新客户端，如图3所示，所述刷新客户端包括：
URL获取模块301，用于获取待删除URL信息，以及获取访问频繁URL信息；
删除模块302，指示所述网络节点上的缓存服务器删除与所述待删除URL相关的缓存信息，并在指示删除与所述待删除URL相关的缓存信息后的设定时间段后，再次指示所述缓存服务器删除与所述访问频繁URL相关的缓存信息。
其中，所述URL获取模块还用于基于从所述缓存服务器接收的Squid返回码200，获取访问频繁URL信息。
其中，所述刷新客户端还包括：时刻获取模块，用于当所述刷新客户端重启后，记录重启时刻，并获取在重启前最后成功删除与所述待删除URL相关的缓存信息的时刻；
所述URL获取模块还用于获取在所述最后成功删除与所述待删除URL相关的缓存信息的时刻与所述重启时刻之间，发送到所述刷新客户端所在网络节点的丢失的待删除URL信息，
所述删除模块还用于指示所述缓存服务器删除与所述丢失的待删除URL相关的缓存信息。
其中，所述时刻获取模块还用于获取在所述刷新客户端重启前最后接收到Squid返回码200或404的时刻，并将该时刻作为最后成功删除与所述待删除URL相关的缓存信息的时刻。
其中，所述刷新客户端还包括：优先级获取模块，用于获取所述待删除URL的优先级；
所述删除模块302还用于按照所述优先级从高到低的顺序指示所述缓存服务器删除与所述待删除URL相关的缓存信息。
其中，所述URL获取模块301还用于判断获取的待删除URL信息是否包含拆分信息，所述拆分信息包括指示相应的URL的唯一标识符和指示该待删除URL信息在相应的URL中的位置的序列号，若包含，则合并在所述拆分信息中具有相同唯一标识符的待删除URL信息，以确定待删除URL信息。
本发明还提供了一种云分发网络中内容更新的网络节点，所述网络节点包括如上所述的刷新客户端。
需要注意的是，本发明申请中内容更新的方法、刷新客户端和网络节点是在云分发网络环境中进行描述说明的，本领域技术人员应该知道上述方法、刷新客户端和网络节点同样可以应用在其他网络环境中。
本发明中的用于云分发网络中的内容更新的方法和客户端具有下述有益效果：
(1)当网络中先推送边缘节点，后推送父节点时，不会出现边缘节点回父节点拿到旧文件的问题；
(2)故障机器重新上线后，可以将故障期间没有执行的推送任务进行正常推送；
(3)具有认为优先级管理能力，可以优先处理紧急的任务；
(4)系统的网络传输与响应能力大幅度提升，大大提高了文件(特别是大文件)的分发速度；
(5)借助P2P机制降低源服务器的压力，减少回原带宽，缩减带宽成本；
(6)整体下载耗时减少，下载稳定性更强。
上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (13)

1.一种用于云分发网络中内容更新的方法，其特征在于，所述方法包括：
网络节点的刷新客户端获取待删除URL信息，指示所述网络节点上的缓存服务器删除与所述待删除URL相关的缓存信息；
所述刷新客户端获取访问频繁URL信息，并在指示删除与所述待删除URL相关的缓存信息后的设定时间段后，再次指示所述缓存服务器删除与所述访问频繁URL相关的缓存信息。
2.如权利要求1所述的方法，其特征在于，获取访问频繁URL信息包括：
所述刷新客户端基于从所述缓存服务器接收的Squid返回码200，获取访问频繁URL信息。
3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：
当所述刷新客户端重启后，记录重启时刻，并获取在重启前最后成功删除与所述待删除URL相关的缓存信息的时刻；
获取在所述最后成功删除与所述待删除URL相关的缓存信息的时刻与所述重启时刻之间，发送到所述网络节点的丢失的待删除URL信息，并指示所述缓存服务器删除与所述丢失的待删除URL相关的缓存信息。
4.如权利要求3所述的方法，其特征在于，获取在重启前最后成功删除与所述待删除URL相关的缓存信息的时刻包括：
获取在重启前最后接收到Squid返回码200或404的时刻。
5.如权利要求1所述的方法，其特征在于，删除所述待删除URL相关的缓存信息还包括：
获取所述待删除URL的优先级，按照所述优先级从高到低的顺序指示所述缓存服务器删除与所述待删除URL相关的缓存信息。
6.如权利要求1所述的方法，其特征在于，所述刷新客户端获取待删除URL信息还包括：
判断获取的待删除URL信息是否包含拆分信息，所述拆分信息包括指示相应的URL的唯一标识符和指示该待删除URL信息在相应的URL中的位置的序列号，若包含，则合并在所述拆分信息中具有相同唯一标识符的待删除URL信息，以确定待删除URL信息。
7.一种用于云分发网络中内容更新的刷新客户端，其特征在于，所述刷新客户端包括：
URL获取模块，用于获取待删除URL信息，以及获取访问频繁URL信息；
删除模块，指示所述网络节点上的缓存服务器删除与所述待删除URL相关的缓存信息，并在指示删除与所述待删除URL相关的缓存信息后的设定时间段后，再次指示所述缓存服务器删除与所述访问频繁URL相关的缓存信息。
8.如权利要求7所述的刷新客户端，其特征在于，
所述URL获取模块还用于基于从所述缓存服务器接收的Squid返回码200，获取访问频繁URL信息。
9.如权利要求7或8所述的刷新客户端，其特征在于，
所述刷新客户端还包括：时刻获取模块，用于当所述刷新客户端重启后，记录重启时刻，并获取在重启前最后成功删除与所述待删除URL相关的缓存信息的时刻；
所述URL获取模块还用于获取在所述最后成功删除与所述待删除URL相关的缓存信息的时刻与所述重启时刻之间，发送到所述刷新客户端所在网络节点的丢失的待删除URL信息，
所述删除模块还用于指示所述缓存服务器删除与所述丢失的待删除URL相关的缓存信息。
10.如权利要求9所述的刷新客户端，其特征在于，
所述时刻获取模块还用于获取在所述刷新客户端重启前最后接收到Squid返回码200或400的时刻，并将该时刻作为最后成功删除与所述待删除URL相关的缓存信息的时刻。
11.如权利要求7所述的刷新客户端，其特征在于，
所述刷新客户端还包括：优先级获取模块，用于获取所述待删除URL的优先级；
所述删除模块还用于按照所述优先级从高到低的顺序指示所述缓存服务器删除与所述待删除URL相关的缓存信息。
12.如权利要求7所述的刷新客户端，其特征在于，
所述URL获取模块还用于判断获取的待删除URL信息是否包含拆分信息，所述拆分信息包括指示相应的URL的唯一标识符和指示该待删除URL信息在相应的URL中的位置的序列号，若包含，则合并在所述拆分信息中具有相同唯一标识符的待删除URL信息，以确定待删除URL信息。
13.一种云分发网络中内容更新的网络节点，其特征在于，所述网络节点包括如权利要求7-12所述的刷新客户端。
CN201810244982.7A 2018-03-23 2018-03-23 用于云分发网络中内容更新的方法、刷新客户端及网络节点 Active CN110300140B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810244982.7A CN110300140B (zh) 2018-03-23 2018-03-23 用于云分发网络中内容更新的方法、刷新客户端及网络节点
CN201911411603.XA CN111131498B (zh) 2018-03-23 2018-03-23 Url信息更新方法、缓存服务器、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810244982.7A CN110300140B (zh) 2018-03-23 2018-03-23 用于云分发网络中内容更新的方法、刷新客户端及网络节点

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201911411603.XA Division CN111131498B (zh) 2018-03-23 2018-03-23 Url信息更新方法、缓存服务器、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110300140A true CN110300140A (zh) 2019-10-01
CN110300140B CN110300140B (zh) 2023-04-18

Family

ID=68026034

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810244982.7A Active CN110300140B (zh) 2018-03-23 2018-03-23 用于云分发网络中内容更新的方法、刷新客户端及网络节点
CN201911411603.XA Active CN111131498B (zh) 2018-03-23 2018-03-23 Url信息更新方法、缓存服务器、设备及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201911411603.XA Active CN111131498B (zh) 2018-03-23 2018-03-23 Url信息更新方法、缓存服务器、设备及存储介质

Country Status (1)

Country Link
CN (2) CN110300140B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660178A (zh) * 2021-06-30 2021-11-16 新浪网技术(中国)有限公司 一种cdn内容管理系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115733883B (zh) * 2022-12-27 2023-10-03 江苏云工场信息技术有限公司 一种刷新cdn缓存的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09330297A (ja) * 1996-06-04 1997-12-22 Ind Technol Res Inst 通信ネットワークのアクセスシステム及びインタフェース
JP2004030618A (ja) * 1996-11-28 2004-01-29 Fujitsu Ltd インターネットを利用したサービスシステムおよびその方法
US20090282159A1 (en) * 2008-04-09 2009-11-12 Level 3 Communications, Llc Content delivery in a network
CN102055799A (zh) * 2010-12-09 2011-05-11 北京云快线软件服务有限公司 内容刷新系统
US8682969B1 (en) * 2005-10-07 2014-03-25 On24, Inc. Framed event system and method
CN105847395A (zh) * 2016-04-25 2016-08-10 乐视控股（北京）有限公司 一种缓存文件处理方法及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602006011853D1 (de) * 2006-04-28 2010-03-11 Research In Motion Ltd Verfahren zur Wiedergabe einer Browser-Cache-Änderung einer tragbaren elektronischen Vorrichtung auf einer anderen Vorrichtung und entsprechende Vorrichtung
CN102387169B (zh) * 2010-08-26 2014-07-23 阿里巴巴集团控股有限公司 分布式缓存的对象删除方法、系统及删除服务器
CN103023998B (zh) * 2012-11-29 2016-02-10 网宿科技股份有限公司 基于内容分发网络节点的临时跳转纠错方法和系统
CN103607410B (zh) * 2013-11-27 2017-04-05 中国联合网络通信集团有限公司 一种内容访问方法和设备
CN104933054B (zh) * 2014-03-18 2018-07-06 上海帝联信息科技股份有限公司 缓存资源文件的url存储方法及装置、缓存服务器
CN106777033B (zh) * 2016-12-09 2019-06-25 北京齐尔布莱特科技有限公司 Squid按照目录格式清除缓存文件的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09330297A (ja) * 1996-06-04 1997-12-22 Ind Technol Res Inst 通信ネットワークのアクセスシステム及びインタフェース
JP2004030618A (ja) * 1996-11-28 2004-01-29 Fujitsu Ltd インターネットを利用したサービスシステムおよびその方法
US8682969B1 (en) * 2005-10-07 2014-03-25 On24, Inc. Framed event system and method
US20090282159A1 (en) * 2008-04-09 2009-11-12 Level 3 Communications, Llc Content delivery in a network
CN102055799A (zh) * 2010-12-09 2011-05-11 北京云快线软件服务有限公司 内容刷新系统
CN105847395A (zh) * 2016-04-25 2016-08-10 乐视控股（北京）有限公司 一种缓存文件处理方法及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660178A (zh) * 2021-06-30 2021-11-16 新浪网技术(中国)有限公司 一种cdn内容管理系统
CN113660178B (zh) * 2021-06-30 2024-08-02 新浪技术（中国）有限公司 一种cdn内容管理系统

Also Published As

Publication number Publication date
CN111131498B (zh) 2023-04-21
CN110300140B (zh) 2023-04-18
CN111131498A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN101064630B (zh) 一种数据同步方法及系统
US20240179212A1 (en) Hosted file sync with stateless sync nodes
CN111970315A (zh) 推送消息的方法、装置及系统
CN107357896A (zh) 数据库集群的扩容方法、装置、系统和数据库集群系统
CN108173774B (zh) 一种客户端的升级方法及系统
CN102779185A (zh) 一种高可用分布式全文索引方法
CN110247985B (zh) 一种资源下载方法、装置、电子设备及介质
JP2007074724A (ja) デジタル放送ネットワークでサーバとクライアントとの間のｅｐｇ情報を同期化させるための方法及び装置
US9955444B1 (en) Data synchronization across multiple devices connecting to multiple data centers
CN110636340A (zh) 一种视频文件的上传方法及存储设备
US10893102B2 (en) Systems and methods for restoring an interface to a global file system
CN103581207A (zh) 云端数据存储系统及基于该系统的数据存储与共享方法
CN105450682B (zh) 一种用于数据同步保存、向客户端同步数据的方法、装置和系统
CN111221469A (zh) 同步缓存数据的方法、装置和系统
CN112882738A (zh) 一种微服务架构下的配置信息更新方法、装置及电子设备
EP3868071B1 (en) Distributed state recovery in a system having dynamic reconfiguration of participating nodes
CN111935242A (zh) 数据传输方法、装置、服务器以及存储介质
CN110300140A (zh) 用于云分发网络中内容更新的方法、刷新客户端及网络节点
CN110555040A (zh) 一种数据缓存方法、装置及服务器
CN113742376A (zh) 一种同步数据的方法、第一服务器以及同步数据的系统
CN114595069B (zh) 服务下线方法、装置、电子设备及存储介质
CN110798358A (zh) 分布式服务标识方法、装置、计算机可读介质及电子设备
JP2007527067A (ja) Ｕｉアセットの階層的配信
CN115189931A (zh) 一种分布式密钥管理方法、装置、设备、存储介质
CN105653566A (zh) 一种实现数据库写访问的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant