CN112861031B - Cdn中url刷新方法、装置、设备以及cdn节点 - Google Patents

Cdn中url刷新方法、装置、设备以及cdn节点 Download PDF

Info

Publication number
CN112861031B
CN112861031B CN201911197702.2A CN201911197702A CN112861031B CN 112861031 B CN112861031 B CN 112861031B CN 201911197702 A CN201911197702 A CN 201911197702A CN 112861031 B CN112861031 B CN 112861031B
Authority
CN
China
Prior art keywords
url
refreshed
refreshing
database
urls
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911197702.2A
Other languages
English (en)
Other versions
CN112861031A (zh
Inventor
王永强
年彦东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201911197702.2A priority Critical patent/CN112861031B/zh
Priority to JP2022551426A priority patent/JP7392168B2/ja
Priority to PCT/CN2020/129230 priority patent/WO2021104100A1/zh
Priority to US17/778,102 priority patent/US12067069B2/en
Publication of CN112861031A publication Critical patent/CN112861031A/zh
Application granted granted Critical
Publication of CN112861031B publication Critical patent/CN112861031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种CDN中URL刷新方法、装置、设备以及CDN节点,涉及数据处理技术领域,CDN中的CDN中URL刷新效率较低的技术问题。该方法包括:接收第一刷新请求,第一刷新请求包括至少一个待刷新URL;将至少一个待刷新URL与本地数据库存储的URL进行对比;本地数据库中存储有本地储存的源文件对应的URL;执行针对存在于数据库中的待刷新URL的刷新操作。

Description

CDN中URL刷新方法、装置、设备以及CDN节点
技术领域
本申请涉及数据处理技术领域,尤其是涉及一种CDN中URL刷新方法、装置、设备以及CDN节点。
背景技术
内容分发网络(Content Delivery Network,CDN)是构建在现有网络基础之上的智能虚拟网络,能够实现统一资源定位符(uniform resource locator,URL)的内容存储和URL内容分发。
为了实现URL内容的存储,现有的CDN服务器中包括有多个存储器。在实际应用中,经常需要对这些存储器中储存的URL进行刷新,以保证CDN中储存的URL的实时性和正确性。
为了确保所有的待刷新URL都能够在CDN刷新过程中被删除,CDN中的每个存储器都需要执行对所有的待刷新URL的删除动作。因此,在目前的CDN中URL刷新方法中,CDN中的每个存储器的工作量都较大,导致CDN中的CDN中URL刷新效率较低。
发明内容
本发明的目的在于提供一种CDN中URL刷新方法、装置、设备以及CDN节点,以解决CDN中的CDN中URL刷新效率较低的技术问题。
第一方面,本申请实施例提供了一种CDN中URL刷新方法,包括:接收第一刷新请求,所述第一刷新请求包括至少一个待刷新URL;将所述至少一个待刷新URL与本地数据库存储的URL进行对比;所述本地数据库中存储有本地储存的源文件对应的URL;执行针对存在于所述数据库中的待刷新URL的刷新操作。
在一个可选的实现中,所述数据库中存储的所述URL根据本地回源日志确定,所述回源日志包括回源URL。
在另一个可选的实现中,执行针对存在于所述数据库中的待刷新URL的刷新操作的步骤,包括:将所述至少一个待刷新URL中未存在于所述数据库中的URL删除,得到所述至少一个待刷新URL中存在于所述数据库中的URL;针对所述至少一个待刷新URL中存在于所述数据库中的URL,执行刷新操作。
在另一个可选的实现中,所述至第一刷新请求来自辅助设备,来自所述辅助设备的至少一个待刷新URL由所述辅助设备对来自负载均衡设备的至少一个待刷新URL进行过滤得到。
第二方面,提供了另一种CDN中URL刷新方法。包括:接收来自负载均衡设备的第二刷新请求,所述第二刷新请求包括来自负载均衡设备的至少一个待刷新URL;基于本地数据库存储的标识,对所述来自负载均衡设备的至少一个待刷新URL进行过滤,得到过滤后的至少一个待刷新URL;所述本地数据库用于记录同一节点内存储设备存储的源文件的标识;向所述同一节点内的存储设备发送第一刷新请求,所述第一刷新请求包括所述过滤后的至少一个待刷新URL;以便所述存储设备对所述过滤后的至少一个待刷新URL进行过滤,并针对经过过滤的过滤后的至少一个待刷新URL执行刷新操作。
在另一个可选的实现中,源文件的标识为域名,所述方法还包括:接收同一节点内的存储设备发送的回源日志,所述回源日志包括回源URL;基于所述回源URL中的域名,确定所述本地数据库存储。
第三方面,提供了一种CDN中URL刷新装置,包括:接收模块,用于接收第一刷新请求,所述第一刷新请求包括至少一个待刷新URL;对比模块,用于将所述至少一个待刷新URL与本地数据库存储的URL进行对比;所述本地数据库中存储有本地储存的源文件对应的URL;刷新模块,用于执行针对存在于所述数据库中的待刷新URL的刷新操作。
第四方面,提供了一种CDN中URL刷新装置,包括:接收模块,用于接收来自负载均衡设备的第二刷新请求,所述第二刷新请求包括来自负载均衡设备的至少一个待刷新URL;过滤模块,用于基于本地数据库存储的标识,对所述来自负载均衡设备的至少一个待刷新URL进行过滤,得到过滤后的至少一个待刷新URL;所述本地数据库用于记录同一节点内存储设备存储的源文件的标识;发送模块,用于向所述同一节点内的存储设备发送第一刷新请求,所述第一刷新请求包括所述过滤后的至少一个待刷新URL;以便所述存储设备对所述过滤后的至少一个待刷新URL进行过滤,并针对经过过滤的过滤后的至少一个待刷新URL执行刷新操作。
第五方面,提供了一种存储设备。包括:存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
第六方面,提供了一种辅助设备。包括:存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第二方面所述的方法的步骤。
第七方面,提供了一种CDN节点。包括:存储设备,用于接收第一刷新请求,所述第一刷新请求包括至少一个待刷新URL;将所述至少一个待刷新URL与本地数据库存储的URL进行对比;所述本地数据库中存储有本地储存的源文件对应的URL;执行针对存在于所述数据库中的待刷新URL的刷新操作。
在一个可选的实现中,还包括:负载均衡设备,用于向所述存储设备发送所述第一刷新请求。
在另一个可选的实现中,还包括:辅助设备,用于接收来自负载均衡设备的第二刷新请求,所述第二刷新请求包括来自负载均衡设备的至少一个待刷新URL;基于本地数据库存储的标识,对所述来自负载均衡设备的至少一个待刷新URL进行过滤,得到过滤后的至少一个待刷新URL;所述本地数据库用于记录同一节点内存储设备存储的源文件的标识;向所述同一节点内的存储设备发送第一刷新请求,所述第一刷新请求包括所述过滤后的至少一个待刷新URL。
第八方面,本申请实施例又提供了一种计算机可读存储介质,所述计算机可读存储介质存储有机器可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行上述的第一方面或第二方面所述方法。
本申请实施例带来了以下有益效果:
本申请实施例提供的一种CDN中URL刷新方法、装置以及电子设备,能够利用存储设备中数据库存储的URL,对至少一个待刷新URL进行过滤,可以实现只针对存储设备中实际存储的URL进行刷新,减少了无效刷新URL的操作,减轻了存储设备的工作量压力,使得CDN中URL刷新的执行效率得到了大幅度提高,进而提高了整体CDN中的URL刷新效率。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种CDN节点结构示意图;
图2为本申请实施例提供的另一种CDN节点结构示意图;
图3为本申请实施例提供的一种CDN中URL刷新方法的流程示意图;
图4为本申请实施例提供的另一种CDN中URL刷新方法的流程示意图;
图5为本申请提供的一种CDN中URL刷新装置的结构示意图;
图6为本申请提供的另一种CDN中URL刷新装置的结构示意图;
图7为本申请提供的一种存储设备结构示意图;
图8为本申请提供的一种辅助设备结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前,现有的CDN提供的CDN中URL刷新方式包括:精确CDN中URL刷新、目录刷新以及针对URL进行正则表达式匹配进行筛选刷新。这些刷新的方式都是将需要刷新的所有URL发送到CDN节点内每一台CACHE设备中,之所以需要将所有URL都发送每一台CACHE设备,是因为需要确保脏数据在每台CACHE设备中都被删除。刷新请求被发送到CDN的CACHE中或其他存储器中,由CDN内部的CACHE或其他存储器执行刷新操作。
由于现有的CDN都采用分布式集群进行服务,即反向代理结合CACHE存储的架构,而不是单机的架构,在一个分布式集群中,URL存储通过一致性哈希的算法,尽可能的将一条URL对应的真实文件存储在分布式CDN集群中的某一台CACHE设备上,CDN集群内所有的反向代理都将这条URL的存储转发到对应的CACHE上存储,这样可做到分布式集群内的各个CACHE设备都存储的是不同内容,实现了分布式集群存储空间的最大化利用效率。
但是,由于是分布式存储的结构,CDN集群可能增减CACHE设备的数量等,同一份数据也有可能存储在多个CACHE设备上,只通过一致性哈希刷新,可能存在刷不干净。刷新需要确保文件被删除是第一位的,所以为了确保安全,现有的逻辑都是将所有的待刷新URL,在每台CACHE设备中都会删除一次,但是实际上每台CACHE设备存储的需要刷新的URL数量,远远少于所有的URL总数,从而造成了大量的无效刷新,同时由于任务量较大导致刷新效率低下。因此,无效刷新任务重,导致刷新效率低下,同时CACHE设备处理了很多无效请求,使之工作量压力较大。
本申请实施例提供了一种CDN中URL刷新方法、装置以及电子设备。通过该方法能够针对存储器中实际存储的URL进行刷新,减少了存储器的无效刷新URL的操作,减轻了CDN中的存储器的工作量压力,进而提高了整体CDN中的CDN中URL刷新效率。
图1为本申请实施例提供的一种CDN节点结构示意图。如图1所示,该CDN节点可以包括负载均衡设备101和存储设备102。
其中,存储设备102用于:接收第一刷新请求,第一刷新请求包括至少一个待刷新URL;将至少一个待刷新URL与本地数据库存储的URL进行对比;本地数据库中存储有本地储存的源文件对应的URL;执行针对存在于数据库中的待刷新URL的刷新操作。
负载均衡设备101用于:向存储设备发送第一刷新请求。
示例性的,如图1所示,本申请实施例中的存储设备102可以为CACHE设备;CACHE(高速缓冲存储器)设备。该CACHE设备在解析某一个第一次被访问的URL时,则会回源站去获取源文件。另外,如果CACHE设备在解析某一个被访问的URL时,本地未存在源文件,则会向上层CDN节点或源站去获取源文件。在CACHE设备向源站拉取源文件时,本地会记录日志,该日志可以称为回源日志,该回源日志记录每次回源信息。
在本申请实施例中,如图1所示,针对每个CACHE设备,均记录各自的回源日志,该回源日志可以记录在数据库130中。该数据库130下沉到CDN节点中的每一台CACHE设备中。由于每一台CACHE设备均记录有各自的回源信息,可以降低泄漏,提高实时性,提高了对URL数据记录的正确性。
该数据库130,也可以称为第一记录表。在实际应用中,可以在每台CACHE设备上建立一个数据库,该数据库用于存储通过在这台CACHE设备回源的URL列表,即通过哪一台CACHE回源,URL对应的存储在哪一台CACHE设备的数据库中。作为一个示例,CACHE设备每有一次回源动作,都会打印一条回源日志,然后存储在数据库中,数据库存储的回源日志,还可以基于URL进行去重。
在本申请实施例中,通过将负责记录回源日志的数据库下沉到CDN节点中的每一台CACHE设备中,而不是简单的布置在CDN节点整体的日志收集设备中。通过在每台CACHE设备中都建立数据库,不仅能够使数据库中储存的回源日志可以永久保留,还能够直接查询本机的回源日志,提高查询URL的效率。
图2为本申请实施例提供的另一种CDN节点结构示意图。如图2所示,该CDN节点可以包括负载均衡设备201、存储设备202和辅助设备203。
其中,存储设备202用于:接收第一刷新请求,第一刷新请求包括至少一个待刷新URL;将至少一个待刷新URL与本地数据库230存储的URL进行对比;本地数据库230中存储有本地储存的源文件对应的URL;执行针对存在于数据库230中的待刷新URL的刷新操作。
负载均衡设备201用于:向辅助设备203发送第二刷新请求。
辅助设备203用于:接收来自负载均衡设备的第二刷新请求,第二刷新请求包括来自负载均衡设备的至少一个待刷新URL;基于本地数据库230存储的标识,对来自负载均衡设备的至少一个待刷新URL进行过滤,得到过滤后的至少一个待刷新URL;本地数据库230用于记录同一节点内存储设备存储的源文件的标识;向同一节点内的存储设备发送第一刷新请求,第一刷新请求包括过滤后的至少一个待刷新URL。
但是由于数据库230下沉到CDN节点的存储设备202,查询数据库230势必消耗存储设备的计算资源,存储设备202的主要任务是服务客户,计算资源十分宝贵,为了减少查询数据库230的计算资源消耗,还可以设置辅助设备203和存储设备202双重过滤的方式。辅助设备203可以为日志收集处理设备,每台存储设备202的回源日志可以会汇报到同节点的辅助设备203,同一节点中辅助设备203可以设置有多台,以确保稳定。辅助设备203收集日志的实时性较存储设备有一定的延迟,但是可进行大部分的刷新过滤。
图3为本申请实施例提供的一种CDN中URL刷新方法的流程示意图。该方法可以应用于CDN节点中的存储器中,如图3所示,该方法包括:
S310,接收第一刷新请求,第一刷新请求包括至少一个待刷新URL。
其中,CDN主要依靠部署在各地的边缘服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需内容,起到降低网络拥塞、提高用户访问响应速度和命中率等作用。本申请实施例适用的CDN节点可以如前述图1或图2所示。
作为一个示例,CDN节点中的负载均衡设备,在接收到第一待刷新URL后,可以直接将该第一待刷新URL发送给同一节点中的所有存储设备。
作为另一个示例,CDN节点中的负载均衡设备,在接收到第二待刷新URL后,可以将该第二待刷新URL发送给同一节点中的辅助设备,由辅助设备过滤后,得到第一待刷新URL,再将该第一待刷新URL发送给同一节点中的所有存储设备。
S320,将至少一个待刷新URL与本地数据库存储的URL进行对比;本地数据库中存储有本地储存的源文件对应的URL。
其中,本地数据库存储的URL用于记录存储设备储存的源文件对应的URL,通常存储设备在回源后,会将源文件记录在本地,以便下次请求时无需再向源站进行获取。该本地数据库存储的URL可以为记录表或数据库的形式。通过本地数据库存储的URL可以过滤掉本地未存储的URL。
在一些实施例中,该本地数据库存储的UR可以根据本地回源日志确定,该回源日志包括回源URL。该回源日志可以结合前述图1所示的实施例中的描述进行参照理解,此处不再赘述。
S330,执行针对存在于数据库中的待刷新URL的刷新操作。
本步骤中,存储设备本地存储的待刷新URL对应的内容进行刷新。例如,将该待刷新URL及其对应的源文件删除。
通过本申请实施例,能够在存储设备中数据库存储的URL对至少一个待刷新URL进行过滤,可以实现只针对存储设备中实际存储的URL进行刷新,减少了无效刷新URL的操作,减轻了存储设备的工作量压力,是的CDN中URL刷新的执行效率得到了大幅度提高,进而提高了整体CDN中的URL刷新效率。
在实际应用中,本申请实施例提供的CDN中URL刷新方法的刷新效率可以和CDN节点内的存储器数量成正比。例如,需要刷新的URL总共有m条,一个CDN节点中共计有n台存储设备,如n台高速缓冲(CACHE)设备。n台存储器中的每台存储设备只会执行m/n条的刷新操作,如果一条URL数据只存在于一台存储设备中,则总共只需进行m次刷新操作。因此,对于CDN节点或CDN网络来说,URL刷新的执行效率得到了大幅度提高,在不影响整体的CDN中URL刷新进程,保证所有需要刷新的URL数据都得到了刷新的前提下,降低单台存储设备的刷新操作次数,降低了每台存储设备的工作量压力。
在一些实施例中,上述步骤S330具体可以通过如下步骤实现:
步骤1),将至少一个待刷新URL中未存在于数据库中的URL删除,得到至少一个待刷新URL中存在于数据库中的URL;
步骤2),针对至少一个待刷新URL中存在于数据库中的URL,执行刷新操作。
对于每一台CACHE设备,先经过基于本机中上述数据库存储的URL的清洗过滤,通将不在本机中储存的URL删除,剩下的即为本机中储存的且需要刷新的URL。通过该方法能够快速、精确的过滤出存储设备中实际需要刷新的URL。
在一些实施例中,第一刷新请求来自辅助设备,来自辅助设备的至少一个待刷新URL由辅助设备对来自负载均衡设备的至少一个待刷新URL进行过滤得到。
作为一个示例,负载均衡设备可以先将第一刷新请求发送至辅助设备,由辅助设备对该第一刷新请求进行过滤后,再将过滤后的第一刷新请求发送至存储设备。
当然,本申请实施例中,也可以是由负载均衡设备对第一刷新请求进行过滤,负载均衡设备可以直接向存储设备发送已经过滤后的第一刷新请求。
本申请实施例中,在存储器接收到第一刷新请求之前,辅助设备或负载均衡设备先对第一刷新请求中的待刷新URL进行过滤;在存储器接收到首次过滤后的第一刷新请求之后,存储器再利用本地数据库存储的URL,对该首次过滤后的第一刷新请求中的待刷新URL进行第二次过滤。通过对待刷新URL的这两次过滤过程,实现了针对待刷新URL的双重过滤效果。
图4为本申请实施例提供的另一种CDN中URL刷新方法的流程示意图。该方法可以应用于CDN节点中的存储器中,如图3所示,该方法包括:
S410,接收来自负载均衡设备的第二刷新请求,第二刷新请求包括来自负载均衡设备的至少一个待刷新URL。
S420,基于本地数据库存储的标识,对来自负载均衡设备的至少一个待刷新URL进行过滤,得到过滤后的至少一个待刷新URL。
其中,本地数据库用于记录同一节点内存储设备存储的源文件的标识。
S430,向同一节点内的存储设备发送第一刷新请求,第一刷新请求包括过滤后的至少一个待刷新URL。
通过步骤S430,以便存储设备对过滤后的至少一个待刷新URL进行过滤,并针对经过过滤的过滤后的至少一个待刷新URL执行刷新操作。
通过本申请实施例,可以减少存储设备的影响。
在一些实施例中,由于CDN服务于海量客户,所以服务的域名也是海量的,每一个CDN节点通常不会服务所有的客户,而且CDN节点服务的域名有一定的区域性,所以CDN节点中的辅助设备可以基于服务域名进行过滤,将没在此CDN节点服务的域名,先过滤掉。基于此,该源文件的标识可以为域名,该方法还可以包括如下步骤:
步骤a),接收同一节点内的存储设备发送的回源日志。该回源日志包括回源URL。
步骤b),基于回源URL中的域名,确定本地数据库存储。
需要说明的是,URL的组成包括:协议、域名、路径以及参数。例如,URL为:https://www.baidu.com/a/b/c11.txt?tn=48021271_15_hao_pg。
其中,“https”为协议,“www.baidu.com”为域名,“/a/b/c11.txt”为路径,“tn=48021271_15_hao_pg”为参数。
图5为本申请提供的一种CDN中URL刷新装置的结构示意图。如图5所示,CDN中URL刷新装置500包括:
接收模块501,用于接收第一刷新请求,第一刷新请求包括至少一个待刷新URL;
对比模块502,用于将至少一个待刷新URL与本地数据库存储的URL进行对比;本地数据库中存储有本地储存的源文件对应的URL;
刷新模块503,用于执行针对存在于数据库中的待刷新URL的刷新操作。
在一些实施例中,数据库中存储的URL根据本地回源日志确定,回源日志包括回源URL。
在一些实施例中,刷新模块503具体用于:
将至少一个待刷新URL中未存在于数据库中的URL删除,得到至少一个待刷新URL中存在于数据库中的URL;
针对至少一个待刷新URL中存在于数据库中的URL,执行刷新操作。
本申请实施例提供的CDN中URL刷新装置,与上述图3所示的实施例提供的CDN中URL刷新方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
图6为本申请提供的另一种CDN中URL刷新装置的结构示意图。如图6所示,CDN中URL刷新装置600包括:
接收模块601,用于接收来自负载均衡设备的第二刷新请求,第二刷新请求包括来自负载均衡设备的至少一个待刷新URL;
过滤模块602,用于基于本地数据库存储的标识,对来自负载均衡设备的至少一个待刷新URL进行过滤,得到过滤后的至少一个待刷新URL;本地数据库用于记录同一节点内存储设备存储的源文件的标识;
发送模块603,用于向同一节点内的存储设备发送第一刷新请求,第一刷新请求包括过滤后的至少一个待刷新URL;以便存储设备对过滤后的至少一个待刷新URL进行过滤,并针对经过过滤的过滤后的至少一个待刷新URL执行刷新操作。
在一些实施例中,源文件的标识为域名,该装置还包括:
接收模块601还用于,接收同一节点内的存储设备发送的回源日志,回源日志包括回源URL;
确定模块,用于基于回源URL中的域名,确定本地数据库存储。
本申请实施例提供的CDN中URL刷新装置,与上述图4所示的实施例提供的CDN中URL刷新方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
如图7所示,本申请实施例提供的一种存储设备700,包括:处理器701、存储器702和总线,所述存储器702存储有所述处理器701可执行的机器可读指令,当电子设备运行时,所述处理器701与所述存储器702之间通过总线通信,所述处理器701执行所述机器可读指令,以执行如上述CDN中URL刷新方法的步骤。
具体地,上述存储器702和处理器701能够为通用的存储器和处理器,这里不做具体限定,当处理器701运行存储器702存储的计算机程序时,能够执行上述CDN中URL刷新方法。
如图8所示,本申请实施例提供的一种辅助设备800,包括:处理器801、存储器802和总线,所述存储器802存储有所述处理器801可执行的机器可读指令,当电子设备运行时,所述处理器801与所述存储器802之间通过总线通信,所述处理器801执行所述机器可读指令,以执行如上述CDN中URL刷新方法的步骤。
具体地,上述存储器802和处理器801能够为通用的存储器和处理器,这里不做具体限定,当处理器801运行存储器802存储的计算机程序时,能够执行上述CDN中URL刷新方法。
示例性的,存储设备或辅助设备还可以包括:通信接口,处理器、通信接口和存储器通过总线连接;处理器用于执行存储器中存储的可执行模块,例如计算机程序。
其中,存储器可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7或图8中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器用于存储程序,所述处理器在接收到执行指令后,执行所述程序,前述本申请任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器中,或者由处理器实现。
处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
对应于上述CDN中URL刷新方法,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有机器可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行上述CDN中URL刷新方法的步骤。
本申请实施例所提供的CDN中URL刷新装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述移动控制方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种CDN中URL刷新方法,其特征在于,包括:
接收第一刷新请求,所述第一刷新请求包括至少一个待刷新URL;
将所述至少一个待刷新URL与本地数据库存储的URL进行对比;所述本地数据库中存储有本地储存的源文件对应的URL;
执行针对存在于所述数据库中的待刷新URL的刷新操作;
执行针对存在于所述数据库中的待刷新URL的刷新操作的步骤,包括:
将所述至少一个待刷新URL中未存在于所述数据库中的URL删除,得到所述至少一个待刷新URL中存在于所述数据库中的URL;
针对所述至少一个待刷新URL中存在于所述数据库中的URL,执行刷新操作。
2.根据权利要求1所述的方法,其特征在于,所述数据库中存储的所述URL根据本地回源日志确定,所述回源日志包括回源URL。
3.根据权利要求1所述的方法,其特征在于,所述第一刷新请求来自辅助设备,来自所述辅助设备的至少一个待刷新URL由所述辅助设备对来自负载均衡设备的至少一个待刷新URL进行过滤得到。
4.一种CDN中URL刷新方法,其特征在于,包括:
接收来自负载均衡设备的第二刷新请求,所述第二刷新请求包括来自负载均衡设备的至少一个待刷新URL;
基于本地数据库存储的标识,对所述来自负载均衡设备的至少一个待刷新URL进行过滤,得到过滤后的至少一个待刷新URL;所述本地数据库用于记录同一节点内存储设备存储的源文件的标识;
向所述同一节点内的存储设备发送第一刷新请求,所述第一刷新请求包括所述过滤后的至少一个待刷新URL;以便所述存储设备对所述过滤后的至少一个待刷新URL进行过滤,并针对经过过滤的过滤后的至少一个待刷新URL执行刷新操作。
5.根据权利要求4所述的方法,其特征在于,源文件的标识为域名,所述方法还包括:
接收同一节点内的存储设备发送的回源日志,所述回源日志包括回源URL;
基于所述回源URL中的域名,确定所述本地数据库存储。
6.一种CDN中URL刷新装置,其特征在于,包括:
接收模块,用于接收第一刷新请求,所述第一刷新请求包括至少一个待刷新URL;
对比模块,用于将所述至少一个待刷新URL与本地数据库存储的URL进行对比;所述本地数据库中存储有本地储存的源文件对应的URL;
刷新模块,用于执行针对存在于所述数据库中的待刷新URL的刷新操作;
刷新模块具体用于:
将至少一个待刷新URL中未存在于数据库中的URL删除,得到至少一个待刷新URL中存在于数据库中的URL;
针对至少一个待刷新URL中存在于数据库中的URL,执行刷新操作。
7.一种CDN中URL刷新装置,其特征在于,包括:
接收模块,用于接收来自负载均衡设备的第二刷新请求,所述第二刷新请求包括来自负载均衡设备的至少一个待刷新URL;
过滤模块,用于基于本地数据库存储的标识,对所述来自负载均衡设备的至少一个待刷新URL进行过滤,得到过滤后的至少一个待刷新URL;所述本地数据库用于记录同一节点内存储设备存储的源文件的标识;
发送模块,用于向所述同一节点内的存储设备发送第一刷新请求,所述第一刷新请求包括所述过滤后的至少一个待刷新URL;以便所述存储设备对所述过滤后的至少一个待刷新URL进行过滤,并针对经过过滤的过滤后的至少一个待刷新URL执行刷新操作。
8.一种存储设备,其特征在于,包括:存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至3任一项所述的方法的步骤。
9.一种辅助设备,其特征在于,包括:存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求4或5所述的方法的步骤。
10.一种CDN节点,其特征在于,包括:
存储设备,用于接收第一刷新请求,所述第一刷新请求包括至少一个待刷新URL;将所述至少一个待刷新URL与本地数据库存储的URL进行对比;所述本地数据库中存储有本地储存的源文件对应的URL;执行针对存在于所述数据库中的待刷新URL的刷新操作;
所述执行针对存在于所述数据库中的待刷新URL的刷新操作,包括:将所述至少一个待刷新URL中未存在于所述数据库中的URL删除,得到所述至少一个待刷新URL中存在于所述数据库中的URL;针对所述至少一个待刷新URL中存在于所述数据库中的URL,执行刷新操作。
11.根据权利要求10所述的CDN节点,其特征在于,还包括:
负载均衡设备,用于向所述存储设备发送所述第一刷新请求。
12.根据权利要求10所述的CDN节点,其特征在于,还包括:
辅助设备,用于接收来自负载均衡设备的第二刷新请求,所述第二刷新请求包括来自负载均衡设备的至少一个待刷新URL;基于本地数据库存储的标识,对所述来自负载均衡设备的至少一个待刷新URL进行过滤,得到过滤后的至少一个待刷新URL;所述本地数据库用于记录同一节点内存储设备存储的源文件的标识;向所述同一节点内的存储设备发送第一刷新请求,所述第一刷新请求包括所述过滤后的至少一个待刷新URL。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有机器可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行所述权利要求1至5任一项所述的方法。
CN201911197702.2A 2019-11-27 2019-11-27 Cdn中url刷新方法、装置、设备以及cdn节点 Active CN112861031B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911197702.2A CN112861031B (zh) 2019-11-27 2019-11-27 Cdn中url刷新方法、装置、设备以及cdn节点
JP2022551426A JP7392168B2 (ja) 2019-11-27 2020-11-17 Cdnにおけるurlリフレッシュ方法、装置、機器及びcdnノード
PCT/CN2020/129230 WO2021104100A1 (zh) 2019-11-27 2020-11-17 Cdn中url刷新方法、装置、设备以及cdn节点
US17/778,102 US12067069B2 (en) 2019-11-27 2020-11-17 URL refreshing method, apparatus and device in CDN, and CDN node

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911197702.2A CN112861031B (zh) 2019-11-27 2019-11-27 Cdn中url刷新方法、装置、设备以及cdn节点

Publications (2)

Publication Number Publication Date
CN112861031A CN112861031A (zh) 2021-05-28
CN112861031B true CN112861031B (zh) 2024-04-02

Family

ID=75996003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911197702.2A Active CN112861031B (zh) 2019-11-27 2019-11-27 Cdn中url刷新方法、装置、设备以及cdn节点

Country Status (4)

Country Link
US (1) US12067069B2 (zh)
JP (1) JP7392168B2 (zh)
CN (1) CN112861031B (zh)
WO (1) WO2021104100A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861031B (zh) * 2019-11-27 2024-04-02 北京金山云网络技术有限公司 Cdn中url刷新方法、装置、设备以及cdn节点
CN114598748B (zh) * 2021-12-08 2024-09-27 北京金山云网络技术有限公司 缓存资源的刷新方法、装置及系统
CN117194827B (zh) * 2023-11-08 2024-02-27 联通在线信息科技有限公司 Cdn目录刷新的方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847395A (zh) * 2016-04-25 2016-08-10 乐视控股(北京)有限公司 一种缓存文件处理方法及设备
WO2016177283A1 (zh) * 2015-05-06 2016-11-10 阿里巴巴集团控股有限公司 缓存目录刷新方法和装置
US9858301B1 (en) * 2015-01-20 2018-01-02 Amazon Technologies, Inc. Selective flushing of a database journal for an asymmetrically-encrypted database
CN109344353A (zh) * 2018-09-12 2019-02-15 福建天泉教育科技有限公司 一种可配置化的本地缓存刷新方法及终端
CN110020272A (zh) * 2017-08-14 2019-07-16 中国电信股份有限公司 缓存方法、装置以及计算机存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7233700A (en) * 1999-12-23 2001-06-28 Access Devices Limited TV receiving and internet browsing apparatus
US6591266B1 (en) * 2000-07-14 2003-07-08 Nec Corporation System and method for intelligent caching and refresh of dynamically generated and static web content
US7707265B2 (en) * 2004-05-15 2010-04-27 International Business Machines Corporation System, method, and service for interactively presenting a summary of a web site
CN100473023C (zh) * 2006-12-12 2009-03-25 中兴通讯股份有限公司 Iptv系统冗余数据的清除方法
US8504775B2 (en) * 2007-03-12 2013-08-06 Citrix Systems, Inc Systems and methods of prefreshening cached objects based on user's current web page
US8688837B1 (en) * 2009-03-27 2014-04-01 Amazon Technologies, Inc. Dynamically translating resource identifiers for request routing using popularity information
US20110208850A1 (en) * 2010-02-25 2011-08-25 At&T Intellectual Property I, L.P. Systems for and methods of web privacy protection
EP3068102B1 (en) 2011-12-29 2017-11-08 Koninklijke KPN N.V. Network-initiated content streaming control
CN102624703B (zh) * 2011-12-31 2015-01-21 华为数字技术(成都)有限公司 统一资源定位符url的过滤方法及装置
CN103678337B (zh) * 2012-09-06 2017-12-12 华为技术有限公司 数据清除方法、装置及系统
US9141669B2 (en) * 2013-01-22 2015-09-22 Go Daddy Operating Company, LLC Configuring an origin server content delivery using a pulled data list
US20150052584A1 (en) * 2013-08-13 2015-02-19 News UK & Ireland Limited Access Control System
US20160110466A1 (en) * 2014-10-16 2016-04-21 Palo Alto Research Center Incorporated System and method for ranking named-data networking objects in a cache
CN112513830A (zh) * 2019-07-15 2021-03-16 华为技术有限公司 内容分发网络中的回源方法及相关装置
CN112861031B (zh) * 2019-11-27 2024-04-02 北京金山云网络技术有限公司 Cdn中url刷新方法、装置、设备以及cdn节点
US11128732B1 (en) * 2020-08-04 2021-09-21 Akamai Technologies, Inc. Admission policies for queued website visitors
US20220353081A1 (en) * 2021-04-23 2022-11-03 Meta Platforms, Inc. User authentication techniques across applications on a user device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858301B1 (en) * 2015-01-20 2018-01-02 Amazon Technologies, Inc. Selective flushing of a database journal for an asymmetrically-encrypted database
WO2016177283A1 (zh) * 2015-05-06 2016-11-10 阿里巴巴集团控股有限公司 缓存目录刷新方法和装置
CN106202112A (zh) * 2015-05-06 2016-12-07 阿里巴巴集团控股有限公司 缓存目录刷新方法和装置
CN105847395A (zh) * 2016-04-25 2016-08-10 乐视控股(北京)有限公司 一种缓存文件处理方法及设备
CN110020272A (zh) * 2017-08-14 2019-07-16 中国电信股份有限公司 缓存方法、装置以及计算机存储介质
CN109344353A (zh) * 2018-09-12 2019-02-15 福建天泉教育科技有限公司 一种可配置化的本地缓存刷新方法及终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于企业级内外网应用场景的实时缓存技术研究;彭永勇;张晓韬;刘荣刚;;信息与电脑(理论版)(第03期);全文 *
浅议CDN技术及其在IPTV系统中的应用;徐俭;;有线电视技术(第05期);全文 *

Also Published As

Publication number Publication date
JP2023500418A (ja) 2023-01-05
CN112861031A (zh) 2021-05-28
JP7392168B2 (ja) 2023-12-05
US20230022141A1 (en) 2023-01-26
WO2021104100A1 (zh) 2021-06-03
US12067069B2 (en) 2024-08-20

Similar Documents

Publication Publication Date Title
US10275232B1 (en) Architecture for incremental deployment
CN112861031B (zh) Cdn中url刷新方法、装置、设备以及cdn节点
CN107426302B (zh) 访问调度方法、装置、系统、终端、服务器及存储介质
US12113877B2 (en) System and method for improvements to a content delivery network
CN106293892B (zh) 分布式流计算系统、方法和装置
US9148332B2 (en) Content delivery network
US9552326B2 (en) Cache system and cache service providing method using network switch
CN111459986B (zh) 数据计算系统及方法
CN106933548B (zh) 全局信息获取、处理及更新、方法、装置和系统
US8984162B1 (en) Optimizing performance for routing operations
CN104714965A (zh) 静态资源去重方法、静态资源管理方法及装置
CN109167840B (zh) 一种任务推送方法、节点自治服务器及边缘缓存服务器
CN111782692B (zh) 一种频率控制方法及装置
CN110795395B (zh) 文件部署系统和文件部署方法
US20170153909A1 (en) Methods and Devices for Acquiring Data Using Virtual Machine and Host Machine
EP2802979A2 (en) Processing store visiting data
EP3584669A1 (en) Webpage loading method, webpage loading system, and server
CN110737857A (zh) 一种后端分页加速方法、系统、终端及存储介质
CN107211035A (zh) 用于在内容递送网络中监测服务的方法和网络节点
CN112860720B (zh) 一种存储容量的更新方法以及装置
CN114089917A (zh) 分布式对象存储集群及其扩容方法、装置及电子设备
CN112579639A (zh) 数据处理方法、装置、电子设备及存储介质
CN113746920B (zh) 一种数据转发方法、装置、电子设备及计算机可读存储介质
CN113411364B (zh) 资源获取方法、装置及服务器
CN111240750B (zh) 一种目标应用程序的唤醒方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant