CN110943876A - Url状态检测方法、装置、设备和系统 - Google Patents

Url状态检测方法、装置、设备和系统 Download PDF

Info

Publication number
CN110943876A
CN110943876A CN201811108801.4A CN201811108801A CN110943876A CN 110943876 A CN110943876 A CN 110943876A CN 201811108801 A CN201811108801 A CN 201811108801A CN 110943876 A CN110943876 A CN 110943876A
Authority
CN
China
Prior art keywords
url
query task
request
sending
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811108801.4A
Other languages
English (en)
Other versions
CN110943876B (zh
Inventor
马楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811108801.4A priority Critical patent/CN110943876B/zh
Publication of CN110943876A publication Critical patent/CN110943876A/zh
Application granted granted Critical
Publication of CN110943876B publication Critical patent/CN110943876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/10Active monitoring, e.g. heartbeat, ping or trace-route
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/146Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种URL状态检测方法、装置、设备和系统。所述方法包括:获取用于查询边缘服务器中URL缓存信息的查询任务请求,生成查询任务ID;向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的所述URL缓存信息;进一步地,获取用于检测URL状态的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果到客户端。通过上述技术方案,采用分布式结构进行异步数据处理的方式,中心服务器能够快速、高效的检测出各边缘服务器中URL状态并反馈给对应的客户端。

Description

URL状态检测方法、装置、设备和系统
技术领域
本发明实施例涉及计算机技术领域,尤其涉及内容分发网络的URL检测方法、装置、设备和系统。
背景技术
为了提升网络内容传输的速度和稳定性,在现有技术中通常采用内容分发网络(Content Delivery Network,CDN)技术。CDN技术的基本原理是将源站的URL缓存到部署在离用户接入网络最近的IDC机房的边缘服务器中,当用户访问某网站时,通过DNS解析或者根据用户请求确定用户所在地域和接入网络的位置信息,然后通过结合当前网络状况和用户位置信息将用户的请求引导到访问速度最快的边缘服务器。一般来说,在CDN网络中的边缘服务器,都有可能因为用户请求过而缓存了一些统一资源定位符(Uniform ResourceLocator,URL)信息,这对某些内容访问有较高的精准性要求的网站来说,在使用边缘服务器时会考虑到URL信息在边缘服务器上状态与网站源站中的该URL状态是否一致等问题。
在现有技术中,为了检测URL在边缘服务器中的状态,通常由中心服务器模拟不同的客户端发起用户请求,然后查看边缘服务器返回的Response信息,和源站返回的Response信息进行对比,从而确定URL在边缘服务器的状态。采用由中心服务器模拟客户端发起用户请求的方式,由于检测结构和检测方式不合理,通常会为中心服务器带来比较大的访问压力,而且采用同步查询的效率比较低。
基于上述方案,需要一种能够快速、高效的对边缘服务器中URL状态进行检测的方案。
发明内容
为了解决上述问题,本发明实施例提供一种内容分发网络的URL检测方法、装置、设备和系统,用以实现快速、高效的对边缘服务器中URL状态进行检测。
第一方面,本发明实施例提供一种内容分发网络的URL检测方法,包括:
中心装置接收用户的查询任务请求,并基于所述查询任务请求生成查询任务ID,所述中心装置设置于中心服务器上;
所述中心装置异步处理所述查询任务请求,并将所述查询任务请求发送至代理装置,所述代理装置设置于边缘服务器上;
所述中心装置接收所述代理装置反馈的对应于所述查询任务请求的URL缓存信息;
所述中心装置对所述URL缓存信息进行数据处理后的URL检测结果;
所述中心装置基于所述查询任务ID将所述URL检测结果返回给用户。
第二方面,本发明实施例提供一种内容分发网络的URL检测系统,包括:
代理装置,所述代理装置设置在边缘服务器上;
中心装置,所述中心装置设置在中心服务器上,所述中心装置中心装置与所述代理装置通信连接;
其中,所述中心装置基于接收的查询任务请求生成查询任务ID,中心装置异步处理所述查询任务请求,并将所述查询任务请求发送至所述代理装置;所述代理装置依据所述查询任务请求获得与之相对应的URL缓存信息,并将所述URL缓存信息发送至所述中心装置。
第三方面,本发明实施例提供一种内容分发网络的URL检测方法,包括:
基于查询任务请求生成查询任务ID;
向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的URL缓存信息;
获取用于检测URL状态的包含所述查询任务ID的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果。
第四方面,本发明实施例提供一种内容分发网络的URL检测装置,包括:
获取模块,用于基于查询任务请求生成查询任务ID;
发送模块,用于向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的URL缓存信息;
检测模块,用于获取用于检测URL状态的包含所述查询任务ID的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果。
第五方面,本发明实施例提供一种内容分发网络的URL检测设备,包括第一处理器、第一存储器、第一通信接口,所述第一存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述第一处理器执行时实现:
基于查询任务请求生成查询任务ID;
向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的URL缓存信息;
获取用于检测URL状态的包含所述查询任务ID的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果。
第六方面,本发明实施例提供一种内容分发网络的URL检测方法,包括:
发送用于查询边缘服务器中URL缓存信息的查询任务请求;
获取由中心装置基于所述查询任务请求生成的查询任务ID;
发送用于检测URL状态的携带有所述查询任务ID的检测状态请求;
获取URL检测结果。
第七方面,本发明实施例提供一种内容分发网络的URL检测装置,包括:
第一发送模块,用于发送用于查询边缘服务器中URL缓存信息的查询任务请求;
第一获取模块,用于获取由中心装置基于所述查询任务请求生成的查询任务ID;
第二发送模块,用于发送用于检测URL状态的携带有所述查询任务ID的检测状态请求;
第二获取模块,用于获取URL检测结果。
第八方面,本发明实施例提供一种内容分发网络的URL检测设备,包括:第二处理器、第二存储器、第二通信接口,所述第二存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述第二处理器执行时实现:
发送用于查询边缘服务器中URL缓存信息的查询任务请求;
获取由中心装置基于所述查询任务请求生成的查询任务ID;
发送用于检测URL状态的携带有所述查询任务ID的检测状态请求;
获取URL检测结果。
本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第四方面中的内容分发网络的URL检测方法。
第九方面,本发明实施例提供一种内容分发网络的URL检测系统,包括:客户端、中心装置;
所述客户端,用于发送用于查询边缘服务器中URL缓存信息的查询任务请求;获取由中心装置基于所述查询任务请求生成的查询任务ID;发送用于检测URL状态的携带有所述查询任务ID的检测状态请求;获取URL检测结果;
所述中心装置,用于基于查询任务请求生成查询任务ID;向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的URL缓存信息;获取用于检测URL状态的包含所述查询任务ID的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果。
本发明实施例中,采用一个中心装置同时检测多个边缘服务器中URL状态的分布式结构,在进行内容分发网络的URL检测时,采用异步数据处理的检测方式。具体来说,中心装置接收到客户端发送的查询任务请求,中心装置根据该查询任务请求向各个边缘服务器发送查询任务ID,从而获取各个边缘服务器反馈的URL缓存信息;进一步地,中心装置在接收到客户端发送的检测状态请求后,中心装置将此前接收到的URL缓存信息与从源站获取的URL源站信息进行比较,从而可以确定该URL在各边缘服务器的状态。通过上述技术方案,采用分布式异步数据处理的方式,中心装置能够快速、高效的检测出各边缘服务器中URL状态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种内容分发网络的URL检测系统的结构示意图;
图2为图1所示内容分发网络的URL检测系统工作时的交互过程示意图;
图3为本发明实施例提供的一种内容分发网络的URL检测方法的流程图;
图4为本发明实施例提供的另一种内容分发网络的URL检测系统的结构示意图;
图5为本发明实施例提供的另一种内容分发网络的URL检测方法的流程图;
图6为本说明书实施例提供的再一种内容分发网络的URL检测方法的流程图;
图7为本说明书实施例提供的一种内容分发网络的URL检测装置的结构示意图;
图8为与图7所述实施例提供的一种内容分发网络的URL检测设备对应的中心装置的结构示意图;
图9为本说明书实施例提供的另一种内容分发网络的URL检测装置的结构示意图;
图10为与图9所述实施例提供的一种内容分发网络的URL检测设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
图1为本发明实施例提供的一种内容分发网络的URL检测系统的结构示意图,如图1所示,该URL状态检测系统包括:
客户端、中心装置和边缘服务器。在本发明一个或者多个实施例中,采用中心装置与边缘服务器是一对多的分布式结构;进一步地,在进行检测时,采用异步处理的方式。具体来说,中心装置接收到客户端发送的查询任务请求,中心装置根据该查询任务请求向各个边缘服务器发送查询任务ID,从而获取各个边缘服务器反馈的URL缓存信息;进一步地,中心装置在接收到客户端发送的查询状态请求后,中心装置将此前接收到的URL缓存信息与从源站获取的URL源站信息进行比较,从而可以确定该URL在各边缘服务器的状态。
其中,客户端,用于发送用于查询边缘服务器中URL缓存信息的查询任务请求;获取由中心装置基于所述查询任务请求生成的查询任务ID;发送用于检测URL状态的携带有所述查询任务ID的检测状态请求;获取URL检测结果。
其中,中心装置,用于基于查询任务请求生成查询任务ID;向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的URL缓存信息;获取用于检测URL状态的包含所述查询任务ID的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果。
其中,边缘服务器,用于存储URL等资源信息,并为中心装置提供URL缓存信息。具体来说,边缘服务器包含代理装置和缓存装置,边缘服务器中的代理装置接收中心装置发送的查询任务请求,进一步地,代理装置将该查询任务请求发送至缓存装置。缓存装置根据查询任务请求获取到URL缓存信息,并将该URL缓存信息发送至代理装置。进一步地,代理装置将该URL缓存信息反馈给中心装置。不同于通过中心装置模拟网络发起检测请求,能够有效减轻中心装置压力、避免检测过程中造成流量损失。
图2为图1所示内容分发网络的URL检测系统工作时的交互过程示意图,如图2所示,可以包括如下步骤:
201:客户端向中心装置发送用于查询边缘服务器中URL缓存信息的查询任务请求。
客户端的用户若想了解某个URL在各边缘服务器中的状态,可以向中心装置发送查询任务请求,在该任务请求中,包含待查询URL和查询字段(比如,Range参数)。在实际应用中,在某些情况下,用户不需要了解URL资源的全部内容信息,因此,为了提高检测效率,用户可以通过限定查询字段获取到其所需的URL缓存信息,比如,Response header。
202:中心装置根据接收到的查询任务请求生成查询任务ID。
需要说明的是,不同的查询任务请求所对应的字段可能不同,比如,有的查询字段是etag,有的查询字段是Range参数。需要说明的是,Range参数的范围,可以由用户通过客户端限定,也可以设为默认值。
203:中心装置发送查询任务ID给客户端,发送查询任务请求给边缘服务器中的代理装置。
中心装置将查询任务ID发送给客户端,同时将查询任务请求发送给边缘服务器,将URL状态的检测过程分为查询任务和检测状态两个步骤,以便从而可以实现同时对多个边缘服务器的异步数据处理。
204:代理装置将接收到的查询任务请求发送给缓存装置。
代理装置将查询任务请求发送给位于同一个边缘服务器中的缓存装置,以便缓存装置能够反馈对应的URL缓存信息。这里通过代理装置向缓存装置发送查询任务请求,能够避免流量损失。
205:缓存装置将URL缓存信息发送给代理装置。
206:代理装置将URL缓存信息发送给中心装置。
这里所说的URL缓存信息,比如可以是Response header、URL的MD5信息、摘要信息。具体地,边缘服务器所反馈的URL缓存信息是根据查询任务请求中包含的查询字段确定的。如前文所述可知,有些URL缓存信息(比如,部分MD5信息)的获取,还需要根据客户端提供的Range参数确定。
207:客户端发送用于检测URL状态的检测状态请求。
在实际应用中,客户端在发送检测状态请求后,需要判断中心装置是否已经执行完成对应的查询任务请求。若执行完成,则继续下一步,若未执行完成,则继续等待查询任务请求执行完成。
容易理解,本发明的技术方案采用异步数据处理的方式,中心装置可以同时对多个边缘服务器中URL缓存信息进行查询,有一些比较复杂的查询可能会耗时较长,因此,客户端发送检测状态请求后,先获取已经完成查询任务请求的边缘服务器提供的URL缓存信息;对于未完成查询任务请求的等待完成后再进一步获取,采用异步数据处理的方式,能够有效提高检测效率
208:中心装置获取源站提供的URL源站信息。
在实际应用中,源站提供的URL源站信息是比较全面的资源数据。中心装置在接收到源站反馈的URL源站信息之后,进一步根据查询字段确认需要对比的内容。
209:中心装置根据URL缓存信息和URL源站信息,进行数据处理得到URL检测结果。
这里所说的数据处理方式可以是数据对比的方式,将URL缓存信息和URL源站信息进行对比,从而确定各边缘服务器中的URL缓存信息与源站中的URL源站信息是否一致,比如,URL的MD5值是否一致,摘要信息是否一致等等。进一步地,根据需要,还可以将比较结果进行分类,比如,URL一致的为第一类,URL不一致的为第二类,还可以将未包含该URL的边缘服务器作为第三类。
210:发送URL检测结果给客户端。
将比较后的URL检测结果发送给客户端,在该URL检测结果中包含网络中各边缘服务器中该URL检测结果。
图3为本发明实施例提供的一种内容分发网络的URL检测方法的流程示意图。该方法具体包括以下步骤:
301:中心装置接收用户的查询任务请求,并基于所述查询任务请求生成查询任务ID。
一般来说,生成的查询任务ID与发出任务请求的用户之间具有一一对应的关系。从而,可以使得中心装置能够准确的将URL检测结果反馈到对应的用户。这里所说的中心装置,主要是用来根据用户查询任务请求,协助完成查询任务,并由中心装置反馈查询结果给用户。
302:所述中心装置异步处理所述查询任务请求,并将所述查询任务请求发送至代理装置,所述代理装置设置于边缘服务器上。
这里所说的中心装置异步处理查询任务请求,具体来说,是中心装置可以同时向多个代理装置发送查询任务请求,并且各个代理装置处理查询任务请求时是相互独立的,换言之,中心装置采用异步处理的方式处理查询任务请求。
这里所说的边缘服务器是至位于内容分发网络边缘的服务器,比如可以是防火墙服务器、高速缓存服务器、负载均衡服务器、DNS服务器。
303:所述中心装置接收所述代理装置反馈的对应于所述查询任务请求的URL缓存信息。
这里所说的代理装置主要用于根据接收到中心装置发出的查询任务请求,向缓存装置获取到对应的URL缓存信息,并将查询到的URL缓存信息反馈给中心装置;能够避免在中心装置进行URL检测时直接与缓存装置进行数据交互而产生不必要的流量损失。
304:所述中心装置对所述URL缓存信息进行数据处理生成的URL检测结果。
中心装置在接收到URL缓存信息之后,可以根据预设的数据处理方式(比如,进行数据对比)生成URL检测结果,通过中心装置能够确定各个边缘服务器中URL状态,比如,在该边缘服务器中是否存在指定URL、指定URL是否与源站中URL一致、是否正确等等。
305:所述中心装置基于所述查询任务ID将所述URL检测结果返回给所述用户。
在生成查询任务ID之后,中心装置将查询任务ID反馈给用户。进一步地,在中心装置获得URL检测结果后可以根据查询任务ID将该URL检测结果反馈给用户。
在本发明的一个或者多个实施例中,所述边缘服务器还包括缓存装置;所述中心装置通过所述代理装置将所述查询任务请求发送给所述缓存装置;所述中心装置通过所述代理装置接收所述缓存装置反馈的URL缓存信息。
该代理装置与缓存装置同时设置在边缘服务器中,一个代理装置对应一个缓存装置。URL资源存储在缓存装置中。在进行URL检测时,中心装置进行URL状态检测时,中心装置首先将查询任务请求发送给代理装置,再通过代理装置将该查询任务请求发送给缓存装置。进一步地,缓存装置将查询到的URL缓存信息通过代理装置发送给中心装置。通过代理装置检测缓存装置中URL缓存信息,无需中心装置模拟边缘网络发起查询请求,能够避免检测过程中流量的损失。
在本发明的一个或者多个实施例中,所述查询任务请求包含待查询URL和查询字段。
这里所说的查询字段可以包括:Range参数、摘要信息查询字段。比如,针对URL:http://……,设定对应的查询字段:Last-Modify,从而可以获得各边缘服务器中该URL资源的最后修改时间,进一步地,获取根据该URL的Last-Modify生成的摘要信息。中心装置将该查询任务请求发送到代理装置,代理装置将该查询任务请求发送给缓存装置。缓存装置根据该请求中的待查询URL和指定的查询字段内容,查询获得待查询URL的与查询字段对应的缓存信息。
前文所述的查询任务ID也可以是根据发起该任务请求用户信息,以及待查询URL、查询字段生成的。
在本发明的一个或者多个实施例中,所述代理装置将接收到的所述缓存装置反馈的URL缓存信息发送给所述中心装置,具体可以包括:所述代理装置根据所述缓存装置提供的摘要信息查询接口获取摘要信息;或者,所述代理装置获取对应于所述待查询URL和所述查询字段的MD5信息;所述中心装置接收所述代理装置发送的所述摘要信息或所述MD5信息。
在实际应用中,进行URL检测时,可以不获取完整的URL缓存信息,换言之,可以只获取部分用户所需的摘要信息,比如,Last-Modify查询字段对应的摘要信息。
在需要获取并检测URL资源的应用场景中,由于有些URL资源过大,为了提高URL资源查询和检测的效率,可以获取部分资源并生成对应的部分MD5信息。例如,假设Range参数由用户指定或者系统默认,参数范围为0-200,待查询的URL资源假设为视频资源,由于视频资源比较大,因此,可以对视频资源0-200个字节计算MD5。
图4为本发明实施例提供的另一种内容分发网络的URL检测系统的结构示意图。该系统包括:
代理装置41,所述代理装置设置在边缘服务器上;
中心装置42,所述中心装置与所述代理装置通信连接;
其中,所述中心装置基于接收的查询任务请求生成查询任务ID,中心装置异步处理所述查询任务请求,并将所述查询任务请求发送至所述代理装置;所述代理装置依据所述查询任务请求获得与之相对应的URL缓存信息,并将所述URL缓存信息发送至所述中心装置。
在边缘服务器中,还包含缓存装置,用于存储URL资源信息。中心装置在对各个边缘服务器中URL资源状态进行检测时,中心装置将查询任务请求发送给代理装置,进一步地,由代理装置将该查询请求发送给缓存装置,并获取缓存装置通过代理装置反馈的URL缓存信息。不同于通过中心装置模拟网络发起检测请求,能够有效减轻中心装置压力、避免检测过程中造成流量损失。
图5为本发明实施例提供的另一种内容分发网络的URL检测方法的流程示意图,该方法可以由图1中的中心装置来执行。如图5所示,该方法包括以下步骤:
501:基于查询任务请求生成查询任务ID。
该查询任务请求是由客户端发送给中心装置的,在实际应用中,可能同时出现多个客户端向该中心装置发送相同或者不同的查询任务请求。该查询任务请求可以包括待查询URL、查询字段、以及对查询字段进行限定的相关数据等等。
客户端所发起的针对一个URL的查询任务请求对应的查询任务ID是唯一的。例如,客户端A发起针对URL1的查询任务请求对应的查询任务ID1是唯一的查询任务ID,该查询任务ID1将由中心装置发送给对应的客户端A。
由于本发明技术方案采用异步数据处理的方式,需要借助查询任务ID实现异步数据处理。具体来说,将URL缓存信息的查询和URL检测结果的检测分步进行,这两步都是基于同一查询任务ID实现的。
502:向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的所述URL缓存信息。
如前文所述可知,本发明技术方案应用在一个中心装置对应多个边缘服务器的分布式结构中,在查询URL缓存信息时,需要通过一个中心装置实现对各个边缘服务器的查询;为了提高查询效率,可以采用异步数据处理的方式,比如,中心装置向第一边缘服务器发送查询任务ID之后,不需要等待第一边缘服务器返回URL缓存信息,可以进一步地向其他边缘服务器发送同样的查询任务ID。当然,在实际应用中,中心装置向边缘服务器可以同时向多个边缘服务器发送查询任务ID。
中心装置在获取边缘服务器反馈的URL缓存信息时,可以有边缘服务器主动返回URL缓存信息;也可以由中心装置按照一定的周期轮询各边缘服务器并获取URL缓存信息;还可以在接收到检测状态请求之后,向各边缘服务器询问查询任务请求是否完成,若完成则获取URL缓存信息。
503:获取用于检测URL状态的包含所述查询任务ID的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果。
获取到客户端发送给的用于检测URL状态的查询任务请求,需要说明的是,在实际应用中,相同或者不同的客户端可能同时发送多个查询任务请求,或者在很短时间内先后发送多个查询任务请求,为了能够区分出不同的URL需求,并准确获取URL检测结果,需要根据该检测状态请求中包含查询任务ID确定对应URL检测结果。
这里所说的URL缓存信息可以是边缘服务器中缓存的URL相关的信息,比如,URL的摘要信息、URL资源信息等等。这里所说的源站反馈的URL源站信息可以是Responseheader、MD5信息等与URL资源相关的信息,一般来说,源站反馈的信息不仅包含客户端的查询字段所指定的信息,还可包含其他未指定的信息,以便解决其他客户端发送查询任务请求的需求。避免反复查询操作,能够有效提高多次针对同一URL检测结果进行查询的查询效率。
如前文所述可知,这里所说的数据处理方法包括数据比较,从而可以确定各边缘服务器中URL缓存信息与源站中的URL源站信息是否相同。
在本发明的一个或者多个实施例中,所述边缘服务器包括:代理装置和缓存装置;
所述向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的URL缓存信息,包括:向多个所述代理装置发送所述查询任务请求,获得各所述缓存装置通过所述代理装置反馈的所述URL缓存信息。
中心装置发送查询任务请求到代理装置,代理装置将接收到的查询任务请求发送给缓存装置。需要说明的是,URL资源信息存储在各个边缘服务器中的缓存装置中。缓存装置根据查询任务请求反馈所需的URL缓存信息。不同于通过中心装置模拟网络发起检测请求,能够有效减轻中心装置压力、避免检测过程中造成流量损失。
在本发明的一个或者多个实施例中,所述查询任务请求包含:待查询URL和查询字段。
在有的检测场景中,不需要获取真实的URL资源的全部信息,可以获取在边缘服务器中的指定查询字段对应的摘要信息,从而根据摘要信息的比较结果也可以确定URL检测结果。例如,假设待查询URL为:http://……,若不需要获取URL的全部资源,则可以在该请求中限定查询字段,比如查询字段为Last-Modify;进一步地,根据http://……和Last-Modify可以生成唯一对应的查询任务ID,假设该查询任务ID为123。
进一步地,若所述查询字段为Range参数,所述根据获取的包含待查询URL和查询字段的查询任务请求,生成用于查询边缘服务器中所述URL缓存信息的所述查询任务ID,具体可以包括:根据获取的包含待查询URL和对应的Range参数的查询任务请求,生成用于查询边缘服务器中所述URL缓存信息的查询任务ID。
在实际应用中,有时需要获取URL资源。但是有时URL资源很大(即,contentlength较大),若要获取URL资源的全部内容,则需要较多的时间和流量。为此,可以利用Range回源,使得各边缘服务器返回部分内容,从而可以获得部分MD5信息;这样,既能满足获取URL资源并进行检测的需求,还能够有效提高URL资源的查询和检测的效率。
采用查询字段Range参数,可以由用户通过客户端完成,也可以根据指令contentlength检测URL资源大小,从而确定是否需要设定Range参数。
进一步地,生成查询任务ID之后,中心装置发送所述查询任务ID给客户端。
如前文所述可知,中心装置可能会同时对多个客户端提出的多个URL检测请求进行处理,而本申请技术方案中,将内容分发网络的URL检测进行异步处理,分类两步进行检测。因此,为了能够实现准确快速的内容分发网络的URL检测,在整个检测过程中,都需要依据查询任务ID进行查询和检测。具体来说,中心装置将生成的查询任务ID发送给客户端,以便客户端根据该查询任务ID生成检测状态请求,从而获得所需的URL检测结果。
在本发明的一个或者多个实施例中,所述根据所述查询任务请求包含的所述待查询URL和摘要信息查询字段,获得各所述缓存装置通过所述代理装置反馈的所述摘要信息;其中,所述URL缓存信息包括所述摘要信息。
在多数URL检测应用中,只需要URL资源相关摘要信息即可满足检测需求,因此,客户端发送查询任务请求时就可以限定所需的摘要信息查询字段。比如,针对URL:http://……,设定对应的查询字段:Last-Modify,从而可以获得各边缘服务器中该URL资源的最后修改时间,进一步地,获取根据该URL的Last-Modify生成的摘要信息。
例如,边缘服务器返回摘要信息的过程可以包括:在边缘服务器中还可以包含缓存服务器,代理装置根据查询任务请求中包含的待查询URL和对应的查询字段,向存储有URL相关信息的缓存服务器发送请求,缓存服务器提供给代理装置该摘要信息查询接口,代理装置通过该查询接口获得摘要信息后,将该摘要信息反馈给中心装置。
在本发明的一个或者多个实施例中,若所述查询字段为Rang参数;所述向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的所述URL缓存信息,具体可以包括:向多个所述边缘服务器发送所述查询任务请求;根据所述查询任务请求包含的所述待查询URL和所述Range参数,获得各所述缓存装置通过所述代理装置反馈的部分MD5信息。
如前文所述可知,在需要获取并检测URL资源的应用场景中,由于有些URL资源过大,为了提高对URL资源查询和检测的效率,可以获取部分资源并生成对应的部分MD5信息。
例如,假设Range参数由用户指定或者系统默认,参数范围为0-200,待查询的URL资源假设为视频资源,由于视频资源比较大,因此,可以对视频资源0-200个字节计算MD5。
在本发明的一个或者多个实施例中,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果之前,还包括:发送所述查询任务ID对应的所述Range参数给源站,以使源站根据所述Range参数生成部分MD5信息。
例如,客户端向中心装置发送Range参数为range:0-200,进一步地,中心装置将该Range参数发送给边缘服务器和源站。边缘服务器和源站响应给中心装置的0-200范围的共201个字节的内容。进一步地,中心装置或者源站基于该201个字节的内容计算得到部分MD5信息。
在本发明的一个或者多个实施例中,所述获取用于检测URL状态的包含所述查询任务ID的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果,具体可以包括:获取用于检测URL状态的检测状态请求;根据所述检测状态请求包含的所述查询任务ID,确定是否已完成所述查询任务请求;若已完成,则根据所述检测状态请求携带的所述查询任务ID,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果;若未完成,则继续等待完成所述查询任务请求。
如前文所述可知,本发明采用异步数据处理的方案,各个边缘服务器处理的速度可能存在差异。因此,在获取到URL检测结果之前,需要根据客户端发送的检测状态请求携带的查询任务ID判断对应的查询任务请求是否完成。若完成,则可以获得各边缘服务器反馈的URL缓存信息。若未完成,还需要继续等待其他未完成的边缘服务器在完成后反馈URL缓存信息。
在本发明的一个或者多个实施例中,所述发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果,具体可以包括:比较所述URL缓存信息和所述URL源站信息,获得各所述边缘服务器的URL检测结果;发送所述URL检测结果。
在获取到URL缓存信息和URL源站信息之后,可以进行数据比较,从而可以确定各边缘服务器中是否存在该URL缓存信息,若存在,是否与源站中的相同。
发送的URL检测结果是比较结果,例如,源站信息:……,和源站一致边缘服务器:……状态……,和源站不一致边缘服务器:……状态……。当然,具体输出的形式可以根据实际需要进行设定,比如,可以是文本形式或者图表形式。
基于上述实施例可以了解到,采用一个中心装置同时检测多个边缘服务器中URL状态的分布式结构,在进行内容分发网络的URL检测时,采用异步数据处理的检测方式。具体来说,中心装置接收到客户端发送的查询任务请求,中心装置根据该查询任务请求向各个边缘服务器发送查询任务ID,从而获取各个边缘服务器反馈的URL缓存信息;进一步地,中心装置在接收到客户端发送的检测状态请求后,中心装置将此前接收到的URL缓存信息与从源站获取的URL源站信息进行比较,从而可以确定该URL在各边缘服务器的状态。通过上述技术方案,采用分布式异步数据处理的方式,中心装置能够快速、高效的检测出各边缘服务器中URL状态。基于本技术方案,无需由中心装置模拟客户端发送查询和检测请求,能够避免造成流量偏差(换言之,不会因为检测而影响流量计费),而且能够保证获取的状态的真实性。此外,对于一些需要基于URL资源进行检测的应用中,若URL资源比较大,利用Range参数获取部分URL资源的部分MD5数据,能够有效提高检测效率。
基于同样的思路,本发明实施例还提供一种内容分发网络的URL检测方法,图6方法可以由图1中的客户端来执行。如图6所示,该方法包括以下步骤:
601:发送用于查询边缘服务器中URL缓存信息的查询任务请求。
如前文所述可知,在该查询任务请求中,可以包含待查询URL、查询字段等相关信息。以便中心装置根据该查询任务请求生成对应的查询任务ID。在实际应用中,客户端与中心装置是多对一的分布式结构,同时,中心装置与边缘服务器也是一对多的分布式结构。
602:获取由中心装置基于所述查询任务请求生成的查询任务ID。
如前文所述可知,该查询任务ID主要用于生成检测状态请求,以便中心装置能够根据客户端发送的检测状态请求实现准确、高效的URL检测结果的检测工作。
603:发送用于检测URL状态的携带有所述查询任务ID的检测状态请求。
需要说明的是,在本发明的技术方案中,对URL缓存信息的查询和对URL状态的检测是分步进行的,采用异步数据处理的方式,可以基于分布式结构有效提高对多个边缘服务器中URL状态进行检测的效率。
604:获取URL检测结果。
如前文所述可知,这里所说的URL检测结果是在获取到URL缓存信息和URL源站信息之后,可以进行数据比较的结果。从而可以确定各边缘服务器中是否存在该URL缓存信息,若存在,是否与源站中的URL源站信息相同。
在本发明一个或者多个实施例中,所述查询任务请求包含待查询URL和查询字段。
为了提高内容分发网络的URL检测效率,在多数的检测应用中,无需获取真实请求URL资源信息,只需获取边缘服务器中摘要信息即可满足需求。因此,若需要获取摘要信息,则客户端在发送查询任务请求时,需要在该请求中写入待查询URL、查询字段。进一步地,根据查询字段确定对应的摘要信息,并为中心装置提供摘要信息。
在本发明的一个或者多个实施例中,若所述查询字段为Range参数;
发送用于查询所述边缘服务器中所述URL缓存信息的包含所述待查询URL和Range参数的所述查询任务请求。
在实际应用中,难免有一些URL检测场景需要获取URL资源,但是,有些URL资源的content length过大,若要获取整个资源需要耗费较长的时间和很多的流量。
在本发明的一个或者多个实施例中,所述获取URL检测结果,具体可以包括:获取由中心装置基于边缘服务器反馈的所述URL缓存信息和源站反馈的URL源站信息进行数据处理后得到的所述URL检测结果。
如前文所述可知,这里所说的数据处理方式为将URL缓存信息与URL源站信息进行数据对比,对比后产生URL检测结果,例如,源站信息:……,和源站一致边缘服务器:……状态……,和源站不一致边缘服务器:……状态……。当然,具体输出的形式可以根据实际需要进行设定,比如,可以是文本形式或者图表形式。
基于同样的思路,本说明书实施例还提供一种内容分发网络的URL检测装置,如图7所示,应用于中心装置,包括:
获取模块71,用于基于查询任务请求生成查询任务ID;
发送模块72,用于向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的URL缓存信息;
检测模块73,用于获取用于检测URL状态的包含所述查询任务ID的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果。
进一步地,所述边缘服务器包括:代理装置和缓存装置;
所述发送模块72,用于向多个所述代理装置发送所述查询任务请求,获得各所述缓存装置通过所述代理装置反馈的所述URL缓存信息。
进一步地,查询任务请求包含:待查询URL和查询字段。
进一步地,所述发送模块72,用于根据所述查询任务请求包含的所述待查询URL和摘要信息查询字段,获得各所述缓存装置通过所述代理装置反馈的所述摘要信息;其中,所述URL缓存信息包括所述摘要信息。
进一步地,若所述查询字段为Range参数,
所述获取模块71,还用于向多个所述边缘服务器发送所述查询任务请求;
根据所述查询任务请求包含的所述待查询URL和所述Range参数,获得各所述缓存装置通过所述代理装置反馈的部分MD5信息。
进一步地,所述发送模块72还用于发送所述查询任务ID对应的所述Range参数给源站,以使源站根据所述Range参数生成部分MD5信息。
进一步地,所述检测模块73用于获取用于检测URL状态的检测状态请求;根据所述检测状态请求包含的所述查询任务ID,确定是否已完成所述查询任务请求;若已完成,则根据所述检测状态请求携带的所述查询任务ID,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果;若未完成,则继续等待完成所述查询任务请求。
进一步地,所述检测模块73,用于比较所述URL缓存信息和所述URL源站信息,获得各所述边缘服务器的URL检测结果;发送所述URL检测结果。
图7所示装置可以执行图5所示实施例的方法,本实施例未详细描述的部分,可参考对图5所示实施例的相关说明。该技术方案的执行过程和技术效果参见图5所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图7所示URL检测装置的结构可实现为中心装置设备,如图8所示,该中心装置可以包括:第一处理器81、第一存储器82、第一通信接口83。其中,所述第一存储器82用于存储支持中心装置执行上述图3所示实施例中提供的内容分发网络的URL检测方法的程序,所述第一处理器81被配置为用于执行所述第一存储器82中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令被所述第一处理器81执行时能够实现如下步骤:
通过第一通信接口83获取用于查询边缘服务器中URL缓存信息的查询任务请求,生成查询任务ID;
通过第一通信接口83向多个边缘服务器发送所述查询任务ID,获得各所述边缘服务器反馈的所述URL缓存信息;
通过第一通信接口83获取用于检测URL状态的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果。
另外,本发明实施例提供了一种计算机存储介质,用于中心装置所用的计算机软件指令,其包含用于执行上述图5所示方法实施例中内容分发网络的URL检测方法所涉及的程序。
基于同样的思路,本说明书实施例还提供一种内容分发网络的URL检测装置,如图9所示,应用于客户端,包括:
第一发送模块91,用于发送用于查询边缘服务器中URL缓存信息的查询任务请求;
第一获取模块92,用于获取由中心装置基于所述查询任务请求生成的查询任务ID;
第二发送模块93,用于发送用于检测URL状态的携带有所述查询任务ID的检测状态请求;
第二获取模块94,用于获取URL检测结果。
进一步地,所述查询任务请求包含待查询URL和查询字段。
进一步地,若所述查询字段为Range参数;
所述第一发送模块91,用于发送用于查询所述边缘服务器中所述URL缓存信息的包含所述待查询URL和Range参数的所述查询任务请求。
所述第二获取模块94,用于获取由中心装置基于边缘服务器反馈的所述URL缓存信息和源站反馈的URL源站信息进行数据处理后得到的所述URL检测结果。
图9所示装置可以执行图6所示实施例的方法,本实施例未详细描述的部分,可参考对图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图6所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图9所示URL检测装置的结构可实现为客户端设备,如图10所示,该客户端可以包括:第二处理器101、第二存储器102、第二通信接口103。其中,所述第二存储器102用于存储支持客户端执行上述图6所示实施例中提供的内容分发网络的URL检测方法的程序,所述第二处理器101被配置为用于执行所述第二存储器102中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令被所述第二处理器101执行时能够实现如下步骤:
通过第二通信接口103发送用于查询边缘服务器中URL缓存信息的查询任务请求;
通过第二通信接口103获取由中心装置基于所述查询任务请求生成的查询任务ID;
通过第二通信接口103发送用于检测URL状态的携带有所述查询任务ID的检测状态请求;
通过第二通信接口103获取URL检测结果。
另外,本发明实施例提供了一种计算机存储介质,用于客户端所用的计算机软件指令,其包含用于执行上述图6所示方法实施例中内容分发网络的URL检测方法所涉及的程序。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程资源更新设备的处理器以产生一个机器,使得通过计算机或其他可编程资源更新设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程资源更新设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程资源更新设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (22)

1.一种内容分发网络的URL检测方法,包括:
中心装置接收用户的查询任务请求,并基于所述查询任务请求生成查询任务ID,所述中心装置设置于中心服务器上;
所述中心装置异步处理所述查询任务请求,并将所述查询任务请求发送至代理装置,所述代理装置设置于边缘服务器上;
所述中心装置接收所述代理装置反馈的对应于所述查询任务请求的URL缓存信息;
所述中心装置对所述URL缓存信息进行数据处理后生成URL检测结果;
所述中心装置基于所述查询任务ID将所述URL检测结果返回给所述用户。
2.根据权利要求1所述的方法,其特征在于,所述边缘服务器还包括缓存装置;
所述中心装置通过所述代理装置将所述查询任务请求发送给所述缓存装置;
所述中心装置通过所述代理装置接收所述缓存装置反馈的URL缓存信息。
3.根据权利要求2所述的方法,其特征在于,所述查询任务请求包含待查询URL和查询字段。
4.根据权利要求3所述的方法,其特征在于,所述中心装置通过所述代理装置接收所述缓存装置反馈的URL缓存信息,包括:
所述代理装置根据所述缓存装置提供的摘要信息查询接口获取摘要信息;或者,所述代理装置获取对应于所述待查询URL和所述查询字段的MD5信息;
所述中心装置接收所述代理装置发送的所述摘要信息或所述MD5信息。
5.一种内容分发网络的URL检测系统,包括:
中心装置,所述中心装置设置在中心服务器上;
代理装置,所述代理装置设置在边缘服务器上,所述代理装置与所述中心装置通信连接;
其中,所述中心装置基于接收的查询任务生成查询任务ID,中心装置异步处理所述查询任务请求,并将所述查询任务请求发送至所述代理装置;所述代理装置依据所述查询任务请求获得与之相对应的URL缓存信息,并将所述URL缓存信息发送至中心装置。
6.一种内容分发网络的URL检测方法,包括:
基于查询任务请求生成查询任务ID;
向多个边缘服务器发送所述查询任务请求,获得各所述CDN服务器反馈的所述URL缓存信息;
获取用于检测URL状态的包含所述查询任务ID的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果。
7.根据权利要求6所述的方法,其特征在于,所述边缘服务器包括:代理装置和缓存装置;
所述向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的URL缓存信息,包括:
向多个所述代理装置发送所述查询任务请求,获得各所述缓存装置通过所述代理装置反馈的所述URL缓存信息。
8.根据权利要求7所述的方法,其特征在于,所述查询任务请求包含:待查询URL和查询字段。
9.根据权利要求8所述的方法,其特征在于,根据所述查询任务请求包含的所述待查询URL和摘要信息查询字段,获得各所述缓存装置通过所述代理装置反馈的所述摘要信息;其中,所述URL缓存信息包括所述摘要信息。
10.根据权利要求8所述的方法,其特征在于,若所述查询字段为Range参数;
所述向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的所述URL缓存信息,包括:
向多个所述边缘服务器发送所述查询任务请求;
根据所述查询任务请求包含的所述待查询URL和所述Range参数,获得各所述缓存装置通过所述代理装置反馈的部分MD5信息。
11.根据权利要求10所述的方法,其特征在于,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果之前,还包括:
发送所述查询任务ID对应的所述Range参数给源站,以使源站根据所述Range参数生成部分MD5信息。
12.根据权利要求6至11中任一项权利要求所述的方法,其特征在于,所述获取用于检测URL状态的包含所述查询任务ID的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果,包括:
获取用于检测URL状态的检测状态请求;
根据所述检测状态请求包含的所述查询任务ID,确定是否已完成所述查询任务请求;
若已完成,则根据所述检测状态请求携带的所述查询任务ID,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL状态结果;
若未完成,则继续等待完成所述查询任务请求。
13.根据权利要求12所述的方法,其特征在于,所述发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL状态结果,包括:
比较所述URL缓存信息和所述URL源站信息,获得各所述边缘服务器的URL检测结果;
发送所述URL检测结果。
14.一种内容分发网络的URL检测方法,其特征在于,包括:
发送用于查询边缘服务器中URL缓存信息的查询任务请求;
获取由中心装置基于所述查询任务请求生成的查询任务ID;
发送用于检测URL状态的携带有所述查询任务ID的检测状态请求;
获取URL检测结果。
15.根据权利要求14所述的方法,其特征在于,所述查询任务请求包含待查询URL和查询字段。
16.根据权利要求14所述的方法,其特征在于,若所述查询字段为Range参数;
发送用于查询所述边缘服务器中所述URL缓存信息的包含所述待查询URL和Range参数的所述查询任务请求。
17.根据权利要求14所述的方法,其特征在于,所述获取URL检测结果,包括:
获取由中心装置基于边缘服务器反馈的所述URL缓存信息和源站反馈的URL源站信息进行数据处理后得到的所述URL检测结果。
18.一种内容分发网络的URL检测装置,其特征在于,包括:
获取模块,用于基于查询任务请求生成查询任务ID;
发送模块,用于向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的所述URL缓存信息;
检测模块,用于获取用于检测URL状态的包含所述查询任务ID的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果。
19.一种URL状态检测装置,其特征在于,包括:
第一发送模块,用于发送用于查询边缘服务器中URL缓存信息的查询任务请求;
第一获取模块,用于获取由中心装置基于所述查询任务请求生成的查询任务ID;
第二发送模块,用于发送用于检测URL状态的携带有所述查询任务ID的检测状态请求;
第二获取模块,用于获取URL检测结果。
20.一种内容分发网络的URL检测系统,其特征在于,包括:客户端、中心装置;
所述客户端,用于发送用于查询边缘服务器中URL缓存信息的查询任务请求;获取由中心装置基于所述查询任务请求生成的查询任务ID;发送用于检测URL状态的携带有所述查询任务ID的检测状态请求;获取URL检测结果;
所述中心装置,用于基于查询任务请求生成查询任务ID;向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的URL缓存信息;获取用于检测URL状态的包含所述查询任务ID的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果。
21.一种URL状态检测设备,其特征在于,包括第一处理器、第一存储器、第一通信接口,所述第一存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述第一处理器执行时实现:
基于查询任务请求生成查询任务ID;
向多个边缘服务器发送所述查询任务请求,获得各所述边缘服务器反馈的URL缓存信息;
获取用于检测URL状态的包含所述查询任务ID的检测状态请求,发送基于所述URL缓存信息和源站反馈的URL源站信息进行数据处理后的URL检测结果。
22.一种URL状态检测设备,其特征在于,包括第二处理器、第二存储器、第二通信接口,所述第二存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述第二处理器执行时实现:
发送用于查询边缘服务器中URL缓存信息的查询任务请求;
获取由中心装置基于所述查询任务请求生成的查询任务ID;
发送用于检测URL状态的携带有所述查询任务ID的检测状态请求;
获取URL检测结果。
CN201811108801.4A 2018-09-21 2018-09-21 Url状态检测方法、装置、设备和系统 Active CN110943876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811108801.4A CN110943876B (zh) 2018-09-21 2018-09-21 Url状态检测方法、装置、设备和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811108801.4A CN110943876B (zh) 2018-09-21 2018-09-21 Url状态检测方法、装置、设备和系统

Publications (2)

Publication Number Publication Date
CN110943876A true CN110943876A (zh) 2020-03-31
CN110943876B CN110943876B (zh) 2023-04-18

Family

ID=69905554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811108801.4A Active CN110943876B (zh) 2018-09-21 2018-09-21 Url状态检测方法、装置、设备和系统

Country Status (1)

Country Link
CN (1) CN110943876B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327063A (zh) * 2021-06-25 2021-08-31 北京奇艺世纪科技有限公司 资源检测方法、装置、电子设备及计算机可读存储介质
CN114125060A (zh) * 2021-09-28 2022-03-01 北京知道创宇信息技术股份有限公司 资源缓存方法、装置、电子设备及可读存储介质
CN115277694A (zh) * 2022-06-29 2022-11-01 北京奇艺世纪科技有限公司 一种数据获取方法、装置、系统、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103036967A (zh) * 2012-12-10 2013-04-10 北京奇虎科技有限公司 一种下载管理设备、方法及数据下载系统
CN103379139A (zh) * 2012-04-17 2013-10-30 百度在线网络技术(北京)有限公司 分布式缓存内容的校验方法、系统和装置
CN106161623A (zh) * 2016-07-05 2016-11-23 上海帝联信息科技股份有限公司 缓存服务器、更新服务器及数据更新方法
US20170344481A1 (en) * 2016-05-31 2017-11-30 Salesforce.Com, Inc. Invalidation and refresh of multi-tier distributed caches
CN107590275A (zh) * 2017-09-27 2018-01-16 北京奇虎科技有限公司 一种数据查询方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379139A (zh) * 2012-04-17 2013-10-30 百度在线网络技术(北京)有限公司 分布式缓存内容的校验方法、系统和装置
CN103036967A (zh) * 2012-12-10 2013-04-10 北京奇虎科技有限公司 一种下载管理设备、方法及数据下载系统
US20170344481A1 (en) * 2016-05-31 2017-11-30 Salesforce.Com, Inc. Invalidation and refresh of multi-tier distributed caches
CN106161623A (zh) * 2016-07-05 2016-11-23 上海帝联信息科技股份有限公司 缓存服务器、更新服务器及数据更新方法
CN107590275A (zh) * 2017-09-27 2018-01-16 北京奇虎科技有限公司 一种数据查询方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327063A (zh) * 2021-06-25 2021-08-31 北京奇艺世纪科技有限公司 资源检测方法、装置、电子设备及计算机可读存储介质
CN113327063B (zh) * 2021-06-25 2023-08-18 北京奇艺世纪科技有限公司 资源检测方法、装置、电子设备及计算机可读存储介质
CN114125060A (zh) * 2021-09-28 2022-03-01 北京知道创宇信息技术股份有限公司 资源缓存方法、装置、电子设备及可读存储介质
CN114125060B (zh) * 2021-09-28 2023-10-13 北京知道创宇信息技术股份有限公司 资源缓存方法、装置、电子设备及可读存储介质
CN115277694A (zh) * 2022-06-29 2022-11-01 北京奇艺世纪科技有限公司 一种数据获取方法、装置、系统、电子设备及存储介质
CN115277694B (zh) * 2022-06-29 2023-12-08 北京奇艺世纪科技有限公司 一种数据获取方法、装置、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN110943876B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN106933871B (zh) 短链接处理方法、装置及短链接服务器
CN106933854B (zh) 短链接处理方法、装置及服务器
CN111984356B (zh) 页面跳转方法、装置、计算机设备和存储介质
CN110943876B (zh) Url状态检测方法、装置、设备和系统
RU2017106890A (ru) Способ доступа к веб-узлам, устройство и система веб-узла
CN106453460B (zh) 一种文件分发方法、装置和系统
CN104317914A (zh) 数据获取方法和装置
CN107026871B (zh) 一种基于云计算的Web漏洞扫描方法
US20170366448A1 (en) Generating and transmitting back-to-source routing information
US10158691B2 (en) Method and apparatus for providing network resources at intermediary server
US20130346542A1 (en) Common web accessible data store for client side page processing
CN104391868A (zh) 动态页面静态化的装置和方法
US20170339252A1 (en) Generating a response to a client device in an internet of things domain
US10103961B2 (en) Collecting client-side application performance monitoring information
CN103825919A (zh) 一种缓存数据资源的方法、装置及系统
US11303532B2 (en) Method and system for detecting service quality of CDN system
CN110737856A (zh) 一种页面获取方法、装置及系统
TWI659312B (zh) Business processing method and device
CN110515631B (zh) 应用安装数据包的生成方法、服务器及计算机存储介质
CN106686040A (zh) 一种报文处理方法和装置
CN103684823A (zh) 网络日志记录方法、网络访问路径确定方法及相关装置
CN110674427A (zh) 响应网页访问请求的方法、装置、设备及存储介质
CN105556918A (zh) 一种资源下载方法、电子设备及装置
CN110188081B (zh) 基于cassandra数据库的日志数据存储方法、装置和计算机设备
CN106611118B (zh) 申请登录凭证的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant