CN108306971B - 一种发送数据资源的获取请求的方法和系统 - Google Patents

一种发送数据资源的获取请求的方法和系统 Download PDF

Info

Publication number
CN108306971B
CN108306971B CN201810106492.0A CN201810106492A CN108306971B CN 108306971 B CN108306971 B CN 108306971B CN 201810106492 A CN201810106492 A CN 201810106492A CN 108306971 B CN108306971 B CN 108306971B
Authority
CN
China
Prior art keywords
node
domain name
scheduling information
traffic scheduling
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810106492.0A
Other languages
English (en)
Other versions
CN108306971A (zh
Inventor
张宇
董曙佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201810106492.0A priority Critical patent/CN108306971B/zh
Priority to US16/079,732 priority patent/US11290381B2/en
Priority to EP18796356.6A priority patent/EP3547649B1/en
Priority to PCT/CN2018/077554 priority patent/WO2019148568A1/zh
Publication of CN108306971A publication Critical patent/CN108306971A/zh
Application granted granted Critical
Publication of CN108306971B publication Critical patent/CN108306971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/122—Avoiding congestion; Recovering from congestion by diverting traffic away from congested entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H04L47/283—Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/101—Server selection for load balancing based on network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种发送数据资源的获取请求的方法和系统，属于数据传输技术领域。所述方法包括：当需要发送第一数据资源的获取请求时，第一节点获取本地存储的所述第一数据资源所属资源服务器对应的多个次级节点的流量调度信息，其中，所述流量调度信息包含待分流域名等级和待分流比例；所述第一节点根据所述多个次级节点的流量调度信息，在所述多个次级节点中选择目标节点；所述第一节点向所述目标节点发送所述第一数据资源的获取请求。采用本发明，可以减少动态父节点因为流量持续过载而导致回源效率降低的情况，提高了CDN服务集群的回源加速服务的质量。

Description

一种发送数据资源的获取请求的方法和系统
技术领域
本发明涉及数据传输技术领域，特别涉及一种发送数据资源的获取请求的方法和系统。
背景技术
随着互联网技术的不断进步，CDN(内容分发网络，Content Delivery Network)服务也随之快速发展。CDN服务集群中包括大量用于存储数据资源和加速网络服务的节点服务器，节点服务器可以包括边缘节点服务器(可简称为边缘节点)和父节点服务器(可简称为父节点，包括动态父节点和静态父节点)。
当用户想要获取某个数据资源时，用户可以通过终端向CDN服务集群发送数据资源的获取请求，从而CDN服务集群中的某个边缘节点可以接收到该获取请求。如果本地未存储有上述数据资源，该边缘节点则可以选择最优路径进行回源处理以获取数据资源，即通过最优路径上的动态父节点向相应的资源服务器发送数据资源的获取请求。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
如果某一时刻边缘节点中存在大量数据资源的回源需求，而相应的最优路径均通过同一动态父节点，这样，动态父节点将需要同时转发大量的数据资源的获取请求，从而动态父节点会因为流量持续过载而导致回源效率降低、CDN服务集群的回源加速服务的质量变差。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种发送数据资源的获取请求的方法和系统。所述技术方案如下：
第一方面，提供了一种发送数据资源的获取请求的方法，所述方法包括：
当需要发送第一数据资源的获取请求时，第一节点获取本地存储的所述第一数据资源所属资源服务器对应的多个次级节点的流量调度信息，其中，所述流量调度信息包含待分流域名等级和待分流比例；
所述第一节点根据所述多个次级节点的流量调度信息，在所述多个次级节点中选择目标节点；
所述第一节点向所述目标节点发送所述第一数据资源的获取请求。
可选的，所述方法还包括：
第二节点周期性获取历史周期中各域名等级对应的历史流量，预测当前周期中各域名等级对应的最新流量；
所述第二节点根据预设分流阈值和各域名等级对应的最新流量，确定所述第二节点的流量调度信息。
可选的，所述第二节点根据预设分流阈值和各域名等级对应的最新流量，确定所述第二节点的流量调度信息，包括：
所述第二节点从最高域名等级开始累加各域名等级对应的最新流量；
当累加结果大于所述预设分流阈值时，所述第二节点停止累加并将最后累加的域名等级确定为待分流域名等级；
所述第二节点将所述累加结果和所述预设分流阈值之差，与所述待分流域名等级对应的最新流量之比，确定为待分流比例。
可选的，所述方法还包括：
所述第一节点周期性向所有次级节点发送探测消息；
所述第一节点接收所述所有次级节点中每个次级节点反馈的探测响应，确定所述第一节点和所述每个次级节点间的网络时延；
所述第一节点根据所述网络时延，为所述每个次级节点设置优先级，其中，优先级越高的次级节点对应的网络时延越小。
可选的，所述第一节点根据所述多个次级节点的流量调度信息，在所述多个次级节点中选择目标节点，包括：
所述第一节点按照优先级从高到低的顺序，在所述多个次级节点中依次选取备选节点；
当所述第一数据资源所属资源服务器的域名等级等于所述备选节点的流量调度信息中的待分流域名等级，且所述第一数据资源的获取请求不满足预设分流标准，或者所述第一数据资源所属资源服务器的域名等级大于所述备选节点的流量调度信息中的待分流域名等级时，将所述备选节点确定为目标节点。
可选的，所述每个次级节点反馈的探测响应中携带有各自的流量调度信息；
所述第一节点接收所述所有次级节点中每个次级节点反馈的探测响应之后，还包括：
所述第一节点基于所述探测响应中携带的流量调度信息，更新本地存储的所述每个次级节点的流量调度信息。
可选的，所述方法还包括：
所述第一节点接收第三节点发送的第二数据资源的请求响应；
所述第一节点基于所述请求响应中携带的所述第三节点的流量调度信息，更新本地存储的所述第三节点的流量调度信息。
第二方面，提供了一种发送数据资源的获取请求的系统，所述系统包括多个节点，所述多个节点包括第一节点，所述第一节点，用于：
当需要发送第一数据资源的获取请求时，获取本地存储的所述第一数据资源所属资源服务器对应的多个次级节点的流量调度信息，其中，所述流量调度信息包含待分流域名等级和待分流比例；
根据所述多个次级节点的流量调度信息，在所述多个次级节点中选择目标节点；
向所述目标节点发送所述第一数据资源的获取请求。
可选的，所述多个节点还包括第二节点，所述第二节点，用于：
周期性获取历史周期中各域名等级对应的历史流量，预测当前周期中各域名等级对应的最新流量；
根据预设分流阈值和各域名等级对应的最新流量，确定所述第二节点的流量调度信息。
可选的，所述第二节点，具体用于：
从最高域名等级开始累加各域名等级对应的最新流量；
当累加结果大于所述预设分流阈值时，停止累加并将最后累加的域名等级确定为待分流域名等级；
将所述累加结果和所述预设分流阈值之差，与所述待分流域名等级对应的最新流量之比，确定为待分流比例。
可选的，所述第一节点，还用于：
周期性向所有次级节点发送探测消息；
接收所述所有次级节点中每个次级节点反馈的探测响应，确定所述第一节点和所述每个次级节点间的网络时延；
根据所述网络时延，为所述每个次级节点设置优先级，其中，优先级越高的次级节点对应的网络时延越小。
可选的，所述第一节点，具体用于：
按照优先级从高到低的顺序，在所述多个次级节点中依次选取备选节点；
当所述第一数据资源所属资源服务器的域名等级等于所述备选节点的流量调度信息中的待分流域名等级，且所述第一数据资源的获取请求不满足预设分流标准，或者所述第一数据资源所属资源服务器的域名等级大于所述备选节点的流量调度信息中的待分流域名等级时，将所述备选节点确定为目标节点。
可选的，所述每个次级节点反馈的探测响应中携带有各自的流量调度信息；
所述第一节点，还用于：
基于所述探测响应中携带的流量调度信息，更新本地存储的所述每个次级节点的流量调度信息。
可选的，所述多个节点还包括第三节点，所述第一节点，还用于：
接收所述第三节点发送的第二数据资源的请求响应；
基于所述请求响应中携带的所述第三节点的流量调度信息，更新本地存储的所述第三节点的流量调度信息。
本发明实施例提供的技术方案带来的有益效果是：
本发明实施例中，当需要发送第一数据资源的获取请求时，第一节点获取本地存储的第一数据资源所属资源服务器对应的多个次级节点的流量调度信息，其中，流量调度信息由节点基于本地流量负载情况生成；第一节点根据多个次级节点的流量调度信息，在多个次级节点中选择目标节点；第一节点向目标节点发送第一数据资源的获取请求。这样，每个节点可以根据次级节点的流量调度信息，对域名等级较低的流量进行分流，保证域名等级较高的流量得到较优的回源加速服务，有效减少了动态父节点因为流量持续过载而导致回源效率降低的情况，从而可以提高CDN服务集群的回源加速服务的质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种CDN服务集群的网络架构图；
图2是本发明实施例提供的一种发送数据资源的获取请求的方法流程图；
图3是本发明实施例提供的一种发送数据资源的获取请求的分流原理图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种发送数据资源的获取请求的方法，该方法可以由CDN服务集群中的多个节点服务器共同实现，网络架构可以如图1所示，节点服务器可以包含边缘节点服务器(以下简称为边缘节点)和多级父节点服务器(以下简称为父节点)，其中，边缘节点为CDN服务集群中用户请求的接入节点，父节点为CDN服务集群中部署层级位于边缘节点之后的节点，包含用来缓存数据资源的静态父节点，和用来提供回源加速服务的动态父节点。本实施例后续涉及的节点均不考虑静态父节点，本实施例中所有节点均指CDN服务集群中的节点服务器，不包括终端和资源服务器。上述节点服务器中可以包括处理器、存储器、收发器，处理器可以用于进行下述流程中的发送数据资源的获取请求的处理，存储器可以用于存储下述处理过程中需要的数据以及产生的数据，收发器可以用于接收和发送下述处理过程中的相关数据。在某种情况下，上述节点服务器的功能也可以由多台服务器形成的服务器组来实现，本实施例以节点服务器为单独服务器为例进行说明，其余情况与之类似，不再赘述。
下面将结合具体实施方式，对图2所示的处理流程进行详细的说明，内容可以如下：
步骤201，当需要发送第一数据资源的获取请求时，第一节点获取本地存储的第一数据资源所属资源服务器对应的多个次级节点的流量调度信息。
其中，第一节点可以是所有边缘节点和存在次级节点的所有动态父节点中的任一节点。
在实施中，动态父节点在提供回源加速服务时，可以基于本地流量负载情况生成流量调度信息，然后将流量调度信息通过预设的方式反馈给上级节点。上级节点在获取到动态父节点的流量调度信息后，可以将其存储在本地，以在发送数据资源的获取请求时根据流量调度信息选择传输路径。同时，动态父节点可以对每个资源服务器对应的域名按照重要程度进行分级，确定多个域名等级，如域名等级可分为普通级、V1级、V2级、V3级等，并可以以数字0-3指代，其中，域名等级越高的资源服务器的重要程度越高。进而流量调度信息可以包含有待分流域名等级和相应的待分流比例，具体的，流量调度信息可以采用“lv1：lv2”的记录方式，其中，lv1为待分流域名等级，lv2为待分流比例，例如流量调度信息“0：10”表示普通级流量分流10％，V1～V3级流量不分流；流量调度信息“1：20”表示普通级流量全分流，V1级流量分流20％，V2～V3级流量不分流；流量调度信息“3：50”表示普通～V2级流量全分流，V3级流量分流50％。
这样，在第一节点为边缘节点的情况下，第一节点在接收到用户对于某个数据资源(如第一资源数据)的获取请求后，如果本地未存储有第一资源数据，需要通过其它节点向第一资源数据所属资源服务器发送相应的获取请求，第一节点则可以先确定第一资源数据所属资源服务器对应的多个次级节点，然后获取本地存储的多个次级节点的流量调度信息。在第一节点为动态父节点的情况下，第一节点如果接收到上一级节点发送的第一资源数据的获取请求后，需要将该获取请求通过其它节点转发至第一资源数据所属资源服务器，第一节点则可以先确定第一资源数据所属资源服务器对应的多个次级节点，然后获取本地存储的多个次级节点的流量调度信息。可以理解，针对每个资源服务器，CDN服务集群的技术人员可以在每个边缘节点和动态父节点中设置该资源服务器对应的次级节点，即当前节点可以通过这些次级节点中的任一节点向资源服务器发送数据资源的获取请求。
步骤202，第一节点根据多个次级节点的流量调度信息，在多个次级节点中选择目标节点。
在实施中，第一节点在获取到多个次级节点的流量调度信息之后，可以根据这些流量调度信息，在多个次级节点中选择用于转发第一资源数据的获取请求的目标节点。
步骤203，第一节点向目标节点发送第一数据资源的获取请求。
在实施中，第一节点在选择完目标节点后，可以向目标节点发送第一数据资源的获取请求。
可选的，动态父节点可以根据各域名等级的历史流量来确定流量调度信息，相应的处理可以如下：第二节点周期性获取历史周期中各域名等级对应的历史流量，预测当前周期中各域名等级对应的最新流量；第二节点根据预设分流阈值和各域名等级对应的最新流量，确定第二节点的流量调度信息。
其中，第二节点可以是用于提供回源加速服务的所有动态父节点中的任一节点，可以是CDN服务集群中任意节点的任意次级节点。
在实施中，CDN服务集群中还可以设有流量服务器，流量服务器用于记录各个动态父节点实际的流量负载情况，其中包括动态父节点上各个域名等级对应的历史流量。动态父节点在提供回源加速服务时，需要周期性对流量调度信息进行更新。以第二节点为例，第二节点可以周期性从流量服务器获取历史周期中本地的各域名等级对应的历史流量，然后基于这些历史流量，预测当前周期的各个域名等级对应的最新流量，具体可以采用最小二乘法来进行拟合，或者采用其它可行的预测算法。之后，第二节点则可以根据预测出的本地最新总流量和预设分流阈值，来确定当前周期的第二节点的流量调度信息。可以理解，预设分流阈值可以是CDN服务集群的技术人员基于每个动态父节点的机器性能，针对每个动态父节点预先设置的分流触发值，即当周期内总流量超过该预设分流阈值时，动态父节点将进入过载状态，需要对流量进行分流处理。
可选的，动态父节点可以优先分流低域名等级的获取请求，相应的，确定流量调度信息的处理可以如下：第二节点从最高域名等级开始累加各域名等级对应的最新流量；当累加结果大于预设分流阈值时，第二节点停止累加并将最后累加的域名等级确定为待分流域名等级；第二节点将累加结果和预设分流阈值之差，与待分流域名等级对应的最新流量之比，确定为待分流比例。
在实施中，第二节点在生成流量调度信息的过程中，可以先从最高域名等级开始累加各域名等级对应的最新流量。当累加结果大于预设分流阈值时，则可以停止累加并将最后累加的域名等级确定为待分流域名等级。此处表明如果仅承载待分流域名等级及更高域名等级的所有最新流量，第二节点将已处于过载状态，故而，需要对待分流域名等级的部分流量和更低域名等级的所有最新流量进行分流。这样，第二节点可以先计算累加结果和预设分流阈值之差(即上述待分流域名等级的部分流量的流量大小)，然后将该差值与待分流域名等级对应的最新流量的比值，确定为待分流比例。
可选的，节点可以对所有次级节点进行优先级排序，相应的处理可以如下：第一节点周期性向所有次级节点发送探测消息；第一节点接收所有次级节点中每个次级节点反馈的探测响应，确定第一节点和每个次级节点间的网络时延；第一节点根据网络时延，为每个次级节点设置优先级，其中，优先级越高的次级节点对应的网络时延越小。
在实施中，第一节点可以周期性向其预先记录的所有次级节点发送探测消息。次级节点接收到探测消息后，可以向第一节点反馈相应的探测响应。之后，第一节点可以接收所有次级节点中每个次级节点反馈的探测响应，然后可以通过探测消息的发送时间和每个探测响应的接收时间确定第一节点和每个次级节点间的网络时延。进一步的，第一节点可以根据上述网络时延，为每个次级节点设置优先级，其中优先级越高的次级节点对应的网络时延越小。
可选的，第一节点可以优先选择向网络延迟小的次级节点发送获取请求，相应的，步骤202的处理可以如下：第一节点按照优先级从高到低的顺序，在多个次级节点中依次选取备选节点；当第一数据资源所属资源服务器的域名等级等于备选节点的流量调度信息中的待分流域名等级，且第一数据资源的获取请求不满足预设分流标准，或者第一数据资源所属资源服务器的域名等级大于备选节点的流量调度信息中的待分流域名等级时，将备选节点确定为目标节点。
在实施中，第一节点在获取了多个次级节点的流量调度信息之后，可以按照多个次级节点的优先级，以从高到低的顺序依次选取一个次级节点作为备选节点。当第一数据资源所属资源服务器的域名等级大于备选节点的流量调度信息中的待分流域名等级时，可以将该备选节点确定为目标节点，当第一数据资源所属资源服务器的域名等级等于备选节点的流量调度信息中的待分流域名等级，可以先确定第一数据资源的获取请求是否满足预设分流标准，如果不满足，则代表不需要对该获取请求进行分流，进而可以将该备选节点确定为目标节点，而当第一数据资源所属资源服务器的域名等级等于备选节点的流量调度信息中的待分流域名等级，且第一数据资源的获取请求满足预设分流标准，或者当第一数据资源所属资源服务器的域名等级小于备选节点的流量调度信息中的待分流域名等级，则代表需要对该获取请求进行分流，进而可以选取下一次级节点作为备选节点。需要说明的是，上述预设分流规则可以是CDN服务集群的技术人员预先设定的任意分流规则，不同的次级节点的分流规则可以相同也可以不同。例如，可以对于每个获取请求设置一个随机数，如果该随机数小于流量调度信息中的待分流比例，则代表相应的获取请求符合预设分流规则。
可选的，次级节点可以通过探测响应或者数据资源的请求响应将流量调度信息发送给第一节点，具体可以如下述两种情况：
情况一，第一节点基于探测响应中携带的流量调度信息，更新本地存储的每个次级节点的流量调度信息。
在实施中，第一节点周期性向所有次级节点发送探测消息后，每个次级节点都可以将本地最新生成的流量调度信息添加至探测响应中，然后将探测响应反馈给第一节点。这样，第一节点接收到上述探测响应后，可以基于其中携带的流量调度信息，更新本地存储的每个次级节点的流量调度信息。
情况二，第一节点接收第三节点发送的第二数据资源的请求响应；第一节点基于请求响应中携带的第三节点的流量调度信息，更新本地存储的第三节点的流量调度信息。
其中，第三节点可以是用于提供回源加速服务的所有动态父节点中的任一节点，可以是CDN服务集群中任意节点的任意次级节点，可以和上述第二节点相同也可以不同。
在实施中，如果第一节点成功通过第三节点向某个资源服务器发送了第二数据资源的获取请求，则在一定时间之后，第三节点可以接收到资源服务器反馈的第二数据资源的请求响应。之后，第三节点可以将本地最新生成的流量调度信息添加至该请求响应中，然后可以将请求响应反馈给第一节点。这样，第一节点接收到第三节点发送的第二数据资源的请求响应之后；可以基于请求响应中携带的第三节点的流量调度信息，更新本地存储的第三节点的流量调度信息。
为了便于理解，图3为本实施例的分流原理图，如果多个域名等级的流量超过预设分流阈值，则可以对域名等级较低的流量进行分流，以保证剩余的流量不超过预设分流阈值。
本发明实施例中，当需要发送第一数据资源的获取请求时，第一节点获取本地存储的第一数据资源所属资源服务器对应的多个次级节点的流量调度信息，其中，流量调度信息由节点基于本地流量负载情况生成；第一节点根据多个次级节点的流量调度信息，在多个次级节点中选择目标节点；第一节点向目标节点发送第一数据资源的获取请求。这样，每个节点可以根据次级节点的流量调度信息，对域名等级较低的流量进行分流，保证域名等级较高的流量得到较优的回源加速服务，有效减少了动态父节点因为流量持续过载而导致回源效率降低的情况，从而可以提高CDN服务集群的回源加速服务的质量。
基于相同的技术构思，本发明实施例还提供了一种发送数据资源的获取请求的系统，所述系统包括多个节点，所述多个节点包括第一节点，所述第一节点，用于：
当需要发送第一数据资源的获取请求时，获取本地存储的所述第一数据资源所属资源服务器对应的多个次级节点的流量调度信息，其中，所述流量调度信息包含待分流域名等级和待分流比例；
根据所述多个次级节点的流量调度信息，在所述多个次级节点中选择目标节点；
向所述目标节点发送所述第一数据资源的获取请求。
可选的，所述多个节点还包括第二节点，所述第二节点，用于：
周期性获取历史周期中各域名等级对应的历史流量，预测当前周期中各域名等级对应的最新流量；
根据预设分流阈值和各域名等级对应的最新流量，确定所述第二节点的流量调度信息。
可选的，所述第二节点，具体用于：
从最高域名等级开始累加各域名等级对应的最新流量；
当累加结果大于所述预设分流阈值时，停止累加并将最后累加的域名等级确定为待分流域名等级；
将所述累加结果和所述预设分流阈值之差，与所述待分流域名等级对应的最新流量之比，确定为待分流比例。
可选的，所述第一节点，还用于：
周期性向所有次级节点发送探测消息；
接收所述所有次级节点中每个次级节点反馈的探测响应，确定所述第一节点和所述每个次级节点间的网络时延；
根据所述网络时延，为所述每个次级节点设置优先级，其中，优先级越高的次级节点对应的网络时延越小。
可选的，所述第一节点，具体用于：
按照优先级从高到低的顺序，在所述多个次级节点中依次选取备选节点；
当所述第一数据资源所属资源服务器的域名等级等于所述备选节点的流量调度信息中的待分流域名等级，且所述第一数据资源的获取请求不满足预设分流标准，或者所述第一数据资源所属资源服务器的域名等级大于所述备选节点的流量调度信息中的待分流域名等级时，将所述备选节点确定为目标节点。
可选的，所述每个次级节点反馈的探测响应中携带有各自的流量调度信息；
所述第一节点，还用于：
基于所述探测响应中携带的流量调度信息，更新本地存储的所述每个次级节点的流量调度信息。
可选的，所述多个节点还包括第三节点，所述第一节点，还用于：
接收所述第三节点发送的第二数据资源的请求响应；
基于所述请求响应中携带的所述第三节点的流量调度信息，更新本地存储的所述第三节点的流量调度信息。
本发明实施例中，当需要发送第一数据资源的获取请求时，第一节点获取本地存储的第一数据资源所属资源服务器对应的多个次级节点的流量调度信息，其中，流量调度信息由节点基于本地流量负载情况生成；第一节点根据多个次级节点的流量调度信息，在多个次级节点中选择目标节点；第一节点向目标节点发送第一数据资源的获取请求。这样，每个节点可以根据次级节点的流量调度信息，对域名等级较低的流量进行分流，保证域名等级较高的流量得到较优的回源加速服务，有效减少了动态父节点因为流量持续过载而导致回源效率降低的情况，从而可以提高CDN服务集群的回源加速服务的质量。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种发送数据资源的获取请求的方法，其特征在于，所述方法包括：
当需要发送第一数据资源的获取请求时，第一节点获取本地存储的所述第一数据资源所属资源服务器对应的多个次级节点的流量调度信息，其中，所述流量调度信息包含待分流域名等级和所述待分流域名等级对应的待分流比例；
所述第一节点根据所述多个次级节点的流量调度信息和预设分流标准，以及所述资源服务器的域名等级，在所述多个次级节点中选择目标节点；
所述第一节点向所述目标节点发送所述第一数据资源的获取请求；
其中，所述第一节点是所有边缘节点和存在次级节点的所有动态父节点中的任一节点，所述动态父节点用于提供回源加速服务。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
第二节点周期性获取历史周期中各域名等级对应的历史流量，预测当前周期中各域名等级对应的最新流量；
所述第二节点根据预设分流阈值和各域名等级对应的最新流量，确定所述第二节点的流量调度信息。
3.根据权利要求2所述的方法，其特征在于，所述第二节点根据预设分流阈值和各域名等级对应的最新流量，确定所述第二节点的流量调度信息，包括：
所述第二节点从最高域名等级开始累加各域名等级对应的最新流量；
当累加结果大于所述预设分流阈值时，所述第二节点停止累加并将最后累加的域名等级确定为待分流域名等级；
所述第二节点将所述累加结果和所述预设分流阈值之差，与所述待分流域名等级对应的最新流量之比，确定为待分流比例。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述第一节点周期性向所有次级节点发送探测消息；
所述第一节点接收所述所有次级节点中每个次级节点反馈的探测响应，确定所述第一节点和所述每个次级节点间的网络时延；
所述第一节点根据所述网络时延，为所述每个次级节点设置优先级，其中，优先级越高的次级节点对应的网络时延越小。
5.根据权利要求4所述的方法，其特征在于，所述第一节点根据所述多个次级节点的流量调度信息，在所述多个次级节点中选择目标节点，包括：
所述第一节点按照优先级从高到低的顺序，在所述多个次级节点中依次选取备选节点；
当所述第一数据资源所属资源服务器的域名等级等于所述备选节点的流量调度信息中的待分流域名等级，且所述第一数据资源的获取请求不满足预设分流标准，或者所述第一数据资源所属资源服务器的域名等级大于所述备选节点的流量调度信息中的待分流域名等级时，将所述备选节点确定为目标节点。
6.根据权利要求4所述的方法，其特征在于，所述每个次级节点反馈的探测响应中携带有各自的流量调度信息；
所述第一节点接收所述所有次级节点中每个次级节点反馈的探测响应之后，还包括：
所述第一节点基于所述探测响应中携带的流量调度信息，更新本地存储的所述每个次级节点的流量调度信息。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述第一节点接收第三节点发送的第二数据资源的请求响应；
所述第一节点基于所述请求响应中携带的所述第三节点的流量调度信息，更新本地存储的所述第三节点的流量调度信息。
8.一种发送数据资源的获取请求的系统，其特征在于，所述系统包括多个节点，所述多个节点包括第一节点，所述第一节点是所有边缘节点和存在次级节点的所有动态父节点中的任一节点，所述动态父节点用于提供回源加速服务，所述第一节点，用于：
当需要发送第一数据资源的获取请求时，获取本地存储的所述第一数据资源所属资源服务器对应的多个次级节点的流量调度信息，其中，所述流量调度信息包含待分流域名等级和所述待分流域名等级对应的待分流比例；
根据所述多个次级节点的流量调度信息和预设分流标准，以及所述资源服务器的域名等级，在所述多个次级节点中选择目标节点；
向所述目标节点发送所述第一数据资源的获取请求。
9.根据权利要求8所述的系统，其特征在于，所述多个节点还包括第二节点，所述第二节点，用于：
周期性获取历史周期中各域名等级对应的历史流量，预测当前周期中各域名等级对应的最新流量；
根据预设分流阈值和各域名等级对应的最新流量，确定所述第二节点的流量调度信息。
10.根据权利要求9所述的系统，其特征在于，所述第二节点，具体用于：
从最高域名等级开始累加各域名等级对应的最新流量；
当累加结果大于所述预设分流阈值时，停止累加并将最后累加的域名等级确定为待分流域名等级；
将所述累加结果和所述预设分流阈值之差，与所述待分流域名等级对应的最新流量之比，确定为待分流比例。
11.根据权利要求8所述的系统，其特征在于，所述第一节点，还用于：
周期性向所有次级节点发送探测消息；
接收所述所有次级节点中每个次级节点反馈的探测响应，确定所述第一节点和所述每个次级节点间的网络时延；
根据所述网络时延，为所述每个次级节点设置优先级，其中，优先级越高的次级节点对应的网络时延越小。
12.根据权利要求11所述的系统，其特征在于，所述第一节点，具体用于：
按照优先级从高到低的顺序，在所述多个次级节点中依次选取备选节点；
当所述第一数据资源所属资源服务器的域名等级等于所述备选节点的流量调度信息中的待分流域名等级，且所述第一数据资源的获取请求不满足预设分流标准，或者所述第一数据资源所属资源服务器的域名等级大于所述备选节点的流量调度信息中的待分流域名等级时，将所述备选节点确定为目标节点。
13.根据权利要求11所述的系统，其特征在于，所述每个次级节点反馈的探测响应中携带有各自的流量调度信息；
所述第一节点，还用于：
基于所述探测响应中携带的流量调度信息，更新本地存储的所述每个次级节点的流量调度信息。
14.根据权利要求8所述的系统，其特征在于，所述多个节点还包括第三节点，所述第一节点，还用于：
接收所述第三节点发送的第二数据资源的请求响应；
基于所述请求响应中携带的所述第三节点的流量调度信息，更新本地存储的所述第三节点的流量调度信息。
CN201810106492.0A 2018-02-02 2018-02-02 一种发送数据资源的获取请求的方法和系统 Active CN108306971B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810106492.0A CN108306971B (zh) 2018-02-02 2018-02-02 一种发送数据资源的获取请求的方法和系统
US16/079,732 US11290381B2 (en) 2018-02-02 2018-02-28 Method and system for transmitting data resource acquisition request
EP18796356.6A EP3547649B1 (en) 2018-02-02 2018-02-28 Method and system for sending request for acquiring data resource
PCT/CN2018/077554 WO2019148568A1 (zh) 2018-02-02 2018-02-28 一种发送数据资源的获取请求的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810106492.0A CN108306971B (zh) 2018-02-02 2018-02-02 一种发送数据资源的获取请求的方法和系统

Publications (2)

Publication Number Publication Date
CN108306971A CN108306971A (zh) 2018-07-20
CN108306971B true CN108306971B (zh) 2020-06-23

Family

ID=62850943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810106492.0A Active CN108306971B (zh) 2018-02-02 2018-02-02 一种发送数据资源的获取请求的方法和系统

Country Status (4)

Country Link
US (1) US11290381B2 (zh)
EP (1) EP3547649B1 (zh)
CN (1) CN108306971B (zh)
WO (1) WO2019148568A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109802997B (zh) * 2018-12-20 2021-02-09 华为技术服务有限公司 一种节点设备的选择方法及其相关设备
CN109639502B (zh) * 2018-12-30 2022-04-26 北京奇艺世纪科技有限公司 回源控制方法及内容分发网络
CN112398884B (zh) * 2019-08-14 2023-08-25 上海哔哩哔哩科技有限公司 镜像回源场景下流量调度控制方法、可读存储介质及计算机设备
CN110545450B (zh) * 2019-09-09 2021-12-03 深圳市网心科技有限公司 一种节点分配方法、系统及电子设备和存储介质
CN110620822A (zh) * 2019-09-27 2019-12-27 腾讯科技（深圳）有限公司 一种网元确定方法和装置
CN110912835B (zh) * 2019-11-08 2023-04-07 腾讯科技（深圳）有限公司 业务分流方法、装置及系统
CN110912926B (zh) * 2019-12-04 2022-03-25 湖南快乐阳光互动娱乐传媒有限公司 数据资源回源方法及装置
CN113141513B (zh) * 2020-01-17 2022-05-13 北京达佳互联信息技术有限公司 直播流的拉流方法、装置、电子设备及存储介质
CN111327461B (zh) * 2020-01-23 2022-03-11 华为云计算技术有限公司 一种基于cdn系统的域名管理方法、装置、设备及介质
CN113497817B (zh) * 2020-03-20 2023-04-07 北京金山云网络技术有限公司 流量调度方法、装置、cdn网络的边缘节点及服务器
CN111555918B (zh) * 2020-04-27 2023-01-20 北京爱奇艺科技有限公司 一种回源优化方法、装置及电子设备
CN111988817B (zh) * 2020-06-29 2024-05-24 百度在线网络技术（北京）有限公司 Ota数据包下发流量的控制方法和装置
CN112104567B (zh) * 2020-09-03 2022-11-18 中国银联股份有限公司 流量控制方法、装置、设备及介质
US11146503B1 (en) * 2020-10-23 2021-10-12 Huawei Technologies Co., Ltd. Resource scheduling methods using positive and negative caching, and resource manager implementing the methods
CN112422342B (zh) * 2020-11-18 2023-04-07 中国联合网络通信集团有限公司 一种业务数据的获取方法及装置
CN112529400B (zh) * 2020-12-09 2024-06-11 平安科技（深圳）有限公司 一种数据处理方法、装置、终端和可读存储介质
CN112866060B (zh) * 2021-01-25 2022-05-17 湖南快乐阳光互动娱乐传媒有限公司 服务器响应时长获取方法及装置
CN115250294B (zh) * 2021-04-25 2024-03-22 贵州白山云科技股份有限公司 基于云分发的数据请求处理方法及其系统、介质、设备
CN113098763B (zh) * 2021-06-10 2021-10-01 天聚地合(苏州)数据股份有限公司 即时通讯消息发送方法、装置、存储介质及设备
CN113596920B (zh) * 2021-07-29 2024-04-05 百度在线网络技术（北京）有限公司 流量控制方法、装置、电子设备及存储介质
CN114338705B (zh) * 2021-11-24 2023-12-01 阿里巴巴（中国）有限公司 内容分发网络cdn节点的资源水位控制方法、设备及介质
CN114115748B (zh) * 2021-12-06 2022-06-14 广州市和理信通信息科技有限公司 基于大数据信息安全的智能管理方法及大数据信息系统
CN114785794A (zh) * 2022-03-29 2022-07-22 北京字节跳动网络技术有限公司 资源分配方法、装置、设备、介质、程序产品和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980416A (zh) * 2014-07-31 2015-10-14 腾讯科技（深圳）有限公司 一种内容分布网络中的数据访问方法、装置和系统
CN106656674A (zh) * 2016-12-29 2017-05-10 北京爱奇艺科技有限公司 一种数据回源的调度方法及装置
CN106685762A (zh) * 2016-12-29 2017-05-17 北京爱奇艺科技有限公司 一种数据回源的调度方法、装置及cdn网络
CN107222560A (zh) * 2017-06-29 2017-09-29 珠海市魅族科技有限公司 一种多节点回源的方法、装置及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7729257B2 (en) * 2006-03-30 2010-06-01 Alcatel-Lucent Usa Inc. Method and apparatus for link transmission scheduling for handling traffic variation in wireless mesh networks
US7558209B2 (en) * 2006-04-28 2009-07-07 Alcatel-Lucent Usa Inc. Maximum-throughput routing of traffic in the hose model
US7876701B2 (en) * 2007-07-10 2011-01-25 Qualcomm Incorporated Control channel design to support one-to-one, many-to-one, and one-to-many peer-to-peer communications
US9001656B2 (en) * 2009-11-18 2015-04-07 Nec Corporation Dynamic route branching system and dynamic route branching method
US8175006B2 (en) * 2009-12-08 2012-05-08 At&T Intellectual Property I, L.P. Multi-path load balancing using route controller
US9049229B2 (en) * 2010-10-28 2015-06-02 Verisign, Inc. Evaluation of DNS pre-registration data to predict future DNS traffic
CN102137014B (zh) * 2011-03-11 2013-12-04 华为技术有限公司 资源管理方法、系统和资源管理器
US8788708B2 (en) * 2012-01-06 2014-07-22 Blue Coat Systems, Inc. Split-domain name service
EP2750328A1 (en) * 2012-12-27 2014-07-02 Telefonica S.A. Computer-implemented method and system for providing networking service, and computer program product adapted to perform the method
US20150089382A1 (en) * 2013-09-26 2015-03-26 Wu-chi Feng Application context migration framework and protocol
US8775564B1 (en) * 2013-12-31 2014-07-08 Limelight Networks, Inc. Time based CDN traffic allocation
CN105991459B (zh) * 2015-02-15 2019-05-10 上海帝联信息科技股份有限公司 Cdn节点回源路由分配方法、装置和系统
CN106034330B (zh) * 2015-03-17 2019-08-02 网宿科技股份有限公司 基于内容分发网络的移动终端流量处理方法、装置及系统
CN104834722B (zh) * 2015-05-12 2018-03-02 网宿科技股份有限公司 基于cdn的内容管理系统
WO2017119950A1 (en) * 2016-01-08 2017-07-13 Inspeed Networks, Inc. Bidirectional data traffic control
CN107517229A (zh) * 2016-06-16 2017-12-26 阿里巴巴集团控股有限公司 一种回源路由信息的生成、传输方法及相关装置
CN107645525A (zh) * 2016-07-21 2018-01-30 阿里巴巴集团控股有限公司 内容分发网络的探测处理、调度方法及相应装置、节点
US10521269B2 (en) * 2017-05-01 2019-12-31 Netapp, Inc. Efficient distributed scheduler for a data partitioned system
CN107395683B (zh) * 2017-06-26 2021-06-04 网宿科技股份有限公司 一种回源路径的选择方法及服务器
IL297858A (en) * 2020-05-01 2023-01-01 Monday Com Ltd Digital processing systems and methods for improved networking and collaborative work management systems, methods and devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980416A (zh) * 2014-07-31 2015-10-14 腾讯科技（深圳）有限公司 一种内容分布网络中的数据访问方法、装置和系统
CN106656674A (zh) * 2016-12-29 2017-05-10 北京爱奇艺科技有限公司 一种数据回源的调度方法及装置
CN106685762A (zh) * 2016-12-29 2017-05-17 北京爱奇艺科技有限公司 一种数据回源的调度方法、装置及cdn网络
CN107222560A (zh) * 2017-06-29 2017-09-29 珠海市魅族科技有限公司 一种多节点回源的方法、装置及存储介质

Also Published As

Publication number Publication date
US11290381B2 (en) 2022-03-29
EP3547649B1 (en) 2020-03-25
EP3547649A1 (en) 2019-10-02
EP3547649A4 (en) 2019-10-02
US20210194810A1 (en) 2021-06-24
CN108306971A (zh) 2018-07-20
WO2019148568A1 (zh) 2019-08-08

Similar Documents

Publication Publication Date Title
CN108306971B (zh) 一种发送数据资源的获取请求的方法和系统
CN108366020B (zh) 一种发送数据资源的获取请求的方法和系统
CN108737405B (zh) 一种对直播视频流进行导流的方法、ccl服务器和系统
CN110662260B (zh) 信息处理方法及装置、网元及存储介质
US7496039B2 (en) Delay guarantee path setting system
CN101399746B (zh) 报文路由方法、系统、设备和选择备份资源的方法、系统
US20130304864A1 (en) Publishing-Point Management for Content Delivery Network
CN106230997B (zh) 一种资源调度方法和装置
CN113811013A (zh) 集群容量动态调节方法、设备、存储介质和通信系统
CN109120527B (zh) 一种传输业务流量的方法和系统
CN112929427A (zh) 一种面向低轨卫星边缘计算的服务节点确定方法及装置
CN113014672B (zh) 一种消息推送方法、装置、电子设备及存储介质
US8601151B2 (en) Apparatus and method for receiving data
US11606415B2 (en) Method, apparatus and system for processing an access request in a content delivery system
US10063614B2 (en) Method for obtaining a storage identifier in a hierarchical level of storage in a network for storing data
CN111930710A (zh) 一种大数据内容分发的方法
US9596309B2 (en) Method and apparatus for parameterized promotion and delivery of data
CN113835905B (zh) 一种消息队列负载均衡方法、装置、电子设备及介质
JP2012173995A (ja) 受信端末およびその制御プログラム
CN113098914B (zh) 消息总线系统及消息传输方法、装置、电子设备
CN112751886B (zh) 一种转码方法、系统、传输设备及存储介质
CN114679412A (zh) 一种流量向业务节点的转发方法、装置、设备及介质
CN108111599B (zh) 一种不稳定网络环境下的数据请求方法及系统
CN116208559A (zh) 基于负载均衡的区块同步的方法及系统
CN117527508A (zh) 消息发送方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant