CN112887224A - 流量调度处理方法、装置、电子设备及存储介质 - Google Patents
流量调度处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112887224A CN112887224A CN202110096595.5A CN202110096595A CN112887224A CN 112887224 A CN112887224 A CN 112887224A CN 202110096595 A CN202110096595 A CN 202110096595A CN 112887224 A CN112887224 A CN 112887224A
- Authority
- CN
- China
- Prior art keywords
- service
- node
- scheduling
- service node
- fault
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及的流量调度处理方法、装置、电子设备及存储介质,在存在故障服务节点情况下,根据故障服务节点的服务质量评估信息,确定故障服务节点的服务质量是否满足需利用故障服务节点提供服务的至少一种目标业务的服务质量条件,若目标业务中存在未满足所对应服务质量条件的至少一种第一业务,则将故障服务节点从第一业务对应的服务节点集合中剔除。由于从第一业务对应的服务节点集合中剔除了不满足第一业务的服务质量条件的故障服务节点,从而在基于剔除处理后的服务节点集合对第一业务进行流量调度时,必然可排除将面向第一业务的流量调度至故障服务节点的可能,有效避免了将流量调度到服务质量差的服务节点,提升了CDN等的网络服务质量。
Description
技术领域
本申请属于通信技术领域,尤其涉及一种流量调度处理方法、装置、电子设备及存储介质。
背景技术
CDN(Content Delivery Network,内容分发网络)是构建在现有网络基础之上的智能虚拟网络,依靠部署在各地的CDN边缘节点,通过负载均衡、内容分发、调度等功能,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率。
CDN供应商的DNS(Domain Name Syste,域名系统)负责对CDN进行业务管理及流量调度,传统技术中,在进行流量调度时,CDN供应商的DNS按照CDN边缘节点的IP权重将流量调度给相应的边缘节点。然而,上述流量调度方式可能会将流量调度到服务质量差的CDN边缘节点,影响了CDN的服务质量,导致CDN服务质量不够高。
发明内容
有鉴于此,本申请提供了一种流量调度处理方法、装置、电子设备及存储介质,用于至少结合服务节点(如,CDN边缘节点)的服务质量进行流量调度,以避免将流量调度到服务质量差的服务节点,提升网络服务质量。
具体技术方案如下:
一种流量调度处理方法,包括:
获取故障服务节点的服务质量评估信息;
确定需利用所述故障服务节点提供服务的至少一种目标业务;
根据所述服务质量评估信息,确定所述故障服务节点的服务质量是否满足每种目标业务对应的服务质量条件;
若所述至少一种目标业务中存在所述故障服务节点的服务质量未满足所对应服务质量条件的至少一种第一业务,将所述故障服务节点从第一业务对应的服务节点集合中剔除,以基于所述第一业务对应的剔除所述故障服务节点后的服务节点集合对所述第一业务进行流量调度。
可选的,所述确定需利用所述故障服务节点提供服务的至少一种目标业务,包括:
确定所述故障服务节点对应的至少一个目标调度组;
根据所述至少一个目标调度组确定所述至少一种目标业务;
其中,调度组通过对不同的业务域名进行编组得到,一个调度组对应至少一个业务域名;所述需利用所述故障服务节点提供服务的至少一种目标业务,包括所述至少一个目标调度组中的业务域名指示的业务。
可选的,所述根据所述服务质量评估信息,确定所述故障服务节点的服务质量是否满足每种目标业务对应的服务质量条件,包括:
确定所述服务质量评估信息表征的所述故障服务节点的故障等级,是否超出每个目标调度组对应的故障等级阈值;
若超出所述至少一个目标调度组中至少一个第一调度组的故障等级阈值,则所述故障服务节点的服务质量不满足所述至少一个第一调度组中的业务域名指示的至少一种第一业务的服务质量条件;
若未超出所述至少一个目标调度组中至少一个第二调度组的故障等级阈值,则所述故障服务节点的服务质量满足所述至少一个第二调度组中的业务域名指示的至少一种第二业务的服务质量条件;
其中,同一调度组中的不同业务域名指示的不同种类业务对应相同的服务质量条件,所述相同的服务质量条件为:由所述不同种类业务的域名所属的所述同一调度组对应的故障等级阈值表征的条件。
可选的,所述将所述故障服务节点从第一业务对应的服务节点集合中剔除,包括:
确定所述故障服务节点在每个第一调度组对应的至少一个目标调度单元;一个调度组对应至少一个调度单元,调度组对应的调度单元由调度组与用于进行服务节点调度的相应线路构成,调度组的各调度单元对应的线路下分别挂载有相应的服务节点集合;
对于每个第一调度组,解除所述第一调度组中的所述目标调度单元向所述故障服务节点分配的带宽。
可选的,在将所述故障服务节点从第一业务对应的服务节点集合中剔除之后,还包括:
将解除的由所述目标调度单元分配至所述故障服务节点的带宽,重分配至所述目标调度单元中的非故障服务节点。
可选的,在将所述故障服务节点从第一业务对应的服务节点集合中剔除之后,还包括:
确定剔除了故障服务节点的所述目标调度单元中是否存在过载节点;
若存在过载节点,确定所述过载节点在所对应调度组下对应的调度单元;
对所述过载节点在所对应调度组下对应的调度单元进行预定的服务节点调整处理,以至少降低所述过载节点的过载程度;
其中,所述服务节点调整处理包括如下的至少一种:
对相应过载节点在所对应调度组下对应的调度单元进行服务节点的IP权重调整;
向相应过载节点在所对应调度组下对应的调度单元中增加服务节点;
在相应过载节点在所对应调度组下对应的调度单元中删除服务节点;
其中,对服务节点的IP权重调整包括改变服务节点对应的IP地址的数量,通过改变服务节点对应的IP地址的数量而调整服务节点在所对应调度单元中的IP权重。
可选的,所述对所述过载节点在所对应调度组下对应的调度单元进行预定的服务节点调整处理,包括:
对所述过载节点对应的可调度单元中的已生效单元进行服务节点的IP权重调整;
确定对已生效单元进行服务节点的IP权重调整后,剔除了故障服务节点的所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,向当前的过载节点对应的已生效单元中增加服务节点;
确定向已生效单元中增加服务节点后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,确定导致当前的过载节点过载的已生效单元,并从导致当前的过载节点过载的已生效单元删除所述当前的过载节点;
确定从已生效单元删除所述当前的过载节点后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,对当前的过载节点对应的可调度单元中的未生效单元进行服务节点的IP权重调整;
确定对未生效单元进行服务节点的IP权重调整后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,向当前的过载节点对应的未生效单元中增加服务节点;
确定向未生效单元中增加服务节点后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,从当前的过载节点对应的未生效单元删除所述当前的过载节点。
可选的,所述向相应过载节点在所对应调度组下对应的调度单元中增加服务节点,包括:
从各调度组的调度单元对应的处于已上线状态的服务节点中,和/或从处于未上线状态的服务节点中筛选符合成本条件和带宽条件的备用节点,并将所述备用节点增加至相应过载节点在所对应调度组下对应的调度单元。
可选的,在所述将所述故障服务节点从第一业务对应的服务节点集合中剔除之前,还包括:
确定所述故障服务节点是否满足所对应故障等级下的相应数量条件;所述故障等级为所述故障服务节点的服务质量评估信息表征的故障等级;
若不满足,则触发将所述故障服务节点从第一业务对应的服务节点集合中剔除的步骤。
可选的,在所述确定需利用所述故障服务节点提供服务的至少一种目标业务之前,还包括:
确定所述故障服务节点是否为内容分发网络的边缘节点,若是,则触发所述确定需利用所述故障服务节点提供服务的至少一种目标业务的步骤;
和/或,
确定所述故障服务节点是否处于能用于提供服务的上线状态,若是,则触发所述确定需利用所述故障服务节点提供服务的至少一种目标业务的步骤。
可选的,在将所述故障服务节点从第一业务对应的服务节点集合中剔除之后,还包括:
在所述故障服务节点的故障消除后,根据所述故障服务节点和各调度组的调度单元下不同服务节点的带宽状况,将所述故障服务节点增加至相应调度组的相应调度单元,以恢复所述故障服务节点的线上服务。
可选的,在将所述故障服务节点从第一业务对应的服务节点集合中剔除之后,还包括:
将节点调整信息同步至内容分发网络的域名系统,以使所述域名系统基于所述第一业务对应的剔除所述故障服务节点后的服务节点集合,对面向所述第一业务的内容请求中携带的域名信息进行域名解析,并基于域名解析结果对所述内容请求进行调度;
其中,所述节点调整信息至少能用于表明已将所述故障服务节点从第一业务对应的服务节点集合中剔除。
一种流量调度处理装置,包括:
获取单元,用于获取故障服务节点的服务质量评估信息;
第一确定单元,用于确定需利用所述故障服务节点提供服务的至少一种目标业务;
第二确定单元,用于根据所述服务质量评估信息,确定所述故障服务节点的服务质量是否满足每种目标业务对应的服务质量条件;
调整处理单元,用于若所述至少一种目标业务中存在所述故障服务节点的服务质量未满足所对应服务质量条件的至少一种第一业务,将所述故障服务节点从第一业务对应的服务节点集合中剔除,以基于所述第一业务对应的剔除所述故障服务节点后的服务节点集合对所述第一业务进行流量调度。
一种电子设备,包括:
存储器,用于存放计算机指令集;
处理器,用于通过执行所述存储器上存放的指令集,实现如上任一项所述的流量调度处理方法。
一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机指令集,所述计算机指令集被处理器执行时实现如上任一项所述的流量调度处理方法。
本申请实施例公开的流量调度处理方法、装置、电子设备及存储介质,提出了一种至少基于服务节点的服务质量进行流量调度的技术思路,其中,在存在故障服务节点情况下,根据故障服务节点的服务质量评估信息,确定故障服务节点的服务质量是否满足需利用故障服务节点提供服务的至少一种目标业务的服务质量条件,若目标业务中存在未满足所对应服务质量条件的至少一种第一业务,则将故障服务节点从第一业务对应的服务节点集合中剔除。由于从第一业务对应的服务节点集合中剔除了不满足第一业务的服务质量条件的故障服务节点,从而在基于剔除处理后的服务节点集合对第一业务进行流量调度时,必然可排除将面向第一业务的流量调度至故障服务节点的可能,有效避免了将流量调度到服务质量差的服务节点,提升了CDN等的网络服务质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是现有技术中CDN的流量调度架构及处理逻辑示意图;
图2是本申请实施例提供的流量调度处理方法的一种流程示意图;
图3是本申请实施例提供的CDN的流量调度架构及处理逻辑示意图;
图4是本申请实施例提供的质量探测中心、调度服务与中控之间的交互示意图;
图5是本申请实施例提供的调度组、调度单元与服务节点之间的对应关系示意图;
图6是本申请实施例提供的流量调度处理方法的另一种流程示意图;
图7是本申请实施例提供的流量调度处理方法的又一种流程示意图;
图8是本申请实施例提供的流量调度处理方法的再一种流程示意图;
图9是本申请实施例提供的流量调度处理方法的再一种流程示意图;
图10是本申请实施例提供的流量调度处理方法的再一种流程示意图;
图11是本申请实施例提供的流量调度处理装置的结构示意图;
图12是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
CDN供应商的DNS(Domain Name Syste,域名系统)负责对CDN进行业务管理及流量调度,传统技术中,在进行流量调度时,参见图1提供的流量调度处理逻辑示意图,运营商(如联通、移动)的Local DNS获得客户端发起的携带业务域名(如图1中的xx.com,具体地,比如baidu.com)的内容请求,并通过业务服务商(如百度)的授权DNS获得携带有相应业务域名及CDN供应商的DNS域名的接入域名(如图1中的xx.com.ks-cnd.com),并将该接入域名发送至CDN供应商的DNS,CDN供应商的DNS通过域名解析向运营商Local DNS反馈一指向至少一个边缘节点的IP列表(一个边缘节点包括至少一个如服务器、缓存cache等物理机,不同物理机对应一个或多个IP地址),借助该IP列表,按反馈的各边缘节点的IP比例权重将客户端请求调度至相应边缘节点(如图1中对应对于2.2.2.2这一IP的cache)。
发明人经研究发现,传统技术的上述流量调度方式至少存在以下技术缺陷:
1)可能会将流量调度到服务质量差的CDN边缘节点;
2)如果服务节点出现质量问题,不能及时将出现质量问题的故障服务节点剔除。
为至少解决上述技术缺陷,本申请公开了一种流量调度处理方法、装置、电子设备及存储介质,通过结合服务节点(如,CDN边缘节点)的服务质量进行流量调度,避免将流量调度到服务质量差的服务节点,并及时将出现质量问题的故障服务节点剔除,以提升CDN等的网络服务质量。
参见图2,为本申请实施例提供的流量调度处理方法的一种流程示意图,本申请公开的流量调度处理方法可应用于诸如CDN等网络的流量调度场景中,具体可应用于该场景中包括CDN供应商的DNS的调度系统中,实施中,如图3所示,可进一步向CDN供应商的调度系统中增添设置一调度服务,以使得采用调度服务的形式对本申请的流量调度处理方法加以实现。
调度服务可运行于上述调度系统中的某一服务器上,如独立于CDN供应商的DNS中各DNS服务器的某一服务器,或从CDN供应商的DNS中选取的某一DNS服务器等,本申请实施例对此不予限定。
如图2所示,本实施例中,所述流量调度处理方法可以包括:
步骤201、获取故障服务节点的服务质量评估信息。
可选的,服务节点可以包括但不限于CDN网络中的边缘节点。
本申请实施例中,故障服务节点是指存在服务质量问题的服务节点,如,CDN网络中,对请求方的内容请求,因CPU能力、磁盘IO能力等而存在一定概率响应超时的边缘节点,或者,因CPU、磁盘故障等原因而易导致响应失败的边缘节点等。
针对CDN网络中的流量调度这一典型场景,本申请实施例提供了一质量探测中心负责对网络中的各个服务节点(如边缘节点)进行服务质量探测,其中,质量探测中心在网络的各服务节点中选取用于对待评估节点进行质量探测的一个或多个探测节点,并在一个或多个探测节点模拟客户端向待评估节点发起内容请求,以此测试待评估节点的响应状况,如是否响应超时、是否响应失败等,并进一步基于测试结果生成待评估节点的服务质量评估信息,相应得到CDN网络中各服务节点的服务质量评估信息并向调度服务上报。
作为一可选实施方式,质量探测中心可不加区分地将探测得到的所有服务节点及其服务质量评估信息上报至调度服务,由调度服务基于分别对应的服务质量评估信息筛选故障服务节点,并获取故障服务节点的服务质量评估信息。
或者,作为另一可选实施方式,质量探测中心在探测得到各服务节点的服务质量评估信息之后,进一步基于分别对应的服务质量评估信息筛选故障服务节点,并仅将故障服务节点信息及其对应的服务质量评估信息上报至调度服务,以请求对故障服务节点执行本申请方法的流量调度处理,具体可参见图4所示,由此,调度服务可直接基于质量探测中心的上报而获得故障服务节点的服务质量评估信息。
服务节点对应的服务质量评估信息的形式可以有多种,可以包括但不限于服务质量评分、故障等级等形式。本实施例中,优选采用故障等级形式,其中,不同的故障等级对应服务节点的不同出错概率(如,服务节点存在20%的概率响应超时,存在10%的概率响应失败等),实施中,可直接采用服务节点的出错概率值表征服务节点的故障等级,即,故障等级的取值可以为10%、20%、50%、65%等概率值,或者,也可以采用一级/二级/…N级等故障等级形式,不同等级分别对应不同的出错概率区间,本实施例对此不进行限制。
步骤202、确定需利用所述故障服务节点提供服务的至少一种目标业务。
为便于在CDN网络中进行业务管理及流量调度,参见图5,本实施例对CDN网络的内容服务面向的一系列业务(如百度等服务商的网页内容搜索业务、各多媒体服务商的直播业务/点播业务等)进行了业务域名编组,得到多个调度组,一个调度组的编组内对应包括一个或多个业务域名,如,baidu.com等的搜索业务域名、视频直播业务/点播业务的业务域名等。
一个调度组对应一个或多个调度单元,调度组对应的调度单元由调度组与用于进行服务节点调度的相应线路构成,如图5中,调度组1+线路1、调度组1+线路2、调度组1+线路3即为调度组1对应的3个调度单元,其他调度组的调度单元类似,不再一一说明,线路对应“分地区运营商”提供的网路,如线路1、线路2、线路3分别对应华北移动、华南联通、华中移动提供的网路等。不同调度组的调度单元可分别采用不同线路,或者,还可以共享相同线路,调度组的各调度单元对应的线路下分别挂载有CDN网络中的相应服务节点集合,且,同一服务节点可以根据需求挂载至相同或不同调度组的不同调度单元下。
服务节点根据与调度组、调度单元之间的挂载关系,而负责基于所对应调度单元下的线路,对所对应调度组中纳入的业务提供内容服务。
当同一服务节点挂载至相同或不同调度组的不同调度单元下时,该服务节点拥有不同调度单元分别为其分配的带宽(如,该节点拥有的100G带宽具体由调度单元1分配的20G带宽、调度单元2分配的30G带宽、调度单元3分配的50G带宽构成等),且该服务节点分别基于不同调度单元分配的带宽,在所对应的不同调度单元下为所对应业务提供内容服务。
优选地,在对不同业务的业务域名进行编组时,将具有相同或相近似服务质量要求(如,响应速率要求、响应失败的容忍度)的多个业务的域名编为一组,相应将具有相同或相近似服务质量要求的多种业务纳入同一调度组,服务质量要求差距较大的业务则纳入不同调度组;在具有相同或相近似服务质量要求的业务超出一个调度组的容纳上限时,可进一步优先将属于同一业务服务商的不同种类业务纳入同一调度组。
基于上述的编组架构,本步骤202中,确定需利用所述故障服务节点提供服务的至少一种目标业务,具体可实现为:
确定所述故障服务节点对应的至少一个目标调度组;
根据所述至少一个目标调度组确定所述至少一种目标业务。
其中,所述需利用所述故障服务节点提供服务的至少一种目标业务,包括所述至少一个目标调度组中的业务域名指示的业务。
步骤203、根据所述服务质量评估信息,确定所述故障服务节点的服务质量是否满足每种目标业务对应的服务质量条件。
基于上述的编组架构,本实施例进一步基于每个调度组中的一种或多种业务的服务质量要求,为每个调度组纳入的业务分别设置一个统一的服务质量条件,该服务质量条件可以是但不限于为调度组设置的一故障等级阈值,调度组对应的故障等级阈值,表征调度组内的业务域名对应的业务对故障服务节点的最大容忍故障等级。
示例性地,比如,假设调度组1中纳入有视频直播业务及网页搜索业务,且假设视频直播业务及网页搜索业务对响应实时性的要求较高,对错误率(如,响应超时、失败等的错误率)的最大容忍约为10%,则可为调度组1配置一数值为10%的故障等级阈值,调度组2中仅纳入有视频点播业务,对响应实时性的要求不高,对错误率(如,响应超时、失败等的错误率)的最大容忍约为60%,则可相应为调度组2配置一数值为60%的故障等级阈值。故障服务节点的故障等级超过调度组的故障等级阈值,则故障服务节点不满足调度组所对应业务的服务质量要求。
在此基础上,本步骤203中,根据所述服务质量评估信息,确定所述故障服务节点的服务质量是否满足每种目标业务对应的服务质量条件,可进一步实现为:
1)确定所述服务质量评估信息表征的所述故障服务节点的故障等级,是否超出每个目标调度组对应的故障等级阈值;
目标调度组,即为所述故障服务节点在图5示出的编组架构下对应的调度组,可能为一个或多个。
2)若超出所述至少一个目标调度组中至少一个第一调度组的故障等级阈值,则所述故障服务节点的服务质量不满足所述至少一个第一调度组中的业务域名指示的至少一种第一业务的服务质量条件;
例如,假设故障服务节点的故障等级值为50%(表示进行内容服务时,存在50%的超时等出错概率),经与上述调度组1配置的故障等级阈值(10%)的比对,可知,故障服务节点不满足调度组1中各业务如视频直播、网页搜索(即,第一业务)的服务质量条件。
3)若未超出所述至少一个目标调度组中至少一个第二调度组的故障等级阈值,则所述故障服务节点的服务质量满足所述至少一个第二调度组中的业务域名指示的至少一种第二业务的服务质量条件;
承接上述示例,经与调度组2配置的故障等级阈值(60%)的比对,可知,故障服务节点满足调度组2中的业务如视频点播的服务质量条件。
步骤204、若所述至少一种目标业务中存在所述故障服务节点的服务质量未满足所对应服务质量条件的至少一种第一业务,将所述故障服务节点从第一业务对应的服务节点集合中剔除,以基于第一业务对应的剔除所述故障服务节点后的服务节点集合对第一业务进行流量调度。
基于图5示出的编组架构,第一业务对应的服务节点集合即可以为第一业务所对应调度组下的各个调度单元挂载的服务节点的集合。因此,针对故障服务节点的服务质量未满足所对应服务质量条件的至少一种第一业务,可将故障服务节点从每个第一业务所对应调度组下的各个调度单元挂载的服务节点集合中剔除。
故障服务节点存在服务质量问题,并不表示故障服务节点完全不可用,对于服务质量要求相对较低的业务仍能满足其需求,例如,上文示例中,虽然故障服务节点具有50%的出错概率,但仍能满足调度组2(对应配置有60%的故障等级阈值)中点播业务的服务要求,因此,为了服务节点的最大化利用,对于故障服务节点的服务质量满足所对应服务质量条件的至少一种第二业务(如上述的点播业务),不对故障服务节点进行处理,也即,不从第二业务对应的服务节点集合中将故障服务节点剔除。
其中,在将故障服务节点从每个第一业务所对应调度组下的各个调度单元挂载的服务节点集合中剔除时,具体可确定故障服务节点在每个第一调度组(故障服务节点不满足所对应的服务质量条件的调度组)对应的至少一个目标调度单元,并解除每个第一调度组中的目标调度单元向故障服务节点分配的带宽。
故障服务节点在第一调度组对应的目标调度单元,指故障服务节点在第一调度组对应的具有挂载关系的调度单元。
以下举例说明:
假设故障服务节点x挂载在调度组1的调度单元a、调度单元b下,调度组1的调度单元c未挂载该故障服务节点x,同时,故障服务节点x挂载在调度组2的调度单元d下,该故障服务节点x拥有调度单元a、调度单元b和调度单元d分别分配的20G、30G、50G带宽;同时假设,故障服务节点x不满足调度组1中各第一业务(如视频直播、页面内容搜索)的服务质量条件,满足调度组2中第二业务(如视频点播)的服务质量条件,则将调度单元a、调度单元b分别分配的20G、30G带宽从故障服务节点x解除,对相应调度单元所分配的带宽的解除即相当于解除了故障服务节点x在该调度单元的挂载关系,以此实现将故障服务节点x从第一业务对应的服务节点集合中剔除,相应使得在流量调度中,排除将面向第一业务的流量调度至该故障服务节点x的可能。
上述处理过程,仍保留了故障服务节点x在调度组2的可用性,故障服务节点x可基于调度单元d分配的50G带宽为调度组2中的第二业务提供内容服务。
本申请实施例的流量调度处理方法,提出了一种至少基于服务节点的服务质量进行流量调度的技术思路,其中,在存在故障服务节点情况下,根据故障服务节点的服务质量评估信息,确定故障服务节点的服务质量是否满足需利用故障服务节点提供服务的至少一种目标业务的服务质量条件,若目标业务中存在未满足所对应服务质量条件的至少一种第一业务,则将故障服务节点从第一业务对应的服务节点集合中剔除。由于从第一业务对应的服务节点集合中剔除了不满足第一业务的服务质量条件的故障服务节点,从而在基于剔除处理后的服务节点集合对第一业务进行流量调度时,必然可排除将面向第一业务的流量调度至故障服务节点的可能,有效避免了将流量调度到服务质量差的服务节点,提升了CDN等的网络服务质量。
在将所述故障服务节点从第一业务对应的服务节点集合中剔除之后,相应可基于第一业务对应的剔除该故障服务节点后的服务节点集合,对面向第一业务的流量进行流量调度,鉴于此,参见图6提供的流量调度处理方法的流程示意图,该流量调度处理方法在步骤204之后,还可以包括:
步骤205、将节点调整信息同步至内容分发网络的域名系统。
其中,所述节点调整信息至少能用于表明已将所述故障服务节点从第一业务对应的服务节点集合中剔除。
所述内容请求中具体携带有第一业务的域名信息。第一业务为故障服务节点的服务质量未满足所对应服务质量条件的业务,也即是故障服务节点的服务质量评估信息表征的故障等级不满足所对应调度组的故障等级阈值的业务。
调度服务在将故障服务节点从第一业务对应的服务节点集合中剔除之后,可进一步将剔除操作产生的节点调整信息同步至CDN供应商的DNS,以使CDN供应商的DNS根据获得的节点调整信息,而基于第一业务对应的剔除所述故障服务节点后的服务节点集合,对面向第一业务的内容请求中携带的域名信息进行域名解析,并基于域名解析结果对所述内容请求进行调度。
实施中,如图4所示,除了调度服务,还可以在CDN调度系统中构建并维护一中央配置控制系统,简称中控,用于维护与记录CDN的上述编组架构中的编组信息,编组信息可以包括但不限于:各调度组分别对应包括的业务域名,各调度组对应配置的服务质量条件(如故障等级阈值)、各调度组分别对应的调度单元(分区运营商提供的线路)、各调度组的不同调度单元下分别挂载的服务节点信息集合。
当调度服务接收到质量探测中心上报的服务节点(如故障服务节点)的服务质量评估信息后,从中控拉取上述配置信息,基于故障服务节点的服务质量评估信息(如故障等级)以及拉取的配置信息,计算应该调整CDN网络编组中的哪些覆盖关系,如应该将故障服务节点从哪些调度单元剔除(解除该调度单元为故障服务节点分配的带宽)等,在此基础上,将基于剔除操作生成的覆盖关系调整信息(即,上述的节点调整信息)下发至中控,中控则进一步将接收的覆盖关系调整信息下发至CDN供应商的DNS中,以使该调整信息在CDN供应商的DNS中生效。
实施中,若中控向CDN供应商的DNS下发信息过于频繁,可能会导致数据写冲突,针对该情况,可采用分布式锁机制解决该冲突问题,其中,中控具体可使用MySQL实现分布式锁,当中控向DNS数据库插入多条数据时只有一条能添加成功,并认为添加成功的数据获得分布式锁,后续,针对未添加成功的数据可继续通过为该数据获得分布式锁实现该数据的成功写入。
在获得调度服务同步的节点调整信息后,CDN供应商的DNS可根据得到的节点调整信息,实现基于第一业务对应的剔除该故障服务节点后的服务节点集合,对面向第一业务的流量进行流量调度,该过程可以包括:
1)、获取面向所述第一业务的内容请求。
所述内容请求中携带有所述第一业务的域名信息。
第一业务为故障服务节点的服务质量未满足所对应服务质量条件的业务,也即是故障服务节点的服务质量评估信息表征的故障等级不满足所对应调度组的故障等级阈值的业务。
本步骤中,可由CDN供应商的DNS获取请求方面向第一业务的内容请求。
具体地,参见图3,当运营商(如联通、移动)的Local DNS获得客户端发起的携带第一业务域名信息(如图1中的xx.com,具体地,比如baidu.com)的内容请求时,Local DNS通过业务服务商(如百度)的授权DNS获得携带有第一业务域名及CDN供应商的DNS域名的接入域名(如图3中的xx.com.ks-cnd.com),并将该接入域名发送至CDN供应商的DNS,如图3中的KDNS,CDN供应商的DNS相应获取到请求方的面向第一业务的内容请求。
2)对所述第一业务的域名信息进行域名解析,得到相对应的IP地址列表;
之后,CDN供应商的DNS基于对中控下发的覆盖关系调整信息生效后的CDN编组架构信息,对内容请求中携带的第一业务域名信息进行域名解析,相应得到一IP地址列表,该IP地址列表包括:所述第一业务对应的剔除所述故障服务节点后的服务节点集合中的至少一个服务节点对应的IP地址。
在进行域名解析时,CDN供应商的DNS从第一业务所对应调度组的各调度单元挂载的服务节点集合中,筛选在所对应调度单元下向所述内容请求提供的可用带宽能覆盖(大于或等于)该内容请求所对应业务(如网页内容搜索)的带宽需求的至少一个服务节点,并获取该至少一个服务节点对应的一个或多个IP地址,以形成IP地址列表。
3)反馈所述IP地址列表至请求方,以使将请求方的内容请求调度至所述
IP地址列表对应的至少一个服务节点中的相应服务节点。
在基于域名解析得到IP地址列表后,CDN供应商的DNS将IP地址列表反馈至运营商的Local DNS,如图3中的步骤5,运营商Local DNS进一步将IP地址列表反馈给请求方客户端,后续请求方客户端可基于IP地址列表按列表中不同服务节点的IP比例权重,向相应服务节点进行内容请求以获取所需的内容服务(具体如图3中的步骤7-8),比如,假设IP地址列表中共包括10个IP地址,其中,1个IP地址指向服务节点1,3个IP地址指向服务节点1,6个IP地址指向服务节点3,则按IP比例权重,请求方客户端分别有10%、30%、60%的概率向服务节点1、服务节点2、服务节点3请求内容服务。
其中,若请求的服务节点不具备请求方所需内容,可进一步从源站进行数据拉取,如图3中的步骤9-12,在此基础上实现向请求方提供所需内容服务。
可以理解,由于已将故障节点从第一业务在所对应调度组下的所对应调度单元中剔除,从而,IP地址列表中的各IP地址不会指向故障服务节点,排除了将面向第一业务的流量调度至故障服务节点的可能,可有效避免将流量调度到服务质量差的服务节点,提升了CDN等网络的服务质量。
在一可选实施例中,参见图7提供的流量调度处理方法的流程示意图,该流量调度处理方法在步骤204之后,还可以包括:
步骤206、将解除的由所述目标调度单元分配至所述故障服务节点的带宽,重分配至所述目标调度单元中的非故障服务节点。
当针对每个第一调度组,解除第一调度组中与故障服务节点具有挂载关系的目标调度单元(一个或多个)向故障服务节点分配的带宽后,相当于在目标调度单元进行了服务节点的缩容。
为了尽可能不影响目标调度单元的内容服务能力,本实施中,将解除的由所述目标调度单元分配至故障服务节点的带宽,重分配至所述目标调度单元中的非故障服务节点,如,将第一调度组中调度单元a分配给故障服务节点的20G带宽解除后,进一步将该20G带宽重分配至调度单元a中的其他非故障节点,将第一调度组中调度单元b分配给故障服务节点的30G带宽解除后,进一步将该30G带宽重分配至调度单元b中的其他非故障节点等。
可选的,可将调度单元在故障服务节点解除的带宽,按所对应调度单元中各个非故障服务节点的IP比例权重,重分配至所对应调度单元中的各个非故障服务节点。
为便于理解,举例说明:
假设调度单元中有共3个服务节点n1、n2、n3,各节点对应的IP个数比例为1:2:3,如果n2节点故障,解除该调度单元为其分配的带宽将n2从该调度单元中剔除,那么该调度单元中还剩余2个非故障节点n1和n3,IP个数比例为1:3,相应的,这两个节点n1、n3将承担n2节点解除的带宽,且承担的带宽量按照IP比例进行分配,具体为1:3。
本实施例通过将故障服务节点解除的带宽重分配至所在目标调度单元中的非故障服务节点,能够做到尽可能不影响目标调度单元剔除故障服务节点后的内容服务能力。
故障服务节点从第一业务对应的服务节点集合中的剔除,打破了CDN网络现有编组中的覆盖关系,可能会导致剔除了故障服务节点的目标调度单元中存在节点过载。
针对该情况,参见图8提供的流量调度处理方法的另一流程示意图,在一可选实施例中,该流量调度处理方法在步骤204或步骤206之后,还可以包括:
步骤207、确定剔除了故障服务节点的所述目标调度单元中是否存在过载节点。
可选的,如果一个节点的当前已用带宽超过节点带宽的预定比例,则可判定该节点过载。示例性地,比如,如果节点的当前已用带宽超过该节点上联带宽(节点带宽的上限)的95%则认为该节点过载等。
步骤208、若存在过载节点,确定过载节点在所对应调度组下对应的调度单元。
步骤209、对过载节点在所对应调度组下对应的调度单元进行预定的服务节点调整处理,以至少降低所述过载节点的过载程度。
其中,所述服务节点调整处理可以包括如下的至少一种:
1)对相应过载节点在所对应调度组下对应的调度单元进行服务节点的IP权重调整;
2)向相应过载节点在所对应调度组下对应的调度单元中增加服务节点;
3)在相应过载节点在所对应调度组下对应的调度单元中删除服务节点。
其中,对服务节点的IP权重调整包括改变服务节点对应的IP地址的数量,通过改变服务节点对应的IP地址的数量而调整服务节点在所对应调度单元中的IP权重。
以下提供对所述过载节点在所对应调度组下对应的调度单元进行预定的服务节点调整处理的一可选实施过程,具体可以包括:
1)对所述过载节点对应的可调度单元中的已生效单元进行服务节点的IP权重调整。
CDN通常会针对一些具有默认配置用于默认服务的调度单元(如,联通默认、移动默认用于特定服务的调度单元,或者用作备份的调度单元等),不允许对其进行节点信息调整,这些单元作为系统的不可调度单元,这些单元除外的其他单元则为系统的可调度单元。
在CDN进行调度单元的新增,或者基于本申请方法因调整节点信息(如剔除节点)而相应对具有挂载关系的调度单元进行调整时,通常需要一定时间比如6、7分钟才能使得这些调度单元的更新信息在运营商localdns中生效而完成上线,该在运营商localdns中生效的单元即为已生效单元,相对的,针对CDN进行调度单元新增或调整时未在运营商localdns生效的单元,则为未生效单元。
对过载节点对应的可调度单元中的已生效单元进行服务节点的IP权重调整,具体可以是指降低过载节点对应的IP数量,通过降低过载节点对应的IP数量,可降低过载节点在所处调度单元中的IP比例权重,进一步可降低将流量调度至该过载节点的概率,从而可达到至少降低该过载节点的过载程度的目的。
2)确定对已生效单元进行服务节点的IP权重调整后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,向当前的过载节点对应的已生效单元中增加服务节点。
在进行步骤1)的调整后,判定剔除了故障服务节点的目标调度单元中是否仍存在过载节点,若仍存在过载节点(该当前检测到的过载节点与步骤1)中的过载节点可能是同一节点或不同节点),针对该情况,为了降低该当前过载节点的过载,本步骤向当前过载节点对应的已生效单元中增加服务节点。
通过增加服务节点的方式降低当前过载节点的过载程度或消除当前过载节点的过载。
具体地,可从CDN全网的在线服务节点(各调度组的调度单元下挂载的服务节点)、基于扩容而待新增至网络的未上线服务节点和/或历史上已剔除但当前已进行服务质量恢复的服务节点中,筛选符合条件的至少一个节点作为备用节点,并将筛选出的备用节点增加至该当前过载节点在所对应调度组下对应的调度单元中。
上述的筛选条件可以包括但不限于成本条件和/或带宽条件。
可选的,成本条件可设置为:服务节点在预定时长的计费成本不超出预定成本阈值,或者,服务节点的计费成本为全网节点计费成本升序排序中的topk(k为一设定的自然数)等。所述的带宽条件可以但不限于设定为:服务节点的可用带宽能够覆盖当前过载节点所面向的业务的带宽需求,以能够成功分流当前过载节点的流量。
3)确定向已生效单元中增加服务节点后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,确定导致当前的过载节点过载的已生效单元,并从导致当前的过载节点过载的已生效单元删除所述当前的过载节点。
在进行步骤2)的增加服务节点后,进一步判定剔除了故障服务节点的目标调度单元中是否仍存在过载节点,在仍存在过载节点情况下(当前的过载节点与前一步骤的过载节点同样可能是同一节点或不同节点),为了进一步降低过载,本步骤从导致当前过载节点过载的已生效单元删除当前的过载节点。
其中,若当前过载节点对应多个已生效调度单元,具体可确定导致当前过载节点过载的已生效单元,并将该导致当前过载节点过载的已生效单元向当前过载节点分配的带宽解除。若当前过载节点仅对应一个已生效调度单元,该单元即为导致当前过载节点过载的单元,从而解除该单元向当前过载节点分配的带宽即可。
本步骤的处理具体基于以下考虑:
在前序步骤中已增加节点的基础上,由于所增加节点为基于筛选条件筛选的较优节点,所增加的节点大概率能够承受该过载节点在所对应调度单元(导致当前过载节点过载的单元)的流量,在此前提下,通过解除该过载节点在所对应调度单元下的带宽,可迫使系统中导致当前过载节点过载的该调度单元不再将流量调度至该过载节点,从而可消除该过载节点的过载。
4)确定从已生效单元删除所述当前的过载节点后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,对当前的过载节点对应的可调度单元中的未生效单元进行服务节点的IP权重调整。
5)确定对未生效单元进行服务节点的IP权重调整后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,向当前的过载节点对应的未生效单元中增加服务节点。
6)确定向未生效单元中增加服务节点后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,从当前的过载节点对应的未生效单元删除所述当前的过载节点。
步骤4)-6)的目的在于,在优先对过载节点对应的已生效单元进行上述步骤1)-3)的各种调整处理后,剔除了故障服务节点的目标调度单元中仍存在过载节点的情况下,进一步考虑从过载节点对应的可调度单元中的未生效单元角度进行各种调整操作,如服务节点的IP权重调整、增加节点、删除节点等,虽然未生效单元当前未生效,但一定时间(如经历6、7分钟的生效所需时间)后,当未生效单元变换为生效状态,仍可达到降低过载的目的。
实施中,具体可创建并维护一生效时间表,负责记录新增节点及其在运营商LocalDNS的生效时间、需进行带宽调整的(如增加或解除带宽)节点及其在Local DNS的生效时间,以及新增节点或带宽调整节点所对应的调度单元,借此,可通过读取该表的表信息确定相应调度单元的已生效或未生效状态。
步骤4)-6)与步骤1)-3)的区别,在于将步骤1)-3)中涉及的已生效单元更改为未生效单元,具体的处理过程可参照步骤1)-3)的说明,不再赘述。
本实施例在将故障服务节点剔除后,通过进一步判定剔除故障服务节点的调度单元中是否存在过载节点,并针对存在过载节点的情况,通过上述的IP比例权重调整、增加节点/删除节点等处理,至少可达到降低过载节点过载程度的目的。
在本申请一可选实施例中,参见图9示出的流量调度处理方法的流程示意图,该方法在步骤204之前还可以包括:
步骤901、确定所述故障服务节点是否满足所对应故障等级下的相应数量条件;若不满足,则触发将所述故障服务节点从第一业务对应的服务节点集合中剔除的步骤。
所述故障等级为故障服务节点的服务质量评估信息表征的故障等级。
可选的,可以但不限于将所述数量条件设定为:
1)当故障等级是最高级别时,指定时间内,同一个区域(如,大区:华北)只能暂停(即,基于带宽解除的节点剔除)不超过指定个数上限的故障服务节点;
2)当故障级别不是最高级别时,需要根据节点信息查询故障服务节点所在调度组和区域(如,大区:华北),并限定该调度组在该区域下指定时间内只能暂停(即,基于带宽解除的节点剔除)不超过指定个数上限的故障服务节点。
实施中,可将对应于一较高错误率区间(如,90%~100%)的故障等级设定为最高级别,该错误率区间除外的其他故障等级为非最高级别。
针对上述数量条件,具体可判定当前故障节点是否达到所对应故障等级下的个数上限,若未达到,则表示不满足所对应故障等级下的数量条件,相应可触发针对该当前故障服务节点的剔除处理步骤,反之,若达到所对应故障等级下的个数上限,表示满足所对应故障等级下的数量条件,则不对该当前故障服务节点进行剔除处理,维持其在CDN网络中的现有运行状况。
本实施例通过设定对应于不同故障等级的不同数量条件,避免了在故障服务节点数量较多情况下,在CDN网络中对故障服务节点数量的过量剔除,相应可实现在避免将流量调度到服务质量差的服务节点的同时,尽可能保证CDN网络的服务稳定性。
在本申请一可选实施例中,该方法在步骤202之前还可以包括以下处理中的至少一种:
1)确定所述故障服务节点是否为内容分发网络的边缘节点,若是,则触发所述确定需利用所述故障服务节点提供服务的至少一种目标业务的步骤。
本申请旨在面向请求方的内容请求时,在CDN网络进行流量调度,以避免将流量调度至CDN中服务质量差的服务节点,而CDN网络中,负责对请求方的请求流量进行处理的节点为其边缘节点,由此,当质量探测中心上报的故障服务节点为CDN的边缘节点情况下,才有必要触发本申请方法提供的对故障服务节点的处理过程(如将故障服务节点从相应调度单元中剔除),否则,若质量探测中心上报的故障服务节点为CDN的非边缘节点,则可返回错误码,不对该故障服务节点进行处理。
2)确定所述故障服务节点是否处于能用于提供服务的上线状态,若是,则触发所述确定需利用所述故障服务节点提供服务的至少一种目标业务的步骤。
这里,能用于提供服务的上线状态,可以包括已完成上线的状态,以及已将故障服务节点进行编组而编入相应调度组的待上线而未生效、未完成上线的状态(此种情况下,通常经过一定时间如6、7分钟后即可生效、完成上线)。
实施中,具体可判定该故障服务节点对应的调度组/调度单元是否为空,若对应的调度组/调度单元非空,则表示故障服务节点处于能用于提供服务的上线状态,此种情形下,为避免将流量调度到该故障服务节点,可触发本申请方法提供的对故障服务节点的处理过程(如将故障服务节点从相应调度单元中剔除);否则,若对应的调度组/调度单元为空,则表示故障服务节点未处于能用于提供服务的上线状态,此种情况下,由于故障服务节点未处于能用于提供服务的上线状态,从而,不存在将流量调度至该故障服务节点的可能性,因此,可返回错误码,不对该故障服务节点进行处理。
本实施例可避免对故障服务节点的不必要的处理,相应可从全局提升对CDN网络中故障服务节点的处理效率。
在本申请一可选实施例中,参见图10示出的流量调度处理方法的流程示意图,该方法在步骤204之后还可以包括以下处理:
步骤210、在所述故障服务节点的故障消除后,根据所述故障服务节点和各调度组的调度单元下不同服务节点的带宽状况,将所述故障服务节点增加至相应调度组的相应调度单元,以恢复所述故障服务节点的线上服务。
待所述故障服务节点的故障消除(如对CPU、磁盘进行修复)、恢复其服务质量后,可考虑恢复该节点到线上业务中。
实施中,可根据故障服务节点和各调度组的调度单元下不同服务节点的带宽状况,如,哪个调度组的调度单元基于现有带宽水位不能满足所面向业务的带宽需求,故障服务节点的带宽是否能够覆盖该调度组的调度单元需面向的业务的带宽需求等,而将故障服务节点编入至相应调度组的相应调度单元,以此恢复该故障服务节点的线上服务。
可选的,在上述相应实施例中检测到有过载节点时,还可以进行报警处理,以保证及时对过载节点进行所需处理而至少降低其过载程度。
另外,可选的,除了上文所述的生效时间表,还可以在调度系统中维护一回滚表和故障节点信息表,其中,回滚表用于记录指定周期(如每天)调度单元中节点的调整信息,以用于下一周期的配置回滚,故障节点信息表负责记录处理过的故障节点,以便于根据该记录信息在故障节点故障消除后将其恢复至调度单元中,以及负责统计当前已经处理故障节点的个数。在此基础上,在每个时间周期内可将CDN中所有调整过的节点在调整之前对应的信息更新到回滚表,并记录故障节点信息到故障节点信息表,以便于在下一周期进行配置还原时采用回滚表作为还原依据,在故障节点的故障消除后需对其进行恢复上线时采用故障节点信息表作为恢复依据。
对应于上述的流量调度处理方法,本申请实施例还公开了一种流量调度处理装置,参见图11示出的该装置的结构示意图,该装置可以包括:
获取单元1101,用于获取故障服务节点的服务质量评估信息;
第一确定单元1102,用于确定需利用所述故障服务节点提供服务的至少一种目标业务;
第二确定单元1103,用于根据所述服务质量评估信息,确定所述故障服务节点的服务质量是否满足每种目标业务对应的服务质量条件;
调整处理单元1104,用于若所述至少一种目标业务中存在所述故障服务节点的服务质量未满足所对应服务质量条件的至少一种第一业务,将所述故障服务节点从第一业务对应的服务节点集合中剔除,以基于所述第一业务对应的剔除所述故障服务节点后的服务节点集合对所述第一业务进行流量调度。
在本申请实施例的一可选实施方式中,第一确定单元1102,具体用于:
确定所述故障服务节点对应的至少一个目标调度组;
根据所述至少一个目标调度组确定所述至少一种目标业务;
其中,调度组通过对不同的业务域名进行编组得到,一个调度组对应至少一个业务域名;所述需利用所述故障服务节点提供服务的至少一种目标业务,包括所述至少一个目标调度组中的业务域名指示的业务。
在本申请实施例的一可选实施方式中,第二确定单元1103,具体用于:
确定所述服务质量评估信息表征的所述故障服务节点的故障等级,是否超出每个目标调度组对应的故障等级阈值;
若超出所述至少一个目标调度组中至少一个第一调度组的故障等级阈值,则所述故障服务节点的服务质量不满足所述至少一个第一调度组中的业务域名指示的至少一种第一业务的服务质量条件;
若未超出所述至少一个目标调度组中至少一个第二调度组的故障等级阈值,则所述故障服务节点的服务质量满足所述至少一个第二调度组中的业务域名指示的至少一种第二业务的服务质量条件;
其中,同一调度组中的不同业务域名指示的不同种类业务对应相同的服务质量条件,所述相同的服务质量条件为:由所述不同种类业务的域名所属的所述同一调度组对应的故障等级阈值表征的条件。
在本申请实施例的一可选实施方式中,调整处理单元1104,包括:
确定模块,用于确定所述故障服务节点在每个第一调度组对应的至少一个目标调度单元;一个调度组对应至少一个调度单元,调度组对应的调度单元由调度组与用于进行服务节点调度的相应线路构成,调度组的各调度单元对应的线路下分别挂载有相应的服务节点集合;
解除模块,用于对于每个第一调度组,解除所述第一调度组中的所述目标调度单元向所述故障服务节点分配的带宽。
在本申请实施例的一可选实施方式中,调整处理单元1104,在将所述故障服务节点从第一业务对应的服务节点集合中剔除之后,还用于:
将解除的由所述目标调度单元分配至所述故障服务节点的带宽,重分配至所述目标调度单元中的非故障服务节点。
在本申请实施例的一可选实施方式中,调整处理单元1104,在将所述故障服务节点从第一业务对应的服务节点集合中剔除之后,还用于:
确定剔除了故障服务节点的所述目标调度单元中是否存在过载节点;
若存在过载节点,确定所述过载节点在所对应调度组下对应的调度单元;
对所述过载节点在所对应调度组下对应的调度单元进行预定的服务节点调整处理,以至少降低所述过载节点的过载程度;
其中,所述服务节点调整处理包括如下的至少一种:
对相应过载节点在所对应调度组下对应的调度单元进行服务节点的IP权重调整;
向相应过载节点在所对应调度组下对应的调度单元中增加服务节点;
在相应过载节点在所对应调度组下对应的调度单元中删除服务节点;
其中,对服务节点的IP权重调整包括改变服务节点对应的IP地址的数量,通过改变服务节点对应的IP地址的数量而调整服务节点在所对应调度单元中的IP权重。
在本申请实施例的一可选实施方式中,调整处理单元1104,对所述过载节点在所对应调度组下对应的调度单元进行预定的服务节点调整处理,包括:
对所述过载节点对应的可调度单元中的已生效单元进行服务节点的IP权重调整;
确定对已生效单元进行服务节点的IP权重调整后,剔除了故障服务节点的所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,向当前的过载节点对应的已生效单元中增加服务节点;
确定向已生效单元中增加服务节点后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,确定导致当前的过载节点过载的已生效单元,并从导致当前的过载节点过载的已生效单元删除所述当前的过载节点;
确定从已生效单元删除所述当前的过载节点后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,对当前的过载节点对应的可调度单元中的未生效单元进行服务节点的IP权重调整;
确定对未生效单元进行服务节点的IP权重调整后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,向当前的过载节点对应的未生效单元中增加服务节点;
确定向未生效单元中增加服务节点后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,从当前的过载节点对应的未生效单元删除所述当前的过载节点。
在本申请实施例的一可选实施方式中,调整处理单元1104,在将所述故障服务节点从第一业务对应的服务节点集合中剔除之前,还用于:
确定所述故障服务节点是否满足所对应故障等级下的相应数量条件;所述故障等级为所述故障服务节点的服务质量评估信息表征的故障等级;
若不满足,则触发将所述故障服务节点从第一业务对应的服务节点集合中剔除的步骤。
在本申请实施例的一可选实施方式中,第一确定单元1102,在确定需利用所述故障服务节点提供服务的至少一种目标业务之前,还用于:
确定所述故障服务节点是否为内容分发网络的边缘节点,若是,则触发所述确定需利用所述故障服务节点提供服务的至少一种目标业务的步骤;
和/或,
确定所述故障服务节点是否处于能用于提供服务的上线状态,若是,则触发所述确定需利用所述故障服务节点提供服务的至少一种目标业务的步骤。
在本申请实施例的一可选实施方式中,调整处理单元1104,在将所述故障服务节点从第一业务对应的服务节点集合中剔除之后,还用于:
在所述故障服务节点的故障消除后,根据所述故障服务节点和各调度组的调度单元下不同服务节点的带宽状况,将所述故障服务节点增加至相应调度组的相应调度单元,以恢复所述故障服务节点的线上服务。
在本申请实施例的一可选实施方式中,调整处理单元1104,在将所述故障服务节点从第一业务对应的服务节点集合中剔除之后,还用于:
将节点调整信息同步至内容分发网络的域名系统,以使所述域名系统基于所述第一业务对应的剔除所述故障服务节点后的服务节点集合,对面向所述第一业务的内容请求中携带的域名信息进行域名解析,并基于域名解析结果对所述内容请求进行调度;
其中,所述节点调整信息至少能用于表明已将所述故障服务节点从第一业务对应的服务节点集合中剔除。
对于本申请实施例公开的流量调度处理装置而言,由于其与上文相应各方法实施例公开的流量调度处理方法相对应,所以描述的比较简单,相关相似之处请参见上文相应方法实施例中流量调度处理方法部分的说明即可,此处不再详述。
本申请实施例还公开了一种电子设备,该电子设备可以是但不限于CDN调度系统中的某一服务器,如图12示出的电子设备的结构示意图,该电子设备至少包括:
存储器1201,用于存放计算机指令集;
所述的计算机指令集可以采用计算机程序的形式实现。
存储器1201可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1202,用于通过执行所述存储器上存放的指令集,实现如上任一方法实施例的流量调度处理方法。
处理器1202可以为中央处理器(Central Processing Unit,CPU),特定应用集成电路(application-specific integrated circuit,ASIC),数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。
除此之外,电子设备还可以包括通信接口、通信总线等组成部分。存储器、处理器和通信接口通过通信总线完成相互间的通信。
通信接口用于电子设备与其他设备(如CDN调度系统中的中控设备等)之间的通信。通信总线可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,EISA)总线等,该通信总线可以分为地址总线、数据总线、控制总线等。
本实施例中,电子设备中的处理器通过执行存储器中存放的第一计算机指令集,提出了一种至少基于服务节点的服务质量进行流量调度的技术思路,其中,在存在故障服务节点情况下,根据故障服务节点的服务质量评估信息,确定故障服务节点的服务质量是否满足需利用故障服务节点提供服务的至少一种目标业务的服务质量条件,若目标业务中存在未满足所对应服务质量条件的至少一种第一业务,则将故障服务节点从第一业务对应的服务节点集合中剔除。由于从第一业务对应的服务节点集合中剔除了不满足第一业务的服务质量条件的故障服务节点,从而排除了将面向第一业务的流量调度至故障服务节点的可能,可有效避免将流量调度到服务质量差的服务节点,提升了CDN等的网络服务质量。
另外,本申请实施例还公开了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机指令集,所述计算机指令集被处理器执行时实现如上任一方法实施例公开的流量调度处理方法。
该计算机可读存储介质基于其存储的计算机指令集,提出了一种至少基于服务节点的服务质量进行流量调度的技术思路,其中,在存在故障服务节点情况下,根据故障服务节点的服务质量评估信息,确定故障服务节点的服务质量是否满足需利用故障服务节点提供服务的至少一种目标业务的服务质量条件,若目标业务中存在未满足所对应服务质量条件的至少一种第一业务,则将故障服务节点从第一业务对应的服务节点集合中剔除。由于从第一业务对应的服务节点集合中剔除了不满足第一业务的服务质量条件的故障服务节点,从而排除了将面向第一业务的流量调度至故障服务节点的可能,可有效避免将流量调度到服务质量差的服务节点,提升了CDN等的网络服务质量。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
为了描述的方便,描述以上系统或装置时以功能分为各种模块或单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后,还需要说明的是,在本文中,诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (15)
1.一种流量调度处理方法,其特征在于,包括:
获取故障服务节点的服务质量评估信息;
确定需利用所述故障服务节点提供服务的至少一种目标业务;
根据所述服务质量评估信息,确定所述故障服务节点的服务质量是否满足每种目标业务对应的服务质量条件;
若所述至少一种目标业务中存在所述故障服务节点的服务质量未满足所对应服务质量条件的至少一种第一业务,将所述故障服务节点从第一业务对应的服务节点集合中剔除,以基于所述第一业务对应的剔除所述故障服务节点后的服务节点集合对所述第一业务进行流量调度。
2.根据权利要求1所述的方法,其特征在于,所述确定需利用所述故障服务节点提供服务的至少一种目标业务,包括:
确定所述故障服务节点对应的至少一个目标调度组;
根据所述至少一个目标调度组确定所述至少一种目标业务;
其中,调度组通过对不同的业务域名进行编组得到,一个调度组对应至少一个业务域名;所述需利用所述故障服务节点提供服务的至少一种目标业务,包括所述至少一个目标调度组中的业务域名指示的业务。
3.根据权利要求2所述的方法,其特征在于,所述根据所述服务质量评估信息,确定所述故障服务节点的服务质量是否满足每种目标业务对应的服务质量条件,包括:
确定所述服务质量评估信息表征的所述故障服务节点的故障等级,是否超出每个目标调度组对应的故障等级阈值;
若超出所述至少一个目标调度组中至少一个第一调度组的故障等级阈值,则所述故障服务节点的服务质量不满足所述至少一个第一调度组中的业务域名指示的至少一种第一业务的服务质量条件;
若未超出所述至少一个目标调度组中至少一个第二调度组的故障等级阈值,则所述故障服务节点的服务质量满足所述至少一个第二调度组中的业务域名指示的至少一种第二业务的服务质量条件;
其中,同一调度组中的不同业务域名指示的不同种类业务对应相同的服务质量条件,所述相同的服务质量条件为:由所述不同种类业务的域名所属的所述同一调度组对应的故障等级阈值表征的条件。
4.根据权利要求3所述的方法,其特征在于,所述将所述故障服务节点从第一业务对应的服务节点集合中剔除,包括:
确定所述故障服务节点在每个第一调度组对应的至少一个目标调度单元;一个调度组对应至少一个调度单元,调度组对应的调度单元由调度组与用于进行服务节点调度的相应线路构成,调度组的各调度单元对应的线路下分别挂载有相应的服务节点集合;
对于每个第一调度组,解除所述第一调度组中的所述目标调度单元向所述故障服务节点分配的带宽。
5.根据权利要求4所述的方法,其特征在于,在将所述故障服务节点从第一业务对应的服务节点集合中剔除之后,还包括:
将解除的由所述目标调度单元分配至所述故障服务节点的带宽,重分配至所述目标调度单元中的非故障服务节点。
6.根据权利要求4或5所述的方法,其特征在于,在将所述故障服务节点从第一业务对应的服务节点集合中剔除之后,还包括:
确定剔除了故障服务节点的所述目标调度单元中是否存在过载节点;
若存在过载节点,确定所述过载节点在所对应调度组下对应的调度单元;
对所述过载节点在所对应调度组下对应的调度单元进行预定的服务节点调整处理,以至少降低所述过载节点的过载程度;
其中,所述服务节点调整处理包括如下的至少一种:
对相应过载节点在所对应调度组下对应的调度单元进行服务节点的IP权重调整;
向相应过载节点在所对应调度组下对应的调度单元中增加服务节点;
在相应过载节点在所对应调度组下对应的调度单元中删除服务节点;
其中,对服务节点的IP权重调整包括改变服务节点对应的IP地址的数量,通过改变服务节点对应的IP地址的数量而调整服务节点在所对应调度单元中的IP权重。
7.根据权利要求6所述的方法,其特征在于,所述对所述过载节点在所对应调度组下对应的调度单元进行预定的服务节点调整处理,包括:
对所述过载节点对应的可调度单元中的已生效单元进行服务节点的IP权重调整;
确定对已生效单元进行服务节点的IP权重调整后,剔除了故障服务节点的所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,向当前的过载节点对应的已生效单元中增加服务节点;
确定向已生效单元中增加服务节点后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,确定导致当前的过载节点过载的已生效单元,并从导致当前的过载节点过载的已生效单元删除所述当前的过载节点;
确定从已生效单元删除所述当前的过载节点后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,对当前的过载节点对应的可调度单元中的未生效单元进行服务节点的IP权重调整;
确定对未生效单元进行服务节点的IP权重调整后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,向当前的过载节点对应的未生效单元中增加服务节点;
确定向未生效单元中增加服务节点后,所述目标调度单元中是否仍存在过载节点;若仍存在过载节点,从当前的过载节点对应的未生效单元删除所述当前的过载节点。
8.根据权利要求6所述的方法,其特征在于,所述向相应过载节点在所对应调度组下对应的调度单元中增加服务节点,包括:
从各调度组的调度单元对应的处于已上线状态的服务节点中,和/或从处于未上线状态的服务节点中筛选符合成本条件和带宽条件的备用节点,并将所述备用节点增加至相应过载节点在所对应调度组下对应的调度单元。
9.根据权利要求1所述的方法,其特征在于,在所述将所述故障服务节点从第一业务对应的服务节点集合中剔除之前,还包括:
确定所述故障服务节点是否满足所对应故障等级下的相应数量条件;所述故障等级为所述故障服务节点的服务质量评估信息表征的故障等级;
若不满足,则触发将所述故障服务节点从第一业务对应的服务节点集合中剔除的步骤。
10.根据权利要求1所述的方法,其特征在于,在所述确定需利用所述故障服务节点提供服务的至少一种目标业务之前,还包括:
确定所述故障服务节点是否为内容分发网络的边缘节点,若是,则触发所述确定需利用所述故障服务节点提供服务的至少一种目标业务的步骤;
和/或,
确定所述故障服务节点是否处于能用于提供服务的上线状态,若是,则触发所述确定需利用所述故障服务节点提供服务的至少一种目标业务的步骤。
11.根据权利要求1所述的方法,其特征在于,在将所述故障服务节点从第一业务对应的服务节点集合中剔除之后,还包括:
在所述故障服务节点的故障消除后,根据所述故障服务节点和各调度组的调度单元下不同服务节点的带宽状况,将所述故障服务节点增加至相应调度组的相应调度单元,以恢复所述故障服务节点的线上服务。
12.根据权利要求1所述的方法,其特征在于,在将所述故障服务节点从第一业务对应的服务节点集合中剔除之后,还包括:
将节点调整信息同步至内容分发网络的域名系统,以使所述域名系统基于所述第一业务对应的剔除所述故障服务节点后的服务节点集合,对面向所述第一业务的内容请求中携带的域名信息进行域名解析,并基于域名解析结果对所述内容请求进行调度;
其中,所述节点调整信息至少能用于表明已将所述故障服务节点从第一业务对应的服务节点集合中剔除。
13.一种流量调度处理装置,其特征在于,包括:
获取单元,用于获取故障服务节点的服务质量评估信息;
第一确定单元,用于确定需利用所述故障服务节点提供服务的至少一种目标业务;
第二确定单元,用于根据所述服务质量评估信息,确定所述故障服务节点的服务质量是否满足每种目标业务对应的服务质量条件;
调整处理单元,用于若所述至少一种目标业务中存在所述故障服务节点的服务质量未满足所对应服务质量条件的至少一种第一业务,将所述故障服务节点从第一业务对应的服务节点集合中剔除,以基于所述第一业务对应的剔除所述故障服务节点后的服务节点集合对所述第一业务进行流量调度。
14.一种电子设备,其特征在于,包括:
存储器,用于存放计算机指令集;
处理器,用于通过执行所述存储器上存放的指令集,实现如权利要求1-12任一项所述的流量调度处理方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机指令集,所述计算机指令集被处理器执行时实现如权利要求1-12任一项所述的流量调度处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110096595.5A CN112887224B (zh) | 2021-01-25 | 2021-01-25 | 流量调度处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110096595.5A CN112887224B (zh) | 2021-01-25 | 2021-01-25 | 流量调度处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112887224A true CN112887224A (zh) | 2021-06-01 |
CN112887224B CN112887224B (zh) | 2023-01-20 |
Family
ID=76050938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110096595.5A Active CN112887224B (zh) | 2021-01-25 | 2021-01-25 | 流量调度处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112887224B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114259684A (zh) * | 2021-12-22 | 2022-04-01 | 三一汽车制造有限公司 | 消防车水路故障检测方法及装置 |
CN115022278A (zh) * | 2022-06-02 | 2022-09-06 | 上海哔哩哔哩科技有限公司 | Cdn处理方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106992938A (zh) * | 2017-05-15 | 2017-07-28 | 网宿科技股份有限公司 | 一种网络流量动态调度分配方法及系统 |
CN108521856A (zh) * | 2017-01-22 | 2018-09-11 | 华为技术有限公司 | 内容分发网络中的调度方法和设备 |
CN110086724A (zh) * | 2018-01-26 | 2019-08-02 | 北京金山云网络技术有限公司 | 带宽调整方法、装置、电子设备及计算机可读存储介质 |
CN110213203A (zh) * | 2018-03-06 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 网络调度方法、装置及计算机存储介质 |
-
2021
- 2021-01-25 CN CN202110096595.5A patent/CN112887224B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108521856A (zh) * | 2017-01-22 | 2018-09-11 | 华为技术有限公司 | 内容分发网络中的调度方法和设备 |
CN106992938A (zh) * | 2017-05-15 | 2017-07-28 | 网宿科技股份有限公司 | 一种网络流量动态调度分配方法及系统 |
CN110086724A (zh) * | 2018-01-26 | 2019-08-02 | 北京金山云网络技术有限公司 | 带宽调整方法、装置、电子设备及计算机可读存储介质 |
CN110213203A (zh) * | 2018-03-06 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 网络调度方法、装置及计算机存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114259684A (zh) * | 2021-12-22 | 2022-04-01 | 三一汽车制造有限公司 | 消防车水路故障检测方法及装置 |
CN114259684B (zh) * | 2021-12-22 | 2022-10-04 | 三一汽车制造有限公司 | 消防车水路故障检测方法及装置 |
CN115022278A (zh) * | 2022-06-02 | 2022-09-06 | 上海哔哩哔哩科技有限公司 | Cdn处理方法和系统 |
CN115022278B (zh) * | 2022-06-02 | 2024-04-26 | 上海哔哩哔哩科技有限公司 | Cdn处理方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112887224B (zh) | 2023-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106992938B (zh) | 一种网络流量动态调度分配方法及系统 | |
CN112887224B (zh) | 流量调度处理方法、装置、电子设备及存储介质 | |
WO2019148568A1 (zh) | 一种发送数据资源的获取请求的方法和系统 | |
CN107707382B (zh) | 一种智能调度方法和装置 | |
CN110740146B (zh) | 一种调度缓存节点的方法、装置及计算机网络系统 | |
CN111787060B (zh) | 一种流量调度方法、系统及装置 | |
CN106936618A (zh) | 一种数据采集方法和系统 | |
CN111614484B (zh) | 一种节点流量的调入、恢复方法、系统及中心服务器 | |
CN110244901B (zh) | 任务分配方法及装置、分布式存储系统 | |
CN113810304A (zh) | 一种负载均衡方法、装置、设备和计算机存储介质 | |
CN110858986A (zh) | 带宽调整方法、装置、通信设备及计算机可读存储介质 | |
CN111600807A (zh) | 一种基于api网关设备的流量控制方法和系统 | |
CN114356557A (zh) | 一种集群扩容方法及装置 | |
CN107733805B (zh) | 业务负载调度方法和装置 | |
CN111427670A (zh) | 任务调度方法和系统 | |
CN110138808B (zh) | 基于cdn的反劫持下载方法和系统 | |
CN117370469A (zh) | 用于在大数据环境中高效数据复制的方法和系统 | |
CN107846614B (zh) | 一种视频流量调度方法、装置及电子设备 | |
CN117459536A (zh) | 资源分发方法、云服务器、装置、电子设备及存储介质 | |
CN111555918A (zh) | 一种回源优化方法、装置及电子设备 | |
CN115242718B (zh) | 集群限流方法、装置、设备及介质 | |
CN109298949A (zh) | 一种分布式文件系统的资源调度系统 | |
CN111614716B (zh) | 一种采集远程设备数据的方法及系统 | |
CN113190347A (zh) | 一种边缘云系统及任务管理方法 | |
CN114143263A (zh) | 一种对用户请求进行限流的方法、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |