CN110266741A - 一种内容分发网络中的客户业务自动调度方法及装置 - Google Patents

一种内容分发网络中的客户业务自动调度方法及装置 Download PDF

Info

Publication number
CN110266741A
CN110266741A CN201810200480.4A CN201810200480A CN110266741A CN 110266741 A CN110266741 A CN 110266741A CN 201810200480 A CN201810200480 A CN 201810200480A CN 110266741 A CN110266741 A CN 110266741A
Authority
CN
China
Prior art keywords
cdn
node
quality
backup
client traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810200480.4A
Other languages
English (en)
Other versions
CN110266741B (zh
Inventor
黄麟
张海锋
王景春
苗辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Baishan Cloud Polytron Technologies Inc
Original Assignee
Guizhou Baishan Cloud Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Baishan Cloud Polytron Technologies Inc filed Critical Guizhou Baishan Cloud Polytron Technologies Inc
Priority to CN201810200480.4A priority Critical patent/CN110266741B/zh
Publication of CN110266741A publication Critical patent/CN110266741A/zh
Application granted granted Critical
Publication of CN110266741B publication Critical patent/CN110266741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0668Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/51Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context

Abstract

本发明公开了一种内容分发网络中的客户业务自动调度方法及装置。所公开的方法包括:步骤1:获取用于承载客户业务的各级CDN节点的状态信息;步骤2:将状态信息异常的CDN边缘节点和/或CDN中层节点到源节点所在的状态异常的原链路上承载的质量不达标的客户业务自动调度到用于承载客户业务的CDN边缘备份节点和/或CDN中层备份节点到源节点的备份链路上承载,其中,各级CDN节点包括:CDN边缘节点、CDN中层节点、CDN源节点。所公开的方法能够实现自动化的链路调度。

Description

一种内容分发网络中的客户业务自动调度方法及装置
技术领域
本发明涉及内容分发网络,尤其涉及一种内容分发网络中的客户业务自动调度方法及装置。
背景技术
内容分发网络(CDN)是为了提高网站的响应速度、改善用户上网体验而提出的一种新的网络形式。它在现有网络的基础上增加了一层网络架构,能够通过各级缓存节点(即,各级CDN中层节点)将网站(即,CDN源节点)的内容发布到最接近用户的网络“边缘”(即,CDN边缘节点),使用户可以就近访问所需的内容,从而缓解了网络拥塞的状况。
尽管CDN能够改善用户的上网体验,然而,对于CDN运营商而言,通常不直接为用户提供诸如网页浏览、流媒体等服务以获取收入,而是通过向互联网信息服务提供商等客户租用CDN网络,帮助其实现内容分发客户业务的服务形式来获取收入。
CDN的节点覆盖面积广,从用户到CDN边缘节点,边缘节点到上层节点(即,CDN中层节点),上层节点到客户源站(即,CDN源节点)网络类型复杂多样,不同的客户不同的业务场景对网络质量的要求各不相同(例如,提供网页浏览服务的客户和提供流媒体播放服务的客户对网络质量的要求就明显不同)。
因此,在客户向CDN运营商提交CDN服务请求之后,通常都需要由CDN系统管理员根据客户业务的类型(例如,提供网页浏览服务还是提供流媒体播放服务等)来查询和统计每个节点的设备资源的状态(包括节点自身的状态、其上下行链路的状态等),并且采用手工方式来配置和开通客户业务(即,客户所需的内容分发业务)。而且,由于承载CDN业务的底层网络自身的状态可能会随时发生变化,甚至会出现故障,在这种情况下,通常也需要CDN系统管理员采用手工方式来检测业务相关节点和链路(包括其备份节点和备份链路)的状态并重新调整配置和调度,以保证客户业务的连续性和质量。
更具体地,现有的CDN对网络的感知来自CDN自身节点之间的网络监控,而单从CDN节点网络情况上做处理容易出现节点资源利用率低,并且人工处理效率低,而每天的网络抖动,各个地区网络波动情况各不相同,不同客户不同业务场景对网络的依赖是不同的,应该结合网络对不同客户的质量,不同业务场景进行自动化调度。
即,当前的操作人员(例如,包括运维人员、网络工程师、CDN系统管理员)只能通过简单的CDN节点监控告警感知网络情况,无法针对不同客户对网络质量的不同要求进行智能判断和自动化调度。
例如,现有技术的一个示例处理过程如下:当网络监控发现某个CDN节点出现网络问题时,由运维人员对具体有问题的链路进行测试,并通知网络工程师对有网络问题的链路进行处理,然后把该节点的业务先清除,排查网络问题,网络问题排查完之后再测试恢复节点业务,而在此过程中该节点都处在无服务的状态。在此过程中容易出现人为的误判,处理效率低,并且不能根据网络对不同客户的质量影响程度进行合理调度,节点资源利用率低,不能实现自动化、高效化、智能化。
因此,至少为了解决上述问题,需要提出新的技术方案。
发明内容
根据本发明的一种内容分发网络中的客户业务自动调度方法,包括:
步骤1:获取用于承载客户业务的各级CDN节点的状态信息;
步骤2:将状态信息异常的CDN边缘节点和/或CDN中层节点到源节点所在的状态异常的原链路上承载的质量不达标的客户业务自动调度到用于承载客户业务的CDN边缘备份节点和/或CDN中层备份节点到源节点的备份链路上承载,
其中,各级CDN节点包括:CDN边缘节点、CDN中层节点、CDN源节点。
根据本发明的客户业务自动调度方法,还包括:
步骤3:将调度到备份链路上承载的客户业务自动恢复到状态信息恢复正常的状态异常的原链路上承载。
根据本发明的客户业务自动调度方法,在步骤2中,通过以下第一策略来确定状态信息异常的CDN边缘节点和/或CDN中层节点,从而确定状态信息异常的CDN边缘节点和/或中层节点到源节点的状态异常的原链路:
按照各级CDN节点的回源链路的当前质量由坏到好的顺序依次进行选择,或者综合回源链路的当前质量和历史质量进行比较和选择,来确定一个或多个CDN边缘节点和/或CDN中层节点作为状态信息异常的CDN边缘节点和/或CDN中层节点;
通过以下第二策略中的至少一个来确定CDN边缘备份节点或CDN中心备份节点,构建CDN边缘备份节点和/或CDN中层备份节点到源节点的备份链路:
按照能够承载客户业务的所有CDN边缘节点或所有CDN中层节点的回源链路的当前质量由好到坏的顺序依次进行选择,或者综合回源链路的当前质量和历史质量进行比较和选择,来确定一个或多个CDN边缘节点或一个或多个CDN中层节点作为CDN边缘备份节点或CDN中心备份节点;
按照能够承载客户业务的所有CDN边缘节点或所有CDN中层节点的当前剩余带宽的数值由大到小的顺序依次进行选择,来确定一个或多个CDN边缘节点或一个或多个CDN中层节点作为CDN边缘备份节点或CDN中心备份节点,
其中,回源链路质量好坏的决定因素包括下列中的至少一个:数据包传输延迟、丢包率、路由跳数。
根据本发明的客户业务自动调度方法,其中的客户业务与域名一一对应。
根据本发明的客户业务自动调度方法,在步骤2中,通过以下第三策略来确定CDN边缘节点和/或CDN中层节点到源节点所在的状态异常的原链路上承载的质量不达标的客户业务:
基于CDN边缘节点和/或CDN中层节点的日志文件统计以下信息中的至少一个,以确定一个或多个质量不达标的客户业务:
访问每个域名的ip地址所对应的平均下载速度和/或平均下载速度的变化、平均首包时间和/或平均首包时间的变化、访问每个域名的ip地址所访问的url所指向的文件的平均大小和/或文件的平均大小的变化。
根据本发明的客户业务自动调度方法,在使用第一策略或第二策略时,针对不同的客户业务设置不同的回源链路质量标准,在使用第三策略时,针对不同的客户业务设置不同的客户质量标准。
根据本发明的一种内容分发网络中的客户业务自动调度装置,包括:
节点状态获取模块,用于获取用于承载客户业务的各级CDN节点的状态信息;
调度模块,用于将状态信息异常的CDN边缘节点和/或CDN中层节点到源节点所在的状态异常的原链路上承载的质量不达标的客户业务自动调度到用于承载客户业务的CDN边缘备份节点和/或CDN中层备份节点到源节点的备份链路上承载,
其中,各级CDN节点包括:CDN边缘节点、CDN中层节点、CDN源节点。
根据本发明的客户业务自动调度装置,其中的调度模块还用于:
将调度到备份链路上承载的客户业务自动恢复到状态信息恢复正常的状态异常的原链路上承载。
根据本发明的客户业务自动调度装置,其中的调度模块,通过以下第一策略来确定状态信息异常的CDN边缘节点和/或CDN中层节点,从而确定状态信息异常的CDN边缘节点和/或中层节点到源节点的状态异常的原链路:
按照各级CDN节点的回源链路的当前质量由坏到好的顺序依次进行选择,或者综合回源链路的当前质量和历史质量进行比较和选择,来确定一个或多个CDN边缘节点和/或CDN中层节点作为状态信息异常的CDN边缘节点和/或CDN中层节点;
通过以下第二策略中的至少一个来确定CDN边缘备份节点或CDN中心备份节点,构建CDN边缘备份节点和/或CDN中层备份节点到源节点的备份链路:
按照能够承载客户业务的所有CDN边缘节点或所有CDN中层节点的回源链路的当前质量由好到坏的顺序依次进行选择,或者综合回源链路的当前质量和历史质量进行比较和选择,来确定一个或多个CDN边缘节点或一个或多个CDN中层节点作为CDN边缘备份节点或CDN中心备份节点;
按照能够承载客户业务的所有CDN边缘节点或所有CDN中层节点的当前剩余带宽的数值由大到小的顺序依次进行选择,来确定一个或多个CDN边缘节点或一个或多个CDN中层节点作为CDN边缘备份节点或CDN中心备份节点,
其中,回源链路质量好坏的决定因素包括下列中的至少一个:数据包传输延迟、丢包率、路由跳数。
根据本发明的客户业务自动调度装置,其中的调度模块,通过以下第三策略来确定CDN边缘节点和/或CDN中层节点到源节点所在的状态异常的原链路上承载的质量不达标的客户业务:
基于CDN边缘节点和/或CDN中层节点的日志文件统计以下信息中的至少一个,以确定一个或多个质量不达标的客户业务:
访问每个域名的ip地址所对应的平均下载速度和/或平均下载速度的变化、平均首包时间和/或平均首包时间的变化、访问每个域名的ip地址所访问的url所指向的文件的平均大小和/或文件的平均大小的变化。
根据本发明的上述技术方案,能够实现自动化的链路调度。
附图说明
并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例,并且与相关的文字描述一起用于解释本发明的原理。在这些附图中,类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例,而不是全部实施例。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,可以根据这些附图获得其他的附图。
图1示例性地示出了根据本发明的内容分发网络中的客户业务自动调度方法的示意流程图。
图2示例性地示出了根据本发明的内容分发网络中的客户业务自动调度装置的示意框图。
图3示例性地示出了根据本发明的客户业务自动调度装置的示例实现方式。
图4示例性地示出了根据本发明的客户业务自动调度装置的示例实现方式可以采用的网络监测方法的示例。
图5示例性地示出了根据本发明的客户业务自动调度装置的示例实现方式可以采用的自动化链路调度方法的示例。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
图1示例性地示出了根据本发明的内容分发网络中的客户业务自动调度方法的示意流程图。
如图1的实线框所示,根据本发明的内容分发网络中的客户业务自动调度方法包括:
步骤S102:获取用于承载客户业务的各级CDN节点的状态信息;
步骤S104:将状态信息异常的CDN边缘节点和/或CDN中层节点到源节点所在的状态异常的原链路上承载的质量不达标的客户业务自动调度到用于承载客户业务的CDN边缘备份节点和/或CDN中层备份节点到所述源节点的备份链路上承载,
其中,上述各级CDN节点包括:CDN边缘节点、CDN中层节点、CDN源节点。
可选地,如图1的虚线框所示,上述客户业务自动调度方法还包括:
步骤S106:将调度到备份链路上承载的客户业务自动恢复到状态信息恢复正常的状态异常的原链路上承载。
可选地,在步骤S104中,通过以下第一策略来确定状态信息异常的CDN边缘节点和/或CDN中层节点,从而确定上述状态信息异常的CDN边缘节点和/或中层节点到上述源节点的状态异常的原链路:
按照各级CDN节点的回源链路的当前质量由坏到好的顺序依次进行选择,或者综合回源链路的当前质量和历史质量进行比较和选择,来确定一个或多个CDN边缘节点和/或CDN中层节点作为状态信息异常的CDN边缘节点和/或CDN中层节点;
通过以下第二策略中的至少一个来确定CDN边缘备份节点或CDN中心备份节点,构建CDN边缘备份节点和/或CDN中层备份节点到源节点的备份链路:
按照能够承载客户业务的所有CDN边缘节点或所有CDN中层节点的回源链路的当前质量由好到坏的顺序依次进行选择,或者综合回源链路的当前质量和历史质量进行比较和选择,来确定一个或多个CDN边缘节点或一个或多个CDN中层节点作为CDN边缘备份节点或CDN中心备份节点;
按照能够承载客户业务的所有CDN边缘节点或所有CDN中层节点的当前剩余带宽的数值由大到小的顺序依次进行选择,来确定一个或多个CDN边缘节点或一个或多个CDN中层节点作为CDN边缘备份节点或CDN中心备份节点,
其中,回源链路质量好坏的决定因素包括下列中的至少一个:数据包传输延迟、丢包率、路由跳数。
可选地,客户业务与域名一一对应。
可选地,在步骤S104中,通过以下第三策略来确定CDN边缘节点和/或CDN中层节点到源节点所在的状态异常的原链路上承载的质量不达标的客户业务:
基于CDN边缘节点和/或CDN中层节点的日志文件统计以下信息中的至少一个,以确定一个或多个质量不达标的客户业务:
访问每个域名的ip地址所对应的平均下载速度和/或平均下载速度的变化、平均首包时间和/或平均首包时间的变化、访问每个域名的ip地址所访问的url所指向的文件的平均大小和/或文件的平均大小的变化。
可选地,在使用上述第一策略或第二策略时,针对不同的客户业务设置不同的回源链路质量标准(对应不同的回源链路质量阈值,例如,不同的延迟阈值、丢包率阈值、路由跳数阈值),在使用上述第三策略时,针对不同的客户业务设置不同的客户质量标准(对应于对不同质量的网络条件的要求,例如,访问每个域名的ip地址所对应的平均下载速度和/或平均下载速度的变化标准可以不同、平均首包时间和/或平均首包时间的变化的标准可以不同、访问每个域名的ip地址所访问的url所指向的文件的平均大小和/或文件的平均大小的变化的标准可以不同)。
图2示例性地示出了根据本发明的内容分发网络中的客户业务自动调度装置200的示意框图。
如图2所示,根据本发明的内容分发网络中的客户业务自动调度装置200,包括:
节点状态获取模块201,用于获取用于承载客户业务的各级CDN节点的状态信息;
调度模块203,用于将状态信息异常的CDN边缘节点和/或CDN中层节点到源节点所在的状态异常的原链路上承载的质量不达标的客户业务自动调度到用于承载客户业务的CDN边缘备份节点和/或CDN中层备份节点到所述源节点的备份链路上承载,
其中,上述各级CDN节点包括:CDN边缘节点、CDN中层节点、CDN源节点。
可选地,调度模块203还用于:
将调度到备份链路上承载的客户业务自动恢复到状态信息恢复正常的状态异常的原链路上承载。
可选地,调度模块203通过以下第一策略来确定状态信息异常的CDN边缘节点和/或CDN中层节点,从而确定上述状态信息异常的CDN边缘节点和/或中层节点到上述源节点的状态异常的原链路:
按照各级CDN节点的回源链路的当前质量由坏到好的顺序依次进行选择,或者综合回源链路的当前质量和历史质量进行比较和选择,来确定一个或多个CDN边缘节点和/或CDN中层节点作为状态信息异常的CDN边缘节点和/或CDN中层节点;
通过以下第二策略中的至少一个来确定CDN边缘备份节点或CDN中心备份节点,构建CDN边缘备份节点和/或CDN中层备份节点到源节点的备份链路:
按照能够承载客户业务的所有CDN边缘节点或所有CDN中层节点的回源链路的当前质量由好到坏的顺序依次进行选择,或者综合回源链路的当前质量和历史质量进行比较和选择,来确定一个或多个CDN边缘节点或一个或多个CDN中层节点作为CDN边缘备份节点或CDN中心备份节点;
按照能够承载客户业务的所有CDN边缘节点或所有CDN中层节点的当前剩余带宽的数值由大到小的顺序依次进行选择,来确定一个或多个CDN边缘节点或一个或多个CDN中层节点作为CDN边缘备份节点或CDN中心备份节点,
其中,回源链路质量好坏的决定因素包括下列中的至少一个:数据包传输延迟、丢包率、路由跳数。
可选地,调度模块203通过以下第三策略来确定CDN边缘节点和/或CDN中层节点到源节点所在的状态异常的原链路上承载的质量不达标的客户业务:
基于CDN边缘节点和/或CDN中层节点的日志文件统计以下信息中的至少一个,以确定一个或多个质量不达标的客户业务:
访问每个域名的ip地址所对应的平均下载速度和/或平均下载速度的变化、平均首包时间和/或平均首包时间的变化、访问每个域名的ip地址所访问的url所指向的文件的平均大小和/或文件的平均大小的变化。
根据本发明的上述技术方案,能够针对不同客户对网络质量的不同要求进行智能判断和自动化调度。从而避免了人为的误判,处理效率高,并且能够根据网络对不同客户的质量影响程度进行合理调度,节点资源利用率高,能够实现自动化、高效化、智能化。
根据本发明的上述技术方案,还能够快速发现客户网络问题,并自动测试节点不同链路的网络情况,避免了可能存在的人为误判,自动结合不同链路对不同客户质量影响程度进行智能调度,在用户对网络问题无感知的情况下最大化合理利用CDN节点资源。
为了使本领域技术人员更清楚地了解本申请的上述技术方案,下面将结合具体的实施例来进行描述。
图3示例性地示出了根据本发明的客户业务自动调度装置200的示例实现方式。
如图3所示,该示例实现方式包括网络监测平台(对应于图2所示的节点状态获取模块201)、(最佳链路)决策系统和(自动化网络链路)调度系统(对应于图2所示的调度模块203)。即,图3所示的示例实现方式基于网络监控方式,对不同的客户不同的业务场景进行质量分析,并且结合网络情况和客户质量的判断做自动化网络链路调度。
网络监测平台监测关于网络的各种数据(其中包括异常数据、探测数据、历史数据、域名数据),并将所监测到的数据发送给决策系统(对应于图1中的步骤S102)。
更具体地,该网络监测平台能够监控CDN所有节点的网络情况,包括实时记录、网络诊断、历史查询。实时记录包括当前的所有底层探测数据,并按地区和业务链路类型分为节点、链路、省内、跨省、已挂起节点,对CDN整体的网络数据进行全面的监控采集,并能通过自动调整阈值和客户关联实时感知异常网络对应的客户类型。网络诊断包括自动测试当前异常的各个网络类型的数据,包括使用mtr、ping、traceroute、tcping等命令来实时采集底层网络测试数据,并按客户域名分类存入数据库中,作为历史查询客户信息,是判断客户质量与网络异常关联的数据之一,历史查询包括所有异常客户的网络数据记录,记录客户业务类型。
决策系统根据上述监测数据执行质量(包括节点在内的链路质量)判断,执行(例如,异常域名、备用节点、回源链路)排序(对应图1所示的方法中结合第一策略、第二策略、第三策略执行的关于步骤S104的各种操作),并选择出需要调度的未达标(即,用户访问质量不符合要求的)客户业务、与未达标客户业务相对应的异常节点(包括与其相关链的链路)和备选节点(包括与其相关链的链路)作为决策结果。
更具体地,决策系统能够自动关联网络数据和不同客户的质量数据,为不同的客户选出最佳的回源链路,能够完成包括异常节点测试、客户质量分析判断、最佳链路决策(算法)等在内的操作。通过网络监测平台实时自动地提取出网络异常节点,并关联异常链路与该节点服务的域名,根据不同域名测试上层的回源链路,按域名作为标记,该节点的回源链路按延迟,丢包,路由跳数,分别综合排序,同时自动获取同省网络质量正常的节点,进行相同的上层链路检测。通过节点服务器不同域名日志的客户端ip进行分区域,按每分钟力度计算客户端下载速度、首包时间、所访问的url所指向的文件的大小,并与上层回源链路网络数据综合判断,通过决策算法计算出每个客户最佳的服务链路。
调度系统根据决策系统发送的决策结果进行调度。
可选地,如图3所示,如果网络监测平台监测到未达标客户业务的原承载节点和链路恢复正常(即,监测到其各自的状态能够保证该客户业务能够达标),则将该客户业务自动恢复到原承载节点和链路上进行承载(即,图3所示的“节点评估配置下发自动恢复”操作)。
需要了解的是,上述客户业务自动调度装置200也可以实现成通过网络互连的分布式形式(即,其包含的网络监测平台、决策系统和调度系统可以相互隔离)。例如,可以将自动调度装置200的集中式或分布式整体框架设想为,主要根据CDN业务对网络的业务场景生成的从质量维度进行网络调度,所有的探测和测试都自动生成,并且实时采集网络数据,生成最新的调度数据,并且在根据每个客户的不同回源情况选择不同的链路,快速发现问题并且让用户无感知的情况自动调度优质的网络链路,而异常数据存入数据库。
例如,网络监测平台可以采用网络监测数据库框架。数据库底层使用mysql支持,按照节点名称创建表,表内设置主键节点,字段主要为:异常发生时间,异常网络探测数据,测试数据,关联的客户域名,分域名下载速度,首包时间等。支持数据操作,当新的用例有变化时能同步修改数据中的内容。保存3个版本内容,作为后期需要时可以原因查询,或故障复盘。
例如,结合图3所示的上述实现方式,可以设想以下具体操作步骤:
S0:当前节点发现丢包告警;
S1:自动打开网络监测平台,自动监测网络详细数据和丢包延迟各个监测点的路由跳数,清晰感知当前节点的网络情况;
S2:自动查看测试结果,自动显示所有受影响的域名与日志下载速度和首包时间质量排序,备用节点回源链路的网络测试结果排序;
S3:自动进行节点评估,自动显示当前备用节点已经使用的带宽和还能承受的带宽值,并显示需要调整的域名的带宽值;
S4:然后调度系统会自动把域名调度到可用带宽的备用节点下,不影响质量的域名将不做调整;
S5:调整结束后提示下发配置,并输出日志,同时继续监控新回源链路质量以及节点网络恢复情况;
S6:原来的节点恢复后会自动提示之前的节点网络已恢复正常,自动判断是否需要调整回原来的回源链路。
图4示例性地示出了根据本发明的客户业务自动调度装置的示例实现方式可以采用的网络监测方法的示例。
如图4所示,该网络监测示例方法用于执行图1所示的客户业务自动调度方法的步骤S102和步骤S104中所需要的状态信息(即,图4所示的节点网络异常)的监测。
该网络监测示例方法包含两个左右并列的支路,左支路用于找出CDN节点及质量不达标的客户业务(对应于上述第三策略),包括以下操作:从日志中获取节点域名;计算不同域名所对应的下载速度和首包时间;与前一小时的下载速度和首包时间对比;找出下载速度和首包时间都下降的域名。右支路用于找出CDN备份节点(对应于上述第二策略),包括以下操作:实时探测节点的上层链路的网络情况;按丢包时延做回源链路的探测排序;选出本省网络无异常的备用节点;网络无异常的备用节点和回源链路的实时探测排序。
即,该网络监测示例方法按网络异常是否对每个客户都有影响出发,只需要针对有影响质量的客户做处理就行,这样能保障即使是节点网络链路问题,只要针对受影响的对应客户质量做调整,这是其相对于现有技术所做出的改进。例如,可以通过网络探测的丢包和延迟选出排序最靠前的回源链路,然后按下载速度的降低率和首包时间的上升程度自动排序出影响客户的域名。
图5示例性地示出了根据本发明的客户业务自动调度装置的示例实现方式可以采用的自动化链路调度方法的示例。
如图5所示,该自动化链路调度示例方法主要用于:链路调整前评估、自动化链路调整、配置下发、链路调整后跟踪观察。
该自动化链路调度示例方法包括以下操作:
S1:通过get_sub_fun函数从决策系统获取到上报的异常节点和选出来排序好的探测链路,同时获取到上报的受网络质量影响的客户域名按影响程度排序存入数组;
S2:获取到探测没问题的备用节点,做进一步的评估,查看当前的节点资源带宽情况,还能容纳多大的客户量级,然后把剩余量级与备用节点关联显示;
S3:自动把受影响的客户域名按量级自动调整到备用节点链路;
S4:进行DNS配置下发,使原来有问题的节点解析成最新的覆盖节点;
S5:调整之后,对每个域名调整的记录和使用备用节点的回源链路进行实时的网络探测的结果存入数据库中,待原来的节点网络正常后自动恢复成原来的链路。
该自动化链路调度示例方法具有以下优点:当出现网络问题时不需要人为地去测试判断和选择可用的回源链路,效率高;能够自动判断备用节点的带宽情况并进行合理调度,不会产生因为人为地执行备份所产生的节点跑满的副作用;能对所有的CDN节点进行网络调度,并且能自动判断是否需要恢复,避免了大量通过人工来跟踪网络异常问题的现实情况,并且及时有效。
根据本发明的上述技术方案,能够实现自动化的链路(包括CDN节点在内)调度;能够进行最佳链路的选择决策;能够进行节点网络异常的综合分析;能够结合历史信息与客户质量的大数据学习来进行自动调度。
更具体地,根据本发明的上述技术方案,具有以下优点:
1、能够将网络调度与CDN业务场景的客户质量相结合,作为判断是否影响客户的判断依据,减少不必要的调整。
2、能够通过系统决策来准确测试和判断每个域名的最近回源链路,适合复杂多变的业务地区场景,减少人工判断的误判操作。
3、能够最大化异常节点的资源的利用率,每个客户对网络的感知不同,而能通过客户行为来分析当前受影响的客户做部分调整,减少不必要的调整。
4、进一步结合域名、IP地址和地理区域之间的对应关系,自动区分不同地区(省内、跨省)、不同业务场景(网页浏览、流媒体服务)下的CDN节点(包括已挂起的CDN节点)、链路网络监控,并提供自动化测试客户回源链路,能够在直观清晰地把控公司网络状况的同时,在客户回源角度提供多种自动化测试。
5、从发现异常到针对不同客户选择最佳链路,到自动调度完成的整个过程不(或极少)需要人为的介入,并且能自动地感知原来导致异常状态的问题已经解决,从而将客户业务自动恢复至原承载节点和链路上进行承载,以提高网络调度的效率,达到可控性、智能化。
上面描述的内容可以单独地或者以各种方式组合起来实施,而这些变型方式都在本发明的保护范围之内。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器,如数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制。尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例的技术方案的精神和范围。

Claims (10)

1.一种内容分发网络中的客户业务自动调度方法,其特征在于,包括:
步骤1:获取用于承载客户业务的各级CDN节点的状态信息;
步骤2:将状态信息异常的CDN边缘节点和/或CDN中层节点到源节点所在的状态异常的原链路上承载的质量不达标的客户业务自动调度到用于承载所述客户业务的CDN边缘备份节点和/或CDN中层备份节点到所述源节点的备份链路上承载,
其中,所述各级CDN节点包括:所述CDN边缘节点、所述CDN中层节点、CDN源节点。
2.如权利要求1所述的客户业务自动调度方法,其特征在于,还包括:
步骤3:将调度到所述备份链路上承载的客户业务自动恢复到状态信息恢复正常的所述状态异常的原链路上承载。
3.如权利要求1或2所述的客户业务自动调度方法,其特征在于,在所述步骤2中,通过以下第一策略来确定所述状态信息异常的CDN边缘节点和/或CDN中层节点,从而确定所述状态信息异常的CDN边缘节点和/或中层节点到所述源节点的所述状态异常的原链路:
按照所述各级CDN节点的回源链路的当前质量由坏到好的顺序依次进行选择,或者综合所述回源链路的当前质量和历史质量进行比较和选择,来确定一个或多个CDN边缘节点和/或CDN中层节点作为所述状态信息异常的CDN边缘节点和/或CDN中层节点;
通过以下第二策略中的至少一个来确定所述CDN边缘备份节点或所述CDN中心备份节点,构建所述CDN边缘备份节点和/或CDN中层备份节点到所述源节点的备份链路:
按照能够承载所述客户业务的所有CDN边缘节点或所有CDN中层节点的回源链路的当前质量由好到坏的顺序依次进行选择,或者综合回源链路的当前质量和历史质量进行比较和选择,来确定一个或多个CDN边缘节点或一个或多个CDN中层节点作为所述CDN边缘备份节点或所述CDN中心备份节点;
按照能够承载所述客户业务的所有CDN边缘节点或所有CDN中层节点的当前剩余带宽的数值由大到小的顺序依次进行选择,来确定一个或多个CDN边缘节点或一个或多个CDN中层节点作为所述CDN边缘备份节点或所述CDN中心备份节点,
其中,回源链路质量好坏的决定因素包括下列中的至少一个:数据包传输延迟、丢包率、路由跳数。
4.如权利要求1或2所述的客户业务自动调度方法,其特征在于,所述客户业务与域名一一对应。
5.如权利要求4所述的客户业务自动调度方法,其特征在于,在所述步骤2中,通过以下第三策略来确定所述CDN边缘节点和/或所述CDN中层节点到源节点所在的状态异常的原链路上承载的质量不达标的客户业务:
基于所述CDN边缘节点和/或所述CDN中层节点的日志文件统计以下信息中的至少一个,以确定一个或多个质量不达标的客户业务:
访问每个域名的ip地址所对应的平均下载速度和/或平均下载速度的变化、平均首包时间和/或平均首包时间的变化、访问每个域名的ip地址所访问的url所指向的文件的平均大小和/或文件的平均大小的变化。
6.如权利要求5所述的客户业务自动调度方法,其特征在于,在使用所述第一策略或第二策略时,针对不同的客户业务设置不同的回源链路质量标准,在使用所述第三策略时,针对不同的客户业务设置不同的客户质量标准。
7.一种内容分发网络中的客户业务自动调度装置,其特征在于,包括:
节点状态获取模块,用于获取用于承载客户业务的各级CDN节点的状态信息;
调度模块,用于将状态信息异常的CDN边缘节点和/或CDN中层节点到源节点所在的状态异常的原链路上承载的质量不达标的客户业务自动调度到用于承载所述客户业务的CDN边缘备份节点和/或CDN中层备份节点到所述源节点的备份链路上承载,
其中,所述各级CDN节点包括:CDN边缘节点、所述CDN中层节点、CDN源节点。
8.如权利要求7所述的客户业务自动调度装置,其特征在于,所述调度模块还用于:
将调度到所述备份链路上承载的客户业务自动恢复到状态信息恢复正常的所述状态异常的原链路上承载。
9.如权利要求7或8所述的客户业务自动调度装置,其特征在于,所述调度模块,通过以下第一策略来确定所述状态信息异常的CDN边缘节点和/或CDN中层节点,从而确定所述状态信息异常的CDN边缘节点和/或中层节点到所述源节点的所述状态异常的原链路:
按照所述各级CDN节点的回源链路的当前质量由坏到好的顺序依次进行选择,或者综合所述回源链路的当前质量和历史质量进行比较和选择,来确定一个或多个CDN边缘节点和/或CDN中层节点作为所述状态信息异常的CDN边缘节点和/或CDN中层节点;
通过以下第二策略中的至少一个来确定所述CDN边缘备份节点或所述CDN中心备份节点,构建所述CDN边缘备份节点和/或CDN中层备份节点到所述源节点的备份链路:
按照能够承载所述客户业务的所有CDN边缘节点或所有CDN中层节点的回源链路的当前质量由好到坏的顺序依次进行选择,或者综合回源链路的当前质量和历史质量进行比较和选择,来确定一个或多个CDN边缘节点或一个或多个CDN中层节点作为所述CDN边缘备份节点或所述CDN中心备份节点;
按照能够承载所述客户业务的所有CDN边缘节点或所有CDN中层节点的当前剩余带宽的数值由大到小的顺序依次进行选择,来确定一个或多个CDN边缘节点或一个或多个CDN中层节点作为所述CDN边缘备份节点或所述CDN中心备份节点,
其中,回源链路质量好坏的决定因素包括下列中的至少一个:数据包传输延迟、丢包率、路由跳数。
10.如权利要求9所述的客户业务自动调度装置,其特征在于,所述调度模块,通过以下第三策略来确定所述CDN边缘节点和/或所述CDN中层节点到源节点所在的状态异常的原链路上承载的质量不达标的客户业务:
基于所述CDN边缘节点和/或所述CDN中层节点的日志文件统计以下信息中的至少一个,以确定一个或多个质量不达标的客户业务:
访问每个域名的ip地址所对应的平均下载速度和/或平均下载速度的变化、平均首包时间和/或平均首包时间的变化、访问每个域名的ip地址所访问的url所指向的文件的平均大小和/或文件的平均大小的变化。
CN201810200480.4A 2018-03-12 2018-03-12 一种内容分发网络中的客户业务自动调度方法及装置 Active CN110266741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810200480.4A CN110266741B (zh) 2018-03-12 2018-03-12 一种内容分发网络中的客户业务自动调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810200480.4A CN110266741B (zh) 2018-03-12 2018-03-12 一种内容分发网络中的客户业务自动调度方法及装置

Publications (2)

Publication Number Publication Date
CN110266741A true CN110266741A (zh) 2019-09-20
CN110266741B CN110266741B (zh) 2020-06-30

Family

ID=67911442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810200480.4A Active CN110266741B (zh) 2018-03-12 2018-03-12 一种内容分发网络中的客户业务自动调度方法及装置

Country Status (1)

Country Link
CN (1) CN110266741B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114448872A (zh) * 2021-12-23 2022-05-06 天翼云科技有限公司 一种cdn中的路径选择方法及系统
CN115150258A (zh) * 2021-03-30 2022-10-04 天翼云科技有限公司 Cdn节点配置方法、系统以及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237418A (zh) * 2008-02-28 2008-08-06 蓝汛网络科技(北京)有限公司 基于内容分发网络的流媒体加速系统、方法及设备
CN101287011A (zh) * 2008-05-26 2008-10-15 蓝汛网络科技(北京)有限公司 内容分发网络中响应用户服务请求的方法、系统和设备
CN101640688A (zh) * 2009-08-20 2010-02-03 中兴通讯股份有限公司 基于cdn的节点主备用控制器切换方法及cdn网络
CN102137133A (zh) * 2010-01-22 2011-07-27 华为技术有限公司 内容分发的方法、系统及调度服务器
CN102624584A (zh) * 2012-03-01 2012-08-01 中兴通讯股份有限公司 链路检测方法及装置
CN103391254A (zh) * 2012-05-09 2013-11-13 百度在线网络技术(北京)有限公司 用于分布式cdn的流量管理方法及装置
CN103825837A (zh) * 2014-02-19 2014-05-28 上海视云网络科技有限公司 一种节点负载的分布式cdn全局调度的方法
CN104735088A (zh) * 2015-04-16 2015-06-24 北京金山安全软件有限公司 一种cdn网络中服务器节点调整方法及装置
US20150288732A1 (en) * 2014-04-07 2015-10-08 Ericsson Television Inc. Unicast abr streaming
CN106130816A (zh) * 2016-06-24 2016-11-16 腾讯科技(深圳)有限公司 一种内容分发网络监控方法、监控服务器及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237418A (zh) * 2008-02-28 2008-08-06 蓝汛网络科技(北京)有限公司 基于内容分发网络的流媒体加速系统、方法及设备
CN101287011A (zh) * 2008-05-26 2008-10-15 蓝汛网络科技(北京)有限公司 内容分发网络中响应用户服务请求的方法、系统和设备
CN101640688A (zh) * 2009-08-20 2010-02-03 中兴通讯股份有限公司 基于cdn的节点主备用控制器切换方法及cdn网络
CN102137133A (zh) * 2010-01-22 2011-07-27 华为技术有限公司 内容分发的方法、系统及调度服务器
CN102624584A (zh) * 2012-03-01 2012-08-01 中兴通讯股份有限公司 链路检测方法及装置
CN103391254A (zh) * 2012-05-09 2013-11-13 百度在线网络技术(北京)有限公司 用于分布式cdn的流量管理方法及装置
CN103825837A (zh) * 2014-02-19 2014-05-28 上海视云网络科技有限公司 一种节点负载的分布式cdn全局调度的方法
US20150288732A1 (en) * 2014-04-07 2015-10-08 Ericsson Television Inc. Unicast abr streaming
CN104735088A (zh) * 2015-04-16 2015-06-24 北京金山安全软件有限公司 一种cdn网络中服务器节点调整方法及装置
CN106130816A (zh) * 2016-06-24 2016-11-16 腾讯科技(深圳)有限公司 一种内容分发网络监控方法、监控服务器及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150258A (zh) * 2021-03-30 2022-10-04 天翼云科技有限公司 Cdn节点配置方法、系统以及存储介质
CN114448872A (zh) * 2021-12-23 2022-05-06 天翼云科技有限公司 一种cdn中的路径选择方法及系统
CN114448872B (zh) * 2021-12-23 2023-06-23 天翼云科技有限公司 一种cdn中的路径选择方法及系统

Also Published As

Publication number Publication date
CN110266741B (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
US10841365B2 (en) Mapping application dependencies in a computer network
US7801985B1 (en) Data transfer for network interaction fraudulence detection
CN106130786B (zh) 一种网络故障的检测方法及装置
US6856942B2 (en) System, method and model for autonomic management of enterprise applications
EP2561444B1 (en) Automated recovery and escalation in complex distributed applications
US20080209030A1 (en) Mining Web Logs to Debug Wide-Area Connectivity Problems
US10548036B2 (en) Fault monitoring by assessing spatial distribution of queries in a utility supply network
US10193908B2 (en) Data transfer for network interaction fraudulence detection
CN106656611B (zh) 一种cdn质量评测系统
US9026632B2 (en) Network with a network wide extended policy framework
CN105917625A (zh) 使用附加数据的检测到的网络异常的分类
US20200052980A1 (en) Method and device for generating cdn coverage scheme, and computer-readable storage medium and computer device thereof
CN110224883A (zh) 一种应用于电信承载网的灰色故障诊断方法
CN108989368A (zh) 一种链路质量的控制方法及监控设备
CN109039795A (zh) 一种云服务器资源监控方法和系统
CN106789442A (zh) 基于流量数据的本地网客户端性能分析方法
CN107635003A (zh) 系统日志的管理方法、装置及系统
CN110266741A (zh) 一种内容分发网络中的客户业务自动调度方法及装置
CN110401552A (zh) 一种cdn业务自动调优方法及装置
CN107769957B (zh) 一种域名系统故障原因分析方法和装置
CN109450988A (zh) 一种在异地多活架构下保障数据一致性的方法
CN112769643B (zh) 资源调度方法、装置、电子设备及存储介质
CN110309045B (zh) 用于确定服务器未来状态的方法、装置、介质及计算设备
EP2640003A1 (en) Network with a network wide extended policy framework
CN113572644B (zh) 一种互联网云拨测自动化监控方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant