CN117439957A - 流量调度方法、装置、设备及计算机可读存储介质 - Google Patents

流量调度方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN117439957A
CN117439957A CN202211146275.7A CN202211146275A CN117439957A CN 117439957 A CN117439957 A CN 117439957A CN 202211146275 A CN202211146275 A CN 202211146275A CN 117439957 A CN117439957 A CN 117439957A
Authority
CN
China
Prior art keywords
node
traffic
bandwidth
target
bandwidths
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211146275.7A
Other languages
English (en)
Inventor
单卫华
高天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Cloud Computing Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Cloud Computing Technologies Co Ltd filed Critical Huawei Cloud Computing Technologies Co Ltd
Priority to PCT/CN2023/085081 priority Critical patent/WO2024011957A1/zh
Publication of CN117439957A publication Critical patent/CN117439957A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2425Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/50Queue scheduling
    • H04L47/52Queue scheduling by attributing bandwidth to queues
    • H04L47/527Quantum based scheduling, e.g. credit or deficit based scheduling or token bank

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了流量调度方法、装置、设备及计算机可读存储介质,属于通信技术领域。在应用于调度器的方法中,首先取第一节点上的至少两个业务流量的优先级,和至少两个业务流量在第一节点上占用的带宽,至少两个业务流量的传输方向相同。之后,基于至少两个业务流量的优先级,在至少两个业务流量中确定目标业务流量。接着,基于至少两个业务流量在第一节点上占用的带宽,调整第一节点和第二节点与终端交互目标业务流量的比例。本申请基于业务流量的优先级确定调度的主要业务流量,即目标业务流量,基于各节点上的各业务流量占用的带宽调度目标业务流量。由此,在各节点间统一协同调度各业务流量,实现了各业务流量所占用的带宽的动态平衡。

Description

流量调度方法、装置、设备及计算机可读存储介质
本申请要求于2022年07月15日提交的申请号为202210836899.5、发明名称为“贪婪式复用的带宽成本优化方法、装置、设备及介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及通信技术领域,特别涉及流量调度方法、装置、设备及计算机可读存储介质。
背景技术
随着通信技术的发展,信息化服务越来越普遍。在通信网络中,信息化服务所涉及的信息通过业务流量承载,因而通信网络包括的节点需要传输的业务流量不断增加。其中,节点传输业务流量依赖于带宽,如何基于带宽调度业务流量,成为值得关注的问题。
发明内容
本申请提供了一种流量调度方法、装置、设备及计算机可读存储介质,以基于带宽调度业务流量。本申请提供的技术方案包括如下的几个方面。
第一方面,提供了一种流量调度方法,该方法应用于流量调度系统包括的调度器,流量调度系统还包括第一节点、第二节点和终端。其中,第一节点和第二节点用于与终端交互业务流量。在该方法中,调度器首先获取第一节点上的至少两个业务流量的优先级,以及至少两个业务流量在第一节点上占用的带宽,至少两个业务流量的传输方向相同。然后,调度器基于至少两个业务流量的优先级,在至少两个业务流量中确定目标业务流量。接着,调度器基于至少两个业务流量在第一节点上占用的带宽,调整第一节点和第二节点与终端交互目标业务流量的比例。
本申请区分不同业务流量的优先级,基于业务流量的优先级确定调度的主要业务流量,即目标业务流量。并且,全局监控各个业务流量占用的带宽,在需要进行全局协同调度时,通过调整第一节点和第二节点与终端交互目标业务流量的比例,实现目标业务流量的调度。由于在调度过程中考虑了优先级,且进行了全局协同调度,因而不仅有利于提高带宽的复用率,降低带宽成本,而且使得调度过程较为灵活。
在一种可能的实现方式中,调度器基于至少两个业务流量的优先级,在至少两个业务流量中确定目标业务流量,包括:调度器基于至少两个业务流量的优先级,在至少两个业务流量中确定至少一个优先级最低的业务流量;调度器基于至少一个优先级最低的业务流量确定目标业务流量。
本申请将优先级较低的业务流量确定为目标业务流量,由于该目标业务流量为主要被调度的业务流量,因而能够在调度期间保障优先级较高的业务流量的实际业务质量。由此,使得该实际业务质量能够满足用户的要求,或者说,使得该实际业务质量发生的变化处于用户可容忍的范围内,保证了用户的体验。
在一种可能的实现方式中,调度器基于至少一个优先级最低的业务流量确定目标业务流量,包括:响应于存在至少两个优先级最低的业务流量,调度器将至少两个优先级最低的业务流量中数据量大于数据量阈值的业务流量确定为目标业务流量。
本申请将数据量较大的业务流量作为目标业务流量,使得调度器在调度时能够较大幅度的调度目标业务流量,也即是,完成调度之后,目标业务流量占用的带宽可以有较大幅度的改变,从而在调度时提供较大的调度空间。
在一种可能的实现方式中,优先级基于服务级别协议(service levelagreement,SLA)和连接类型中的至少一种信息确定,SLA用于指示业务质量,优先级与SLA指示的业务质量正相关,优先级与连接类型对应的调度便利程度负相关。
SLA指示的业务质量越高,代表该业务流量需要满足的业务质量要求越高,且用户对于该业务流量的业务质量发生降低时的容忍度越低。因此,调度时对该业务流量的实际业务质量的影响应该越小,所以该业务流量的优先级越高,从而能够减小了调度器将该业务流量确定为目标业务流量的可能性。另外,业务流量的连接类型对应的调度便利程度越大,表示在调度该业务流量的灵活性越高。所以,该业务流量的优先级越低,增加了将该业务流量确定为目标业务流量的可能性。
在一种可能的实现方式中,调度器基于至少两个业务流量在第一节点上占用的带宽,调整第一节点和第二节点与终端交互目标业务流量的比例,包括:调度器确定至少两个业务流量在第一节点上占用的带宽的带宽之和;调度器基于带宽之和,确定比例调整方式;调度器按照比例调整方式,调整第一节点和第二节点与终端交互目标业务流量的比例。
本申请基于所确定的带宽之和确定比例调整方式,该比例调度方式是比例调整过程的基础,比例调整过程也即是调度目标业务流量的过程。
在一种可能的实现方式中,调度器基于带宽之和,确定比例调整方式,包括:响应于带宽之和满足第一条件,调度器确定比例调整方式为降低第一节点和第二节点与终端交互目标业务流量的比例,使得目标业务流量在第一节点上占用的带宽减少带宽调度量,且目标业务流量在第二节点上占用的带宽增加带宽调度量;方法还包括:增加第一业务流量在第一节点上占用的带宽,第一业务流量为至少两个业务流量中除目标业务流量之外的业务流量,所增加的带宽小于或等于带宽调度量。
其中,带宽之和满足第一条件,则说明第一节点处于业务流量的高峰期,带宽不足,因而比例调整方式用于指示降低比例。也即是,使得目标业务流量在第一节点上占用的带宽减少,且目标业务流量第二节点上占用的带宽增加,还使得目标业务流量之外的第一业务流量在第一节点上占用的带宽增加。由此,保证第一节点和第二节点上的各个业务流量的业务质量,并且使得第一节点和第二节点上的带宽均能够充分利用。
在一种可能的实现方式中,方法还包括:响应于带宽之和大于第一带宽阈值,确定带宽之和满足第一条件;或者,响应于带宽之和对应的带宽成本大于第一成本阈值,确定带宽之和满足第一条件。
无论是带宽之和大于第一带宽阈值,还是带宽之和对应的带宽成本大于第一成本阈值,都说明第一节点处于业务流量的高峰期,带宽不足,因而可以确定满足第一条件。
在一种可能的实现方式中,调度器基于带宽之和,确定比例调整方式,包括:响应于带宽之和满足第二条件,调度器确定比例调整方式为提高第一节点和第二节点与终端交互目标业务流量的比例,使得目标业务流量在第一节点上占用的带宽增加带宽调度量,且目标业务流量在第二节点上占用的带宽减少带宽调度量。
其中,带宽之和满足第二条件,则说明第一节点处于业务流量的低谷期,带宽富余,因而比例调整方式用于指示提高比例。也即是,使得目标业务流量在第一节点上占用的带宽增加,且目标业务流量第二节点上占用的带宽减少。由此,保证了第一节点和第二节点上的各个业务流量的业务质量,并且使得第一节点和第二节点上的带宽均能够充分利用。
在一种可能的实现方式中,方法还包括:响应于带宽之和小于或等于第二带宽阈值,确定带宽之和满足第二条件,第二带宽阈值小于或等于第一带宽阈值;或者,响应于带宽之和对应的带宽成本小于或等于第二成本阈值,确定带宽之和满足第二条件,第二成本阈值小于或等于第一成本阈值。
无论是带宽之和小于第二带宽阈值,还是带宽之和对应的带宽成本小于第二成本阈值,都说明第一节点处于业务流量的低谷期,带宽富余,因而可以确定满足第二条件。
在一种可能的实现方式中,带宽调度量基于带宽之和、第一带宽阈值和第二节点的带宽使用情况确定。
带宽之和与第一带宽成本阈值之间的关系,能够反映第一节点上可以调度的带宽量。第二节点的带宽使用情况,能够反映第二节点上可以调度的带宽量。因此,按照此种方式确定的带宽调度量较为准确,有利于在调度完成之后保障第一节点和第二节点上的各业务流量的业务质量。
在一种可能的实现方式中,带宽调度量基于带宽之和对应的带宽成本、第一成本阈值和第二节点的带宽成本使用情况确定。
带宽之和对应的带宽成本与第一成本阈值之间的关系,能够反映第一节点上可以调度的带宽量。第二节点的带宽成本使用情况,能够反映第二节点上可以调度的带宽量。因此,按照此种方式确定的带宽调度量较为准确,有利于缩减带宽成本,并保障第一节点和第二节点上的各业务流量的业务质量。
在一种可能的实现方式中,调度器基于带宽之和,确定比例调整方式,包括:响应于带宽之和不同于第一节点上的第二业务流量占用的带宽,调度器确定比例调整方式,至少两个业务流量的传输方向与第二业务流量的传输方向不同。
在该实现方式中,第一节点上不同传输方向的业务流量所占用的带宽不同,因此,可以通过改变目标业务流量在第一节点上占用的带宽,使得不同传输方向的业务流量占用的带宽相同,或是缩小不同传输方向的业务流量占用的带宽之间的差距。
在一种可能的实现方式中,比例调整方式基于带宽之和、第一节点上的第二业务流量占用的带宽和第二节点的带宽使用情况确定。
按照此种方式确定的比例调整方式较为准确。
在一种可能的实现方式中,调度器按照比例调整方式,调整第一节点和第二节点与终端交互目标业务流量的比例,包括:调度器按照比例调度方式确定目标节点对应的调度信息,向目标节点发送调度信息,调度信息和目标节点用于实现调整第一节点和第二节点与终端交互目标业务流量的比例。
也就是说,针对不同的目标节点,适应性的确定该目标节点对应的调度信息,从而可以基于目标节点和调度信息实现比例的调整,也即是实现目标业务流量的调度,从而保证了各业务流量的业务质量以及用户的体验感。
在一种可能的实现方式中,目标节点为内容分发网络(content deliverynetwork,CDN)域名系统(domain name system,DNS)服务器,调度信息为参考域名与互联网协议(internet protocol,IP)地址之间的第一对应关系,IP地址指示第一节点或者第二节点;
第一对应关系用于CDN DNS服务器基于终端发送的参考域名向终端返回参考域名对应的IP地址,IP地址用于终端向IP地址指示的节点发送交互请求,以交互目标业务流量。
通过向CDN DNS服务器发送第一对应关系,能够使得CDN DNS服务器基于第一对应关系与终端进行交互,使得终端通过该交互过程确定需要与哪个节点交互目标业务流量,从而实现目标业务流量的调度。
在一种可能的实现方式中,目标节点为第一节点和第二节点,调度信息为交互请求与IP地址之间的第二对应关系,IP地址指示第一节点或者第二节点;第二对应关系用于目标节点在接收到终端发送的交互请求之后,响应于基于第二对应关系确定交互请求对应的IP地址指示的节点为当前节点,则与终端交互目标业务流量,或者,响应于基于第二对应关系确定交互请求对应的IP地址指示的节点非当前节点,则向终端返回交互请求对应的IP地址,IP地址用于终端向IP地址指示的节点发送交互请求,以交互目标业务流量。
向第一节点和第二节点发送第二对应关系,能够使得第一节点和第二节点均基于第二对应关系确定终端需要与哪个节点交互目标业务流量。如果需要与终端交互目标业务流量的节点是节点本身,再与终端交互目标业务流量。而如果需要与终端交互目标业务流量的节点不是节点本身,则告知终端需要与哪个节点交互目标业务流量,以便于终端与正确的节点交互目标业务流量。由此,实现了目标业务流量的调度。
在一种可能的实现方式中,目标节点为终端,调度信息为交互请求与IP地址之间的第二对应关系,IP地址指示第一节点或者第二节点;第二对应关系用于终端确定交互请求对应的IP地址,向IP地址指示的节点发送交互请求,以交互目标业务流量。
向终端发送交互请求与IP地址之间的第二对应关系,能够使得终端基于该第二对应关系确定是与第一节点交互目标业务流量,还是与第二节点交互目标业务流量,从而实现目标业务流量的调度。
在一种可能的实现方式中,至少两个业务流量在第一节点上占用的带宽通过检测和预测中的至少一种方式获取得到。
通过检测的方式,能够对至少两个业务流量在第一节点上占用的带宽进行实时监控,从而及时确定比例调整方式并且及时调度,保证第一节点上的各业务流量的业务质量以及用户的体验感。而通过预测的方式,能够提前获知至少两个业务流量在第一节点上占用的带宽,更为及时的确定比例调整方式,并提前进行调度,进一步保证了第一节点上的各业务流量的业务质量以及用户的体验感。
在一种可能的实现方式中,调度器基于至少两个业务流量在第一节点上占用的带宽,调整第一节点和第二节点与终端交互目标业务流量的比例之后,方法还包括:响应于调整后的比例使得目标业务流量在第一节点上占用的带宽为零,且第一业务流量的业务质量低于第一业务流量的SLA指示的业务质量,调度器进行告警,第一业务流量为至少两个业务流量中除目标业务流量之外的业务流量。
其中,目标业务流量在第一节点上占用的带宽为零,则代表第一节点上已不再存在目标业务流量,第一节点上的带宽全部由第一业务流量占用。但是,该第一业务质量的实际业务质量仍然低于第一业务流量的SLA指示的业务质量,第一节点上的带宽仍然不足。由此,调度器可以通过告警,提示需要继续进行调度,以便于保证第一业务流量的实际业务质量满足第一业务流量的SLA指示的业务质量。
在一种可能的实现方式中,调度器基于至少两个业务流量在第一节点上占用的带宽,调整第一节点和第二节点与终端交互目标业务流量的比例之前,方法还包括:调度器向第一节点发送至少两个业务流量的优先级,至少两个业务流量的优先级用于第一节点配置至少两个队列,通过至少两个队列处理至少两个业务流量,对于至少两个业务流量中的任意一个业务流量,任意一个业务流量的优先级与用于处理任意一个业务流量的队列的优先级相匹配。
通过配置至少两个队列,并且使得一个业务流量的优先级与用于处理该业务流量的队列的优先级相匹配,能够在第一节点上的各业务流量占用的带宽发生突增或突降时,保证优先级较高的业务流量被优先处理。
第二方面,提供了一种流量调度装置,装置应用于流量调度系统包括的调度器,流量调度系统还包括第一节点、第二节点和终端,第一节点和第二节点用于与终端交互业务流量,装置包括:
获取模块,用于获取第一节点上的至少两个业务流量的优先级,以及至少两个业务流量在第一节点上占用的带宽,至少两个业务流量的传输方向相同;
确定模块,用于基于至少两个业务流量的优先级,在至少两个业务流量中确定目标业务流量;
调整模块,用于基于至少两个业务流量在第一节点上占用的带宽,调整第一节点和第二节点与终端交互目标业务流量的比例。
在一种可能的实现方式中,确定模块,用于基于至少两个业务流量的优先级,在至少两个业务流量中确定至少一个优先级最低的业务流量;基于至少一个优先级最低的业务流量确定目标业务流量。
在一种可能的实现方式中,确定模块,用于响应于存在至少两个优先级最低的业务流量,将至少两个优先级最低的业务流量中数据量大于数据量阈值的业务流量确定为目标业务流量。
在一种可能的实现方式中,优先级基于SLA和连接类型中的至少一种信息确定,SLA用于指示业务质量,优先级与SLA指示的业务质量正相关,优先级与连接类型对应的调度便利程度负相关。
在一种可能的实现方式中,调整模块,用于确定至少两个业务流量在第一节点上占用的带宽的带宽之和;基于带宽之和,确定比例调整方式;按照比例调整方式,调整第一节点和第二节点与终端交互目标业务流量的比例。
在一种可能的实现方式中,调整模块,用于响应于带宽之和满足第一条件,确定比例调整方式为降低第一节点和第二节点与终端交互目标业务流量的比例,使得目标业务流量在第一节点上占用的带宽减少带宽调度量,且目标业务流量在第二节点上占用的带宽增加带宽调度量;
装置还包括:增加模块,用于增加第一业务流量在第一节点上占用的带宽,第一业务流量为至少两个业务流量中除目标业务流量之外的业务流量,所增加的带宽小于或等于带宽调度量。
在一种可能的实现方式中,调整模块,还用于响应于带宽之和大于第一带宽阈值,确定带宽之和满足第一条件;或者,响应于带宽之和对应的带宽成本大于第一成本阈值,确定带宽之和满足第一条件。
在一种可能的实现方式中,调整模块,用于响应于带宽之和满足第二条件,确定比例调整方式为提高第一节点和第二节点与终端交互目标业务流量的比例,使得目标业务流量在第一节点上占用的带宽增加带宽调度量,且目标业务流量在第二节点上占用的带宽减少带宽调度量。
在一种可能的实现方式中,调整模块,还用于响应于带宽之和小于或等于第二带宽阈值,确定带宽之和满足第二条件,第二带宽阈值小于或等于第一带宽阈值;或者,响应于带宽之和对应的带宽成本小于或等于第二成本阈值,确定带宽之和满足第二条件,第二成本阈值小于或等于第一成本阈值。
在一种可能的实现方式中,带宽调度量基于带宽之和、第一带宽阈值和第二节点的带宽使用情况确定。
在一种可能的实现方式中,带宽调度量基于带宽之和对应的带宽成本、第一成本阈值和第二节点的带宽成本使用情况确定。
在一种可能的实现方式中,调整模块,用于响应于带宽之和不同于第一节点上的第二业务流量占用的带宽,确定比例调整方式,至少两个业务流量的传输方向与第二业务流量的传输方向不同。
在一种可能的实现方式中,比例调整方式基于带宽之和、第一节点上的第二业务流量占用的带宽和第二节点的带宽使用情况确定。
在一种可能的实现方式中,调整模块,用于按照比例调度方式确定目标节点对应的调度信息,向目标节点发送调度信息,调度信息和目标节点用于实现调整第一节点和第二节点与终端交互目标业务流量的比例。
在一种可能的实现方式中,目标节点为CDN DNS服务器,调度信息为参考域名与IP地址之间的第一对应关系,IP地址指示第一节点或者第二节点;第一对应关系用于CDN DNS服务器基于终端发送的参考域名向终端返回参考域名对应的IP地址,IP地址用于终端向IP地址指示的节点发送交互请求,以交互目标业务流量。
在一种可能的实现方式中,目标节点为第一节点和第二节点,调度信息为交互请求与IP地址之间的第二对应关系,IP地址指示第一节点或者第二节点;第二对应关系用于目标节点在接收到终端发送的交互请求之后,响应于基于第二对应关系确定交互请求对应的IP地址指示的节点为当前节点,则与终端交互目标业务流量,或者,响应于基于第二对应关系确定交互请求对应的IP地址指示的节点非当前节点,则向终端返回交互请求对应的IP地址,IP地址用于终端向IP地址指示的节点发送交互请求,以交互目标业务流量。
在一种可能的实现方式中,目标节点为终端,调度信息为交互请求与IP地址之间的第二对应关系,IP地址指示第一节点或者第二节点;第二对应关系用于终端确定交互请求对应的IP地址,向IP地址指示的节点发送交互请求,以交互目标业务流量。
在一种可能的实现方式中,至少两个业务流量在第一节点上占用的带宽通过检测和预测中的至少一种方式获取得到。
在一种可能的实现方式中,调整模块,还用于响应于调整后的比例使得目标业务流量在第一节点上占用的带宽为零,且第一业务流量的业务质量低于第一业务流量的SLA指示的业务质量,进行告警,第一业务流量为至少两个业务流量中除目标业务流量之外的业务流量。
在一种可能的实现方式中,调整模块,还用于向第一节点发送至少两个业务流量的优先级,至少两个业务流量的优先级用于第一节点配置至少两个队列,通过至少两个队列处理至少两个业务流量,对于至少两个业务流量中的任意一个业务流量,任意一个业务流量的优先级与用于处理任意一个业务流量的队列的优先级相匹配。
第三方面,提供了一种流量调度设备,设备包括存储器及处理器;存储器中存储有至少一条指令,至少一条指令由处理器加载并执行,以使流量调度设备实现第一方面及对应的可能的实现方式中任一的流量调度方法。
第四方面,提供了一种计算机可读存储介质,计算机可读存储介质中存储有至少一条指令,指令由处理器加载并执行,以使计算机实现如第一方面及对应的可能的实现方式中任一的流量调度方法。
第五方面,提供了一种计算机程序产品,其特征在于,计算机程序产品包括计算机程序或指令,计算机程序或指令被处理器执行,以使计算机实现第一方面及对应的可能的实现方式中任一的流量调度方法。
第六方面,提供了一种芯片,包括处理器,用于从存储器中调用并运行存储器中存储的指令,使得安装有芯片的计算机执行第一方面及对应的可能的实现方式中任一的流量调度方法。
第七方面,提供另一种芯片,包括:输入接口、输出接口、处理器和存储器,输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连,处理器用于执行存储器中的代码,当代码被执行时,安装有芯片的计算机执行第一方面及对应的可能的实现方式中任一的流量调度方法。
应当理解的是,本申请的第二方面至第七方面的技术方案及对应的可能的实现方式所取得的技术效果,可以参见上述对第一方面及其对应的可能的实现方式所取得的技术效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种流量调度系统的示意图;
图2为本申请实施例提供的一种流量调度方法的流程图;
图3为本申请实施例提供的一种参考对应关系的示意图;
图4为本申请实施例提供的一种降低比例的情况下调度目标业务流量的示意图;
图5为本申请实施例提供的一种提高比例的情况下调度目标业务流量的示意图;
图6为本申请实施例提供的一种流量调度方法的流程示意图;
图7为本申请实施例提供的另一种流量调度方法的流程示意图;
图8为本申请实施例提供的一种不同传输方向的业务流量占用的带宽不同的示意图;
图9为本申请实施例提供的一种调度器的结构示意图;
图10为本申请实施例提供的一种DNS调度场景下的流量调度的示意图;
图11为本申请实施例提供的一种302调度场景下的流量调度的示意图;
图12为本申请实施例提供的另一种302调度场景下的流量调度的示意图;
图13为本申请实施例提供的又一种302调度场景下的流量调度的示意图;
图14为本申请实施例提供的一种应用层调度场景下的流程调度的示意图;
图15为本申请实施例提供的一种通过队列处理业务流量的示意图;
图16为本申请实施例提供的一种相关技术中分配带宽的示意图;
图17为本申请实施例提供的一种流量调度装置的示意图;
图18为本申请实施例提供的一种流量调度设备的示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
本申请实施例提供了一种流量调度系统,参见图1,该流量调度系统包括第一节点11、第二节点12、调度器13和终端14。其中,调度器13与第一节点11和第二节点12分别连接,终端14与第一节点11和第二节点12中的至少一个节点连接。第一节点11和第二节点12可以用于与终端14交互业务流量,调度器13可以用于在第一节点11和第二节点12上实现业务流量的调度。
其中,图1所示的第一节点11和第二节点12可以形成CDN,第一节点11和第二节点12也称为CDN中的边缘节点。该CDN是一种以部署在各地的边缘节点为基础的智能虚拟网络,基于CDN这种智能虚拟网络,可以实现终端14与距离较近的边缘节点交互业务流量。
在终端14和边缘节点交互业务流量的过程中,该业务流量具有一定的传输方向,传输方向包括下行和上行。当业务流量的传输方向为下行时,边缘节点向终端14下发业务流量,业务流量为下行业务流量。或者,当业务流量的传输方向为上行时,终端14向边缘节点上传业务流量,业务流量为上行业务流量。
应理解的是,图1所示的第一节点11、第二节点12和终端14仅为举例,不用于造成数量上的限定。在本申请实施例中,第一节点11和第二节点12的数量之和为至少两个,终端14的数量为至少一个即可。
可选地,图1所示的流量调度系统还可以包括源服务器。示例性地,源服务器可以与边缘节点连接,并通过负载均衡、内容分发等功能与边缘节点交互业务流量。在源服务器与边缘节点交互业务流量的过程中,业务流量也具有一定的传输方向。源服务器向边缘节点下发的业务流量为下行业务流量,边缘节点向源服务器上传的业务流量为上行业务流量。图1所示的调度器13和源服务器可以为两个独立的个体。或者,调度器13也可以与源服务器集成为一体。比如,调度器13可以是位于源服务器中的一个组件。
本申请提供了一种流量调度方法,该流量调度方法可以应用于图1所示的流量调度系统包括的调度器13中。如图2所示,该方法包括但不限于如下的步骤201至步骤203。
步骤201,调度器获取第一节点上的至少两个业务流量的优先级,以及至少两个业务流量在第一节点上占用的带宽,至少两个业务流量的传输方向相同。
其中,第一节点可以为CDN中的任意一个边缘节点,第一节点上存在传输方向相同的至少两个业务流量,传输方向包括下行和上行。示例性地,调度器可以根据传输方向的不同,将第一节点上的所有业务流量分为两组,一组业务流量的传输方向均为下行,另一组业务流量的传输方向均为上行。之后,调度器将其中一组业务流量包括的全部或部分业务流量作为上述传输方向相同的至少两个业务流量。
比如,参见图3,传输方向为下行的一组业务流量包括:直播业务流量、动态加速业务流量、CDN点播业务流量和CDN下载业务流量,而传输方向为上行的一组业务流量包括:直播业务流量、动态加速业务流量和视频接入服务(video ingestion service,VIS)业务流量。其中,VIS属于一种实时的、较大容量、较高并发的服务,VIS具备视频数据采集、视频数据分发、视频数据转存等能力。
针对第一节点上的传输方向相同的至少两个业务流量,对该至少两个业务流量的优先级进行说明。
在示例性实施例中,优先级基于SLA和连接类型中的至少一种信息确定,SLA用于指示业务质量。其中,优先级与SLA指示的业务质量正相关,优先级与连接类型对应的调度便利程度负相关。
一个业务流量的SLA所指示的业务质量,是通信服务的提供者向通信服务的使用者承诺的业务质量,也即是一个业务流量需要满足的业务质量。承诺的形式例如为合同形式。一个业务流量的SLA所指示的业务质量越高,代表通信服务的使用者对该业务流量的业务质量的要求越高、对该业务流量的业务质量发生降低的容忍度越低,该业务流量需要具有较强的可用性,且通信服务器的提供者需要为该业务流量承担的责任越多。
通信服务器的提供者用于提供传输业务流量所需的资源。示例性地,通信服务器的提供者为互联网服务提供商(internet service provider,ISP),传输业务流量所需的资源例如为带宽。通信服务的使用者用于使用业务流量。示例性地,通信服务的使用者为终端的用户。在示例性实施例中,用于定义一个业务流量的SLA的指标,包括但不限于以下指标中的至少一种:平均故障间隔时间(mean time between failures,MTBF)、平均修复时间(mean time to repair,MTTR)、时延、抖动、吞吐量。
一个业务流量的连接类型,是终端与边缘节点之间建立的、用于交互该业务流量的通信连接的类型,该连接类型包括但不限于短连接和长连接。短连接在需要进行该业务流量的交互时才建立,在完成该业务流量的交互之后便断开。长连接则可以在需要进行该业务流量的交互之前建立,在完成业务流量的交互之后也不断开。对于一个业务流量而言,如果终端与边缘节点之间需要建立短连接来交互该业务流量,则该业务流量的连接类型为短连接,短连接对应的调度便利程度较大,即方便调度、能够灵活调度。或者,如果终端与边缘节点之间需要建立长连接来交互该业务流量,则该业务流量的连接类型为长连接,长连接对应的调度便利程度较小,即不方便调度、不能够灵活调度。
示例性地,一个业务流量的优先级与该业务流量的SLA指示的业务质量正相关。其原因在于,一个业务流量的SLA指示的业务质量越高,则交互该业务流量的优先程度应越高,因而该业务流量的优先级也越高。示例性地,一个业务流量的优先级与该业务流量的连接类型对应的调度便利程度负相关。其原因在于,一个业务流量的连接类型对应的调度便利程度越高,该业务流量越方便调度,则交互该业务流量的优先程度可以越低,因而该业务流量的优先级也越低。应理解的是,不同业务流量的优先级可能相同,也可能不同。
在示例性实施例中,基于SLA和连接类型中的至少一种信息,确定至少两个业务流量的优先级的方式,包括但不限于如下的确定方式A1和确定方式A2。
确定方式A1,获取参考对应关系,基于参考对应关系确定至少两个业务流量的优先级,该参考对应关系为:SLA和连接类型中的至少一种信息,与优先级之间的对应关系。
其中,参考对应关系可以随机生成,也可以根据经验配置,在此不限定参考对应关系的获取方式,只要保证基于该参考对应关系确定的优先级,与业务流量的SLA指示的业务质量正相关,与连接类型对应的调度便利程度负相关即可。
例如,参见图3,图3示出了一种示例性的参考对应关系,该参考对应关系为SLA、连接类型与优先级之间的对应关系。其中,直播业务流量的连接类型为长连接且SLA为高,SLA为高指示最高的业务质量,由参考对应关系可知优先级为一级,一级为最高的优先级。动态加速业务流量的连接类型为长连接且SLA为高,由参考对应关系可知优先级为一级。CDN点播业务流量的连接类型为短连接且SLA为中,SLA为中指示次高的业务质量,由该参考对应关系可知优先级为二级,该二级为次高的优先级。CDN下载业务流量的连接类型为短连接且SLA为低,SLA为低指示最低的业务质量,由该参考对应关系可知优先级为三级,三级为最低的优先级。VIS业务流量的连接类型为短连接且SLA为低,由参考对应关系可知优先级为三级。
应理解的是,一级为最高的优先级、三级为最低的优先级仅为举例,本申请实施例也可以使得三级为最高的优先级、一级为最低的优先级。并且,优先级包括一级、二级、三级也仅为举例,优先级的数量和表示优先级的方式并不局限于此。比如,也可以使得优先级包括金、银、铜,还可以使得优先级包括A级、B级、C级、D级,等等。
确定方式A2,调度器基于SLA和连接类型中的至少一种信息,确定至少两个业务流量的综合分值,基于至少两个业务流量的综合分值,确定至少两个业务流量的优先级。
其中,确定方式A2可以包括如下的步骤1至步骤3。
步骤1,确定SLA对应的第一分值,以及连接类型对应的第二分值,则一个业务流量的综合分值基于第一分值和第二分值中的至少一个分值确定。
由于本申请实施例需要使得基于综合分值确定的优先级,与业务流量的SLA指示的业务质量正相关,与连接类型对应的调度便利程度负相关,因而在确定SLA对应的第一分值、连接类型对应的第二分值时,存在如下两种实施方式。
在一种实施方式中,综合分值越高,则基于综合分值确定的优先级越高。那么,SLA指示的业务质量越高,令SLA对应越大的第一分值,连接类型对应的调度便利程度越高,令连接类型对应越小的第二分值。比如,SLA为高则第一分值为80,SLA为中则第一分值为60,SLA为低则第一分值为40。又比如,连接类型为长连接则第二分值为80,连接类型为短连接则第二分值为60。
在另一种实施方式中,综合分值越低,则基于综合分值确定的优先级越高。那么,SLA指示的业务质量越高,令SLA对应越小的第一分值,连接类型对应的调度便利程度越高,令连接类型对应越大的第二分值。此种实施方式不再举例赘述。
步骤2,对第一分值和第二分值中的至少一个分值进行加权计算,将得到的计算结果确定为业务流量的综合分值。
由于加权计算需要使用权重,因而需要确定第一分值的权重和第二分值的权重,确认方式例如为随机生成,又例如为根据经验配置,在此不作限定。第一分值的权重和第二分值的权重可以相同或不同。例如,对于一个业务流量而言,如果仅存在第一分值,则第一分值的权重为1,或者,如果仅存在第二分值,则第二分值的权重为1,又或者,如果既存在第一分值又存在第二分值,则第一分值的权重与第二分值的权重之和为1。
比如,一个业务流量的SLA对应的第一分值为80,第一分值的权重为0.6,该业务流量的连接类型对应的第二分值为60,第二分值的权重为0.4,则进行加权计算得到的计算结果,也即是该业务流量的综合分值,等于72。
步骤3,基于业务流量的综合分值所在的取值范围,将取值范围对应的优先级确定为业务流量的优先级。
该取值范围可以与优先级一一对应,取值范围和优先级的数量可以为至少一个。以综合分值越高、基于综合分值确定的优先级越高为例,取值范围1为61-70,对应优先级为三级,取值范围2为71-80,对应优先级为二级,取值范围3为81-90,对应优先级为一级。那么,如果一个业务流量的综合分值为步骤2中计算的72,则由于72位于取值范围2中,因而将取值范围2对应的优先级,即二级,确定为该业务流量的优先级。
另外,针对第一节点上的传输方向相同的至少两个业务流量,对该至少两个业务流量在第一节点上占用的带宽进行说明。
其中,第一节点提供一定的总带宽供第一节点上的至少两个业务流量占用,至少两个业务流量中的各个业务流量在第一节点上占用的带宽的取值为正数。带宽的单位例如为兆比特每秒(megabits per second,Mbps),在此不作限定。
在示例性实施例中,至少两个业务流量在第一节点上占用的带宽通过检测和预测中的至少一种方式获取得到。由于调度器获取了至少两个业务流量在第一节点上占用的带宽,因而调度器是对第一节点上的至少两个业务流量进行全局监控,以便于后续实现至少两个业务流量的统一协同调度,调度器也称为主协同调度器。由此,可以避免不同的业务流量的调度过程发生冲突,避免造成带宽的浪费,或者带宽对应的带宽成本的浪费。
对于检测方式,调度器在第一时段内检测至少两个业务流量在第一节点上占用的带宽之后,便可以基于检测到的带宽进行业务流量的调度。调度过程参见后文的步骤203,此处暂不赘述。示例性地,调度器可以接收第一节点周期性主动上报的带宽信息,或者,调度器可以向第一节点发送指令,接收第一节点根据指令上报反馈的带宽信息,该带宽信息包括至少两个业务流量在第一节点上占用的带宽。由此,调度器便可以实现带宽的检测。示例性地,在第一节点上报的带宽信息中,一个业务流量在第一节点上占用的带宽包括至少一个对应有时间单位的带宽,该时间单位大于或等于第一节点和调度器所能识别的最小单位。
对于预测方式,调度器在第一时段内检测至少两个业务流量在第一节点上占用的带宽之后,基于检测到的带宽预测第二时段内至少两个业务流量在第一节点上占用的带宽,该第二时段晚于第一时段。例如,调度器可以获取预测模型,该预测模型用于根据输入的带宽输出预测的带宽。调度器将检测到的带宽输入该预测模型,得到预测模型输出的预测到的带宽,该预测到的带宽可以体现业务流量在第二时段内出现峰值的时间、数据量等等。在此不限定进行预测的方式。在得到预测到的带宽后,便可以基于预测到的带宽进行业务流量的调度,调度过程同样参见后文的步骤203,此处暂不赘述。
示例性地,基于预测到的带宽进行业务流量的调度,可以是基于检测到的带宽和预测到的带宽共同调度业务流量,则用于调度业务流量的带宽的数据量较大,可以使得对业务流量的调度更为及时准确。或者,基于预测到的带宽进行业务流量的调度,也可以是仅基于预测到的带宽而不基于检测到的带宽调度业务流量。
应理解的是,对于不同的业务流量而言,获取在第一节点上占用的带宽方式可以相同,也可以不同。比如,至少两个业务流量在第一节点上占用的带宽均通过检测方式获取得到,或者均通过预测方式获取得到。又比如,至少两个业务流量中的一部分业务流量在第一节点上占用的带宽通过检测方式得到,另一部分业务流量在第一节点上占用的带宽通过预测方式获取得到。
步骤202,调度器基于至少两个业务流量的优先级,在至少两个业务流量中确定目标业务流量。
由于步骤201中调度器获取了至少两个业务流量的优先级,因而可以基于至少两个业务流量的优先级,从至少两个业务流量中确定至少一个目标业务流量。调度器在后续进行流量调度的过程中,主要针对该目标业务流量进行调度,该目标业务流量也称为主贪婪流量。示例性地,当调度器确定出目标业务流量之后,可以向终端发送提示信息,该提示信息用于提示目标业务流量将作为主贪婪流量,并引导终端的用户使用目标业务流量。调度器针对目标业务流量的调度,例如为调整第一节点和第二节点与终端交互目标业务流量的比例,使得目标业务流量在第一节点和第二节点上占用的带宽发生改变,后文的步骤203中会进行详细说明。
示例性地,调度器基于至少两个业务流量的优先级,在至少两个业务流量中确定目标业务流量,包括:调度器基于至少两个业务流量的优先级,在至少两个业务流量中确定至少一个优先级最低的业务流量,调度器基于至少一个优先级最低的业务流量确定目标业务流量。
其中,当至少两个业务流量中不存在优先级相同的业务流量时,优先级最低的业务流量的数量为一个。或者,当至少两个业务流量中存在优先级相同的业务流量时,优先级最低的业务流量的数量则可能为一个,也可能为多个。比如,参见图3,最低的优先级为三级,则优先级最低的业务流量的数量为两个,即CDN下载业务流量和VIS业务流量。
在一些实施方式中,响应于仅存在一个优先级最低的业务流量,则这一个优先级最低的业务流量即为目标业务流量。也即是,调度器基于至少一个优先级最低的业务流量确定目标业务流量,包括:调度器将这一个优先级最低的业务流量作为目标业务流量。
由于一个业务流量的优先级与该业务流量的SLA指示的业务质量正相关,与该业务流量的连接类型对应的调度便利程度负相关,而本申请实施例将优先级最低的业务流量作为了目标业务流量,因而该目标业务流量是SLA指示的业务质量较低的、调度便利程度较高的一种业务流量。调度器主要针对此种目标业务流量进行调度,即使由于调度而导致目标业务流量的实际业务质量降低,也会由于目标业务流量的SLA指示的业务质量本身就较低,而使得实际业务质量仍然能够大于或等于SLA指示的业务质量,从而保证目标业务流量的实际业务质量满足SLA指示的业务质量。并且,针对此种目标业务流量的调度也较为灵活、方便。
在另一些实施方式中,响应于存在至少两个优先级最低的业务流量,调度器基于至少一个优先级最低的业务流量确定目标业务流量,包括:调度器将至少两个优先级最低的业务流量中数据量大于数据量阈值的业务流量确定为目标业务流量。
在此种实施方式中,除了能够保证目标业务流量的实际业务质量满足SLA指示的业务质量,以及能够使得针对目标业务流量的调度较为灵活、方便之外,还能够保证目标业务流量是数据量较大的业务流量,或者说目标业务流量是流量占比较大的业务流量。由于目标业务流量的数据量较大,因而调度器能够对目标业务流量进行较大幅度的调度,比如使得目标业务流量在第一节点和第二节点上占用的带宽发生较大的改变,从而提供足量的调度空间。示例性地,数据量大于数据量阈值的业务流量,可以是数据量最大的业务流量。
当然,除了按照上述的说明,基于至少一个优先级最低的业务流量确定目标业务流量之外,还可以将优先级非最低且优先级非最高的业务流量确定为目标业务流量。此种方式也有较大的概率使得目标业务流量的实际业务质量满足SLA指示的业务质量,且针对此种目标业务流量的调度也较为灵活、方便。比如,第一节点上存在10种业务流量,优先级分别为一级至十级,一级为最高的优先级,十级为最低的优先级。则除了按照上述的说明将优先级为十级的业务流量确定为目标业务流量之外,也可以将优先级为七级、八级或者九级的业务流量等等确定为目标业务流量。
以上,对确定目标业务流量的方式进行了说明。在本申请实施例中,可以针对每个传输方向分别确定至少一个目标业务流量。比如,在传输方向为下行的各个业务流量中,确定传输方向为下行的一个目标业务流量,并在传输方向为上行的各个业务流量中,确定传输方向为上行的一个目标业务流量。
步骤203,调度器基于至少两个业务流量在第一节点上占用的带宽,调整第一节点和第二节点与终端交互目标业务流量的比例。
由于步骤201中调度器获取了至少两个业务流量在第一节点上占用的带宽,而步骤202中调度器确定了目标业务流量,因而调度器可以基于获取的带宽,调整第一节点和第二节点与终端交互目标业务流量的比例。该第二节点可以为CDN中的任意一个边缘节点。例如,该第二节点可以为CDN中与第一节点绑定的边缘节点,第一节点和第二节点之间的绑定关系可以根据实际需求进行配置,在此不作限定。通过调整该比例,可以使得目标业务流量在第一节点上占用的带宽发生改变,也即是,限制了目标业务流量在第一节点上占用的实际带宽。另外,目标业务流量在第二节点上占用的带宽也发生改变。
其中,如果该比例降低,则说明第一节点与终端交互的目标业务流量减少,目标业务流量在第一节点上占用的带宽减少,而第二节点与终端交互的目标业务流量增加,目标业务流量在第二节点上占用的带宽增加,也就相当于将目标业务流量由第一节点调度至第二节点。示例性地,在降低该比例之前目标业务流量在第二节点上占用的带宽可以为零,也即是在降低比例之前,第二节点可以不与终端交互业务流量。当然,在降低该比例之前,目标业务流量在第二节点上占用的带宽也可以不为零,在此不作限定。
比如,在调整该比例之前,位于A地的20个终端、位于B地的30个终端均与第一节点交互目标业务流量,而位于C地的50个终端则与第二节点交互目标业务流量,那么在调整该比例之前,第一节点和第二节点与终端交互目标业务流量的比例为50:50。而在降低该比例之后,位于A地的20个终端改为与第二节点交互目标业务流量,那么在降低该比例之后,第一节点和第二节点与终端交互目标业务流量的比例为30:70。
或者,如果该比例增加,则说明第一节点与终端交互的目标业务流量增加,目标业务流量在第一节点上占用的带宽增加,而第二节点与终端交互的目标业务流量较少,目标业务流量在第二节点上占用的带宽减少,也就相当于将一部分目标业务流量由第二节点调度至第一节点。此种情况不再举例赘述。
在示例性实施例中,调度器基于至少两个业务流量在第一节点上占用的带宽,调整第一节点和第二节点与终端交互目标业务流量的比例,包括:调度器确定至少两个业务流量在第一节点上占用的带宽的带宽之和;调度器基于带宽之和,确定比例调整方式;调度器按照比例调整方式,调整第一节点和第二节点与终端交互目标业务流量的比例。
其中,调度器在获取到至少两个业务流量在第一节点上占用的带宽之后,对获取的带宽进行求和,即可得到带宽之和。接着,便可以基于带宽之和确定比例调整方式,该比例调整方式可以用于指示降低比例,也可以用于指示提高比例。然后,按照比例调整方式,即可实现调整第一节点和第二节点与终端交互目标业务流量的比例。
示例性地,调度器基于带宽之和,确定比例调整方式,包括但不限于如下的确定方式B1至确定方式B3。
确定方式B1,响应于带宽之和满足第一条件,调度器确定比例调整方式为降低第一节点和第二节点与终端交互目标业务流量的比例,使得目标业务流量在第一节点上占用的带宽减少带宽调度量,且目标业务流量在第二节点上占用的带宽增加带宽调度量。
其中,第一条件用于指示第一节点处于业务流量的高峰期、带宽不足,因而比例调整方式用于指示降低比例,使得目标业务流量在第一节点上占用的带宽减少,以缓解第一节点的带宽压力。
在一些实施方式中,响应于带宽之和大于第一带宽阈值,确定带宽之和满足第一条件,该第一带宽阈值可以根据经验或者实际需求设置,在此不作限定。例如,对于一个业务流量而言,确定该业务流量的实际业务质量满足该业务流量的SLA指示的业务质量时所需要的参考带宽,也即是能够满足用户要求、能够保证用户体验时所需要的参考带宽,将至少两个业务流量的第一参考带宽之和作为第一带宽阈值。则,当带宽之和大于第一带宽阈值时,说明可能存在实际业务质量不满足SLA指示的业务质量的业务流量,用户体验受到影响,进而说明第一节点处于业务流量的高峰期、带宽不足。
在另一些实施方式中,响应于带宽之和对应的带宽成本大于第一成本阈值,确定带宽之和满足第一条件,该第一成本阈值可以根据经验或者实际需求设置,在此不作限定。例如,可以将上述至少两个业务流量的第一参考带宽之和对应的带宽成本作为第一成本阈值。
无论是带宽之和对应的带宽成本,还是第一参考带宽之和对应的带宽成本,均需要基于一定的计费模式确定,该计费模式包括但不限于百分之95(percent 95,P95)计费。以确定带宽之和对应的带宽成本为例,说明P95计费的过程。其中,按照一定的采集频率,比如每5分钟一次,采集第一节点在一段时间内的多个带宽之和,按照降序方式排列多个带宽之和,得到序列。在该序列中,前5%的带宽之和不进行计费,在其余的95%的带宽之和中,将最大的一个带宽之和对应的费用,确定为第一节点在该段时间内的带宽之和对应的带宽成本。
参见图4,至少两个业务流量包括目标业务流量和第一业务流量,第一业务流量也即是至少两个业务流量中除目标业务流量之外的业务流量。在至少两个业务流量在第一节点上占用的带宽的带宽之和满足第一条件的情况下,调度器需要按照比例调度方式,降低第一节点和第二节点与终端交互目标业务流量的比例,将目标业务流量由第一节点调度至第二节点,使得目标业务流量在第一节点上占用的带宽减少带宽调度量,目标业务流量在第二节点上占用的带宽增加该带宽调度量。在图4中,实线代表调度之前的目标业务流量,虚线代表调度之后的目标业务流量,箭头代表调度方向。
示例性地,图4所示的情况是将目标业务流量由第一节点调度至一个第二节点的情况,除了图4所示的情况之外,也可以将目标业务流量由第一节点调度至两个以上的第二节点。则目标业务流量在第二节点上占用的带宽增加该带宽调度量,是指目标业务流量在两个以上的第二节点上占用的带宽的增加量之和为该带宽调度量。
应理解的是,在调度器降低比例之前,需要确定该带宽调度量。在一些实施方式中,该带宽调度量的取值为默认数值,该默认数值可以通过配置得到,在此不作限定。在另一些实施方式中,调度器通过计算得到该带宽调度量,参见如下说明。
示例性地,对于带宽之和大于第一带宽阈值,则确定带宽之和满足第一条件的情况,该带宽调度量基于带宽之和、第一带宽阈值和第二节点的带宽使用情况确定。可选地,一个第二节点的带宽使用情况用于指示该第二节点上是否有可以占用的带宽。如果一个第二节点的带宽使用情况指示该第二节点上有可以占用的带宽,调度器将第二节点作为备选第二节点。
接着,调度器确定带宽之和与第一带宽阈值之间的第一差值,将该第一差值作为带宽调度量的最小值,带宽调度量的最小值体现了需要从第一节点上调走多少目标业务流量。调度器还确定各个备选第二节点上可以占用的带宽之和,将该可以占用的带宽之和作为带宽调度量的最大值,带宽调度量的最大值体现了第二节点可以接纳多少目标业务流量。然后,调度器从带宽调度量的最小值和带宽调度量的最大值之间,根据实际情况选择一个数值作为带宽调度量即可。调度器按照此种带宽调度量降低比例,能够在调度完成之后,使得该至少两个业务流量在第一节点上占用的带宽的带宽之和小于第一带宽阈值。
可选地,调度器计算第二节点上的各个业务流量占用的带宽的第二参考带宽之和,并按照P95计费的计费模式,确定出第二节点上用于计费的一个带宽值,该带宽值为不需要计费的5%与需要计费的95%之间的分界点,则当第二参考带宽之和小于该带宽值时则需要计费,当第二参考带宽之和大于该带宽值时不需要计费。
如果第二参考带宽之和小于该带宽值,且带宽值与第二参考带宽之和的差值大于第一参考阈值,认为该第二节点上有可以占用的带宽,该第二节点属于备选第二节点,且可以占用的带宽即为带宽值与第二参考带宽之和的差值。
或者,如果第二参考带宽之和大于该带宽值,则无论在第二参考带宽之和的基础上增加多少带宽,均属于不需要计费的范畴,因而认为该第二节点上有可以占用的带宽,该第二节点属于备选第二节点,且可以占用的带宽为无限大。
示例性地,对于带宽之和对应的带宽成本大于第一成本阈值,则确定带宽之和满足第一条件的情况,该带宽调度量基于所述带宽之和对应的带宽成本、第一成本阈值和第二节点的带宽成本使用情况确定。可选地,一个第二节点的成本使用情况用于指示该第二节点上是否有可以使用的带宽成本。如果一个第二节点的成本使用情况指示该第二节点上有可以使用的带宽成本,调度器将第二节点作为备选第二节点,一个备选第二节点上可以占用的带宽为该可以使用的带宽成本对应的带宽。
调度器可以确定带宽之和对应的带宽成本与第一成本阈值之间的第二差值,将第二差值对应的带宽作为带宽调度量的最小值,将各个备选第二节点上可以占用的带宽之和作为带宽调度量的最大值,从而在带宽调度量的最小值和带宽调度量的最大值之间选择得到带宽调度量。调度器按照此种带宽调度量降低比例,能够在调度完成之后,使得该至少两个业务流量在第一节点上占用的带宽的带宽之和对应的带宽成本小于第一成本阈值。
在示例性实施例中,对于确定方式B1,方法还可以包括:增加第一业务流量在第一节点上占用的带宽,所增加的带宽小于或等于带宽调度量。根据上文图4对应的说明可知,该第一业务流量为至少两个业务流量中除目标业务流量之外的业务流量。
其中,由于调度器在减少目标业务流量在第一节点上占用的带宽之后,又增加了第一业务流量在第一节点上占用的带宽,因而相当于目标业务流量向第一业务流量退让了带宽。由此,可以降低第一节点与终端交互该第一业务流量的时延,提高第一业务流量的实际业务质量,有利于保证第一业务流量的实际业务质量满足第一业务流量的SLA指示的业务质量,能够提升用户的体验。另外,由于所增加的带宽小于或等于带宽调度量,因而在增加第一业务流量在第一节点上占用的带宽之后,目标业务流量占用的带宽与第一业务流量占用的带宽的带宽之和可以不超过第一带宽阈值,或是带宽之和对应的成本不超过第一成本阈值。
确定方式B2,响应于带宽之和满足第二条件,调度器确定比例调整方式为提高第一节点和第二节点与终端交互目标业务流量的比例,使得目标业务流量在第一节点上占用的带宽增加带宽调度量,且目标业务流量在第二节点上占用的带宽减少带宽调度量。
其中,第二条件用于指示第一节点处于业务流量的低谷期、带宽富余,因而比例调整方式用于指示提高比例,使得目标业务流量在第一节点上占用的带宽增加,以使得第一节点上富余的带宽能够充分复用。由此,在第一节点上实现了削峰填谷,谷即代表第一节点上的富余的带宽。
在一些实施方式中,响应于带宽之和小于或等于第二带宽阈值,确定带宽之和满足第二条件,该第二带宽阈值小于或等于上文确定方式B1中说明的第一带宽阈值,该第二带宽阈值可以根据经验或者实际需求设置,在此不作限定。
在另一些实施方式中,响应于带宽之和对应的带宽成本小于或等于第二成本阈值,确定带宽之和满足第二条件,计算带宽之和对应的带宽成本的方式可以参见上文确定方式B1中的说明,此处不再赘述。其中,该第二成本阈值小于或等于上文确定方式B1中说明的第一成本阈值,该第二成本阈值可以根据经验或者实际需求设置,在此不作限定。
参见图5,至少两个业务流量包括目标业务流量和第一业务流量,第一业务流量也即是至少两个业务流量中除目标业务流量之外的业务流量。在至少两个业务流量在第一节点上占用的带宽的带宽之和满足第二条件的情况下,调度器需要按照比例调度方式,提高第一节点和第二节点与终端交互目标业务流量的比例,将目标业务流量由第二节点调度至第一节点,使得目标业务流量在第一节点上占用的带宽增加带宽调度量,目标业务流量在第二节点上占用的带宽减少该带宽调度量。在图5中,实线代表调度之前的目标业务流量,虚线代表调度之后的目标业务流量,箭头代表调度方向。
示例性地,图5所示的情况是将目标业务流量由一个第二节点调度至第一节点的情况,除了图5所示的情况之外,也可以将目标业务流量由两个以上的第二节点分别调度至第一节点。则目标业务流量在第二节点上占用的带宽减少带宽调度量,是指目标业务流量在两个以上的第二节点上占用的带宽的减少量之和为该带宽调度量。
应理解的是,在调度器提高比例之前,需要确定该带宽调度量。在一些实施方式中,该带宽调度量的取值为默认数值,该默认数值可以通过配置得到,在此不作限定。在另一些实施方式中,调度器通过计算得到该带宽调度量,参见如下说明。
示例性地,对于带宽之和小于或等于第二带宽阈值,则确定带宽之和满足第二条件的情况,该带宽调度量基于带宽之和、第一带宽阈值和第二节点的带宽使用情况确定。可选地,一个第二节点的带宽使用情况用于指示该第二节点上是否有占用一定带宽的目标业务流量,如果一个第二节点的带宽使用情况指示该第二节点上有占用一定带宽的目标业务流量,调度器将第二节点作为备选第二节点。
接着,调度器确定第一带宽阈值与带宽之和之间的第三差值,将该第三差值作为带宽调度量的一个取值指标,该一个取值指标体现了第一节点可以接纳多少目标业务流量。调度器还确定各个备选第二节点上目标业务流量所占用的带宽之和,将所占用的带宽之和作为带宽调度量的另一个取值指标,该另一个取值指标体现了第二节点可以调走多少目标业务流量。然后,调度器从将两个取值指标中较小的一个取值指标作为目标取值指标,根据实际情况选择小于或等于该目标取值指标的一个数值作为带宽调度量即可。调度器按照此种带宽调度量提高比例,能够在调度完成之后,使得该至少两个业务流量在第一节点上占用的带宽的带宽之和大于第二带宽阈值,且小于第一带宽阈值。
示例性地,对于带宽之和对应的带宽成本小于或等于第二成本阈值,则确定带宽之和满足第二条件的情况,该带宽调度量基于所述带宽之和对应的带宽成本、第一成本阈值和第二节点的带宽成本使用情况确定。可选地,一个第二节点的成本使用情况用于指示该第二节点上是否有使用一定带宽成本的目标业务流量。如果一个第二节点的成本使用情况指示该第二节点上有使用一定带宽成本的目标业务流量,调度器将第二节点作为备选第二节点。
调度器可以确定第一成本阈值与带宽之和对应的带宽成本之间的第四差值,将第四差值对应的带宽作为带宽调度量的一个取值指标,将各个备选第二节点上目标业务流量使用的带宽成本对应的带宽之和对应的带宽作为带宽调度量的另一个取值指标,然后,调度器从将两个取值指标中较小的一个取值指标作为目标取值指标,根据实际情况选择小于或等于该目标取值指标的一个数值作为带宽调度量即可。调度器按照此种带宽调度量提高比例,能够在调度完成后,使得该至少两个业务流量在第一节点上占用的带宽的带宽之和对应的带宽成本大于第二成本阈值,且小于第一成本阈值。
以上的确定方式B1是降低比例的方式,以上的确定方式B2是提高比例的方式,应理解的是,第一节点和第二节点与终端交互目标业务流量的比例,也可以是保持不变的。比如,确定至少两个业务流量在第一节点上占用的带宽的带宽之和,如果该带宽之和位于第一带宽阈值与第二带宽阈值之间,则说明虽然第一节点上有富余的带宽,但富余的带宽较少,因而可以不对目标业务流量进行调度,从而保持比例不变。又比如,如果该带宽之和对应的带宽成本位于第一成本阈值与第二成本阈值之间,则说明第一节点上有富余的带宽成本,但富余的带宽成本较少,进而说明第一节点上富余的带宽也较少,则也可以保持比例不变。基于此,参见图6和图7,图6和图7分别为一种流量调度方法的流程示意图。
在图6中,规划第一带宽阈值和第二带宽阈值,并针对第一节点进行业务流量的监控。如果至少两个业务流量在第一节点上占用的带宽的带宽之和大于第一带宽阈值,则降低比例,即降低目标业务流量在第一节点上占用的带宽。如果该带宽之和不大于第一带宽阈值,且小于第二带宽阈值,则提高比例,即提高目标业务流量在第一节点上占用的带宽。如果该带宽之和不大于第一带宽阈值,但大于第二带宽阈值,则保持比例不变,则目标业务流量在第一节点上占用的带宽也不改变。由此,可以完成一次业务流量的调度。
在图7中,规划第一成本阈值和第二成本阈值,并针对第一节点进行业务流量的监控。如果带宽之和对应的带宽成本大于第一成本阈值,则降低比例,即降低目标业务流量在第一节点上占用的带宽。如果该带宽之和对应的带宽成本不大于第一成本阈值,且小于第二成本阈值,则提高比例,即提高目标业务流量在第一节点上占用的带宽。如果该带宽之和对应的带宽成本不大于第一成本阈值,但大于第二成本阈值,则保持比例不变,则目标业务流量在第一节点上占用的带宽也不改变。由此,可以完成一次业务流量的调度。
确定方式B3,响应于带宽之和不同于第一节点上的第二业务流量占用的带宽,调度器确定比例调整方式。
其中,至少两个业务流量的传输方向与第二业务流量的传输方向不同。比如,至少两个业务流量的传输方向为上行,而第二业务流量的传输方向为下行。又比如,至少两个业务流量的传输方向为下行,而第二业务流量的传输方向为上行。因此,在带宽之和不同于第一节点上的第二业务流量占用的带宽时,说明在第一节点上,不同传输方向的业务流量占用的带宽不同。比如,参见图8,图8示出了不同传输方向的业务流量占用的带宽不同的示意图。
因此,调度器可以通过调整比例,来改变目标业务流量在第一节点上占用的带宽,从而使得不同传输方向的业务流量占用的带宽相同,或是缩小不同传输方向的业务流量占用的带宽之间的差距。示例性地,比例调整方式基于带宽之和、第一节点上的第二业务流量占用的带宽和第二节点的带宽使用情况确定。
如果带宽之和大于第二业务流量在第一节点上占用的带宽,那么可以降低比例,以减少目标业务流量在第一节点上占用的带宽,则带宽之和也有所减小。另外,调度器可以确定带宽之和与第二业务流量在第一节点上占用的带宽之间的第五差值,将第五差值作为带宽调度量,从而按照该带宽调度量降低比例。
或者,如果带宽之和小于第二业务流量在第一节点上占用的带宽,那么可以提高比例,以增加目标业务流量在第一节点上占用的带宽,则带宽之和也有所增加。另外,调度器可以确定第二业务流量在第一节点上占用的带宽与带宽之和之间的第六差值,将第六差值作为带宽调度量,按照带宽调度量提高比例。
以上,通过确定方式B1至确定方式B3,对调度器基于带宽之和,确定比例调度方式的过程进行了说明。下面,继续对调度器按照比例调整方式,调整第一节点和第二节点与终端交互目标业务流量的比例的过程进行说明。示例性地,调度器按照比例调整方式,调整第一节点和第二节点与终端交互目标业务流量的比例,包括:调度器按照比例调度方式确定目标节点对应的调度信息,向目标节点发送调度信息,调度信息和目标节点用于实现调整第一节点和第二节点与终端交互目标业务流量的比例。
其中,参见图9,调度器可以包括调度感知器、调度决策器和调度执行器。调度感知器用于感知至少两个业务流量在第一节点上占用的带宽,向调度决策器发送感知的带宽。调度感知器还可以用于感知第二节点上的各个业务流量占用的带宽并向调度决策器发送。感知过程可参见步骤201中的说明。调度决策器用于基于SLA和连接类型中的至少一种信息确定各个业务流量的优先级,确定过程可参见步骤201中的说明。调度决策器还用于基于各个业务流量的优先级确定目标业务流量,确定过程可参见步骤202中的说明。调度决策器还用于按照调度感知器发送的带宽确定比例调整方式,确定过程可以参见步骤203中的上述说明。由此,调度决策器可以按照比例调整方式确定目标节点对应的调度策略,再向调度执行器发送调度策略。比如,该调度策略包括但不限于:将百分之多少的目标业务流量由一个节点调度至另一个节点,或者,将多少带宽调度量的目标业务流量由一个节点调度至另一个节点。之后,调度执行器用于基于调度策略生成调度信息,基于调度信息实现针对第一节点和第二节点与终端交互目标业务流量的比例的调整,从而实现目标业务流量的调度。
在一些实施方式中,如果目标业务流量具备自主调度功能,比如目标业务流量对应有自主调度器,则可以调度执行器可以基于调度信息修改该自主调度器的外层参数,来实现目标业务流量的调度。或者,参见图9,调度执行器可以向目标节点下发该调度信息,来实现目标业务流量的调度。示例性地,对于不同的目标节点而言,调度信息也有所不同,则使得基于调度信息和目标节点实现比例调整的方式也不同。在示例性实施例中,调整方式包括但不限于如下的调整方式C1至调整方式C3。
调整方式C1,适用于DNS调度场景。在该调整方式C1中,目标节点为CDN DNS服务器,调度信息为参考域名与IP地址之间的第一对应关系,IP地址指示第一节点或者第二节点。其中,第一对应关系用于CDN DNS服务器基于终端发送的参考域名向终端返回参考域名对应的IP地址,IP地址用于终端向IP地址指示的节点发送交互请求,以交互该目标业务流量。
DNS调度场景可以参见图10,该DNS调度场景包括但不限于终端、安装有权威DNS的权威DNS服务器、与CDN相对应的CDN DNS服务器、CDN中的边缘节点、源服务器和调度器。终端包括应用程序和本地域名系统(local DNS,LDNS)。边缘节点包括但不限于第一节点和第二节点,第一节点的IP地址为IP A,第二节点的IP地址为IP B。其中,终端分别与权威DNS服务器、CDN DNS服务器和边缘节点连接,边缘节点还与源服务器和调度器连接,调度器还与CDN DNS服务器连接。
当终端的用户针对应用程序输入一个域名时,应用程序接收终端的用户输入的域名。应用程序向LDNS发送域名,LDNS确定域名对应的IP地址,向应用程序返回域名对应的IP地址,LDNS确定域名对应的IP地址的过程,也称为对域名的解析过程。由此,使得终端可以通过应用程序向域名对应的IP地址指示的边缘节点发送交互请求,该交互请求携带域名,从而使得终端与IP地址指示的边缘节点交互域名对应的目标业务流量。比如,应用程序为一个浏览器,域名为一个网页,如xxx.com,域名对应的目标业务流量为需要显示于该网页中的内容。
在LDNS确定域名对应的IP地址的过程中,LDNS先向权威DNS服务器发送域名。权威DNS服务器存储有规范名字(canonical name,CNAME),该CNAME为域名与参考域名之间的对应关系。例如,域名为xxx.com时,参考域名可以为xxx.com.dns.cn。权威DNS服务器接收到域名之后,基于域名查询CNAME,得到域名对应的参考域名,向LDNS返回参考域名。
接着,LDNS接收参考域名,基于参考域名查询域名服务器(name server,NS)记录,得到参考域名对应的CDN DNS服务器。LDNS向CDN DNS服务器发送参考域名和终端本地的IP地址,终端本地的IP地址指示终端所处的位置。CDN DNS服务器存储有参考域名与IP地址之间的对应关系。CDN DNS服务器接收到参考域名和终端本地的IP地址之后,基于参考域名查询参考域名与IP地址之间的对应关系,得到参考域名对应的所有IP地址,每个IP地址指示一个边缘节点。然后,CDN DNS服务器在所有IP地址中,基于终端本地的IP地址选择一个IP地址,向LDNS返回所选择的IP地址。其中,所选择的IP地址指示的边缘节点,是CDN DNS服务器对应的CDN包括的各个边缘节点中,与终端所处的位置距离最近的一个边缘节点。在LDNS接收到CDN DNS服务器发送的IP地址之后,将接收到的IP地址作为域名对应的IP地址。
在LDNS确定域名对应的IP地址之后,除了向应用程序返回域名对应的IP地址之外,该LDNS还会缓存域名与IP地址之间的对应关系。如果该LDNS在M时刻向CDN DNS服务器发送参考域名和终端本地的IP地址,并缓存了域名与IP地址之间的对应关系,那么该对应关系的缓存起始时间为M时刻,缓存结束时间为N时刻,N时刻晚于M时刻。该对应关系的缓存持续时间为△T1,△T1为N时刻与M时刻之间的差值。
在M时刻至N时刻之间,如果LDNS再次接收到了应用程序发送的同一个域名,则LDNS无需再向权威DNS服务器发送域名,而是可以直接查询已缓存的对应关系,将命中的对应关系包括的IP地址作为域名对应的IP地址,返回至该应用程序。而在N时刻之后,由于该对应关系被删除,即使LDNS再次接收到了应用程序发送的同一个域名,LDNS也需要再向权威DNS服务器发送域名,以获取域名对应的IP地址,并重新缓存一个对应关系。
在调度目标业务流量之前,作为目标节点的CDN DNS服务器存储的参考域名与IP地址之间的对应关系,是旧的对应关系。在调度目标业务流量时,由于调度器向CDN DNS服务器发送了调度信息,即参考域名与IP地址之间的第一对应关系,因而CDN DNS服务器存储的参考域名与IP地址之间的对应关系,会由旧的对应关系转变为新的对应关系。
示例性地,如果CDN DNS服务器在X时刻接收到了调度器发送的第一对应关系,那么CDN DNS服务器会在Y时刻将旧的对应关系统一转变为新的对应关系,以从Y时刻开始实现目标业务流量的调度。Y时刻晚于X时刻,Y时刻与X时刻之间的差值为△T2,该△T2大于或等于△T1。对于LDNS向CDN DNS服务器发送参考域名和终端本地的IP地址的M时刻,与X时刻、Y时刻之间的关系,存在着如下三种情况。
情况一,M时刻早于X时刻。由于在M时刻CDN DNS服务器还未接收到调度器发送的第一对应关系,或者说CDN DNS服务器不知道需要进行目标业务流量的调度,因而CDN DNS服务器按照旧的对应关系,确定并返回用于指示一个边缘节点的IP地址,将该IP地址称为旧的IP地址。则,LDNS按照缓存持续时间△T1,缓存域名与旧的IP地址之间的对应关系,此种对应关系的缓存起始时间为M时刻,缓存结束时间为N时刻,也即是此种对应关系在N时刻被清除。由于M时刻早于X时刻,且△T2大于或等于△T1,因而N时刻不会晚于Y时刻。
情况二,M时刻位于X时刻与Y时刻之间。虽然在M时刻CDN DNS服务器已经接收了调度器发送的第一对应关系,但由于还未到达Y时刻,因而CDN DNS服务器仍然按照旧的对应关系,确定并返回旧的IP地址。此外,CDN DNS服务器还返回一个特殊的缓存持续时间△T3,该△T3小于缓存持续时间△T1。则,LDNS按照特殊的缓存持续时间△T3,缓存域名与旧的IP地址之间的对应关系,此种对应关系的缓存起始时刻为M时刻,缓存结束时刻为N’时刻,也即是此种对应关系在N’时刻被清除,N’时刻与M时刻之间的差值为△T3。其中,CDN DNS服务器会限制△T3的取值,以保证N’时刻早于或等于Y时刻。
情况三,M时刻晚于Y时刻。由于在M时刻CDN DNS服务器已经接收了调度器发送的第一对应关系,且已经到达了Y时刻,因而CDN DNS服务器按照新的对应关系,确定并返回用于指示一个边缘节点的IP地址,将该IP地址称为新的IP地址。则,LDNS按照缓存持续时间△T1,缓存域名与新的IP地址之间的对应关系。
根据这三种情况可知,LDNS在Y时刻之前缓存域名与旧的IP地址之间的对应关系,因而LDNS在接收到应用程序发送的域名之后,向应用程序返回的是旧的IP地址,则应用程序所在的终端,会与旧的IP地址指示的旧边缘节点交互域名对应的目标业务流量。而LDNS在Y时刻之后缓存域名与新的IP地址之间的对应关系,因而LDNS在接收到应用程序发送的域名之后,向应用程序返回的是新的IP地址,则应用程序所在的终端,与新的IP地址指示的新边缘节点交互域名对应的目标业务流量。由此,实现了从Y时刻开始将目标业务流量由旧边缘节点调度至新边缘节点,也即是实现了从Y时刻开始的目标业务流量的调度。
参见图10,以降低第一节点和第二节点与终端交互目标业务流量的比例,即将目标业务流量由第一节点调度至第二节点为例,说明DNS调度场景下的流量调度过程。
在进行目标业务流量的调度之前,CDN DNS服务器存储的旧的对应关系为:目标业务流量对应的域名所对应的参考域名,与IP A相对应。那么LDNS从CDN DNS服务器获取的旧的IP地址为IP A,则终端向IP A指示的第一节点发送携带有域名的交互请求,则终端与第一节点交互域名对应的目标业务流量。在进行目标业务流量的调度时,调度器向CDN DNS服务器发送了第一对应关系,该第一对应关系为:目标业务流量对应的域名所对应的参考域名,与IP B相对应,CDN DNS服务器将该第一对应关系作为新的对应关系。在进行目标业务流量的调度之后,LDNS从CDN DNS服务器获取的新的IP地址为IP B,因而终端向IP B指示的第二节点发送携带有域名的交互请求,终端与第二节点交互目标业务流量,而不再与第一节点交互目标业务流量,从而实现将目标业务流量由第一节点调度至第二节点。
调整方式C2,适用于302调度场景。在该调整方式C2中,目标节点为第一节点和第二节点,调度信息为交互请求与IP地址之间的第二对应关系,IP地址指示第一节点或者第二节点。其中,第二对应关系用于目标节点在接收到终端发送的交互请求之后,响应于基于第二对应关系确定交互请求对应的IP地址指示的节点为当前节点,则与终端交互目标业务流量,或者,响应于基于第二对应关系确定交互请求对应的IP地址指示的节点非当前节点,则向终端返回交互请求对应的IP地址,IP地址用于终端向IP地址指示的节点发送交互请求,以交互目标业务流量。
302调度场景可以参见图11,该302调度场景包括但不限于:终端、安装有权威DNS的权威DNS服务器、与CDN相对应的CDN DNS服务器、CDN中的边缘节点、源服务器和调度器。终端包括应用程序和本地域名系统(local DNS,LDNS)。边缘节点包括第一节点和第二节点,第一节点的IP地址为IP A,第二节点的IP地址为IP B。对于边缘节点所在CDN包括的节点的总数量,在此不作限定。其中,终端分别与权威DNS服务器和CDN DNS服务器连接,终端还与边缘节点连接,边缘节点还与源服务器和调度器连接。
在调度目标业务流量之前,应用程序向LDNS发送域名,LDNS基于该域名,从CDNDNS服务器获得一个旧的IP地址,该旧的IP地址用于指示旧边缘节点,应用程序所在的终端向该旧边缘节点发送交互请求,终端与旧边缘节点交互域名对应的目标业务流量。这一过程可以参见调整方式C2中的说明,在此不作赘述。
在调度目标业务流量时,调度器将交互请求与IP地址之间的第二对应关系,分别发送给各个边缘节点,各个边缘节点分别存储该第二对应关系,该第二对应关系中的交互请求用于交互域名对应的目标业务流量,该第二对应关系中的IP地址为用于指示新边缘节点的新的IP地址。
在调度目标业务流量之后,由于终端暂时未获取新边缘节点的新的IP地址,因而终端仍然按照旧的IP地址,向旧边缘节点发送交互请求。当旧边缘节点接收到交互请求之后,基于交互请求查询第二对应关系,得到交互请求对应的新的IP地址。由于新的IP地址不同于旧边缘节点本身的IP地址,因而旧边缘节点向终端返回交互请求对应的新的IP地址,以及符合通用标准的返回码,返回码用于指示终端访问新的IP地址,使得终端获取到新边缘节点的新的IP地址。之后,终端便可以重新按照新的IP地址,向新边缘节点发送交互请求。当新边缘节点接收到交互请求之后,基于交互请求查询第二对应关系,也得到交互请求对应的新的IP地址。由于新的IP地址与新边缘节点本身的IP地址相同,因而新边缘节点可以与终端交互目标业务流量。
参见图12,以降低第一节点和第二节点与终端交互目标业务流量的比例,即将目标业务流量由第一节点调度至第二节点为例,说明302调度场景下的流量调度过程。在调度目标业务流量之前,终端向旧的IP地址,即IP A指示的第一节点发送交互请求,终端与第一节点交互目标业务流量。在调度目标业务流量时,调度器向第一节点和第二节点发送第二对应关系,该第二对应关系为:用于交互目标业务流量的交互请求,对应于IP B。在调度目标业务流量之后,终端先向第一节点发送交互请求,第一节点基于交互请求查询第二对应关系可以得到IP B,由于IP B不同于第一节点的IP A,因而第一节点向终端返回302响应,302响应包括IP B。然后,终端按照IP B向第二节点发送交互请求,第二节点基于交互请求查询第二对应关系也得到IP B,由于IP B与第二节点的IP B相同,因而第二节点可以与终端交互目标业务流量。
参见图13,再以提高第一节点和第二节点与终端交互目标业务流量的比例,即将目标业务流量由第二节点调度至第一节点为例,说明302调度场景下的流量调度过程。在调度目标业务流量之前,终端向旧的IP地址,即IP B指示的第二节点发送交互请求,终端与第二节点交互目标业务流量。在调度目标业务流量时,调度器向第二节点和第一节点发送第二对应关系,该第二对应关系为:用于交互目标业务流量的交互请求,对应于IP A。在调度目标业务流量之后,终端先向第二节点发送交互请求,第二节点基于交互请求查询第一对应关系可以得到IP A,由于IP A不同于第二节点的IP B,因而第二节点向终端返回302响应,该302响应包括IP A。然后,终端按照IP A向第一节点发送交互请求,第一节点基于交互请求查询第一对应关系也得到IP A,由于IP A与第一节点的IP A相同,因而第一节点可以与终端交互目标业务流量。
根据调整方式C1中的说明可知,该交互请求可以携带有域名。另外,图12和图13示出的调度器均包括调度感知器、调度决策器和调度执行器。第一节点、第二节点与调度感知器交互的内容、调度感知器与调度决策器交互的内容、调度决策器和调度执行器交互的内容,均可以参见上文图9对应的说明,在此不作赘述。
调整方式C3,适用于应用层调度场景,目标节点为终端,调度信息为交互请求与IP地址之间的第二对应关系,IP地址指示第一节点或者第二节点,第二对应关系用于终端确定交互请求对应的IP地址,向IP地址指示的节点发送交互请求,以交互目标业务流量。
应用层调度场景可以参见图14,该应用层场景包括但不限于终端、对应CDN的应用层服务器、CDN中的边缘节点、源服务器和调度器。终端包括应用程序和应用层组件。边缘节点包括但不限于第一节点和第二节点,第一节点的IP地址为IP A,第二节点的IP地址为IPB。其中,终端分别与应用层服务器、边缘节点和调度器连接,边缘节点还与源服务器和调度器连接。此外,调度器和应用层服务器可以集成于同一个设备,或者,调度器和应用层服务器为相连的两个不同设备。调度器可以将向终端下发的第二对应关系,同步给应用层服务器。
在调度目标业务流量之前,当终端的用户针对应用程序输入一个域名时,应用程序接收终端的用户输入的域名。应用程序生成域名对应的交互请求,该交互请求携带域名。应用程序向应用层组件发送交互请求,应用层组件确定交互请求对应的IP地址,向应用程序返回交互请求对应的IP地址,该IP地址指示一个边缘节点。由此,使得终端可以通过应用程序向该IP地址指示的边缘节点发送交互请求,从而使得终端能够与该IP地址指示的边缘节点交互域名对应的目标业务流量。
示例性地,该应用层服务器包括但不限于超文本传输协议(hypertext transferprotocol,HTTP)DNS服务器,相应地,该交互请求可以为HTTP请求。
在一些实施方式中,应用层组件存储有交互请求与IP地址之间的对应关系,该对应关系通过应用层组件与应用层服务器的交互得到。则应用层组件接收到应用程序发送的交互请求之后,基于交互请求可以查询并命中对应关系,得到交互请求对应的IP地址,并返回给应用程序。
在另一些实施方式中,应用层未存储有交互请求与IP地址之间的对应关系,则应用层组件接收到应用程序发送的交互请求之后,不能命中对应关系,因而应用层组件需要与应用层服务器交互,得到对应关系。在交互过程中,向应用层服务器发送交互请求和终端本地的IP地址,终端本地的IP地址指示终端所处的位置。应用层服务器基于接收到的交互请求和终端本地的IP地址,确定交互请求对应的IP地址,该IP地址指示的边缘节点是应用层服务器对应的CDN包括的边缘节点中,与终端所处的位置距离最近的一个边缘节点。之后,应用层服务器向应用层组件返回交互请求对应的IP地址,则应用层组件可以将交互请求对应的IP地址返回给应用程序,应用层组件还存储交互请求与IP地址之间的对应关系。
根据以上说明可知,在调度目标业务流量之前,应用层组件存储的交互请求与IP地址之间的对应关系,是应用层组件与应用层服务器交互得到的、旧的对应关系,该旧的对应关系包括旧的IP地址,旧的IP地址指示旧边缘节点,则终端会与旧边缘节点交互目标业务流量。
在调度目标业务流量时,由于调度器向终端下发了第二对应关系,即交互请求与IP地址之间的第二对应关系,因而终端包括的应用层组件将旧的对应关系替换为第二对应关系,得到新的对应关系,该新的对应关系包括新的IP地址,新的IP地址指示新边缘节点。在调度目标业务流量之后,当终端向应用层组件发送交互请求时,应用层组件会基于交互请求查询新的对应关系,从而向应用程序返回新的IP地址,则终端会与新边缘节点交互目标业务流量。示例性地,调度器可以基于应用层组件灵活地选择向终端下发第二对应关系的方式,在此不对调度器向终端下发第二对应关系的方式进行限定。
参见图14,以降低第一节点和第二节点与终端交互目标业务流量的比例,即将目标业务流量由第一节点调度至第二节点为例,说明应用层调度场景下的流量调度过程。
在进行目标业务流量的调度之前,应用层组件存储的旧的对应关系为:域名对应的交互请求,与IP A相对应。如果应用层组件接收到应用程序发送的交互请求,那么应用层组件向应用程序返回的IP地址为IP A,则终端向IP A指示的第一节点发送携带交互请求,终端与第一节点交互目标业务流量。在进行目标业务流量的调度时,调度器向应用层组件发送了第二对应关系,该第二对应关系为:域名对应的交互请求,与IP B相对应,应用层组件将该第二对应关系作为新的对应关系。在进行目标业务流量的调度之后,如果应用层组件接收到应用程序发送的交互请求,那么应用层组件向应用程序返回的IP地址为IP B,因而终端向IP B指示的第二节点发送携带有交互请求,终端与第二节点交互目标业务流量,而不再与第一节点交互目标业务流量,从而实现将目标业务流量由第一节点调度至第二节点。
以上,针对步骤201至步骤203进行了说明。除了这些步骤之外,本申请实施例提供的流量调度方法还包括一些其他的步骤,参见如下说明。
在示例性实施例中,调度器基于至少两个业务流量在第一节点上占用的带宽,调整第一节点和第二节点与终端交互目标业务流量的比例之后,方法还包括:响应于调整后的比例使得目标业务流量在第一节点上占用的带宽为零,且第一业务流量的业务质量低于第一业务流量的SLA指示的业务质量,调度器进行告警,第一业务流量为至少两个业务流量中除目标业务流量之外的业务流量。
参见图6和图7,在完成目标业务流量的调度之后,也即是调整比例之后,如果调整后的比例使得目标业务流量在第一节点上占用的带宽为零,则说明第一节点上已经不存在目标业务流量,如果此时第一业务流量的实际业务质量仍然无法满足第一业务流量的SLA指示的业务指令,则可能是存在异常情况,因而需要告警。
比如,异常情况是业务流量的分配存在问题,或者说,第一节点上分配了过多的业务流量。则调度器进行告警,可以提示对业务流量进行重新分配,如将第一节点上的第一业务流量的一部分调度至第二节点。又比如,异常情况是第一节点的带宽配置存在问题,或者说,第一节点能够提供的带宽较少。那么,调度器进行告警,可以提示对第一节点重新进行带宽配置,如增加第一节点能够提供的带宽。再比如,异常情况是第一业务流量存在预期外的突增,需要进行调节。相应地,调度器进行告警,可以是提示分析第一业务流量发生突增的原因,并基于分析得到的原因调节第一业务流量。
在示例性实施例中,调度器基于至少两个业务流量在第一节点上占用的带宽,调整第一节点和第二节点与终端交互目标业务流量的比例之前,方法还包括:调度器向第一节点发送至少两个业务流量的优先级,至少两个业务流量的优先级用于第一节点配置至少两个队列,通过至少两个队列处理至少两个业务流量,对于至少两个业务流量中的任意一个业务流量,任意一个业务流量的优先级与用于处理任意一个业务流量的队列的优先级相匹配。
在第一节点上,各个业务流量占用的带宽可能发生突增,此种突增具有不确定性,往往难以预测到。并且,对目标业务流量的调度可能需要一定时间才生效。因此,本申请实施例可以调度目标业务流量之前,也即是调整比例之前,先通过配置的队列处理业务流量。由此可以实现对业务流量的快速、及时的调度,避免不同优先级的业务流量相互抢占带宽,从而避免业务流量的实际业务流量下降而影响用户体验。
示例性地,第一节点基于至少两个业务流量的优先级配置至少两个队列时,可以使得业务流量的优先级与队列的优先级一一对应。比如,参见图15,当业务流量存在8种不同的优先级时,第一节点也可以配置8个具有不同优先级的队列,即队列1至队列8。相应地,对于至少两个业务流量中的任意一个业务流量,任意一个业务流量的优先级与用于处理任意一个业务流量的队列的优先级相匹配。也即是,如果一个业务流量的优先级越高,则将该业务流量包括的数据包添加至优先级越高的队列,使得该业务流量包括的数据包被越优先的处理,例如通过第一节点的端口被越优先的转发。
其中,各个队列按照优先级由高到低的顺序依次获取令牌桶中的令牌,依赖令牌来处理数据包。该令牌桶是第一节点的内部存储池,第一节点以一定的速率向令牌桶中填充令牌,该令牌代表处理数据包所需的资源。当令牌桶中的令牌的数量达到设定的令牌桶的容量时,可以丢弃多余的令牌。因此,一个队列的优先级越高,便能够越优先的获取到令牌,从而使得被添加至该队列的数据包能够被越优先的处理。
将配置的队列与上述的步骤201至步骤203相配合使用,可以在业务流量突增时,先通过配置的队列快速进行反应,优先保证高优先级的业务流量可以占用足量的带宽,使得高优先级的业务流量的实际业务质量满足SLA的要求。之后,再通过步骤201至步骤203对目标业务流量进行调度,比如将优先级较低的业务流量作为目标业务流量,使得优先级较低的业务流量也能够通过调度而可以占用足量的带宽,那么即使是针对优先级较低的业务流量,也能够保证实际业务质量,使得低优先级的业务流量的实际业务质量也能够满足SLA的要求。
在相关技术中,将一个节点可以提供的带宽,平均分给该节点上的各个业务流量,而不考虑不同业务流量的优先级。比如,参见图16,节点为每个业务流量平均分配了60Mbps的带宽。并且,独立的调度各个业务流量,每个业务流量仅能使用被分配的带宽,即不同业务流量对应的带宽也不能相互复用,一个节点上的不同传输方向的流量占用的带宽之间往往也具有一定的差异,从而导致带宽的复用率较低,带宽成本较高,且调度过程不够灵活。
而在本申请实施例中,明确区分不同业务流量的优先级,基于优先级选择出目标业务流量,并且,全局监控各个业务流量占用的带宽,在需要进行全局协同调度时,通过调整第一节点和第二节点与终端交互目标业务流量的比例,实现目标业务流量的调度。由于在调度过程中考虑了优先级,且进行了全局协同调度,因而不仅有利于提高带宽的复用率,降低带宽成本,而且使得调度过程较为灵活。
另外,本申请实施例中目标业务流量可以为优先级较低、数据量较大的业务流量,此种目标业务流量适于作为用来调度的流量,能够提供足量的调度空间。在带宽不足时,优先级较低的业务流量可以将带宽退让给其他优先级较高的业务流量,从而保证优先级较高的业务流量的SLA被优先满足。在带宽富余时,优先级较低的业务流量可以占用富余的带宽,既不会影响优先级较高的业务流量的SLA,又保证了优先级较低的业务流量的SLA被满足。
以上介绍了本申请实施例提供的流量调度方法,与上述方法对应,本申请实施例还提供了一种流量调度装置。其中,该装置应用于流量调度系统包括的调度器,流量调度系统还包括第一节点、第二节点和终端,第一节点和第二节点用于与终端交互业务流量。该装置用于通过图17所示的各个模块执行上述图2中调度器所执行的流量调度方法。如图17所示,本申请实施例提供的流量调度装置包括如下几个模块。
获取模块1701,用于获取第一节点上的至少两个业务流量的优先级,以及至少两个业务流量在第一节点上占用的带宽,至少两个业务流量的传输方向相同;
确定模块1702,用于基于至少两个业务流量的优先级,在至少两个业务流量中确定目标业务流量;
调整模块1703,用于基于至少两个业务流量在第一节点上占用的带宽,调整第一节点和第二节点与终端交互目标业务流量的比例。
在示例性实施例中,确定模块1702,用于基于至少两个业务流量的优先级,在至少两个业务流量中确定至少一个优先级最低的业务流量;基于至少一个优先级最低的业务流量确定目标业务流量。
在示例性实施例中,确定模块1702,用于响应于存在至少两个优先级最低的业务流量,将至少两个优先级最低的业务流量中数据量大于数据量阈值的业务流量确定为目标业务流量。
在示例性实施例中,优先级基于SLA和连接类型中的至少一种信息确定,SLA用于指示业务质量,优先级与SLA指示的业务质量正相关,优先级与连接类型对应的调度便利程度负相关。
在示例性实施例中,调整模块1703,用于确定至少两个业务流量在第一节点上占用的带宽的带宽之和;基于带宽之和,确定比例调整方式;按照比例调整方式,调整第一节点和第二节点与终端交互目标业务流量的比例。
在示例性实施例中,调整模块1703,用于响应于带宽之和满足第一条件,确定比例调整方式为降低第一节点和第二节点与终端交互目标业务流量的比例,使得目标业务流量在第一节点上占用的带宽减少带宽调度量,且目标业务流量在第二节点上占用的带宽增加带宽调度量;
装置还包括:增加模块,用于增加第一业务流量在第一节点上占用的带宽,第一业务流量为至少两个业务流量中除目标业务流量之外的业务流量,所增加的带宽小于或等于带宽调度量。
在示例性实施例中,调整模块1703,还用于响应于带宽之和大于第一带宽阈值,确定带宽之和满足第一条件;或者,响应于带宽之和对应的带宽成本大于第一成本阈值,确定带宽之和满足第一条件。
在示例性实施例中,调整模块1703,用于响应于带宽之和满足第二条件,确定比例调整方式为提高第一节点和第二节点与终端交互目标业务流量的比例,使得目标业务流量在第一节点上占用的带宽增加带宽调度量,且目标业务流量在第二节点上占用的带宽减少带宽调度量。
在示例性实施例中,调整模块1703,还用于响应于带宽之和小于或等于第二带宽阈值,确定带宽之和满足第二条件,第二带宽阈值小于或等于第一带宽阈值;或者,响应于带宽之和对应的带宽成本小于或等于第二成本阈值,确定带宽之和满足第二条件,第二成本阈值小于或等于第一成本阈值。
在示例性实施例中,带宽调度量基于带宽之和、第一带宽阈值和第二节点的带宽使用情况确定。
在示例性实施例中,带宽调度量基于带宽之和对应的带宽成本、第一成本阈值和第二节点的带宽成本使用情况确定。
在示例性实施例中,调整模块1703,用于响应于带宽之和不同于第一节点上的第二业务流量占用的带宽,确定比例调整方式,至少两个业务流量的传输方向与第二业务流量的传输方向不同。
在示例性实施例中,比例调整方式基于带宽之和、第一节点上的第二业务流量占用的带宽和第二节点的带宽使用情况确定。
在示例性实施例中,调整模块1703,用于按照比例调度方式确定目标节点对应的调度信息,向目标节点发送调度信息,调度信息和目标节点用于实现调整第一节点和第二节点与终端交互目标业务流量的比例。
在示例性实施例中,目标节点为CDN DNS服务器,调度信息为参考域名与IP地址之间的第一对应关系,IP地址指示第一节点或者第二节点;第一对应关系用于CDN DNS服务器基于终端发送的参考域名向终端返回参考域名对应的IP地址,IP地址用于终端向IP地址指示的节点发送交互请求,以交互目标业务流量。
在示例性实施例中,目标节点为第一节点和第二节点,调度信息为交互请求与IP地址之间的第二对应关系,IP地址指示第一节点或者第二节点;第二对应关系用于目标节点在接收到终端发送的交互请求之后,响应于基于第二对应关系确定交互请求对应的IP地址指示的节点为当前节点,则与终端交互目标业务流量,或者,响应于基于第二对应关系确定交互请求对应的IP地址指示的节点非当前节点,则向终端返回交互请求对应的IP地址,IP地址用于终端向IP地址指示的节点发送交互请求,以交互目标业务流量。
在示例性实施例中,目标节点为终端,调度信息为交互请求与IP地址之间的第二对应关系,IP地址指示第一节点或者第二节点;第二对应关系用于终端确定交互请求对应的IP地址,向IP地址指示的节点发送交互请求,以交互目标业务流量。
在示例性实施例中,至少两个业务流量在第一节点上占用的带宽通过检测和预测中的至少一种方式获取得到。
在示例性实施例中,调整模块1703,还用于响应于调整后的比例使得目标业务流量在第一节点上占用的带宽为零,且第一业务流量的业务质量低于第一业务流量的SLA指示的业务质量,进行告警,第一业务流量为至少两个业务流量中除目标业务流量之外的业务流量。
在示例性实施例中,调整模块1703,还用于向第一节点发送至少两个业务流量的优先级,至少两个业务流量的优先级用于第一节点配置至少两个队列,通过至少两个队列处理至少两个业务流量,对于至少两个业务流量中的任意一个业务流量,任意一个业务流量的优先级与用于处理任意一个业务流量的队列的优先级相匹配。
在本申请实施例中,区分不同业务流量的优先级,基于优先级选择出目标业务流量,并且,全局监控各个业务流量占用的带宽,在需要进行全局协同调度时,通过调整第一节点和第二节点与终端交互目标业务流量的比例,实现目标业务流量的调度。由于在调度过程中考虑了优先级,且进行了全局协同调度,因而不仅有利于提高带宽的复用率,降低带宽成本,而且使得调度过程较为灵活。
另外,本申请实施例中目标业务流量可以为优先级较低、数据量较大的业务流量,此种目标业务流量适于作为用来调度的流量,能够提供足量的调度空间。在带宽不足时,优先级较低的业务流量可以将带宽退让给其他优先级较高的业务流量,从而保证优先级较高的业务流量的SLA被优先满足。在带宽富余时,优先级较低的业务流量可以占用富余的带宽,既不会影响优先级较高的业务流量的SLA,又保证了优先级较低的业务流量的SLA被满足。
应理解的是,上述图17提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
参见图18,图18示出了本申请一示例性的流量调度设备1800的结构示意图,该流量调度设备1800包括至少一个处理器1801、存储器1803。
处理器1801例如是通用中央处理器(Central Processing Unit,CPU)、数字信号处理器(digital signal processor,DSP)、网络处理器(network processer,NP)、GPU、神经网络处理器(neural-network processing units,NPU)、数据处理单元(DataProcessing Unit,DPU)、微处理器或者一个或多个用于实现本申请方案的集成电路或专用集成电路(application-specific integrated circuit,ASIC)、可编程逻辑器件(programmable logic device,PLD)、其他通用处理器或者其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件部件或者其任意组合。PLD例如是复杂可编程逻辑器件(complexprogrammable logic device,CPLD)、现场可编程逻辑门阵列(field-programmable gatearray,FPGA)、通用阵列逻辑(generic array logic,GAL)或其任意组合。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是,处理器可以是支持进阶精简指令集机器(advanced RISC machines,ARM)架构的处理器。其可以实现或执行结合本申请公开内容所描述的各种逻辑方框、模块和电路。处理器也可以是实现计算功能的组合,例如包括一个或多个微处理器组合,DSP和微处理器的组合等等。
可选的,流量调度设备1800还包括总线1802。总线1802用于在流量调度设备1800的各组件之间传送信息。总线1802可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。总线1802可以分为地址总线、数据总线、控制总线等。为便于表示,图18中仅用一条线表示,但并不表示仅有一根总线或一种类型的总线。
存储器1803例如是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。
通过示例性但不是限制性说明,许多形式的ROM和RAM可用。例如,ROM为只读光盘(compact disc read-only memory,CD-ROM)。RAM包括但不限于静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic random access memory,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
存储器1803还可以是可存储静态信息和指令的其它类型的存储设备。或者可以是可存储信息和指令的其它类型的动态存储设备。或者可以是其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备,或者是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质,但不限于此。存储器1803例如是独立存在,并通过总线1802与处理器1801相连接。存储器1803也可以和处理器1801集成在一起。
在具体实现中,作为一些实施方式,处理器1801可以包括一个或多个CPU,如图18中所示的CPU0和CPU1。这些处理器中的每一个可以是一个单核处理器,也可以是一个多核处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一些实施方式,流量调度设备1800可以包括多个处理器,如图18中所示的两个处理器1801。这些处理器中的每一个可以是一个单核处理器,也可以是一个多核处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(如计算机程序指令)的处理核。
在一些实施方式中,存储器1803用于存储执行本申请方案的程序指令1804,处理器1801可以执行存储器1803中存储的程序指令1804。也即是,流量调度设备1800可以通过处理器1801以及存储器1803中的程序指令1804,来实现方法实施例提供的方法,即图2所示的流量调度方法。程序指令1804中可以包括一个或多个软件模块。可选地,处理器1801自身也可以存储执行本申请方案的程序指令。
在具体实施过程中,本申请的流量调度设备1800可对应于用于执行上述方法的调度器,流量调度设备1800中的处理器1801读取存储器1803中的指令,使图18所示的流量调度设备1800能够执行方法实施例中的全部或部分步骤。
流量调度设备1800还可以对应于上述图17所示的装置,图17所示的装置中的每个功能模块采用流量调度设备1800的软件实现。换句话说,图17所示的装置包括的功能模块为流量调度设备1800的处理器1801读取存储器1803中存储的程序指令1804后生成的。
其中,图2所示的方法的各步骤通过流量调度设备1800的处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请所公开的方法实施例的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法实施例的步骤,为避免重复,这里不再详细描述。
在示例性实施例中,提供了一种计算机程序(产品),计算机程序(产品)包括:计算机程序代码,当计算机程序代码被计算机运行时,使得计算机执行以上任一示例性的流量调度方法。
在示例性实施例中,提供了一种计算机可读存储介质,计算机可读存储介质存储程序或指令,当程序或指令在计算机上运行时,计算机执行以上任一示例性的流量调度方法。
在示例性实施例中,提供了一种芯片,包括处理器,用于从存储器中调用并运行存储器中存储的指令,使得安装有芯片的计算机执行以上任一示例性的流量调度方法。
在示例性实施例中,提供另一种芯片,包括:输入接口、输出接口、处理器和存储器,输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连,处理器用于执行存储器中的代码,当代码被执行时,安装有芯片的计算机执行以上任一示例性的流量调度方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。还应理解,尽管以下描述使用术语第一、第二等来描述各种元素,但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。
还应理解,在本申请的各个实施例中,各个过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请中术语“至少一个”的含义是指一个或多个,本申请中术语“多个”的含义是指两个或两个以上,例如,多个第二设备是指两个或两个以上的第二设备。本文中术语“系统”和“网络”经常可互换使用。
应理解,在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示例,而并非旨在进行限制。如在对各种所述示例的描述和所附权利要求书中所使用的那样,单数形式“一个(“a”,“an”)”和“该”旨在也包括复数形式,除非上下文另外明确地指示。
还应理解,本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。术语“和/或”,是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本申请中的字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,术语“若”和“如果”可被解释为意指“当...时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地,根据上下文,短语“若确定...”或“若检测到[所陈述的条件或事件]”可被解释为意指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
以上所述仅为本申请的实施例,并不用以限制本申请,凡在本申请的原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (43)

1.一种流量调度方法,其特征在于,所述方法应用于流量调度系统包括的调度器,所述流量调度系统还包括第一节点、第二节点和终端,所述第一节点和所述第二节点用于与所述终端交互业务流量,所述方法包括:
所述调度器获取所述第一节点上的至少两个业务流量的优先级,以及所述至少两个业务流量在所述第一节点上占用的带宽,所述至少两个业务流量的传输方向相同;
所述调度器基于所述至少两个业务流量的优先级,在所述至少两个业务流量中确定目标业务流量;
所述调度器基于所述至少两个业务流量在所述第一节点上占用的带宽,调整所述第一节点和所述第二节点与所述终端交互所述目标业务流量的比例。
2.根据权利要求1所述的方法,其特征在于,所述调度器基于所述至少两个业务流量的优先级,在所述至少两个业务流量中确定目标业务流量,包括:
所述调度器基于所述至少两个业务流量的优先级,在所述至少两个业务流量中确定至少一个优先级最低的业务流量;
所述调度器基于所述至少一个优先级最低的业务流量确定所述目标业务流量。
3.根据权利要求2所述的方法,其特征在于,所述调度器基于所述至少一个优先级最低的业务流量确定所述目标业务流量,包括:
响应于存在至少两个优先级最低的业务流量,所述调度器将所述至少两个优先级最低的业务流量中数据量大于数据量阈值的业务流量确定为所述目标业务流量。
4.根据权利要求1-3任一所述的方法,其特征在于,所述优先级基于服务级别协议SLA和连接类型中的至少一种信息确定,所述SLA用于指示业务质量,所述优先级与所述SLA指示的业务质量正相关,所述优先级与所述连接类型对应的调度便利程度负相关。
5.根据权利要求1-4任一所述的方法,其特征在于,所述调度器基于所述至少两个业务流量在所述第一节点上占用的带宽,调整所述第一节点和所述第二节点与所述终端交互所述目标业务流量的比例,包括:
所述调度器确定所述至少两个业务流量在所述第一节点上占用的带宽的带宽之和;
所述调度器基于所述带宽之和,确定比例调整方式;
所述调度器按照所述比例调整方式,调整所述第一节点和所述第二节点与所述终端交互所述目标业务流量的比例。
6.根据权利要求5所述的方法,其特征在于,所述调度器基于所述带宽之和,确定比例调整方式,包括:
响应于所述带宽之和满足第一条件,所述调度器确定所述比例调整方式为降低所述第一节点和所述第二节点与所述终端交互所述目标业务流量的比例,使得所述目标业务流量在所述第一节点上占用的带宽减少带宽调度量,且所述目标业务流量在所述第二节点上占用的带宽增加所述带宽调度量;
所述方法还包括:
增加第一业务流量在所述第一节点上占用的带宽,所述第一业务流量为所述至少两个业务流量中除所述目标业务流量之外的业务流量,所增加的带宽小于或等于所述带宽调度量。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
响应于所述带宽之和大于第一带宽阈值,确定所述带宽之和满足所述第一条件;
或者,响应于所述带宽之和对应的带宽成本大于第一成本阈值,确定所述带宽之和满足所述第一条件。
8.根据权利要求5所述的方法,其特征在于,所述调度器基于所述带宽之和,确定比例调整方式,包括:
响应于所述带宽之和满足第二条件,所述调度器确定所述比例调整方式为提高所述第一节点和所述第二节点与所述终端交互所述目标业务流量的比例,使得所述目标业务流量在所述第一节点上占用的带宽增加带宽调度量,且所述目标业务流量在所述第二节点上占用的带宽减少所述带宽调度量。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
响应于所述带宽之和小于或等于第二带宽阈值,确定所述带宽之和满足所述第二条件,所述第二带宽阈值小于或等于第一带宽阈值;
或者,响应于所述带宽之和对应的带宽成本小于或等于第二成本阈值,确定所述带宽之和满足所述第二条件,所述第二成本阈值小于或等于第一成本阈值。
10.根据权利要求7或9所述的方法,其特征在于,所述带宽调度量基于所述带宽之和、所述第一带宽阈值和所述第二节点的带宽使用情况确定。
11.根据权利要求7或9所述的方法,其特征在于,所述带宽调度量基于所述带宽之和对应的带宽成本、所述第一成本阈值和所述第二节点的带宽成本使用情况确定。
12.根据权利要求5所述的方法,其特征在于,所述调度器基于所述带宽之和,确定比例调整方式,包括:
响应于所述带宽之和不同于所述第一节点上的第二业务流量占用的带宽,所述调度器确定所述比例调整方式,所述至少两个业务流量的传输方向与所述第二业务流量的传输方向不同。
13.根据权利要求12所述的方法,其特征在于,所述比例调整方式基于所述带宽之和、所述第一节点上的第二业务流量占用的带宽和所述第二节点的带宽使用情况确定。
14.根据权利要求5-13任一所述的方法,其特征在于,所述调度器按照所述比例调整方式,调整所述第一节点和所述第二节点与所述终端交互所述目标业务流量的比例,包括:
所述调度器按照所述比例调度方式确定目标节点对应的调度信息,向所述目标节点发送所述调度信息,所述调度信息和所述目标节点用于实现所述调整所述第一节点和所述第二节点与所述终端交互所述目标业务流量的比例。
15.根据权利要求14所述的方法,其特征在于,所述目标节点为内容分发网络CDN域名系统DNS服务器,所述调度信息为参考域名与互联网协议IP地址之间的第一对应关系,所述IP地址指示所述第一节点或者所述第二节点;
所述第一对应关系用于所述CDN DNS服务器基于终端发送的参考域名向所述终端返回所述参考域名对应的IP地址,所述IP地址用于所述终端向所述IP地址指示的节点发送交互请求,以交互所述目标业务流量。
16.根据权利要求14所述的方法,其特征在于,所述目标节点为所述第一节点和所述第二节点,所述调度信息为交互请求与IP地址之间的第二对应关系,所述IP地址指示所述第一节点或者所述第二节点;
所述第二对应关系用于所述目标节点在接收到终端发送的交互请求之后,响应于基于所述第二对应关系确定所述交互请求对应的IP地址指示的节点为当前节点,则与所述终端交互所述目标业务流量,或者,响应于基于所述第二对应关系确定所述交互请求对应的IP地址指示的节点非当前节点,则向所述终端返回所述交互请求对应的IP地址,所述IP地址用于所述终端向所述IP地址指示的节点发送交互请求,以交互所述目标业务流量。
17.根据权利要求14所述的方法,其特征在于,所述目标节点为所述终端,所述调度信息为交互请求与IP地址之间的第二对应关系,所述IP地址指示所述第一节点或者所述第二节点;
所述第二对应关系用于所述终端确定交互请求对应的IP地址,向所述IP地址指示的节点发送所述交互请求,以交互所述目标业务流量。
18.根据权利要求1-17任一所述的方法,其特征在于,所述至少两个业务流量在所述第一节点上占用的带宽通过检测和预测中的至少一种方式获取得到。
19.根据权利要求1-18任一所述的方法,其特征在于,所述调度器基于所述至少两个业务流量在所述第一节点上占用的带宽,调整所述第一节点和所述第二节点与所述终端交互所述目标业务流量的比例之后,所述方法还包括:
响应于调整后的比例使得所述目标业务流量在所述第一节点上占用的带宽为零,且第一业务流量的业务质量低于所述第一业务流量的SLA指示的业务质量,所述调度器进行告警,所述第一业务流量为所述至少两个业务流量中除所述目标业务流量之外的业务流量。
20.根据权利要求1-19任一所述的方法,其特征在于,所述调度器基于所述至少两个业务流量在所述第一节点上占用的带宽,调整所述第一节点和所述第二节点与所述终端交互所述目标业务流量的比例之前,所述方法还包括:
所述调度器向所述第一节点发送所述至少两个业务流量的优先级,所述至少两个业务流量的优先级用于所述第一节点配置至少两个队列,通过所述至少两个队列处理所述至少两个业务流量,对于所述至少两个业务流量中的任意一个业务流量,所述任意一个业务流量的优先级与用于处理所述任意一个业务流量的队列的优先级相匹配。
21.一种流量调度装置,其特征在于,所述装置应用于流量调度系统包括的调度器,所述流量调度系统还包括第一节点、第二节点和终端,所述第一节点和所述第二节点用于与所述终端交互业务流量,所述装置包括:
获取模块,用于获取所述第一节点上的至少两个业务流量的优先级,以及所述至少两个业务流量在所述第一节点上占用的带宽,所述至少两个业务流量的传输方向相同;
确定模块,用于基于所述至少两个业务流量的优先级,在所述至少两个业务流量中确定目标业务流量;
调整模块,用于基于所述至少两个业务流量在所述第一节点上占用的带宽,调整所述第一节点和所述第二节点与所述终端交互所述目标业务流量的比例。
22.根据权利要求21所述的装置,其特征在于,所述确定模块,用于基于所述至少两个业务流量的优先级,在所述至少两个业务流量中确定至少一个优先级最低的业务流量;基于所述至少一个优先级最低的业务流量确定所述目标业务流量。
23.根据权利要求22所述的装置,其特征在于,所述确定模块,用于响应于存在至少两个优先级最低的业务流量,将所述至少两个优先级最低的业务流量中数据量大于数据量阈值的业务流量确定为所述目标业务流量。
24.根据权利要求21-23任一所述的装置,其特征在于,所述优先级基于服务级别协议SLA和连接类型中的至少一种信息确定,所述SLA用于指示业务质量,所述优先级与所述SLA指示的业务质量正相关,所述优先级与所述连接类型对应的调度便利程度负相关。
25.根据权利要求21-24任一所述的装置,其特征在于,所述调整模块,用于确定所述至少两个业务流量在所述第一节点上占用的带宽的带宽之和;基于所述带宽之和,确定比例调整方式;按照所述比例调整方式,调整所述第一节点和所述第二节点与所述终端交互所述目标业务流量的比例。
26.根据权利要求25所述的装置,其特征在于,所述调整模块,用于响应于所述带宽之和满足第一条件,确定所述比例调整方式为降低所述第一节点和所述第二节点与所述终端交互所述目标业务流量的比例,使得所述目标业务流量在所述第一节点上占用的带宽减少带宽调度量,且所述目标业务流量在所述第二节点上占用的带宽增加所述带宽调度量;
所述装置还包括:增加模块,用于增加第一业务流量在所述第一节点上占用的带宽,所述第一业务流量为所述至少两个业务流量中除所述目标业务流量之外的业务流量,所增加的带宽小于或等于所述带宽调度量。
27.根据权利要求26所述的装置,其特征在于,所述调整模块,还用于响应于所述带宽之和大于第一带宽阈值,确定所述带宽之和满足所述第一条件;或者,响应于所述带宽之和对应的带宽成本大于第一成本阈值,确定所述带宽之和满足所述第一条件。
28.根据权利要求25所述的装置,其特征在于,所述调整模块,用于响应于所述带宽之和满足第二条件,确定所述比例调整方式为提高所述第一节点和所述第二节点与所述终端交互所述目标业务流量的比例,使得所述目标业务流量在所述第一节点上占用的带宽增加带宽调度量,且所述目标业务流量在所述第二节点上占用的带宽减少所述带宽调度量。
29.根据权利要求28所述的装置,其特征在于,所述调整模块,还用于响应于所述带宽之和小于或等于第二带宽阈值,确定所述带宽之和满足所述第二条件,所述第二带宽阈值小于或等于第一带宽阈值;或者,响应于所述带宽之和对应的带宽成本小于或等于第二成本阈值,确定所述带宽之和满足所述第二条件,所述第二成本阈值小于或等于第一成本阈值。
30.根据权利要求27或29所述的装置,其特征在于,所述带宽调度量基于所述带宽之和、所述第一带宽阈值和所述第二节点的带宽使用情况确定。
31.根据权利要求27或29所述的装置,其特征在于,所述带宽调度量基于所述带宽之和对应的带宽成本、所述第一成本阈值和所述第二节点的带宽成本使用情况确定。
32.根据权利要求25所述的装置,其特征在于,所述调整模块,用于响应于所述带宽之和不同于所述第一节点上的第二业务流量占用的带宽,确定所述比例调整方式,所述至少两个业务流量的传输方向与所述第二业务流量的传输方向不同。
33.根据权利要求32所述的装置,其特征在于,所述比例调整方式基于所述带宽之和、所述第一节点上的第二业务流量占用的带宽和所述第二节点的带宽使用情况确定。
34.根据权利要求25-33任一所述的装置,其特征在于,所述调整模块,用于按照所述比例调度方式确定目标节点对应的调度信息,向所述目标节点发送所述调度信息,所述调度信息和所述目标节点用于实现所述调整所述第一节点和所述第二节点与所述终端交互所述目标业务流量的比例。
35.根据权利要求34所述的装置,其特征在于,所述目标节点为内容分发网络CDN域名系统DNS服务器,所述调度信息为参考域名与互联网协议IP地址之间的第一对应关系,所述IP地址指示所述第一节点或者所述第二节点;所述第一对应关系用于所述CDN DNS服务器基于终端发送的参考域名向所述终端返回所述参考域名对应的IP地址,所述IP地址用于所述终端向所述IP地址指示的节点发送交互请求,以交互所述目标业务流量。
36.根据权利要求34所述的装置,其特征在于,所述目标节点为所述第一节点和所述第二节点,所述调度信息为交互请求与IP地址之间的第二对应关系,所述IP地址指示所述第一节点或者所述第二节点;所述第二对应关系用于所述目标节点在接收到终端发送的交互请求之后,响应于基于所述第二对应关系确定所述交互请求对应的IP地址指示的节点为当前节点,则与所述终端交互所述目标业务流量,或者,响应于基于所述第二对应关系确定所述交互请求对应的IP地址指示的节点非当前节点,则向所述终端返回所述交互请求对应的IP地址,所述IP地址用于所述终端向所述IP地址指示的节点发送交互请求,以交互所述目标业务流量。
37.根据权利要求34所述的装置,其特征在于,所述目标节点为所述终端,所述调度信息为交互请求与IP地址之间的第二对应关系,所述IP地址指示所述第一节点或者所述第二节点;所述第二对应关系用于所述终端确定交互请求对应的IP地址,向所述IP地址指示的节点发送所述交互请求,以交互所述目标业务流量。
38.根据权利要求21-37任一所述的装置,其特征在于,所述至少两个业务流量在所述第一节点上占用的带宽通过检测和预测中的至少一种方式获取得到。
39.根据权利要求21-38任一所述的装置,其特征在于,所述调整模块,还用于响应于调整后的比例使得所述目标业务流量在所述第一节点上占用的带宽为零,且第一业务流量的业务质量低于所述第一业务流量的SLA指示的业务质量,进行告警,所述第一业务流量为所述至少两个业务流量中除所述目标业务流量之外的业务流量。
40.根据权利要求21-39任一所述的装置,其特征在于,所述调整模块,还用于向所述第一节点发送所述至少两个业务流量的优先级,所述至少两个业务流量的优先级用于所述第一节点配置至少两个队列,通过所述至少两个队列处理所述至少两个业务流量,对于所述至少两个业务流量中的任意一个业务流量,所述任意一个业务流量的优先级与用于处理所述任意一个业务流量的队列的优先级相匹配。
41.一种流量调度设备,其特征在于,所述设备包括存储器及处理器;所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以使所述流量调度设备实现权利要求1-20中任一所述的流量调度方法。
42.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行,以使计算机实现如权利要求1-20中任一所述的流量调度方法。
43.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序或指令,所述计算机程序或指令被处理器执行,以使计算机实现权利要求1-20中任一所述的流量调度方法。
CN202211146275.7A 2022-07-15 2022-09-20 流量调度方法、装置、设备及计算机可读存储介质 Pending CN117439957A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2023/085081 WO2024011957A1 (zh) 2022-07-15 2023-03-30 流量调度方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210836899 2022-07-15
CN2022108368995 2022-07-15

Publications (1)

Publication Number Publication Date
CN117439957A true CN117439957A (zh) 2024-01-23

Family

ID=89548602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211146275.7A Pending CN117439957A (zh) 2022-07-15 2022-09-20 流量调度方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN117439957A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118200146A (zh) * 2024-05-16 2024-06-14 杭州网银互联科技股份有限公司 Idc跨机房网络带宽调度方法及控制器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118200146A (zh) * 2024-05-16 2024-06-14 杭州网银互联科技股份有限公司 Idc跨机房网络带宽调度方法及控制器

Similar Documents

Publication Publication Date Title
EP2100418B1 (en) Allocation of network resources
US8842529B2 (en) Network transport system with hybrid dynamic bandwidth allocation mechanism and method of operation thereof
EP3286966B1 (en) Resource reallocation
AU2015200698A1 (en) Method and system for using dynamic bandwidth detection to drive quality of service control refinement
JP2013168934A (ja) 負荷均衡装置及び負荷均衡方法
CN106936877B (zh) 一种内容分发方法、装置及系统
US9043468B2 (en) Method and arrangement for network resource management
US20110134934A1 (en) Method for determining distribution of a shared resource among a plurality of nodes in a network
CN117439957A (zh) 流量调度方法、装置、设备及计算机可读存储介质
CN113452758A (zh) 一种业务访问方法及装置
CN109150760B (zh) 一种网络资源预留方法及装置
CN1518296A (zh) 一种支持多业务的综合队列调度的实现方法
CN116382892B (zh) 一种基于多云融合以及云服务的负载均衡方法及装置
CN113906720B (zh) 流量调度方法、设备及存储介质
US7646717B1 (en) Method and apparatus for packet scheduling
WO2024011957A1 (zh) 流量调度方法、装置、设备及计算机可读存储介质
CN113453285B (zh) 一种资源调整方法、装置及存储介质
CN112839070B (zh) 数据处理方法、装置和cdn网络中的节点设备
US6904056B2 (en) Method and apparatus for improved scheduling technique
CN114615333A (zh) 一种资源访问请求处理方法、装置、设备及介质
KR100415583B1 (ko) 인터넷에서 차등 서비스 제공을 위한 서비스 관리 시스템및 그 서비스방법
Nobile et al. QoS proxy architecture for real time RPC with traffic prediction
CN118827514A (zh) 一种节点确定方法、相关设备及介质
Subedi Testbed-based Evaluation of QoS Differentiation for Network Slicing in Multi-Application Scenarios
CN118827282A (zh) 数据传输方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication