CN113055308B - 带宽调度方法、流量传输方法及相关产品 - Google Patents
带宽调度方法、流量传输方法及相关产品 Download PDFInfo
- Publication number
- CN113055308B CN113055308B CN201911371876.6A CN201911371876A CN113055308B CN 113055308 B CN113055308 B CN 113055308B CN 201911371876 A CN201911371876 A CN 201911371876A CN 113055308 B CN113055308 B CN 113055308B
- Authority
- CN
- China
- Prior art keywords
- bandwidth
- real
- time
- traffic
- data center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 217
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000004044 response Effects 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 38
- 238000005070 sampling Methods 0.000 claims description 9
- 239000000523 sample Substances 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 238000013528 artificial neural network Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 238000012546 transfer Methods 0.000 description 8
- 239000000872 buffer Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010047289 Ventricular extrasystoles Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000005129 volume perturbation calorimetry Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/82—Miscellaneous aspects
- H04L47/826—Involving periods of time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/83—Admission control; Resource allocation based on usage prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/28—Flow control; Congestion control in relation to timing considerations
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请实施例公开了一种带宽调度方法、流量传输方法及相关产品,该带宽调度方法包括:接收数据中心发送的带宽请求,该带宽请求包括传输非实时流量所需的带宽;根据历史带宽信息对该数据中心在未来时间段内传输该非实时流量所需的带宽进行分配,该历史带宽信息用于预测该数据中心在未来时间段内的各个时刻对所述数据中心所在区域的总带宽的占用情况;向该数据中心发送带宽响应,该带宽响应包括分配结果。采用本申请实施例有利于提高对每个区域的物理线路资源的利用率。
Description
技术领域
本发明涉及IT技术领域,具体涉及一种带宽调度方法、流量传输方法及相关产品。
背景技术
公有云通常会有多个域(Region),每个region包含一个或多个数据中心。各个区域间的数据中心通过数据中心互联(Data center interconnection,DCI)网络连接起来。其中,DCI网络包括三条线路:物理线路、逻辑线路和虚拟线路。其中,物理线路为公有云的拥有者从运营商租用或者自建的光纤、波道等;逻辑线路为在物理线路上创建的逻辑路径;虚拟线路为在物理线路上创建的点到点的虚拟路径。各个区域间的数据中心之间在DCI网络的物理线路上传输流量。在为了避免传输过程中的丢包问题,需要保证物理线路的带宽大于传输过程中的流量峰值。因此,通常按照流量峰值对物理线路进行扩容。
但是,在扩容物理线路后,当流量的传输处于低谷时,会存在大量的物理线路未被利用,此时对物理线路的利用率低,导致大量的物理线路资源浪费。
发明内容
本申请提供了一种带宽调度方法、流量传输方法及相关产品,对历史带宽信息对数据中心传输非实时流量所需的带宽进行分配,从而提高对数据中心的物理线路资源的利用率。
第一方面,本申请实施例提供一种带宽调度方法,应用于调度平台,包括:
接收数据中心发送的带宽请求,所述带宽请求包括传输非实时流量所需的带宽;
根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配,所述历史带宽信息用于预测所述数据中心在未来时间段内的各个时刻对所述数据中心所在区域的总带宽的占用情况;
向所述数据中心发送带宽响应,所述带宽响应包括分配结果。
可以看出,在本申请实施例中,调度平台根据数据中心在未来时间段内的各个时刻对该数据中心所在区域的总带宽的占用情况,对数据中心传输非实时流量所需的带宽进行分配,以便在未来时间段内的各个时刻该数据中心在传输流量时对该总带宽的占用比较均衡,从而实现了在未来时间段内要传输的流量比较多时,无需扩容物理线路,即可实现流量的传输;另外,通过调度避免出现流量高峰远大于流量低谷的情况,从而使该数据中心在流量低谷传输流量时,也会使用很多的物理线路资源,进而提高对该数据中心的物理线路资源的利用率。
在一种可能的实施方式中,所述历史带宽信息包括第一带宽信息,所述第一带宽信息包括预测的实时流量在未来时间段内的各个时刻对所述总带宽的占用情况,所述实时流量的数据传输优先级高于所述非实时流量;所述根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配,包括:
根据所述总带宽和所述第一带宽信息,确定所述区域在所述未来时间段的各个时刻内的可调度带宽;
根据所述区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配。
在本申实施方式中,通过预测的实时流量在未来时间段内的各个时刻对总带宽的占用情况,来确定该区域在所述未来时间段的各个时刻内的可调度带宽;有了各个时刻的可调度带宽之后,可以精准的对该数据中心传输非实时流量所需的带宽进行分配。
在一种可能的实施方式中,所述历史带宽信息包括第二带宽信息,所述第二带宽信息包括预测的未来时间段内新增的非实时流量在未来时间段内的各个时刻对所述总带宽的占用情况;所述根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配,包括:
根据所述总带宽、所述第一带宽信息以及所述第二带宽信息,确定所述区域在所述未来时间段的各个时刻内的可调度带宽;
根据所述区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配。
在本实施方式中,在确定可调度带宽时,不但考虑实时流量在未来时间段内对总带宽的占用情况,还考虑新增的非实时流量对总带宽的占用情况。因为如果该新增的非实时流量的传输优先级高于该非实时流量时,则在传输该非实时流量时,不能占用为该新增的非实时流量所分配的带宽,也就是说可调度带宽需要还要除去该新增的非实时流量所占用的带宽,从而使确定出的可用带宽更加符合真实情况,进而使为该数据中心传输非实时流量所分配的带宽更加精确。
在一种可能的实施方式中,所述根据所述区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配,包括:
从所述未来时间段内为传输所述非实时流量分配多个时间片;
根据所述区域在所述未来时间段的各个时刻内的可调度带宽确定每个时间片对应的可调度带宽;
根据传输所述实时流量所需的带宽,从每个时间片对应的可调度带宽中为传输所述非实时流量分配可用带宽;
根据所述多个时间片以及每个时间片的可用带宽为传输所述非实时流量创建每个时间片对应的传输通道;
其中,所述分配结果包括所述多个时间片、每个时间片的可用带宽以及每个时间片对应的传输通道。
在一种可能的实施方式中,在对所述非实时流量的传输支持断点续传时,所述多个时间片是连续的或者不连续的;在对所述非实时流量的传输不支持断点续传时,所述多个时间片是连续的。
在本实施方式中,根据非实时流量本身的特性,可以为数据中心分配不同类型的时间片,从而提高对可调度带宽进行分配的灵活性,可在各种带宽调度场景为传输非实时流进行带宽的分配。比如说,如传输非实时流量需要20M带宽,而且,传输时间为5s,但是,该未来时间段内任何一个连续的时间片内的可调度带宽并不是总高于20M。如果,该非实时流量支持断点续传,则可以分配几个非连续的、但可调度带宽大于20M的时间片,从而实现对传输非实时流量所需的带宽进行分配。
在一种可能的实施方式中,所述带宽请求还包括所述数据中心传输当前实时流量所需的带宽;所述方法还包括:
根据所述历史带宽信息预测在当前时刻传输所述数据中心的实时流量所需的带宽;
确定所述数据中心传输当前实时流量所需的带宽与预测出的在当前时刻传输所述数据中心的实时流量所需的带宽的差值大于阈值;
根据所述区域在预设时间段内的历史流量信息更新所述历史带宽信息。
在本实施方式中,在进行带宽分配之前,先确定预测的未来时间段内实时流量对带宽的占用情况与当前真实的实时流量是否在误差范围内,如果不在,则说明通过大量历史流量信息预测出的历史带宽信息不符合当前实时流量的分布规律。因此,通过预设时间内的历史流量信息,来更新该历史带宽信息,从而使带宽历史带宽信息符合真实情况,进而提高分配传输非实时流量所需的带宽的精度。
在一种可能的实施方式中,所述历史带宽信息包括时间戳、5元组、包大小、采样比、5元组和应用ID的对应关系以及链路带宽。
第二方面,本申请实施例提供一种流量传输方法,应用于数据中心,包括:
向调度平台发送带宽请求,所述带宽请求包括传输非实时流量所需的带宽;
接收所述调度平台发送的带宽响应,所述带宽响应包括分配结果,所述分配结果是由所述调度平台历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配得到的,所述历史带宽信息用于预测所述数据中心在未来时间段内各个时刻对所述数据中心所在区域的总带宽的占用情况;
根据所述分配结果传输所述非实时流量。
可以看出,在本申请实施例中,由于分配结果是由调度平台根据数据中心在未来时间段内的各个时刻对该数据中心所在区域的总带宽的占用情况,对数据中心传输非实时流量所需的带宽进行分配得到的,从而使该区域在未来时间段内的各个时刻传输流量时对该区域的总带宽的占用比较均衡;从而实现了在未来时间段内要传输的流量比较多时,无需扩容物理线路,即可实现流量的传输;另外,通过调度避免出现流量高峰远大于流量低谷的情况,从而使该数据中心在流量低谷传输流量时,也会使用到很多的物理线路资源,进而提高对该数据中心的物理线路资源的利用率。
在一种可能的实施方式中,所述数据中心包括第一调度器;所述向调度平台发送带宽请求,包括:
通过服务前端向所述第一调度器发送第一传输请求,所述第一传输请求包括:源地址、目的地址、带宽、流量大小、命令行、是否支持断点续传以及截止时间;
通过所述调度器向所述调度平台发送带宽请求,所述带宽请求是所述服务前端通过所述第一传输请求向所述第一调度器注册的;
所述根据所述分配结果传输所述非实时流量,包括:
通过所述第一调度器向所述服务后端发送所述分配结果,以触发所述服务后端执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
在本实施方式中,根据不同应用在传输流量时,可以通过不同的线程来触发流量传输任务,为通过异步线程来传输流量设置了相应的传输方式,增加了流量传输的方式,以适应不同类型的应用。
在一种可能的实施方式中,所述数据中心第一包括调度器;所述向调度平台发送带宽请求,包括:
通过服务向所述第一调度器发送第二传输请求,并将所要传输的所述非实时流量缓存到缓存池,所述第二传输请求包括:源地址、目的地址、带宽、流量大小、源流量位置、目的流量位置以及截止时间;
通过所述第一调度器向所述调度平台发送带宽请求,所述带宽请求是所述第一调度器根据所述第二传输请求得到的;
所述根据所述分配结果传输所述非实时流量,包括:
通过所述第一调度器向所述缓存池的控制器发送所述分配结果,以触发所述控制器执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
在本实施方式中,根据不同应用在传输流量时,可以通过不同的线程来触发流量传输任务,为通过缓存池来传输流量设置了相应的传输方式,增加了流量传输的方式,以适应不同类型的应用。
在一种可能的实施方式中,所述数据中心包括第一调度器;所述向调度平台发送带宽请求,包括:
通过服务向所述第一调度器发送第三传输请求;
通过所述第一调度器向所述调度平台发送带宽请求,所述带宽请求是所述第一调度器根据所述第三传输请求得到的;
所述根据所述分配结果传输所述非实时流量,包括:
通过所述第一调度器向所述云服务发送所述分配结果,以触发所述服务执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
在本实施方式中,根据不同应用在传输流量时,可以通过不同的线程来触发流量传输任务,为通过同步线程来传输流量设置了相应的传输方式,增加了流量传输的方式,以适应不同类型的应用。
在一种可能的实施方式中,所述分配结果包括多个时间片、每个时间对应的可用带宽以及每个时间片对应的传输通道;
所述根据所述分配结果传输所述非实时流量,包括:
根据所述多个时间片和每个时间对应的可用带宽在每个时间片对应的传输通道上传输所述非实时流量。
在一种可能的实施方式中,在对所述非实时流量的传输支持断点续传时,所述多个时间片是连续的或者不连续的;在对所述非实时流量的传输不支持断点续传时,所述多个时间片是连续的。
在本实施方式中,根据非实时流量本身的特性,调度平台可以为数据中心分配不同类型的时间片,从而提高对可调度带宽进行分配的灵活性,可在各种带宽调度场景为传输非实时流进行带宽的分配。比如说,如传输非实时流量需要20M带宽,而且,传输时间为5s,但是,该未来时间段内任何一个连续的时间片内的可调度带宽并不是总高于20M。如果,该非实时流量支持断点续传,则可以分配几个非连续的、但可调度带宽大于20M的时间片,从而实现对传输非实时流量所需的带宽进行分配。
第三方面,本申请实施例提供了一种调度平台,包括:
收发模块,用于接收数据中心发送的带宽请求,所述带宽请求包括传输非实时流量所需的带宽;
处理模块,用于根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配,所述历史带宽信息用于预测所述数据中心在未来时间段内的各个时刻对所述数据中心所在区域的总带宽的占用情况;
所述收发模块,还用于向所述数据中心发送带宽响应,所述带宽响应包括分配结果。
在一种可能的实施方式中,所述历史带宽信息包括第一带宽信息,所述第一带宽信息包括预测的实时流量在未来时间段内的各个时刻对所述总带宽的占用情况,所述实时流量的数据传输优先级高于所述非实时流量;在根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配方面,所述处理模块,具体用于:
根据所述总带宽和所述第一带宽信息,确定所述区域在所述未来时间段的各个时刻内的可调度带宽;
根据所述区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配。
在一种可能的实施方式中,所述历史带宽信息包括第二带宽信息,所述第二带宽信息包括预测的未来时间段内新增的非实时流量在未来时间段内的各个时刻对所述总带宽的占用情况;在根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配方面,所述处理模块,具体用于:
根据所述总带宽、所述第一带宽信息以及所述第二带宽信息,确定所述区域在所述未来时间段的各个时刻内的可调度带宽;
根据所述区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配。
在一种可能的实施方式中,在根据所述区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配方面,所述处理模块,具体用于:
从所述未来时间段内为传输所述非实时流量分配多个时间片;
根据所述区域在所述未来时间段的各个时刻内的可调度带宽确定每个时间片对应的可调度带宽;
根据传输所述实时流量所需的带宽,从每个时间片对应的可调度带宽中为传输所述非实时流量分配可用带宽;
根据所述多个时间片以及每个时间片的可用带宽为传输所述非实时流量创建每个时间片对应的传输通道;
其中,所述分配结果包括所述多个时间片、每个时间片的可用带宽以及每个时间片对应的传输通道。
在一种可能的实施方式中,在对所述非实时流量的传输支持断点续传时,所述多个时间片是连续的或者不连续的;在对所述非实时流量的传输不支持断点续传时,所述多个时间片是连续的。
在一种可能的实施方式中,所述带宽请求还包括所述数据中心传输当前实时流量所需的带宽;所述处理模块,还用于:
根据所述历史带宽信息预测在当前时刻传输所述数据中心的实时流量所需的带宽;
确定所述数据中心传输当前实时流量所需的带宽与预测出的在当前时刻传输所述数据中心的实时流量所需的带宽的差值大于阈值;
根据所述区域在预设时间段内的历史流量信息更新所述历史带宽信息。
在一种可能的实施方式中,所述历史带宽信息包括时间戳、5元组、包大小、采样比、5元组和应用ID的对应关系以及链路带宽。
第四方面,本申请实施例提供了一种数据中心,包括:
收发模块,用于向调度平台发送带宽请求,所述带宽请求包括传输非实时流量所需的带宽;
所述收发模块,还用于接收所述调度平台发送的带宽响应,所述带宽响应包括分配结果,所述分配结果是由所述调度平台历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配得到的,所述历史带宽信息用于预测所述数据中心在未来时间段内各个时刻对所述数据中心所在区域的总带宽的占用情况;
处理模块,用于根据所述分配结果传输所述非实时流量。
在一种可能的实施方式中,所述数据中心包括第一调度器;在向调度平台发送带宽请求方面,所述收发模块,具体用于:
通过服务前端向所述调度器发送第一传输请求,所述第一传输请求包括:源地址、目的地址、带宽、流量大小、命令行、是否支持断点续传以及截止时间;
通过所述调度器向所述调度平台发送带宽请求,所述带宽请求是所述服务前端通过所述第一传输请求向所述调度器注册;
在根据所述分配结果传输所述非实时流量方面,所述处理模块,具体用于:
通过所述第一调度器向所述服务后端发送所述分配结果,以触发所述服务后端执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
在一种可能的实施方式中,所述数据中心包括第一调度器;在向调度平台发送带宽请求方面,所述收发模块,具体用于:
通过服务向所述第一调度器发送第二传输请求,并将所要传输的所述非实时流量缓存到缓存池,所述第二传输请求包括:源地址、目的地址、带宽、流量大小、源流量位置、目的流量位置以及截止时间;
通过所述第一调度器向所述调度平台发送带宽请求,所述带宽请求是所述第一调度器根据所述第二传输请求得到的;
在根据所述分配结果传输所述非实时流量方面,所述处理单元,具体用于:
通过所述第一调度器向所述缓存池的控制器发送所述分配结果,以触发所述控制器执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
在一种可能的实施方式中,所述数据中心包括第一调度器;在向调度平台发送带宽请求方面,所述收发模块,具体用于:
通过服务向所述第一调度器发送第三传输请求;
通过所述第一调度器向所述调度平台发送带宽请求,所述带宽请求是所述第一调度器根据所述第三传输请求得到的;
在根据所述分配结果传输所述非实时流量方面,所述处理模块,具体用于:
通过所述第一调度器向所述云服务发送所述分配结果,以触发所述服务执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
在一种可能的实施方式中,所述分配结果包括多个时间片、每个时间对应的可用带宽以及每个时间片对应的传输通道;
在根据所述分配结果传输所述非实时流量方面,所述处理模块,具体用于:
根据所述多个时间片和每个时间对应的可用带宽在每个时间片对应的传输通道上传输所述非实时流量。
在一种可能的实施方式中,在对所述非实时流量的传输支持断点续传时,所述多个时间片是连续的或者不连续的;在对所述非实时流量的传输不支持断点续传时,所述多个时间片是连续的。
第五方面,本申请实施例提供了一种电子设备,包括:处理器和存储器,所述处理器运行所述存储器中的代码以执行如第一方面或第二方面所述的方法。
第六方面,本申请实施例提供了一种可读存储介质,包括指令,当所述指令在调度平台上运行时,使得所述调度平台执行如第一方面所述的方法,当所述指令在数据中心上运行时执行如第二方面所述的方法。
附图说明
图1为本申请实施例提供的一种多个区域的系统架构图;
图2为本申请实施例提供的一种带宽调度的系统架构图;
图3为本申请实施例提供的一种带宽调度方法的流程示意图;
图4为本申请实施例提供的一种分配带宽的示意图;
图5为本申请实施例提供的另一种分配带宽的示意图;
图6为本申请实施例提供的另一种带宽调度方法的流程示意图;
图7为本申请实施例提供的另一种带宽调度的系统架构图;
图8为本申请实施例提供的一种被动调度模式下的系统架构图;
图9为本申请实施例提供的一种缓存调度模式下的系统架构图;
图10为本申请实施例提供的一种交互调度模式下的系统架构图;
图11为本申请实施例提供的一种神经网络的网络结构图;
图12为本申请实施例提供的一种调度平台的结构示意图;
图13为本申请实施例提供的另一种调度平台的结构示意图;
图14为本申请实施例提供的一种数据中心的结构示意图;
图15为本申请实施例提供的另一种数据中心的结构示意图。
具体实施方式
如图1所示,公有云通常会有多个Region,每个Region包含一个或多个数据中心。各个Region中的数据中心通过DCI网络连接起来。DCI网络包括三条线路,即物理线路、逻辑线路和虚拟线路。其中,物理线路为公有云的拥有者从运营商租用或者自建的光纤、波道等;逻辑线路为在物理线路上创建的逻辑路径;虚拟线路为在物理线路上创建的点到点的虚拟路径,以实现跨Region的虚拟私有云(Virtual Private Cloud,VPC)之间的数据传输。
目前,DCI网络上的流量主要包括各个Region的VPC之间的流量以及各个Region的云服务之间的流量。在使用DCI网络进行数据传输时,通过逻辑线路对物理线路进行规划,优先选择负载较低的物理线路进行数据的传输。然而,对于每个Region来说,在一天时间内不会一直传输数据,故DCI网络上的流量通常在一天之内,会呈现明显的潮汐变化,导致DCI网络上会出现流量高峰和流量低谷。当处于流量高峰时,即使通过逻辑线路的规划,物理线路仍然无法传输当前的流量。因此,为了避免各个Region中的数据中心在流量高峰使用DCI网络传输流量丢包的情况,通常按照流量峰值扩容物理线路的带宽。但是,在扩容物理线路的带宽后,由于流量峰值和流量低谷的差值较大,当DCI网络上的流量处于低谷时,存在大量的物理线路未被利用,对物理线路的利用率低,导致物理线路资源的浪费。
为了便于理解本申请,首先在此介绍本申请实施例涉及的相关技术知识。
实时流量,需要立即传输的流量,不能延后传输。在实时流量的传输时刻来临时,需要立即对实时流量进行传输,不能延后传输,其他流量更不能占用为实时流量所分配的带宽。
非实时流量,不需要立即传输的流量,可以延后传输,并且为传输非实时流量所分配的带宽,可以被其他传输优先级更高的流量占据。
其中,所要传输的流量是实时的,还是非实时的,是由用户进行标定的。
举例来说,预先设定了中午12点开始有100M的实时流量需要传输,则需要在中午12点开始立即使用分配好的带宽来传输该实时流量,无论12:00是否有其他流量需要传输,均不能占用为传输该100M的实时流量所分配的带宽。下午6点开始有120M的非实时流量需要传输,则为该120M的非实时流量分配的可用带宽可位于6点或6点之后;而且,在传输该120M的非实时流量过程中,如有其他传输优先级更高的流量需要传输,则可以占用为该非实时流量分配好的带宽,先暂停对非实时流量的传输。
本申请涉及的带宽调度是在每个Region传输流量时,对每个Region传输非实时流量所需的带宽进行分配。对Region传输非实时流量所需的带宽分配是周期性分配的,调度周期为预先设定的。因此,对每个Region的带宽分配实质上是在调度时刻(每个调度周期的起始时刻)来临时,对每个RegionRegion在调度周期内的可调度带宽进行分配,为该Region传输非实时流量分配可用带宽。
需要说明的是,本申请以Region10向Region20传输流量时,对Region10传输非实时流所需的带宽进行分配为例进行说明,且以Region10中的第一数据中心101向Region20中的第二数据中心201传输非实时流量为例做具体说明。Region10和Region20中的其他数据中心之间传输流量的调度过程,以及其他Region之间传输流量的调度过程与此类似,不再叙述。
图2为本申请实施例提供的一种带宽调度的系统架构图。该系统架构包括Region10、Region20和调度平台30,其中,Region10包括一个或多个数据中心101,Region20包括一个或多个数据中心201。
在当前时刻为调度时刻时,数据中心101向调度平台30发送带宽请求,该带宽包括数据中心101当前时刻所要传输的实时流量和非实时流量所需的带宽,该带宽请求用于请求调度平台30对数据中心101在未来时间段内传输非实时流量所需的带宽进行分配。
其中,未来时间段是与调度时刻对应的调度周期所构成的时间段。例如,调度周期为10分钟,且调度时刻为10:00,则该未来时间段为10:00~10:10。
调度平台30根据历史带宽信息对传输非实时流量所需的带宽进行分配,得到带宽响应,并向数据中心101发送该带宽响应,该带宽响应包括分配结果。即调度平台30根据历史带宽信息预测Region10的总带宽在该未来时间段内的占用情况,根据该占用情况确定该Region10在未来时间段内的可调度带宽,根据该可调度带宽对数据中心101传输非实时流量所需的带宽进行分配。
数据中心101向调度平台30发送通道请求,该通道请求用于请求调度平台30创建与该分配结果对应的传输通道;
调度平台30根据该通道请求创建与该带宽响应对应的传输通道,并向数据中心101发送该通道响应,该通道响应包括创建好的传输通道;
数据中心101根据该通道响应以及该带宽响应向数据中心201传输该非实时流量。
图3为本申请实施例提供的一种带宽调度方法的流程示意图。图2所示的系统架构的基础上,如图3所示,本申请的带宽调度方法包括如下步骤:
301:第一数据中心向调度平台发送带宽请求。
其中,第一数据中心为Region10中的任意一个数据中心。
在当前时刻为调度时刻时,Region10向调度平台发送带宽请求。该带宽请求包括第一数据中心当前所要传输的各个流量的标识信息,以及各个流量所需的带宽大小。该标识信息包括时间戳、5元组、包大小、采样比以及5元组与应用ID(application ID)的对应关系;其中,标识信息、实时应用以及非实时应用之间存在对应关系,根据各个流量的标识信息以及该对应关系确定各个流量是实时流量,还是非实时流量,并根据该带宽请求确定在当前时刻所要传输的实时流量以及非实时流量各自所需的带宽。
其中,该带宽请求用于请求调度平台对第一数据中心传输非实时流量所需的带宽进行分配,并根据分配结果为第一数据中心传输该非实时流量创建传输通道。
302:调度平台根据历史带宽信息对第一数据中心在未来时间段内传输非实时流量所需的带宽进行分配。
调度平台根据该历史带宽信息预测该第一数据中心在未来时间段内的各个时刻对该第一数据中心所在区域(Region10)的总带宽的占用情况。
其中,该Region10的总带宽在各个时刻是固定不变的。而不同的Region的总带宽可以相同,也可以不同,本申请对此不作限定。
进一步地,调度平台根据预测出的Region10的总带宽在未来时间段内的占用情况以及该Region10的总带宽确定Region10在未来时间段内的可调度带宽,根据在未来时间段内的可调度带宽对第一数据中心传输非实时流量所需的带宽进行分配。
可选的,在不考虑非实时流量之间传输优先级的情况下,该历史带宽信息包括第一带宽信息,该第一带宽信息包括预测的实时流量在该未来时间段内的各个时刻对该总带宽的占用情况。该占用情况是通过对历史时间段内实时流量对该总带宽的占用情况进行分析得到的。
进一步地,根据实时流量在未来时间段内的各个时刻对总带宽的占用情况,根据各个时刻对总带宽的占用情况以及Region10的总带宽确定出未来时间段内各个时刻的可调度带宽。可调度带宽=(a*总带宽-第一不可调度带宽),a为预设参数且小于1,该预设参数a的设定主要是在对Region10的带宽进行分配时,为Region10保留一定的带宽,避免占满Region10的整个带宽,给第一数据中心的流量传输带来压力过大的问题;该第一不可调度带宽为预测出的实时流量在该未来时间段内所占用的带宽。
如图4所示,在确定出Region10在未来时间段内各个时刻的可调度带宽后,对第一数据中心传输非实时流量所需的带宽进行分配。即使用传输非实时流量所需的带宽以及预测出的实时流量在未来时间段内对总带宽的占用情况,对该总带宽进行削峰填谷,将传输非实时流量所需的带宽分配到未来时间段中,以实现在未来时间段内的各个时刻对Region10的总带宽占用比较均衡,避免出现流量峰值远高于流量低谷的情况。
可选的,在对非实时流量之间设置有传输优先级的情况下,如图5所示,该历史带宽信息还包括第二带宽信息,第二带宽信息包括预测的未来时间段内新增的非实时流量在未来时间段内的各个时刻对该总带宽的占用情况。
故需要根据实时流量以及非实时流量在未来时间段内的各个时刻对Region10的总带宽的占用情况来确定该未来时间段内的各个时刻的可调度带宽;其中,可调度带宽=(a*总带宽-第二不可调度带宽),第二不可调度带宽包括实时流量在未来时间段内的各个时刻所占用的带宽和未来时间段内的各个时刻下目标非实时流量所占用的带宽之和。
上述目标非实时流量为该新增的非实时流量中传输优先级高于当前时刻所要传输的非实时流量。也就是说,非实时流量之间也设置有传输优先级,在未来时间段内优先传输优先级较高的非实时流量。
其中,各个非实时流量的传输优先级为预先设定的。例如,可预先设置非实时流量的传输优先级与应用ID的对应关系,根据各个非实时流量的应用ID以及该对应关系得到各个非实时流量之间的传输优先级。
举例来说,未来时间段为10:00-11:00,在调度时刻确定出有50M的非实时流量B需要传输,而且,根据第二带宽信息预测出在10:02-10:04时间段内需要传输60M的非实时流量C(也就是说在10:02-10:04内新增了60M的非实时流量需要传输),如非实时流量C的传输优先级高于非实时流量B,则10:02-10:04时间段内所对应的第二不可调度带宽包括非实时流量C所占用的60M带宽;如非实时流量C的传输优先级低于非实时流量B,则10:02-10:04时间段内所对应的第二不可调度带宽不包括非实时流量C所占用的60M带宽。
进一步地,在得到未来时间段内的各个时刻的可调度带宽后,从未来时间段内为非实时流量分配相应的多个时间片以及根据每个时间片内各个时刻对应的可调度带宽为传输非实时流量调分配可用带宽。
然后,第一数据中心可以在调度好的多个时间片内,使用为每个时间片分配好的带宽传输非实时流量。
举例来说,如未来时间段为10:00-10:10,为传输非实时流量B分配的时间片为10:00-10:02,以及为该时间片分配了2M的可用带宽,则第一数据中心可以在10:00-10:02使用该2M的可用带宽向第二数据中心传输非实时流量B。
另外,在对传输非实时流量所需的带宽进行分配时,确定该非实时流量是否支持断点续传,如果支持,则可以为该非实时流量分配连续的时间片或者非连续的时间片,如果不支持,则需要为该非实时流量分配连续的时间片。
举例来说,如果非实时流量B支持断点续传,则为非实时流量B分配的时间片可以为10:00-10:03、10:07-10:10,也就是说,在10:00-10:03时间片内传输非实时流量B,然后,在10:07-10:10时间片内继续传输非实时流量B;如果非实时流量B不支持断点续传,则需要给非实时流量B分配连续的时间片,传输流量的过程不能中断。
进一步地,在对第一数据中心传输非实时流量分配好多个时间片以及为每个时间片分配好对应的可用带宽后,创建与每个时间片对应的传输通道。即对Region10的物理线路资源进行分配,为每个时间片中创建出与该时间片的可用带宽所对应的传输通道,以便第一数据心在每个时间片内使用该传输通道向第二数据中心发送非实时流量。
303:调度平台向第一数据中心发送带宽响应。
其中,该带宽响应包括分配结果,该分配结果包括该多个时间片、每个时间片的可用带宽以及每个时间片对应的传输通道。其中,该传输通道包括通道名称、通道类型以及链路带宽,该通道类型用于表征所要传输的流量类型,该流量类型包括实时流量和非实时流量。
304:第一数据中心根据分配结果向第二数据中心传输非实时流量。
第一数据中心在每个时间片内使用与该时间片对应的传输通道向第二数据中心发送非实时流量。
可以看出,在本申请实施例中,在调度时刻来临时,对数据中心在未来时间段内对传输非实时流量所需的带宽进行分配,具体地,在当未来时间段内的某个时刻或某个时间段内实时流量对总带宽的占用较多时,则给传输非实时流量分配较少的带宽,当某个时刻或某个时间段内实时流量对总带宽的占用比较少时,则给传输非实时流量分配较多的带宽,也就是在未来时间段内对该数据中心所在区域的总带宽的占用进行削峰填谷,避免了出现流量峰值与流量低谷相差较大的情况,从而使对该总带宽的占用在各个时刻比较平稳,从而在流量低谷时,也可以使用大量的物理线路来传输流量,进而提高了对物理线路资源的利用率。
在一种可能的实施方式中,该带宽请求还包括数据中心传输当前实时流量所需的带宽,在对传输非实时流量所需的带宽进行分配之前,还需要根据带宽请求确定数据中心传输当前实时流量所需的带宽(实际所需的带宽),并将实际所需的带宽与预测出的在当前时刻传输数据中心的实时流量所需的带宽进行比较。在实际所需的带宽与预测出的所需的带宽的差值大于该阈值的情况下,则根据Region10的DCI网络上在预设时间段历史流量信息(最近时间内的历史流信息)来更新该历史带宽信息。
具体地,获取Region10的DCI网络上在该调度时刻之前的前N个调度周期内的历史流量信息,N为大于等于1的整数;然后,识别出每个调度周期的历史流量信息中的实时流量,并确定每个调度周期内实时流量对Region10的总带宽的占用情况,根据前N个调度周期中每个调度周期内实时流量对Region10的总带宽的占用情况来更新该历史带宽信息。也就是使用前N个调度周期中每个调度周期内实时流量对Region10的总带宽的占用情况来预测实时流量在未来时间段内的各个时刻对Region10的总带宽的占用情况。
举例来说,获取前一个调度周期内的实时流量对Region10的总带宽的占用情况,根据该占用情况确定实时流量对总带宽的占用趋势,根据该带宽占用趋势预测实时流量在未来时间段内的各个时刻对Region10的总带宽的占用情况;或者根据实时流量在上一个调度周期内的带宽占用情况拟合出一个带宽曲线,将该带宽曲线向本次调度周期内延伸,则可预测出实时流量在未来时间段内各个时刻对Region10的总带宽的占用情况。
需要说明的是,第一数据中心还需要向第二数据中心传输实时流量,因此,在每个调度时刻来临时,调度平台可以根据第一带宽信息为在未来时间段内所要传输的实时流量创建传输通道由于实时流量的传输优先级较高,且分配的带宽不可被其他流量所占用。当然,也可以根据第一带宽信息一次性为一天内所要传输的实时流量创建传输通道。然后,第一数据中心可以使用创建好的传输通道进行实时流量的传输。
图6为本申请实施例提供的另一种带宽调度方法的流程示意图。该实施例中与图3所示的实施例相同的内容,此处不再重复描述。在图2所示的系统架构的基础上,如图6所示,本申请的带宽调度方法包括如下步骤:
601:第一数据中心向调度平台发送带宽请求。
其中,第一数据中心为Region10中的任意一个数据中心。
在当前时刻为调度时刻时,Region10向调度平台发送带宽请求。该带宽请求包括第一数据中心当前所要传输的各个流量的标识信息,以及各个流量所需的带宽大小。该标识信息包括时间戳、5元组、包大小、采样比以及5元组与应用ID(application ID)的对应关系;其中,标识信息、实时应用以及非实时应用之间存在对应关系,根据各个流量的标识信息以及该对应关系确定各个流量是实时流量,还是非实时流量,并根据该带宽请求确定在当前时刻所要传输的实时流量以及非实时流量各自所需的带宽。
其中,该带宽请求用于请求调度平台对第一数据中心传输非实时流量所需的带宽进行分配,并根据分配结果为第一数据中心传输该非实时流量创建传输通道。
其中,该带宽请求用于请求调度平台为第一数据传输非实时流量所需的带宽进行分配。
602:调度平台根据历史带宽信息对数据中心在未来时间段内传输非实时流量所需的带宽进行分配。
603:调度平台向第一数据中心发送带宽响应。
该带宽响应包括调度好的多个时间片以及与每个时间片对应的可用带宽。
604:第一数据中心向调度平台发送通道请求。
第一数据中心在接收到带宽响应后,向调度平台发送通道请求,该调度请求用于请求调度平台创建与该带宽响应对应的传输通道。即对Region10的物理线路资源进行分配,在为该第一数据心所分配的每个时间片中划分出与每个时间片对应的传输通道,以便第一数据心在每个时间片上通过该传输通道向第二数据中心传输送非实时流量。
605:调度平台向第一数据中心发送通道响应。
该通道响应包括通道名称、通道类型以及链路带宽,该通道类型用于表征所要传输的流量类型,该流量类型包括实时流量和非实时流量。
606:第一数据中心根据带宽响应以及通道响应向第二数据中心传输非实时流量。
下面结合图7详细叙述本申请实施例所涉及的带宽调度过程。
由于各个Region中包括一个或多个数据中心,存在多个数据中心向其他Region中的一个或多个数据中心传输流量的情况。因此,首先对每个Region布局第一调度器;适应性地,在调度平台30布局训练平台301、第二调度器302和控制器303中的一个或多个。其中,训练平台301、第二调度器302和控制器303可以集成部署到一个组件上,也可以作为三个单独的组件分开部署,本申请对此不做限定。
训练平台301从第一数据中心的DCI网络出口上获取各个时刻的历史流量信息,基于各个时刻的历史流量信息进行模型训练,得到带宽预测模型,基于该带宽预测模型,预测出处上述的第一带宽信息和/或第二带宽信息。
进一步地,在调度时刻来临时,各个Region的数据中心的发送带宽请求、发送通道请求、接收带宽响应以及通道响应可由各个Region的第一调度器执行;同时,对传输非实时流量所需的带宽的分配可通过第二调度器302实现,对传输通道的创建可通过控制器303执行。
对于不应用,其提交的带宽请求以及流量传输的模式不同。
下面通过图8-图10详细说明三种调度模式的实现过程。
参阅图8,通过服务前端向第一调度器提交第一传输请求之后,不再参与带宽调度过程。因此,也将这种调度模式称为被动调度模式。举例来说,当通过文件传输协议(FileTransfer Protocol,FTP)来传输流量时,FTP服务器执行将FTP命令注册给第一调度器的线程,该FTP命令用于指示传输非实时流量,在注册完成之后,即可结束该线程,无需等待与线程的带宽响应。也就是说,FTP命令的注册和非实时流量的传输是一个异步处理过程。其中,FTP服务器中用于执行注册FTP命令这个线程的部分称为服务前端。当Region10的第一调度器接收到调度平台发送的带宽响应之后,通过第一调度器向服务发送带宽响应,以触发服务后端执行流量传输任务,即服务后端通过分配好的可用带宽以及创建好的传输通道向Region20的数据中心传输流量。其中,FTP服务器即为该服务后端。与该调度模式相适配的,该第一传输请求包括但不限于:源、目的,带宽、数据大小、命令行、是否支持断点续传以及传输截止时间。其中,源表示Region10的IP地址,目的表示Region20的IP地址,带宽表示传输流量所需的带宽、数据大小表示传输该流量的内存大小,截止时间为传输该流量的最大期限,也就是说要在最大期限内完成对该流量的传输。
参阅图9,服务在向Region10的第一调度器提交第二传输请求的同时,将所要传输的流量同步缓存到的缓存池中,因此,也将这种调度模式称为缓存调度模式。举例来说,当通过文件传输协议(File Transfer Protocol,FTP)来传输流量时,FTP服务器执行将FTP命令注册给第一调度器的线程,该FTP命令用于指示传输非实时流量,在注册完成之后,即可结束该线程,无需等待与线程的带宽响应。当Region10的第一调度器接收到调度平台30发送的带宽响应之后,触发该缓存池的控制器(管理者)执行流量传输任务,从该缓存池中取出所要传输的非实时流量,并使用分配好的可用带宽与以及创建好的传输通道向Region20的数据中心传输该非实时流量。与缓存调度模式相适配的,该第二传输请求包括但不限于:源、带宽、数据大小、命令行、数据的源位置(在Region10中的缓存位置)、数据的目标位置(在Region20中的缓存位置)以及截止时间。
参阅图10,通过服务的软件开发工具包(Software Development Kit,SDK)向第一调度器提交第三传输请求,并接收第一调度器反馈的分配结果,因此,也将这种调度模式称为交互调度模式。举例来说,当通过文件传输协议(File Transfer Protocol,FTP)来传输流量时,FTP服务器执行将FTP命令注册给第一调度器的线程,该FTP命令用于指示传输非实时流量,在执行完FTP命令注册的线程之后,仍然需要等待该第一调度器的反馈响应。也就是说,FTP命令的注册和流量的传输是一个串行处理过程。在接收到第一调度器反馈的带宽响应之后,触发流量传输任务,通过分配好的可用带宽以及创建好的传输通道向Region20的数据中心传非实时输流量。与交互调度模式相适配的,该数据传输请求包括但不限于:源、目的、带宽、文件大小、命令行、是否支持断点续传以及截止时间。
上述例子中的带宽预测模型可以采用深度神经网络或者分段模型来实现。下面将分别进行详细的介绍。
第一种方式,带宽预测模型可以采用深度神经网络来实现。
在本申请具体的实施方式中,带宽预测模型可以表示为:
b1=g1(a1)
其中,b1为各个时刻的预测流量值,a1为DCI网络上各个时刻所对应的历史流量值,g1为预测流量值和历史流量值之间的映射关系。其中,映射关系g1可以是通过各个时刻大量已知的历史流量值和各个时刻大量已知的预测流量值进行训练得到的。在一具体的实施例中,各个时刻大量已知的历史流量值可以是最近一个月内各个时刻的历史流量值,对应地,各个时刻大量已知的预测流量可以是对最近一个月内各个时刻的流量进行预测得到的。
具体来说,获取Region10的DCI网络在各个时刻的历史流量信息,该历史流量信息包括历史流量的标识信息以及历史流量的带宽信息,该标识信息包括时间戳、5元组、包大小、采样比以及5元组和应用ID的对应关系,该带宽信息包括通道接口信息(通道名称、接口类型、链路带宽);
根据流量的标识信息确定Region10的DCI网络上在各个时刻所传输的历史流量中的实时流量以及非实时流量;根据带宽信息确定传输该历史实时流量所使用的带宽,以及传输非实时流量所使用的带宽,进而得到各个时刻上的历史实时流量以及历史非实时流量对Region10的总带宽的占用情况。
其中,在使用带宽预测模型对实时流量的第一带宽信息进行预测时,上述预测流量值为实时流量的预测流量值,在使用带宽预测模型对非实时流量的第二带宽信息进行预测时,上述预测流量值为非实时流量的预测流量值。
在第二种方式中,带宽预测模型可以采用分段模型来实现。
(1)带宽预测模型可以表示为:
求平均值:
其中,为平均值,x1至xn为在n个采样时刻下所采集到的历史流量值。例如,当通过最近一个月内的历史流量值来预测历史带宽信息时,n为可以在最近一个月内采集历史流量值的总次数;
求方差:
/>
其中,σ1为方差,x1至xn-1为对某个时刻分别进行n次采样所采集到的历史流量值。例如,当通过最近一个月内的历史流量值来预测历史带宽信息时,n为可以在该时刻在最近一个月内所对应的采集总次数;
求置信区间:
其中,p为置信区间的下限,q为置信区间的上限,为平均值,t为大于零的自然数,σ1为方差。
这里,可以令预测流量值等于置信区间的上限,则得到对该时刻的预测流量值,然后,将各个时刻所对应的预测流量值进行组合,则可得到历史带宽信息。
可以理解,上述例子中以预测流量值等于置信区间的上限为例进行说明,但是,在实际应用中,预测流量值可以等于置信区间的下限,以及,置信区间的上限和下限之间的任意一个数值,此处不作局限限定。
其中,在采用分段模型对实时流量的第一带宽信息进行预测时,上述各个时刻的预测流量值为实时流量在各个时刻的的预测流量值,在采用分段模型对非实时流量的第二带宽信息进行预测时,上述各个时刻的预测流量值为非实时流量在各个时刻的的预测流量值。
采用了上述的带宽调度或流量传输方法之后,能够解决现有技术存在的问题。
当任意一个Region的DCI网络上所要传输的流量处于峰值时,将该Region在该流量峰值处所要传输的非实时流量分配到DCI网络的流量低谷进行传输,从而削弱流量峰值,保证该Region的DCI网络上流量峰值和流量低谷差值不会过大,进而在不扩宽物理线路的情况下,解决了流量高峰期的数据丢包问题,以及,由于将流量高峰的非实时流量分配到流量低谷进行传输,进而提高了在流量低谷时的物理线路的利用率。
在本申请具体的实施方式中,如图11所示,带宽预测模型可以是采用深度神经网络(deep neural networks,DNN)来实现的。在一具体的实施例中,深度神经网络包括输入层、一个或者多个隐含层以及输出层。
输入层:
假设输入层的输入为实时流量Ii,输出和输入相等,即,不对输入进行任何处理。为了陈述简便,此处假设输入层不作任何处理,但是,在实际应用中,可以对输入层进行归一化等等处理,此处不作具体限定。
隐含层:
将输入层输出的实时流量Ii作为隐含层的输入,假设总共L(L≥2)层隐含层,设Zl表示第l层的输出结果,当l=1时,Z1=Ii,其中,1≤l≤L,那么,第l层和第l+1层之间的关系为:
al+1=WlZl+bl
Zl+1=fl+1(al+1)
其中,Wl为第l层的权值向量,bl为第l层的偏置向量,al+1为第l+1层的中间向量,fl +1为第l+1层的激励函数,Zl+1为第l+1层的隐藏层结果。激励函数可以是sigmoid函数,双曲正切函数,Relu函数,ELU(Exponential Linear Units)函数等等中的任意一种。
输出层:
假设第L层的输出结果ZL,将ZL输入softmax函数可以得到业务类型。
y=softmax(ZL)
其中,y为输出层的输出结果,ZL为第L层隐含层的输出结果,softmax函数为分类函数。可以理解,上述例子中以softmax函数为例进行说明,但是,在实际的应用中,还可以采用逻辑斯谛函数(logistic)函数等等,此处不作具体限定。
在本申请具体的实施方式中,带宽预测模型的训练的本质可以这样理解:深度神经网络中的每一层的工作可以用数学表达式来描述:从物理层面深度神经网络中的每一层的工作可以理解为通过五种对输入空间(输入向量的集合)的操作,完成输入空间到输出空间的变换(即矩阵的行空间到列空间),这五种操作包括:1、升维/降维;2、放大/缩小;3、旋转;4、平移;5、“弯曲”。其中1、2、3的操作由Wx完成,4的操作由+b完成,5的操作则由a()来实现。这里之所以用“空间”二字来表述是因为被分类的对象并不是单个事物,而是一类事物,空间是指这类事物所有个体的集合。其中,W是权重向量,该向量中的每一个值表示该层神经网络中的一个神经元的权重值。该向量W决定着上文所述的输入空间到输出空间的空间变换,即每一层的权重W控制着如何变换空间。训练深度神经网络的目的,也就是最终得到训练好的神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。因此,神经网络的训练过程本质上就是学习控制空间变换的方式,更具体的就是学习权重矩阵。
在本申请具体的实施方式中,带宽预测模型的训练过程可以是:可以将已知各个时刻历史流量信息输入带宽预测模型,从而得到预测值,将各个时刻已知的历史流量值作为真正的想要的目标值。通过比较当前网络的预测值和真正想要的目标值,再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然,在第一次更新之前通常会有初始化的过程,即为深度神经网络中的各层预先配置参数),比如,如果网络的预测值高了,就调整权重向量让它预测低一些,不断的调整,直到神经网络能够预测出真正想要的目标值。因此,就需要预先定义“如何比较预测值和目标值之间的差异”,这便是损失函数(lossfunction)或目标函数(objective function),它们是用于衡量预测值和目标值的差异的重要方程。其中,以损失函数举例,损失函数的输出值(loss)越高表示差异越大,那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
参阅图12,图12为本申请实施例提供的一种调度平台的结构示意图。如图12所示,调度平台1200包括收发模块1201和处理模块1202,其中:
收发模块1201,用于接收数据中心发送的带宽请求,所述带宽请求包括传输非实时流量所需的带宽;
处理模块1202,用于根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配,所述历史带宽信息用于预测所述数据中心在未来时间段内的各个时刻对所述数据中心所在区域的总带宽的占用情况;
收发模块1201,还用于向所述数据中心发送带宽响应,所述带宽响应包括分配结果。
在一种可能的实施方式中,所述历史带宽信息包括第一带宽信息,所述第一带宽信息包括预测的实时流量在未来时间段内的各个时刻对所述总带宽的占用情况,所述实时流量的数据传输优先级高于所述非实时流量;在根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配方面,处理模块1202,具体用于:
根据所述总带宽和所述第一带宽信息,确定所述区域在所述未来时间段的各个时刻内的可调度带宽;
根据所述区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配。
在一种可能的实施方式中,所述历史带宽信息包括第二带宽信息,所述第二带宽信息包括预测的未来时间段内新增的非实时流量在未来时间段内的各个时刻对所述总带宽的占用情况;在根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配方面,处理模块1202,具体用于:
根据所述总带宽、所述第一带宽信息以及所述第二带宽信息,确定所述区域在所述未来时间段的各个时刻内的可调度带宽;
根据所述区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配。
在一种可能的实施方式中,在根据所述区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配方面,处理模块1202,具体用于:
从所述未来时间段内为传输所述非实时流量分配多个时间片;
根据所述区域在所述未来时间段的各个时刻内的可调度带宽确定每个时间片对应的可调度带宽;
根据传输所述实时流量所需的带宽,从每个时间片对应的可调度带宽中为传输所述非实时流量分配可用带宽;
根据所述多个时间片以及每个时间片的可用带宽为传输所述非实时流量创建每个时间片对应的传输通道;
其中,所述分配结果包括所述多个时间片、每个时间片的可用带宽以及每个时间片对应的传输通道。
在一种可能的实施方式中,在对所述非实时流量的传输支持断点续传时,所述多个时间片是连续的或者不连续的;在对所述非实时流量的传输不支持断点续传时,所述多个时间片是连续的。
在一种可能的实施方式中,所述带宽请求还包括所述数据中心传输当前实时流量所需的带宽;处理模块1202,还用于:
根据所述历史带宽信息预测在当前时刻传输所述数据中心的实时流量所需的带宽;
确定所述数据中心传输当前实时流量所需的带宽与预测出的在当前时刻传输所述数据中心的实时流量所需的带宽的差值大于阈值;
根据所述区域在预设时间段内的历史流量信息更新所述历史带宽信息。
在一种可能的实施方式中,所述历史带宽信息包括时间戳、5元组、包大小、采样比、5元组和应用ID的对应关系以及链路带宽。
参阅图13,图13为本申请实施例提供的另一种调度平台的结构示意图。如图13所示调度平台1300包括处理器1301,存储器1302与收发器1303,它们之间通过总线1304连接,其中,存储器1302中存储有指令或程序,处理器1302用于执行存储器1303中存储的指令或程序。存储器1303中存储的指令或程序被执行时,该处理器1302用于执行上述实施例中处理模块1202所执行的操作,收发器1303用于执行上述实施例中收发单元1201所执行的操作。
参阅图14,图14为本申请实施例提供的一种数据中心的结构示意图。如图14所示,数据中心1400包括:
收发模块1401,用于向调度平台发送带宽请求,所述带宽请求包括传输非实时流量所需的带宽;
收发模块1401,还用于接收所述调度平台发送的带宽响应,所述带宽响应包括分配结果,所述分配结果是由所述调度平台历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配得到的,所述历史带宽信息用于预测所述数据中心在未来时间段内各个时刻对所述数据中心所在区域的总带宽的占用情况;
处理模块1402,用于根据所述分配结果传输所述非实时流量。
在一种可能的实施方式中,所述数据中心包括第一调度器;在向调度平台发送带宽请求方面,收发模块1401,具体用于:
通过服务前端向所述调度器发送第一传输请求,所述第一传输请求包括:源地址、目的地址、带宽、流量大小、命令行、是否支持断点续传以及截止时间;
通过所述调度器向所述调度平台发送带宽请求,所述带宽请求是所述服务前端通过所述第一传输请求向所述调度器注册;
在根据所述分配结果传输所述非实时流量方面,处理模块1402,具体用于:
通过所述第一调度器向所述服务后端发送所述分配结果,以触发所述服务后端执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
在一种可能的实施方式中,所述数据中心包括第一调度器;在向调度平台发送带宽请求方面,收发模块1401,具体用于:
通过服务向所述第一调度器发送第二传输请求,并将所要传输的所述非实时流量缓存到缓存池,所述第二传输请求包括:源地址、目的地址、带宽、流量大小、源流量位置、目的流量位置以及截止时间;
通过所述第一调度器向所述调度平台发送带宽请求,所述带宽请求是所述第一调度器根据所述第二传输请求得到的;
在根据所述分配结果传输所述非实时流量方面,处理单元1402,具体用于:
通过所述第一调度器向所述缓存池的控制器发送所述分配结果,以触发所述控制器执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
在一种可能的实施方式中,所述数据中心包括第一调度器;在向调度平台发送带宽请求方面,收发模块1401,具体用于:
通过服务向所述第一调度器发送第三传输请求;
通过所述第一调度器向所述调度平台发送带宽请求,所述带宽请求是所述第一调度器根据所述第三传输请求得到的;
在根据所述分配结果传输所述非实时流量方面,处理模块1402,具体用于:
通过所述第一调度器向所述云服务发送所述分配结果,以触发所述服务执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
在一种可能的实施方式中,所述分配结果包括多个时间片、每个时间对应的可用带宽以及每个时间片对应的传输通道;
在根据所述分配结果传输所述非实时流量方面,处理模块1402,具体用于:
根据所述多个时间片和每个时间对应的可用带宽在每个时间片对应的传输通道上传输所述非实时流量。
在一种可能的实施方式中,在对所述非实时流量的传输支持断点续传时,所述多个时间片是连续的或者不连续的;在对所述非实时流量的传输不支持断点续传时,所述多个时间片是连续的。
参阅图15,图15为本申请实施例提供的另一种数据中心的结构示意图。如图15所示调度平台1500包括处理器1501,存储器1502与收发器1503,它们之间通过总线1504连接,其中,存储器1502中存储有指令或程序,处理器1502用于执行存储器1503中存储的指令或程序。存储器1503中存储的指令或程序被执行时,该处理器1502用于执行上述实施例中处理模块1502所执行的操作,收发器1503用于执行上述实施例中收发单元1501所执行的操作。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可以实现上述方法实施例提供的带宽调度方法中与调度平台相关的流程。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可以实现上述方法实施例提供的流量传输方法中与数据中心相关的流程。
本申请实施例还提供了一种计算机程序产品,当其在计算机或处理器上运行时,使得计算机或处理器执行上述带宽调度方法中的一个或多个步骤。上述所涉及的调度平台的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述的计算机可读取存储介质中。
本申请实施例还提供了一种计算机程序产品,当其在计算机或处理器上运行时,使得计算机或处理器执行上述流量传输方法中的一个或多个步骤。上述所涉及的数据中心的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述的计算机可读取存储介质中。
应理解,本申请实施例中提及的处理器可以是中央处理单元(CentralProcessing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
需要说明的是,当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时,存储器(存储模块)集成在处理器中。
应注意,本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
还应理解,本文中涉及的第一、第二、第三、第四以及各种数字编号仅为描述方便进行的区分,并不用来限制本申请的范围。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (28)
1.一种带宽调度方法,其特征在于,应用于调度平台,包括:
接收数据中心发送的带宽请求,所述带宽请求包括传输非实时流量所需的带宽;
根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配,所述历史带宽信息用于预测所述数据中心在未来时间段内的各个时刻对所述数据中心所在区域的总带宽的占用情况;所述历史带宽信息包括第一带宽信息,所述第一带宽信息包括预测的实时流量在未来时间段内的各个时刻对所述总带宽的占用情况,所述实时流量的数据传输优先级高于所述非实时流量;
向所述数据中心发送带宽响应,所述带宽响应包括分配结果。
2.根据权利要求1所述的方法,其特征在于,所述根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配,包括:
根据所述总带宽和所述第一带宽信息,确定所述数据中心所在区域在所述未来时间段的各个时刻内的可调度带宽;
根据所述数据中心所在区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配。
3.根据权利要求2所述的方法,其特征在于,所述历史带宽信息包括第二带宽信息,所述第二带宽信息包括预测的未来时间段内新增的非实时流量在未来时间段内的各个时刻对所述总带宽的占用情况;所述根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配,包括:
根据所述总带宽、所述第一带宽信息以及所述第二带宽信息,确定所述数据中心所在区域在所述未来时间段的各个时刻内的可调度带宽;
根据所述数据中心所在区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配。
4.根据权利要求3所述的方法,其特征在于,所述根据所述数据中心所在区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配,包括:
从所述未来时间段内为传输所述非实时流量分配多个时间片;
根据所述数据中心所在区域在所述未来时间段的各个时刻内的可调度带宽确定每个时间片对应的可调度带宽;
根据传输所述实时流量所需的带宽,从每个时间片对应的可调度带宽中为传输所述非实时流量分配可用带宽;
根据所述多个时间片以及每个时间片的可用带宽为传输所述非实时流量创建每个时间片对应的传输通道;
其中,所述分配结果包括所述多个时间片、每个时间片的可用带宽以及每个时间片对应的传输通道。
5.根据权利要求4所述的方法,其特征在于,
在对所述非实时流量的传输支持断点续传时,所述多个时间片是连续的或者不连续的;
在对所述非实时流量的传输不支持断点续传时,所述多个时间片是连续的。
6.根据权利要求5所述的方法,其特征在于,所述带宽请求还包括所述数据中心传输当前实时流量所需的带宽;所述方法还包括:
根据所述历史带宽信息预测在当前时刻传输所述数据中心的实时流量所需的带宽;
确定所述数据中心传输当前实时流量所需的带宽与预测出的在当前时刻传输所述数据中心的实时流量所需的带宽的差值大于阈值;
根据所述数据中心所在区域在预设时间段内的历史流量信息更新所述历史带宽信息。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述历史带宽信息包括时间戳、5元组、包大小、采样比、5元组和应用ID的对应关系以及链路带宽。
8.一种流量传输方法,其特征在于,应用于数据中心,包括:
向调度平台发送带宽请求,所述带宽请求包括传输非实时流量所需的带宽;
接收所述调度平台发送的带宽响应,所述带宽响应包括分配结果,所述分配结果是由所述调度平台根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配得到的,所述历史带宽信息用于预测所述数据中心在未来时间段内各个时刻对所述数据中心所在区域的总带宽的占用情况;所述历史带宽信息包括第一带宽信息,所述第一带宽信息包括预测的实时流量在未来时间段内的各个时刻对所述总带宽的占用情况,所述实时流量的数据传输优先级高于所述非实时流量;
根据所述分配结果传输所述非实时流量。
9.根据权利要求8所述的方法,其特征在于,所述数据中心包括第一调度器;所述向调度平台发送带宽请求,包括:
通过服务前端向所述第一调度器发送第一传输请求,所述第一传输请求包括:源地址、目的地址、带宽、流量大小、命令行、是否支持断点续传以及截止时间;
通过所述调度器向所述调度平台发送带宽请求,所述带宽请求是所述服务前端通过所述第一传输请求向所述第一调度器注册的;
所述根据所述分配结果传输所述非实时流量,包括:
通过所述第一调度器向服务后端发送所述分配结果,以触发所述服务后端执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
10.根据权利要求8所述的方法,其特征在于,所述数据中心包括第一调度器;所述向调度平台发送带宽请求,包括:
通过服务向所述第一调度器发送第二传输请求,并将所要传输的所述非实时流量缓存到缓存池,所述第二传输请求包括:源地址、目的地址、带宽、流量大小、源流量位置、目的流量位置以及截止时间;
通过所述第一调度器向所述调度平台发送带宽请求,所述带宽请求是所述第一调度器根据所述第二传输请求得到的;
所述根据所述分配结果传输所述非实时流量,包括:
通过所述第一调度器向所述缓存池的控制器发送所述分配结果,以触发所述控制器执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
11.根据权利要求8所述的方法,其特征在于,所述数据中心包括第一调度器;所述向调度平台发送带宽请求,包括:
通过服务向所述第一调度器发送第三传输请求;
通过所述第一调度器向所述调度平台发送带宽请求,所述带宽请求是所述第一调度器根据所述第三传输请求得到的;
所述根据所述分配结果传输所述非实时流量,包括:
通过所述第一调度器向云服务发送所述分配结果,以触发所述服务执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
12.根据权利要求8-11中任一项所述的方法,其特征在于,所述分配结果包括多个时间片、每个时间对应的可用带宽以及每个时间片对应的传输通道;
所述根据所述分配结果传输所述非实时流量,包括:
根据所述多个时间片和每个时间对应的可用带宽在每个时间片对应的传输通道上传输所述非实时流量。
13.根据权利要求12所述的方法,其特征在于,
在对所述非实时流量的传输支持断点续传时,所述多个时间片是连续的或者不连续的;
在对所述非实时流量的传输不支持断点续传时,所述多个时间片是连续的。
14.一种调度平台,其特征在于,包括:
收发模块,用于接收数据中心发送的带宽请求,所述带宽请求包括传输非实时流量所需的带宽;
处理模块,用于根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配,所述历史带宽信息用于预测所述数据中心在未来时间段内的各个时刻对所述数据中心所在区域的总带宽的占用情况;所述历史带宽信息包括第一带宽信息,所述第一带宽信息包括预测的实时流量在未来时间段内的各个时刻对所述总带宽的占用情况,所述实时流量的数据传输优先级高于所述非实时流量;
所述收发模块,还用于向所述数据中心发送带宽响应,所述带宽响应包括分配结果。
15.根据权利要求14所述的调度平台,其特征在于,在根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配方面,所述处理模块,具体用于:
根据所述总带宽和所述第一带宽信息,确定所述数据中心所在区域在所述未来时间段的各个时刻内的可调度带宽;
根据所述数据中心所在区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配。
16.根据权利要求15所述的调度平台,其特征在于,所述历史带宽信息包括第二带宽信息,所述第二带宽信息包括预测的未来时间段内新增的非实时流量在未来时间段内的各个时刻对所述总带宽的占用情况;在根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配方面,所述处理模块,具体用于:
根据所述总带宽、所述第一带宽信息以及所述第二带宽信息,确定所述数据中心所在区域在所述未来时间段的各个时刻内的可调度带宽;
根据所述数据中心所在区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配。
17.根据权利要求16所述的调度平台,其特征在于,在根据所述数据中心所在区域在所述未来时间段的各个时刻内的可调度带宽对传输所述非实时流量所需的带宽进行分配方面,所述处理模块,具体用于:
从所述未来时间段内为传输所述非实时流量分配多个时间片;
根据所述数据中心所在区域在所述未来时间段的各个时刻内的可调度带宽确定每个时间片对应的可调度带宽;
根据传输所述实时流量所需的带宽,从每个时间片对应的可调度带宽中为传输所述非实时流量分配可用带宽;
根据所述多个时间片以及每个时间片的可用带宽为传输所述非实时流量创建每个时间片对应的传输通道;
其中,所述分配结果包括所述多个时间片、每个时间片的可用带宽以及每个时间片对应的传输通道。
18.根据权利要求17所述调度平台,其特征在于,
在对所述非实时流量的传输支持断点续传时,所述多个时间片是连续的或者不连续的;
在对所述非实时流量的传输不支持断点续传时,所述多个时间片是连续的。
19.根据权利要求18所述的调度平台,其特征在于,所述带宽请求还包括所述数据中心传输当前实时流量所需的带宽;所述处理模块,还用于:
根据所述历史带宽信息预测在当前时刻传输所述数据中心的实时流量所需的带宽;
确定所述数据中心传输当前实时流量所需的带宽与预测出的在当前时刻传输所述数据中心的实时流量所需的带宽的差值大于阈值;
根据所述数据中心所在区域在预设时间段内的历史流量信息更新所述历史带宽信息。
20.根据权利要求14-19中任一项所述的调度平台,其特征在于,所述历史带宽信息包括时间戳、5元组、包大小、采样比、5元组和应用ID的对应关系以及链路带宽。
21.一种数据中心,其特征在于,包括:
收发模块,用于向调度平台发送带宽请求,所述带宽请求包括传输非实时流量所需的带宽;
所述收发模块,还用于接收所述调度平台发送的带宽响应,所述带宽响应包括分配结果,所述分配结果是由所述调度平台根据历史带宽信息对所述数据中心在未来时间段内传输所述非实时流量所需的带宽进行分配得到的,所述历史带宽信息用于预测所述数据中心在未来时间段内各个时刻对所述数据中心所在区域的总带宽的占用情况;所述历史带宽信息包括第一带宽信息,所述第一带宽信息包括预测的实时流量在未来时间段内的各个时刻对所述总带宽的占用情况,所述实时流量的数据传输优先级高于所述非实时流量;
处理模块,用于根据所述分配结果传输所述非实时流量。
22.根据权利要求21所述的数据中心,其特征在于,所述数据中心包括第一调度器;在向调度平台发送带宽请求方面,所述收发模块,具体用于:
通过服务前端向所述调度器发送第一传输请求,所述第一传输请求包括:源地址、目的地址、带宽、流量大小、命令行、是否支持断点续传以及截止时间;
通过所述调度器向所述调度平台发送带宽请求,所述带宽请求是所述服务前端通过所述第一传输请求向所述调度器注册;
在根据所述分配结果传输所述非实时流量方面,所述处理模块,具体用于:
通过所述第一调度器向服务后端发送所述分配结果,以触发所述服务后端执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
23.根据权利要求21所述的数据中心,其特征在于,所述数据中心包括第一调度器;在向调度平台发送带宽请求方面,所述收发模块,具体用于:
通过服务向所述第一调度器发送第二传输请求,并将所要传输的所述非实时流量缓存到缓存池,所述第二传输请求包括:源地址、目的地址、带宽、流量大小、源流量位置、目的流量位置以及截止时间;
通过所述第一调度器向所述调度平台发送带宽请求,所述带宽请求是所述第一调度器根据所述第二传输请求得到的;
在根据所述分配结果传输所述非实时流量方面,所述处理模块,具体用于:
通过所述第一调度器向所述缓存池的控制器发送所述分配结果,以触发所述控制器执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
24.根据权利要求21所述的数据中心,其特征在于,所述数据中心包括第一调度器;在向调度平台发送带宽请求方面,所述收发模块,具体用于:
通过服务向所述第一调度器发送第三传输请求;
通过所述第一调度器向所述调度平台发送带宽请求,所述带宽请求是所述第一调度器根据所述第三传输请求得到的;
在根据所述分配结果传输所述非实时流量方面,所述处理模块,具体用于:
通过所述第一调度器向云服务发送所述分配结果,以触发所述服务执行流量传输任务,所述流量传输任务包括:根据所述分配结果传输所述非实时流量。
25.根据权利要求21-24中任一项所述的数据中心,其特征在于,所述分配结果包括多个时间片、每个时间对应的可用带宽以及每个时间片对应的传输通道;
在根据所述分配结果传输所述非实时流量方面,所述处理模块,具体用于:
根据所述多个时间片和每个时间对应的可用带宽在每个时间片对应的传输通道上传输所述非实时流量。
26.根据权利要求25所述的数据中心,其特征在于,
在对所述非实时流量的传输支持断点续传时,所述多个时间片是连续的或者不连续的;
在对所述非实时流量的传输不支持断点续传时,所述多个时间片是连续的。
27.一种电子设备,其特征在于,包括:处理器和存储器,所述处理器运行所述存储器中的代码以执行如权利要求1-7或8-13中任一项所述的方法。
28.一种可读存储介质,其特征在于,包括指令,当所述指令在调度平台上运行时,使得所述调度平台执行如权利要求1-7中任一项所述的方法,当所述指令在数据中心上运行时执行如权利要求8-13中任一项所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911371876.6A CN113055308B (zh) | 2019-12-26 | 2019-12-26 | 带宽调度方法、流量传输方法及相关产品 |
EP20904653.1A EP4072086A4 (en) | 2019-12-26 | 2020-12-21 | BANDWIDTH PLANNING METHOD, TRAFFIC TRANSMISSION METHOD AND RELATED PRODUCT |
PCT/CN2020/138041 WO2021129575A1 (zh) | 2019-12-26 | 2020-12-21 | 带宽调度方法、流量传输方法及相关产品 |
US17/848,870 US11929942B2 (en) | 2019-12-26 | 2022-06-24 | Method and device for network traffic scheduling |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911371876.6A CN113055308B (zh) | 2019-12-26 | 2019-12-26 | 带宽调度方法、流量传输方法及相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113055308A CN113055308A (zh) | 2021-06-29 |
CN113055308B true CN113055308B (zh) | 2024-03-05 |
Family
ID=76505791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911371876.6A Active CN113055308B (zh) | 2019-12-26 | 2019-12-26 | 带宽调度方法、流量传输方法及相关产品 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11929942B2 (zh) |
EP (1) | EP4072086A4 (zh) |
CN (1) | CN113055308B (zh) |
WO (1) | WO2021129575A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113840330B (zh) * | 2021-09-16 | 2023-10-13 | 阿里巴巴达摩院(杭州)科技有限公司 | 建立连接的方法、网关设备、网络系统及调度中心 |
CN114338429B (zh) * | 2021-12-30 | 2024-01-30 | 中国工商银行股份有限公司 | 网络带宽的确定方法、装置及电子设备 |
CN115174407B (zh) * | 2022-06-17 | 2024-06-04 | 上海仪电(集团)有限公司中央研究院 | 一种基于私有云环境下带宽动态分配方法及系统 |
CN115396317A (zh) * | 2022-08-25 | 2022-11-25 | 深圳市汇川技术股份有限公司 | 带宽划分方法、装置、设备及计算机可读存储介质 |
US20240069783A1 (en) * | 2022-08-29 | 2024-02-29 | Micron Technology, Inc. | Memory phase monitoring and scheduling system |
CN115941487A (zh) * | 2022-12-02 | 2023-04-07 | 中国联合网络通信集团有限公司 | 流量分配方法、装置、设备及介质 |
CN116528375B (zh) * | 2023-06-28 | 2023-09-29 | 浙江大华技术股份有限公司 | 带宽预测方法、带宽预测装置以及计算机可读存储介质 |
CN117112236B (zh) * | 2023-10-23 | 2024-02-20 | 山东曙光照信息技术股份有限公司 | 基于数据涌流及波动性预测的辖区服务器配置方法及系统 |
CN117319322B (zh) * | 2023-12-01 | 2024-02-27 | 成都睿众博芯微电子技术有限公司 | 带宽分配方法、装置、设备以及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104168100A (zh) * | 2014-07-24 | 2014-11-26 | 重庆邮电大学 | 一种时分波分混合复用无源光网络的动态资源调度方法 |
CN104365061A (zh) * | 2013-05-30 | 2015-02-18 | 华为技术有限公司 | 一种调度方法、装置及系统 |
CN104967528A (zh) * | 2015-05-12 | 2015-10-07 | 中国联合网络通信集团有限公司 | 一种基于sdn控制器的带宽调整方法及系统 |
CN105338575A (zh) * | 2014-08-14 | 2016-02-17 | 中国移动通信集团黑龙江有限公司 | 一种控制方法、装置及服务器 |
CN105471759A (zh) * | 2016-01-11 | 2016-04-06 | 北京百度网讯科技有限公司 | 数据中心的网络流量调度方法和装置 |
CN105591795A (zh) * | 2015-07-17 | 2016-05-18 | 杭州华三通信技术有限公司 | 一种带宽分配方法和装置 |
CN106549782A (zh) * | 2015-09-18 | 2017-03-29 | 中兴通讯股份有限公司 | 一种数据中心内关联流的带宽调度方法及装置 |
CN107465708A (zh) * | 2016-06-02 | 2017-12-12 | 腾讯科技(深圳)有限公司 | 一种cdn带宽调度系统及方法 |
CN109361622A (zh) * | 2018-11-30 | 2019-02-19 | 网宿科技股份有限公司 | 对cdn系统的业务连接进行带宽控制的方法及cdn系统 |
CN109510715A (zh) * | 2017-09-14 | 2019-03-22 | 中国电信股份有限公司 | 带宽分配方法、装置、数据中心以及存储介质 |
CN109617836A (zh) * | 2018-12-29 | 2019-04-12 | 中国科学院遥感与数字地球研究所 | 卫星数据传输的智能带宽分配方法及分配系统 |
CN110474852A (zh) * | 2019-08-01 | 2019-11-19 | 网宿科技股份有限公司 | 一种带宽调度方法及装置 |
CN110493072A (zh) * | 2019-07-11 | 2019-11-22 | 网宿科技股份有限公司 | 基于深度学习的带宽滤波方法、装置、服务器及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7039715B2 (en) * | 2002-05-21 | 2006-05-02 | Microsoft Corporation | Methods and systems for a receiver to allocate bandwidth among incoming communications flows |
GB2427980B (en) * | 2005-07-01 | 2007-10-10 | Toshiba Res Europ Ltd | Means and method of allocating channel bandwidth |
US9800483B2 (en) * | 2012-04-13 | 2017-10-24 | CirrusWorks, Inc. | Method and apparatus for dynamic bandwidth allocation for optimizing network utilization |
US9923839B2 (en) * | 2015-11-25 | 2018-03-20 | International Business Machines Corporation | Configuring resources to exploit elastic network capability |
CN110198543B (zh) * | 2018-03-26 | 2021-11-05 | 腾讯科技(深圳)有限公司 | 网络资源规划方法、装置、计算机可读介质及电子设备 |
CN108989238A (zh) * | 2018-07-20 | 2018-12-11 | 浪潮电子信息产业股份有限公司 | 一种分配业务带宽的方法以及相关设备 |
CN109921950B (zh) * | 2019-03-28 | 2021-08-06 | 北京奇艺世纪科技有限公司 | 一种网络带宽需求预测方法、装置及电子设备 |
CN110138830B (zh) * | 2019-04-09 | 2021-10-15 | 天津大学 | 基于超图分割的跨数据中心任务调度与带宽分配方法 |
US11683102B1 (en) * | 2020-10-16 | 2023-06-20 | Cable Television Laboratories, Inc. | Bandwidth allocation method and associated optical line terminal |
-
2019
- 2019-12-26 CN CN201911371876.6A patent/CN113055308B/zh active Active
-
2020
- 2020-12-21 WO PCT/CN2020/138041 patent/WO2021129575A1/zh unknown
- 2020-12-21 EP EP20904653.1A patent/EP4072086A4/en active Pending
-
2022
- 2022-06-24 US US17/848,870 patent/US11929942B2/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104365061A (zh) * | 2013-05-30 | 2015-02-18 | 华为技术有限公司 | 一种调度方法、装置及系统 |
CN104168100A (zh) * | 2014-07-24 | 2014-11-26 | 重庆邮电大学 | 一种时分波分混合复用无源光网络的动态资源调度方法 |
CN105338575A (zh) * | 2014-08-14 | 2016-02-17 | 中国移动通信集团黑龙江有限公司 | 一种控制方法、装置及服务器 |
CN104967528A (zh) * | 2015-05-12 | 2015-10-07 | 中国联合网络通信集团有限公司 | 一种基于sdn控制器的带宽调整方法及系统 |
CN105591795A (zh) * | 2015-07-17 | 2016-05-18 | 杭州华三通信技术有限公司 | 一种带宽分配方法和装置 |
CN106549782A (zh) * | 2015-09-18 | 2017-03-29 | 中兴通讯股份有限公司 | 一种数据中心内关联流的带宽调度方法及装置 |
CN105471759A (zh) * | 2016-01-11 | 2016-04-06 | 北京百度网讯科技有限公司 | 数据中心的网络流量调度方法和装置 |
CN107465708A (zh) * | 2016-06-02 | 2017-12-12 | 腾讯科技(深圳)有限公司 | 一种cdn带宽调度系统及方法 |
CN109510715A (zh) * | 2017-09-14 | 2019-03-22 | 中国电信股份有限公司 | 带宽分配方法、装置、数据中心以及存储介质 |
CN109361622A (zh) * | 2018-11-30 | 2019-02-19 | 网宿科技股份有限公司 | 对cdn系统的业务连接进行带宽控制的方法及cdn系统 |
CN109617836A (zh) * | 2018-12-29 | 2019-04-12 | 中国科学院遥感与数字地球研究所 | 卫星数据传输的智能带宽分配方法及分配系统 |
CN110493072A (zh) * | 2019-07-11 | 2019-11-22 | 网宿科技股份有限公司 | 基于深度学习的带宽滤波方法、装置、服务器及存储介质 |
CN110474852A (zh) * | 2019-08-01 | 2019-11-19 | 网宿科技股份有限公司 | 一种带宽调度方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP4072086A4 (en) | 2023-01-25 |
WO2021129575A1 (zh) | 2021-07-01 |
CN113055308A (zh) | 2021-06-29 |
EP4072086A1 (en) | 2022-10-12 |
US20220329541A1 (en) | 2022-10-13 |
US11929942B2 (en) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113055308B (zh) | 带宽调度方法、流量传输方法及相关产品 | |
CN108667748B (zh) | 一种控制带宽的方法、装置、设备和存储介质 | |
Ashok et al. | Vehicular cloud computing through dynamic computation offloading | |
CN112291793B (zh) | 网络接入设备的资源分配方法和装置 | |
Yao et al. | Scheduling real-time deep learning services as imprecise computations | |
CN102724103B (zh) | 代理服务器、分层次网络系统及分布式工作负载管理方法 | |
CN108173905B (zh) | 一种资源配置方法、装置及电子设备 | |
CN107301093B (zh) | 一种管理资源的方法和装置 | |
CN108449286A (zh) | 网络带宽资源分配方法及装置 | |
CN110502321A (zh) | 一种资源调度方法及系统 | |
CN112636995B (zh) | 一种前传网络资源分配方法及装置 | |
CN111049903A (zh) | 一种基于应用感知预测的边缘网络负载分配算法 | |
CN114205317B (zh) | 基于sdn与nfv的服务功能链sfc资源分配方法及电子设备 | |
KR20220045829A (ko) | 태스크 수행 방법 및 이를 이용하는 전자 장치 | |
CN116467082A (zh) | 一种基于大数据的资源分配方法及系统 | |
Zhou et al. | JPAS: Job-progress-aware flow scheduling for deep learning clusters | |
Cao et al. | A deep reinforcement learning approach to multi-component job scheduling in edge computing | |
CN111131447A (zh) | 一种基于中介节点任务分配的负载均衡方法 | |
CN113190342A (zh) | 用于云-边协同网络的多应用细粒度卸载的方法与系统架构 | |
CN116915869A (zh) | 基于云边协同的时延敏感型智能服务快速响应方法 | |
CN110178119A (zh) | 处理业务请求的方法、装置与存储系统 | |
CN114896070A (zh) | 一种用于深度学习任务的gpu资源分配方法 | |
WO2020166617A1 (ja) | リソース競合調停装置、リソース競合調停方法、及びプログラム | |
EP4348423A1 (en) | A computer software module arrangement, a circuitry arrangement, an arrangement and a method for improved autonomous adaptation of software monitoring of realtime systems | |
JP2018181123A (ja) | リソース割当制御システム、リソース割当制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220208 Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province Applicant after: Huawei Cloud Computing Technologies Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |