CN111131064B - 数据中心网络中多播流调度方法 - Google Patents

Abstract

本发明公开了一种数据中心网络中多播流调度方法，其包括S1获取当前周期内的待传输多播流集合；S2查找待传输多播流集合中满足RCS交换机容量约束的可调度不拆分多播流子集和与之匹配的RCS交换机的配置图H(t)_usplit，并将不拆分多播流子集加入当前周期的可调度流集合；S3根据RCS的重配置时延和S2中可调度流集合，计算当前周期的持续时间；S4去除待传输多播流集合中不拆分多播流子集，查找满足RCS交换机容量约束的可调度拆分多播流子集和与之匹配的RCS配置，将拆分多播流子集加入可调度流集合，RCS配置添加到H(t)_usplit中形成RCS交换机的配置图H(t)；S5将可调度流集合、周期持续时间和H(t)作为调度方案输出。

Description

数据中心网络中多播流调度方法

技术领域

本发明涉及网络中的多播流转发技术，具体涉及数据中心网络中多播流调度方法。

背景技术

当今许多云应用频繁产生多播流量，使得多播通信已经成为数据中心网络中一种主要的通信模式，但是，云服务提供商目前难以支持高效多播传输。幸运的是，新一代高速RCS交换机能够在物理层支持高速多播传输和快速重配置；通过部署新一代电路RCS交换机，能够实现数据中心机架间的高性能多播传输，以及快速地重构数据中心网络拓扑，为优化数据中心多播流带来新的机遇。

目前，已经有一些关于在可配置数据中心网络中优化多播传输流的研究，例如Blast调度方案，其主要思想是利用物理层多播技术的高性能多播传输能力来提高数据中心网络中的单点到多点的数据传播的性能。虽然Blast能够实现多播流的调度，但其对多播流的调度方法较为简单。Blast是非抢占式的，不能根据流量动态性，调整流传输顺序；另外，Blast也不支持可拆式多播流调度，只在RCS交换机电路连接完全匹配特定多播流所有目的机架节点的情况下单次传输该多播流数据，从而无法充分利用RCS交换机的巨大容量。

针对物理层多播问题，相关研究人员还进一步提出了Creek调度方案，Creek调度方案采用了抢占式调度的方式，将一个传输请求分多次进行传输，使得小的传输请求不会被大的传输请求阻塞，从而能够减小平均请求完成时间，提升性能。虽然Creek方法在Blast的基础上考虑了抢占式调度来减小平均请求完成时间来提升性能，但Creek只有在当前电路连接下才能将该请求传输给其所有目的节点时，这导致不能提前将该请求数据传输给部分空闲的目的节点，从而不能完全利用空闲链路。

发明内容

针对现有技术中的上述不足，本发明提供的数据中心网络中多播流调度方法解决了现有技术中多播流传输过程不能提前将请求数据传输给部分空闲的目的节点的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种数据中心网络中多播流调度方法，其包括：

步骤S1、获取当前周期内的待传输多播流集合；

步骤S2、查找待传输多播流集合中满足RCS交换机容量约束的可调度不拆分多播流子集和与之匹配的RCS交换机的配置图H(t)_usplit，并将不拆分多播流子集加入当前周期的可调度流集合；

步骤S3、根据RCS的重配置时延和步骤S2中当前周期的可调度流集合，计算当前周期的持续时间；

步骤S4、去除待传输多播流集合中不拆分多播流子集，在H(t)_usplit基础上，查找满足RCS交换机容量约束的可调度拆分多播流子集和与之匹配的RCS配置，并将拆分多播流子集加入可调度流集合，将RCS配置添加到H(t)_usplit中形成RCS交换机的调度配置图H(t)；

步骤S5、将可调度流集合、周期持续时间和RCS交换机的调度配置图H(t)作为调度方案输出。

本发明的有益效果为：

(1)适用性好。本方案的调度方法能够有效提升数据中心链路带宽利用率，相比于基于单播的流调度方案，本方案中的RCS交换机更好的适应了当前数据中心业务需求。

(2)支持数据中心应用多播流高效传输，减小多播流完成时间。本方案在RCS交换机容量不足以建立出完全匹配多播流的所有接收节点的电路连接时，建立匹配多播流的部分接受节点的电路连接并允许先传输数据到已匹配接收节点，以实现减小多播流完成时间，提高多播流传输效率。

(3)提高网络吞吐量。本方案与现有技术方案Blast和Creek相比，本方案的网络吞吐量显著提升，在调度前期的吞吐量均高于其余两种方案的吞吐量，后续只有少量的请求需要调度，故本方案能显著提升数据中心网络吞吐。

附图说明

图1为数据中心网络中多播流调度方法的流程图。

图2为数据中心物理网络一个实施例的流程图。

图3为数据中心的多播流调度时的示例；其中a为无拆分多播流传输，b为可拆分多播流传输。

图4为平均多播流完成时间对比图。

图5为网络吞吐量对比图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

本方案的RCS交换机(可重配置电路交换机RCS)区别于传统包交换机，其配置和使用约束如下：

1)一个P2MPC(Port-to-Multi-Port Circuits)连接独占其包含的入/出端口，即一个入端口只能建立一个有向P2MPC连接；一个出端口仅能与一个入端口建立电路连接，一个P2MPC的出端口只能接收到该P2MPC的入端口流出的数据。

2)重新配置RCS交换机的P2MPC连接需要一定时间，在重配置期间，RCS交换机无法发送任何数据，所有流经历重配置带来的时延；

3)本方案中，RCS交换机的一个端口连接一个ToR机架，因此RCS交换机端口的带宽容量决定了单个机架数据传输速率的上限。

多播流(Multicast flow)指的是从一个源服务器节点到多个目的服务器节点的数据传输需求。一个多播流的完成时间定义为最晚完成数据传输的目的节点的完成时间。不可拆多播流要求其源节点在某一数据传输时刻向其所有目的节点发送数据，即此时RCS交换机需要配置匹配该多播流源节点和所有目的节点的电路连接。可拆多播流允许其源节点在某一数据传输时刻只向其部分目的节点发送数据，即此时RCS交换机仅需要配置匹配该多播流源节点和部分接收数据的目的节点的电路连接。

在方案中数据中心物理网络包括两部分：电路交换网络和包交换网络，如图2所示，电路交换网络主要由RCS交换机组成，每个ToR机架连接到RCS交换机的一个端口。通过改变RCS交换机内部的电路连接配置，机架之间的连通情况也随之改变。

本方案考虑一个在线系统，网络中动态产生多播流传输需求，数据中心电路交换网络的RCS交换机的电路连接配置被建模为配置图H＝(N,E)，按周期配置RCS交换机的电路连接，不同周期可配置不同的RCS交换机电路连接，因此H可进一步分解为多个时间周期的配置图H＝{H(1)…,H(t),....}，其中H(t)＝(N,E^t)表示周期t的图，N＝{R₁,R₂,…,R_n}表示物理节点的集合，E^t表示在周期t内RCS交换机的电路连接的集合。

在某个周期t，最大化网络吞吐的多播流调度优化问题中，存在以下约束，数学表示如下：

公式(1)为多播流调度优化问题的优化目标，即最大化周期t时间平均网络吞吐量，其中

是在时间(θ^t+δ)内传输的数据总量，θ^t是周期t可传输数据的时间长度，δ是RCS交换机的重配置时延。

不等式(2)约束在周期t内RCS交换机的出端口只能与一个入端口建立电路连接；不等式(3)约束从机架i流入到RCS交换机的所有流的传输速率总和不超过RCS交换机的单端口带宽容量b_c。不等式(4)约束每条多播流f，仅当RCS交换机配置了从其发送方机架节点s_f到目的节点所在机架d∈d_f的电路连接时，才可能传输数据。约束(5)与(6)一起表示一个多播流f至少有一个接收节点被调度时被调度。

另外，多播流调度优化问题目标还能是最小化流完成时间，可用公式(7)表示，其中

是多播流f在周期t内没有完成时，其接收目的节点d经历的传输时间；

是当多播流f在周期t内完成时，其接收目的节点d的传输完成时间。

基于上述对数据中心网络基本框架的大体介绍，下面对数据中心网络中多播流调度方法具体实施过程进行说明：

如图1所示，其示出了数据中心网络中多播流调度方法的流程图；如图1所示，该方法S包括步骤S1至步骤S5。

在步骤S1中，获取当前周期内的待传输多播流集合；其中待传输多播流集合包括上一周期t-1开始时间到本周期t开始时间内提交到系统的新多播流传输请求集合及周期t-1结束时仍未完成的可调度流集合(可调度流集合中可能存在部分拆分过的子流)。

在步骤S2中，查找待传输多播流集合中满足RCS交换机容量约束的可调度不拆分多播流子集和与之匹配的RCS交换机的配置图H(t)_usplit，并将不拆分多播流子集加入当前周期的可调度流集合；

在本发明的一个实施例中，所述步骤S2进一步包括：

步骤S21、初始化包含所有机架节点的RCS交换机的配置图H(t)_usplit及不可拆多播流子集为空，并根据调度优先级对待传输多播流集合中的多播流进行降序排序；

步骤S22、遍历待传输多播流集合中的多播流或被拆分过的多播流的子流，并采用电路创建算法更新多播流或子流的标记的取值(取值即是否能够在该周期调度)及RCS交换机的配置图H(t)_usplit；

步骤S23、将标记的取值为ture的多播流或子流加入不可拆多播流子集中，并输出不可拆多播流子集和更新后的RCS交换机的配置图H(t)_usplit。

在步骤S3中，根据RCS的重配置时延和步骤S2中当前周期的可调度流集合，计算当前周期的持续时间；在本发明的一个实施例中，所述步骤S3进一步包括：

步骤S31、将不可拆多播流子集中的多播流按照数据量进行升序排序，并初始化集合

索引k_index＝0；

步骤S32、令k_index＝k_index+1，读取不可拆多播流子集中k_index对应的多播流，并判断k_index是否小于等于不可拆多播流子集中多播流总条数，若是进入步骤S33，否则进入步骤S38；

步骤S33、根据服务器单个NIC端口带宽b_s，计算可能的传输时间长度θ′：

其中，GETSIZE()为不可拆多播流子集

中索引为k_index的多播流的数据量；

为不可拆多播流子集

中索引为k_index的多播流；

步骤S34、计算参数u_total＝n×b_c×(θ′+δ)，令RCS交换机利用率u_effective＝0，变量kk_index＝0；

其中，n为连接到RCS交换机的顶层交换机数量；b_c为RCS交换机端口带宽；δ为RCS交换机电路的重新配置延时；

步骤S35、令kk_index＝kk_index+1，判断参数kk_index是否小于或等于不可拆多播流子集中多播流总条数，若是进入步骤S36，否则执行步骤S37；

步骤S36、更新RCS交换机利用率u_effective，并返回步骤S35，其中：

为不可拆多播流子集中索引为kk_index的多播流的目的节点个数；

步骤S37、将

加入u_map中，返回步骤S32；

步骤S38、查找u_map中θ′对应的最大u_effective，并将查找到的最大u_effective的θ′作为当前周期的持续时间θ^t；

步骤S39、判断θ^t是否大于长度阈值θ^th，若是，令θ^t等于u_map中最接近θ^th的θ′，并输出θ^t；否则直接输出θ^t；

在步骤S4中，去除待传输多播流集合中不拆分多播流子集，在RCS交换机配置图H(t)_usplit基础上，查找满足RCS交换机容量约束的可调度拆分多播流子集和与之匹配的RCS配置，并将拆分多播流子集加入可调度流集合，将RCS配置添加到RCS交换机的配置图H(t)_usplit中形成RCS交换机的调度配置图H(t)；

待传输多播流集合不可拆多播流子集实施时，本方案优选所述步骤S4进一步包括：

步骤S41、获取RCS交换机的配置图H(t)_usplit，并采用待传输多播流集合去除不可拆多播流子集中的多播流，将余下多播流构成流集合；

步骤S42、初始化拆分多播流子集为空，RCS交换机的调度配置图H(t)等于RCS交换机的配置图H(t)_usplit，并按优先级对流集合内的多播流进行降序排序；

步骤S43、判断是否已遍历流集合中的每个多播流，若是进入步骤S49，否则进入步骤S44；

步骤S44、初始化集合

将降序排序后的流集合中未被调度的多播流拆分成子流后存入集合SF_f中；

步骤S45、判断集合SF_f中的每个子流是否已遍历，若是返回步骤S43，否则进入步骤S46；

步骤S46、选取未遍历的子流，并采用电路创建算法更新子流的标记的取值及RCS交换机的调度配置图H(t)；

步骤S47、判断子流的标记的取值是否为ture，若是进入步骤S48，否则返回步骤S45；

步骤S48、将子流加入拆分多播流子集，并删除集合SF_f中已加入拆分多播流子集的子流，并返回步骤S45；

步骤S49、输出RCS交换机的调度配置图H(t)和拆分多播流子集。

在步骤S5中，将可调度流集合、周期持续时间和RCS交换机的调度配置图H(t)作为调度方案输出。

在本发明的一个实施例中，所述采用电路创建算法更新多播流或子流的标记的取值及RCS交换机的配置图H(t)或H(t)_usplit进一步包括：

步骤A1、判断RCS交换机的配置图H(t)_usplit或调度配置图H(t)中的发送方机架节点s_f是否有剩余容量，若没有，则输出多播流或子流的标记的取值为False；否则，进入步骤A2；

步骤A2、初始化集合

集合

步骤A3、判断与多播流或子流的目的服务器节点连接的机架集合d_f中的接收机架节点d是否已遍历，若是进入步骤A6，否则执行步骤A4；

步骤A4、选取未遍历的接收机架节点d，判断RCS交换机的配置图H(t)_usplit或调度配置图H(t)中的接收机架节点d的前驱是否为发送方机架节点s_f，若是，则将接收机架节点d加入集合

并返回步骤A3，否则进入步骤A5；

步骤A5、判断RCS交换机的配置图H(t)_usplit或调度配置图H(t)中的接收机架节点d入度是否为零，若是，则将接收机架节点d的加入集合

并返回步骤A3；否则直接返回步骤A3；

步骤A6、若该多播流或子流为拆分多播流，且

则输出多播流或子流的标记的取值为False，否则，进入步骤A7，len(.)为获取长度；

步骤A7、若该多播流或子流为不拆分多播流，且

则输出多播流或子流的标记的取值为False，否则，进入步骤A8，|d_f|为与多播流的目的服务器节点连接的机架集合中接收机节点数量；

步骤A8、若在RCS交换机的配置图H(t)_usplit或调度配置图H(t)中发送方机架节点s_f的出度为零，则连接发送方机架节点s_f与

中的所有接收机架节点d的边；否则，扩展连接发送方机架节点s_f与

中未连接的接收机架节点d的边；

步骤A9、减少发送方机架节点s_f的剩余容量，之后输出多播流或子流的标记的取值为True及更新后的RCS交换机的配置图H(t)_usplit或调度配置图H(t)。

下面结合图3对本方案的调度方法可以提高传输效率进行说明：

在图3中，RCS交换机的三个端口分别连接一个ToR交换机，带传输数据为三个大小单位1的多播流：f₁，f₂,f₃，假设b_s＝b_c，都为单位1，b_s表示服务器单个NIC端口带宽，b_c表示RCS交换机端口带宽；如果使用不可拆多播流调度方案，将需要三个单位周期时间完成所有流的传输，如图2中a，RCS交换机在每个周期配置匹配至多一条多播流的电路连接；然而使用可拆多播流，RCS交换机在每个周期配置匹配两条多播流(包含部分匹配)的电路连接，将只需要两个单位周期时间完成所有流传输，相较不可拆多播流调度方案，平均流完成时间提高了约16.7％。

2.1.1实施部署环境

该发明技术可以部署在数据中心网络中，提高数据中心网络中多播流量传输效率和网络吞吐量。

多播传输流是许多数据中心应用的常见通信模式，如发布-订阅服务中的数据分发，分布式缓存的基础结构更新和状态机复制。随着基于大数据处理框架的应用的不断涌现和广泛使用，数据中心网络中的多播数据流的规模呈爆炸性增长，给数据中心网络传输带来前所未有的压力。提高数据中心网络中多播流的传输效率，不仅能够改善数据中心应用性能，而且能有效提高网络资源利用率。

通过在数据中心网络部署RCS交换机，实现可重构数据中心，赋能数据中心支持多播传输和动态改变网络拓扑，从而提高数据中心网络中多播流的传输效率，适应网络流量动态性，进而提高全网网络利用率。

本方案的调度方法的应用环境为：数据中心服务提供商可以将本方案的调度方法部署在可重构数据中心网络中，通过实时收集数据中心的多播流传输请求信息，根据可重配置RCS交换机的可用资源及特点，网络拓扑等信息，计算最优RCS交换机电路连接配置和多播流调度方案，实现高效数据中心网络多播传输。

下面将本方案的调度方法与现有的技术方案Blast和Creek进行对比，以对本方案在网络吞吐量和完成时间上具有的优越性验证：

采用本方案调度方法、现有的技术方案Blast和Creek在相同配置环境下对相同的调度流进行传输，平均多播流完成时间如图4所示，网络吞吐量对比如图5所示。

从图4可以看出，本方案的调度方法的性能相比于Blast和Creek均有多倍的提升，同时随着网络拓扑中机架数量的增加，平均多播流完成时间提升的倍数逐渐增加。故相比于现有技术方案，本方案的调度方法能够显著减小多播流完成时间，提高多播流传输效率。

从图5可以看出，本方案的调度方法的网络吞吐量显著提升，在3316ms前吞吐量均高于其余两种方案的吞吐量，后续下降是由于大部分请求已经完成，只有少量的请求需要调度，故本方案的调度方法能显著提升数据中心网络吞吐。

Claims (4)

1.数据中心网络中多播流调度方法，其特征在于，包括：

步骤S1、获取当前周期内的待传输多播流集合；

步骤S2、查找待传输多播流集合中满足RCS交换机容量约束的可调度不拆分多播流子集和与之匹配的RCS交换机的配置图H(t)_usplit，并将不拆分多播流子集加入当前周期的可调度流集合；

步骤S3、根据RCS的重配置时延和步骤S2中当前周期的可调度流集合，计算当前周期的持续时间；

步骤S4、去除待传输多播流集合中不拆分多播流子集，在H(t)_usplit基础上，查找满足RCS交换机容量约束的可调度拆分多播流子集和与之匹配的RCS配置，并将拆分多播流子集加入可调度流集合，将RCS配置添加到H(t)_usplit中形成RCS交换机的调度配置图H(t)；

步骤S5、将可调度流集合、周期持续时间和RCS交换机的调度配置图H(t)作为调度方案输出。

2.根据权利要求1所述的数据中心网络中多播流调度方法，其特征在于，所述步骤S2进一步包括：

步骤S21、初始化包含所有机架节点的RCS交换机的配置图H(t)_usplit及不可拆多播流子集为空，并根据调度优先级对待传输多播流集合中的多播流进行降序排序；

步骤S22、遍历待传输多播流集合中的多播流或被拆分过的多播流的子流，并采用电路创建算法更新多播流或子流的标记的取值及H(t)_usplit；

步骤S23、将标记的取值为ture的多播流或子流加入不可拆多播流子集中，并输出不可拆多播流子集和更新后的H(t)_usplit；

采用电路创建算法更新多播流或子流的标记的取值及RCS交换机的配置图H(t)_usplit或调度配置图H(t)进一步包括：

步骤A1、判断RCS交换机的配置图H(t)_usplit或调度配置图H(t)中的发送方机架节点s_f是否有剩余容量，若没有，则输出多播流或子流的标记的取值为False；否则，进入步骤A2；

步骤A2、初始化集合

集合

步骤A3、判断与多播流或子流的目的服务器节点连接的机架集合d_f中的接收机架节点d是否已遍历，若是进入步骤A6，否则执行步骤A4；

步骤A4、选取未遍历的接收机架节点d，判断RCS交换机的配置图H(t)_usplit或调度配置图H(t)中的接收机架节点d的前驱是否为发送方机架节点s_f，若是，则将接收机架节点d加入集合

并返回步骤A3，否则进入步骤A5；

步骤A5、判断RCS交换机的配置图H(t)_usplit或调度配置图H(t)中的接收机架节点d的入度是否为零，若是，则将接收机架节点d加入集合

并返回步骤A3；否则直接返回步骤A3；

步骤A6、若该多播流或子流为拆分多播流，且

则输出多播流或子流的标记的取值为False，否则，进入步骤A7，len(.)为获取长度；

步骤A7、若该多播流或子流为不拆分多播流，且

则输出多播流或子流的标记的取值为False，否则，进入步骤A8，|d_f|为与多播流的目的服务器节点连接的机架集合中接收机节点数量；

步骤A8、若在RCS交换机的配置图H(t)_usplit或调度配置图H(t)中发送方机架节点s_f的出度为零，则连接发送方机架节点s_f与

中的所有接收机架节点d的边；否则，扩展连接发送方机架节点s_f与

中未连接的接收机架节点d的边；

步骤A9、减少发送方机架节点s_f的剩余容量，之后输出多播流或子流的标记的取值为True及更新后的RCS交换机的配置图H(t)_usplit或调度配置图H(t)。

3.根据权利要求1所述的数据中心网络中多播流调度方法，其特征在于，所述步骤S3进一步包括：

步骤S31、将不可拆多播流子集中的多播流按照数据量进行升序排序，并初始化集合

索引k_index＝0；

步骤S32、令k_index＝k_index+1，读取不可拆多播流子集中k_index对应的多播流，并判断k_index是否小于等于不可拆多播流子集中多播流总条数，若是进入步骤S33，否则进入步骤S38；

步骤S33、根据服务器单个NIC端口带宽b_s，计算可能的传输时间长度θ′：

其中，GETSIZE()为不可拆多播流子集

中索引为k_index的多播流的数据量；

为不可拆多播流子集

中索引为k_index的多播流；

步骤S34、计算参数u_total＝n×b_c×(θ′+δ)，令RCS交换机利用率u_effective＝0，变量kk_index＝0；

其中，n为连接到RCS交换机的顶层交换机数量；b_c为RCS交换机端口带宽；δ为RCS交换机电路的重新配置延时；

步骤S35、令kk_index＝kk_index+1，判断参数kk_index是否小于或等于不可拆多播流子集中多播流总条数，若是进入步骤S36，否则执行步骤S37；

步骤S36、更新RCS交换机利用率u_effective，并返回步骤S35，其中：

为不可拆多播流子集中索引为kk_index的多播流的目的节点个数；

步骤S37、将

加入u_map中，返回步骤S32；

步骤S38、查找u_map中θ′对应的最大u_effective，并将查找到的最大u_effective的θ′作为当前周期的持续时间θ^t；

步骤S39、判断θ^t是否大于长度阈值θ^th，若是，令θ^t等于u_map中最接近θ^th的θ′，并输出θ^t；否则直接输出θ^t；

4.根据权利要求1所述的数据中心网络中多播流调度方法，其特征在于，所述步骤S4进一步包括：

步骤S41、获取RCS交换机的配置图H(t)_usplit，并采用待传输多播流集合去除不可拆多播流子集中的多播流，将余下多播流构成流集合；

步骤S42、初始化拆分多播流子集为空，RCS交换机的调度配置图H(t)等于RCS交换机的配置图H(t)_usplit，并按优先级对流集合内的多播流进行降序排序；

步骤S43、判断是否已遍历流集合中的每个多播流，若是进入步骤S49，否则进入步骤S44；

步骤S44、初始化集合

将降序排序后的流集合中未被调度的多播流拆分成子流后存入集合SF_f中；

步骤S45、判断集合SF_f中的每个子流是否已遍历，若是返回步骤S43，否则进入步骤S46；

步骤S46、选取未遍历的子流，并采用电路创建算法更新子流的标记的取值及RCS交换机的调度配置图H(t)；

步骤S47、判断子流的标记的取值是否为ture，若是进入步骤S48，否则返回步骤S45；

步骤S48、将子流加入拆分多播流子集，并删除集合SF_f中已加入拆分多播流子集的子流，并返回步骤S45；

步骤S49、输出RCS交换机的调度配置图H(t)和拆分多播流子集。

Images