CN109450809B - 一种数据中心调度系统及方法 - Google Patents

Abstract

本发明公开一种数据中心调度系统及方法，该调度系统可以通过生成胖树的无冲突路径集以确定时刻和路径分配方案，进而保证时刻分配和路径分配的统一性。包括：中心控制器与数据层的信息交互，以及中心控制器的调度策略。其中中心控制器需要从服务器收集虚拟队列长度信息，根据虚拟队列长度信息和随机选择的无冲突数据集确定调度方案，然后向服务器和上行交换机反馈调度方案信息。本发明所设计调度系统只需要当前时刻虚拟队列的长度和前一个时刻所使用的无冲突路径集信息，通过随机替换部分路径生成当前时刻使用的无冲突路径集，可以达到网络内传输零延时。采用的路径替换策略仅和虚拟队列长度相关，可以通过合理设计替换概率，达到最优吞吐量。

Description

一种数据中心调度系统及方法

技术领域

本发明涉及数据中心网络领域，更具体地，涉及一种数据中心调度系统及方法。

背景技术

随着云计算、大数据、虚拟化等新兴技术的飞速发展，数据中心流量和带宽成指数级增长。思科最新报告显示，云数据中心流量在2020年将超过14ZB，较2015年增长262％。数据量和计算量爆炸式增长的背后是数据存储和计算成本的快速增长，这促使数据中心从服务器机房向超大规模部署演进，十万量级、甚至百万量级服务器的数据中心不断增加。

对于超大规模数据中心，需要在庞大的服务器集群间提供高效的互联。而传统的三层数据中心网络设计存在连接超额、潜在阻塞和延时等诸多问题。为了提供充裕的双向带宽，现代数据中心网络通常采用便于扩展的层次性多根网络拓扑。在各种层次型多根网络拓扑结构中，胖树因其简单易用性而备受青睐，近年来已经在很多大型数据中心，如谷歌、阿里、亚马逊等设计方案中被采用。

胖树拓扑的多路径特性一方面可以为数据流调度提供多种路由选择，但另一方面，如果数据流调度不当，会导致部分路径严重拥塞。此外，由于一个超大规模胖树网络中会部署海量交换机和服务器，如果数据流调度在核心网络中执行，会导致调度复杂度极高，计算资源消耗过大。因此，一个较热门的方案是将数据中心网络的调度功能迁移到网络边界。

目前学术界已经有一些成型的网络边界调度方案，其中最为瞩目的当属Fastpass。在Fastpass方案中，需要部署一个中心控制器，用于在每个时刻处理所有服务器的数据包传输时刻和路径分配。这种精确的调度方案可以保证高吞吐量和极低延时，但中心控制器的通信和计算成本非常高。为了降低中心控制器的通信和计算成本，Mordia方案随后被提出。在Mordia方案中，通过对一个时间段的数据需求进行预测来确定该时间段的调度方案，以此来降低中心控制器的通信成本，进一步降低延时。由于一个时间段的数据流与调度方案严格匹配，一旦出现数据需求预测不准，会造成数据包时刻分配和路径分配的偏差，导致更大的延时。因此，如何进一步降低数据中心控制器的调度复杂度，提升数据中心的数据处理能力，是当前大规模数据中心网络的迫切需求。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有数据中心网络调度策略的不足，例如基于胖树拓扑如果数据流调度不当，会导致部分路径严重拥塞，且调度复杂度极高，计算资源消耗过大，基于网络边界调度方案中，Fastpass方案计算成本高，Mordia方案一旦出现数据需求预测不准，会导致更大的延时的技术问题。

为实现上述目的，第一方面，本发明提供一种数据中心调度系统，包括：中心控制器；

所述中心控制器用于连接服务器和上行交换机，所述上行交换机包括：多个核心交换机、多个汇聚交换机以及多个边缘交换机，所述服务器包括多个源服务器和多个目的服务器；

所述中心控制器收集每个服务器所有虚拟队列的长度信息；

所述中心控制器根据胖树拓扑建立所有可能的无冲突路径集的集合，每条路径都是从源服务器上行经过上行交换机中的一个或多个，然后经过下行交换机中的一个或多个下行到目的服务器的一个完整路径，若两条路径若在所述胖树拓扑中不共用一个链路，则这两条路径是无冲突的，每个路径的无冲突的路径构成一个无冲突路径集，所有路径的无冲突路径集的集合构成所述所有可能的无冲突路径集的集合；

所述中心控制器根据每个服务器的虚拟队列长度和所述无冲突路径集的集合确定调度策略，生成每个时刻从源服务器至目的服务器采用的一个无冲突路径集；所述调度策略根据当前时刻虚拟队列信息，有效融合当前时刻随机选择的无冲突路径集与上一个时刻所采用的无冲突路径集，生成当前时刻所采用的无冲突路径集；所述调度策略在每个时刻生成的无冲突路径集还包括：数据包服务时刻分配信息和数据包路由信息；

所述中心控制器将生成的调度策略发送给各个服务器和上行交换机，供服务器确定当前时刻所需服务的数据包，以及上行交换机设置相应的路由表。

可选地，针对每个目的服务器，每个源服务器建立一个虚拟队列来存储相应的数据包。

可选地，所述中心控制器根据胖树拓扑建立所有可能的无冲突路径集的集合，具体包括：

所述中心服务器根据胖树拓扑确定从源服务器到目的服务器的所有完整路径，从源服务器到目的服务器的所有完整路径包括如下几种可能：

从源服务器到边缘交换机的上行链路，从边缘交换机到目的服务器下行链路；

从源服务器到边缘交换机的上行链路，从边缘交换机到汇聚交换机的上行链路，从汇聚交换机到边缘交换机的下行链路，从边缘交换机到目的服务器下行链路；

从源服务器到边缘交换机的上行链路，从边缘交换机到汇聚交换机的上行链路，从汇聚交换机到核心交换机的上行链路，从核心交换机到汇聚交换机的下行链路，从汇聚交换机到边缘交换机的下行链路，从边缘交换机到目的服务器下行链路；

所述中心服务器从所述所有完整路径中确定每个路径的无冲突路径集，所有路径的无冲突路径集的集合构成所述所有可能的无冲突路径集的集合。

可选地，所述中心控制器根据每个服务器的虚拟队列长度和所述无冲突路径集的集合确定调度策略，具体包括：

在t-1时刻，中心控制器生成的调度策略为X(t-1)，在t时刻，数据到达，服务器虚拟队列更新；

中心控制器从各个服务器接收其虚拟队列的长度信息{w_ij(t)}，w_ij(t)表示由第i个源服务器至第j个目的服务器的虚拟队列的长度，i表示源服务器的编号，j表示目的服务器的编号，收到{w_ij(t)}后，中心控制器随机选择一个新的无冲突路径集D(t)，并对D(t)和X(t-1)并集后，对其中由第i个源服务器至第j个目的服务器的路径P_ij进行如下操作：

i)如果路径P_ij属于X(t-1)，但不属于D(t)，该路径的状态保持不变；

ii)如果路径P_ij属于D(t)，判断该路径和X(t-1)是否冲突，如果冲突，不使用该路径，如果不冲突，以概率p_ij(t)使用该路径；

中心控制器根据选择的路径生成当前的路由调度策略X(t)。

可选地，所述概率p_ij(t)的定义和当前服务器虚拟队列的长度{w_ij(t)}有关，具体表达式如下：

第二方面，本发明提供一种数据中心调度方法，包括如下步骤：

收集每个服务器所有虚拟队列的长度信息；

根据胖树拓扑建立所有可能的无冲突路径集的集合，每条路径都是从源服务器上行经过上行交换机中的一个或多个，然后经过下行交换机中的一个或多个下行到目的服务器的一个完整路径，若两条路径若在所述胖树拓扑中不共用一个链路，则这两条路径是无冲突的，每个路径的无冲突的路径构成一个无冲突路径集，所有路径的无冲突路径集的集合构成所述所有可能的无冲突路径集的集合；

根据每个服务器的虚拟队列长度和所述无冲突路径集的集合确定调度策略，生成每个时刻从源服务器至目的服务器采用的一个无冲突路径集；所述调度策略根据当前时刻虚拟队列信息，有效融合当前时刻随机选择的无冲突路径集与上一个时刻所采用的无冲突路径集，生成当前时刻所采用的无冲突路径集；所述调度策略在每个时刻生成的无冲突路径集还包括：数据包服务时刻分配信息和数据包路由信息；

将生成的调度策略发送给各个服务器和上行交换机，供服务器确定当前时刻所需服务的数据包，以及上行交换机设置相应的路由表。

可选地，针对每个目的服务器，每个源服务器建立一个虚拟队列来存储相应的数据包。

可选地，所述根据胖树拓扑建立所有可能的无冲突路径集的集合，具体包括：

根据胖树拓扑确定从源服务器到目的服务器的所有完整路径，从源服务器到目的服务器的所有完整路径包括如下几种可能：

从源服务器到边缘交换机的上行链路，从边缘交换机到目的服务器下行链路；

从源服务器到边缘交换机的上行链路，从边缘交换机到汇聚交换机的上行链路，从汇聚交换机到边缘交换机的下行链路，从边缘交换机到目的服务器下行链路；

从源服务器到边缘交换机的上行链路，从边缘交换机到汇聚交换机的上行链路，从汇聚交换机到核心交换机的上行链路，从核心交换机到汇聚交换机的下行链路，从汇聚交换机到边缘交换机的下行链路，从边缘交换机到目的服务器下行链路；

从所述所有完整路径中确定每个路径的无冲突路径集，所有路径的无冲突路径集的集合构成所述所有可能的无冲突路径集的集合。

可选地，所述根据每个服务器的虚拟队列长度和所述无冲突路径集的集合确定调度策略，具体包括：

在t-1时刻，生成的调度策略为X(t-1)，在t时刻，数据到达，服务器虚拟队列更新；

从各个服务器接收其虚拟队列的长度信息{w_ij(t)}，w_ij(t)表示由第i个源服务器至第j个目的服务器的虚拟队列的长度，i表示源服务器的编号，j表示目的服务器的编号，收到{w_ij(t)}后，随机选择一个新的无冲突路径集D(t)，并对D(t)和X(t-1)并集后，对其中由第i个源服务器至第j个目的服务器的路径P_ij进行如下操作：

i)如果路径P_ij属于X(t-1)，但不属于D(t)，该路径的状态保持不变；

ii)如果路径P_ij属于D(t)，判断该路径和X(t-1)是否冲突，如果冲突，不使用该路径，如果不冲突，以概率p_ij(t)使用该路径；

根据选择的路径生成当前的路由调度策略X(t)。

可选地，所述概率p_ij(t)的定义和当前服务器虚拟队列的长度{w_ij(t)}有关，具体表达式如下：

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

1、本发明将时刻分配和路径分配相统一，引入了无冲突路径集的概念，使得数据包在胖树网络中的传输时延可以接近于0。

2、本发明中心控制器只需要收集服务器虚拟队列的长度信息，不需要再对每个交换机的数据进行收集。

3、本发明所设计的调度策略只需要当前时刻虚拟队列的长度信息，和前一个时刻所使用的无冲突路径集信息，通过随机替换部分路径生成当前时刻使用的无冲突路径集。信息易收集，算法复杂度低。

4、本发明所设计的路径替换策略和虚拟队列长度相关，虚拟队列长度越长，其关联的路径被使用的概率越高。通过合理设计替换概率，可以达到最优吞吐量。

附图说明

图1为本发明的基于经典胖树结构的数据中心网络图；

图2为本发明的基于无冲突路径集的胖树结构转换图；

图3是本发明的基于数据中心网络的调度策略生成示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明针对现有数据中心网络调度策略的不足，提供了一种基于胖树拓扑的低复杂度调度系统，致力于提升数据中心网络的吞吐量和延时性能。

为了实现上述目的，本发明是通过以下技术方案实现的：

一种基于数据中心网络的低复杂度调度系统，包括：新增一个中心控制器连接所有服务器和上行交换机；

针对每个目的服务器，每个源服务器建立一个虚拟队列来存储相应的数据包；

中心控制器负责收集每个服务器所有虚拟队列的长度信息；

中心控制器根据胖树拓扑建立所有可能的无冲突路径集的集合，每条路径都是从源服务器到目的服务器的一个完整路径，可能包含从源服务器到边缘交换机的链路，边缘交换机到汇聚交换机的链路，汇聚交换机到核心交换机的链路，以及从核心交换机下行到目的服务器；

中心控制器根据服务器的虚拟队列长度和无冲突路径集确定调度策略，生成每个时刻所采用的一个无冲突路径集；

所述调度策略根据当前时刻虚拟队列信息，有效融合当前时刻随机选择的无冲突路径集与上一个时刻所采用的无冲突路径集，生成新的无冲突路径集；

所述调度策略在每个时刻生成的无冲突路径集同时包含了数据包服务时刻分配信息和数据包路由信息，大大降低了调度策略的复杂度；

所述调度策略采用了无冲突路径集，因此数据包在胖树网络中传输不需要等待，可以达到网络内传输零延时。传输延时仅在服务器的虚拟队列中产生；

中心控制器将生成的调度方案发送给各个服务器和上行交换机，供服务器确定当前时刻所需服务的数据包，以及交换机设置相应的路由表；

所述的基于数据中心网络调度系统设计的调度策略，可以通过合理设置路径替换的概率，达到网络最大吞吐量。

本发明点在于：(1)针对调度策略时刻分配和路径分配的复杂性和不一致性，本系统采用中心控制器设计调度策略，使得时刻分配和路径分配统一。(2)服务器设置了虚拟队列，用来记录前往各个目的服务器的等待数据包数量。(3)调度策略建立在无冲突路径集基础上，只和前一个时刻使用的无冲突路径集和当前时刻随机选择的无冲突路径集有关，具有低复杂度。

在一个具体的实施例中，考虑一个经典的胖树网络及相应数据包调度路由方案。应用场景考虑一个经典的胖树网络，如图1所示。当两个服务器进行通信时，数据包先通过服务器上行到边缘交换机，边缘交换机再到汇聚交换机，最后上行到核心交换机，核心交换机下行传输至目的服务器。从服务器到核心交换机有多条路径，因此，两个服务器之间的通信路径存在多条。

本发明将将时刻分配和路径分配相统一，引入了无冲突路径集的概念。在一个时刻内，只有无冲突的路径集才会被使用，使得数据包在胖树网络中的传输时延可以接近于0。

为了表示方便，我们先将源服务器至目的服务器对应的胖树网络映射成图2的网络。

如图2所示，左边为|H|个源服务器，右边为相应的目的服务器。每个源服务器根据其|H|-1个目的服务器建立相应的虚拟数据队列。两条路径被定义是无冲突的，当他们在胖树网络中不共用一条边(链路)时。每个最大的无冲突路径集可以包含|H|/2个路径。将所有这样的无冲突路径集的集合定义为D。

在系统初始时刻t＝0，假设源服务器i到目的服务器j的虚拟队列长度为w_ij(0)。这时候服务器控制器随机选取一个无冲突路径集(假设为X(0))进行路由。根据路由X(0)，中心控制器发送相应的路由信息给各个交换机控制器，交换机控制器更新自己的路由表。当数据包到达相应交换机后，就会按照X(0)中的路径进行传输。

对一般情况，假设t-1时刻，中心控制器生成的调度策略为X(t-1)。在t时刻，数据到达，服务器虚拟队列更新。中心控制器从各个服务器接收其虚拟队列信息，即{w_ij(t)}。收到{w_ij(t)}后，中心控制器随机选择一个新的无冲突路径集D(t)，并做如下操作：

i)如果某个路径P_ij属于X(t-1)，但不属于D(t)，该路径的状态保持不变。即如果上一时刻是被使用的，当前时刻继续使用；反之亦然。

ii)如果某个路径P_ij属于D(t)，判断该路径和X(t-1)是否冲突。如果冲突，不使用该路径。如果不冲突，以概率p_ij(t)使用该路径。

概率p_ij(t)的定义就和当前队列长度{w_ij(t)}有关，可能的具体表达式如下。

路径选择完成之后，生成当前的路由调度策略X(t)。中心控制器根据该策略将相应路由设置发送给交换机控制器，供后者更新路由表。

从路径更新过程可以看出，如果某个队列长度越长，那么有路径可以使用的概率越大。通过这样的设置，可以使得胖树网络的吞吐量最大。

从上述过程也可以看出，路由调度策略只与前一时刻的路由策略和当前时刻的队列长度信息有关，算法复杂度低，吞吐量高。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据中心调度系统，其特征在于，包括：中心控制器、服务器和上行交换机；

所述中心控制器用于连接所述服务器和上行交换机，所述上行交换机包括多个核心交换机、多个汇聚交换机以及多个边缘交换机，所述服务器包括多个源服务器和多个目的服务器；

所述中心控制器收集每个服务器所有虚拟队列的长度信息；

所述中心控制器根据胖树拓扑建立所有可能的无冲突路径集的集合，每条路径都是从源服务器上行经过上行交换机中的一个或多个，然后经过下行交换机中的一个或多个下行到目的服务器的一个完整路径，若两条路径若在所述胖树拓扑中不共用一个链路，则这两条路径是无冲突的，每个路径的无冲突的路径构成一个无冲突路径集，所有路径的无冲突路径集的集合构成所述所有可能的无冲突路径集的集合；

所述中心控制器根据每个服务器的虚拟队列长度和所述无冲突路径集的集合确定调度策略，生成每个时刻从源服务器至目的服务器采用的一个无冲突路径集；所述调度策略根据当前时刻虚拟队列信息，有效融合当前时刻随机选择的无冲突路径集与上一个时刻所采用的无冲突路径集，生成当前时刻所采用的无冲突路径集；所述调度策略在每个时刻生成的无冲突路径集还包括：数据包服务时刻分配信息和数据包路由信息；

所述中心控制器将生成的调度策略发送给各个服务器和上行交换机，供服务器确定当前时刻所需服务的数据包，以及上行交换机设置相应的路由表。

2.根据权利要求1所述的数据中心调度系统，其特征在于，针对每个目的服务器，每个源服务器建立一个虚拟队列来存储相应的数据包。

3.根据权利要求1所述的数据中心调度系统，其特征在于，所述中心控制器根据胖树拓扑建立所有可能的无冲突路径集的集合，具体包括：

所述中心控制器根据胖树拓扑确定从源服务器到目的服务器的所有完整路径，从源服务器到目的服务器的所有完整路径包括如下几种可能：

从源服务器到边缘交换机的上行链路，从边缘交换机到目的服务器的下行链路；

从源服务器到边缘交换机的上行链路，从边缘交换机到汇聚交换机的上行链路，从汇聚交换机到边缘交换机的下行链路，从边缘交换机到目的服务器的下行链路；

从源服务器到边缘交换机的上行链路，从边缘交换机到汇聚交换机的上行链路，从汇聚交换机到核心交换机的上行链路，从核心交换机到汇聚交换机的下行链路，从汇聚交换机到边缘交换机的下行链路，从边缘交换机到目的服务器的下行链路；

所述中心控制器从所述所有完整路径中确定每个路径的无冲突路径集，所有路径的无冲突路径集的集合构成所述所有可能的无冲突路径集的集合。

4.根据权利要求2所述的数据中心调度系统，其特征在于，所述中心控制器根据每个服务器的虚拟队列长度和所述无冲突路径集的集合确定调度策略，具体包括：

在t-1时刻，中心控制器生成的调度策略为X(t-1)，在t时刻，数据到达，服务器虚拟队列更新；

中心控制器从各个服务器接收其虚拟队列的长度信息{w_ij(t)}，w_ij(t)表示由第i个源服务器至第j个目的服务器的虚拟队列的长度，i表示源服务器的编号，j表示目的服务器的编号，收到{w_ij(t)}后，中心控制器随机选择一个新的无冲突路径集D(t)，并对D(t)和X(t-1)并集后，对其中由第i个源服务器至第j个目的服务器的路径P_ij进行如下操作：

i)如果路径P_ij属于X(t-1)，但不属于D(t)，该路径的状态保持不变；

ii)如果路径P_ij属于D(t)，判断该路径和X(t-1)是否冲突，如果冲突，不使用该路径，如果不冲突，以概率p_ij(t)使用该路径；

中心控制器根据选择的路径生成当前的路由调度策略X(t)。

5.根据权利要求4所述的数据中心调度系统，其特征在于，所述概率p_ij(t)的定义和当前服务器虚拟队列的长度{w_ij(t)}有关，具体表达式如下：

6.一种数据中心调度方法，其特征在于，包括如下步骤：

收集每个服务器所有虚拟队列的长度信息；

根据胖树拓扑建立所有可能的无冲突路径集的集合，每条路径都是从源服务器上行经过上行交换机中的一个或多个，然后经过下行交换机中的一个或多个下行到目的服务器的一个完整路径，若两条路径若在所述胖树拓扑中不共用一个链路，则这两条路径是无冲突的，每个路径的无冲突的路径构成一个无冲突路径集，所有路径的无冲突路径集的集合构成所述所有可能的无冲突路径集的集合；

根据每个服务器的虚拟队列长度和所述无冲突路径集的集合确定调度策略，生成每个时刻从源服务器至目的服务器采用的一个无冲突路径集；所述调度策略根据当前时刻虚拟队列信息，有效融合当前时刻随机选择的无冲突路径集与上一个时刻所采用的无冲突路径集，生成当前时刻所采用的无冲突路径集；所述调度策略在每个时刻生成的无冲突路径集还包括：数据包服务时刻分配信息和数据包路由信息；

将生成的调度策略发送给各个服务器和上行交换机，供服务器确定当前时刻所需服务的数据包，以及上行交换机设置相应的路由表。

7.根据权利要求6所述的数据中心调度方法，其特征在于，针对每个目的服务器，每个源服务器建立一个虚拟队列来存储相应的数据包。

8.根据权利要求6所述的数据中心调度方法，其特征在于，所述根据胖树拓扑建立所有可能的无冲突路径集的集合，具体包括：

根据胖树拓扑确定从源服务器到目的服务器的所有完整路径，从源服务器到目的服务器的所有完整路径包括如下几种可能：

从源服务器到边缘交换机的上行链路，从边缘交换机到目的服务器的下行链路；

从源服务器到边缘交换机的上行链路，从边缘交换机到汇聚交换机的上行链路，从汇聚交换机到边缘交换机的下行链路，从边缘交换机到目的服务器的下行链路；

从源服务器到边缘交换机的上行链路，从边缘交换机到汇聚交换机的上行链路，从汇聚交换机到核心交换机的上行链路，从核心交换机到汇聚交换机的下行链路，从汇聚交换机到边缘交换机的下行链路，从边缘交换机到目的服务器的下行链路；

从所述所有完整路径中确定每个路径的无冲突路径集，所有路径的无冲突路径集的集合构成所述所有可能的无冲突路径集的集合。

9.根据权利要求7所述的数据中心调度方法，其特征在于，所述根据每个服务器的虚拟队列长度和所述无冲突路径集的集合确定调度策略，具体包括：

在t-1时刻，生成的调度策略为X(t-1)，在t时刻，数据到达，服务器虚拟队列更新；

从各个服务器接收其虚拟队列的长度信息{w_ij(t)}，w_ij(t)表示由第i个源服务器至第j个目的服务器的虚拟队列的长度，i表示源服务器的编号，j表示目的服务器的编号，收到{w_ij(t)}后，随机选择一个新的无冲突路径集D(t)，并对D(t)和X(t-1)并集后，对其中由第i个源服务器至第j个目的服务器的路径P_ij进行如下操作：

i)如果路径P_ij属于X(t-1)，但不属于D(t)，该路径的状态保持不变；

ii)如果路径P_ij属于D(t)，判断该路径和X(t-1)是否冲突，如果冲突，不使用该路径，如果不冲突，以概率p_ij(t)使用该路径；

根据选择的路径生成当前的路由调度策略X(t)。

10.根据权利要求9所述的数据中心调度方法，其特征在于，所述概率p_ij(t)的定义和当前服务器虚拟队列的长度{w_ij(t)}有关，具体表达式如下：

Images