CN110166372B - 在基于光电路交换机的数据中心中的在线调度协流的方法 - Google Patents

Abstract

本发明公开了一种在基于光电路交换机的数据中心中的在线调度协流的方法，包括：步骤1，构造协流的优先级队列；步骤2，构造新协流传输需求矩阵；步骤3，协流调度。本发明的在线调度协流的调度方法，适用于使用光电路交换机的数据中心网络中，能提高数据中心网络的传输性能。该方法具有如下优势：为首个在光电路交换机中在线调度协流的方法，相比经典的调度方法，能够做到显著的性能提升，大大缩短数据流的传输时间，加快数据中心网络对应用的响应。

Description

在基于光电路交换机的数据中心中的在线调度协流的方法

技术领域

本发明涉及网络传输领域，尤其涉及一种数据流在数据中心中的传输调度方法。

背景技术

近年来，各式各样的大数据应用已经占成为了人们日常生活中的不可或缺的一部分，这些应用从日常的衣食住行到学习工作的方方面面，都为人们提供着大大小小的便利。在人们享受着大数据应用带来的便利时，可以知道，这些大数据应用的强大离不开云计算服务的支持，而云计算服务的背后正是由强大的数据中心网络为其提供支撑。

在数据中心网络中，与传统广域网不同的是，数据中心中服务的各类应用有比较明显的结构特征，因为在数据中心网络中广泛存在的数据流也和广域网中的数据流构成有明显的差别。在数据中心网络中，由查询，搜索等功能产生的短数据流数量非常多，但是总量在数据中心网络中的总流量占比不高，而复杂计算等长数据流的数量很少，但是总量在总流量中占比非常高。如果简单地采用广域网中的调度算法和传输协议来执行数据中心内部数据流的传输，那么数据中心网络的传输性能将会急剧下降。有实验表明，传统的TCP协议和调度算法会使得数据中心网络中的大部分短数据流因为等待被长数据流占据的交换机缓存队列而大大增加传输时间，而这些短数据流往往需求的是快速的响应，所以，传统的TCP协议和调度算法会极大地降低用户体验。那么，如何高效地调度数据中心网络中的数据流，使得其能够对现有的应用提供快速的响应以及提供更好的用户体验是需要关注的重点问题。

在2014年，有学者对数据中心中常用的大数据计算框架进行了分析，提出了一种新的由数据流组成的数据结构，称为协流。协流，指的是一组数据流的集合，这些数据流通常具有相同的通信目标。协流，通常存在于分布式的、多阶段的应用中，在这些应用中，通常有着明显的分阶段计算的特征，所以把不同阶段内部的数据流抽象成一个协流，进而加速协流的传输就可以减少各个通信阶段的完成时间。但目前在基于光电路交换机的数据中心中并没有一种在线调度协流的方法，而目前的调度方法并无法有效调度协流来提升数据流的传输时间。

发明内容

基于现有技术所存在的问题，本发明的目的是提供一种在基于光电路交换机的数据中心中的在线调度协流的方法，能解决目前的调度方法无法有效调度协流来提升数据流传输时间的问题。

本发明的目的是通过以下技术方案实现的：

本发明实施方式提供一种在基于光电路交换机的数据中心中的在线调度协流的方法，包括：

步骤1，构造协流的优先级队列：计算出所有已到达数据中心的协流的各传输流量阈值，利用得到的各传输流量阈值，按传输流量阈值越小的协流的优先权越高的方式，用所有已到达的协流构造协流优先级队列；

步骤2，构造新协流传输需求矩阵：按照所述步骤1中构造好的协流的优先级队列，确定已到达数据中心的协流的调度优先级，根据所述协流的调度优先级，依次将协流传输需求矩阵按光电路交换机中的重配置延迟时间进行对齐形成新协流传输需求矩阵，将所述新协流传输需求矩阵对齐后补充成双随机矩阵，之后用伯克霍夫-冯诺依曼分解将所述双随机矩阵分解为多个置换矩阵与矩阵系数的乘积，每一个置换矩阵作为光电路交换机中的电路配置，相对应的置换矩阵的矩阵系数为该电路配置所持续的时间；

步骤3，协流调度：按照所述步骤2得到的对应电路配置的置换矩阵和矩阵系数，光电路交换机根据置换矩阵中元素的行列号和元素值，设置对应电路及电路持续时间；在某个协流在光电路交换机调度的过程中，查询每一次的电路配置，确认是否存在电路的空闲时间，若是，则遍历现在已到达但还未完成的协流，如果还未完成的协流在对应的电路上有传输需求，则让还未完成的协流占据空闲的电路完成部分数据传输。

由上述本发明提供的技术方案可以看出，本发明实施例提供的在基于光电路交换机的数据中心中的在线调度协流的方法，其有益效果为：

通过按传输流量阈值先构造协流的优先级队列，再根据协流的优先级队列得出新协流传输需求矩阵，进一步依据新协流传输需求矩阵在光电路交换机中对电路和电路持续时间进行配置，实现了依据协流配置光电路交换机，完成协流调度。该方法能在光电路交换机中在线调度协流，相比经典的调度算法，由于基于传输数据流大小和光电路交换机固有硬件延迟特性，对传输数据流大小进行毕归整化等方式处理，能够做到显著的性能提升，大大缩短数据流的传输时间，加快数据中心网络对应用的响应。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的在基于光电路交换机的数据中心中的在线调度协流的方法流程图；

图2为本发明实施例提供的数据中心网络的结构抽象成光电路交换机后的交换模型示意图；

图3为本发明实施例提供的方法分解协流传输需求矩阵的示意图。

具体实施方式

下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

如图1、2所述，本发明一种在基于光电路交换机的数据中心中的在线调度协流的方法，是一种如何在光电路交换机中进行电路配置，并且合理安排协流在电路上传输的方法，能加快协流在光电路交换机中的传输，使得各类上层应用的数据流的传输时间缩短，加快数据中心网络对应用的响应，向用户提供更好的用户体验，包括：

步骤1，构造协流的优先级队列：计算出所有已到达数据中心的协流的各传输流量阈值，利用得到的各传输流量阈值，按传输流量阈值越小的协流的优先权越高的方式，用所有已到达的协流构造协流优先级队列；

步骤2，构造新协流传输需求矩阵：按照所述步骤1中构造好的协流的优先级队列，确定已到达数据中心的协流的调度优先级，根据所述协流的调度优先级，依次将协流传输需求矩阵按光电路交换机中的重配置延迟时间进行对齐形成新协流传输需求矩阵，将所述新协流传输需求矩阵对齐后补充成双随机矩阵，之后用伯克霍夫-冯诺依曼分解将所述双随机矩阵分解为多个置换矩阵与矩阵系数的乘积，每一个置换矩阵作为光电路交换机中的电路配置，相对应的置换矩阵的矩阵系数为该电路配置所持续的时间；

步骤3，协流调度：按照所述步骤2得到的对应电路配置的置换矩阵和矩阵系数，光电路交换机根据置换矩阵中元素的行列号和元素值，设置对应电路及电路持续时间；在某个协流在光电路交换机调度的过程中，查询每一次的电路配置，确认是否存在电路的空闲时间，若是，则遍历现在已到达但还未完成的协流，如果还未完成的协流在对应的电路上有传输需求，则让还未完成的协流占据空闲的电路完成部分数据传输。

上述方法的步骤3中，让还未完成的协流占据空闲的电路完成部分数据传输的方式如下：选择能从本次填充空闲时间中得到最大收益的协流，作为占据空闲的电路完成部分数据传输的协流。

上述方法中，选择能从本次填充空闲时间中得到最大收益的协流为：

若两个协流在某一时刻都能填充到某条空闲的电路上，其中的第一协流能填充的时间比第二协流能够填充的时间长，若第二协流的此次填充对于该协流整体的协流完成时间提高幅度大于第一协流的此次填充对于该协流整体的协流完成时间提高幅度，则选择第二协流填充。

上述方法的步骤1中，协流的传输流量阈值为：一个协流在光电路交换机中传输时所需传输的总流量的最大值。

上述方法的步骤1中，计算出已达到数据中心的各协流的传输流量阈值包括：

根据已达到数据中心的协流的到达时间和协流所需传输数据量的大小，计算得出传输流量阈值。

上述方法中，对某个协流的流量进行调度分解的示意如图3所示(图3示意了在一个2×2端口的光电路交换机中对两个协流D1、D2进行分解的示例)，首先，对于一个新的协流流量需求矩阵D1，进行对齐和填补的操作，将其补充成D1”矩阵，然后在将其按照本发明的方法进行伯克霍夫-冯诺依曼分解，分解后得到传输配置矩阵和剩余需求矩阵，再根据本发明的方法，让剩余需求矩阵D2填充一些流量到传输配置矩阵中，使得矩阵D2转换为剩余需求矩阵D2，单步的流量调度则完成了。

本发明的在线调度协流的调度方法，适用于使用光电路交换机的数据中心网络中，能提高数据中心网络的传输性能。该方法具有如下优势：为首个在光电路交换机中在线调度协流的方法，相比经典的调度方法，能够做到显著的性能提升，大大缩短数据流的传输时间，加快数据中心网络对应用的响应。

下面对本发明实施例具体作进一步地详细描述。

本发明实施例提供一种在基于光电路交换机的数据中心中在线调度协流的方法，该方法主要包括以下步骤(参见图1、2)：

步骤1，计算协流相关参数：将协流的相关数据特性转换成所需要的参数；包括协流的到达时间，协流的所需要传输的数据量的大小；通过得到协流所需要传输的数据量的大小，对每一个协流计算出一个传输流量阈值，计算方法是求协流对应的传输需求矩阵中各行各列之和的最大值；同时，该传输流量阈值表示一个协流在光电路交换机中传输时所需要传输的流量总量的最大值，作为给协流进行优先级排列的参数；

步骤2，构造协流的优先级队列：对于所有已经到达的协流，根据上述步骤1中的方法计算出它们各自的传输流量阈值，得到传输流量阈值后，采用启发式算法，类似于短作业优先的调度策略，使得传输流量阈值越小的协流具有越高的优先权，并且据此阈值构建一个传输优先级队列；

步骤3，构造新协流传输需求矩阵：对于每一个协流传输需求矩阵，采用伯克霍夫-冯诺依曼分解方法；伯克霍夫-冯诺依曼定理指出：给定一个矩阵A为双随机矩阵，那么矩阵A一定可以分解成一系列矩阵系数和置换矩阵的乘积。相对应的，在协流的调度过程中，每一个置换矩阵作为光电路交换机中的电路配置，相对应的置换矩阵的矩阵系数也就是该电路配置所持续的时间；但是，使用最原始伯克霍夫-冯诺依曼分解方法会引起光电路交换频繁地重配置，导致网络需要承担频繁重配置带来的高延迟；为了解决这个问题，本发明提出一种对齐操作，将协流中的传输需求按照光电路交换机中的重配置延迟时间进行对齐，对齐的具体计算方法是将协流传输矩阵中传输需求的大小按照光电路交换机中的重配置延迟时间取整，这样做的结果是会增加一些虚拟传输需求在新协流传输需求矩阵中；然后，为了利用伯克霍夫-冯诺依曼分解方法，再将新的协流传输需求矩阵填充成双随机矩阵，并进行伯克霍夫-冯诺依曼分解，得到一系列光电路交换机配置矩阵，以及相应的配置矩阵持续时间，并且据此进行协流传输调度(参见图3)；

步骤4，协流调度过程中电路利用率优化：光电路交换机按照分解后的配置矩阵配置电路时，因填充过程产生的虚拟传输需求会导致某些电路出现空闲时间，为了解决这一问题，本发明提出一种补全操作，在某个协流在光电路交换机调度的过程中，查询每一次的电路配置，确认是否存在电路具有空闲时间，然后遍历现在已经到达但还未完成的协流，如果还未完成的协流在对应的电路上有传输需求，那么就让还未完成的协流占据空闲的电路完成部分数据传输。

进一步的，为使得整体收益更大，在选择填充何种协流的数据流到电路的空闲时间时，选择的是能够从本次填充空闲时间中的得到最大收益的协流，例如：假设有两个协流在某一时刻都能够填充到某条空闲的电路上，第一协流A能够填充的时间比第二协流B能够填充的时间长，但是对于第一协流A本身这个协流来说，此次填充对于它整体的协流完成时间提高不大，而对于第二协流B来说能够大幅提高其整体的完成时间，则应该首先将第二协流B中的数据流用于填充。在这种情况下，使得电路的空闲时间降到最低，使电路利用率最大化，提高网络的传输层效率。

本领域普通技术人员可以理解：实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种在基于光电路交换机的数据中心中的在线调度协流的方法，其特征在于，包括：

步骤1，构造协流的优先级队列：计算出所有已到达数据中心的协流的各传输流量阈值，利用得到的各传输流量阈值，按传输流量阈值越小的协流的优先权越高的方式，用所有已到达的协流构造协流优先级队列；所述协流的传输流量阈值为：一个协流在光电路交换机中传输时所需传输的总流量的最大值；

步骤2，构造协流传输需求矩阵：按照所述步骤1中构造好的协流的优先级队列，确定已到达数据中心的协流的调度优先级，根据所述协流的调度优先级，依次将协流传输需求矩阵按光电路交换机中的重配置延迟时间进行对齐形成新协流传输需求矩阵，将所述新协流传输需求矩阵对齐后补充成双随机矩阵，之后用伯克霍夫-冯诺依曼分解将所述双随机矩阵分解为多个置换矩阵与矩阵系数的乘积，每一个置换矩阵作为光电路交换机中的电路配置，相对应的置换矩阵的矩阵系数为该电路配置所持续的时间；

步骤3，协流调度：按照所述步骤2得到的对应电路配置的置换矩阵和矩阵系数，光电路交换机根据置换矩阵中元素的行列号和元素值设置对应电路，并根据矩阵系数设置电路持续时间；在某个协流在光电路交换机调度的过程中，查询每一次的电路配置，确认是否存在电路的空闲时间，若是，则遍历现在已到达但还未完成的协流，如果还未完成的协流在对应的电路上有传输需求，则让还未完成的协流占据空闲的电路完成部分数据传输。

2.根据权利要求1所述的在基于光电路交换机的数据中心中的在线调度协流的方法，其特征在于，所述方法的步骤3中，让还未完成的协流占据空闲的电路完成部分数据传输的方式如下：

选择能从本次填充空闲时间中得到最大收益的协流，作为占据空闲的电路完成部分数据传输的协流。

3.根据权利要求2所述的在基于光电路交换机的数据中心中的在线调度协流的方法，其特征在于，所述选择能从本次填充空闲时间中得到最大收益的协流为：

若两个协流在某一时刻都能填充到某条空闲的电路上，其中的第一协流能填充的时间比第二协流能够填充的时间长，若第二协流的此次填充对于该协流整体的协流完成时间提高幅度大于第一协流的此次填充对于该协流整体的协流完成时间提高幅度，则选择第二协流填充。

4.根据权利要求1至3任一项所述的在基于光电路交换机的数据中心中的在线调度协流的方法，其特征在于，所述方法的步骤1中，计算出已达到数据中心的各协流的传输流量阈值包括：

根据已达到数据中心的协流的到达时间和协流所需传输数据量的大小，计算得出传输流量阈值。

Images