CN110730142A - 一种信息不可知情况下的数据中心流自适应调度方法 - Google Patents

Abstract

本发明提供的一种信息不可知情况下的数据中心流自适应调度方法，在于提出一种基于时间滑动窗口的流调度方法，在不需要提前知道流的信息的前提下实现对小流和大流区分处理，并且同时减轻了降级阈值与流分布不匹配现象。本发明相比较基于数据流信息先验可知方案，不需要提前知道数据流的大小，生存期限等信息，解决了在实际环境中难以实现问题，进而实现在实际网络中，能够快速传输数量庞大的数据流，使用便捷快速，有针对的采用了时间滑动窗口结合ECN来解决多级反馈队列降级阈值与流分布不匹配问题，有效的降低了小流的流完成时间，提高了网络的性能。

Description

一种信息不可知情况下的数据中心流自适应调度方法

技术领域

本发明涉及数据中心网络流调度领域，具体涉及一种信息不可知情况下的数据中心流自适应调度方法。

背景技术

随着互联网的飞速发展，降低网络的延时逐渐成为一个潜在的巨大问题。随着多租户数据中心以及虚拟机技术的发展，使得许多公司可以把应用无缝的移植到云端，例如网页搜索服务，社交网络，推荐系统等。这些实时交互软件在数据中心内生成大量小的对资源的请求和响应，这些请求和响应对于网络时延非常敏感。因此，降低这些小流的流完成时间，提升用户体验已经成为目前一个非常火热的研究热点。

在数据中心网络中，数据流完成时间是衡量数据中心网络传输性能的重要指标之一，很多有关流量传输的研究都是围绕降低小流的延时进行的。传统的降低小流的流完成时间的方式从大的方面可以分为基于流先验信息可知降低流完成时间和基于流先验信息不可知降低流完成时间。基于流先验信息可知的方案尝试实现理想的最短剩余处理时间调度，例如PDQ，pFabric等方案；传统的基于流先验信息不可知的方案通过保持低队列占有率来实现降低小流的流完成时间，例如DCTCP，L2DCT等方案，PIAS提出采用多级反馈队列的方式通过根据流已发送的字节数对流进行降级从而区分出大流和小流，从而模拟短作业优先调度方法。

但是，这些方案主要存在下述问题：1、对于流先验信息可知的一些方案来说，例如PDQ，pFabric等，它需要流的大小，最后期限等信息先验已知或者需要对交换机硬件进行修改。而在实际网络中，由于流的数量极其庞大而且传输速度很快，因此在实际的数据中心网络中我们很难获取到流的信息，并且很多商用交换机也并不支持硬件修改来实现我们的功能，因此这些方案在实际环境中很难部署；2、对于先验信息不可知的一些方案，例如DCTCP，L2DCT等，它们主要通过在主机端执行速率控制从而保持低队列占有率来减少流完成时间，但是这些方案在流调度方面效率很低。而对于PIAS这种采用多级反馈队列对流进行降级从而模拟短作业优先的算法来说，由于数据中心网络中流的分布会随着时空动态改变，因此会出现多级反馈队列降级阈值与数据中心网络中流分布不匹配现象。

发明内容

本发明目的在于提供一种信息不可知情况下的数据中心流自适应调度方法，解决了数据流调度方面效率低的问题，实现了在数据中心网络中对先验信息不可知流模拟短作业优先调度方法，降低了小流的流完成时间。

为达成上述目的，本发明提出如下技术方案：

一种信息不可知情况下的数据中心流自适应调度方法，包括如下步骤：

步骤1：发送端应用发送数据到缓冲区；

步骤2：发送端主机根据每个数据流已发送数据包的字节数与多级反馈队列降级阈值进行比较，根据比较的结果发送端主机对每个数据流待发送的数据包进行优先级标记，相同优先级的数据包按照等候在同一个优先级队列中；

步骤3：交换机端接收发送端应用发送的标记有优先级的数据包，并进行缓存，每隔设定的时间，交换机端统计各个优先级队列结束时间处于时间滑动窗口范围内的结束流的大小，并计算各个优先级队列中数据包的均值，交换机端根据均值重新调整缓冲区内的数据包的优先级；

步骤4：比较缓冲区内数据包的数目，若该数目大于交换机端口ECN标记阈值，将超出阈值的数据包打上CE标记；

步骤5：交换机端按照优先级由高至低的顺序转发各优先级队列中的数据包，相同优先级队列中的数据包按照先进先出的规则转发；

步骤6：接收端接收交换机端转发的数据包，并通知发送端继续发送。

优选的，所述步骤2中发送端主机对每个数据流标记优先级的方法包括如下步骤：

步骤2.1：假设发送端主机维持k个优先级队列P_i以及k-1个降级阈值a_j，其中1＝<i<＝k，1＝<j<＝k-1，且P₁>P₂>....>P_k，a₁<a₂<a₃<...<a_k-1，每个数据流初始发送的数据包都被标记为最高优先级，发送端主机将发送的数据流的总的已发送字节数byte_sent与降级阈值a_j进行匹配，如果a_j-1<byte_sent<＝a_j，则将数据流接下来发送的数据包优先级标记为j；

步骤2.2：根据步骤2.1，记录待发送的数据包的字节数，发送端更新发送数据包所属数据流的总的已发送字节数。

优选的，步骤3中交换机端通过时间滑动窗口计算优先级调整的方法包括如下步骤：

步骤3.1：每隔设定的时间，计算在时间滑动窗口范围每个优先级队列内已结束的数据流；

步骤3.2：计算出已结束的数据流，使用时间滑动窗口计算每个优先级队列的当前已结束数据流的总发送字节的均值，计算公式为:

Queue_mean(i)＝finish_bytes(i)/finish_flows(i)

其中，i是所计算交换机优先级队列号，Queue_mean(i)是交换机优先级队列i已结束数据包均值，finish_bytes(i)是在交换机优先级队列i时间滑动窗口范围内所结束数据流发送的总字节数，finish_flow(i)是在交换机优先级队列i时间滑动窗口范围内所结束数据流的总数目。

步骤3.3：当下一个数据流的数据包进入优先级队列缓冲区时，若这些数据包所属的优先级队列不是最低优先级队列，首先将数据包所属数据流在所属优先级队列已发送字节数与所属优先级队列已结束数据流的总发送字节均值进行比较，若已超过当前队列已结束数据流的总发送字节均值，将超出数据包降到下一级优先级；若没有超过，在所属优先级队列发送。

步骤3.4：移动时间滑动窗口。

优选的，所述步骤4中若交换机端队列缓冲区的数据包超出了交换机端口ECN标记阈值则将超出ECN标记阈值的数据包打上CE标记的过程为：

计算交换机端所有优先级队列缓冲区的当前待发送数据包数目，若待发送数据包数目超出了设定的ECN标记阈值，将下面接收到的超出ECN标记阈值的数据包打上CE标记，交换机端接收到含有CE标记的数据包后，再对数据的确认包中携带ECN通知，发送端接收到后相应的降低发送速率并通知交换机端已接收到ECN通知。

优选的，所述步骤5中交换机端对所标记的优先级进行转发过程为：

对处于不同优先级队列里的数据包，交换机首先转发处于最高优先级队列里的数据包，最高优先级队列里的数据包发送完后再转发第二高优先级队列里的数据包，对处于同一优先级队列里的数据包则按照先进先出的方式来转发。

由以上技术方案可知，本发明的技术方案提供的信息不可知情况下的数据中心流自适应调度方法，获得了如下有益效果：

1、本发明相比较基于数据流信息先验可知方案，不需要提前知道数据流的大小，生存期限等信息，解决了在实际环境中难以实现问题，进而实现在实际网络中，能够快速传输数量庞大的数据流，使用便捷快速。

2、本发明采用了时间滑动窗口结合ECN来解决多级反馈队列降级阈值与流分布不匹配问题，有效的降低了小流的流完成时间，提升了性能。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是本发明中系统流程图；

图2是本发明中全局视图；

图3是数据流分布与阈值不匹配现象图。

图4是本发明交换机优先级再优化流程图

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不定义包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

基于现有技术中，传统的数据中心网络流调度技术并没有对小流和大流进行有效区分处理，而是统一进行调度，这种技术主要为了保证大流与小流之间的公平性；尽管已经提出的一些方案已经实现了大流和小流的区分处理，但是这些方案要么需要提前知道流的信息，由于数据流的数量庞大以及传输速度极快，因此这些信息在实际环境中很难获取，所以这种方案在实际中并不具有可实施性；另外一些方案如PIAS虽然不需要知道流信息，而是采用多级反馈队列将流大流和小流区分开来，但是会由于网络中流随着时空的动态分布不断改变而出现降级阈值与流量分布不匹配的现象。本方案旨在提出一种信息不可知情况下的数据中心流自适应调度方法，在不需要提前知道流的信息的前提下实现对小流和大流区分处理，并且同时减轻了降级阈值与流分布不匹配现象。

本发明公开的信息不可知情况下的数据中心流自适应调度方法，包括如下步骤：

步骤1：发送端应用发送数据流的数据包到缓冲区；

步骤2：发送端主机根据每个数据流已发送数据包的字节数与多级反馈队列降级阈值进行比较，根据比较的结果发送端主机对每个数据流待发送的数据包进行优先级标记；

步骤3：交换机端接收步骤1中发送端主机发送的被标记优先级的数据包，每设定的时间，交换机端通过时间滑动窗口计算每个优先级队列在时间滑动窗口范围内结束的数据流发送的数据包的均值，从而对每个优先级队列接下来接收的数据包进行优先级队列调整；

步骤4：根据时间滑动窗口计算的均值，若交换机端队列缓冲区的数据包超出了交换机端口ECN标记阈值，则通过交换机端将接收的超出ECN标记阈值的数据包打上CE标记；

步骤5：交换机端对处于不同优先级队列的数据包，按照数据包被标记的优先级进行转发，对处于同一优先级队列的数据包则按照先进先出的方式转发；

步骤6：接收端接收数据包并通知发送端继续发送。

更为具体的：

本实施例中，所述步骤2中发送端主机对每个数据流标记优先级的方法包括如下步骤：

步骤2.1：假设发送端主机维持k个优先级队列P_i以及k-1个降级阈值a_j，其中1＝<i<＝k，1＝<j<＝k-1，且P₁>P₂>....>P_k，a₁<a₂<a₃<...<a_k-1，每个数据流初始发送的数据包都被标记为最高优先级，发送端主机将发送的数据流的总的已发送字节数byte_sent与降级阈值a_j进行匹配，如果a_j-1<byte_sent<＝a_j，则将数据流接下来发送的数据包优先级标记为j；

步骤2.2：根据步骤2.1，记录待发送的数据包的字节数，发送端更新发送数据包所属数据流的总的已发送字节数。

本实施例中，步骤3中交换机端通过时间滑动窗口计算优先级调整的方法包括如下步骤：

步骤3.1：每隔设定的时间，计算在时间滑动窗口范围每个优先级队列内已结束的数据流；

步骤3.2：计算出已结束的数据流，使用时间滑动窗口计算每个优先级队列的当前已结束数据流的总发送字节的均值，计算公式为:

Queue_mean(i)＝finish_bytes(i)/finish_flows(i)

其中，i是所计算交换机优先级队列号，Queue_mean(i)是交换机优先级队列i已结束数据包均值，finish_bytes(i)是在交换机优先级队列i时间滑动窗口范围内所结束数据流发送的总字节数，finish_flow(i)是在交换机优先级队列i时间滑动窗口范围内所结束数据流的总数目。

步骤3.3：当下一个数据流的数据包进入优先级队列缓冲区时，若这些数据包所属的优先级队列不是最低优先级队列，首先将数据包所属数据流在所属优先级队列已发送字节数与所属优先级队列已结束数据流的总发送字节均值进行比较，若已超过当前队列已结束数据流的总发送字节均值，将超出数据包降到下一级优先级；若没有超过，在所属优先级队列发送。

步骤3.4：移动时间滑动窗口。

本实施例中，所述步骤4中若交换机端队列缓冲区的数据包超出了交换机端口ECN标记阈值则将超出ECN标记阈值的数据包打上CE标记的过程为：

计算交换机端所有优先级队列缓冲区的当前待发送数据包数目，若待发送数据包数目超出了设定的ECN标记阈值，将下面接收到的超出ECN标记阈值的数据包打上CE标记，交换机端接收到含有CE标记的数据包后，再对数据的确认包中携带ECN通知，发送端接收到后相应的降低发送速率并通知交换机端已接收到ECN通知。

本实施例中，所述步骤5中交换机端对所标记的优先级进行转发过程为：

对处于不同优先级队列里的数据包，交换机首先转发处于最高优先级队列里的数据包，最高优先级队列里的数据包发送完后再转发第二高优先级队列里的数据包，对处于同一优先级队列里的数据包则按照先进先出的方式来转发

本发明通过利用时间滑动窗口在交换机统计每个交换机队列在时间滑动窗口范围内结束的数据流的信息，实现对处于同一优先级队列中较大的数据流进行降级，从而让该优先级队列里较小数据流先发送，降低了小数据流的流完成时间。

下面结合附图所示的实施例，对本发明的信息不可知情况下的数据中心流自适应调度方法，作进一步具体介绍。

结合图1所示，实现本发明信息不可知情况下的数据中心流自适应调度方法，首先发送端与接收端进行TCP三次握手连接，若连接成功，发送端会发送数据流给接收端，在发送时发送端主机会根据降级阈值以及每个数据流发送的字节数进行匹配，从而对每个数据流的数据包进行相应的优先级标记，当交换机端进行转发数据包时，会将每个数据流的信息记录下来，并且利用时间滑动窗口统计每个交换机端队列在时间滑动窗口范围内结束的数据流的字节的均值，以此均值为标准对待发送的数据包进行优先级调整，进而达到减轻数据中心网络流分布与降级阈值不匹配问题，同时采用ECN来降低丢包现象的发生，进一步降低了小流的流完成时间。当数据流全部发送完后，进行TCP四次握手释放连接。

结合图2，图3和图4所示，实现本发明信息不可知情况下的数据中心流自适应调度方法，主要包括优先级标记模块和优先级调整模块。

(1)优先级标记模块

优先级标记模块在主机端部署，用以对流的包标记优先级。主机端会维持k个优先级队列P_i，1＝<i<＝k，且P₁>P₂>.....>P_k，以及k-1个降级阈值a_j，1＝<j<＝k-1，且a₁<a₂<....<a_k-1，每个流的数据包刚开始都会标记最高优先级，即P₁，然后主机会将每个流的已发送字节数send_byte记录下来，当标记为P₁的数据包发送数目超过a₁时，即send_byte>＝a₁，那么流接下来的数据包的优先级会标记为P₂，依此类推，直到流优先级降为最低优先级，即P_k结束。通过这种多级反馈队列降级的方式，我们不需要提前知道数据流的大小便可把大数据流和小数据流区分出来，实现模拟短作业优先，降低了小流的流完成时间。

但是由于网络中数据流分布随时空动态变化的特性，必定会出现降级阈值与网络中流分布不匹配的现象，主要是会出现两种现象，第一种就是降级阈值设置过大，使得许多大数据流分布在高优先级队列，对处于同一优先级队列的排在大数据流后面的小数据流造成影响，降低了小流的流完成时间；第二种是降级阈值设置过小，使得许多小数据流降到低优先级队列，处于低优先级队列的大数据流仍会对小数据流造成不利的影响。本方案采取在交换机进行优先级调整，将处于同一优先级队列的大流降到更低的优先级从而减轻了由于不匹配问题造成的小流的流完成时间提升这一现象。

(2)优先级调整模块

优先级调整模块部署在交换机端，对处于同一优先级队列的大数据流进行降级，保证小数据流的传输延时，减轻发送端主机降级阈值与数据流分布不匹配问题。在交换机端会为每个优先级队列维持一个时间滑动窗口，每隔设定的时间，便将在时间滑动窗口范围内结束的流的数目finish_flows以及结束的数据流的数据包的数目finish_bytes记录下来，通过计算在时间滑动窗口范围内结束的数据流的均值Queue_mean，即：

Queue_mean(i)＝finish_bytes(i)/finish_flows(i)

其中，i是优先级队列号，finish_bytes(i)代表在时间滑动窗口范围内队列i结束的流的字节数，finish_flows(i)代表在时间滑动窗口范围内队列i结束的流的数目，Queue_mean(i)代表队列i的均值。

交换机端以此均值为依据来区分处于同一优先级队列的较大的数据流，并对较大的数据流进行降级。具体流程为，交换机端会记录下每个数据流的已发送字节数，并当数据流携带着发送端标记的优先级通过交换机端时，交换机端会先将该数据流与所处优先级计算出来的均值进行匹配，若该数据流的已发送字节数未超过当前优先级队列均值，则按照所处优先级进行发送；若该数据流的已发送字节数已超过当前队列均值，则把该数据流降到下一优先级进行发送。

交换机端同时采用了ECN标记来降低丢包率，进一步减小数据流完成时间，具体实施方式为，交换机端在端口设定了ECN标记阈值，当交换机缓冲的数据包的数目超出了ECN标记阈值，则将超出标记阈值的数据包打上CE标记，交换机端接收到含有CE标记的数据包后，在对数据的确认包中携带ECN通知，发送端接收到后相应的降低发送速率并通知交换机端已接收到ECN通知。

交换机在转发数据包时的转发规则是：对处于不同优先级队列的数据包，按照优先级进行转发，对同一优先级队列的数据包，则按照先进先出的方式转发。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (5)

1.一种信息不可知情况下的数据中心流自适应调度方法，其特征在于，包括如下步骤：

步骤1：发送端应用发送数据到缓冲区；

步骤2：发送端主机根据每个数据流已发送数据包的字节数与多级反馈队列降级阈值进行比较，根据比较的结果发送端主机对每个数据流待发送的数据包进行优先级标记；

步骤3：交换机端接收发送端应用发送的标记有优先级的数据包，并进行缓存，每隔设定的时间，交换机端统计各个优先级队列结束时间处于时间滑动窗口范围内的结束流的大小，并计算各个优先级队列中数据包的均值，交换机端根据均值重新调整缓冲区内的数据包的优先级；

步骤4：比较缓冲区内数据包的数目，若该数目大于交换机端口ECN标记阈值，将超出阈值的数据包打上CE标记；

步骤5：交换机端按照优先级由高至低的顺序转发各优先级队列中的数据包，相同优先级队列中的数据包按照先进先出的规则转发；

步骤6：接收端接收交换机端转发的数据包，并通知发送端继续发送。

2.根据权利要求1所述的一种信息不可知情况下的数据中心流自适应调度方法，其特征在于，所述步骤2中发送端主机对每个数据流标记优先级的方法包括如下步骤：

步骤2.1：假设发送端主机维持k个优先级队列P_i以及k-1个降级阈值a_j，其中1＝<i<＝k，1＝<j<＝k-1，且P₁>P₂>....>P_k，a₁<a₂<a₃<...<a_k-1，每个数据流初始发送的数据包都被标记为最高优先级，发送端主机将发送的数据流的总的已发送字节数byte_sent与降级阈值a_j进行匹配，如果a_j-1<byte_sent<＝a_j，则将数据流接下来发送的数据包优先级标记为j；

步骤2.2：根据步骤2.1，记录待发送的数据包的字节数，发送端更新发送数据包所属数据流的总的已发送字节数。

3.根据权利要求2所述的一种信息不可知情况下的数据中心流自适应调度方法，其特征在于，步骤3中交换机端通过时间滑动窗口计算优先级调整的方法包括如下步骤：

步骤3.1：每隔设定的时间，计算在时间滑动窗口范围每个优先级队列内已结束的数据流；

步骤3.2：计算出已结束的数据流，使用时间滑动窗口计算每个优先级队列的当前已结束数据流的总发送字节的均值，计算公式为:

Queue_mean(i)＝finish_bytes(i)/finish_flows(i)

其中，i是所计算交换机优先级队列号，Queue_mean(i)是交换机优先级队列i已结束数据包均值，finish_bytes(i)是在交换机优先级队列i时间滑动窗口范围内所结束数据流发送的总字节数，finish_flow(i)是在交换机优先级队列i时间滑动窗口范围内所结束数据流的总数目。

步骤3.3：当下一个数据流的数据包进入优先级队列缓冲区时，若这些数据包所属的优先级队列不是最低优先级队列，首先将数据包所属数据流在所属优先级队列已发送字节数与所属优先级队列已结束数据流的总发送字节均值进行比较，若已超过当前队列已结束数据流的总发送字节均值，将超出数据包降到下一级优先级；若没有超过，在所属优先级队列发送。

步骤3.4：移动时间滑动窗口。

4.根据权利要求3所述的一种信息不可知情况下的数据中心流自适应调度方法，其特征在于，所述步骤4中若交换机端队列缓冲区的数据包超出了交换机端口ECN标记阈值则将超出ECN标记阈值的数据包打上CE标记的过程为：

计算交换机端所有优先级队列缓冲区的当前待发送数据包数目，若待发送数据包数目超出了设定的ECN标记阈值，将下面接收到的超出ECN标记阈值的数据包打上CE标记，交换机端接收到含有CE标记的数据包后，再对数据的确认包中携带ECN通知，发送端接收到后相应的降低发送速率并通知接收端已接收到ECN通知。

5.根据权利要求4所述的一种信息不可知情况下的数据中心流自适应调度方法，其特征在于，所述步骤5中交换机端对所标记的优先级进行转发过程为：

对处于不同优先级队列里的数据包，交换机首先转发处于最高优先级队列里的数据包，最高优先级队列里的数据包发送完后再转发第二高优先级队列里的数据包，对处于同一优先级队列里的数据包则按照先进先出的方式来转发。

Images