CN111585905B - 适于双向coflow调度方法的最佳并发连接数预测方法 - Google Patents

Abstract

本发明公开了一种适于双向coflow调度方法的最佳并发连接数预测方法，包括：采用C‑SVC模型作为多类分类器，生成预测模型对最佳并发连接数进行预测，所述预测模型用于根据已知丢包率计算得到对应的缓冲区大小，结合缓冲区大小和并发连接数的关系，计算得到当前最佳并发连接数。本发明主张使用丢包率作为预测并发连接的最优数量的关键特征，通过测量不同设置的性能，建立了一个预测模型来预测并发连接的最优数量，实现了最佳并发连接预测过程的精确性和高效性，同时避免了由于连接太多而导致的拥塞和由于连接太少而导致的带宽浪费。

Description

适于双向coflow调度方法的最佳并发连接数预测方法

技术领域

本发明涉及数据中心网络通信技术领域，具体而言涉及一种适于双向coflow调度方法的最佳并发连接数预测方法。

背景技术

在数据中心网络中，主流的数据并行框架如Hadoop和Spark，其网络通信是高度结构化的。因此，最小化单个流完成时间或提高流之间的公平性等网络级优化不能提高性能。Coflow是为应用程序级语义提出的一种网络抽象，表示通信阶段的一组相关流。它的完成需要所有这些流中的最后一个已经完成。这种抽象缩短了应用程序级语义和网络级优化之间的差距。最小化coflow完成时间(Coflow Completion Time，CCT)减少了相应作业的完成时间。

然而，最新的coflow调度方法具有几个缺点。一方面，它们无法实现最优调度。当主机入口链路的带宽成为瓶颈时，发送方驱动的coflow调度可能是次优的。相应地，当主机出口链路的带宽成为瓶颈时，接收方驱动的调度也可能是次优的。在真实的网络中，由于任务分配的不均衡，这两种情况通常共存。另一方面，现有工作无法优化每个主机上的并发连接数量。已经证明，良好的吞吐量与并发连接的数量有很强的相关性。对于每个主机接入链路对应的交换机出口端口，队列长度会随着并发连接数的增加而增加。当超过队列缓冲区的限制时，交换机开始丢弃数据包，导致重新传输甚至重新连接。由于并发连接太多或太少，CCT可能会延长。

发明内容

本发明目的在于提供一种适于双向coflow调度方法的最佳并发连接数预测方法，主张使用丢包率作为预测并发连接的最优数量的关键特征，通过测量不同设置的性能，建立了一个预测模型来预测并发连接的最优数量，实现了最佳并发连接预测过程的精确性和高效性，同时避免了由于连接太多而导致的拥塞和由于连接太少而导致的带宽浪费。在此基础上，结合发送方驱动和接收方驱动两种调度方法的优点，达到接近最优的调度效果。

为达成上述目的，结合图1，本发明提出一种适于双向coflow调度方法的最佳并发连接数预测方法，所述预测方法包括：

采用C-SVC模型作为多类分类器，生成预测模型对最佳并发连接数进行预测，所述预测模型用于根据已知丢包率计算得到对应的缓冲区大小，结合缓冲区大小和并发连接数的关系，计算得到当前最佳并发连接数。

作为其中的一种优选例，所述预测方法还包括：

S11，随机生成一个包含ξ个并发小流的incast流量，重复t次，t为大于1的正整数，获取每个并发小流对应的丢包率x和对应的缓冲区大小y，生成集合Q，集合Q中包含了t组不同的(x,y)值对，其中x的取值范围为[-1，1]；

S12，将一组并发流的丢包率x和对应的缓冲区大小y视为一组样本数据，从集合Q中随机选择一定量具有不同缓冲区大小特性的样本数据，生成样本数据集；

S13，采用C-SVC模型作为多类分类器，生成预测模型，采用样本数据集对预测模型进行训练；

S14，采用训练完成的预测模型，结合缓冲区大小和并发连接数的关系，计算得到当前最佳并发连接数。

作为其中的一种优选例，所述C-SVC模型由[|Q|*(|Q|-1)]/2个二分类器组成，其中|Q|是类的数量；

在训练阶段，每个二分类器通过求解一个凸二次规划以寻找一个超平面来划分特定的两个类；在测试阶段，对于给定的输入x，所有二分类器都将投票决定类号y，其中y表示估计的缓冲区大小。

结合图2，本发明还提及一种双向coflow调度方法，其特征在于，所述调度方法包括以下步骤：

S1，采用前述预测方法，预测每个主机上的最佳并发连接数；

S2，采用全局调度程序收集映射器和减速器的信息，并在跟踪器上生成全局的候选列表；

S3，根据动态优先级列表确定本地调度程序上每个减速器的并发连接数；

S4，在微调度程序上重新调整每个减速器的连接状态，并将当前连接状态报告给全局调度程序。

作为其中的一种优选例，步骤S1中，所述预测每个主机上的最佳并发连接数是指，采用支持向量机作为机器学习模型来自动识别并发连接的最佳数量，即交换机中的队列限制。

作为其中的一种优选例，步骤S2中，所述全局调度程序在跟踪器上运行，用于监视每个主机的网络状态，并在收到微调度程序的请求后动态生成候选列表；

步骤S3中，所述本地调度程序在每个主机上运行，用于根据本地优先级列表在发送方和接收方之间重新分配连接；

步骤S4中，所述微调度程序在每个减速器上运行，用于对来自相应的本地调度程序的连接重新分配做出反应，并调整每个减速器的连接数。

作为其中的一种优选例，步骤S3中，所述根据动态优先级列表确定本地调度程序上每个减速器的并发连接数的过程包括如下步骤：

S31，采用最短剩余时间优先原则，根据coflow和减速器的剩余大小对减速器进行排序；

S32，判断最优先减速器是否相比上次调度排序保持不变，如果是，进入步骤S33，否则，进入步骤S34；

S33，判断以下两个条件是否同时满足：(1)空闲的下行带宽超过α·b，其中，b为瓶颈链路容量，α为0到1之间的实数参数(2)剩余的连接数大于零，如果同时满足，则分配一个或多个连接给次优先减速器，分配的连接数不超过空闲连接数的一半；否则，停止将连接分配给非优先的减速器，结束当前流程；

S33，判断剩余的连接数是否小于β·m，其中，m为预测的连接数，β为0到1之间的实数参数，如果是，关闭上次调度排序中的最优先减速器的部分连接；否则，当上次调度排序中的最优先减速器的流传输完成时，收回已分配的连接，并且将β·m个连接分配给当前最优先减速器，结束当前流程。

作为其中的一种优选例，步骤S4中，所述在微调度程序上重新调整每个减速器的连接状态的过程包括如下步骤：

S41，判断减速器的当前连接数是否超过分配的连接数，如果是，进入步骤S42，否则，进入步骤S43；

S42，采用微调度程序逐个关闭流量传输速率最高的部分连接，直到当前连接数满足要求，结束当前流程；

S43，采用微调度程序向跟踪器请求候选列表以打开更多连接，若减速器是最优先减速器，连接具有最大空闲上行链路容量的映射器，否则连接具有最大剩余发送流量的映射器。

作为其中的一种优选例，步骤S2中，所述采用全局调度程序收集映射器和减速器的信息，并在跟踪器上生成全局的候选列表的过程包括如下步骤：

S21，判断减速器是否为最优先的减速器，如果是，进入步骤S22，否则，进入步骤S23；

S22，对于每一个发送方主机，如果减速器所属的coflow在发送方主机中也具有优先级，则向空闲上行带宽添加一个常量λ·b，λ定义为0到1之间的实数，b定义为瓶颈链路容量，根据空闲上行带宽由小到大的顺序排序发送方主机，由首位开始依次选取不超过预测连接数量的已排序发送方主机生成全局的候选列表，结束当前流程；

S22，如果减速器所属主机空闲下行带宽大于θ·b，θ为0到1之间的实数参数，b定义为瓶颈链路容量，根据空闲上行带宽由小到大的顺序排序发送方主机，选取与减速器所属主机空闲下行带宽最接近的发送方主机的空闲上行带宽，由该选取的主机开始依次选取排序在它前且不超过预测连接数量的已排序发送方主机生成全局的候选列表。

结合图3，基于前述调度方法，本发明还提及一种基于预测并发连接数的双向coflow调度系统，所述调度系统包括：

(1)预测模型，用于预测每个主机上的最佳并发连接数；

(2)全局调度程序，运行在跟踪器上，用于收集映射器和减速器的信息，并在跟踪器上生成全局的候选列表；

(3)本地调度程序，运行在与跟踪器连接的各个主机上，用于根据存储在主机本地的动态优先级列表确定与当前主机连接的每个减速器的并发连接数；

(4)微调度程序，运行在各个减速器上，用于重新调整每个减速器的连接状态，并将当前连接状态报告给全局调度程序。

以上本发明的技术方案，与现有相比，其显著的有益效果在于：

(1)主张使用丢包率作为预测并发连接的最优数量的关键特征，通过测量不同设置的性能，建立了一个预测模型来预测并发连接的最优数量，实现了最佳并发连接预测过程的精确性和高效性，同时避免了由于连接太多而导致的拥塞和由于连接太少而导致的带宽浪费。

(2)在自动识别并发连接的最优数量的基础上，结合发送方驱动和接收方驱动两种调度方法的优点，达到接近最优的调度效果。

(3)本发明估计并发连接数量的准确度为98％，分别降低15％和40％的平均coflow完成时间和尾部coflow完成时间。

(4)本发明采用的预测模型可以在一个相关的大范围内容忍估计误差，具有较强的鲁棒性。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是本发明的适于双向coflow调度方法的最佳并发连接数预测方法的流程图。

图2是本发明的双向coflow调度方法的流程图。

图3是双向的coflow调度架构图。

图4是发送方驱动的非最优调度方法示例图。

图5是接收方驱动的非最优调度方法示例图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

图3是双向的coflow调度架构图。本地调度程序为该主机上的每个reducer维护一个动态优先级列表。当新的Reducer到达时，本地调度程序将更新优先级列表，然后重新分配与每个Reducer的连接数，并将新的连接信息通知给微调度程序。微调度程序收到此通知后，将向全局调度程序请求候选列表，并根据本地调度程序生成的连接状态，相应地打开新连接或关闭旧连接。同时，微调度程序会将其当前连接状态报告给全局调度程序，该全局调度程序用于信息同步。

概括而言，结合图2，本发明提出的在数据中心网络中适于双向coflow调度方法的最佳并发连接数预测方法，在每个时间间隔执行如下步骤：

1)预测每个主机上的最佳并发连接数；

2)收集mapper和reducer的信息，并在跟踪器上生成全局的候选列表；

3)根据动态优先级列表确定本地调度程序上每个reducer的并发连接数；

4)在微调度程序上重新调整每个reducer的连接状态。

第一，本发明使用机器学习模型获得并发连接的最优数量。

在建立预测模型之前，首先说明一个重要的观察结果。对于DCTCP，一旦聚合队列长度超过了交换缓冲区的大小，一组流的丢包率可以指示交换缓冲区的大小。缓冲区越小，丢弃的包越多。同时，开关缓冲区大小是ECN标记阈值和并发连接数的线性函数。考虑到丢包率易于测量，并且与缓冲区大小有很强的相关性，本发明主张使用丢包率作为预测并发连接的最优数量的关键特征。然而，丢包率和交换缓冲区大小之间的数学关系很难捕捉，而且即使在所有其他条件都固定的情况下，它们之间的关系也似乎是非线性的。基于支持向量机学习方法的简单性和高效性，本发明选择支持向量机作为学习模型,使用C-SVC模型作为多类分类器。具体来说，本发明使用LibSVM库来构建一个机器学习系统，通过测量不同设置的性能，建立了一个预测模型来预测并发连接的最优数量。结合图1，本发明所提及的适于双向coflow调度方法的最佳并发连接数预测方法包括如下步骤：

S11，重复t次，每次随机生成一个包含ξ个并发小流的incast流量。

记录incast流量的丢包率x和缓冲区大小y为一组数据记录，最后获得包含t组记录的数据集合Q，其中x的范围在[-1，1]区间内，即集合Q中包含了t组不同的(x,y)值对。

S12，重复若干次，每次从集合Q中随机选择一组丢包率x和缓冲区大小y做为一组样本数据，最后获得包含一定量样本数据的样本数据集，其中x的范围在[-1，1]区间内。

S13，将样本数据集划分为训练集和测试集，并使用C-SVC模型作为多类分类器，得到缓冲区大小的预测函数。

S14，根据缓冲区大小和并发连接数的关系，得到当前最佳并发连接数。

需要注意的是，C-SVC模型由[|Q|*(|Q|-1)]/2个二分类器组成，其中|Q|是类的数量。在训练阶段，每个二分类器将尝试通过求解一个凸二次规划来找到一个超平面来划分特定的两个类。在测试阶段，对于给定的输入x，所有二分类器都将投票决定类号y,其中y表示估计的缓冲区大小。本发明可以在一个相关的大范围内容忍估计误差，具有鲁棒性。

第二，基于预测结果，本发明提出一组分布式算法，执行coflow调度。

图4和图5分别是发送方驱动和接收方驱动的非最优调度方法示例图。当主机出口链路或者入口链路的带宽成为瓶颈时，单独的发送方驱动或者接收方驱动的调度方法可能是次优的。在真实的网络中，由于任务分配的不均衡，这两种情况通常共存。本发明提出一组双向的coflow调度算法，结合了发送方驱动和接收方驱动调度方法的优点。

首先，本地调度器在每个主机上运行，负责根据本地优先级列表在发送方和接收方之间重新分配连接，包括如下步骤：

第一步，应用短剩余时间优先(Shortest Remaining Time First，SRTF)原则，根据coflow和reducer的剩余大小对reducer进行排序。

第二步，当最优先reducer相比上次调度排序保持不变，如果空闲的下行带宽超过α·b，其中，b为瓶颈链路容量，α为0到1之间的实数参数，并且剩余的连接数大于零，分配一个或多个的连接(不能超过空闲连接数的一半)给次优先reducer；如果这两个条件不能同时满足，停止将连接分配给非优先的reducer。

第三步，当最优先reducer相比上次调度排序改变，如果剩余的连接数小于β·m，其中，m为预测的连接数，β为0到1之间的实数参数，关闭上次调度排序中的最优先reducer的某些连接；如果剩余的连接数大于或等于β·m，一旦上次调度排序中的最优先reducer的流传输完成，分配的连接将被收回；分配β·m个连接给当前最优先reducer。

在上述过程中需要注意，不能将所有的连接分配给一个减速机，因为在接收方有优先级的coflow可能在发送方没有匹配的优先级。这种不匹配也会损害coflow的完成时间。为了解决这个问题，发送方和接收方之间的优先级使用下述步骤来进行动态平衡。

其次，微调度器在每个reducer上运行，对来自相应的本地调度器的连接重新分配做出反应，并调整每个reducer的连接数，包括如下步骤：

第一步，当reducer的当前连接数超过分配的连接数时，微调度器将逐个关闭流量传输速率最高的某些连接，直到当前连接数满足要求；

第二步，当reducer分配的连接数超过当前连接数时，微调度器将向跟踪调度器请求候选列表以打开更多连接，若reducer是最优先reducer，连接具有最大空闲上行链路容量的mapper，否则连接具有最大剩余发送流量的mapper。

在上述步骤中分配连接的释放通常表明一个抢占发生,留下更多的带宽资源用于加速最优先reducer。必须首先关闭流量传输速率最高的连接。当分配的连接数超过当前连接数时，微调度器将从跟踪调度器请求候选列表以打开更多连接。候选列表是由跟踪器维护的这个coflow的发送方主机的子集，算法只能从这个列表中选择发送方进行连接。下述过程将讨论生成这个候选列表的过程。

最后，全局调度器在跟踪器上运行，监视每个主机的网络状态，并在收到微调度器的请求后动态生成候选列表。当微调度器请求候选列表时，全局调度器将首先查询此减速器的挂起发送主机。在这里，如果发送方主机没有向减速器发送任何数据包，或者由于抢占已经终止了传输过程，则称发送方主机处于挂起状态。包括如下步骤：

第一步，若reducer是最优先，对于每一个发送方主机，如果reducer所属的coflow在发送方主机中也具有优先级，则将向空闲上行带宽添加一个常量λ·b，λ定义为0到1之间的实数，b定义为瓶颈链路容量(发送方主机对应的链路容量)，根据空闲上行带宽按从小到大排序发送方主机，从第一个依次选取不超过预测连接数量的已排序发送方主机生成全局的候选列表；

第二步，若reducer不是最优先，如果reducer所属主机空闲下行带宽大于θ·b，θ为0到1之间的实数参数，b定义为瓶颈链路容量(发送方主机对应的链路容量)，根据空闲上行带宽按从小到大排序发送方主机，选出与reducer所属主机空闲下行带宽最接近的发送方主机的空闲上行带宽，从它开始(包括它)依次选取排序在它前且不超过预测连接数量的已排序发送方主机生成全局的候选列表。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (8)

1.一种适于双向coflow调度方法的最佳并发连接数预测方法，其特征在于，所述预测方法包括：

采用C-SVC模型作为多类分类器，生成预测模型对最佳并发连接数进行预测，所述预测模型用于根据已知丢包率计算得到对应的缓冲区大小，结合缓冲区大小和并发连接数的关系，计算得到当前最佳并发连接数；

所述预测方法还包括：

S11，随机生成一个包含ξ个并发小流的incast流量，重复t次，t为大于1的正整数，获取每个并发小流对应的丢包率x和对应的缓冲区大小y，生成集合Q，集合Q中包含了t组不同的(x,y)值对，其中x的取值范围为[-1，1]；

S12，将一组并发小流的丢包率x和对应的缓冲区大小y视为一组样本数据，从集合Q中随机选择具有不同缓冲区大小特性的样本数据，生成样本数据集；

S13，采用C-SVC模型作为多类分类器，生成预测模型，采用样本数据集对预测模型进行训练；

S14，采用训练完成的预测模型，结合缓冲区大小和并发连接数的关系，计算得到当前最佳并发连接数。

2.根据权利要求1所述的适于双向coflow调度方法的最佳并发连接数预测方法，其特征在于，所述C-SVC模型由[|Q|*(|Q|-1)]/2个二分类器组成，其中|Q|是类的数量；

在训练阶段，每个二分类器通过求解一个凸二次规划以寻找一个超平面来划分特定的两个类；在测试阶段，对于给定的输入x，所有二分类器都将投票决定类号y，其中y表示估计的缓冲区大小。

3.一种双向coflow调度方法，其特征在于，所述调度方法包括以下步骤：

S1，采用权利要求1或者2所述预测方法，预测每个主机上的最佳并发连接数；

S2，采用全局调度程序收集映射器和减速器的信息，并在跟踪器上生成全局的候选列表；

S3，根据动态优先级列表确定本地调度程序上每个减速器的并发连接数；

S4，在微调度程序上重新调整每个减速器的连接状态，并将当前连接状态报告给全局调度程序。

4.根据权利要求3所述的一种双向coflow调度方法，其特征在于，步骤S1中，所述预测每个主机上的最佳并发连接数是指，采用支持向量机作为机器学习模型来自动识别并发连接的最佳数量，即交换机中的队列限制。

5.根据权利要求3所述的一种双向coflow调度方法，其特征在于，步骤S2中，所述全局调度程序在跟踪器上运行，用于监视每个主机的网络状态，并在收到微调度程序的请求后动态生成候选列表；

步骤S3中，所述本地调度程序在每个主机上运行，用于根据本地优先级列表在发送方和接收方之间重新分配连接；

步骤S4中，所述微调度程序在每个减速器上运行，用于对来自相应的本地调度程序的连接重新分配做出反应，并调整每个减速器的连接数。

6.根据权利要求5所述的一种双向coflow调度方法，其特征在于，步骤S3中，所述根据动态优先级列表确定本地调度程序上每个减速器的并发连接数的过程包括如下步骤：

S31，采用最短剩余时间优先原则，根据coflow和减速器的剩余大小对减速器进行排序；

S32，判断最优先减速器是否相比上次调度排序保持不变，如果是，进入步骤S33，否则，进入步骤S34；

S33，判断以下两个条件是否同时满足：(1)空闲的下行带宽超过α·b，其中，b为瓶颈链路容量，α为0到1之间的实数参数；(2)剩余的连接数大于零，如果同时满足，则分配一个或多个连接给次优先减速器，分配的连接数不超过空闲连接数的一半；否则，停止将连接分配给非优先的减速器，结束当前流程；

S34，判断剩余的连接数是否小于β·m，其中，m为预测的连接数，β为0到1之间的实数参数，如果是，关闭上次调度排序中的最优先减速器的连接；否则，当上次调度排序中的最优先减速器的流传输完成时，收回已分配的连接，并且将β·m个连接分配给当前最优先减速器，结束当前流程。

7.根据权利要求5所述的一种双向coflow调度方法，其特征在于，步骤S4中，所述在微调度程序上重新调整每个减速器的连接状态的过程包括如下步骤：

S41，判断减速器的当前连接数是否超过分配的连接数，如果是，进入步骤S42，否则，进入步骤S43；

S42，采用微调度程序逐个关闭流量传输速率最高的连接，直到当前连接数满足要求，结束当前流程；

S43，采用微调度程序向跟踪器请求候选列表以打开连接，若减速器是最优先减速器，连接具有最大空闲上行链路容量的映射器，否则连接具有最大剩余发送流量的映射器。

8.根据权利要求5所述的一种双向coflow调度方法，其特征在于，步骤S2中，所述采用全局调度程序收集映射器和减速器的信息，并在跟踪器上生成全局的候选列表的过程包括如下步骤：

S21，判断减速器是否为最优先的减速器，如果是，进入步骤S22，否则，进入步骤S23；

S22，对于每一个发送方主机，如果减速器所属的coflow在发送方主机中也具有优先级，则向空闲上行带宽添加一个常量λ·b，λ定义为0到1之间的实数，b定义为瓶颈链路容量，根据空闲上行带宽由小到大的顺序排序发送方主机，由首位开始依次选取不超过预测连接数量的已排序发送方主机生成全局的候选列表，结束当前流程；

S23，如果减速器所属主机空闲下行带宽大于θ·b，θ是为0到1之间的实数参数，b定义为瓶颈链路容量，根据空闲上行带宽由小到大的顺序排序发送方主机，选取与减速器所属主机空闲下行带宽最接近的发送方主机的空闲上行带宽，由该选取的主机开始依次选取排序在它前且不超过预测连接数量的已排序发送方主机生成全局的候选列表。

Images