CN110365608B - 一种容忍不完整数据传输的流组传输调度方法 - Google Patents

Abstract

本发明公开了一种容忍不完整数据传输的流组传输调度方法，包括以下步骤：步骤1：获取已接纳流组的任务完成情况；步骤2：根据新流组请求的需求和已接纳流组的完成情况，以最大化能够传输的数据总量为优化目标，建立线性优化模型；步骤3：对模型进行求解，若模型不存在可行解则拒绝该流组请求；若模型存在可行解，则接纳该请求，并采用模型计算得到的解对各时段的链路进行带宽的分配；本发明根据链路负载情况，动态地调整各个流组的带宽使用，让网络能够在保证已接纳任务服务质量的前提下接纳更多的流组任务，保证应用的低时延响应，提高网络利用率，提高整体系统的资源利用率。

Description

一种容忍不完整数据传输的流组传输调度方法

技术领域

本发明涉及流组传输控制方法，具体涉及一种容忍不完整数据传输的流组传输调度方法。

背景技术

目前分布式计算技术广泛应用于大数据分析、大规模信息检索、分布式存储，以及大规模机器学习模型训练等场景之中。在这些应用中，一个计算作业被拆分为一组能够并发执行的任务，分发到一组计算集群上共同完成。根据应用的不同，这样的计算可能包含一轮，也可能是迭代式的多轮。在整个计算过程中，每经过一轮或者几轮计算，参与计算的节点通过数据中心网络完成中间数据或者最终结果的传输。相应的，节点之间的每次数据传输通常包含一组并发的流。这些流共同完成该传输任务才算完成，具有较强的语义关联性，构成一个“流组”。

对于诸如广告推荐、互联网信息检索等时延敏感型应用，用户触发的每个计算作业通常会有最晚完成时限的约束。分布式计算系统只有在最晚完成时限(即Deadline)前完成这个作业，应用才能获得相应的收益。相应的，这种完成时间约束的一部分会分摊套网络传输上，要求计算过程中节点之间的流组传输需要在给定最晚完成时限内完成。为此，研究者提出了各种新颖的流组传输控制方法，根据流组的完成时间约束调度流组的传输，以更充分地利用带宽，让更多时延敏感的流组在给定时间内传完。典型的带宽分配策略包括，最早最晚完成时限优先、让流组恰好赶在最晚完成时限完成等。

现有的流组传输调度方法均要求每个被接纳的任务完整的传完，没有考虑许多分布式计算能够容忍不完整数据输入这一重要特征。实际中，诸如大数据分析、分布式机器学习模型训练、在线信息检索等应用，天然能够容忍一定程度的不完整数据输入。相应的，对于这些应用而言，其内部的流组除了拥有最晚完成时限的约束，还具有完成度的约束属性。现有方法虽然注意到了流组的最晚完成时限约束，但忽略了应用对传输完成度的容忍特性。它们因此无法根据应用的需求特点动态地控制数据传输的完成度，以应对网络可用带宽的动态变化。网络传输能力与应用传输需求特征之间的不匹配，导致网络无法根据应用的需求特点动态调整数据传输，以应对网络可用带宽的动态变化。这既使得网络带宽利用率不高，也导致分布式应用的计算任务被低效僵化的数据传输所阻塞，最终使得整个分布式系统的利用率下降，应用的整体处理速度变慢。

发明内容

本发明针对现有技术存在的问题提供一种让网络根据链路负载情况，动态地调整各个流组的带宽使用，让网络在能够接纳在保证服务质量的前提下接纳更多的流组任务，保证应用的低时延响应，提高网络利用率，提高整体系统的资源利用率的容忍不完整数据传输的流组传输调度方法。

本发明采用的技术方案是：一种容忍不完整数据传输的流组传输调度方法，包括以下步骤：

步骤1：获取已接纳流组的任务完成情况；

步骤2：根据新流组请求的需求和已接纳流组的完成情况，以最大化能够传输的数据总量为优化目标，建立线性优化模型；

步骤3：对模型进行求解，若模型不存在可行解则拒绝该流组请求；若模型存在可行解，则接纳该请求，并采用模型计算得到的解对各时段的链路进行带宽的分配。

进一步的，所述步骤2中的线性优化模型建立过程如下：

S11：假设流组传输请求为R_i，i＝1、2、…、n，其中R_n为新到达的流组传输请求；流组传输请求中包含的传输请求集合为F_i，剩余的完成时限为τ_i，剩余的完成度要求为A_i；F_i中的子传输任务f_i,j的传输路径为p_i,j，剩余的传输数据量为v_i,j，A_i中的一个完成度要求a_i,k由(G_i,k，u_i,k)表示；

S12：接到新流组传输请求后，将当前流组在内的所有流组的最晚完成时限对应的时间点进行排序，将时间划分为多个时间段T₁、T₂、…、T_m；

S13：建立线性优化模型：

以最大化上述模型的同时满足下述约束条件：

式中：r_i,j,t为传输任务f_i,j在时段t的发送速率，e为链路，c_e为链路e的可用带宽，G_i,k为第i个流组中的第k个完成度要求所指定的流的集合，u_i,k为第i个流组中的第k个完成度要求剩余的传输任务量，|F_i|为集合F_i包含元素的个数，即包含还在线的流的数目。

进一步的，所述步骤3中模型求解方法为内点法或其变种算法中的一种。

进一步的，所述步骤4中接纳请求后，对模型求得的解做以下调整：

模型求得的解为{r_i,j,t}；

S21：将已接纳的流组中的所有流请求按照最晚完成时限由近到远进行排列，进行S22所述带宽调整，对于具有相同完成时限的多个流，它们内部是任意顺序；

S22：对于一个流，从时段1到时段m依次判断，若按照{r_i,j,t}的方式分配带宽，各链路上在该时段内是否还有带宽剩余；若在t时段链路上还有剩余未分配的带宽，则统计出在t时段以后还需传输数据的流，依次将它们本来安排在后续时段进行传输的任务，根据剩余带宽的大小，调整部分或全部到本时段进行传输；

S23：重复步骤S22，直到所有流都调整完毕后结束。

本发明的有益效果是：

(1)本发明在流组的传输调度中充分考虑了应用对不完整数据传输的容忍特点，当网络拥塞时，能够通过降低流组的完成度，换取流组的按时完成；能够按照应用的完成度要求，通过降低一些流组的完成度，以提高其他流组的完成度；

(2)本发明能够更充分利用网络带宽，接纳更多的流组请求并为其提供有性能保证的数据传输服务，提高系统整体资源利用率。

附图说明

图1为本发明流程示意图。

图2为本发明流组调度模块判断流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

本发明方法通常用于网络控制器内的，例如逻辑集中的网络控制器，负责控制网络中各个流的各时刻的传输速率，并根据当前网络的负载，接纳或者拒绝应用的流组传输请求。对于接纳的流组，网络能够保证在其最晚完成时限要求内传输完其完成度所要求的数据量。一个或多个产生流组传输需求的分布式应用的控制器，向网络控制器按需提出包含最晚完成时限要求和最少完成度约束的流组需求。网络控制器根据网络状况选择接纳或者拒绝。当流组请求被控制器拒绝时，应用可以放松要求后再次提交。

应用的一个流组传输请求由以下几个方面描述：

1、一组子传输任务的集合，其中每个子传输任务需要从一个计算节点搬移一定数量数据到另一个计算节点；

2、一组完成度要求，其中完成度要求标明所包含的流至少需要传完的数据量；

3、最晚完成时限，表示该流组传输需求如果被接纳，需要在该时间内完成上述完成度要求的数据量。

假设新到达的流组请求为R_n，当前所有还在进行但尚未结束的流组集合为SR；如果能够找到一种带宽分配方案，在不影响这些已经接纳但尚未完成的流组的最晚完成时限和完成度要求的同时，在新流组请求要求的完成时限内传满足其完成度要求的输数据量，则接纳该请求，否则拒绝该请求。

控制器进行带宽分配方案的计算方法，即本发明方法如下：

步骤1：获取已接纳流组的任务完成情况；

步骤2：根据新流组请求的需求和已接纳流组的完成情况，以最大化能够传输的数据总量为优化目标，建立线性优化模型；

线性优化模型建立过程如下：

S11：假设流组传输请求为R_i，i＝1、2、…、n，其中R_n为新到达的流组传输请求；流组传输请求中包含的传输请求集合为F_i，剩余的完成时限为τ_i，剩余的完成度要求为A_i；F_i中的子传输任务f_i,j的传输路径为p_i,j，剩余的传输数据量为v_i,j，A_i中的一个完成度要求a_i,k由(G_i,k，u_i,k)表示，表明为了满足完成度要求，隶属于G_i,k的子传输任务至少还需要传输一共u_i,k的数据量；

S12：接到新流组传输请求后，将当前流组在内的所有流组的最晚完成时限对应的时间点进行排序，将时间划分为多个时间段T₁、T₂、…、T_m；从当前时刻到max_1≤i≤nτ_i共被划分为m个时段，长度分别为T₁、T₂、…、T_m；与之对应的，将第i个流组的最晚完成时间恰好是第m_i个时段的右边界。

传输任务f_i,j在时段t的发送速率为r_i,j,t，那么是否能够找到一个带宽分配方案来接纳请求R_n等价于能否为流组中的每个流找到一种带宽分配方案。在满足链路容量的约束下，在完成时限内传完不少于完成度所要求的剩余容量，该问题是一个典型的线性约束满足性问题。

S13：建立线性优化模型：

以最大化上述模型的同时满足下述约束条件：

对每个流组中的每个流f_i,j均存在：

对每个流组中的每个完成度约束G_i,k均存在：

对所有的链路e和有传输任务的时段t：

式中：r_i,j,t为传输任务f_i,j在时段t的发送速率，且对于每个流组中每个流在各个可能时段上的速率r_i,j,t≥0；e为链路，c_e为链路e的可用带宽，G_i,k为第i个流组中的第k个完成度要求所指定的流的集合，u_i,k为第i个流组中的第k个完成度要求剩余的传输任务量，|F_i|为集合F_i包含元素的个数，即包含还在线的流的数目。

步骤3：对模型进行求解，若模型不存在可行解则拒绝该流组请求；若模型存在可行解，则接纳该请求，并采用模型计算得到的解对各时段的链路进行带宽的分配。采用现有的成熟线性优化求解算法如内点法及其变种算法或者单纯型法及其变种等算法即可快速求解。

如果模型存在解，即找到一组{r_i,j,t}，满足上述约束，则接纳该请求，否则拒绝。对于拒绝的情况，流组将按照之前已有的带宽分配进行流传输。

对于接纳的情况，我们对线性规划求解获得的{r_i,j,t}做进一步调整，以便更充分的利用链路带宽。然后，新接纳的流组请求和已有的流组请求，将按照{r_i,j,t}给定的数值对各时段的链路进行带宽的分配。

{r_i,j,t}调整方法如下：

1、首先将所有已接纳的流组中的所有流请求按照最晚完成时限由近到远进行排序，对于具有相同完成时限的多个流，它们内部可以是任意顺序，假设该顺序为0rd。

2、从时段1到时段m，依次判断，若按照{r_i,j,t}的方式分配带宽，各链路上在该时段内是否还有带宽剩余。若在t时段链路上还有剩余未分配的带宽，则统计出在t以后时段还需传输数据的流，按照它们在0rd中的顺序，依次将它们本来安排在后续时段进行传输的任务，调整一部分(或者全部，如果剩余带宽充足，会将后续的全部传输任务都调整到本时段)到本时段进行传输。重复上述处理直到无法再继续进行调整，即每个流都已调整完毕。

本发明方法能够根据链路负载情况，动态地调整各个流组的带宽使用，在满足应用给出的完成度和最晚完成时限要求的前提下，通过降低一些传输的完成度，让更多的流组在最晚完成时限内完成。网络能够在保证服务质量的前提下接纳更多的流组任务，并保证应用的低时延响应，提高网络的利用率，进而提高整体系统的资源利用率。充分考虑了应用对不完整数据传输的容忍特征能够使得，当网络拥塞时，能够通过降低流组的完成度，换取流组的按时完成。能够通过降低一些流组的完成度，以提高其他流组的完成度。能够更充分的利用网络带宽，接纳更多的流组请求并为其提供有性能保证的服务，提高系统整体资源利用率。

Claims (2)

1.一种容忍不完整数据传输的流组传输调度方法，其特征在于，包括以下步骤：

步骤1：获取已接纳流组的任务完成情况；

步骤2：根据新流组请求的需求和已接纳流组的完成情况，以最大化能够传输的数据总量为优化目标，建立线性优化模型，线性优化模型建立过程如下：

S21：假设流组传输请求为R_i，i＝1、2、…、n，其中R_n为新到达的流组传输请求；流组传输请求中包含的传输请求集合为F_i，剩余的完成时限为τ_i，剩余的完成度要求为A_i；F_i中的子传输任务f_i,j的传输路径为p_i,j，剩余的传输数据量为v_i,j，A_i中的一个完成度要求a_i,k由(G_i,k，u_i,k)表示；

S22：接到新流组传输请求后，将当前流组在内的所有流组的最晚完成时限对应的时间点进行排序，将时间划分为多个时间段T₁、T₂、…、T_m；

S23：建立线性优化模型：

以最大化上述模型的同时满足下述约束条件：

式中：r_i,j,_t为传输任务f_i,j在时段t的发送速率，e为链路，c_e为链路e的可用带宽，G_i,k为第i个流组中的第k个完成度要求所指定的流的集合，u_i,k为第i个流组中的第k个完成度要求剩余的传输任务量，|F_i|为集合F_i包含元素的个数，即包含还在线的流的数目；

步骤3：对模型进行求解，若模型不存在可行解则拒绝该流组请求；若模型存在可行解，则接纳该请求，并采用模型计算得到的解对各时段的链路进行带宽的分配；

在步骤3中接纳请求后，对模型求得的解做以下调整：

模型求得的解为{r_i,j,_t}；

S21：将已接纳的流组中的所有流请求按照最晚完成时限由近到远进行排列，进行带宽调整，对于具有相同完成时限的多个流，它们内部是任意顺序；

S22：对于一个流，从时段1到时段m依次判断，若按照{r_i,j,_t}的方式分配带宽，各链路上在该时段内是否还有带宽剩余；若在t时段链路上还有剩余未分配的带宽，则统计出在t时段以后还需传输数据的流，依次将它们本来安排在后续时段进行传输的任务，根据剩余带宽的大小，调整部分或全部到本时段进行传输；

S23：重复步骤S22，直到所有流都调整完毕后结束。

2.根据权利要求1所述的一种容忍不完整数据传输的流组传输调度方法，其特征在于，所述步骤3中模型求解方法为内点法或其变种算法中的一种。

Images