CN114666283A - 一种应用感知的多租户Coflow调度方法和系统 - Google Patents

Abstract

本发明公开了一种应用感知的多租户Coflow调度方法和系统，包括采集Coflow流量信息；根据Coflow流量信息构建NHPP排队模型，模拟Coflow流量信息，建立租户到达模型；求解租户长期隔离进度，使Coflow达到租户长期隔离进度，实现租户隔离与应用感知；对Coflow调度问题进行建模，通过拉格朗日对偶优化，求解性能最优进度，以实现最小化Coflow完成时间和最大化实际分配带宽；得到租户进度的取值范围，实现应用感知的多租户Coflow调度。本发明结合分布式并行计算框架中Coflow特点，通过数学建模加入应用感知机制，保证租户带宽隔离；通过对偶优化，增大租户的实际带宽，提高网络链路利用率。

Description

一种应用感知的多租户Coflow调度方法和系统

技术领域

本发明属于大数据通信抗技术领域，具体涉及一种应用感知的多租户Coflow调度方法和系统。

背景技术

随着云计算、大数据、物联网等信息技术的高速发展，海量数据的高效计算和快速存储得到了广泛应用。数据中心作为信息产业的基础设施，大量租户、应用接入到数据中心内部，其内部流量激增，给数据中心流量控制带来极大挑战。诸如本地应用迁移上云、视频在线播放等在线服务与应用，均包含复杂的计算过程或存储过程，分布式并行计算框架可以提供高效可靠的服务。针对计算业务的低延迟和存储业务的高吞吐量之间的冲突，即计算任务多为短流量传输，存储任务多为大流量传输，传统的流量调度多用于路由层的优化，对于数据中心内部低延迟、高吞吐量的流量调度优化不够有效。在这种情况下，Coflow模型可以弥补分布式并行计算框架的不足。

Coflow被称为具有语义相关的一组通信数据流。2012年的ACM HotNet会议中首次提出Coflow调度的概念，此后普遍认为Coflow调度是解决分布式并行计算任务的有效方案。以MapReduce并行计算框架为例，Map映射阶段需要对作业的任务进行划分和分发(shuffle)，会产生中间通信数据流，Reduce归并阶段需要读取Map阶段处理完成后的中间结果，也会产生中间通信数据流。为了增强数据中心的性能，提高任务的完成时间，需要对Coflow的完成时间进行优化(CCT,Coflow Completion Time)。

众多学者对Coflow优化进行了大量研究，诸如：Varys、Aalo、DRF等，其均在一定程度上缩短了平均CCT。然而现有Coflow优化多关注于性能的提升，即缩短平均CCT，对于多租户数据中心内的公平问题，关注较少，导致租户体验较差。如何平衡租户带宽分配与提高租户性能，成为Coflow流量调度的挑战。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种应用感知的多租户Coflow调度方法和系统，结合分布式并行计算框架中Coflow特点，通过数学建模加入应用感知机制，保证租户带宽隔离；通过对偶优化，增大租户的实际带宽，提高网络链路利用率。

为实现上述技术目的，本发明采取的技术方案为：

一种应用感知的多租户Coflow调度方法，包括：

S1，分布式并行计算系统根据租户需求，执行计算过程，并采集计算过程中的Coflow流量信息；

S2，分析S1采集到的Coflow流量信息，根据Coflow流量信息构建NHPP排队模型，模拟Coflow流量信息，结合S1实际采集的Coflow流量信息与NHPP排队模型的信息，建立租户到达模型；

S3，根据租户到达模型，模拟租户的动态需求，引入租户长期隔离进度P₁ ^*，采用NHDRF算法对P₁ ^*进行求解，使Coflow达到租户长期隔离进度P₁ ^*，保障租户最低带宽，实现租户隔离与应用感知；

S4，在保障租户最低带宽后，针对网络带宽利用率低的问题，对Coflow调度问题进行建模，通过拉格朗日对偶优化，求解性能最优进度P₂ ^*，以实现最小化Coflow完成时间和最大化实际分配带宽；

S5，基于步骤S3和S4得到租户进度的取值范围P∈(P₁ ^*,P₂ ^*)，实现应用感知的多租户Coflow调度。

为优化上述技术方案，采取的具体措施还包括：

上述的步骤S2中，分析S1采集到的MapReduce过程中多种计算过程的Coflow流量信息，得出其计算过程具有重复规律的特征，根据得出的特征构建NHPP排队模型。

上述MapReduce过程中多种计算过程包括：Sort、Word Count,Hive Join,HiveAggregation过程，其流量信息呈现规律重复的特点，包括以下三类：单峰类、固定宽度峰值重复类、峰值宽度变化类，具体的：

单峰类：典型代表为Hadoop中Sort，使用固定0字节值对随机生成的记录进行排序；

固定宽度峰值重复类：典型代表为Hadoop中Word Count，统计输入数据中出现的单词数；

峰值宽度变化类：Hive是构建在Hadoop之上的数据仓库系统，执行两个查询语句联合查询时，Hive Join在开始时表现出短暂的网络活动爆发，具有不同持续时间和不同强度的流量序列。

上述的步骤S2中，建立租户到达模型过程如下：

步骤S21，基于NHPP排队模型，构造服务速率到达函数；

步骤S22，采用EM算法优化求解服务速率到达函数，获得期望函数；

步骤S23，根据获得的期望函数，得到租户需求的预测函数

结合采集到的实际流量d_k，构建租户到达模型，即为租户需求流量d_k：

其中，k表示第k位租户，λ_l为租户到达速率，λ_c(t)为服务到达速率，ε∈(0,1)为动态因子，调节真实值d_k与预测值

的权重。

上述的步骤S3具体如下：

1)根据租户到达模型，模拟租户的动态需求，NHDRF统计每个Coflow端口数量以及其输入端口需求流量、输出端口需求流量；

2)寻找每个Coflow流量的最小主导资源，利用Coflow子流之间的相关性，为最小主导资源分配相应的带宽资源；

3)通过平等增加所有Coflow进度，让所有的Coflow以公平分配的方式分配带宽，使其达到租户长期隔离进度P₁ ^*。

上述的步骤3)中，将Coflow C_k在链路i上的子流个数，定义为

在所有2m端口中的子流个数集合为

其中最大的子流个数定义为流数瓶颈

则将子流数规范化得到向量

其中

通过平等增加所有Coflow进度，让所有的Coflow以公平分配的方式分配带宽，使其达到如下租户长期隔离进度P₁ ^*：

上述的步骤S4包括以下步骤：

从租户分配的实际分配带宽

和Coflow的完成时间

两个角度进行Lagrange建模，优化Coflow的调度性能，将t时刻租户内Coflow调度问题进行建模如下：

Maximize:

S.t:

其中，N表示t时刻存在的Coflow流数量，BW_ij表示输入端口i和输出端口j之间形成的链路带宽，

表示t时刻分配的实际带宽，

表示t时刻的Coflow完成时间，pr_ij∈{0,1}表示Coflow是否通过输入端口i和输出端口j传输；

将Coflow调度问题转换为凸问题：

min imize:

S.t:

通过在凸问题中设计问题的约束条件，将原问题优化为Lagrange对偶问题：

f₀表示凸问题的优化目标，f_i为凸问题中不等式约束，h_j为凸问题中的等式约束，φ_i为不等式约束

乘子，

为等式约束

乘子；

最小化Coflow调度问题的Lagrange函数，即可得Lagrange对偶函数：

通过梯度下降方法求解

令a^l和

分别是Coflow调度问题和Lagrange对偶问题的某对最优解，则：

其中t表示迭代索引，α_k(t)表示迭代搜索的步长；

表示i链路在第t轮迭代中的最优解；

通过梯度下降求解

然后收敛到最优a^l；

收敛到最优a^l结合租户需求流量d_k，得到性能最优进度P₂ ^*：

一种应用感知的多租户Coflow调度系统，用于上述一种应用感知的多租户Coflow调度方法，包括全局控制器与局部控制器；

所述全局控制器，包括主节点与守护进程，用于统筹Coflow的全局控制信息；

所述主节点发挥着控制器的作用；

所述守护进程负责协调局部调度器，从全局进行优化控制；

所述局部控制器负责本地Coflow调度，具有两种队列模型：公平队列模型与多级队列反馈模型，且包括工作节点与监控模块；

所述公平队列模型，用于保证租户隔离；

所述多级反馈队列模型负责性能优化；

所述工作节点负责和主节点进行交互，优化本地调度；

所述监控模块用于采集Coflow流量信息，监控链路状态，实时分析租户需求变化。

本发明具有以下有益效果：

本发明首先对租户需求进行分析，引入进度来衡量租户完成任务传输的指标，根据NHPP排队模型建立租户到达模型，调用NHDRF算法求解长期隔离进度，保障租户隔离，实现应用感知；然后以最大化链路利用率为目标，采用Lagrange对偶优化，增大实际带宽分配，得到性能最优进度；以此在保障租户带宽公平分配的条件下，最大化网络链路利用率，有效提高了Coflow调度性能。

附图说明

图1为本发明实施例提供的应用感知的多租户Coflow调度结构图。

图2为本发明应用感知的多租户Coflow调度方法流程图。

图3为本发明实施例提供的应用感知的多租户Coflow调度方法流程图。

图4为本发明实施例提供的MapReduce过程流量变化图。

图5为本发明实施例提供的应用感知的多租户Coflow调度方法与现有方法完成时间对比图。

图6为本发明实施例提供的应用感知的多租户Coflow调度方法与现有方法吞吐量对比图。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

如图1所示，本发明公开了一种应用感知的多租户Coflow调度系统，包括全局控制器与局部控制器；

所述全局控制器，包括主节点与守护进程，用于统筹Coflow的全局控制信息；

所述主节点是调度系统的大脑，其发挥着控制器的作用。

所述守护进程负责协调局部调度器，从全局进行优化控制；

所述局部控制器负责本地Coflow调度，其具有两种队列模型：公平队列模型与多级队列反馈模型，且包括工作节点与监控模块；

所述公平队列模型，用于保证租户隔离；

所述多级反馈队列模型负责性能优化；

所述工作节点负责和主节点进行交互，优化本地调度；

所述监控模块用于采集Coflow信息，监控链路状态，实时分析租户需求变化。

基于上述系统实现本发明如图2所示的应用感知的多租户Coflow调度方法，具体的实施流程图如图3所示，调度过程涉及：

S1，信息采集

本发明应用感知的多租户Coflow调度机制，首先根据租户需求保证性能隔离；然后为了最大化利用网络带宽，会根据链路状况进行性能优化，因此，应用感知的多租户Coflow调度机制需要采集租户信息并时刻监控链路状态，进一步的：分布式并行计算系统根据租户需求，执行计算过程，并采集计算过程中的Coflow流量信息；

S2、S3，租户隔离

租户隔离通过实时采集信息，来确保租户的最低带宽要求。

然而，云数据中心内租户需求具有高度动态变化的性质，其长期性能隔离需求不易满足。

租户隔离模块从进度的分配需求考虑，建立基于应用感知的多租户Coflow调度机制，首先采集租户的现有需求，做到瞬时性能保证；

针对租户需求高度动态变化的特性，建立NHPP排队模型，调用NHDRF算法，实现对租户需求的动态感知，以此保证租户隔离，具体的：

S2，分析S1采集到的Coflow流量信息，如MapReduce过程中多种计算过程，其流量信息是重复且规律的，根据Coflow流量信息构建NHPP排队模型，模拟Coflow流量信息，结合S1实际采集的Coflow流量信息与NHPP排队模型的信息，建立租户到达模型；

进一步地，步骤S2包括：

1)、采集并分析MapReduce过程中的流量特征。

MapReduce过程中多种计算过程包括：Sort、Word Count,Hive Join,HiveAggregation等过程，对于Sort、Word Count,Hive Join,and Hive Aggregation等功能，不同的作业，有不同的特点，单其均由规律性，通过观察这些流量模式，大部分可分为以下三类：单峰类、固定宽度峰值重复类、峰值宽度变化类，其流量变化如图4左侧图所示：

单峰类：典型代表为Hadoop中Sort，使用10字节键和90字节值对随机生成的记录进行排序，如图4左侧图内(1)所示。

固定宽度峰值重复类：典型代表为Hadoop中Word Count，统计输入数据中出现的单词数。这些数据是由于在map任务中而减少map输出，而周期性网络流量是因为map任务成批完成，如图4左侧图内(2)所示。

峰值宽度变化类：Hive是构建在Hadoop之上的数据仓库系统。执行两个查询语句联合查询时，Hive Join在开始时表现出短暂的网络活动爆发，具有不同持续时间和不同强度的流量序列，如图4左侧图内(3)所示。

云数据中心内部通过分布式并行计算框架处理数据，MapReduce是典型代表。具体地，假设Coflow C_k的需求变量为

k表示第k位租户，

表示Coflow C_k在链路i上的带宽需求。同样的，针对需求向量d_k，网络调度器会分配器相应的带宽，CoflowC_k实际分配的带宽向量为

表示Coflow C_k在链路i上分配的实际带宽。至此，正式引入进度作为Coflow C_k在链路上的标准化分配指标：

从上述表达式可以看出，Coflow进度捕获最慢链路上可达到的传输速率，这严重影响CCT性能。

租户长期隔离进度：在多租户的云数据中心中，来自不同租户和应用程序的Coflow会争夺共享网络中的通信带宽。对于给定的任务分配，通过将隔离保障衡量为Coflow的最小进度，即求解最大化最小的进度分配优化性能隔离：

其中，k表示第k个租户，K表示租户总数。

性能最优进度：通过识别瓶颈链路，增大实际带宽分配，提高网络链路利用率，优化Coflow的完成时间，即最小化CCT，提高Coflow调度性能。

2)建立租户到达模型过程如下：

步骤S21，基于NHPP排队的服务到达模型，首先构建服务速率到达函数；

步骤S22，然后采用EM算法优化求解，获得期望函数；

EM算法是一种迭代优化策略，其每次迭代分两步，第一步为期望步，第二步为极大步；

步骤S23，最后再根据获得的期望函数，构建租户需求的预测函数。

实施如下：

(1)构建服务速率到达函数。

基于NHPP排队的服务到达模型的灵活性在于每个服务速率到达函数λ_c(t)可以是任何形式的函数，将每个λ_c(t)建模为kl权重高斯基{B₁,B₂,...,B_KL}：

a_ckl为权重，μ_kl表示均值，σ_kl为方差。

(2)期望最大化。通过估计θ中的参数，这里

表示参数模型，对应于过程的速率函数＜λ₁,λ₂,...,λ_C＞与混合概率＜p₁,p₂,...,p_C＞，实现期望最大化：

求解期望：第一次迭代概率

最大化：通过求解得到参数θ^τ+1的新估计：

计算出总体混合概率p_c:

最后，整个过程进行迭代，得到权重的估计值a_ck，从而得到每个NHPP的速率函数的最终形式。

(3)预测。为预测租户

时刻的动态需求，得到联合概率密度函数

对于预测事件π，使用等待时间的中值

当其

时得到:

通过积分生成事件的预测:

至此，得到租户的到达模型：

这里λ_l为租户到达速率，λ_c(t)为服务到达速率，ε∈(0,1)为动态因子，调节真实值d_k与预测值

的权重。

再次观察图4左侧图中MapReduce过程中吞吐量变化，图中横轴表示时间变化，纵轴表示吞吐量变化。从图中可以看出，在时间(0,5s)之内，由于工作任务中进行Sort操作，MapReduce吞吐量呈现单峰类变化；在时间(10s，35s)之内，进行了Hive Join等操作，MapReduce吞吐量呈现峰值宽度不规则变化类；在时间(75s，100s)之内，进行Word Count操作，其数据会周期性Shuffle。以上三种类型的流量会重复性出现，因为MapReduce其操作会出现周期性变化，故吞吐量也会呈现周期性。在这里针对其中一种进行研究，如固定宽度峰值重复类，其具有很强的规律性。通过建立NHPP模型，对其峰值数据进行模拟，其结果如图4右侧图所示。本次模拟图4右侧图中时间段为(0,10s)内的吞吐量变化，其流量类型呈现固定宽度峰值，利用NHPP过程建模，对其峰值数据进行模拟。通过调整动态因子ε，优化建模过程，多次实验表明，ε取0.80时，其模拟结果最为准确。进一步的，从图中可以看出，其峰值数据出现在160Mbps附近，且NHPP模型波动较小，较好的模拟了MapReduce过程在时间段为(0,10s)内的吞吐量变化。

S3，根据租户到达模型，模拟租户的动态需求，引入租户长期隔离进度P₁ ^*，采用NHDRF算法对P₁ ^*进行求解，使Coflow达到租户长期隔离进度P₁ ^*，保障租户最低带宽，实现租户隔离与应用感知；

采用NHDRF算法求解租户长期隔离进度，具体如下：

1)首先，NHDRF会统计每个Coflow端口数量以及其输入端口需求流量、输出端口需求流量d_k。

2)然后，寻找每个Coflow流量的最小主导资源，由于Coflow执行过程中，其不同的端口之间流量存在一定的比例关系，利用Coflow子流之间的相关性，为最小主导资源分配相应的带宽资源。

Domain share指每个租户资源占相应总资源的比例最大值。

3)将Coflow C_k在链路i上的子流个数，定义为

在所有2m端口中的子流个数集合为

其中最大的子流个数定义为流数瓶颈

则将子流数规范化得到向量

其中

最后，通过平等增加所有Coflow进度，让所有的Coflow以公平分配的方式分配带宽，使其达到租户长期隔离进度P₁ ^*：

S4、性能优化

性能优化模块从进度的实际带宽考虑，基于Lagrange对偶优化，针对带宽利用率低和完成时间长两个问题，对Coflow调度问题进行建模优化，将原问题转化为凸优化问题进行求解，通过梯度下降算法加快求解速度，做到性能优，具体的：

S4，在保障租户最低带宽后，针对网络带宽利用率低的问题，对Coflow调度问题进行建模，通过拉格朗日对偶(Lagrange)优化，求解性能最优进度P₂ ^*，实现最小化Coflow完成时间和最大化实际分配带宽。

进一步地，步骤S4包括以下步骤：

从租户分配的实际带宽

和Coflow的完成时间

两个角度进行Lagrange建模，优化Coflow的调度性能，将t时刻租户内Coflow的调度问题建模如下：

Maximize:

S.t:

其中N表示t时刻存在的Coflow流数量，BW_ij表示输入端口i和输出端口j之间形成的链路带宽，

表示t时刻分配的实际带宽，

表示t时刻的Coflow完成时间，pr_ij∈{0,1}表示Coflow是否通过输入端口i和输出端口j传输。对于最小化CCT的NP-hard问题，通过将Coflow调度问题转换为凸问题，可极大提高求解速率：

min imize:

S.t:

通过在凸问题中设计问题的约束条件，将Coflow调度问题优化为Lagrange对偶问题：

φ_i被称为不等式约束

乘子，

被称为等式约束

乘子。最小化Coflow调度问题的Lagrange函数，即可得Lagrange对偶函数：

然后通过梯度下降方法求解

令a^l和

分别是原问题和Lagrange对偶问题的某对最优解，其对偶间隙为零，则：

其中t表示迭代索引，α_k(t)表示迭代搜索的步长。

表示i链路在第t轮迭代中的最优解，通过上式求解

然后收敛到最优a^l。

通过梯度下降方法求解

然后收敛到最优a^l；

由于进度是指租户实际分配带宽与需求带宽的比值，通过拉格朗日优化，求得实际分配带宽a^l，再与租户需求流量d_k做比，得到性能最优进度P₂ ^*，即：

通过识别瓶颈链路，增大实际带宽分配，提高网络链路利用率，优化Coflow的完成时间，提高Coflow调度性能，得到性能最优进度P₂ ^*。其表达式如下：

由上式可知：一方面，通过建立租户排队模型，进一步优化租户需求，即d_k；另一方面，通过建立Lagrange对偶模型，提高网络链路利用率，增大租户的实际带宽，即a^l，从两个方面共同优化Coflow调度。

S5，基于步骤S3和S4得到租户进度的取值范围P∈(P₁ ^*,P₂ ^*)，实现应用感知的多租户Coflow调度。

本发明提出了一种应用感知的多租户Coflow调度方法，在基于小规模流级别的模拟器和开源网络模拟器，对Meta(原Facebook)数据集526个Coflow随机分配任务，其任务到达时间遵循租户到达模型，并将四种不同类型的Coflow流作为工作负载。

图5得到了DRF、HUG、Utopia与Aamt的Coflow完成时间对比图，可以看出，Aamt的CCT平均比DRF、HUG分别高出9.2％、86.3％、74.3％。这是因为Aamt不仅考虑了租户隔离，还考虑了性能优化；当然Aamt性能接近Utopia，占到96.8％。其中，针对SN、SW这两类Coflow类型，Aamt表现出更佳的性能；因为Aamt考虑租户需求的弹性变化，针对租户短Coflow，Aamt会感知同一Coflow的其他子流，然后建立NHPP模型，进行优化；对于租户的长Coflow，则采取先到先服务的原则，因为对于长Coflow，对其发送顺序进行排序，会严重影响传输时间。

图6比较了四种机制在不同工作负载下的吞吐量，这也部分解释了图5中Aamt更好的CCT性能。吞吐量表示通过整个网络传输的所有数据量除以所有Coflow的最大完成时间。在较低负荷下(四种算法具有相似的吞吐量，而在更高的负载下，Aamt的吞吐量明显高于DRF(100％负载时21.3％)，略高于Utopia(100负载时4.2％)，相对于Utopia,Aamt有一个收敛过程，其租户到达模型，可以很好的适应租户需求动态变化，因此吞吐量损失很小。因此，Aamt在保证租户隔离时同时保持了良好的链路利用率。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种应用感知的多租户Coflow调度方法，其特征在于，包括：

S1，分布式并行计算系统根据租户需求，执行计算过程，并采集计算过程中的Coflow流量信息；

S2，分析S1采集到的Coflow流量信息，根据Coflow流量信息构建NHPP排队模型，模拟Coflow流量信息，结合S1实际采集的Coflow流量信息与NHPP排队模型的信息，建立租户到达模型；

S3，根据租户到达模型，模拟租户的动态需求，引入租户长期隔离进度P₁ ^*，采用NHDRF算法对P₁ ^*进行求解，使Coflow达到租户长期隔离进度P₁ ^*，保障租户最低带宽，实现租户隔离与应用感知；

S4，在保障租户最低带宽后，针对网络带宽利用率低的问题，对Coflow调度问题进行建模，通过拉格朗日对偶优化，求解性能最优进度P₂ ^*，以实现最小化Coflow完成时间和最大化实际分配带宽；

S5，基于步骤S3和S4得到租户进度的取值范围P∈(P₁ ^*,P₂ ^*)，实现应用感知的多租户Coflow调度。

2.根据权利要求1所述的一种应用感知的多租户Coflow调度方法，其特征在于，步骤S2中，分析S1采集到的MapReduce过程中多种计算过程的Coflow流量信息，得出其计算过程具有重复规律的特征，根据得出的特征构建NHPP排队模型。

3.根据权利要求2所述的一种应用感知的多租户Coflow调度方法，其特征在于，所述MapReduce过程中多种计算过程包括：Sort、Word Count,Hive Join,Hive Aggregation过程，其流量信息呈现规律重复的特点，包括以下三类：单峰类、固定宽度峰值重复类、峰值宽度变化类，具体的：

单峰类：典型代表为Hadoop中Sort，使用固定0字节值对随机生成的记录进行排序；

固定宽度峰值重复类：典型代表为Hadoop中Word Count，统计输入数据中出现的单词数；

峰值宽度变化类：Hive是构建在Hadoop之上的数据仓库系统，执行两个查询语句联合查询时，Hive Join在开始时表现出短暂的网络活动爆发，具有不同持续时间和不同强度的流量序列。

4.根据权利要求1所述的一种应用感知的多租户Coflow调度方法，其特征在于，步骤S2中，建立租户到达模型过程如下：

步骤S21，基于NHPP排队模型，构造服务速率到达函数；

步骤S22，采用EM算法优化求解服务速率到达函数，获得期望函数；

步骤S23，根据获得的期望函数，得到租户需求的预测函数

结合采集到的实际流量d_k，构建租户到达模型，即为租户需求流量d_k：

其中，k表示第k位租户，λ_l为租户到达速率，λ_c(t)为服务到达速率，ε∈(0,1)为动态因子，调节真实值d_k与预测值

的权重。

5.根据权利要求1所述的一种应用感知的多租户Coflow调度方法，其特征在于，步骤S3具体如下：

1)根据租户到达模型，模拟租户的动态需求，NHDRF统计每个Coflow端口数量以及其输入端口需求流量、输出端口需求流量；

2)寻找每个Coflow流量的最小主导资源，利用Coflow子流之间的相关性，为最小主导资源分配相应的带宽资源；

3)通过平等增加所有Coflow进度，让所有的Coflow以公平分配的方式分配带宽，使其达到租户长期隔离进度P₁ ^*。

6.根据权利要求1所述的一种应用感知的多租户Coflow调度方法，其特征在于，所述步骤3)中，将Coflow C_k在链路i上的子流个数，定义为

在所有2m端口中的子流个数集合为

其中最大的子流个数定义为流数瓶颈

则将子流数规范化得到向量

其中

通过平等增加所有Coflow进度，让所有的Coflow以公平分配的方式分配带宽，使其达到如下租户长期隔离进度P₁ ^*：

7.根据权利要求1所述的一种应用感知的多租户Coflow调度方法，其特征在于，步骤S4包括以下步骤：

从租户分配的实际分配带宽

和Coflow的完成时间

两个角度进行Lagrange建模，优化Coflow的调度性能，将t时刻租户内Coflow调度问题进行建模如下：

Maximize:

S.t:

其中，N表示t时刻存在的Coflow流数量，BW_ij表示输入端口i和输出端口j之间形成的链路带宽，

表示t时刻分配的实际带宽，

表示t时刻的Coflow完成时间，pr_ij∈{0,1}表示Coflow是否通过输入端口i和输出端口j传输；

将Coflow调度问题转换为凸问题：

min imize:

S.t:

通过在凸问题中设计问题的约束条件，将Coflow调度问题优化为Lagrange对偶问题：

f₀表示凸问题的优化目标，f_i为凸问题中不等式约束，h_j为凸问题中的等式约束，φ_i为不等式约束

乘子，

为等式约束

乘子；

最小化Coflow调度问题的Lagrange函数，即可得Lagrange对偶函数：

通过梯度下降方法求解

令a^l和

分别是Coflow调度问题和Lagrange对偶问题的某对最优解，则梯度下降后：

其中t表示迭代索引，α_k(t)表示迭代搜索的步长；

表示i链路在第t轮迭代中的最优解；

通过梯度下降方法求解

然后收敛到最优a^l；

收敛到最优a^l结合租户需求流量d_k，得到性能最优进度P₂ ^*：

8.一种应用感知的多租户Coflow调度系统，用于实现权利要求1-7任一所述一种应用感知的多租户Coflow调度方法，其特征在于，包括全局控制器与局部控制器；

所述全局控制器，包括主节点与守护进程，用于统筹Coflow的全局控制信息；

所述主节点发挥着控制器的作用；

所述守护进程负责协调局部调度器，从全局进行优化控制；

所述局部控制器负责本地Coflow调度，具有两种队列模型：公平队列模型与多级队列反馈模型，且包括工作节点与监控模块；

所述公平队列模型，用于保证租户隔离；

所述多级反馈队列模型负责性能优化；

所述工作节点负责和主节点进行交互，优化本地调度；

所述监控模块用于采集Coflow流量信息，监控链路状态，实时分析租户需求变化。

Images