CN111756653A

CN111756653A - 基于图神经网络深度强化学习的多coflow调度方法

Info

Publication number: CN111756653A
Application number: CN202010501622.8A
Authority: CN
Inventors: 郭泽华; 孙鹏浩
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2020-06-04
Filing date: 2020-06-04
Publication date: 2020-10-09
Anticipated expiration: 2040-06-04
Also published as: CN111756653B

Abstract

本发明公开了基于图神经网络深度强化学习的多coflow调度方法，基于深度强化学习框架建立了多coflow调度模型，并采用图神经网络和策略网络的级联作为深度强化学习代理，其中，采用图神经网络完成工作流DAG特征的提取，使得模型能够处理具有不同数量及连接方式的节点的工作流DAG，有效提高了模型在不可预测输入DAG下的泛化能力；通过引入策略转换器，能够根据调度优先级列表生成细粒度的coflow调度策略，提高了调度过程的效率，并且有效减少了工作流的完成时间。

Description

基于图神经网络深度强化学习的多coflow调度方法

技术领域

本发明属于计算机网络技术领域，具体涉及基于图神经网络深度强化学习的多coflow调度方法。

背景技术

集群计算是近年来被广泛采用的方法，由于在大数据和云计算等场景下，随着数据处理需求的增加，它可以在相对低的资本支出下实现高并行计算性能。

许多集群计算应用(例如Spark和MapReduce)是基于多任务模型的，其中计算任务由几个连续的阶段和通信阶段组成。各执行计算阶段只能从上一阶段的中间数据完全发送时开始。任务的工作过程可以被建模为工作流有向无环图(Directed Acyclic Graph，DAG)记为G＝(V,E)，其中V是DAG中的节点集合，代表计算阶段，E是DAG中的边集合，代表计算节点之间的通信阶段。例如，工作流DAG，如图3所示，其中包括V₁…V₇七个计算阶段和e₁…e₆六个通信阶段。

工作流DAG中，若一个通信阶段与从两组机器相互交织的一组流相关，且共享一个共同的工作目标，则该通信阶段被定义为coflow。研究指出，中间数据传输过程(即，从一个计算单元到另一个计算单元的顺序相关的传输)在整个工作过程中的占比不小于50％，现有的研究表明，通过调度coflow可以显著减少工作完成时间(JCT)。

coflow调度问题一直是数据中心网络(DCN)中的一个具有挑战性的问题，因为coflow具有多种特性，使得coflow的调度变得复杂。这些特性包括：单个coflow的性质，如：流动尺寸、平行流的数量等；多个coflow间的性质，如：工作流DAG中不同coflow的关系等。coflow的最优调度已被证明是NP难问题，现有的工作试图简化问题并使用启发式来最小化coflow的传输时间。然而，从提高效率的角度来看，现有技术主要存在以下局限性：

有些现有技术仅专注于最小化一个通信阶段的传输时间，在调度流程中，并未考虑工作流的通信需求，此类工作流无关的调度方法，由于coflow调度过程中未考虑工作DAG的执行顺序，因此不能计算出最佳的工作流完成时间；有些现有技术使用启发式算法简化了问题，此类方法仅能保证逼近NP难问题的最优解。因此，对工作流完成时间的求解仍有很大的改进空间。

发明内容

有鉴于此，本发明提供了基于图神经网络深度强化学习的多coflow调度方法，能够以最快的工作流完成时间完成数据中心网络中工作流的调度。

本发明提供的基于图神经网络深度强化学习的多coflow调度方法，包括以下步骤：

步骤1、采用深度强化学习框架建立多工作流调度模型即多coflow调度模型；所述多coflow调度模型包含深度强化学习代理、策略转换器和环境，所述环境为待调度数据中心网络；

所述深度强化学习代理由图神经网络和策略网络级联形成，其中，所述图神经网络用于计算工作流有向无环图(DAG)的全局信息和节点特征值，所述策略网络根据所述全局信息和节点特征值生成所述工作流DAG中边的调度优先级列表；

步骤2、统计计算待调度数据中心网络中工作流DAG中各节点所包含的节点流量及完成时间；所述工作流DAG及节点流量作为所述深度强化学习代理的初始输入状态；所述完成时间作为所述深度强化学习代理的初始奖励；

步骤3、将所述初始输入状态及初始奖励输入所述深度强化学习代理，由深度强化学习代理计算得到所述调度优先级列表，所述调度优先级列表作为所述深度强化学习代理输出的动作；所述策略转换器将所述动作作为coflow调度策略并作用于所述环境中，即根据所述coflow调度策略调度待调度数据中心网络，再计算当前调度下的工作流DAG的节点流量及完成时间，更新所述深度强化学习代理；迭代执行步骤3，直到达到最大迭代次数，完成所述深度强化学习代理的训练，从而完成多coflow调度模型的训练；

步骤4、在实际部署过程中，计算待调度数据中心网络中工作流DAG中各节点所包含的节点流量及完成时间，将工作流DAG及节点流量作为状态、将完成时间作为奖励输入到训练得到的多coflow调度模型中，得到输出的待调度数据中心网络的coflow调度策略，并根据coflow调度策略完成待调度数据中心网络的工作流调度。

进一步地，所述步骤1中所述图神经网络用于计算工作流DAG的全局信息和节点特征值的过程，包括以下步骤：

步骤1.1、将工作流DAG中节点v_i的信息作为节点特征x_i，并根据节点v_i的所有子节点des(v_i)的节点特征值计算节点v_i的节点特征值attr_i；

步骤1.2、根据计算得到的特征值，计算整个工作流DAG的全局信息y，y＝f_job({attr_i,x_i|v_i∈V})，V为DAG中的节点集合，函数f_job(·)为计算全局信息的神经网络，x_i与attr_i作为函数f_job(·)的输入；

步骤1.3、将节点特征值进行排序形成节点排序，按照所述节点排序输出节点特征值及全局信息。

进一步地，所述函数F(·)采用两种神经网络实现，如下式所示：

其中f(·)和g(·)均为具有两个隐含层的小前馈神经网络。

进一步地，所述策略网络为带有隐藏层的前馈神经网络。

进一步地，所述步骤3中所述策略转换器将所述动作作为coflow调度策略并作用于所述环境中，即根据所述coflow调度策略调度待调度数据中心网络，具体步骤如下：

步骤3.1、从所述调度优先级列表P中，选出最高优先级，找到与之相对应的coflow即e_i，其中，

M为进入端口的数量，N为出行端口的数量，

表示在e_i中从端口m流向端口n的流的标准化大小值；

步骤3.2、优先调度e_i中标准化大小值最大的流

计算流

的完成时间

并将此完成时间作为e_i的完成时间；

步骤3.3、对e_i中其余的流进行调度时，按照完成时间与

的差值进行排序，优先调度差值较小的流，直到完成e_i中所有流的调度；

步骤3.4、将此优先级序号p_i从所述调度优先级列表P中删除，如果当前调度优先级列表P不为空，则执行步骤3.1；否则，调度结束。

有益效果：

本发明基于深度强化学习框架建立了多coflow调度模型，并采用图神经网络和策略网络的级联作为深度强化学习代理，其中，采用图神经网络完成工作流DAG特征的提取，使得模型能够处理具有不同数量及连接方式的节点的工作流DAG，有效提高了模型在不可预测输入DAG下的泛化能力；通过引入策略转换器，能够根据调度优先级列表生成细粒度的coflow调度策略，提高了调度过程的效率，并且有效减少了工作流的完成时间。

附图说明

图1为本发明提供的基于图神经网络深度强化学习的多coflow调度方法的多coflow调度模型示意图。

图2为本发明提供的基于图神经网络深度强化学习的多coflow调度方法的深度强化学习代理的结构示意图。

图3为工作流DAG示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供的基于图神经网络深度强化学习的多coflow调度方法，其基本思想是采用深度强化学习(DRL)的框架，从历史轨迹中学习并训练神经网络，同时对神经网络中的输出进行编码生成coflow调度策略，基于该coflow调度策略在不需要专家知识或预先假设的模型的情况下就能够进行数据中心网络中工作流的调度。

本发明提供的基于图神经网络深度强化学习的多coflow调度方法，具体包括以下步骤：

步骤1、采用深度强化学习框架建立多同向工作流调度模型即多coflow调度模型，多coflow调度模型的结构如图1所示；多coflow调度模型包含深度强化学习代理、策略转换器和环境，环境为待调度数据中心网络；深度强化学习代理由图神经网络(GNN)和策略网络级联形成，如图2所示，其中，GNN用于计算工作流DAG的全局信息和节点特征值，策略网络根据全局信息和节点特征值生成工作流DAG中边的调度优先级列表。

本发明建立的多coflow调度模型与深度强化学习框架所涉及的三元素<S,A,R>相对应，即，本发明中的状态空间S为工作流DAG以及DAG中节点上包含的流的大小，动作空间A为coflow调度策略，及奖励空间R为工作流的完成时间。

具体来说，GNN计算工作流DAG的全局信息和节点特征值的具体过程可采用如下方式：

步骤1.1、将工作流DAG中每个工作阶段(节点)v_i的信息(例如，计算成本等)作为节点特征x_i。然后，计算节点v_i的节点特征值attr_i，节点特征值attr_i是由计算节点v_i的所有子节点des(v_i)的特征值得到，即attr_i＝F(x_i,{attr_u|v_u∈des(v_i)})，具体来说其计算方式为：找到节点v_i的所有子节点v_u,通过所有v_u的属性信息attr_u，以attr_u及x_i作为函数F()的输入计算得到attr_i。其中，函数F(·)可以采用神经网络实现，本发明中采用两种神经网络实现函数F(·)如下式所示：

其中f(·)和g(·)是两个具有两个隐含层的小前馈神经网络，实现了对输入信息的非线性变换。

步骤1.2、根据节点v_i的所有子节点的节点属性更新每个节点特征值attr_i，通过这种信息传递过程可将复杂信息从子节点逐级传送。然后，用另一种神经网络计算整个工作流DAG的全局信息y，即为y＝f_job({attr_i,x_i|v_i∈V})，V为DAG中的节点集合，函数f_job(·)为神经网络，x_i与attr_i作为函数f_job(·)的输入。

步骤1.3、将节点特征值进行排序，以此形成节点排序，每个节点离开GNN的顺序将会依照上述值的排序，按照节点排序输出节点特征值以及全局信息。

策略网络根据GNN输出的全局信息和节点特征值生成工作流DAG中边的调度优先级列表，本发明中策略网络采用带有一个隐藏层的前馈神经网络来实现，前馈神经网络计算工作流DAG的全局信息和节点特征值，生成并输出优先级列表P＝(p₁,p₂,…,p_|V|)，其中p_i(1≤i≤|V|)代表节点v_i在工作流DAG中的优先级别值，p_i越大，代表优先级越高。

步骤2、统计计算待调度数据中心网络中工作流DAG中各节点所包含的节点流量及完成时间；工作流DAG及节点流量作为深度强化学习代理的初始输入状态；完成时间作为深度强化学习代理的初始奖励。

步骤3、将初始输入状态及初始奖励输入深度强化学习代理，由深度强化学习代理计算得到调度优先级列表，调度优先级列表作为深度强化学习代理输出的动作；策略转换器将动作作为coflow调度策略并作用于环境中，即根据coflow调度策略调度待调度数据中心网络，再计算当前调度下的工作流DAG的节点流量及完成时间，更新深度强化学习代理；迭代执行步骤3，直到达到最大迭代次数，完成深度强化学习代理的训练，从而完成多coflow调度模型的训练。

策略转换器将策略网络的输出值调度优先级列表P＝(p₁,p₂,…,p_|V|)，转化为具体的coflow调度策略。由于在工作流DAG中，只有一个边缘源于一个特定节点，所以我们用它的源节点的优先级值来分配边缘e_i的优先级，边缘e_i的优先级即为coflow的优先级，coflow优先级列表表示为P＝(p₁,p₂,…,p_|E|)，E为DAG中的边集合。这样，最终工作流DAG的调度问题可转化为它们所属的coflow在每个端口上的调度问题。在DAG中，有N个coflow{e₁,e₂,…,e_|N|}，DCN可被看作为一个大的交换矩阵，它包含M个进入端口和N出行端口。一个coflow可定义为一群流的集合

其中，

表示在coflowe_i中从端口m流向端口n的流的标准化大小值。策略转换器的具体执行过程如下：

步骤3.1、从调度优先级列表P中，选出最高优先级p_i＝maxP，找到与之相对应的coflow即e_i；

步骤3.2、优先调度e_i中标准化大小值最大的流

从而最小化e_i的完成时间；计算流

的完成时间

并将此完成时间作为e_i的完成时间；

步骤3.3、按照完成时间尽可能向

靠近的原则，在其他端口上对e_i中其余的流进行调度，直到完成e_i中所有流的调度；具体来说，就是按照完成时间与

的差值进行排序，优先调度差值较小的流；

步骤3.4、将此优先级序号从调度优先级列表P中删除，如果当前调度优先级列表P不为空，则执行步骤3.1；否则，调度结束。

本发明的使用主要分为两个阶段：离线训练阶段和在线部署阶段。在离线训练阶段，深度强化模型以降低工作DAG完成时间为目的，经过训练优化其神经网络参数，产生coflow调度策略集合。在在线部署阶段，训练完成的深度强化模型根据输入，从coflow调度策略集合中选择合适的coflow调度策略，实现降低工作DAG完成时间的目的，在线部署阶段也可以进一步对深度强化模型进行训练，增加模型准确度。

综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。