CN109298932B - 基于OpenFlow的资源调度方法、调度器及系统 - Google Patents

基于OpenFlow的资源调度方法、调度器及系统 Download PDF

Info

Publication number
CN109298932B
CN109298932B CN201810994305.7A CN201810994305A CN109298932B CN 109298932 B CN109298932 B CN 109298932B CN 201810994305 A CN201810994305 A CN 201810994305A CN 109298932 B CN109298932 B CN 109298932B
Authority
CN
China
Prior art keywords
reduce
task
scheduled
node
result data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810994305.7A
Other languages
English (en)
Other versions
CN109298932A (zh
Inventor
戴彬
朱艳丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201810994305.7A priority Critical patent/CN109298932B/zh
Publication of CN109298932A publication Critical patent/CN109298932A/zh
Application granted granted Critical
Publication of CN109298932B publication Critical patent/CN109298932B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于OpenFlow的资源调度方法、调度器及系统，包括：当待调度Reduce任务到达时，获得集群当前的拓扑信息；根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行待调度Reduce任务的执行节点和将待调度Reduce任务所对应的中间结果数据传输到执行节点的第一传输路径；将待调度Reduce任务调度到执行节点，并根据第一传输路径为待调度Reduce任务预留带宽并更新集群拓扑信息；按照第一传输路径将待调度Reduce任务所对应的中间结果数据传输到执行节点，以由执行节点执行待调度Reduce任务。本发明能够最小化Reduce阶段计算资源和网络资源的使用代价总和，从而提高任务的执行效率。

Description

基于OpenFlow的资源调度方法、调度器及系统
技术领域
本发明属于云计算资源调度领域，更具体地，涉及一种基于OpenFlow的云计算资源联合调度方法。
背景技术
Hadoop是目前最流行的开源云计算平台之一，其MapReduce编程模型利用集群的并行运作来进行高速运算和存储，以分析和处理海量数据。在MapReduce的资源调度问题上，Map阶段的Map任务大小相同且数量多，能取得较好的负载均衡；而Reduce阶段由于Reduce任务粒度差异大、Reduce节点能力异构等原因，当中间数据量很大时容易出现Reduce节点负载不均衡、传输路径拥堵、任务排队时间过长等情况。
由于在MapReduce中执行任务既需要计算资源(CPU、内存等)又需要网络资源(带宽等)，任何一方面的缺失都会影响到任务的执行效率，而现有的针对Hadoop及其核心设计MapReduce中的资源调度问题所提出的多种资源调度方法，如注重数据本地性的调度算法，注重负载均衡的调度算法，自适应感知调度算法，公平调度算法等，均没有同时考虑网络资源分配和计算资源分配，因此关于计算资源和网络资源的联合优化分配问题值得进一步研究。
目前已有一些研究提出了基于OpenFlow的调度方法来优化Hadoop/MapReduce中的数据传输，这些方法都利用了OpenFlow的带宽控制能力来优化网络带宽资源的调度，但没有进一步在优化调度目标中将计算资源与网络带宽资源统一化进行综合衡量。因此，本发明从资源联合调度优化的角度出发，基于OpenFlow的带宽控制技术，针对云平台Hadoop中的MapReduce计算框架，采用了资源联合分配的最小执行代价策略，以此来优化资源的分配。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于OpenFlow的云计算资源联合调度方法，其目的在于，从资源联合调度的角度出发，基于OpenFlow的带宽控制技术，针对云平台Hadoop中MapReduce计算框架的Reduce阶段，采用资源联合分配的最小执行代价策略，最小化Reduce阶段计算资源和网络资源的使用代价总和，以提高任务的执行效率。
为实现上述目的，按照本发明的第一方面，提供了一种基于OpenFlow的资源调度方法，在Reduce阶段对网络资源和计算资源进行联合调度，包括如下步骤：
(1)当待调度Reduce任务到达时，获得集群当前的拓扑信息；
(2)根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行待调度Reduce任务的执行节点和将待调度Reduce任务所对应的中间结果数据传输到执行节点的第一传输路径，以使得执行待调度Reduce任务所需的执行代价最小；其中，执行代价为网络资源使用代价和计算资源使用代价的总和；
(3)将待调度Reduce任务调度到执行节点，并根据第一传输路径为待调度Reduce任务预留带宽并更新集群拓扑信息；
(4)按照第一传输路径将待调度Reduce任务所对应的中间结果数据传输到执行节点，以由执行节点执行待调度Reduce任务。
重复执行步骤(1)～(4)，直至当前作业的所有Reduce任务均完成调度，就能够以最小的总执行代价完成当前作业在Reduce阶段的调度。
进一步地，步骤(2)包括：
(21)对于空闲的Reduce节点v，分别计算将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v时在单位时间内的网络资源使用代价，并由此确定将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v的第二传输路径；
(22)计算将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v所需的传输时间，由此计算将待调度Reduce任务所对应的中间结果数据传输到Reduce节点v的网络资源使用代价wk1，计算公式如下：
Figure GDA0002483305020000031
(23)计算由Reduce节点v执行待调度Reduce任务所需的计算时间和执行待调度Reduce任务时单位时间内的计算资源使用代价，由此计算由Reduce节点v执行待调度Reduce任务的计算资源使用代价wk2，计算公式如下：
Figure GDA0002483305020000032
(24)计算网络资源使用代价wk1和计算资源使用代价wk2的加权和，从而得到待调度Reduce任务的执行代价为：wk＝α·wk1+β·wk2；
(25)遍历所有空闲的Reduce节点，并执行步骤(21)～(24)，从而得到使得待调度Reduce任务的执行代价最小的空闲Reduce节点，将该Reduce节点确定为执行节点，并将对应的第二传输路径确定为第一传输路径；
其中，k为待调度Reduce任务所对应的key值区间编号，M为当前作业所生成的Map任务总数，i的取值范围为1～M，ui表示执行第i个Map任务的Map节点，Ri表示第i个Map任务产生的中间结果数据量，
Figure GDA0002483305020000033
表示将第i个Map任务的第k个key值区间的中间结果数据传输到Reduce节点v的传输带宽，
Figure GDA0002483305020000041
表示将第i个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v时在单位时间内的网络资源使用代价，qk为第k个key值区间的中间结果数据在Map任务产生的中间结果数据总量中所占的比重，sk表示根据第k个key值区间的中间结果数据执行待调度Reduce任务时单位时间内的计算资源使用代价，pv为Reduce节点v的计算能力，α和β分别代表网络资源使用代价和计算资源使用代价的权重。
更进一步地，步骤(21)包括：
对于任意一个Map任务，获得其执行节点ui到Reduce节点v之间的所有完整路径，从而得到路径集合；
对于路径集合中的任意一条路径Path，计算其权重GPath，计算公式如下：
Figure GDA0002483305020000042
其中，
Figure GDA0002483305020000043
为构成路径Path的所有链路的可用带宽的算术平均值，σlinks为构成路径Path的所有链路的可用带宽的标准差；
根据路径集合中每一条路径的权重计算将该Map任务的第k个key值区间的中间结果数据传输至Reduce节点v时在单位时间内的网络资源使用代价
Figure GDA0002483305020000044
计算公式为：
Figure GDA0002483305020000045
其中，h为用于衡量链路带宽使用代价的定值参数，max表示取最大值；
将路径集合中权重最大的路径确定为将该Map任务的第k个key值区间的中间结果数据传输至Reduce节点v的路径，从而确定将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v的第二传输路径。
按照本发明的第二方面，提供了一种基于OpenFlow的资源调度器，包括：集群拓扑模块、执行代价计算模块以及Reduce任务调度模块；
集群拓扑模块用于在待调度Reduce任务到达时获得集群当前的拓扑信息；
执行代价计算模块用于根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行待调度Reduce任务的执行节点和将待调度Reduce任务所对应的中间结果数据传输到执行节点的第一传输路径，以使得执行待调度Reduce任务所需的执行代价最小；其中，执行代价为网络资源使用代价和计算资源使用代价的总和；
Reduce任务调度模块用于将待调度Reduce任务调度至执行节点；
集群拓扑模块还用于通知OpenFlow控制器根据第一传输路径为待调度Reduce任务预留带宽并更新集群拓扑信息。
进一步地，执行代价计算模块根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行待调度Reduce任务的执行节点和将待调度Reduce任务所对应的中间结果数据传输到执行节点的第一传输路径，以使得执行待调度Reduce任务所需的执行代价最小，包括：
(S1)对于空闲的Reduce节点v，分别计算将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v时在单位时间内的网络资源使用代价，并由此确定将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v的第二传输路径；
(S2)计算将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v所需的传输时间，由此计算将待调度Reduce任务所对应的中间结果数据传输到Reduce节点v的网络资源使用代价wk1，计算公式如下：
Figure GDA0002483305020000051
(S3)计算由Reduce节点v执行待调度Reduce任务所需的计算时间和执行待调度Reduce任务时单位时间内的计算资源使用代价，由此计算由Reduce节点v执行待调度Reduce任务的计算资源使用代价wk2，计算公式如下：
Figure GDA0002483305020000061
(S4)计算网络资源使用代价wk1和计算资源使用代价wk2的加权和，从而得到待调度Reduce任务的执行代价为：wk＝α·wk1+β·wk2；
(S5)遍历所有空闲的Reduce节点，并执行步骤(S1)～(S4)，从而得到使得待调度Reduce任务的执行代价最小的空闲Reduce节点，将该Reduce节点确定为执行节点，并将对应的第二传输路径确定为第一传输路径；
其中，k为待调度Reduce任务所对应的key值区间编号，M为当前作业所生成的Map任务总数，i的取值范围为1～M，ui表示执行第i个Map任务的Map节点，Ri表示第i个Map任务产生的中间结果数据量，
Figure GDA0002483305020000062
表示将第i个Map任务的第k个key值区间的中间结果数据传输到Reduce节点v的传输带宽，
Figure GDA0002483305020000063
表示将第i个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v时在单位时间内的网络资源使用代价，qk为第k个key值区间的中间结果数据在Map任务产生的中间结果数据总量中所占的比重，sk表示根据第k个key值区间的中间结果数据执行待调度Reduce任务时单位时间内的计算资源使用代价，pv为Reduce节点v的计算能力，α和β分别代表网络资源使用代价和计算资源使用代价的权重。
更进一步地，执行代价计算模块对于空闲的Reduce节点v，分别计算将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v时在单位时间内的网络资源使用代价，并由此确定将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v的第二传输路径，包括：
对于任意一个Map任务，获得其执行节点ui到Reduce节点v之间的所有完整路径，从而得到路径集合；
对于路径集合中的任意一条路径Path，计算其权重GPath，计算公式如下：
Figure GDA0002483305020000071
其中，
Figure GDA0002483305020000072
为构成路径Path的所有链路的可用带宽的算术平均值，σlinks为构成路径Path的所有链路的可用带宽的标准差；
根据路径集合中每一条路径的权重计算将该Map任务的第k个key值区间的中间结果数据传输至Reduce节点v时在单位时间内的网络资源使用代价
Figure GDA0002483305020000073
计算公式为：
Figure GDA0002483305020000074
其中，h为用于衡量链路带宽使用代价的定值参数，max表示取最大值；
将路径集合中权重最大的路径确定为将该Map任务的第k个key值区间的中间结果数据传输至Reduce节点v的路径，从而确定将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v的第二传输路径。
按照本发明的第三方面，提供了一种基于OpenFlow的资源调度系统，包括：调度器、OpenFlow控制器以及OpenFlow交换机；
OpenFlow交换机用于处理数据流；
调度器为本发明第二方面所提供的基于OpenFlow的资源调度器，用于根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行待调度Reduce任务的执行节点和将待调度Reduce任务所对应的中间结果数据传输到执行节点的第一传输路径，以使得执行待调度Reduce任务所需的执行代价最小；调度器还用于将待调度Reduce任务调度至执行节点，以及通知OpenFlow控制器根据第一传输路径为待调度Reduce任务预留带宽并更新集群拓扑信息；
OpenFlow控制器用于维护集群当前拓扑信息，并根据第一传输路径为待调度Reduce任务预留带宽并更新集群拓扑信息，以及通过控制命令使得相关的OpenFlow交换机按照第一传输路径将待调度Reduce任务所对应的中间结果数据传输到执行节点，以由执行节点执行待调度Reduce任务；
其中，相关的OpenFlow交换机为第一传输路径所覆盖的OpenFlow交换机，执行代价为网络资源使用代价和计算资源使用代价的总和。
按照本发明的第四方面，提供了一种基于本发明第三方面所提供的基于OpenFlow的资源调度系统的调度方法，其特征在于，在Reduce阶段对网络资源和计算资源进行联合调度，包括如下步骤：
(1)当待调度Reduce任务到达时，调度器从OpenFlow控制器获得集群当前拓扑信息；
(2)调度器根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行待调度Reduce任务的执行节点和将待调度Reduce任务所对应的中间结果数据传输到执行节点的第一传输路径，以使得执行待调度Reduce任务所需的执行代价最小；
(3)调度器将待调度Reduce任务调度至执行节点，并通知OpenFlow控制器根据第一传输路径为待调度Reduce任务预留带宽并更新集群拓扑信息；
(4)OpenFlow控制器向相关的OpenFlow交换机下发控制命令，使得相关的OpenFlow交换机按照第一传输路径将待调度Reduce任务所对应的中间结果数据传输到执行节点，以由执行节点执行待调度Reduce任务。
重复执行步骤(1)～(4)，直至当前作业的所有Reduce任务均完成调度，就能够以最小的总执行代价完成当前作业在Reduce阶段的调度。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：对于云计算中的资源调度问题，本发明从联合优化资源分配的角度寻找资源调度策略，将计算资源(CPU、内存等)和网络带宽资源的调度综合考虑；并且本发明利用了OpenFlow的带宽控制技术，增加了决策过程的自由度和灵活性。发明采用资源联合分配的最小执行代价策略，通过计算Reduce阶段执行当前作业的资源使用代价总和，找到作业的最小执行代价，以此来优化资源的联合分配。
(1)本发明所提供的基于OpenFlow的资源调度方法，在对Reduce任务进行调度时，综合考虑待调度Reduce任务的网络资源使用代价和计算资源使用代价，通过确定使得执行待调度Reduce任务所需的执行代价最小的执行节点和第一传输路径，并按照所确定的执行节点和第一传输路径对待调度Reduce任务进行调度，由此能够使得经过调度后Reduce任务所使用的资源总量最小，进而能够最小化整个作业在Reduce阶段网络资源使用代价和计算资源使用代价的总和，提高任务的执行效率。
(2)本发明所提供的基于OpenFlow的资源调度方法，在确定中间结果数据的传输路径后，利用OpenFlow的带宽控制技术为Reduce任务预留带宽，增加了决策过程的自由度和灵活性。
(3)本发明所提供的基于OpenFlow的资源调度方法，首先获得Map节点和Reduce节点之间的所有路径，然后根据构成路径的链路可用带宽的算术平均值和标准差计算路径权重，并根据路径权重最大的路径计算中间结果数据传输在单位时间内的网络资源使用代价并确定相应的传输路径，由此能够使得选择的传输路径的可用带宽多且避免由于路径中某条链路拥堵而造成的带宽瓶颈。
附图说明
图1为现有的MapReduce计算框架的运行机制示意图；
图2为现有的OpenFlow工作架构示意图；
图3为本发明实施例提供的基于OpenFlow的资源调度方法流程图；
图4为本发明实施例提供的基于OpenFlow的资源调度器框图；
图5为本发明实施例提供的基于OpenFlow的资源调度系统示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在详细解释本发明的技术方案之前，先对MapReduce计算框架的运行机制和OpenFlow工作架构进行简要介绍。
在一个存在m个Map节点和n个Reduce节点的MapReduce集群中，当采用MapReduce计算框架执行一个MapReduce作业时，分为Map阶段和Reduce阶段。如图1所示，在Map阶段，先将作业划分为M个Map任务并分别交由M个Map节点进行处理，即图1所示的split(分片)步骤；在Reduce阶段，这m个Map节点开始生成M个Map任务的中间数据结果，每个Reduce任务对应所有Map任务产生的中间数据的一个key值区间，具有相同key值的中间数据属于同一个Reduce任务；当调度器收到Map节点返回的中间数据位置信息后，将生成新的Reduce任务并将新任务放入等待调度任务列表，最终要执行N个Reduce任务，即图1所示的combiner(整合)步骤；接着选择合适的一个或多个Reduce节点来执行Reduce任务，即图1所示的shuffle(洗牌)步骤；当Reduce节点空闲或执行完上一个任务后，它会通知调度器自己可执行新的Reduce任务。
当一个Reduce任务到达时，分配到该Reduce任务的Reduce节点会从所有的Map节点中复制对应key区间的中间数据结果。通常情况下不同Reduce任务对应的中间数据分布量是不同的，对于N个Reduce任务，每个Map任务的中间数据会分为N个区间，当一次作业产生的中间结果数据量很大时，可以认为key值在不同Map节点产生的中间数据中是均匀分布的。在初始状态调度Reduce任务时，可以根据设定的划分函数预先得出各个Reduce任务对应的中间数据的分布情况。
由于一个Reduce任务包括所有Map节点产生的中间数据结果的一部分，故当执行一个Reduce任务的Reduce节点将所有Map节点上对应的中间数据结果都复制完成后，才开始进行Reduce计算。
如图2所示，OpenFlow工作架构包括三个组件：OpenFlow交换机、安全通道和OpenFlow控制器。OpenFlow交换机使用流表转发数据包，每个流表项有匹配字段，到达的数据包与每个流表项的匹配字段比较，如果匹配则数据包就根据流表项中的指令处理；OpenFlow控制器是一个负责操作交换机流表的软件程序，它使用OpenFlow协议；安全通道是连接控制器和所有交换机的接口，通过这个通道，控制器管理交换机，从交换机接受数据包，以及向交换机发送数据包。由于OpenFlow协议在决策过程中提供了更多的自由度和灵活性，而不会使路由器或交换机过载，因此可以基于OpenFlow的技术来优化MapReduce中的数据传输。
基于以上基本原理，本发明提供了一种基于OpenFlow的资源调度方法、调度器及系统，其基本思路是：当Reduce任务到达时，采取最小化Reduce任务的执行代价的调度策略，选择合适的执行节点与传输路径，将该Reduce任务所对应的中间结果数据按照所确定的传输路径复制到执行节点上执行。
本发明所提供的一种基于OpenFlow的资源调度方法，如图3所示，在Reduce阶段对网络资源和计算资源进行联合调度，包括如下步骤：
(1)当待调度Reduce任务到达时，获得集群当前的拓扑信息；
(2)根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行待调度Reduce任务的执行节点和将待调度Reduce任务所对应的中间结果数据传输到执行节点的第一传输路径，以使得执行待调度Reduce任务所需的执行代价最小；其中，执行代价为网络资源使用代价和计算资源使用代价的总和；
在一个可选的实施方式中，步骤(2)具体包括：
(21)对于空闲的Reduce节点v，分别计算将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v时在单位时间内的网络资源使用代价，并由此确定将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v的第二传输路径；具体包括：
对于任意一个Map任务，获得其执行节点ui到Reduce节点v之间的所有完整路径，从而得到路径集合；
对于路径集合中的任意一条路径Path，计算其权重GPath，计算公式如下：
Figure GDA0002483305020000121
其中，
Figure GDA0002483305020000122
为构成路径Path的所有链路的可用带宽的算术平均值，
Figure GDA0002483305020000123
越大说明该路径上链路平均可用带宽越多；σBlinks为构成路径Path的所有链路的可用带宽的标准差，σBlinks越小说明该路径上各链路可用带宽之间的差异越小，越不易因某条链路出现带宽瓶颈而引起拥塞；
Figure GDA0002483305020000126
的值越大或σBlinks的值越小，则路径的权重越大，单位时间使用代价越小；
根据路径集合中每一条路径的权重计算将该Map任务的第k个key值区间的中间结果数据传输至Reduce节点v时在单位时间内的网络资源使用代价
Figure GDA0002483305020000124
计算公式为：
Figure GDA0002483305020000125
其中，h为用于衡量链路带宽使用代价的定值参数，max表示取最大值，k为待调度Reduce任务所对应的key值区间编号；
将路径集合中权重最大的路径确定为将该Map任务的第k个key值区间的中间结果数据传输至Reduce节点v的路径，从而确定将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v的第二传输路径；
(22)计算将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v所需的传输时间，由此计算将待调度Reduce任务所对应的中间结果数据传输到Reduce节点v的网络资源使用代价wk1，计算公式如下：
Figure GDA0002483305020000131
其中，Ri表示第i个Map任务产生的中间结果数据量，qk为第k个key值区间的中间结果数据即待调度Reduce任务所对应的中间结果数据在Map任务产生的中间结果数据总量中所占的比重，其取值在初始状态下根据划分函数能准确推测出，第i个Map任务的第k个key值区间的中间结果数据量即为Ri·qk；
Figure GDA0002483305020000132
表示将第i个Map任务的第k个key值区间的中间结果数据传输到Reduce节点v的传输带宽，为系统设置的已知值，将第i个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v所需的时间即为
Figure GDA0002483305020000133
表示将第i个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v时在单位时间内的网络资源使用代价，由步骤(21)获得，将第i个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v的网络资源使用代价即为
Figure GDA0002483305020000134
M为当前作业所生成的Map任务总数；
(23)计算由Reduce节点v执行待调度Reduce任务所需的计算时间和执行待调度Reduce任务时单位时间内的计算资源使用代价，由此计算由Reduce节点v执行待调度Reduce任务的计算资源使用代价wk2，计算公式如下：
Figure GDA0002483305020000135
其中，Ri表示第i个Map任务产生的中间结果数据量，M为当前作业所生成的Map任务总数，一次作业中M个Map任务产生的中间数据结果总量即为
Figure GDA0002483305020000141
qk为第k个key值区间的中间结果数据即待调度Reduce任务所对应的中间结果数据在Map任务产生的中间结果数据总量中所占的比重，其取值在初始状态下根据划分函数能准确推测出，因此待调度Reduce任务所对应的中间结果数据量为
Figure GDA0002483305020000142
pv为Reduce节点v的计算能力，在初始状态时，可通过统计得到，因此由Reduce节点v执行待调度Reduce任务所需的计算时间为
Figure GDA0002483305020000143
sk表示根据第k个key值区间的中间结果数据执行待调度Reduce任务时单位时间内的计算资源使用代价，其计算公式为：sk＝a·dk，a为定值，表示计算资源使用单价，dk为第k个Reduce任务，即待调度Reduce任务占用的资源量；
(24)计算网络资源使用代价wk1和计算资源使用代价wk2的加权和，从而得到待调度Reduce任务的执行代价为：wk＝α·wk1+β·wk2；其中，α和β分别代表网络资源使用代价和计算资源使用代价的权重；
(25)遍历所有空闲的Reduce节点，并执行步骤(21)～(24)，从而得到使得待调度Reduce任务的执行代价最小的空闲Reduce节点，将该Reduce节点确定为执行节点，并将对应的第二传输路径确定为第一传输路径；
其中，i的取值范围为1～M，ui表示执行第i个Map任务的Map节点，
(3)将待调度Reduce任务调度到执行节点，并根据第一传输路径为待调度Reduce任务预留带宽并更新集群拓扑信息；
(4)按照第一传输路径将待调度Reduce任务所对应的中间结果数据传输到执行节点，以由执行节点执行待调度Reduce任务。
重复执行步骤(1)～(4)，直至当前作业的所有Reduce任务均完成调度，就能够以最小的总执行代价完成当前作业在Reduce阶段的调度。
本发明还提供了一种基于OpenFlow的资源调度器，如图4所示，包括：集群拓扑模块、执行代价计算模块以及Reduce任务调度模块；
集群拓扑模块用于在待调度Reduce任务到达时获得集群当前的拓扑信息；
执行代价计算模块用于根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行待调度Reduce任务的执行节点和将待调度Reduce任务所对应的中间结果数据传输到执行节点的第一传输路径，以使得执行待调度Reduce任务所需的执行代价最小；其中，执行代价为网络资源使用代价和计算资源使用代价的总和；
Reduce任务调度模块用于将待调度Reduce任务调度至执行节点；
集群拓扑模块还用于通知OpenFlow控制器根据第一传输路径为待调度Reduce任务预留带宽并更新集群拓扑信息；
在一个可选的实施方式中，执行代价计算模块根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行待调度Reduce任务的执行节点和将待调度Reduce任务所对应的中间结果数据传输到执行节点的第一传输路径，以使得执行待调度Reduce任务所需的执行代价最小，具体包括：
(S1)对于空闲的Reduce节点v，分别计算将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v时在单位时间内的网络资源使用代价，并由此确定将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v的第二传输路径；具体包括：
对于任意一个Map任务，获得其执行节点ui到Reduce节点v之间的所有完整路径，从而得到路径集合；
对于路径集合中的任意一条路径Path，计算其权重GPath，计算公式如下：
Figure GDA0002483305020000151
其中，
Figure GDA0002483305020000152
为构成路径Path的所有链路的可用带宽的算术平均值，σlinks为构成路径Path的所有链路的可用带宽的标准差；
根据路径集合中每一条路径的权重计算将该Map任务的第k个key值区间的中间结果数据传输至Reduce节点v时在单位时间内的网络资源使用代价
Figure GDA0002483305020000161
计算公式为：
Figure GDA0002483305020000162
其中，h为用于衡量链路带宽使用代价的定值参数，max表示取最大值；
将路径集合中权重最大的路径确定为将该Map任务的第k个key值区间的中间结果数据传输至Reduce节点v的路径，从而确定将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v的第二传输路径
(S2)计算将每个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v所需的传输时间，由此计算将待调度Reduce任务所对应的中间结果数据传输到Reduce节点v的网络资源使用代价wk1，计算公式如下：
Figure GDA0002483305020000163
(S3)计算由Reduce节点v执行待调度Reduce任务所需的计算时间和执行待调度Reduce任务时单位时间内的计算资源使用代价，由此计算由Reduce节点v执行待调度Reduce任务的计算资源使用代价wk2，计算公式如下：
Figure GDA0002483305020000164
(S4)计算网络资源使用代价wk1和计算资源使用代价wk2的加权和，从而得到待调度Reduce任务的执行代价为：wk＝α·wk1+β·wk2；
(S5)遍历所有空闲的Reduce节点，并执行步骤(S1)～(S4)，从而得到使得待调度Reduce任务的执行代价最小的空闲Reduce节点，将该Reduce节点确定为执行节点，并将对应的第二传输路径确定为第一传输路径；
其中，k为待调度Reduce任务所对应的key值区间编号，M为当前作业所生成的Map任务总数，i的取值范围为1～M，ui表示执行第i个Map任务的Map节点，
Figure GDA0002483305020000171
表示将第i个Map任务的第k个key值区间的中间结果数据传输到Reduce节点v的传输带宽，
Figure GDA0002483305020000172
表示将第i个Map任务的第k个key值区间的中间结果数据传输至Reduce节点v时在单位时间内的网络资源使用代价，qk为第k个key值区间的中间结果数据即待调度Reduce任务所对应的中间结果数据在Map任务产生的中间结果数据总量中所占的比重，sk表示根据第k个key值区间的中间结果数据执行待调度Reduce任务时单位时间内的计算资源使用代价，pv为Reduce节点v的计算能力，α和β分别代表网络资源使用代价和计算资源使用代价的权重；在本实施例中，公式的具体含义可参考以上方法实施例中的解释，在此不再复述。
基于图4所示的基于OpenFlow的资源调度器，本发明还提供了一种基于OpenFlow的资源调度系统，如图5所示，包括：调度器、OpenFlow控制器以及OpenFlow交换机；
OpenFlow交换机用于处理数据流；
调度器为图4所示的基于OpenFlow的资源调度器，用于根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行待调度Reduce任务的执行节点和将待调度Reduce任务所对应的中间结果数据传输到执行节点的第一传输路径，以使得执行待调度Reduce任务所需的执行代价最小；调度器还用于将待调度Reduce任务调度至执行节点，以及通知OpenFlow控制器根据第一传输路径为待调度Reduce任务预留带宽并更新集群拓扑信息；
OpenFlow控制器用于维护集群当前拓扑信息，并根据第一传输路径为待调度Reduce任务预留带宽并更新集群拓扑信息，以及通过控制命令使得相关的OpenFlow交换机按照第一传输路径将待调度Reduce任务所对应的中间结果数据传输到执行节点，以由执行节点执行待调度Reduce任务；
其中，相关的OpenFlow交换机为第一传输路径所覆盖的OpenFlow交换机，执行代价为网络资源使用代价和计算资源使用代价的总和。
基于图5所示的基于OpenFlow的资源调度系统，本发明所提供的基于OpenFlow的资源调度方法，包括如下步骤：在Reduce阶段对网络资源和计算资源进行联合调度，包括如下步骤：
(1)当待调度Reduce任务到达时，调度器从OpenFlow控制器获得集群当前拓扑信息；
(2)调度器根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行待调度Reduce任务的执行节点和将待调度Reduce任务所对应的中间结果数据传输到执行节点的第一传输路径，以使得执行待调度Reduce任务所需的执行代价最小；
(3)调度器将待调度Reduce任务调度该执行节点，并通知OpenFlow控制器根据第一传输路径为待调度Reduce任务预留带宽并更新集群拓扑信息；
(4)OpenFlow控制器向相关的OpenFlow交换机下发控制命令，使得相关的OpenFlow交换机按照第一传输路径将待调度Reduce任务所对应的中间结果数据传输到执行节点，以由执行节点执行待调度Reduce任务。
重复执行步骤(1)～(4)，直至当前作业的所有Reduce任务均完成调度，就能够以最小的总执行代价完成当前作业在Reduce阶段的调度。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于OpenFlow的资源调度方法，其特征在于，在Reduce阶段对网络资源和计算资源进行联合调度，包括如下步骤：
(1)当待调度Reduce任务到达时，获得集群当前的拓扑信息；
(2)根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行所述待调度Reduce任务的执行节点和将所述待调度Reduce任务所对应的中间结果数据传输到所述执行节点的第一传输路径，以使得执行所述待调度Reduce任务所需的执行代价最小；其中，执行代价为网络资源使用代价和计算资源使用代价的总和；
所述步骤(2)包括：
(21)对于空闲的Reduce节点v，分别计算将每个Map任务的第k个key值区间的中间结果数据传输至所述Reduce节点v时在单位时间内的网络资源使用代价，并由此确定将每个Map任务的第k个key值区间的中间结果数据传输至所述Reduce节点v的第二传输路径；
(22)计算将每个Map任务的第k个key值区间的中间结果数据传输至所述Reduce节点v所需的传输时间，由此计算将所述待调度Reduce任务所对应的中间结果数据传输到所述Reduce节点v的网络资源使用代价wk1，计算公式如下：
Figure FDA0002483305010000011
(23)计算由所述Reduce节点v执行所述待调度Reduce任务所需的计算时间和执行所述待调度Reduce任务时单位时间内的计算资源使用代价，由此计算由所述Reduce节点v执行所述待调度Reduce任务的计算资源使用代价wk2，计算公式如下：
Figure FDA0002483305010000021
(24)计算所述网络资源使用代价wk1和所述计算资源使用代价wk2的加权和，从而得到所述待调度Reduce任务的执行代价为：wk＝α·wk1+β·wk2；
(25)遍历所有空闲的Reduce节点，并执行步骤(21)～(24)，从而得到使得所述待调度Reduce任务的执行代价最小的空闲Reduce节点，将该Reduce节点确定为所述执行节点，并将对应的第二传输路径确定为所述第一传输路径；
其中，k为所述待调度Reduce任务所对应的key值区间编号，M为当前作业所生成的Map任务总数，i的取值范围为1～M，ui表示执行第i个Map任务的Map节点，Ri表示第i个Map任务产生的中间结果数据量，
Figure FDA0002483305010000022
表示将第i个Map任务的第k个key值区间的中间结果数据传输到所述Reduce节点v的传输带宽，
Figure FDA0002483305010000023
表示将第i个Map任务的第k个key值区间的中间结果数据传输至所述Reduce节点v时在单位时间内的网络资源使用代价，qk为第k个key值区间的中间结果数据在Map任务产生的中间结果数据总量中所占的比重，sk表示根据第k个key值区间的中间结果数据执行所述待调度Reduce任务时单位时间内的计算资源使用代价，pv为所述Reduce节点v的计算能力，α和β分别代表网络资源使用代价和计算资源使用代价的权重；
(3)将所述待调度Reduce任务调度到所述执行节点，并根据所述第一传输路径为所述待调度Reduce任务预留带宽并更新集群拓扑信息；
(4)按照所述第一传输路径将所述待调度Reduce任务所对应的中间结果数据传输到所述执行节点，以由所述执行节点执行所述待调度Reduce任务。
2.如权利要求1所述的基于OpenFlow的资源调度方法，其特征在于，所述步骤(21)包括：
对于任意一个Map任务，获得其执行节点ui到所述Reduce节点v之间的所有完整路径，从而得到路径集合；
对于所述路径集合中的任意一条路径Path，计算其权重GPath，计算公式如下：
Figure FDA0002483305010000031
其中，
Figure FDA0002483305010000032
为构成所述路径Path的所有链路的可用带宽的算术平均值，σlinks为构成所述路径Path的所有链路的可用带宽的标准差；
根据所述路径集合中每一条路径的权重计算将该Map任务的第k个key值区间的中间结果数据传输至所述Reduce节点v时在单位时间内的网络资源使用代价
Figure FDA0002483305010000033
计算公式为：
Figure FDA0002483305010000034
其中，h为用于衡量链路带宽使用代价的定值参数，max表示取最大值；
将所述路径集合中权重最大的路径确定为将该Map任务的第k个key值区间的中间结果数据传输至所述Reduce节点v的路径，从而确定所述第二传输路径。
3.一种基于OpenFlow的资源调度器，其特征在于，包括：集群拓扑模块、执行代价计算模块以及Reduce任务调度模块；
所述集群拓扑模块用于在待调度Reduce任务到达时获得集群当前的拓扑信息；
所述执行代价计算模块用于根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行所述待调度Reduce任务的执行节点和将所述待调度Reduce任务所对应的中间结果数据传输到所述执行节点的第一传输路径，以使得执行所述待调度Reduce任务所需的执行代价最小；其中，执行代价为网络资源使用代价和计算资源使用代价的总和；
所述Reduce任务调度模块用于将所述待调度Reduce任务调度至所述执行节点；
所述集群拓扑模块还用于通知OpenFlow控制器根据所述第一传输路径为所述待调度Reduce任务预留带宽并更新集群拓扑信息；
所述执行代价计算模块根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行所述待调度Reduce任务的执行节点和将所述待调度Reduce任务所对应的中间结果数据传输到所述执行节点的第一传输路径，以使得执行所述待调度Reduce任务所需的执行代价最小，包括：
(S1)对于空闲的Reduce节点v，分别计算将每个Map任务的第k个key值区间的中间结果数据传输至所述Reduce节点v时在单位时间内的网络资源使用代价，并由此确定将每个Map任务的第k个key值区间的中间结果数据传输至所述Reduce节点v的第二传输路径；
(S2)计算将每个Map任务的第k个key值区间的中间结果数据传输至所述Reduce节点v所需的传输时间，由此计算将所述待调度Reduce任务所对应的中间结果数据传输到所述Reduce节点v的网络资源使用代价wk1，计算公式如下：
Figure FDA0002483305010000041
(S3)计算由所述Reduce节点v执行所述待调度Reduce任务所需的计算时间和执行所述待调度Reduce任务时单位时间内的计算资源使用代价，由此计算由所述Reduce节点v执行所述待调度Reduce任务的计算资源使用代价wk2，计算公式如下：
Figure FDA0002483305010000042
(S4)计算所述网络资源使用代价wk1和所述计算资源使用代价wk2的加权和，从而得到所述待调度Reduce任务的执行代价为：wk＝α·wk1+β·wk2；
(S5)遍历所有空闲的Reduce节点，并执行步骤(S1)～(S4)，从而得到使得所述待调度Reduce任务的执行代价最小的空闲Reduce节点，将该Reduce节点确定为所述执行节点，并将对应的第二传输路径确定为所述第一传输路径；
其中，k为所述待调度Reduce任务所对应的key值区间编号，M为当前作业所生成的Map任务总数，i的取值范围为1～M，ui表示执行第i个Map任务的Map节点，Ri表示第i个Map任务产生的中间结果数据量，
Figure FDA0002483305010000051
表示将第i个Map任务的第k个key值区间的中间结果数据传输到所述Reduce节点v的传输带宽，
Figure FDA0002483305010000052
表示将第i个Map任务的第k个key值区间的中间结果数据传输至所述Reduce节点v时在单位时间内的网络资源使用代价，qk为第k个key值区间的中间结果数据量在Map任务产生的中间结果数据总量中所占的比重，sk表示根据第k个key值区间的中间结果数据执行所述待调度Reduce任务时单位时间内的计算资源使用代价，pv为所述Reduce节点v的计算能力，α和β分别代表网络资源使用代价和计算资源使用代价的权重。
4.如权利要求3所述的基于OpenFlow的资源调度器，其特征在于，所述执行代价计算模块对于空闲的Reduce节点v，分别计算将每个Map任务的第k个key值区间的中间结果数据传输至所述Reduce节点v时在单位时间内的网络资源使用代价，并由此确定将每个Map任务的第k个key值区间的中间结果数据传输至所述Reduce节点v的第二传输路径，包括：
对于任意一个Map任务，获得其执行节点ui到所述Reduce节点v之间的所有完整路径，从而得到路径集合；
对于所述路径集合中的任意一条路径Path，计算其权重GPath，计算公式如下：
Figure FDA0002483305010000061
其中，
Figure FDA0002483305010000062
为构成所述路径Path的所有链路的可用带宽的算术平均值，σlinks为构成所述路径Path的所有链路的可用带宽的标准差；
根据所述路径集合中每一条路径的权重计算将该Map任务的第k个key值区间的中间结果数据传输至所述Reduce节点v时在单位时间内的网络资源使用代价
Figure FDA0002483305010000063
计算公式为：
Figure FDA0002483305010000064
其中，h为用于衡量链路带宽使用代价的定值参数，max表示取最大值；
将所述路径集合中权重最大的路径确定为将该Map任务的第k个key值区间的中间结果数据传输至所述Reduce节点v的路径。
5.一种基于OpenFlow的资源调度系统，其特征在于，包括：调度器、OpenFlow控制器以及OpenFlow交换机；
所述OpenFlow交换机用于处理数据流；
所述调度器为权利要求3或4所述的基于OpenFlow的资源调度器，用于根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行待调度Reduce任务的执行节点和将所述待调度Reduce任务所对应的中间结果数据传输到所述执行节点的第一传输路径，以使得执行所述待调度Reduce任务所需的执行代价最小；所述调度器还用于将所述待调度Reduce任务调度至所述执行节点，以及通知所述OpenFlow控制器根据所述第一传输路径为所述待调度Reduce任务预留带宽并更新集群拓扑信息；
所述OpenFlow控制器用于维护集群当前拓扑信息，并根据所述第一传输路径为所述待调度Reduce任务预留带宽并更新集群拓扑信息，以及通过控制命令使得相关的OpenFlow交换机按照所述第一传输路径将所述待调度Reduce任务所对应的中间结果数据传输到所述执行节点，以由所述执行节点执行所述待调度Reduce任务；
其中，所述相关的OpenFlow交换机为所述第一传输路径所覆盖的OpenFlow交换机，执行代价为网络资源使用代价和计算资源使用代价的总和。
6.一种基于权利要求5所述的基于OpenFlow的资源调度系统的调度方法，其特征在于，在Reduce阶段对网络资源和计算资源进行联合调度，包括如下步骤：
(1)当待调度Reduce任务到达时，所述调度器从所述OpenFlow控制器获得集群当前拓扑信息；
(2)所述调度器根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行所述待调度Reduce任务的执行节点和将所述待调度Reduce任务所对应的中间结果数据传输到所述执行节点的第一传输路径，以使得执行所述待调度Reduce任务所需的执行代价最小；
(3)所述调度器将所述待调度Reduce任务调度至所述执行节点，并通知所述OpenFlow控制器根据所述第一传输路径为所述待调度Reduce任务预留带宽并更新集群拓扑信息；
(4)所述OpenFlow控制器向相关的OpenFlow交换机下发控制命令，使得相关的OpenFlow交换机按照所述第一传输路径将所述待调度Reduce任务所对应的中间结果数据传输到所述执行节点，以由所述执行节点执行所述待调度Reduce任务。
CN201810994305.7A 2018-08-29 2018-08-29 基于OpenFlow的资源调度方法、调度器及系统 Expired - Fee Related CN109298932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810994305.7A CN109298932B (zh) 2018-08-29 2018-08-29 基于OpenFlow的资源调度方法、调度器及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810994305.7A CN109298932B (zh) 2018-08-29 2018-08-29 基于OpenFlow的资源调度方法、调度器及系统

Publications (2)

Publication Number Publication Date
CN109298932A CN109298932A (zh) 2019-02-01
CN109298932B true CN109298932B (zh) 2020-07-10

Family

ID=65165737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810994305.7A Expired - Fee Related CN109298932B (zh) 2018-08-29 2018-08-29 基于OpenFlow的资源调度方法、调度器及系统

Country Status (1)

Country Link
CN (1) CN109298932B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110198277A (zh) * 2019-05-10 2019-09-03 湖北交投智能检测股份有限公司 基于sdn的公路大数据云平台的资源优化方法及系统
CN114095577A (zh) * 2020-07-31 2022-02-25 中国移动通信有限公司研究院 资源请求方法、装置、算力网元节点及算力应用设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317650A (zh) * 2014-10-10 2015-01-28 北京工业大学 一种面向Map/Reduce型海量数据处理平台的作业调度方法
CN104915407A (zh) * 2015-06-03 2015-09-16 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法
CN106598733A (zh) * 2016-12-08 2017-04-26 南京航空航天大学 一种云计算能耗关键的三维度虚拟资源调度方法
CN107222843A (zh) * 2017-06-30 2017-09-29 西安电子科技大学 面向室内定位的雾网络实现系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317650A (zh) * 2014-10-10 2015-01-28 北京工业大学 一种面向Map/Reduce型海量数据处理平台的作业调度方法
CN104915407A (zh) * 2015-06-03 2015-09-16 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法
CN106598733A (zh) * 2016-12-08 2017-04-26 南京航空航天大学 一种云计算能耗关键的三维度虚拟资源调度方法
CN107222843A (zh) * 2017-06-30 2017-09-29 西安电子科技大学 面向室内定位的雾网络实现系统和方法

Also Published As

Publication number Publication date
CN109298932A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN109669768B (zh) 一种面向边云结合架构的资源分配和任务调度方法
CN108566659B (zh) 一种基于可靠性的5g网络切片在线映射方法
CN112039965B (zh) 一种时间敏感网络中的多任务卸载方法及系统
CN109561148A (zh) 边缘计算网络中基于有向无环图的分布式任务调度方法
CN113115252B (zh) 延迟敏感任务分布式移动边缘计算资源调度方法及系统
CN107370799B (zh) 一种混合移动云环境中高能效的多用户在线计算迁移方法
CN113472597B (zh) 分布式卷积神经网络细粒度的参数传输调度方法及装置
CN110008015B (zh) 边缘计算系统中有带宽限制的在线任务分派调度方法
CN111767146A (zh) 一种基于网络重配置的分布式机器学习系统加速方法
CN109298932B (zh) 基于OpenFlow的资源调度方法、调度器及系统
CN111143036A (zh) 一种基于强化学习的虚拟机资源调度方法
CN115907038A (zh) 一种基于联邦拆分学习框架的多元控制决策方法
CN110048966B (zh) 基于截止时间的最小化系统开销的Coflow调度方法
Cao et al. A deep reinforcement learning approach to multi-component job scheduling in edge computing
CN113190342B (zh) 用于云-边协同网络的多应用细粒度卸载的方法与系统架构
CN116302578B (zh) 一种QoS约束的流应用延迟确保方法及系统
Ma et al. Maximizing container-based network isolation in parallel computing clusters
CN110677352A (zh) 一种软件定义网络中单交换机单控制器传输控制方法
Bensalem et al. Towards optimal serverless function scaling in edge computing network
Zhang et al. Dynamic VNF scheduling: a deep reinforcement learning approach
Khalilzad et al. Adaptive multi-resource end-to-end reservations for component-based distributed real-time systems
Iwamoto et al. Optimal VNF scheduling for minimizing duration of QoS degradation
Pakhrudin et al. Cloud service analysis using round-robin algorithm for quality-of-service aware task placement for internet of things services
Rajguru et al. Performance improvement of distributed system through load balancing and task scheduling using fuzzy logic
Shi et al. Metaflow: A better traffic abstraction for distributed applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200710

Termination date: 20210829

CF01 Termination of patent right due to non-payment of annual fee